Для запуска А/В теста необходимым минимумом является фиксация ошибок первого и второго рода, расчет MDE (минимальный наблюдаемый эффект). Однако при расчете результатов теста далеко не всегда получается достичь MDE заданного размера, в таком случае вероятность достижения значимости значительно уменьшается. Помимо этого даже при статистически значимом результате существует вероятность ошибки, что наши результаты являются выбросом или просто случайностью. В таких случаях необходимо применить дополнительный арсенал инструментов для работы с данными.
Рубрика «проверка гипотез»
Когда недостаточно ошибок I-II рода и нужно уточнить результат A-B теста
2026-02-14 в 6:16, admin, рубрики: python, type-m, type-s, анализ данных, оценка эффекта, проверка гипотез, статистика, статистические критерии, статистические ошибкиВсё, что вы хотели знать о t-тесте, но боялись спросить
2025-11-22 в 22:42, admin, рубрики: ab-тестирование, p-value, проверка гипотез, распределение Стьюдента, статистика, степени свободы, центральная предельная теоремаВсем привет!
Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента.
Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи :-)
-
Что именно распределяет t-распределение? Что за метрику мы видим на графике?
-
Как Центральная предельная теорема помогает нам использовать t-распределение?
-
Что такое критическое значение?
-
В чем разница между одновыборочным и двухвыборочным тестом?
Когда знаний в избытке
2025-11-07 в 5:27, admin, рубрики: архитектура смыслов, знания, коллективное сознание, мышление, проверка гипотезВ эпоху, когда новое знание рождается быстрее, чем человек способен его осмыслить, привычная модель познания перестаёт работать. Мы уже просто не успеваем изучать новое последовательно, шаг за шагом. Каждый день приходится принимать решения, не имея времени на проверку фактов и их взаимосвязей. Понимание сместилось: вместо анализа - согласие, вместо доказательств - внутренняя сонастройка.
Проблема чётности нуля как гимнастика ума
2025-08-25 в 5:17, admin, рубрики: проверка гипотез, проверка данных0. Введение
Прошла статья ( Михаил Елисейкин «Революция вайб-кодинга отменяется» - https://habr.com/ru/articles/938440/ ) взорвала чарты и вышла в топы Хабра, а такое часто сопровождается бурным обсуждением, с уходом в оффтопик. И вот там в обсуждении выплыла тема «ноль чётное число или нет?», в которой ответ на вопрос не особо то и нужен, но вот сама тема, является отличной иллюстрацией проблем «верификационизма», как парадигмы научного познания.
Метод 5D Discovery: как за 15 недель превратить внутреннюю идею в реальный пилот
2025-08-11 в 10:55, admin, рубрики: 5D Discovery, discovery-фаза, mvp, teamlead, архитектурный спайк, внутренние продукты, пилотный запуск, проверка гипотез, юзабилити-тестыПривет!
Внутренние продукты умирают чаще, чем живут. Причём гибнут не на проде, не из‑за кривого кода и не от того, что разработка пошла не по плану. Они разваливаются на самом старте — когда гипотеза ещё не успела обрести форму, но уже обросла Jira‑задачами. Где‑то я видел, что 9 из 10 новых инициатив не переживают первую встречу с пользователем. Почему? Потому что команды бегут в реализацию, не удостоверившись: а надо ли это вообще кому‑нибудь?
Проблема подглядывания и последовательное А-Б тестирование
2025-07-10 в 9:12, admin, рубрики: ab testing, ab-тестирование, data science, анализ данных, аналитика, проверка гипотез, статистикаСегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.
Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.
Проблема подглядывания
Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом
2025-07-07 в 13:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментЕсли хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.
Как проверять ИИ гипотезы быстро и дешево – гайд в CRISP-DM Light фреймворк
2025-06-10 в 12:17, admin, рубрики: crisp-dm, llm-модели, POC, искусственный интеллект, машинное обучение, проверка гипотез, промпт-инжиниринг, фреймфорк, экономика, эффективностьДелали ли вы работу в стол? Вопрос риторический…
Но больше, чем остальным это грустное чувство “проекта в стол” знакомо тем, кто занимается разработкой и внедрением ИИ решений: по статистике за 2024 год из них доходят до продакшена только от 15 до 30%
И большинство неудач здесь не из-за плохих моделей или технической сложности, а из-за несогласованных бизнес-потребностей.
Наши партнеры из Яндекса на CTO Conf-2025 презентовали новый фреймворк – CRISP-DM Light – он призван исправить эту ситуацию.
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 2: Анализ и интерпретация результатов A-B-тестов
2025-04-21 в 15:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментМетодология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных.
В первой части «Читать полностью »
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 1: Планирование и верификация оффлайн A-B-тестов
2025-04-21 в 11:25, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, эксперимент"Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных."
