Для запуска А/В теста необходимым минимумом является фиксация ошибок первого и второго рода, расчет MDE (минимальный наблюдаемый эффект). Однако при расчете результатов теста далеко не всегда получается достичь MDE заданного размера, в таком случае вероятность достижения значимости значительно уменьшается. Помимо этого даже при статистически значимом результате существует вероятность ошибки, что наши результаты являются выбросом или просто случайностью. В таких случаях необходимо применить дополнительный арсенал инструментов для работы с данными.
Рубрика «оценка эффекта»
Когда недостаточно ошибок I-II рода и нужно уточнить результат A-B теста
2026-02-14 в 6:16, admin, рубрики: python, type-m, type-s, анализ данных, оценка эффекта, проверка гипотез, статистика, статистические критерии, статистические ошибкиОценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль
2026-01-17 в 18:28, admin, рубрики: causalimpact, diff-in-diff, synthetic control, оценка эффекта, плацебо проверки, причинный анализ, продуктовая аналитика, синтетический контрольВ прошлой статье мы разбирали ситуацию, когда есть одна метрика во времени и понятная дата изменения. На практике чаще бывает иначе: изменение затронуло не всех.
Типовые примеры:
-
релиз раскатан на часть гео,
-
изменение включено только для определенного сегмента пользователей,
-
затронуты только отдельные кластеры, каналы, витрины,
-
контрольной группы в виде AB теста нет, но есть группы, которые не трогали.
Оценка эффекта релиза по истории метрики: causal impact без AB теста
2026-01-12 в 13:55, admin, рубрики: causal impact, влияние релиза, временные ряды, ковариаты, контрфакт, оценка без AB теста, оценка эффекта, причинный анализ, продуктовая аналитикаСценарий
У нас есть дата изменения 
. Например, поменяли алгоритм, цены, онбординг, выдачу, лимиты, антифрод, форму оплаты. Есть метрика Читать полностью »
Конфаундинг, или как аналитику попасть в ловушку
2025-07-13 в 7:16, admin, рубрики: causal Inference, dag, data analytics, hr-аналитика, оценка эффекта, причинно-следственные связи, продуктовая аналитикаОднажды к новоиспечённому аналитику компании «Линейные уравнения» обратились коллеги из HR-блока с просьбой проверить гипотезу: влияет ли запущенная ими программа обучения на эффективность сотрудников?
Аналитику передали файл с данными [1]Читать полностью »
За гранью A-B: Синтетический контроль
2025-03-28 в 7:19, admin, рубрики: ab-тестирование, causal Inference, data analytics, data science, time series, аналитика данных, оценка эффекта, прогнозирование, продуктовая аналитикаПривет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B‑тестирование, так и альтернативные способы, например, различные вариации Causal Inference.
В этой статье я хочу поделиться примером проведения двух квази‑экспериментов в Wildberries с использованием Синтетического контроля (Synthetic Control).