Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.
Рубрика «causal Inference»
Несогласованность эффектов или «Где деньги, Лебовски?»
2025-08-25 в 14:48, admin, рубрики: ab-тестирование, causal Inference, cuped, propensity score, АБ-тесты, аналитика, машинное обучение, несогласованность эффектов, статистика, эффекты на категорияхКонфаундинг, или как аналитику попасть в ловушку
2025-07-13 в 7:16, admin, рубрики: causal Inference, dag, data analytics, hr-аналитика, оценка эффекта, причинно-следственные связи, продуктовая аналитикаОднажды к новоиспечённому аналитику компании «Линейные уравнения» обратились коллеги из HR-блока с просьбой проверить гипотезу: влияет ли запущенная ими программа обучения на эффективность сотрудников?
Аналитику передали файл с данными [1]Читать полностью »
Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом
2025-07-07 в 13:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментЕсли хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 2: Анализ и интерпретация результатов A-B-тестов
2025-04-21 в 15:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментМетодология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных.
В первой части «Читать полностью »
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 1: Планирование и верификация оффлайн A-B-тестов
2025-04-21 в 11:25, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, эксперимент"Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных."
За гранью A-B: Синтетический контроль
2025-03-28 в 7:19, admin, рубрики: ab-тестирование, causal Inference, data analytics, data science, time series, аналитика данных, оценка эффекта, прогнозирование, продуктовая аналитикаПривет! Я Настя — лид A/B Платформы в Wildberries. На протяжении всего карьерного пути меня интересует тема оценки эффектов. Для этого существуют различные инструменты, в числе которых как A/B‑тестирование, так и альтернативные способы, например, различные вариации Causal Inference.
В этой статье я хочу поделиться примером проведения двух квази‑экспериментов в Wildberries с использованием Синтетического контроля (Synthetic Control).
Почему не А/B-тестирование?
Causal Inference методы на практике
2024-12-30 в 11:06, admin, рубрики: ab testing, causal effect, causal Inference, causalimpact, double machine learning, doubly robust, propensity score matching, PSM, статистикаОбычно, когда возникает необходимость оценить эффект от продуктовой фичи, аналитики проверяют гипотезы через A/B эксперименты. Но иногда запустить эксперимент нет возможности, а оценить эффект все еще хочется. Столкнувшись в очередной раз с такой ситуацией, я решил погрузиться в нашумевший в последнее время мир причинно-следственного анализа или Causal Inference и поделиться опытом применения различных подходов на практике.
Случалось ли с вами что-нибудь из этого?
-
Какая-то фича в продукте существует давно, на нее тратятся ресурсы, но вы не знаете какой эффект она оказывает на ключевые метрики?
Diff-in-diff: жизнь за пределами идеального эксперимента
2024-12-18 в 13:47, admin, рубрики: causal Inference, diff-in-diff, difference-in-difference, treatment, АБ-тесты, линейная регрессия, статистика, эконометрика, экспериментПривет! На связи команда ad-hoc аналитики X5 Tech.
Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). Примеров задач по оценке эффекта воздействия множество:
-
Как изменится выручка от продаж, если изменить ассортимент товаров, предлагаемых в пространстве около кассы?
-
Удастся ли улучшить самочувствие пациентов, если они начнут принимать новый препарат?
-
Что произойдёт с оценками школьников, если они начнут посещать репетиторов?
Туториал по Uplift моделированию. Часть 2
2020-02-04 в 12:23, admin, рубрики: causal effect, causal Inference, causal tree, causality, causalml, data mining, data science, net lift, uplift, аплифт, Блог компании МТС, искусственный интеллект, математика, машинное обучение
В первой части мы познакомились с uplift моделированием и узнали, что метод позволяет выбирать оптимальную стратегию коммуникации с клиентом, а также разобрали особенности сбора данных для обучения модели и несколько базовых алгоритмов. Однако эти подходы не позволяли оптимизировать uplift напрямую. Поэтому в этой части разберем более сложные, но не менее интересные подходы.
Читать полностью »
Туториал по uplift моделированию. Часть 1
2020-01-30 в 13:15, admin, рубрики: causal effect, causal Inference, causality, causalml, data mining, data science, net lift, true lift, uplift, uplift modelling, аплифт, Блог компании МТС, интернет-маркетинг, маркетинг, машинное обучение, Повышение конверсии, реклама
Команда Big Data МТС активно извлекает знания из имеющихся данных и решает большое количество задач для бизнеса. Один из типов задач машинного обучения, с которыми мы сталкиваемся – это задачи моделирования uplift. С помощью этого подхода оценивается эффект от коммуникации с клиентами и выбирается группа, которая наиболее подвержена влиянию.
Такой класс задач прост в реализации, но не получил большого распространения в литературе про машинное обучение. Небольшой цикл статей, подготовленный Ириной Елисовой (iraelisova) и Максимом Шевченко (maks-sh), можно рассматривать как руководство к решению таких задач. В рамках него мы познакомимся с uplift моделями, рассмотрим, чем они отличаются от других подходов, и разберем их реализации.
Читать полностью »