Как правило, акции оценивают через А/В-тесты. Но что если теста не было, а оценить эффекты надо? Разберём несколько способов: простой Diff-in-Diff и сложный Propensity score matching с подбором похожих клиентов в контрольную группу.
Итак, представьте: была проведена открытая акция для всех желающих — выделить группы заранее было невозможно. У нас есть пользователи, которые воспользовались акцией, или целевая группа, нам нужно подобрать для неё контроль.
Обычно, когда возникает необходимость оценить эффект от продуктовой фичи, аналитики проверяют гипотезы через A/B эксперименты. Но иногда запустить эксперимент нет возможности, а оценить эффект все еще хочется. Столкнувшись в очередной раз с такой ситуацией, я решил погрузиться в нашумевший в последнее время мир причинно-следственного анализа или Causal Inference и поделиться опытом применения различных подходов на практике.
Случалось ли с вами что-нибудь из этого?
Какая-то фича в продукте существует давно, на нее тратятся ресурсы, но вы не знаете какой эффект она оказывает на ключевые метрики?
