Рубрика «АБ-тесты»
ML-аналитика, какие проблемы решает, инструменты, зачем выделять ресурсы
2025-12-28 в 10:30, admin, рубрики: analytics, data science, machine learning, АБ-тесты, звук, метрики, модели, музыка, прогнозирование
Дивергенция как мера специфичности аудитории вашей пилотной механики
2025-09-12 в 14:23, admin, рубрики: АБ-тесты, Дивергенция, Йенсена-Шеннона, Кульбака-Лейблера, целевая аудиторияНа связи Никита и Егор, мы работаем над продуктовой аналитикой в дирекции по развитию программы лояльности Х5. В статье мы бы хотели рассказать вам о том, как можно использовать модификацию дивергенции Кульбака-Лейблера для ответа на вопрос, а насколько ваша пилотная аудитория специфична относительно генеральной совокупности всех клиентов, и какие могут быть «подводные камни».
Постановка проблемы
Несогласованность эффектов или «Где деньги, Лебовски?»
2025-08-25 в 14:48, admin, рубрики: ab-тестирование, causal Inference, cuped, propensity score, АБ-тесты, аналитика, машинное обучение, несогласованность эффектов, статистика, эффекты на категориях
Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.
1. Предыстория
Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом
2025-07-07 в 13:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментЕсли хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.
А-B тесты — как проверять гипотезы на основе статистики
2025-05-04 в 9:42, admin, рубрики: АБ-тесты, маркетингПредставьте, что вы протестировали два разных УТП в рекламных заголовках, и одно из них увеличило CTR на 10%. Но насколько достоверны эти результаты? Можно ли быть уверенными, что это не случайность, и именно новый заголовок стал причиной улучшения показателей?
Читать полностью »
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 2: Анализ и интерпретация результатов A-B-тестов
2025-04-21 в 15:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментМетодология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных.
В первой части «Читать полностью »
Оффлайн А-Б тесты в ресторанах фастфуда. Часть 1: Планирование и верификация оффлайн A-B-тестов
2025-04-21 в 11:25, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, эксперимент"Методология — это не шаблон, это компас. А его стрелка — всегда на стороне ваших данных."
Использование последовательного тестирования для уменьшения размера выборки
2025-01-27 в 14:30, admin, рубрики: ab-тестирование, АБ-тесты, значимость, мощность теста, статистика, статистический тестПривет! Я Андрей Корнеев, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда.
Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов.
Эконометрика в ритейле: как не потратить миллионы на заведомо неэффективные эксперименты
2025-01-16 в 13:08, admin, рубрики: data science, time series, АБ-тесты, анализ данных, аналитика, временные ряды, коинтеграция, статистика, эконометрика, эконометрика в ритейлеВсем привет! На связи команда ad-hoc аналитики X5 Tech. Если вы уже знакомы с нашими статьями, то наверняка знаете, что нашей ключевой темой является А/Б тестирование. Важной составляющей А/Б теста является дизайн: для успешного проведения эксперимента необходимо оценить размер тестовой и контрольной групп, зафиксировав предварительно ожидаемый эффект. Но возникает вопрос: как убедиться в обоснованности гипотезы и рассчитать ожидаемые эффекты от инициативы?
Расширенный CUPAC для снижения дисперсии в A-B экспериментах
2024-12-26 в 12:12, admin, рубрики: ab testing, cuped, АБ-тесты, дисперсияЗадача снижения дисперсии при проведении A/B экспериментов, кажется, никогда не перестанет быть актуальной. Хочу поделиться небольшим разбором свежей статьи, в которой авторы предлагают еще один довольно-таки провокационный метод для снижения дисперсии.
-
Можем ли мы использовать для снижения дисперсии данные во время эксперимента?
-
Может ли метод быть сильно лучше CUPAC и что значит «лучше»?
-
При применении методов снижения дисперсии мне приходится сталкиваться с проблемой большого количества пропущенных данных до эксперимента