Приветствуем всех читателей! Сегодня мы, Никита и Маша из команды Ad-Hoc аналитики X5 Tech, расскажем о проблеме несогласованности оценок эффектов в A/B-тестировании и Causal Inference и предложим эффективный способ ее решения.
Рубрика «статистика» - 3
Несогласованность эффектов или «Где деньги, Лебовски?»
2025-08-25 в 14:48, admin, рубрики: ab-тестирование, causal Inference, cuped, propensity score, АБ-тесты, аналитика, машинное обучение, несогласованность эффектов, статистика, эффекты на категорияхКогда машинное обучение не нужно: статистика для бизнеса
2025-08-20 в 14:16, admin, рубрики: numpy, python, статистика, Статистика в IT«Есть ложь, наглая ложь и статистика» — этот афоризм, по утверждению Марка Твена, принадлежит премьер‑министру Великобритании Бенджамину Дизраэли. А по мнению скептиков — самому Твену. Как бы там ни было, статистика не так уж и врёт, по крайней мере не больше, чем машинное обучение (ML). Более того — в некоторых случаях она может оказаться привлекательнее, надёжнее и значительно дешевле, чем обучение и внедрение ML‑моделей.
Невероятные события: насколько корректен размер выборки?
2025-08-11 в 16:49, admin, рубрики: доверительный интервал, закон больших чисел, интуиция, математика, математическое ожидание, случайность, статистика, теория вероятностей, центральная предельная теоремаНедавно я написал статью про Закон Больших Чисел. Мы начали с такого вопроса
Бросим монетку тысячу раз и посчитаем, сколько выпало орлов. Странно ожидать, что выпадет ровно 500, но какое отклонение от этого числа типично?
Например, если зафиксировать конкретное отклонение, какова вероятность, что оно произойдёт? Если наоборот зафиксировать вероятность, то каким должно быть отклонение? И, наконец, если заданы и вероятность, и отклонение, то сколько раз надо бросать монетку, чтобы с заданной вероятностью попасть в эти рамки?
Закон Больших Чисел: доказательство и суть
2025-08-06 в 15:18, admin, рубрики: закон больших чисел, интуиция, космотекст, математика, моделирование, оценки, статистика, теория вероятностей, философия науки, центральная предельная теорема
Подбросим монеткуЧитать полностью »
Системы ценностей больших языковых моделей
2025-07-31 в 20:09, admin, рубрики: chatgpt, большие языковые модели, БЯМ, исследования, машинное обучение, научные исследования, статистика, ценности, этика, этические ценностиКаждый раз, когда человечество создаёт очередной инструмент на машинном обучении, оно сперва любуется пользой от его работы, а потом пугается своего отражения внутри. С большими языковыми моделями история повторилась с ускорением. От восторга перед ответами ChatGPT до шока от таблиц, где жизнь человека глубоко неравноценна, прошло меньше двух лет.
Звучит странно, но языковые модели предвзяты. У них есть политические взгляды, любимые расы и даже люди, которыми они не прочь пожертвовать. Но обо всём по порядку.
Почему говорят что «рынку ИТ плохо», когда на самом деле всё хорошо: взгляд из Европы
2025-07-29 в 14:43, admin, рубрики: вакансии, Европа, европейцы, ит-индустрия, карьера, рынок труда, статистикаНа каждом углу трубят о проблемах на рынке труда в ИТ. СМИ, конечно, тоже катанули на волне хайпа... Но так ли это на самом деле? Давайте посмотрим на текущую ситуацию рынка ИТ в Европе (нахожусь на Кипре, так что рынок Европы виднее, чем остальные).
Проблема подглядывания и последовательное А-Б тестирование
2025-07-10 в 9:12, admin, рубрики: ab testing, ab-тестирование, data science, анализ данных, аналитика, проверка гипотез, статистикаСегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.
Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию. Предыдущие статьи можно найти в описании профиля.
Проблема подглядывания
Линеаризация в офлайн-тестах: как не стереть сигнал вместе с шумом
2025-07-07 в 13:24, admin, рубрики: ab testing, causal Inference, retail, treatment, АБ-тесты, анализ данных, проверка гипотез, статистика, экспериментЕсли хочешь навести порядок в шуме — сначала разберись, не затёр ли ты в нём сам сигнал.
Программирование на уровне идей
2025-05-12 в 18:58, admin, рубрики: Pyhon, вайб-кодинг, математика, нейросети, прототипирование, статистика, эффективностьДопустим мы хотим протестировать какую-то гипотезу. Хочется сделать это быстро и понять стоит ли исследовать это направление дальше.
Раньше надо было изучить предметную область, написать минимальный код. Это довольно долго, часы или даже дни. Вообще, написание кода мне обычно нравилось, но в глубине души я осознавал, что человек не должен кодить. Он хочет оперировать идеями. А всякие детали и мелочи - должен делать кто-то другой.
Патоген с дуба рухнул? Спорный препринт биоинформатического исследования, который не будет официально опубликован
2025-05-11 в 11:57, admin, рубрики: бактерии, биоинформатика, биохимия, графы, медицина, оксилипины, патогены, растения, статистика, филогенетикаМы нашли некоторые биоинформатические свидетельства того, что фермент липоксигеназа и оксилипиновая сигнализация позволяют бактериям «перепрыгивать» между растениями и человеком. Чтобы подтвердить нашу гипотезу, я провел дата-исследование. Здесь я объясняю, почему я решил оставить эту статью препринтом, не опубликованным официально.
В 2020 году мы с соавторами опубликовали биоинформатическое исследование [1]Читать полностью »