Каждый раз, когда в продуктовых чатах заходит речь о проверке гипотез, кто-нибудь обязательно кидает ссылку на калькулятор статзначимости. Мол, «наливаем трафик, ждем p-value < 0.05 и радуемся».
В идеальном мире это работает. В реальности же АБ-тест может стоить компании несколько недель простоя разработки и миллионов недополученной прибыли. Иногда играть в «честный сплит» просто невыгодно.
Почему АБ-тесты иногда — зло?
-
Длительность. Если вы не Amazon, вам может понадобиться месяц, чтобы добрать выборку. За это время рынок может измениться.
-
Технический долг.Читать полностью »