В продуктовой аналитике легко дойти до состояния, когда экспериментов много, а уверенности в решениях мало.
Типовые симптомы:
-
тест идет «пока не станет понятно»;
-
MDE забывают зафиксировать (или берут «как обычно»);
-
p-value проверяют каждый день и закрывают эксперимент на первом же p < 0.05;
-
ARPU и другие денежные метрики шумят так, что любой вывод спорный;
-
после релиза эффект не подтверждается, в следствие чего доверие к экспериментам падает.