Опорная идея
A/B-тест помогает проверить изменение, но он не отменяет здравый смысл. Нужно определить гипотезу, primary metric, guardrail metrics, минимальный размер выборки, период и правило остановки. Если смотреть на результат каждый час и прекращать тест при первом красивом числе, вывод будет ненадежным.
Аналитик обязан описать не только победителя, но и ограничения: кого тестировали, сколько длился эксперимент, были ли внешние события и какие сегменты требуют отдельной проверки.