Опорная идея
A/B-тест проектируют до запуска: hypothesis, primary metric, guardrails, sample size, randomization, duration and stopping rule. Если менять правило остановки после просмотра данных, результат становится ненадежным. Guardrail metrics защищают от победы одной метрики ценой ухудшения другой.
Для образовательного продукта можно тестировать activation, completion, retention, payment conversion, but also support load and learning quality.