Сколько должен идти A/B-тест: выборка и срок

Q: Сколько должен идти A/B-тест?

Столько, чтобы набрать выборку, нужную для обнаружения минимального эффекта, который для вас имеет смысл, с учётом бизнес-цикла и задержки конверсии. Если есть недельные паттерны, округляйте до полных недель. Рассчитайте размер выборки по базовой конверсии и эффекту до старта теста и не останавливайте его раньше только потому, что результат выглядит значимым.

Q: Какой минимальный обнаруживаемый эффект выбрать?

Наименьшее изменение, которое повлияло бы на ваше решение с учётом стоимости изменения. Для многих продуктовых тестов это относительный рост на 5–20%. Меньшие эффекты требуют гораздо больших выборок: если уменьшить эффект вдвое, пользователей понадобится примерно вчетверо больше.

Q: Что такое sample ratio mismatch?

Статистически неожиданное расхождение между фактическими размерами групп и запланированным распределением. Оценивайте его по заранее заданному порогу. Оно может указывать на проблемы с распределением, логированием или анализом. Проверка фиксирует симптом, а не причину, и случайные перекосы тоже возможны. См. глоссарий (англ.).

Q: Можно ли остановить A/B-тест раньше, если результат уже значимый?

Не в стандартном тесте с фиксированной выборкой: из-за многократного подглядывания ложноположительный результат становится гораздо вероятнее, чем 5%, на которые вы рассчитываете. Либо зафиксируйте длительность заранее, либо используйте последовательный метод, рассчитанный на раннюю остановку.

Q: Где потренироваться анализировать A/B-тесты?

В одном из эпизодов симулятора Meridian продакт-менеджер спрашивает, сработал ли бейдж доставки и сколько ещё ждать. Вы проверяете разбиение и результат и заканчиваете решением, подкреплённым вашими цифрами. Meridian входит в Atterna Analyst (59 €), и каждый эпизод открывается после предыдущего; бесплатная проверка уровня покажет, с чего начать уже сегодня.

Длительность A/B-теста определяют наименьший важный для вас эффект, базовая конверсия и трафик, а не момент, когда результат начал выглядеть значимым. Разбор на реальных числах и проверка соотношения групп, которую нужно сделать до любого вывода.

«Тест уже значимый?» — неправильный первый вопрос. A/B-тест идёт столько, сколько нужно, чтобы обнаружить наименьший эффект, ради которого стоит действовать. И решаете вы это до старта. Если остановить тест с фиксированным горизонтом, как только цифры впервые выглядят хорошо, растёт риск ложноположительного результата.

Коротко: выберите минимальный эффект, который стоит обнаружить, оцените размер выборки по базовой конверсии, разделите на дневной трафик и округлите вверх до целых недель. Прежде чем читать результат, проверьте, что группы того размера, который обещал дизайн теста. Статистически неожиданный перекос расследуйте до того, как интерпретировать эффект. При этом помните: при случайном разбиении группы редко получаются ровно равными.

Три исходных параметра

Базовая конверсия — текущая конверсия метрики, которую вы тестируете. Пример: 10% пользователей за период оформляют заказ.
Минимальный обнаруживаемый эффект (MDE) — наименьшее изменение, которое повлияло бы на ваше решение. Обнаружить относительный рост на 20% дёшево, на 5% — дорого.
Трафик — сколько пользователей попадает в тест за день.

При обычных настройках (уровень значимости 5%, мощность 80%, две группы равного размера) и базовой конверсии 10% нужно столько пользователей в каждой группе:

Относительный рост, который нужно обнаружить	Абсолютное изменение	Пользователей в группе	Дней при ~900 пользователях в день всего
20% (10% → 12%)	+2,0 п. п.	≈ 3 800	≈ 9 → 2 полные недели
10% (10% → 11%)	+1,0 п. п.	≈ 14 800	≈ 33 → 5 полных недель
5% (10% → 10,5%)	+0,5 п. п.	≈ 57 800	≈ 129 → так тестировать, скорее всего, не стоит

Числа получены по стандартной формуле для двух долей; любой онлайн-калькулятор размера выборки даст похожие результаты. Если уменьшить искомый эффект вдвое, выборка вырастет примерно вчетверо.

Округляйте до целых недель

Будни и выходные ведут себя по-разному. Тест с понедельника по четверг измеряет другую аудиторию, чем тест на полную неделю. Если у бизнеса недельный цикл, планируйте целые недели. Учитывайте и задержку конверсии, и время, нужное, чтобы набрать выборку. Одна неделя — полезное правило для планирования, а не универсальный статистический минимум.

До чтения результата: проверка соотношения групп

В учебном маркетплейсе Meridian тест бейджа «быстрая доставка» 13 дней распределял пользователей 50/50. Результат выглядит отлично: в группе с бейджем заказали 11,8% пользователей против 10,0% в контроле, z-статистика около 3 — «высокозначимо».

Но в группах 5 663 и 5 978 пользователей. Для дизайна 50/50 у такого разрыва p-value по хи-квадрату около 0,004. Сработает ли сигнал sample ratio mismatch (SRM) — несоответствия соотношения групп, — зависит от порога, выбранного до того, как вы посмотрели на результаты. При пороге 0,01 сработает. При 0,0005 — консервативном пороге, который описывает команда экспериментов Microsoft, — нет. Перекос — повод проверить распределение пользователей и логирование, а не доказательство конкретного бага. Не выбирайте порог задним числом, чтобы подтвердить желаемый вывод.

Как искать причину:

Разбейте размеры групп по устройству, платформе, версии приложения, стране и дню. Проблема с распределением или логированием может быть сосредоточена в одном сегменте — релизе, редиректе, слое кэширования.
Проверьте, могут ли пользователи переходить из группы в группу и не считаются ли они дважды, войдя со второго устройства.
Проверьте, не грузится ли один из вариантов медленнее и не падает ли чаще — тогда его пользователей логируется меньше.

Один из эпизодов симулятора Meridian построен именно на этом тесте, поэтому не будем спойлерить, где ломается разбиение.

Проверьте размеры своих групп в бесплатном SRM-калькуляторе. Расчёт выполняется в браузере; предупреждение само по себе не доказывает ошибку.

Четыре ошибки, из-за которых тест врёт

Подглядывание. Если проверять результат каждый день и остановиться при первом p < 0,05, доля ложноположительных результатов окажется намного выше 5%. Зафиксируйте длительность заранее или используйте метод, рассчитанный на непрерывный мониторинг.
Выбор метрики задним числом. Чем больше метрик вы проверяете, тем выше шанс ложноположительного результата, если не делать поправку на множественные сравнения. Назовите основную метрику до старта.
Эффект новизны. Пользователи нажимают на новый бейдж, потому что он новый. Заранее спланируйте, как смотреть на изменения во времени. Показывайте полный запланированный период и все разведочные разбивки по периодам, а не выбрасывайте ранние результаты, когда их уже увидели.
Игнорирование разбиения. Всегда начинайте с проверки на SRM. Это займёт минуту.

Спросите AI-ассистента

Ассистенты охотно считают p-value по двум конверсиям. Спросите лучше: «Какими были запланированные и фактические размеры групп и есть ли sample ratio mismatch? Была ли длительность зафиксирована заранее? Какой доверительный интервал у эффекта, а не только p-value?» Бесплатный AI Answer Checker автоматически добавляет вопросы о размерах групп и заранее зафиксированной длительности, когда в английском тексте распознаёт упоминание эксперимента.

Частые вопросы