Метрика выросла.
Можно выкатывать изменение?

1. Договоритесь, что будет считаться успехом

Команда сервиса консультаций упрощает запись: убирает лишний экран и заранее показывает свободное время. Гипотеза звучит так: человеку будет проще записаться, и больше пользователей действительно получат консультацию.

Если смотреть только на нажатие «Записаться», можно одобрить изменение, которое создаёт больше случайных записей и отмен. Поэтому основная метрика в нашем примере — доля пользователей, у которых состоялась хотя бы одна консультация в течение 21 суток после включения в эксперимент.

До запуска фиксируем, кого включаем, когда назначаем вариант, как долго набираем участников и сколько ждём результат. Также задаём минимальную полезную прибавку и допустимые ухудшения. Эти условия нельзя подгонять под увиденные цифры.

Предположим, бизнесу интересен рост хотя бы на 0,70 процентного пункта. Это условная граница из экономики примера, а не универсальное правило. Для уверенного запуска команда заранее решила требовать, чтобы нижняя граница интервала эффекта была выше этой отметки.

Размер выборки рассчитывают заранее с учётом исходной конверсии, ожидаемого эффекта, выбранного риска ошибочного вывода и мощности — способности обнаружить заданный эффект. Обнаружить отличие от нуля и убедительно подтвердить превышение бизнес-порога — разные задачи: вторую нужно учитывать в расчёте отдельно.

2. Сначала убедитесь, что сравнение честное

Участник случайно получает вариант до первого показа изменённого сценария. При повторном визите вариант сохраняется. В анализ входят все назначенные подходящие пользователи, включая тех, кто не нажал кнопку. Иначе изменение само повлияет на то, кого мы включили в сравнение.

• Проверьте распределение. При плане 50/50 числа не обязаны совпасть. Но слишком сильное отклонение требует проверки: не теряется ли часть участников или событий одного варианта?
• Проверьте сбор результатов. Подтверждение консультации должно одинаково попадать в обе группы. Изменение интерфейса не должно менять смысл события.
• Сохраните единицу анализа. Если распределяем пользователей, несколько консультаций одного человека не становятся независимыми участниками.
• Учтите влияние друг на друга. Если пользователи делят ограниченное расписание специалистов, новая версия может отнимать слоты у контрольной группы. Обычный тест по пользователям тогда требует дополнительного обоснования дизайна.

В учебном примере считаем, что таких взаимных влияний нет, назначение устойчивое, пропусков событий не выявлено, а каждый участник наблюдался полные 21 сутки. Проверка соотношения групп сама по себе не доказывает исправность всего эксперимента.

3. Посчитайте изменение в двух масштабах

Абсолютная разница составляет +1,10 процентного пункта: вычитаем одну долю из другой. Относительный рост — +9,25%: делим разницу на долю в группе А. Это два описания одного изменения, а не два отдельных результата.

Не вычитайте просто 1 487 из 1 629, чтобы оценить эффект: размеры групп немного различаются. Для сравнения вероятности результата нужны доли. Расчёты здесь выполнены по исходным числам, округление применяется только для показа.

Если механически перенести оценку +1,10 п. п. на 37 419 будущих подходящих пользователей, получится примерно 412 дополнительных пользователей с консультацией. Это сценарий при сохранении эффекта и состава аудитории, а не обещание. Он также не равен числу дополнительных консультаций: один человек может получить несколько.

4. Посмотрите, насколько точна оценка

Оценка +1,10 п. п. получена на конечной выборке. При другом случайном распределении цифра могла бы немного измениться. Чтобы показать эту неопределённость, рядом с оценкой используют доверительный интервал.

Для наших чисел приближённый двусторонний 95%-й интервал разницы равен от +0,28 до +1,92 п. п. Он рассчитан нормальным приближением для двух независимых пользовательских долей: разница ± 1,96 × стандартная ошибка. При малых числах, зависимости участников или другом плане анализа этот способ нельзя переносить автоматически.

Интервал не содержит ноль: по выбранному методу данные поддерживают положительный эффект. Но его нижняя граница ниже бизнес-порога +0,70 п. п. Поэтому установленное нами более строгое условие запуска пока не выполнено. Мы видим перспективный результат, но не подтвердили требуемый минимальный размер пользы.

95% — характеристика метода: при повторении корректной процедуры такие интервалы покрывали бы истинный эффект примерно в 95% случаев. Это не «вероятность 95%, что именно эта функция полезна». Интервал также не учитывает ошибки трекинга, нарушение распределения и будущую смену аудитории.

А если интервал включает ноль?

Это не доказывает отсутствие эффекта. Возможно, изменение почти ничего не даёт, а возможно, данных мало. Важно, какие величины ещё совместимы с наблюдением: только небольшие сдвиги или и заметная польза, и существенный вред.

5. Не останавливайтесь при первом «красивом» результате

В первые дни эффект может резко прыгать. Если каждый день проверять обычный тест и завершить его в момент, когда появилась значимость, риск ложного успеха окажется выше заявленного.

Для анализа с заранее фиксированным объёмом дождитесь запланированного завершения набора и полного окна результата. У последнего включённого пользователя в нашем примере должно пройти 21 сутки. Последняя регистрация участника не означает, что эксперимент уже можно окончательно оценивать.

Проверять ошибки и безопасность по ходу теста нужно. Для регулярного принятия статистического решения существуют последовательные методы, но их выбирают заранее. Они не равны ежедневному пересчёту обычного теста.

Не продлевайте закончившийся тест по принципу «ещё немного, пока не получим нужный ответ». Если точности не хватило, используйте предусмотренный план продолжения либо спроектируйте новую проверку.

6. Основная метрика не должна скрывать потери

Вместе с результатом пользователя нужны показатели, которые защищают качество и экономику. Их часто называют защитными метриками. У каждого должно быть понятное правило расчёта и допустимая граница ухудшения.

«Значимого ухудшения не нашли» не означает «безопасность доказана». Если интервал допускает потерю больше согласованной границы, проверка пока недостаточно точна. Для редких проблем данных может потребоваться больше, чем для основной конверсии.

Доли отмен среди записавшихся полезны для диагностики, но состав записавшихся уже зависит от варианта. Для общей оценки последствий добавьте показатели на всех назначенных пользователей. Знаменатель выбирают под вопрос, а не под более приятную цифру.

7. Не ищите победителя среди десятков срезов

Если основная метрика не дала убедительного ответа, легко найти рост у пользователей определённого устройства или канала. Чем больше метрик и срезов проверено, тем выше вероятность случайной находки.

Ключевые метрики и важные сегменты определяют до теста. Для нескольких формальных проверок учитывают множественность в плане анализа. Неожиданный удачный сегмент — хорошая гипотеза для следующего эксперимента, но слабое основание объявить весь тест успешным.

Отдельно смотрите устойчивость по времени. Новая возможность может привлекать внимание в первые дни, а затем интерес снижается. Такой эффект новизны нельзя путать с постоянной пользой. Однако и различие дней само по себе ничего не доказывает: меняется состав аудитории, день недели и зрелость наблюдения.

8. Превратите отчёт в понятное решение

Для нашего примера вывод такой: «Доля пользователей с консультацией выросла с 11,91% до 13,01%. Оценка эффекта +1,10 п. п., интервал от +0,28 до +1,92 п. п. Положительный эффект поддерживается данными, но требование подтвердить минимум +0,70 п. п. не выполнено. По заданному правилу полный запуск пока не одобряем. Результаты защитных метрик в этом примере не представлены, поэтому отдельно подтвердить безопасность мы тоже не можем».

Это не провал идеи. Это точное описание того, что удалось узнать и какой информации не хватает. Решение о новой проверке зависит от ожидаемой пользы, стоимости ожидания и рисков.