Метрик много.
Какие действительно важны?

1. Начните с решения, которое предстоит принять

Представим сервис записи к специалистам. Пользователь хочет найти подходящего специалиста, выбрать время и попасть на приём. Бизнес получает комиссию за состоявшиеся платные консультации.

Команда обсуждает новую форму записи. Можно измерить просмотры, клики, регистрации, время на сайте и ещё десятки показателей. Но вопрос конкретный: помогает ли изменение довести больше подходящих записей до состоявшейся консультации?

Регистрация — промежуточный шаг. Забронированное время — намерение. Даже оплата ещё не гарантирует, что консультация состоится: возможны отмены и возвраты. Поэтому сначала нужно договориться, какой результат здесь имеет значение.

Для другого продукта ответ будет иным. В редакторе документов это может быть совместно подготовленный документ, в доставке — полученный заказ. Универсальной главной метрики для всех продуктов нет.

2. Выберите основной показатель и его границы

В нашем примере кандидатом станет число пользователей, у которых за неделю состоялась хотя бы одна консультация. Он ближе к полученной услуге, чем число кликов по кнопке записи.

Но даже этот показатель не измеряет пользу полностью. Консультация могла состояться, а проблема человека — остаться нерешённой. Поэтому нужны дополнительные сигналы качества: обоснованные жалобы, возвраты, обратная связь. Не стоит объявлять один показатель исчерпывающей оценкой продукта.

Главную метрику, отражающую получение ценности, часто называют North Star. Название не так важно, как проверка смысла: может ли число расти, пока опыт пользователя ухудшается? Если да, нужно понять, какие показатели покажут это ухудшение.

Бизнес-результат тоже держим отдельно: выручка от комиссии и затраты на обслуживание. Рост числа консультаций при чрезмерных скидках может не дать устойчивого роста бизнеса.

3. Разложите результат на понятные части

Дерево метрик связывает итог с тем, что команда может исследовать. Для воронки выберем пользователей, которые начали запись в одну календарную неделю, и дадим каждому 21 день после первого начала записи на завершение консультации.

Пользователи с консультацией = начавшие запись × доля записавшихся × доля получивших консультацию среди записавшихся.

Равенство работает, если группы вложены друг в друга, единица подсчёта одна и период наблюдения согласован. Каждый человек учитывается в соответствующем шаге один раз. Если есть другой путь к консультации, его нужно включить в определение начала или исследовать отдельно.

Это показатель по группе начавших запись, а не недельная главная метрика выше. В число состоявшихся консультаций текущей недели могут входить люди, начавшие запись раньше. Эти два отчёта помогают отвечать на разные вопросы, и их нельзя механически приравнять.

Формула показывает, где искать изменение, но не доказывает причину. Снижение доли записавшихся может быть связано с формой, отсутствием свободных специалистов или составом аудитории.

4. Посмотрите, как одна растущая цифра скрывает проблему

Во второй группе число записавшихся выросло на 18,78%, а число получивших консультацию — только на 4,12%. При этом итоговая доля снизилась примерно на 5,24 процентного пункта. Если смотреть только на записи, важную часть истории легко пропустить.

Расчёт последней строки: 947 ÷ 1 843 × 100% ≈ 51,38% и 986 ÷ 2 137 × 100% ≈ 46,14%. Процентные пункты — разница между долями; относительное изменение рассчитывается иначе.

Следующий шаг — выяснить, что происходит после записи: отмены, ожидание, переносы, доступность специалистов. Эти данные сами по себе не доказывают, что новую форму нужно откатить. Например, между группами могли измениться каналы привлечения или расписание.

5. Добавьте показатели, которые не должны ухудшиться

Рядом с основным результатом полезно заранее выбрать несколько ограничений. Для сервиса записи это могут быть доля отмен, время ожидания консультации и доля обращений с жалобой.

Для каждого ограничения нужен собственный знаменатель и срок наблюдения. «Жалоб стало больше» ничего не говорит без объёма консультаций, а сравнение возвратов за разные по зрелости периоды будет несправедливым.

Не выбирайте допустимый уровень ухудшения после того, как увидели результат. Обсудите его заранее с командой с учётом обычных колебаний, стоимости ошибки и возможностей сервиса.

6. Сделайте короткий паспорт метрики

Отдельно опишите часовой пояс, тестовые аккаунты, объединение устройств и поведение при отсутствии ID. Два аналитика должны получать одинаковое число по одному описанию.

Если запись на консультацию обычно происходит более чем за 21 день, выбранное окно может быть непригодно. В примере оно условное: в реальном продукте его определяют по пользовательскому сценарию и распределению времени до результата.

7. Не путайте движение метрики с улучшением

Время в продукте

Для учебного сервиса длительное полезное занятие может быть хорошим сигналом. Для записи к специалисту рост времени может означать, что человек не находит нужное окно. Сначала смысл, потом оценка роста.

Среднее значение

Среднее время ожидания способно скрывать небольшую группу с очень долгой задержкой. Смотрите распределение и сегменты, а не только одну цифру.

Слишком удобный показатель

Если команда отвечает только за количество записей, она может упростить бронирование ценой большого числа отмен. Связь с состоявшимися консультациями помогает заметить такое смещение.

Следующая статья

Разберём, какое действие показывает первую пользу от продукта.