Определение метрик – это критически важный этап планирования эксперимента, от которого зависит, как мы будем оценивать успех. Как известно, выбор метрик не ограничивается только "деньгами". Это могут быть и финансовые показатели, такие как средний чек, средняя маржа, CTR (click-through-rate), конверсию в покупку.
Существует и масса категорий метрик. Применительно к экспериментам важно разделять метрики по крайней мере на:
Целевые метрики. Основной фокус эксперимента. Например, прирост прибыли. Те показатели, на основе которых мы делаем выводы об успешности эксперимента.
Прокси-метрики. Альтернатива целевым метрикам, основанная на исторических данных и используемая для получения выводов в сжатые сроки – скажем на малом трафике. Например, "конверсия в добавление в корзину" может служить прокси-метрикой в случае достаточно редких покупок. Важно, чтобы прокси-метрика коррелировала с целевой.
Guardrail-метрики. Действуют как барьерные индикаторы и требуют особого внимания и тщательного мониторинга. Эти метрики выступают в роли ограничителей в экспериментах, и крайне важно следить за тем, чтобы они не падали. Пример такой метрики – маржа, которая не должна упасть при росте конверсии в покупку
Принципы подбора метрик
Прокси-метрика должна коррелировать с целевой, изменяясь в ту же сторону при воздействии внешних факторов. Нарпимер, те же " корзинки"далеко не всегда являются удачным примером.
Guardrail-метрики – красный флаг и предмет особого контроля. Просадки в этих метриках являются мощным сигналом пересмотреть логику сплитования и релевантность гипотезы.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
