Бывает, команда смастерит что-то интересное. Например, расчет скора качества лидов в зависимости от четырех параметров. Получается в итоге этакая композитная метрика.
Составные или синтетические метрики могут показаться хорошей идеей, особенно для дата-сайентистов. Они позволяют объединить множество факторов в один показатель, который вроде бы отражает общую картину. Это может быть условный скор, ранг или доля от желаемого показателя. Но на деле часто всё не так радужно.
Главная беда таких метрик в том, что однажды они становятся непонятными и теряют смысл. А происходит это практически всегда, когда обсуждение выходит за рамки команды, создавшей метрику. Например, какая-то синтетическая метрика увеличилась на 0,1. Но что это значит? Это хорошо или плохо? Если никто не может дать однозначный ответ, метрика превращается в головоломку, а не в инструмент для принятия решений.
Jessica Lachs (VP of Analytics and Data Science at DoorDash) рассказывала о проблеме с такими метриками. В DoorDash ее команда пыталась оценить «здоровье продавцов». При этом было учтено множество факторов — от часов работы до наличия фотографий и точности меню. В итоге получили составную метрику, значение которой, скажем, 0,35, не говорило ровным счетом ни о чём. Это не 35%, так что же это вообще такое?
Вместо того чтобы разбираться в природе этой синтетической метрики, они решили упростить подход. Выделили самые важные показатели и стали работать над ними. С начала сосредоточились на том, чтобы больше новых продавцов получали заказы в первую неделю – это оказалось посчитать достаточно просто. Затем на точности публикуемых данных, таких как часы работы. И так далее.
В итоге у команды оказалось три метрики вместо одной, зато все они были просты и команда в итоге однозначно понимала, что делать и куда бежать.
Вывод простой: составные метрики могут выглядеть круто, но если они непонятны и не приводят к конкретным действиям, толку от них мало. Лучше выбрать простые и ясные показатели, которые действительно помогут двигаться вперёд.
Один из способов упростить работу с метриками в команде – визуализировать их в виде дерева или графа. Один из примеров можно найти здесь.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
