Все счетчики аналитики врут. Почему? Потому что они оперируют средними.
Любая вычисляемая метрика в аналитическом сервисе практически всегда является усреднением. И когда вы принимаете решения на средних, то рискуете столкнуться с большой проблемой.
Прежде всего потому, что средних людей (в отличие от метрик) не бывает. Об этом говорит Jessica Lachs (VP of Analytics and Data Science at DoorDash). Она так описывет свой опыт ошибок на средних:
"Средние значения могут быть очень обманчивыми, и важно смотреть на все распределение и разбирать реальную картинку происходяшего в деталях. Это поможет находить пути оптимизации и повышения эффективности.
Однажды в DoorDash мы исследовали реферальную программу (пригласительные промокоды) как канал привлечения. Оказалось, что он ниже среднего по вовлеченности и сроку окупаемости. Но вместо того чтобы просто сократить расходы на этот и перейти к другим каналам, мы действительно захотели понять, что в самом деле происходит. Во время хакатона мы глубоко изучили тех, кто приводит новых пользователей, и самих юзеров, пришедших по реферальной ссылке.
Оказалось, что это канал имел двугрупповое распределение: одна группа действительно хороших кастомеров, которые приводили других хороших клиентов, и окупаемость последних была очень сильной. Если бы смотрели только на них, мы бы потратили гораздо больше на развитие реферальной программы. А другая группа потребителей была менее качественной: они размещали реферальные коды онлайн, привлекая людей, которые искали только скидки, и иногда мошенничали.
На тот момент у нас были довольно слабые правила по борьбе с мошенничеством и не было лимитов. Так что после исследования вместо того, чтобы срезать расходы на реферальный канал мы решили инвестировать в борьбу со фродом и лимитами для реферальной программы".
Мы всегда имеем дело со средними. Это вполне нормально для поверхностного взгляда на вещи – на предмет общего здоровья и динамики. Но когда вы принимаете решения (и я обязательно рекомендую поступать так всем своим клиентам и парнтерам), всегда используйте предварительную сегментацию, в том числе по когортам и другим специфическим параметрам.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
