Открываем отчёт: конверсия С1+5%. Дальше открываем шампанское:
«Фича зашла!»
«Наверное, письма!»
«Сезонка?»
«Или акция?..»
Команда довольна.Аналитик — растерян и трезв. Он не знает, что именно сработало. А значит — этот праздник как минимум не реплицируем..
Проблема?
Изменений было много и сразу:
• новая фича,
• рассылка,
• акция,
• редизайн,
• религиозный праздник.
Метрика выросла, но без понимания причины — это не рост, а неуправляемая случайность.
Регулярная практика – выкатить кучу неразмеченных изменений и получить мощный рост в метриках. На два дня. Что дало результат — неясно. Метрика есть. Выводов — нет.
Сам по себе рост – круто! Но без понимания причинно-следственных связей этот рост не масштабируем. То есть ничем не отличается от случайной поломки отчетов. Есть аплифт, но нет новых знаний.
Что делать?
1. Одна гипотеза — одно изменение. Не «улучшаем всё», а чётко: «растим конверсию в повторную покупку».
2. Один тест — одна гипотеза. Иначе — хаос и ошибки расчета.
3. Размечать все, сразу и заранее. Создавать отдельные таски на разметку и ретроспективную оценку эффективности.
4. В анализе максимально изолируем выборки. Смотрим не «среднюю температуру», а перформанс конкретного сегмента.
Рост без понимания — как подарок без подписи: приятно, но непонятно, кому сказать спасибо. И когда ждать следующего
Аналитика — это не про радоваться зеленому графику. Это про понимать, что дало результат — и иметь возможность это повторить.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
