Коэффициент конверсии — краеугольная метрика. Очень хороший знак, если вы оперируете не просто циферкой, а показателем конверсии вкупе с доверительным интервалом. И вот почему:
1. Более точные решения: доверительный интервал показывает диапазон, в котором, скорее всего, находится истинный уровень конверсии. Это добавляет смысла в ваши решения по поводу перераспределения бюджета.
2. Сравнение разных кампании или сегментов: доверительный интервал позволяет перевести разговор из плоскости "больше-меньше" в контекст статистической значимости разницы.
3. Реалистичные ожидания: узкий доверительный интервал указывает на то, что ваша оценка конверсии точная, в то время как широкий интервал скорее говорит о неопределенности и необходимости повторной оценки на большем объеме трафика. Это помогает вам управлять ожиданиями.
Посчитать доверительный интервал для значимости в 95% очень легко – воспользуйтесь формулкой на картинке в комментарии.
Но:
Такой расчет базируется на z-test'е пропорций, который требует независимости наблюдений. Иначе говоря: убедитесь, что вы как минимум считаете конверсию по пользователям, а не сеансам или тем более кликам.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
