Эту мантру я повторяю на каждом из своих воркшопов по уровням работы с конверсией. Суть в том, что слабые гипотезы при условно идентичной вероятности успеха несут в себе низкий прогнозный аплифт. То есть ROI у таких гипотез такой себе. Расти на них невозможно. Денис Мартынцев из @growhorse разложил сей постулат буквально по полочкам:
Если конверсию в 10% вы хотите увеличить на 30%, то есть довести до 13%, вам понадобится 1629 пользователей в каждой группе теста. Если вариантов два, то нужно 3258 пользователей. Легко считается на калькуляторе.
У ранних продуктов стат значимость либо будет набираться месяцами, либо понадобятся дополнительные тысячи $ на трафик.
Поэтому проверять надо гипотезы, способные давать кратный рост конверсий.
Что это за гипотезы и где их взять? Все очень просто, то есть, сложно.
Кратный рост могут давать гипотезы, предполагающие радикальные изменения. Вместо переверстки блока с отзывами на лендинге сделать полностью новый лендинг с другой структурой, другим нарративом и копирайтами. Или вместо лендинга использовать чат-бот воронку. Или минимум инфы, форму сбора лидов и продажу через личное общение.
Изменения логики, смысла и структуры могут давать кратную разницу в конверсиях. Файн тюнинг элементов или шагов воронки не может практически никогда.
В общем пока не стали букингом - не тратьте жизнь на цвет кнопки.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
