Думаю, одно из возможных решений — это признать проблему - говорит Brian Tolkin (Head of Product at Opendoor, ex-Uber).
...Не стоит бросаться в A/B-тестирование, не проведя предварительного анализа мощности. Нужно спросить себя: получим ли мы результаты? Какой размер эффекта мы сможем обнаружить, каков срок проведения эксперимента? И крайне важно честно признаться после этого — допустимо ли это для нас?
Есть такие эксперименты, которые важны настолько, что трудно найти альтернативные способы получения сигнала. В таких случаях можно сказать: шестимесячный срок — это приемлемый результат. Мы начнём эксперимент в июне, станем умнее к планированию на 2025 год, запустим его и забудем, а потом будем благодарны за то, что провели его. И это нормально. Единственная ошибка здесь — это ожидание, что вы получите ответ через месяц, когда это на самом деле не так.
Самое главное — эксперименты про повышение вашей уверенности в проблеме или решении. Если есть участки воронки или процесса с низким трафиком, и вы не можете провести классический A/B-тест, как ещё вы можете повысить уверенность в решении, которое создаёте?
Оказывается, есть другие способы. Самый очевидный и лучший — поговорить с большим количеством клиентов. Но есть и другие методы, которые, хотя и не столь строгие, могут быть полезны. Например, можно изучить наблюдаемые данные, схожие гео или снизить мощность теста, если это приемлемый компромисс...
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
