Наш ответ Кошику.

Словно прислушавшись к накалу вчерашней дискуссии Кохави и Кошика, Илья Красинский и Юрий Борзило провели свой двухчасовый стрим про ошибки в AB-тестах. С блекджеком и практическими примерами.

Ключевые тейки из видео:

• Радикальная необходимость оптимизации конверсии. Работа по росту конверсии — это не только для компаний с проблемами в активации, но и зона роста роста для 70-80% абсолютно всех бизнесов.

• Проблема "натурального хозяйства" в аналитике. Очень часто каждый аналитик настраивает все индивидуально, "под себя", что приводит к противоречиям, ошибкам и тяжелому легаси. Это подчеркивает необходимость стандартизированных процессов и инструментов.

• Накопление технического, управленческого и аналитического долга. Со временем в компаниях накапливаются ошибки и неэффективности, которые вызывают проблемы в системах и моделях. Речь про важность постоянного улучшения и оптимизации текущих бизнес-процессов.

• Недостаточность стандартных аналитических инструментов. Стандартные методы аналитики чаще всего неверно интерпретируют расчет коэффициента конверсии. Нужно критически относиться к таким инструментам и понимать их ограничения.

• Неправильное понимание "целевой страницы". Распространенное понимание "целевой страницы" в аналитических инструментах часто неверно. Обычно это первая страница сессии, которая может не совпадать с той страницей, куда пользователь попал изначально, что искажает всю историю с acquisition-аналитикой. Это большущая зона роста.

• Ошибочное представление о воронке продаж. Традиционная воронка продаж слишком упрощена; более точная модель — это минное поле, где пользователи могут "взорваться" в любой момент. Оптимизация одного шага не гарантирует улучшения в целом.

• Проблема некорректной настройки A/B-тестов. Разбираются распространенные ошибки — например, деление пользователей на группы на основе четных/нечетных ID. Это может привести к смещенным результатам и подсвечивает важность тщательного планирования и гигиены эксперимента.

• Недостаток интереса к конверсии в компаниях. Удивительно, но во многих компаниях нет специальных ролей или команд, сфокусированных на оптимизации конверсии, несмотря на важность этого показателя.

• Необходимость непрерывного тестирования в режиме регулярных итераций. Для достижения улучшения конверсии часто требуется множество попыток и корректировок, причем первая попытка редко бывает успешной. Это означает, что компании должны принять неудачу как часть процесса и продолжать экспериментировать.

Посмотреть стрим полностью можно здесь.

Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”