Утверждает Авинаш Кошик.
В последней статье своего блога он смело раскритиковал методику проверки гипотез с помощью контролируемых экспериментов. Он отметил, что отказался от A/B-тестов в 2012 году. И заголовок поставил такой же броский: "Прекратите экспериментировать!". В качестве двух стратегических недостатков A/B-тестов он буквально привел следующие:
1. Для расчета A/B-тестов в 2025 году по-прежнему используются данные ласт-клик-атрибуции.
2. Пользователи чаще проверяют мелкие и незначительные идеи, итоговый импакт которых незначителен и нивелируется так называемым парадоксом Симпсона.
Оба этих утверждения, мягко говоря, озадачивают. Основной контент был раскрыт в платном ньюслеттере Кошика, на который я к сожалению не подписан. Отрадно, что есть менее прижимистые аналитики. Например, Ron Kohavi, который опубликовал целый документ с ответом на эту публикацию.
Ключевая претензия Кохави к Кошику (с которой я в общем-то согласен) в том, что последний критиковал не саму методологию, а конкретные ошибки в экспериментах. Например:
“Чаще всего A/B тесты применяются для визуальных изменений: расположение кнопок, цвета, изображения и т.д.”
“A/B тестирование требует много времени.”
“Взаимодействия между тестами создают эффект, который сложно контролировать.”
Аргументы для отказа от A/B-тестов, конечно, так себе.
Есть ощущение, что Кошику имело смысл проконсультироваться у коллег (тех, что не бросили эксперименты в 2012), прежде чем публиковать такие кричащие заголовки. Коллеги был рассказали ему про приоритизацию гипотез, работу с дисперсией, методику слоев, sequential testing, cuped и другие чудеса науки.
Весь док с ответом Кохави и комментариями доступен здесь.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
