Об этом говорит Brian Chesky (CEO of Airbnb) в своём интервью для Lenny's podcast:
…К 2019 году мы тратили миллиард долларов на рекламу в AdWords. Мы не слишком инвестировали в бренд. Мы проводили огромное количество AB-тестов. На самом деле, давайте проясним этот вопрос. Мы не тестируем синий против зеленого. У нас всегда есть контрольная и тестовая группы. И иногда мы тратим время, чтобы посмотреть, как все работает. Но если мы делаем эксперимент, у нас обязательно должна быть гипотеза, что B лучше A. Нет гипотезы – мы топчемся на месте.
И это действительно большая проблема: представьте, что 10 команд проводят A/B-тесты. Представьте, если бы вы проектировали программное обеспечение так же, как вы проектируете дом, или проектировали бы дом так же, как программное обеспечение. И мы тестируем диван. И мы говорим, ну как этот диван работает? И кажется, что с этим диваном в рамках AB-теста люди проводят больше времени в гостиной, поэтому, вероятно, людям понравится эта комната больше.
Но на самом деле диван имеет отношение к тумбочкам, которые имеют отношение к лампам, которые имеют отношение к ковру или коврику, который имеет отношение к телевизору, который имеет отношение к дому и всему остальному. Поэтому нам нужно было думать обо всей системе в целом (а не о постоянных, но маленьких изменениях во множественных тестах).
И я начал осознавать это. Я спросил одного члена вашей команды: "Мне кажется, что я открываю наше приложение, и продукт не менялся уже четыре года". И этот сотрудник ответил: "Ну да, это то, как мы работаем". То есть, то как мы работали изначально (с фокусом на постоянную валидацию изменений экспериментами) в итоге сделало нас медленными…
Целиком видео можно посмотреть здесь.
Свои комментарии выделил курсивом.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
