Данные в продукте и маркетинге – это просто сигнал. Пусть и более откалиброванный, чем другие. Все что нужно делать с сигналом – это взвешивать при принятии решения, а не делиться с ним персональной ответственностью. Зеленый AB-тест можно и не катить на прод, если вы уверены, что к улучшениям это не приведет.

Писатель и бывший инженер Девон Эриксен в своем Твиттере знатно прошелся по склонности бездумно искать в данных ответы на все возможные вопросы:

Существует особый тип идиотизма, свойственный людям, которые научились применять математические модели механически, но не способны задуматься о философских предпосылках, необходимых для того, чтобы связать эту модель с реальностью хоть сколько-нибудь осмысленным образом. Любой, кто когда-либо посещал курс физики в университете, знаком с этим подходом, начинающимся с фразы: «Для упрощения предположим, что курица имеет форму сферы».

Это не проблема на экзамене по физике. Там от вас требуется лишь продемонстрировать знание алгоритма решения задач, воспроизводя то, что профессор сделал при составлении теста. Никому не важно, соответствует ли ваш ответ реальному количеству куриц, которые можно разогнать до скорости, необходимой для выхода на орбиту, или чему бы то ни было ещё.

Вы получаете тот же ответ, что и профессор, и проходите тест.

Проблемы начинаются, когда вы заканчиваете учёбу и пытаетесь применить этот математический подход в реальном мире. Сложность решения реальных задач с помощью математики заключается не в самом вычислении. Главная сложность — это перевод реальности на язык математики. Когда вы выходите из университета с дипломом, подтверждающим, что вы умеете находить готовые ответы, следовать заданным алгоритмам и иногда посещать занятия, вы горите желанием использовать свои математические инструменты. Эй, вы же изучали статистику и дифференциальные уравнения! Вы знаете, как «прогнозировать» вещи.

Прогноз — это не предсказание. Всё, что по-настоящему может дать математическое продолжение тренда, — это понимание текущей тенденции. Оно говорит вам, что произойдёт, если ничего не изменится. Это просто инструмент визуализации. Потому что тренды и реальность, в которой они существуют, не остаются неизменными.

Любая сложная система содержит механизмы обратной связи. Результаты влияют на исходные данные, которые их породили. Например, если исключить иммиграцию, это не только не стабилизирует уровень рождаемости, но, возможно, прямо изменит его. Или окажет влияние на другие факторы, которые его определяют.

Прогноз — это не предсказание. Курица — не сфера. Даже если вам очень хочется, чтобы она была таковой, чтобы уравнение стало проще.

Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”