История стара как мир – брендовые кампании являются гордостью перфоманс-лида поскольку показывают идеальную экономику. Настолько идеальную, что рука не поднимается проверить, сколько мы таким образом отъедаем у условно бесплатной органики. Между тем проверить инкрементальную (добавочную) ценность брендовых кампаний в контексте достаточно просто. Мне известны как минимум два способа:

1. Довольно топорный, но самый популярный исходя из того, что можно найти в сети – проверка ITR (Incremental Traffic Ration). Делается следующим образом:

- включаем наши брендовые кампании "шахматкой" (день работает – день не работает – или то же самое по часам);

- замеряем изменение трафика в срезе "органика + бренд" по следующей формуле:

ITR = (NВКЛ - NВЫКЛ) * 100 / С, где

NВКЛ – трафик "органика + бренд" в период, когда брендовые кампании были включены;

NВыКЛ – трафик "органика + бренд" в период, когда брендовые кампании были выключены;

С – весь брендовый трафик с контекста.

Интерпретация:

ITR > 0% – брендовый контекст приносит дополнительный трафик;

ITR < 0% – так называемая деструктивная каннибализация.

Плюс у методики один – это позволяет быстро увидеть дает ли брендовый контекст хоть какой-то прирост трафика.

Минусы методики:

дает helicopter view только лишь (как правило) на разбег в трафике;

не учитывает отложенного спроса;

не учитывает значимости разницы.

2. Более добротный. Контролируемый AB-тест:

- изолируем тест от контроля ("органика + бренд" против "только органика", то есть используем ту же шахматку / гео-сплит или другой адекватный аналог);

- выдерживаем сплитование дабы сгладить "сезонные" флуктуации (будни-выходные, цикл принятия решения и так далее);

- собираем данные о конверсиях / выручке в разрезе конкретных пользователей;

- применяем уместный стат критерий для расчета значимости разницы.

Плюс – "честная" оценка наличия / отсутствия разницы.

Минус – отсутствие учета конкурентного окружения и возможной упущенной выгоды.

Существуют и другие способы оценки инкрементальности, с которыми я знаком более или менее:

Uplift-моделирование c популярными библиотеками на Python и R – хорошие примеры от Ирины Елисовой тут;

Инструменты рекламных кабинетов – например Facebook Conversion Lift.

Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”