Вижу AB-тест на CTR - хватаюсь за сердце.
Вину тому - природа метрики. Из-за того, что CTR представляет из себя ratio-метрику (соотношение чего-то к чему-то), применить какой-то статистический критерий из коробки будет ошибкой. В первую очередь из-за нарушения независмости наблюдений в выборке.
Показы и клики в ваших экспериментах на CTR относятся разным сущностям (пользователям). Поэтому сравнение средних, пропорций и прочего является ну очень большим допущением. AB-тесты на ratio-метрики всегда предполагают какую-то магию перед анализом: например бутстрэп или так называемый дельта-метод.
Очень доступно и с примерами разобрал этот вопрос Павел Мосин из Сбермаркет. Вот его статья на Хабре.
Больше о работе с данными в продукте и маркетинге есть в Телеграм-канале "Модель атрибуции”
