Измерение истинного эффекта рекламных кампаний: настройка Incrementality Testing в Adjust

Введение: зачем нужен incrementality testing

В современном маркетинге всё чаще сталкиваются с задачей понять, приносит ли рекламная кампания реальную дополнительную ценность (incremental value) или вы просто платите за действия, которые бы произошли и без неё. Incrementality testing (тестирование приращения) — методология, позволяющая отделить истинный эффект кампании от органических конверсий и атрибуционных ошибок.

Что такое incrementality testing и почему Adjust подходит для этого

Incrementality testing в контексте мобильной аналитики — это эксперимент, в котором часть пользователей сознательно включается в рекламное воздействие (тестовая группа), а другая часть — исключается из него (контрольная группа). Сравнивая поведение групп, можно оценить приращение ключевых метрик: установок, покупок, LTV и т. п.

Adjust предоставляет инструменты медиатрекинга, атрибуции и удержания, которые можно интегрировать в экспериментальную схему для получения корректных и воспроизводимых результатов. Платформа позволяет собирать события, сегментировать аудитории и аггрегировать данные, что делает её удобным вариантом для проведения incrementality testing на мобильных продуктах.

Ключевые концепции перед началом теста

• Контрольная группа: пользователи, которые специально не подвергаются рекламному воздействию.
• Тестовая группа: пользователи, которые видят рекламу/кампанию.
• Randomization (рандомизация): случайное распределение пользователей по группам для нивелирования систематических смещений.
• Sample size (объём выборки): достаточный объём нужен для статистически значимых выводов.
• Primary KPI: заранее выбранная метрика, по которой оценивается приращение (установки, покупки, доход).
• Window (окно наблюдения): период, в течение которого собираются события после экспозиции.

Шаги настройки incrementality testing в Adjust

1. Определить гипотезу и KPI

Прежде чем настраивать техническую часть, команда должна сформулировать чёткую гипотезу: что именно тестируется и какие метрики будут оцениваться. Например:

• Гипотеза: Медийная кампания в сети X увеличит количество платящих пользователей на 15% в течение первых 14 дней после показа.
• KPI: конверсия в платящего пользователя (purchase conversion rate) и средний доход на пользователя (ARPU) за 14 дней.

2. Спланировать дизайн эксперимента

Необходимо выбрать уровень рандомизации (пользователь, устройство, IDFA/GAID) и размер выборок. Типичные варианты:

• Split-test (шаблон “holdout”): часть трафика не получает рекламу.
• Geo-holdout: контрольные и тестовые регионы — удобно для крупных кампаний и снижения утечек кросс-каналов.
• Audience-based holdout: вырезать определённые сегменты из таргетинга.

3. Настроить контроль и тест в Adjust

В Adjust это делается через следующий набор действий:

1. Создать кампанию для тестовой группы и пометить её соответствующим идентификатором (имя кампании/tracking link).
2. Для контрольной группы организовать holdout — это может быть:
   • создание “fake” кампании без креативов, на которую будет направляться часть трафика, или
   • использование внешнего механизма (DSP/адсервер) для исключения части пользователей из показа и передачи этой информации в Adjust с кук/идентификаторов как “control”.
3. Убедиться в корректной передаче событий установки и in-app событий для обеих групп (Adjust SDK должен фиксировать одинаково для всех пользователей).

4. Обеспечить рандомизацию и минимизировать утечки

Ключевой риск — cross-contamination, когда пользователи из контрольной группы всё равно видят рекламу или получают влияние через другие каналы. Рекомендации:

• Использовать серверный или DSP-level holdout для надёжной блокировки показов.
• Присвоить явные метки (labels) в Adjust для каждого пользователя/сегмента.
• Мониторить overlap между аудиториями (Adjust предоставляет аудит- и audience-инструменты).

5. Настроить события, окна и атрибуты

Определите, какие in-app события нужны (registration, tutorial_complete, purchase). Задайте окно наблюдения (например, 14 или 28 дней) и фиксируйте как кумулятивные, так и ежедневные метрики для анализа динамики.

6. Собрать и проверить данные

Перед стартом массового теста сделайте пилот на небольшом объёме и проверьте:

• корректность передачи install- и event-postbacks;
• правильную сегментацию control/test;
• отсутствие систематической разницы в базовых метриках между группами на момент старта (проверка баланса демографий, устройств и др.).

7. Анализ результатов

Классический подход: сравнить KPI в тестовой и контрольной группе и оценить статистическую значимость. Шаги:

1. Собрать необработанные значения по каждому пользователю или агрегированные по дню/сегменту.
2. Посчитать относительное приращение: (KPI_test — KPI_control) / KPI_control.
3. Оценить p-value и доверительные интервалы (95%).

Пример практического сценария

Компания-разработчик игры запустила кампанию в DSP. Требуется понять, насколько кампания привлекает новых платящих игроков сверх органики.

Результаты из Adjust (агрегированно):

Расчёт приращения: (6.0% — 5.0%) / 5.0% = 20% приращения по конверсии. При статистической проверке p-value = 0.01 → результат значим.

Статистические и практические замечания

• Смещение из-за нерандомизированного трафика — одна из главных угроз валидности. Всегда проверяйте баланс с помощью предварительных covariate checks.
• Множественные тесты и сабсегменты требуют коррекции на множественную проверку (например, Bonferroni или более грубая интерпретация результатов).
• Промежуточная остановка эксперимента повышает риск ложноположительных результатов — используйте доктрины для interim analysis (alpha spending).
• Важно оценивать не только коррелированные метрики (установки), но и реальные бизнес-метрики (выручка, retention).

Пример вычисления мощности теста (power analysis)

Если ожидаемая относительная разница в конверсии 20% (как в примере), при базовой конверсии 5% и желаемой мощности 80% при α=0.05, потребуется примерно 20–30k пользователей на группу. Конкретные расчёты зависят от дисперсии и выбранного KPI.

Инструменты Adjust, полезные для incrementality

• Сегментация аудиторий и audience labels — для явной маркировки control/test.
• Event tracking — сбор необходимых in-app событий и revenue events.
• Raw Data Export — получение детализированных событий для внешнего анализа и проведения статистических тестов.
• Attribution windows и postback настройки — для корректной синхронизации данных с DSP/Ad partners.

Типичные ошибки и как их избежать

• Ошибка: использовать слишком маленькие выборки. Решение: провести power analysis заранее.
• Ошибка: допускать overlap между группами через несколько устройств. Решение: использовать device-level holdout и проверять overlap метрики.
• Ошибка: полагаться только на Adjust-дашборды без raw data. Решение: экспортировать данные и валидировать расчёты в BI/статпакете.

Рекомендации автора

«Лучший подход к incrementality — комбинировать техническую дисциплину (строгая рандомизация и отсутсвие утечек) с бизнес-контекстом (фокус на доходе и retention), а не только на установках. Adjust — мощный инструмент, но качество решения зависит от дизайнa эксперимента и взаимодействия с медиапартнёрами.»

Контрольный чек-лист перед запуском теста

1. Сформулирована гипотеза и выбраны KPI.
2. Проведён power analysis для определения объёма выборки.
3. Настроены кампании/holdout на стороне DSP и помечены в Adjust.
4. Проверена корректность передачи событий и revenue.
5. Протестирован пилотный запуск на небольшой выборке.
6. Определено окно наблюдения и правила анализа данных.

Быстрый пример рабочего процесса (workflow)

• День -14: планирование и power analysis.
• День -7: настройка аудитории и кампаний в Adjust; создание control holdout через DSP.
• День 0: старт теста.
• День 1–28: сбор данных, мониторинг overlap и стабильности передачи событий.
• День 29–35: анализ, расчёт приращения, оценка значимости, выводы.

Заключение

Incrementality testing — критически важный инструмент для маркетологов, стремящихся оценить истинный вклад рекламных инвестиций. Adjust предоставляет необходимые возможности для реализации таких экспериментов: сегментация, сбор событий и экспорт сырых данных. Успех теста зависит не только от платформы, но и от качества дизайна эксперимента: правильной рандомизации, достаточного объёма выборки, контроля утечек и фокуса на бизнес-метриках.

Практический итог: планируйте тест заранее, убедитесь в технической готовности (SDK, postbacks, labels), проводите пилоты и опирайтесь на статистику при принятии решения по масштабированию кампаний.

Краткий список действий сейчас

• Провести power analysis для текущих KPI.
• Настроить аудитории и holdout в DSP и пометить в Adjust.
• Запустить пилот, экспортировать raw data и валидировать метрики.
• После подтверждения — масштабировать и внедрять learnings в медиа-стратегию.