Если в версии B изменились заголовок, фотография, скидка и посадочная страница, результат поможет выбрать между двумя объявлениями целиком. Он не покажет, какой именно элемент стоит повторить. Решите, на какой из этих вопросов нужен ответ, прежде чем делать варианты.
Свяжите тест с конкретным решением
Сформулируйте выбор: «Какой заголовок использовать в следующей кампании приложения для записи клиентов?» Затем выберите основную метрику. Если кампании нужны заполненные заявки, одних кликов для выбора недостаточно. Отслеживайте стоимость заявки, а её качество используйте как контрольное ограничение, если некачественные обращения делают формального победителя непригодным.
Гипотеза должна обозначать изменение: «Сообщение о сокращении пропущенных визитов даст больше заполненных заявок, чем сообщение об упрощении записи». Так дизайнер получает два сообщения для воплощения, а закупщик — сравнение для настройки. Гипотеза не обещает победу новому варианту.
Меняйте одну запланированную переменную за раз
Для сравнения заголовков сохраните одинаковыми изображение, предложение, призыв к действию, адрес перехода, определение аудитории и размещение. Внесите точные тексты контрольного и нового вариантов в матрицу вариаций вместе с файлами, где они реализованы. Дизайнер не должен гадать, входит ли замена изображения в бриф.
Используйте инструменты экспериментов рекламной платформы, если они дают нужное распределение, и изучите, как эксперимент назначает показы. Совместный запуск двух объявлений сам по себе не обеспечивает сопоставимые условия. Если одно работало на прошлой неделе, а другое — во время акции, считайте отчёт наблюдением с этими оговорками; изолировать влияние заголовка он не позволяет.
Задайте условия оценки и остановки
До запуска назначьте дату оценки и требования к объёму показов или результатов, подходящие эксперименту. Используйте его документированные правила остановки и оценки неопределённости вместо универсального выдуманного числа конверсий. Также определите минимальную разницу, которая изменит решение о закупке или производстве; небольшой кажущийся прирост может не оправдать замену проверенного материала.
Предусмотрите досрочную остановку при сломанной ссылке, неверном предложении, сбое отслеживания или недопустимых расходах. Это рабочие причины остановки, а не доказательство победы другого креатива. Фиксируйте изменения во время теста: замена заголовка на полпути меняет предмет сравнения.
Оценивайте результат в контексте
Читайте основную метрику вместе с контрольным ограничением. В условном примере B приносит более дешёвые заявки, но гораздо меньшая их доля подходит по качеству. Если задача кампании — квалифицированные обращения, одной низкой стоимости привлечения недостаточно для масштабирования B.
Прежде чем назвать победителя, проверьте неопределённость эксперимента и отчёт о показах. Различайте три решения: принять вариант, оставить текущий из-за отсутствия полезной подтверждённой разницы или повторить тест из-за нарушенного сравнения. Неопределённый результат не доказывает равную эффективность объявлений.
Ограничьте вывод проверенными аудиторией и размещением. Неожиданная картина в сегменте может подсказать следующий тест; она не должна незаметно подменять исходный вопрос.
Запишите план в пяти строках
Скопируйте запись в бриф кампании и замените примеры:
- Решение: Выбрать заголовок для следующей кампании в ленте на новую аудиторию.
- Гипотеза: Меньше пропущенных визитов против более простой записи; точные согласованные тексты и ID вариантов приложены.
- Сравнение: Одинаковые определение аудитории, размещение, предложение, изображение и адрес перехода; есть ссылка на настройку эксперимента.
- Метрика: Стоимость заполненной заявки с качеством заявок как контрольным ограничением.
- Оценка: Указаны ответственный, дата оценки, требования к данным и рабочие условия остановки.
После оценки добавьте результат и действие, которое он обосновывает. Если речь о падении действующей кампании, а не о запланированном сравнении, начните с признаков усталости креатива.
