Тестирование гипотез в контекстной рекламе

Из этой статьи вы узнаете, как применять методологию роста в контекстной рекламе, как сделать процесс проверки гипотез постоянным и эффективным и как правильно оценивать результаты проведенного тестирования.

Еще несколько лет назад фразу «тестирование гипотез» или «конвейер гипотез» применительно к PPC-маркетингу можно было услышать только в среде молодых компаний-стартапов. И это вполне логично: бизнес-модель стартапа подразумевает выход на рынок с новых продуктов, то есть маркетологам в таких проектах приходится аккуратно, но методично прощупывать почву в поисках эффективных каналов привлечения трафика.

Однако маркетинговые инструменты за последние годы сильно изменились: в них значительно расширился функционал, появились совершенно новые каналы привлечения (например, Telegram Ads, TikTok Ads и другие), углубились возможности веб- и мобильной аналитики, появилось множество инструментов автоматизации рекламы, в том числе с использованием нейросетей, наконец, сильно увеличилась конкуренция в digital-рекламе. Все это приводит к тому, что работа специалиста по платной рекламе становится менее скриптованной и шаблонизированной, и сейчас она уже не похожа на привычную схему «собрали семантику → кластеризовали → написали шаблонные объявления → запустили рекламу → получили лиды: конец, теперь долгое время можно ничего не менять».

Современный PPC-маркетолог вынужден тестировать самые разные связки отдельных инструментов и связки различного функционала внутри одного инструмента – и таким образом находить максимально эффективные их сочетания. Именно поэтому в рамках работы, например, с контекстной рекламой сегодня уже вполне уместно говорить о постепенной трансформации обычного PPC-маркетинга в Growth-маркетинг, то есть в процесс постоянного тестирования гипотез, который позволяет «взломать» рост и найти наиболее эффективные инструменты продвижения. Отсюда и второе название данной методологии – Growth-Hacking (от англ. hack – взламывать).

Не будем спешить и сразу бросаться в изучение growth-маркетинговых подходов. Перед началом внедрения в свою работу данной методологии важно разобраться в терминологии и понять, в чем же разница между инсайтом, идеей, гипотезой и задачей.

При анализе работы маркетинговых кампаний, контекстолог может столкнуться с тем, что принято называть "инсайтом" – это внезапное «озарение» или открытие каких-то новых фактов, новый взгляд на текущую ситуацию и проблему. Например, специалист видит, что несколько ключевых фраз из семантического ядра работают существенно лучше других.

Далее специалист формирует идеи:

• Такая разница в эффективности должна быть чем-то обусловлена;
• Мы должны максимально глубоко проработать связанный с этим фразами кластер семантического ядра и масштабировать его.

Разница идеи и инсайта состоит в том, что инсайт – это столкновение с каким-то фактом, который не был нам ранее известен. Идея же – это преобразование этих фактов в какие-то дальнейшие возможности и действия, которые могут повысить эффективность работы рекламы. Но у идеи нет никаких конкретных атрибутов.
Идея становится конкретной, когда она формулируется в виде гипотезы. У гипотезы всегда есть:

1. Статистическое обоснование (например, отчет из рекламного кабинета, на основе которого сформулирована гипотеза);
2. Есть действие – то есть непосредственно то изменение, которое мы тестируем;
3. Есть прогноз результата, то есть оценка влияния этого действия на эффективность рекламы.

С учетом всех трех указанных выше компонентов, оптимально формулировать гипотезу следующим образом:

В случае нашего с вами примера-инсайта гипотеза может звучать примерно так:
На основании данных из Мастера отчетов Яндекс Директ, ключевая фраза «купить товар 1» работает на 30% лучше других поисковых фраз. Если мы соберем полную семантику по этой фразе, то сможем получить дополнительно N заказов в неделю по M рублей.

Наконец, когда гипотеза корректно сформулирована, ее можно трансформировать в задачи. Задачи – это конкретные действия, которые необходимы для проверки гипотезы:

1. Собрать ключевые фразы из кластера «купить товар 1»;
2. Составить поисковые объявления для тестовой группы;
3. Настроить отчеты по тестовой группе объявлений и т.д.

Из этой классификации следует важный вывод: хороший маркетолог следует не за идеями, он проверяет гипотезы. Схематично отличие двух подходов можно изобразить следующим образом:

Очевидно, что первый вариант действия является некорректным, потому что он связан с формированием выводов на основе ощущений, а не на основе конкретных цифр, фактов и статистики.

Пример:

Допустим, по фразе клик стоит 50 рублей, она приносит конверсию на каждые 50 кликов, то есть CPL по фразе 50*50=2500 рублей. И посмотрим на другую фразу, клик по ней стоит 10 рублей, а конверсия приходится на каждые 500 кликов. CPL будет 10*500=5000 рублей. Выходит, что дешевая по кликам фраза нам в два раза менее выгодна.

Итак, мы можем перейти непосредственно к практике работы с идеями и гипотезами.

Процесс выстраивания процесса постоянного тестирования начинается с формирования бэклога идей. В процессе работы с контекстной рекламой, анализа инструментов веб-аналитики вы всегда будете формировать определенные идеи по тому, как повысить эффективность рекламного канала. Если такие идеи требуют проверки в виде теста — сразу же заносите их в свой бэклог!

Мы рекомендуем вести его в виде отдельного рабочего пространства. Это может быть отдельная доска в вашем таск-трекере, отдельный документ в Google Sheets, файл на компьютере или расширение для браузера — формат не так принципиален. Но важно, чтобы это хранилище было удобным с точки зрения сбора идей и их дальнейшей реализации.

Следующий этап — трансформация идей в гипотезы. Важно отметить, что не все идеи должны сразу трансформироваться в гипотезы: для этого существует сортировка и приоритизация, которая, чаще всего, основывается на достаточности источников данных. Например, если идея подтверждается несколькими объективными источниками (счетчики веб-аналитики, данные из CRM и рекламных кабинетов и т. д.), то работа с ней обычно должна иметь более высокий приоритет, чем обработка гипотезы, основанной, например, на субъективной экспертной оценке одного специалиста.

Выше мы уже упоминали шаблон, с помощью которого идея формулируется как гипотеза. Поговорим и о том, как формулировать ожидаемый результат от тестирования.

Прогнозирование результата непосредственно связано с методологией SMART и так называемыми «пиратскими метриками», или воронкой AARRR.
Использование метрик AARRR при формировании гипотезы означает необходимость сформулировать, к какому из этапов воронки относится наша гипотеза:

• Привлечение (Acquisition) – сюда можно отнести гипотезы, которые направлены на увеличение CTR или проверку новых таргетингов;
• Активация (Activation) – гипотезы активации пользователей, то есть стимулирования активных действий: оставленный лид/заявка, регистрация/авторизация и т.д.;
• Выручка (Revenue) – гипотезы, направленные непосредственно на монетизацию клиента, то есть покупку товара/подписки/услуги;
• Удержание (Retention) – гипотезы возвращения пользователя для повторных покупок;

Рекомендации (Referral) – стимулирование рекомендации сайта, приглашения друзей через реферальную программу и т.д.

Определение этапа воронки необходимо для понимания метрик, которые являются целевыми в гипотезе. Вот некоторые примеры:

• Acquisition – CTR, количество пользователей
• Activation – количество регистраций, конверсия в регистрацию
• Revenue – количество покупок, выручка
• Retention – Retention Rate, выручка с повторных покупок
• Referral – количество новых пользователей по реферальной программе, выручка от рефералов

При определении метрик, которые будут являться целевыми в гипотезе важно помнить следующее:

Например, проверяя новые заголовки в тексте объявления, вы можете очень косвенно влиять на этап Revenue, однако вы напрямую влияете на этап Acquisition. Соответственно, метрику вроде CTR мы проверяем в рамках гипотез Acquisition, это ближайший этап воронки;

Вы также можете добавить в гипотезу дополнительные метрики, однако они должны носить вспомогательный характер. Если гипотеза провалилась по целевой ближайшей метрике, то мы не можем считать ее успешной, даже если по дополнительным метрикам мы видим увеличение эффективности.
Однако описанная выше ситуация может и должна стать основанием и источником данных для новой гипотезы. Начав процесс постоянной проверки гипотез, вы заметите, как многие из них будут связаны друг с другом – процесс их трансформации и углубления похож на распутывание клубка в поисках оптимального маркетингового решения.

Итак, мы уже нашли источник данных для гипотезы, мы сформировали из идеи конкретное действие и нашли целевые метрики с помощью воронки AARRR. Давайте закончим формулирование целей гипотезы с помощью проверки ее соответствия методологии SMART. Это аббревиатура, которая включает в себя следующие компоненты постановки целей:

• Конкретная (Specific) – цель должна быть конкретизирована, например «увеличение трафика»;
• Измеримая (Measurable) – цель должна быть измеримой, например «увеличение трафика на 1000 пользователей в неделю»;
• Достижимая (Achievable) – цель должна быть достижимой, то есть постановщик должен понимать, что она реальна и что существуют конкретные способы ее достижения;
• Значимая (Relevant) – цель должна быть для нас значимой, то есть она должна соответствовать общим целям бизнеса;
• Ограниченная во времени (Time-bound) – мы не должны проверять гипотезу вечно. У нее должны быть указаны конкретные временные рамки или числовые критерии достижения статистически значимых данных.

Отметим, что пытаться вместить все атрибуты и особенности гипотезы в одну фразу нет необходимости. Чаще всего гипотеза формулируется в виде «Если мы сделаем …, то получим …», а далее в ее описании раскрывается:

1. Источник данных
2. Этап воронки
3. Макеты и примеры
4. Метрики
5. Сроки

Если вы думаете, что на данном этапе уже можно идти и проверять гипотезу – у нас для вас плохие новости. Описанный выше процесс формулирования гипотезы уже сам по себе может показаться громоздким – однако после нескольких недель практики он будет занимать у вас не более 20-30 минут, мы это гарантируем.

Полезная информация:
Среди growth-маркетологов считается, что от момента начала трансформации идеи в гипотезу и до запуска ее тестирования должно проходить не более ~6 часов чистого рабочего времени. Если запуск гипотезы занимает больше времени, то ее либо можно декомпозировать на более мелкие, либо уровень ожиданий и уверенности в ней должен быть очень высок.

После завершения оформления гипотеза должно проходить через этап критики и приоритезации.
Под критикой гипотезы понимается обязательный процесс ее оценки как минимум еще одним специалистом. Оптимально, если критикующих специалистов будет 2-3, а процесс будет выстроен в виде короткой защиты гипотезы постановщиком перед коллегами. Этот процесс важен, так как постановщик получает другой взгляд на ситуацию и может скорректировать гипотезу таким образом, чтобы увеличить шансы на успех либо избежать проверки некорректных гипотез.

Следующий этап – приоритизация – наступает, когда гипотеза согласована и попадает в бэклог тестирования. Приоритизация нужна, чтобы в первую очередь тестировать те гипотезы, которые могут принести наибольшую эффективность в кратчайшие сроки.

Одной из наиболее популярных методик приоритезации является (R)ICE. Суть ее состоит в оценке от 1 до 10 следующих показателей:

• Влияние (Impact) – влияние на главные метрики бизнеса (10 – максимум влияния);
• Уверенность (Confidence) – уверенность в успехе гипотезы (10 – максимальная уверенности);
• Усилия (Effort) – необходимые ресурсы на тестирование гипотезы (10 – максимальные ресурсы на тестирование).

Дополнительным компонентом в данном скоринге может являться Охват (Reach), то есть оценка того, какой объем пользователей из общего количества затронет тестируемое нововведение. Обычно наличие этого компонента больше характерно для продуктовых гипотез.
Далее рассчитываем финальную оценку RICE для каждой гипотезы по следующей формуле:

Наконец, настало время запускать наше тестирование.

В данном пункте мы не будем останавливаться на всех технических тонкостях запуска проверки гипотез, а лишь дадим некоторый ориентир того, какие инструменты могут оказаться для этого максимально простыми и полезными.

Для тестирования различных настроек рекламных кампаний подойдут встроенные в рекламные кабинеты инструменты для сплит-тестов, например, Эксперименты в Яндекс Директ. Работа с ними выглядит следующим образом:

1) Формируем гипотезу по изменению одного параметра в рекламной кампании.
2) Настраиваем цели в Яндекс Метрике, чтобы корректно отследить влияние изменения.
3) Создаем эксперимент в Яндекс Аудиториях.

4) Даем ему название, подключаем счетчик Метрики, регулируем, как будет разделяться трафик между вариантами тестирования.

5) Копируем исходную кампанию, меняем в ней необходимый параметр, подключаем к эксперименту исходную и тестовые кампании в настройках.

6) Запускаем все кампании и дожидаемся накопления данных.

Для тестирования изменений на сайте можно использовать следующие внешние инструменты:

• Google Optimize – бесплатный инструмент от Google, который в привычном виде перестанет существовать 30 сентября 2023 года, в качестве альтернативы компания обещает развивать инструменты а/б-тестирования в GA4;
• Optimizely – одна из популярнейших альтернатив Google Optimize с расширенным функционалом;
• Kameleoon – сервис для тестирования, одна из ключевых особенностей которого – это наличие интегрированных ML-моделей, которые обучаются и умеют предсказывать вероятность целевых действий;

Visual Website Optimizer – продвинутый инструмент с собственным редактором, рекомендациями по изменению элементов на основе ИИ, возможностью подключения приложений и т.д.

Пожалуй, самый непростой момент – это правильно оценить и интерпретировать результаты тестирования гипотезы.
Нельзя просто взять и протестировать определенную гипотезу в течение 1-2 недель и сделать вывод вида «мне кажется, что вариант А работает лучше». Такой вывод основан на ощущениях, а не на статистике и математике, что фундаментально противоречит data-driven подходу.

Но как в таком случае оценить достаточность данных для выводов во время проверки гипотезы или как оценить необходимый объем выборки до начала ее тестирования?

На самом деле все очень просто и на помощь маркетологу приходит любой онлайн-калькулятор статистической значимости. Зачастую в них есть две опции:

1) Расчет размера необходимой выборки

От маркетолога требуется указать достоверность и мощность (стандартными значениями являются 95% и 80%), текущее значение метрики и ее ожидаемый прирост. В результате калькулятор отдает необходимый размер выборки для каждого из вариантов тестирования. Таким типом калькулятора удобно пользоваться при планировании тестирования.

2) Расчет результатов проведенного тестирования

В данном случае указываем полученное количество целевых действий и размеры выборки, а также желаемую достоверность – в результате получаем вывод о наличии или отсутствии статистически значимого различия. Этот калькулятор позволяет оценить результаты по уже собранным в рамках тестирования данным.

Онлайн-калькуляторы статистической значимости – это максимально простой и удобный способ «оцифровать» любое тестирование.

Итак, мы с вами прошли короткий путь от формирования идеи к полноценному конвейеру проверки гипотез с получением достоверных результатов.

Завершим нашу статью прогнозом о том, в какую сторону в ближайшее время будет меняться работа классического специалиста по контекстной рекламе.
Мы абсолютно уверены, что искусственный интеллект на данном этапе своего развития не заменит живого контекстолога еще как минимум 3-5 лет. Однако работа PPC-маркетолога будет требовать наличия еще большего числа необходимых компетенций.

Если несколько лет назад от контекстолога требовалось только доскональное знание функционала рекламных кабинетов, то сейчас большинство компаний ищет специалиста, который умеет уверенно работать с веб-аналитическими инструментами – причем не просто на уровне построения кастомных отчетов, а также и на уровне самостоятельной настройки счетчиков, разметки сайта событиями и целями, кастомизации веб-аналитики и даже построения простейшего сквозного анализа.

Мы уверены, что в ближайшие годы к этому прибавится необходимость быть не просто специалистом по рекламе, но и иметь мышление growth-маркетолога. Вот, что мы понимаем под этим:

• способность анализировать много данных и формировать из них идеи;
• уметь выстраивать непрерывный процесс формулирования и запуска гипотез;
• обладать техническими навыками работы с инструментами тестирования;
• уметь взаимодействовать с другими членами команды и формировать мини-юниты для проверки гипотезы (с разработчиками, дизайнерами, продуктовыми менеджерами и т.д.);
• понимать, что такое статистическая значимость результатов тестирования и формировать выводы, основываясь только на цифрах, а не на ощущениях.

Мы не сомневаемся, что в ближайшие годы growth-маркетинг окончательно перестанет быть методологией, которую используют только стартапы и молодые компании. Не теряйте время и начните работать с гипотезами на своих проектах уже сейчас, чтобы не отставать от быстро растущего рынка PPC-маркетинга.