17-19 декабря 2019  V Конференция-интенсив
Управление BRAND & DIGITAL. Пошаговые инструкции

В профессиональной жизни маркетолога есть всего два состояния:

что-то работает, но не приносит результат — нужно сделать лучше;

что-то работает, приносит результат, но все равно хочется сделать лучше.

И в том, и в другом специалист должен понимать, что же стоит усовершенствовать, и не окажется ли новая версия хуже предыдущей. Чтобы проверить свои теории, маркетологи используют сплит-тестирование или его частный случай — A/B-тестирование.

Что такое A/B-тестирование?

A/B-тестирование — это маркетинговый метод, который позволяет проверить эффективность гипотез, сравнить два элемента (если сравнивают больше двух, уже говорят о сплит-тестировании) и выбрать наиболее эффективный из них.

Суть теста в том, что пользователи будут видеть разные варианты страниц, писем, объявлений и, соответственно, по разному на них реагировать. Побеждает в итоге вариант, который покажет лучшие результаты. Тестировать и улучшать в маркетинге можно, пожалуй, что угодно.

На посадочной странице: разные варианты призыва к действию, формы сбора данных, иллюстрации, структуру страницы, контент.

В email-рассылках: темы письма и прехедер, время отправки письма, дизайн письма, разные форматы текстов, ссылки внутри письма, письма с разной степенью персонализации.

В поисковых объявлениях: заголовок и расширенный заголовок, текст объявления, название быстрых ссылок, уточнения, текст отображаемой ссылки, цены.

В рекламе в соцсетях: типы объявлений, тексты объявлений, призывы к действию, изображения.

Если варианты тестируемого можно перебирать бесконечно, то цель у сплит-тестов всегда одна — рост показателей: чаще всего конверсии (в идеале — больше продаж), но ещё кликабельности, открываемости и вовлечённости аудитории. Чтобы добиться любой из них, нужно правильно проводить A/B-тестирование.

Правила A/B-тестирования

1. Возьмите только одну переменную

Совершенствовать всё сразу нельзя — так вы не поймёте, какое улучшение принесло результат. Поэтому для теста выбирайте только одну переменнцую и не начинайте следующий, пока не найдёте оптимальное решение по итогам первого. Не забывайте, что переменная — это не всегда конкретный элемент: кнопка на сайте или баннер в письме. Тестировать можно и формат в целом. Например, мой коллега Павел Сербулов пробовал отправлять садоводам письма со стильным дизайном и письма в духе привычного садоводческого журнала. Нововведение не зашло, а вот стандартный формат принёс неплохие результаты, на нём и остановились.

2. Определитесь с показателем и способом оценки эксперимента

К сожалению, не все изменения напрямую влияют на рост продаж. Поэтому при выборе переменной точно определите, какой параметр вам нужно улучшить. Вряд ли для роста продаж вы начнёте менять размер шрифта в письме. Если вы тестируете изменения на сайте, смотрите на показатели счётчиков веб-аналитики — изменение конверсии, улучшение поведенческих факторов. Если сплит-тест касается рекламы, то результаты отслеживайте в отчётах рекламных систем (Яндекс.Директ, Google Ads). В первую очередь смотрим на CTR. Результаты тестов в рассылках ищите в отчётах платформы, с которой работаете. Главные показатели — кликабельность и открываемость. Сплит-тесты для рекламы в соцсетях можно отслеживать как из рекламного кабинета, так и с помощью сервисов аналитики на сайте. В рекламных кабинетах эта задача максимально облегчена — соцсети сами выставляют оценки рекламным объявлениям и определённые выводы можно сделать даже на их основе. Но для более глубокой аналитики, конечно, не обойтись без Яндекс.Метрики и Google Analytics.

3. Выберите инструмент

С технической точки зрения провести A/B-тестирование довольно просто: большинство систем заточены под такие эксперименты. Например, для сравнения поисковых объявлений в Яндекс.Директе вам достаточно задать необходимые параметры, а система выберет, кому показать объявления. В Google Ads для этого есть специальный инструмент «Проекты и эксперименты». Похожим образом обстоят дела в соцсетях: Фейсбук сам показывает разные варианты объявлений без наложения аудиторий друг на друга, а во ВКонтакте или Одноклассниках вам лишь нужно создать разные варианты объявлений и ограничить количество показов на одного человека. Немного иначе это работает в емейл-платформах. Там вы также готовите разные варианты писем, но ещё и определяете объём аудитории, которая их получит. Это можно сделать вручную или автоматически. Чаще всего письма отправляют в два этапа: например, аудиторию делят на 25%, 25% и 50%, первым двум сегментам отправляют разные варианты писем, а оставшимся 50% отправляют письмо-победитель. Сложнее всего проводить A/B-тестирование на сайте. Хотя и здесь есть вспомогательные инструменты. Например, сервис «Оптимизация» от Google. С его помощью можно тестировать разные элементы страниц, конверсионные кнопки, шрифты и формат заголовков, изображения и формы — для небольших сплит-тестов такого набора вполне достаточно, к тому же проверить результаты можно прямо в Google Analytics. Сервис бесплатный.

4. Выделите время

Сервисы зачастую сами ограничивают время эксперимента. Например, Фейсбук даёт на сплит-тестирование от 3 до 30 дней. Рекомендуемое количество — от 4 до 14. Тестирование дольше двух недель соцсеть считает сливом нерациональным использованием бюджета. «Google Оптимизация» не рекомендует тратить на сплит-тест меньше двух недель и больше трёх месяцев. Но вообще, длительность A/B-теста стоит измерять не в днях, неделях или месяцах, а в пользователях. Даже есть мнение, что начинать эксперименты на сайте стоит только после достижения 1000 конверсий в месяц. Но с такими показателями многие их вообще никогда не начнут, поэтому мы советуем ориентироваться на показатель статистической значимости. После того, как тест будет закончен, нужно проверить значимость результатов. Статистическую значимость можно рассчитать по сложным формулам или просто воспользоваться калькулятором достоверности A/B-тестирования. Если спустя пару недель эксперимента вы вводите данные в калькулятор и видите сообщение: «Этот результат можно считать статистически значимым, A/B тест проведён успешно», — можете завершать эксперимент.

5. Не забывайте про победителя

Получать удовольствие от процесса это, конечно, хорошо, но в случае со сплит-тестами главное всё-таки результат. Так что после завершения эксперимента не забудьте внедрить на сайт, в письма или рекламу победившую гипотезу. И только после этого приступайте к следующему эксперименту.

Автор: Елена Старостина

Полная статья: http://leadmachine.ru/2019/11/15/ab-tests/#hcq=NLW8tIr