A/B-тестирование — инструмент для проверки идей. Если вы никогда не пробовали его в своём бизнесе, то это нужно исправить. Читайте о том, что такое A/B-тест и какие инструменты для него существуют, в нашей статье.
A/B-тестирование позволяет не только проанализировать реакцию пользователей на изменения, но и отследить многие метрики. Например, конверсию, среднюю сумму покупки, показатель отказов, время пребывания на странице и т.д.
A/B-тест: коротко о сути
A/B-тест — это инструмент маркетинга, цель которого — оценить и повысить эффективность сайта или приложения. Это тестирование позволяет сравнить варианты страниц на практике: между собой и отдельно, одновременно. Также A/B-тесты подходят для отслеживания реакции на изменения дизайна или введение нового формата рекламы.
Например, компания хочет сделать поп-ап окно с призывом к покупке на главной странице сайта. Но есть сомнения, клиенты могут начать раздражаться и уходить сразу же после открытия окна. Здесь логично запустить A/B-тест.
Сначала нужно сделать две страницы с отличающимся элементом: A и B. Затем разделить трафик на плюс-минус равные части между ними. Одна будет идти на страницу A, без поп-ап окна. Другая — на B, с поп-ап окном.
Важно учесть источники трафика, направлять на каждую из страниц одинаковое количество людей из разных источников (соцсети, таргетинг и т. д.). Соблюдайте баланс, иначе результат выйдет необъективным или неточным.
После того, как вы собрали все данные, оцените и проанализируйте их. Предположим, что коэффициент конверсии страницы B выше, чем у страницы A. При этом были достигнуты желаемые показатели. В таком случае поп-ап окно работает, оно действительно привлекает клиентов.
Если желаемые показатели не были достигнуты, при этом конверсия страницы B всё-таки выше, тестирование продолжается. Меняется исходная точка. В этом случае за основу выбирается вариант, показатель конверсии которого больше. Изменения будут вноситься уже в него. И так, пока вы не увидите нужный вам показатель.
Время тестирование определяется индивидуально.
А что, вообще, тестируем
Тестирование проводится в зависимости от целей и проблем бизнеса. Чтобы не тратить время впустую, правильно определите слабое место сайта или мобильного приложения. Это может быть недружелюбный дизайн, глючная и неудобная форма оплаты, навязчивая реклама, неясная человеку форма подписки, обратной связи и т. д.
Предположим, вы видите регулярный отказ людей от покупки во время оплаты. Скорее всего, проблема в платёжной системе, а это очень серьёзно. Оптимизируйте её и предложите на тест. Результат вас удивит, 99,9%.
Наиболее частые объекты теста:
- текст: содержание, кегль, шрифт, цвет, яркость, расположение на странице;
Обычно проверяют, что будет читабельнее для большинства пользователей. Однако могут анализировать и реакцию на контент, объём и направленность текста: обращение к пользователям, призыв к покупке, подписке, повышение лояльности клиента и т. д.
- кнопки: дизайн, цвет, расположение на странице;
Анализ реакции юзера в этом случае помогает понять, какие кнопки побуждают кликнуть на них больше, раздражает ли пользователей какой-то цвет, привлекают ли их корпоративные оттенки (необходим ли ребрендинг).
- заголовки;
Важное и частое тестирование, которое помогает понять, какие заголовки больше интересуют аудиторию. Например, информационным порталам можно проверить, насколько выгодно будет использовать кликбейтные заголовки, какой процент ухода будет и сколько трафика к вам придёт. Интернет-магазины могут попробовать «поиграть» с указанием основных характеристик в названии продукта и т. д.
- карточки товара: текст, фото, видео, тэги, таблицы с параметрами;
Тест с изменением большого числа элементов. Позволяет увидеть, в какой форме клиент лучше воспринимает информацию, и что побуждает его к покупке. Можно проверить, например, что больше нравится людям: текстовые описания товара или таблицы с параметрами, проф. фото на белом фоне или изображения, показывающие товар в быту.
- конверсионные формы: внешний вид, расположение и размеры;
Позволяет понять, есть ли ошибка в размещении конверсионной формы или её дизайне. Если тест не показывает положительной динамики, возможно, стоит проанализировать контент сайта и бизнес в принципе: актуальны ли ваши услуги или товары людям вообще.
- дизайн и макет страницы;
Профилактическая проверка, необходимая любому бизнесу: есть у него проблемы с клиентами или нет. Смена дизайна раз в несколько лет позволяет устроить лёгкую встряску пользователю. Тест поможет не превратить её в потасовку.
- бизнес-предложения, скидки, акции;
С помощью теста можно оценить эффект от программы лояльности без вложений времени и ресурсов. Вы сможете увидеть отклик пользователей и их заинтересованность предложениями компании.
- всплывающая реклама;
Тестирование поможет понять, раздражает ли это пользователей и эффективна ли форма подачи рекламных предложений. Можно проверить как варианты с различной рекламой (поп-ап окна, всплывающие подсказки, текст, изображения), так и без рекламы вообще.
- новые функции или изменения старых возможностей.
Перед внедрением новых функций или изменением старых возможностей пользователей на сайт или в приложение желательно всегда проводить A/B-тесты. Особенно если функционал связан с основной деятельностью клиента.
Например, у вас торговая площадка по типу Пользователь — Пользователь. И вы решили запретить посты с фото, разрешением меньше 600х600 px. Посмотрите, как много людей сочтёт это проблемой и поводом отказаться от сотрудничества с вами. И только потом принимайте решение, учитывая все риски.
Чем отличаются A/B-тестирования сайта и приложения
Несмотря на то, что цель в обоих случаях одинакова, процесс тестирования различается. На сайте оптимизации подлежит всё, что связано с воронкой, особое внимание уделяется также показателю отказов, завершённым целевым действиям и времени пребывания пользователя на странице.
В случае мобильных приложений внимание на воронку не обращают. Так как вопрос мотивации установить что-либо относится к области ASO, App Store Optimization. Ведь приложения загружаются через App Store или Google Play.
При A/B-тестах здесь важны показатели удержания внимания и вовлечённости человека, акцент делают на взаимодействии UX и пути пользователя. К тому же, в отличие от сайта, приложения имеют большую обратную связь — оценки и комментарии, а также топы, разделение по категориям и т. д. Поэтому A/B-тестирование в данном случае — элемент постоянного, не прерывающегося процесса оптимизации и проверки.
Инструменты для A/B-тестов
Для того, чтобы провести A/B-тестирование, нужно использовать инструмент, который позволит разметить аудиторию по сегментам и посчитать значения ключевых показателей в каждом из них. Это можно реализовать самостоятельно, с помощью логов действий клиентов и их анализа. Однако если ваши ресурсы не позволяют работать вручную, можно обратиться к специальным сервисам для тестирования.
Сайты
Content Experiments
Наиболее популярный — Content Experiments от Google. Им могут свободно воспользоваться те, кто зарегистрирован в Google Analytics. Сервис помогает протестировать дизайн, шрифты, кнопки, поля ввода, формы обратной связи, конверсию, изображения и многое другое.
Можно воспользоваться фильтрами для исключения внутреннего трафика, чтобы анализ был объективным. Сервис бесплатный, поддерживает русский язык, но требует хотя бы базовых знаний HTML-кода.
AB Tasty
AB Tasty — сервис для проведения A/B тестов. Позволяет создавать любые сценарии тестирования, таргетировать поведение теста на конкретную группу людей, получать подробный отчёт о событиях. AB Tasty прост и понятен в использовании.
Если у вас сайт на WordPress — хорошая новость: вам доступно отдельное расширение, которое упрощает проведение тестов. Минус сервиса — стоимость его услуг: от 29 евро в месяц при годовой подписке (32 евро при ежемесячной оплате).
Если вы всё-таки решили попробовать, предупреждаем: в дешёвый тариф включено всего 5000 посетителей.
RealRoi.ru
RealRoi.ru — бесплатный и крайне простой в использовании инструмент для А/Б-тестирований. Простой и понятный в использовании, на сайте есть видео о том, как работать с сервисом. Обратите внимание, RealRoi.ru требует регистрации.
Clickmeter
Clickmeter позволяет разделить трафик по ссылке в любом соотношении и направить его на различные страницы. Нужно только вставлять ссылки, всё остальное сделает Clickmeter. Никаких знаний от вас не требуется.
Единственное, что понадобится вам для полноценного использования этого сервиса — дополнительный домен, так как Clickmeter не предоставляет их для распределения трафика.
Visual Website Optimizer
Visual Website Optimizer — англоязычный инструмент для тестирования различных элементов страницы. Требует знания и базового владения HTML-кодом. Платный: от 49 до 249 долларов — зависит от типа подписки.
Unbounce и LPGenerator
Unbounce — зарубежный сервис A/B-тестирования. Подходит для лендинговых страниц: создания, оптимизации и тестирования. Платный. Цена варьируется от 50 до 500 долларов в месяц, в зависимости от того, какой пакет вы выбираете.
Если у вас LP, но нет денег, обратите внимание на российский аналог: LPGenerator. Единственный минус, тестировать на нём можно только созданные в этом генераторе страницы.
Convert
Convert — англоязычный инструмент для A/B-, мультивариантного тестирования, персонализации. Позволяет пометить цель для кликов в визуальном редакторе. Важный плюс: поддерживает тесты приложения на мобильных устройствах.
Сервис платный, но можно взять тестовый период на 15 дней, оплачивать который не надо. Требует знания CSS, если планируете работать с текстом.
Мобильные приложения
Apptimize
Apptimize — сервис для тестирования мобильных приложений. Предоставляет и визуальный редактор, и блоки кода, и динамические переменные. Можно пользоваться бесплатно, но функционал будет ограничен.
Для получения полного доступа к инструментам нужно платить от 300 долларов (в месяц). Ещё один плюс сервиса — возможность агрегировать его с другими. Например, Google Analytics, Mixpanel, Flurry, Localytics, Omniture.
Mixpanel
Mixpanel — англоязычный сервис для A/B-тестов приложений. Для работы с переменными предлагает использовать макрос MPTweakValue. Можно вносить изменения в визуальный редактор, можно — кодом. Платный: от 250 долларов в месяц.
Amazon
Amazon — бесплатный сервис для A/B-тестирования мобильных приложений. Единственное, что требует инструмент — добавить фреймворк Amazon Insights в проект. Визуального интерфейса в Amazon нет, поэтому работать придётся в ручном режиме. С другой стороны, сервис понятный и не должен вызвать затруднений.
SplitForce
SplitForce — инструмент тестирования приложений на смартфоны. Позволяет отслеживать время событий и работать с блоками. Англоязычный, визуального редактора и возможности агрегировать аналитику нет. Сервис при этом платный, цена будет зависеть от объёма трафика.
Как собрать результаты
Фиксируйте результаты. Это нужно делать даже в том случае, когда вы работаете со специальным сервисом, где они сохраняются. Вам будет проще анализировать их, соотносить между собой и с другими показателями, вне тестирования, если все числа будут собраны вместе.
Не торопитесь с окончанием теста: первые данные ещё ни о чём не говорят. Они могут измениться в любой момент — не стоит брать за окончательный показатель случайную величину. Чтобы сравнивать случайные величины, нужно оценить средние значения. А чтобы оценить средние значения, необходимо выделить время на сбор истории.
Эффект изменений рассчитывается по формуле: большее среднее значение ключевого показателя минус меньшее. Показатели необходимо выбирать из одного сегмента и за одно время теста. Также нужно учитывать площадь пересечения распределений на графике, иначе результат может быть недостоверным.
Чем меньше пересечение, тем эффективнее изменения, которые проверяли на тесте. Это обусловлено правилами статистики (значимость результата). Кстати, чтобы облегчить себе работу, воспользуйтесь «статистическим» калькулятором.
Уровень значимости рекомендуют выбирать от 90 до 99%, пересечения должны получиться от 10 до 1 % соответственно. Не рекомендуют брать меньшие показатели, так как это может дать ложный вывод в итоге.
Также стоит обратить внимание на объём трафика в сегментах. Чем он больше, тем меньше разброс среднесуточных показателей. Если у вас слабый поток трафика, тест нужно проводить дольше. В этом нет ничего страшного, не торопитесь и дайте людям проверить все изменения.
Как оценить результаты
Чтобы проверить гипотезы, можно использовать статистические тесты. Например, тест Стьюдента. Он подойдёт для расчёта и анализа среднесуточных значений: среднего чека, глубины просмотра, времени человека на сайте. Конверсию проще считать на калькуляторе, так как это бинарная случайная величина, варианта два: «юзер попал в конверсию» и «юзер не попал в конверсию».
У вас нет времени на сложные расчёты? Просто сравните показатели между собой.
Если один из вариантов лидирует очевидно, выберите его и завершите тест.
Вывод
A/B-тестирования — отличная возможность попробовать что-то новое без вреда для клиентов и бизнеса. Даже если кто-то в группе теста будет недоволен, человек успокоится после того, как услышит и (или) прочитает, что это временно (а вы получите обратную связь).
A/B-тест можно провести самостоятельно, это даёт вам возможность экспериментировать практически без вложений и рисков. Единственное, что придётся потратить вне зависимости от выбранного инструмента — время. Но в данном случае это небольшая цена.
A/B-тестирования — не просто возможность посмотреть, какая кнопка нравится посетителям больше. Это шанс плавно и, главное, без ошибок оптимизировать сайт или мобильное приложение, сделать его ещё более выгодным и удобным, понятным и привлекательным для людей.
