Что такое A/B-тест

A/B-тесты можно применять для множества вещей

Давайте посмотрим примеры, что можно тестировать в A/B-тестах.

1. Лендинги или отдельные страницы сайта. Можно запускать в тест страницу целиком: сделать две версии и проверить, на какой из них конверсия лучше.
2. Форма регистрации / подписки / заявки на странице: дизайн, количество полей, призыв к действию.
3. Контент на странице: можно попробовать добавить объясняющее видео; убрать или поместить отзывы, сделать отзывы с фотографиями или без; тестировать разные ценностные предложения.
4. Разные стадии воронки в мобильных приложениях: полностью изменить онбординг, предлагать более долгие / короткие подписки, тестировать разные цены подписок.
5. Тема письма: сделать два варианта темы рассылки и посмотреть, какое больше открывают.

И это только несколько идей, лежащих на поверхности.

Правила проведения A/B-тестов

Чтобы A/B-тест помогал принимать правильные решения, он должен подчиняться правилам:

1. В A/B-тесте есть контрольная и тестируемая версии. Если вы хотите проверить, надо ли разместить на сайте раздел «О нас», то это вряд ли будет A/B-тестом. Сложно представить, что вы сделаете два сайта, в одном из которых раздел будет, а в другом нет. Скорее всего, вы просто добавите раздел на сайт и будете смотреть, заходят в него или нет. Это не A/B-тест.
2. В A/B-тесте в один момент тестируется только одно изменение. Если вы хотите протестировать эффективность видеоотзыва, то в одной версии страницы не будет отзывов (контрольная страница), а в другой будут. Но больше вы ничего на странице менять не должны. Нельзя, например, изменить цвет формы заявки во время этого же теста. Иначе вы не будете понимать наверняка, что из изменений дало результат.
3. Результаты A/B-теста надо проверять на статистическую значимость. Значимости нет — тест не достоверный, ни одна из версий не выиграла. Для статистически значимых тестов вам нужна достаточная выборка, то есть, трафик. Если на вашем сайте тысяча посещений в неделю, то тестировать что-либо, скорее всего, будет бесполезно, потому что вы не наберёте достаточную выборку. Проверить, достоверны ли результаты, можно в любом калькуляторе достоверности в интернете. Хотя обычно инструменты для A/B-тестов сами считают нужную выборку и проверяют достоверность.
4. Как правило, тестировать надо значительные изменения, особенно на маленьких выборках. Обычно нет смысла менять цвет кнопки в форме — это вряд ли даст результат. А вот сравнить расположение формы подписки на блог: разместить её в первом экране или в левой колонке — возможно, будет интересно.

Подвох

Некоторые маркетологи, открыв для себя возможности A/B-тестов, начинают ими слишком увлекаться и что угодно хотят проверить тестом. Если вы решили что-то протестировать, алгоритм принятия решения будет такой:

1. Какая метрика будет метрикой успеха? В первую очередь надо разобраться, что вы будете измерять в тесте. Например, вы спорите с коллегами, в каком порядке должны идти блоки на главной странице блога: сначала популярные статьи, потом глоссарий, потом видео-контент. Нет смысла тестировать это, потому что непонятно, что измерять. Разместите видео-контент выше — он получит больше кликов. Разместите статьи — в них будут заходить больше. Поэтому для решения спора придётся просто подраться.
2. Наберём ли мы достаточно трафика, чтобы проверить гипотезу? Это можно посчитать с помощью любого калькулятора выборки, но, чаще всего, это приходит с опытом. Когда запустишь три теста в стиле «подчёркивать ссылки на сайте или нет», который потом длится четыре месяца из-за маленького трафика и в результате не даёт достоверности, энтузиазм быстро заканчивается.

Инструменты для проведения A/B-тестов

Как проводить A/B-тест

1. Сформулировать гипотезу. Что именно вы хотите проверить и каких изменений ожидаете?
2. Выбрать метрику, по которой вы планируете понять, правильная ли гипотеза или нет.
3. Создать контрольную и тестируемую версии. Это делается прямо в инструментах для a/b тестов.
4. Запустить тест.
5. Дождаться результатов.

Ловушка в интерпретации результатов A/B-тестов

После успешного A/B-теста очень легко поддаться соблазну и применять результаты теста для всего. Например: «мы выяснили, что на подчёркнутую ссылку кликало на 20% больше пользователей, чем на неподчёркнутую».

После такого наверняка захочется всюду подчёркивать ссылки. Но это неправильно. A/B-тест всего лишь показал, что на данном сайте, для данной аудитории, в данном дизайне ссылки с подчёркиванием получают больше кликов. Больше это ничего не значит. Если вы захотите в другом проекте применить подчёркнутые ссылки, вам надо будет снова проверить эту гипотезу A/B-тестом. И очень вероятно, что результаты окажутся противоположными.

Примеры A/B-тестов

Блог goodui.org собирает коллекцию A/B-тестов. Мы выбрали пару интересных примеров оттуда.

A/B-тест расположения фильтров на Etsy

Источник goodui.org

• статичная левая колонка;
• левая колонка, открывающаяся поверх плитки с товарами;
• фильтры сверху + подборка по интересам.

Внедрили в результате последнюю.

A/B-тест кнопки на сайте bol.com

Крупнейший онлайн ритейлер Нидерландов тестировал кнопку с полями побольше и поменьше вокруг надписи. Такой тест не имеет смысла для маленького трафика, но сайты, на который совершаются сотни транзакций в минуту, могут извлечь выгоду из подобных тестов. На bol.com в результате оставили кнопку побольше.

Источник goodui.org

A/B-тест темы письма в рассылках онлайн-кинотеатра

Тестирование темы письма

В этом тесте явного фаворита выявить не удалось. И даже первый вариант темы не выглядел провокационным. Такое тоже бывает.