10 самых популярных косяков A/B-тестирования (с примерами из реальной жизни)

Хотите улучшить конверсию в рекламе? Делайте A/B-тесты, проверяя гипотезы на реальных людях. И, конечно, делайте их без косяков — иначе деньги улетят в трубу, а результат можно будет охарактеризовать емким «ну такое». Ниже — список самых частых «граблей», на которые продолжают наступать рекламодатели. Естественно, с советами, как правильно не наступить на любимый садовый инструмент.

1. Тестировать версии последовательно

Нестареющая классика — запустить сначала одну версию объявления, потом остановить ее и на те же пару недель включить вторую. В итоге на первую могли повлиять какие-то внешние факторы (например, перед Новым годом люди получили зарплаты и охотно тратили деньги), а вторую ждал застой второй половины января, когда на покупки нет не денег, ни желания. О качестве результатов такого тестирования говорить не приходится.

Что делать: показывать обе версии одновременно. Тогда оба объявления столкнутся с одинаковыми внешними условиями: тот же день недели, погоду, фазу луны — всё, что может повлиять на психику покупателя.

2. Начинать тесты без гипотезы

Вместо внятной гипотезы рекламодатель решает попробовать «ну хоть что-нибудь»: какие-то другие картинки, покрасить кнопку в другой цвет, придумать новый заголовок. Такой подход может сработать, и реклама бросится пользователям в глаза, а может и не сработать. Но когда нет четкого понимания, зачем тестировать новый вариант, то стопроцентная вероятность будет только у одной гипотезы — это тестирование будет стоить денег (а еще, возможно, картинки будут красивые). 

Что делать: формулируйте гипотезу заранее. Например, если мы увеличим шрифт с текстом скидки на столько-то, то вырастет конверсия, потому что скидка станет заметнее.

3. Забивать на работоспособность лендинга

Представьте ситуацию: компания неделю крутила рекламу акции с крутым промокодом, красивым креативом, хлестким заголовком, а при этом реклама еще всем требованиям соответствует. Но есть нюанс: поле для ввода промокода на сайте не работало на мобильных. Итог — нулевой ROI, и авральные выходные, пока разработчики правили сайт. Хорошо, если бюджет резиновый, и за него можно получить ценный опыт, но обычно такой запуск считается неудачным. 

Что делать: всегда тестируйте сайт от и до. Зайдите с «чистого» устройства или в режиме инкогнито, проверьте, всё ли грузится, нет ли 404 ошибки, нажимаются ли все кнопки и корректно ли считаются цели в аналитике.

4. Опираться на vanity metrics

«У нас было в два раза больше кликов, в пять раз больше уникальных пользователей, а время на странице выросло в 75 раз». Не то, чтобы это было категорически важно для бизнеса, но если уж начали собирать коллекцию метрик тщеславия для отчета, то к делу надо подходить серьезно. К сожалению, такой подход не гарантирует, что пользователи не будут отваливаться с сайта после перехода и даже тщательного изучения страницы. 

Что делать: пусть главным критерием будет итоговая польза для бизнеса — заявки, продажи, средний чек.

5. Менять всё и сразу

Кардинальный редизайн объявления или лендинга (так чтобы сразу «вау!») бессмысленно сравнивать со старым объявлением, ведь будет просто непонятно, из-за чего улучшились результаты — из-за нового визуала, заголовка, CTA или, например, размера текста.

Что делать: менять и тестировать один-два элемента: заголовок, визуал, призыв к действию. Так вы будете знать, какой компонент реально улучшил ситуацию, и перестанете гадать, как работает реклама.

6. Тестировать слишком долго или слишком быстро

Круто, если во время тестирования на новой версии пошли новые заявки, но не стоит прекращать тесты на третий день с криком «ура!», или, наоборот, продолжать тесты пару месяцев, несмотря ни на что.

Что делать: определить нужный объем выборки заранее и тестировать, пока статистика не станет надежной. Обычно достаточно от двух до четырех недель.

7. Вносить правки по ходу теста

Если во время тестов появилась идея изменить размер кнопки, поменять текст на объявлении или как-то скорректировать креатив, то запомните эту идею и реализуйте ее в новом тесте: ведь уже просто будет непонятно, что реально работает.

Что делать: проверьте всё в самом начале, что ничего не ломается и всё корректно идёт, а дальше — «руки прочь». Все правки — только после окончания теста, иначе всё придется перезапускать.

8. Игнорировать сегменты

Что это значит? После тестов рекламодатель смотрит только на общую статистику, игнорируя сегменты. Обычно тут может появиться вывод, что новая версия объявления хуже. Но если покопаться, то выясняется, что на мобильных она показала бомбический результат, а на десктопах провалилась, или наоборот.

Что делать: смотрите на разные сегменты: мобильный трафик, десктоп, регионы, время суток и так далее.

9. Не масштабировать успешный успех

Тут всё просто: рекламодатели замечают классную идею на одном объявлении и забывают перенести эту фишку на другие каналы или другие продукты.

Что делать: если гипотеза сработала (например, лаконичный CTA, большая кнопка, смешная картинка), обязательно попробуйте распространить эту идею на другие важные объявления и лендинги.

10. Отсутствие учета

Надеемся, что вы только представляете себе ситуацию, когда каждый новый сотрудник в отделе маркетинга начинает тестировать с нуля и неосознанно повторяет те же самые тесты, что и делал его предшественник прошлом году. 

Что делать: ведите базу — где тестировали, когда, какие результаты, почему приняли то или иное решение. Так вся команда будет знать, что уже пробовали.

Если вы дочитали до этого места — аплодируем и благодарим! Возможно, осилить его и вправду было нелегко, но эти знания точно помогут сэкономить время, деньги и нервы. Сделайте одолжение коллегам: поделитесь с ними этим списком, чтобы больше никто не бегал по кругу и не наступал на старые добрые садовые инструменты.

Успешных A/B-тестов и высоких конверсий!