Предположим, вы не можете определиться с темой для своего рекламного письма. Подготовьте два варианта рассылки, которые будут отличаться лишь названием темы. Первую версию письма разошлите одной половине получателей, вторую – другой половине.
Чтобы узнать, какая тема письма является наиболее удачной, посчитайте количество переходов на сайт у первой группы получателей и сравните их с аналогичным показателем у второй группы. Лучший показатель переходов и станет вашим контрольным показателем. С ним вы будете сравнивать эффективность других вариантов, пока не найдете самое удачное название темы. Результаты тестирования могут вас удивить. Однажды мы проводили подобный тест, и оказалось, что один вариант темы привлек на сайт на 300 % больше посетителей, чем его ближайший конкурент. Такая разница может иметь огромное значение для прибыльности вашего бизнеса.
Если вы хотите получить более наглядное представление о данном виде тестирования, то представьте, что пришли к окулисту, чтобы подобрать очки. Врач заводит вас в темную комнату и просит посмотреть в окуляры жутковатого на вид аппарата. Перед вами две одинаковые таблицы с буквами. Врач спрашивает: «Какую таблицу вы видите лучше и можете без труда прочитать?», вы отвечаете, окулист немного меняет настройки аппарата и спрашивает снова: «А теперь какую?» Затем он опять что-то исправляет и улучшает результат. Этот процесс продолжается до тех пор, пока не будет найден оптимальный вариант.
Но аналогия с подбором очков, к сожалению, не полностью подходит для нашего случая. Окулист, проверяя зрение, опирается на данные многочисленных медицинских исследований. В его распоряжении имеется готовая шкала и хорошо откалиброванная аппаратура, поэтому точность измерения гарантирована, а для обработки результатов нужно лишь воспользоваться проверенными методами. И все-таки эффективность А/В-тестирования очень впечатляет.
Вот один из наших любимых примеров. Несколько лет назад на сайте Amazon.com возникла необходимость внести некоторые улучшения в работу. Ниже показана область, которую изменяли в ходе А/В-тестирования:
А/В
Первоначально в каждом разделе сайта использовалась версия А. А/В-тест провели следующим образом: версия В появилась лишь в книжном разделе: были убраны некоторые слова в скобках и текст на кнопках. Неизвестно, почему организаторы теста решили так поступить; мы всегда рекомендуем подкреплять уверенность покупателей в точке действия. Но тут важен сам подход к А/В-тестированию. Оба варианта оформления страницы довольно долго сосуществовали в разных разделах сайта.
А вот еще один пример. На сайте Ice.com А/В-тестирование проводилось с использованием программы Visual Sciences tool. Целью тестирования было найти оптимальный вариант продающего текста для каждого из продуктов, представленных на домашней странице сайта. Для тестов выбрали три варианта продающего текста, а эталоном для измерения стало изображение продукта, под которым вообще не было ни слова описания. Посмотрим на эти четыре версии.
Как вы думаете, какая из них оказалась лучшей? Часто бывает, что нам нравится один из вариантов, и мы очень хотим, чтобы он победил.
А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.
Как правильно провести тестирование
Теперь вы видите, насколько полезными могут быть тесты. Положим, вы решили применить свои знания на практике, но не до конца в себе уверены. Например, как вы докажете остальным, что результаты тестирования являются верными? При проведении любых тестов обязательно учитывайте такие факторы, как сезон и даже время суток. Лучше запускать проверку двух версий одновременно и отслеживать результаты на протяжении двух недель. Убедитесь, что размер выбранной контрольной группы достаточно большой, а разница между результатами является статистически значимой.
Майк Сэк, исполнительный директор и главный инженер компании Inceptor, дает несколько советов по проведению А/В-тестирования:
В первую очередь решите, в каких пропорциях будете делить своих посетителей на группы: 50/50, 90/10 или 80/20. Вы можете сформировать группы по какому-либо признаку, например по времени суток или даже по поисковой системе, из которой пришли посетители (пользователи Google увидят вариант А, а пользователи Yahoo! – вариант В). Во-вторых, определите стабильность теста. Другими словами, если посетитель ушел с сайта и зашел на него вновь, увидит ли он тот же самый вариант, что и раньше? Вы можете сохранять версию тестовой страницы в течение одной сессии или устанавливать для посетителя соответствующий вариант страницы с помощью cookies. Желательно, чтобы тестируемая страница не менялась хотя бы в течение сессии, хотя cookies, конечно, дают больше возможностей, поскольку позволяют отследить покупку, совершенную через какое-то время.
Читать дальше
Конец ознакомительного отрывка
Купить книгу