Димитри Маекс - Ключевые цифры. Как заработать больше, используя данные, которые у вас уже есть

– История тестирования . Результаты предыдущих тестов должны быть тщательно и последовательно задокументированы, после чего необходимо обеспечить их хранение. Как минимум это может быть простая электронная таблица, в которой перечислены все тесты, проведенные в течение последних лет, их цели, основные гипотезы и результаты. Вряд ли вы захотите вновь изобретать колесо.

– Документация тестирования . Каждому тесту должен соответствовать специальный документ – спецификация, в которой перечислены все основные гипотезы, формат теста, сроки проведения, ожидаемые выгоды, расходы, показатель прибыли от капиталовложений и имя сотрудника, ответственного за проведение. Этот детальный документ позволяет стандартизировать все входные параметры, необходимые для создания истории тестирования.

– Воронка тестирования . Воронка тестирования позволяет отслеживать все настоящие и запланированные тесты. В зависимости от количества проводимых вами тестов и сложности вашей организации это может быть и простая электронная таблица с указанием всех запланированных тестов с коротким описанием, указанием сроков и текущего статуса, и сложные платформы, управляющие масштабными рекламными кампаниями.

– Руководства к действию . Недостаточно просто собрать результаты прошлых тестов в едином хранилище идей. Все полученные выводы должны быть сгруппированы в виде руководств к действию, которые затем нужно довести до всей организации. И еще раз отметим, что проведенные и протестированные принципы не требуют повторной или многократной проверки.

– Приоритеты для тестирования . Для каждого нового теста желательно установить приоритет на основании нескольких параметров: 1) истории тестирования; 2) руководств к действию; 3) текущего содержания воронки тестирования; 4) размера потенциального показателя прибыли от капиталовложений. Установление приоритетов позволит вам избежать лишних проверок.

Я знаю всего несколько компаний, в которых проводились бы соответствующие и правильные испытания. Обычно справедливо обратное. Творческие решения большинства компаний не выживают под натиском данных – ведь все эти решения основаны на крайне субъективных мнениях специалистов или, хуже того, на том, что эксперт в области веб-аналитики Авинаш Кошик называет HiPPO (акроним от Highest in Payment Person’s Opinion – «мнение лица с самой высокой зарплатой»).

Это означает, что компании склонны терять миллионы долларов. Они не тестируют новые идеи и не способны четко понять, насколько та или иная идея эффективна. Системы управления тестированием предназначены помогать и таким компаниям. Они способны выявить отсутствие нужных данных и зоны, требующие обязательного тестирования. Помимо этого, они помогают сделать тестирование неотъемлемой частью творческого процесса. Из всех аналитических инструментов, способных питать творческую работу, с тестированием не может сравниться ничто другое.

Тестирование в цифровом мире

Мы вкратце продемонстрировали принципы тестирования на примере компании IBM. Однако подход «от анализа к действию» может применяться повсюду, особенно в цифровых каналах, где возможности для тестирования кажутся почти безграничными. Приведу пример. Мы пытались улучшить домашнюю страницу интернет-магазина Kodak при помощи нескольких тестов. Ниже вы увидите первоначальный вариант страницы, который мы хотели оптимизировать. Однако сотрудники Kodak не видели никакой проблемы, а просто хотели знать, можно ли слегка улучшить внешний вид.

Для оценки мы создали шесть различных страниц. Иными словами, испытания класса A и B превратились в испытания A, B, C, D, E, F. Приведенный ниже вариант оказался лучше остальных и привел к 11,3 % роста дохода – всего лишь за счет изменения расположения элементов.

У этого подхода был весомый недостаток. Мы знали, какой из вариантов страницы показал наилучшие результаты, но никак не могли выделить тот отдельный элемент, который отвечал за различие в результатах. Чуть позже я покажу вам несколько методов, помогающих в точности выявить, что вызывает различия. Однако перед этим позвольте мне сказать одну важную вещь.