Дуглас Хаббард - Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]

К проведению опроса приступили еще до начала тренинга, чтобы представить себе исходное положение дел. Из клиентов каждого сотрудника службы отбирали только одного. Главный вопрос был сформулирован так: «Какова вероятность, что вы порекомендуете нас своим друзьям, учитывая свой опыт обращения в службу поддержки?» В случае высокой вероятности такого поступка респонденты должны были выбрать цифру 1, если мнение о работе службы не изменилось — цифру 2, а в случае малой вероятности — 3. Каждому ответу присваивался соответствующий балл (1, 2, 3). Зная результаты некоторых предыдущих исследований роста продаж в результате повышения удовлетворенности потребителей, отдел маркетинга определил, что улучшение среднего балла ответов на этот вопрос на 0,1 пункта приведет к повышению объема реализации на 2 %.

Тренинг, о котором идет речь, был не из дешевых, поэтому сначала руководство решило послать на обучение 30 случайным образом выбранных сотрудников службы поддержки потребителей в качестве группы испытуемых. Тем не менее затраты на обучение этой группы оказались существенно меньше рассчитанной стоимости информации. В контрольную группу вошли все остальные сотрудники службы. После того, как тест-группа прошла программу тренинга, менеджеры продолжили опрос покупателей, осуществив выборочное обследование по принципу, описанному выше. Были рассчитаны среднее значение и дисперсия исходных данных по группе испытуемых и контрольной группе (как это показано в примере с леденцами в начале главы). Результаты расчетов представлены в таблице 9.4.

Ответы респондентов вроде бы продемонстрировали, что обучение дало эффект; но не является ли эта картина просто случайностью? Может быть, 30 случайным образом выбранных сотрудников уже работали лучше, чем персонал в среднем, или этим 30 случайно пришлось иметь дело с менее «трудными» покупателями? Пересчитаем полученные результаты обеих групп следующим образом:

1. Разделим дисперсию выборки каждой группы на размер выборки. Получим: 0,392 / 30 = 0,0131 для группы испытуемых и 0,682 / 85= 0,008 для контрольной группы.

2. Сложим полученные для каждой группы результаты: 0,0131 + 0,008 = 0,021.

3. Извлечем из полученного числа квадратный корень. Так мы получим среднее квадратичное отклонение разницы между группами. В данном случае она составит 0,15.

4. Рассчитаем разницу между средними значениями двух сравниваемых групп: 2,433–2,094 = 0,339.

5. Рассчитаем теперь вероятность того, что разница между группой испытуемых и контрольной группой больше 0, то есть группа испытуемых показала действительно, а не случайно, лучшие результаты, чем контрольная группа. Используем для этого расчета формулу normdist в Excel:

=normdist(0, 0,339, 0,15, 1)

и получим вероятность, равную 0,01.

Таким образом, существует вероятность всего 1 % того, что сравниваемые группы одинаково хороши или плохи. Значит, мы можем быть на 99 % уверены, что люди, прошедшие тренинг, действительно работают лучше остальных сотрудников службы.

Аналогично можно сравнить контрольную группу с исходным состоянием. Разница между ними составляет всего 0,007. Применив метод, только что использованный нами для сравнения тест-группы и контрольной группы, найдем, что есть 48-процентная вероятность того, что контрольная группа работает хуже исходного состояния, или 52-процентная вероятность того, что лучше. Таким образом, различие между этими группами пренебрежимо мало, а для всех практических целей его вообще не существует.

Мы определили с высокой степенью уверенности, что тренинг способствует повышению удовлетворенности потребителей. Поскольку разница между группой испытуемых и контрольной группой составляет около 0,4, отдел маркетинга пришел к выводу: обучение приведет к росту продаж примерно на 8 %. Это означает, что затраты на обучение всего персонала экономически целесообразны. Вспомним, что мы вполне могли бы взять и меньшую выборку, воспользовавшись t-распределением Стьюдента для выборок размером до 30.

На семинарах мне часто задают примерно такой вопрос: «Если благодаря внедрению новой информационной системы продажи увеличатся, то откуда мы будем знать, что это произошло благодаря именно этой системе?» Просто удивительно, как часто этот вопрос возникает при том, что последние несколько столетий специалисты по научным измерениям только и делают, что пытаются выделить эффект одной переменной. Могу лишь предположить, что эти люди незнакомы с основными понятиями научного измерения. Приведенный ранее в этой главе пример эксперимента ясно показывает: то, что объясняется многими причинами, вполне можно проследить до одного-единственного фактора влияния, сравнивая тест-группу с контрольной группой. На самом деле использование этих групп — лишь один из имеющихся способов выделения эффекта одной переменной из всей массы информации, существующей в любой компании. Другой способ — рассмотреть, насколько одна переменная коррелирует с другой.