Дуглас Хаббард - Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]

Мысль провести эксперимент, чтобы определить какой-либо важный бизнес-показатель, к сожалению, приходит в голову менеджерам нечасто. А ведь эксперименты (что мы видели на примере Эмили Роза) могут быть очень простыми. При правильном подходе даже горсть конфетти, как показал Энрико Ферми, позволяет выяснить такой параметр, как мощность атомной бомбы. Сама идея очень проста. Как говорится в главе 3 о выборе инструментов измерения, когда вам нужно узнать то, что еще никем не измерено и что нельзя наблюдать без явного вмешательства, постарайтесь создать условия для наблюдения с помощью эксперимента.

Используемое в широком смысле слово «эксперимент» означает любое явление, созданное специально для цели наблюдения. Вы «экспериментируете», когда проверяете систему безопасности, чтобы понять, как быстро она отреагирует на угрозу. Но главной особенностью управляемого эксперимента является то, что у вас обычно не один, а два объекта изучения. Вы наблюдаете за тем, что испытываете (группа испытуемых), и за тем, с чем результаты испытания можно будет сравнить потом (контрольная группа). Это идеальный подход к ситуации, когда слишком сложно проследить за существующим явлением или когда объект, требующий измерения, еще не возник (например, необходимость оценки эффекта от изменения композиции продукта или внедрения новой информационной технологии).

Можно запустить новый опытный продукт или новую технологию и без оценки последствий. Но как узнать, понравилась ли потребителям ваша новая продукция, действительно ли повысилась производительность труда? Доходы могут вырасти вовсе не из-за изменения композиции продукта, а производительность труда — измениться совсем по другим причинам. На самом деле, если положение компании в какой-то момент зависит только от одного фактора, то отпадает необходимость в контрольных группах. Тогда можно менять этот фактор, исследовать положение компании и приписать возникшие сдвиги исключительно этой причине. Но, конечно, нужно уметь оценивать одновременное влияние разных сил и тогда, когда на сложные системы влияют многочисленные факторы, в том числе и такие, которые даже нельзя выявить и определить.

Изменяя какое-либо свойство своего продукта и желая понять, как это изменение повлияет на мнение потребителей, мы, возможно, должны будем провести эксперимент. Удовлетворенность потребителей, а следовательно, и число повторных заказов зависят от целого ряда причин. Но когда необходимо узнать, оправдано ли экономически это новое свойство продукта, приходится оценивать роль только этого фактора, а не совокупности разных причин. Сравнивая мнения потребителей, купивших усовершенствованный продукт, и тех, кто остался верен старому варианту, мы сможем количественно определить эффект именно нового свойства.

Для интерпретации результатов экспериментов используются в основном уже обсуждавшиеся нами методы: проведение разных выборочных обследований, возможно, испытаний вслепую и т. д. Но особенно важно уметь рассчитывать разницу результатов, полученных в группе испытуемых и контрольной группе. Если мы уверены, что группа испытуемых действительно отличается от контрольной, то должны быть убеждены и в том, что разница в результатах возникает не случайно. На самом деле, сравнение откликов двух групп очень похоже на расчет среднего квадратичного отклонения оценки, с которым мы уже знакомы, но с одним небольшим изменением. В данном случае среднее квадратичное отклонение, которое надо определить, — это отклонение различия результатов групп. Рассмотрим следующий пример.

Предположим, что одна компания решила оценить воздействие тренинга «Управление взаимоотношениями с клиентами» на качество работы службы поддержки потребителей. Сотрудники этой службы обычно отвечают на звонки покупателей, у которых появились вопросы или возникли проблемы с новым продуктом. Есть мнение, что плохая работа данной службы приводит не столько к снижению объемов продаж именно этим покупателям, сколько к той устной антирекламе, которую компания получает в результате. Как обычно, эта компания, прежде всего, оценила существующую неопределенность эффекта от проведения тренинга, затем определила соответствующий порог и рассчитала стоимость информации.

Изучив несколько возможных инструментов измерения, менеджеры решили, что лучше всего провести опрос позвонивших в службу поддержки покупателей и поинтересоваться не только их впечатлениями, но и вероятностью того, что они порекомендуют компанию своим друзьям. Используя ранее собранную маркетинговую информацию, калиброванные менеджеры определили, что новый тренинг в области управления взаимоотношениями с клиентами может увеличить объем продаж на 0–12 %, но расходы на его проведение окупятся даже в случае, если рост продаж составит лишь 2 %.