Дуглас Хаббард - Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]

На самом деле АНР — просто еще один метод расчета взвешенных коэффициентов, особенностью которого является возможность снижения уровня информационного шума за счет выявления противоречащих друг другу ответов. Однако это вряд ли делает его результаты «доказанными», как часто утверждается. Проблема в том, что сравнение таких критериев, как стратегическая согласованность и риск, связанный с разработкой новой продукции, обычно не имеет смысла. Если бы я спросил, что вы предпочитаете — новую машину или деньги, то вы, прежде всего, спросили бы меня, о какой машине и о каких деньгах я говорю. Если бы речь шла о малогабаритном автомобиле среднего класса с пятнадцатилетней историей и миллионе долларов, то вы, наверное, дали бы один ответ, а если бы о новом «роллс-ройсе» и ста долларах, то другой. Тем не менее, по моим наблюдениям, когда группа людей применяет АНР, никто не спрашивает, о какой степени риска разработки новой продукции и о каких объемах затрат идет речь. Как ни странно, они просто дают ответ, как если бы сравнение было очевидно. Такой подход привносит опасность, что одни люди просто представляют себе совсем иные связи между затратами и риском, чем другие, а значит, уровень шума только повышается.

Последний, особенно странный недостаток анализа иерархий — возможность обратного порядка предпочтений [50] A. Stam, A. Silva. Stochastic Judgments in the AHP: The Measurement of Rank Reversal Probabilities // Decision Sciences Journal, 1997, Summer, vol. 28, № 3. . Допустим, вы про-ранжировали с помощью АНР варианты А, B и C так, что самым предпочтительным оказался вариант А. Предположим, что вы откажетесь от варианта С; изменится ли в результате положение вариантов А и В в списке так, что лучшим станет В, а худшим — А? Нелепо, не правда ли? Как ни странно, применение метода анализа иерархий может привести именно к этому.

Существует только один ограничивающий критерий, позволяющий с уверенностью сказать, являются ли методы анализа «затрат/выгод» или расчета взвешенных коэффициентов способами измерения: результатом должно стать повышение предыдущего уровня знания. Если использованный метод только увеличивает прежнюю ошибку, то это не измерение. Если его считают формализованным и систематизированным, но без научных доказательств уменьшения ошибки и принятия более удачных решений, это не измерение. На проведение псевдоизмерений организации нередко тратят больше времени и сил, чем потребовалось бы на применение способов, гарантированно снижающих неопределенность. Зачем же тогда, спрашивается, даже думать об использовании методов, которые фактически не уменьшают неопределенность?

В конечном счете, человеческое суждение — совсем не плохой инструмент измерения. Если вы регулярно принимаете большое число аналогичных решений, то модели Раша и линзы, несомненно, помогут вам снизить неопределенность, устранив отдельные типы ошибок, присущие экспертам. Даже простой z-показатель Доуза выглядит, похоже, как определенный шаг вперед по сравнению с мнением эксперта.

Расскажем для сравнения о еще одном подходе, как будто более эффективном, чем все перечисленные методы, — объективной оптимизированной линейной модели. В отличие от других обсуждавшихся в этой главе способов, он никак не зависит от человеческих суждений и поэтому обычно дает намного лучшие результаты. Обычно мы предпочитаем его, но во многих случаях, когда приходится количественно оценивать то, что «не поддается измерению», необходимые для этого подробные, объективные данные за прошлые периоды получить невозможно. Отсюда возникает потребность в таких методах, как модели линзы, Раша и т. д.

В главе 9 мы обсуждали способы проведения регрессионного анализа, нужные, чтобы выделить и оценить эффекты от многочисленных переменных. Имей мы больше данных за прошедшие периоды по некоей периодически возникающей проблеме, полную документацию по каждому фактору, выраженному в реальных единицах измерения (а не в баллах условной шкалы), и возможность зарегистрировать фактические результаты, можно было бы построить «объективную» линейную модель.

Если модель линзы выявляет корреляцию между исходными переменными и экспертными оценками, то объективная модель находит связь между этими переменными и фактическими результатами прошлых периодов. Во всех случаях применения модели линзы, перечисленных в рисунке 12.2, на основе прошлой информации была построена регрессионная модель. Например, врачам были предоставлены медицинские данные о больных раком, а затем на основе оценок их ожидаемой продолжительности жизни была построена модель линзы. Но помимо этого за пациентами продолжали наблюдать и определять их фактическую продолжительность жизни. И если погрешность результата, полученного с помощью модели линзы, оказалась всего на 2 % меньше человеческого суждения, то ошибка оценки на базе объективной модели была меньше уже на 12 %. Средняя погрешность оценок, полученных во всех случаях применения модели линзы (см. рис. 12.2), была на 5 % меньше ошибки мнений экспертов, а средняя ошибка объективной модели — на 30 %. Конечно, даже объективные линейные модели не являются панацеей от всех бед. Как мы говорили в предыдущих главах, обычно дальнейшее разложение задачи на составляющие позволяет снизить неопределенность еще больше. Если бы мы расположили все эти методы в определенном порядке, так, чтобы на одном конце спектра оказались простые экспертные оценки, а на другом — объективная линейная модель, то получили бы следующую картину (см. рис. 12.5).