Дуглас Хаббард - Как измерить все, что угодно [Оценка стоимости нематериального в бизнесе]

Точность— характеристика измерений, дающих низкую систематическую ошибку, то есть таких, когда искомое значение не занижается и не завышается на постоянной основе.

Достоверность— характеристика измерений, дающих низкую случайную ошибку, то есть таких, которые дают аналогичные результаты, пусть и далекие от истинного значения.

Иными словами, достоверность — это низкая случайная ошибка при любой систематической ошибке, а точность — это низкая систематическая ошибка при любой случайной ошибке. Каждый вид ошибки можно учесть и компенсировать. Зная, что весы всегда показывают на 3 кг больше, мы можем скорректировать их показания. Если весы настроены точно, но дают разноречивые показания, то мы можем устранить случайную ошибку, проведя несколько измерений и рассчитать средний результат. Любое снижение того или иного вида ошибки называется контролем точности.

Случайная выборка представляет собой тип контроля точности в случае правильного ее использования. Непредсказуемые по отдельности, взятые в целом, случайные эффекты подчиняются определенным, вполне прогнозируемым закономерностям. Например, я не знаю, как упадет одна подброшенная монета, но могу сказать, что при подбрасывании 1000 монет решка выпадет 500±26 раз (способ определения этой ошибки мы еще обсудим позже). Намного сложнее оценить, даже приблизительно, систематическую ошибку. Систематические ошибки (допускаемые необъективно настроенными экспертами, определяющими качество продукции, или приборами, постоянно дающими завышенные показания) не обязательно порождают случайные ошибки, не поддающиеся количественной оценке с помощью теории вероятности.

Будь у вас выбор, что бы вы предпочли: взвеситься на разрегулированных, но достоверных весах с неизвестной погрешностью или на настроенных, но находящихся на движущейся платформе и дающих всякий раз разные показания? Я обнаружил, что в бизнесе люди нередко предпочитают достоверность с неизвестной систематической ошибкой недостоверному значению со случайной ошибкой. Например, чтобы определить, сколько времени торговые представители тратят на встречи с клиентами по сравнению с выполнением других административных задач, менеджеры, скорее всего, проанализируют все ведомости учета рабочего времени. Идея провести случайную выборку торговых представителей и изучить структуру их временных затрат вряд ли придет им в голову. Но ведомости учета рабочего времени не дают точной картины, особенно если заполняются в пятницу в 5 часов вечера перед самым уходом с работы за всю неделю сразу. Люди недооценивают время, затраченное на выполнение одних задач, переоценивают продолжительность выполнения других и непоследовательны в классификации этих задач.

Поэтому даже если анализ всех пяти тысяч ведомостей учета рабочего времени (по 50 недельных ведомостей на каждого из 100 торговых представителей) и скажет нам, что они тратят на непосредственное общение с клиентами 34 % своего времени, мы не будем знать, правда ли это. И все же эта «точная» цифра, похоже, кажется многим менеджерам вполне убедительной. Предположим теперь, что прямое наблюдение за случайно выбранными торговыми представителями в случайно выбранные моменты времени показало, что они находились на встречах с клиентами или разговаривали с ними по телефону только в 13 из 100 случаев (в этом можно убедиться, и не отвлекая торговых представителей от их занятия, а опросив их, когда они освободятся). Как показано в главе 9, для последнего измерения мы можем статистическими методами рассчитать, что 90-процентный доверительный интервал этого показателя составляет 7,5–18,5 %. Хотя метод случайной выборки и даст нам только интервал, его результат будет представлять больший интерес, чем результат анализа ведомостей учета рабочего времени. Последний способ предоставляет точное число, но мы не имеем возможности узнать, как велика погрешность и в какую сторону полученное значение отклоняется от истинного.

В 1940-х и 1950-х годах исследования Альфреда Кинси о сексуальном поведении человека дали толчок оживленным дискуссиям о сравнительных достоинствах малых случайных выборок и крупных неслучайных. Книги Кинси вызвали и большой интерес, и много споров. Получив грант от фонда Рокфеллера, Кинси сумел опросить 18 тыс. мужчин и женщин. Но его выборки были не совсем случайными. Он стремился встретиться с рекомендованными ему людьми и побеседовать с каждым представителем какой-либо группы (команды по боулингу, студенческих сообществ, книжного клуба и т. д.). По-видимому, он исходил из того, что при достаточно большой выборке погрешность компенсируется. Но в случае большинства систематических ошибок это не срабатывает — они не исключаются методом усреднения. Знаменитый статистик Джон Тьюки, которому тот же фонд Рокфеллера не позволил проверить работу Кинси, якобы сказал, что случайный выбор трех человек дал бы лучшие результаты, чем выбранная мистером Кинси группа из 300 человек. По другой версии, он сказал, что предпочитает случайную выборку из 400 респондентов отобранным Кинси 18 тыс. человек. Возможно, первое высказывание Тьюки и преувеличение, но небольшое. Он имел в виду, что выбиравшиеся Кинси группы были нередко очень близки к однородным. Поэтому, с точки зрения статистики, их можно приравнять к одному случайно выбранному человеку. Во второй версии своего высказывания Тьюки был абсолютно прав: ошибка при случайном выборе 400 человек вполне поддается количественной оценке и может быть намного меньше систематической ошибки при неправильном выборе 18 тыс. человек.