Я изменил процедуру: вместо того чтобы читать каждую работу по отдельности, я проверял ответ на первый вопрос у всех студентов и выставлял оценки, а затем переходил к следующему. Результаты я записывал на предпоследней странице работы, чтобы во время чтения второго ответа меня подсознательно не сбивали уже выставленные оценки. Вскоре после перехода на новый метод я с тревогой отметил, что стал выставлять оценки с меньшей уверенностью, чем раньше, – из-за того, что часто испытывал непривычный дискомфорт. Разочаровавшись во втором ответе, я заглядывал на предпоследнюю страницу, чтобы записать плохую оценку, и временами обнаруживал там высокую оценку за первый вопрос. Также выяснилось, что мне хотелось уменьшить разницу между оценками, изменив еще не записанный результат, и с большим трудом удавалось придерживаться простого правила не поддаваться этому искушению. В моих оценках ответов одного и того же студента часто наблюдался значительный разброс. Отсутствие когерентности раздражал о и вызывало во мне неуверенность.
Я стал менее доволен и менее уверен в своих оценках, однако понимал, что это служило хорошим знаком, свидетельствовало о том, что новый метод лучше. Радовавшее меня прежде сходство оценок оказалось ложным и давало ощущение когнитивной легкости; моя Система 2 с безмятежной радостью принимала окончательную оценку. Позволив оценке первого ответа влиять на оценку всех остальных, я не замечал несоответствия, проявлявшегося в отличных ответах студента на одни вопросы и плохих – на другие. Раздражающая несообразность, обнаружившаяся при переходе на новую процедуру выставления оценок, как выяснилось, существует в действительности: она отражала и то, что единичный ответ не может служить адекватной мерой знаний студента, и то, что мои оценки ненадежны.
Мой метод уменьшения эффекта ореола сводится к общему принципу: избавляйтесь от корреляции ошибок! Чтобы понять, как работает этот принцип, представьте, что множеству испытуемых показывают стеклянные банки, заполненные монетками, и просят оценить количество мелочи в каждой банке. Как объяснил Джеймс Шуровьески (James Surowiecki) в своей замечательной книге «Мудрость толпы», с такими заданиями участники, как правило, справляются плохо, но если объединить все единичные суждения, то результат будет неожиданно хорошим. Кто-то переоценивает настоящее количество, кто-то – недооценивает, но если все оценки усреднить, то результат выходит довольно точным. Механизм прост: все смотрят на одну и ту же банку, у всех оценок – одна основа, и все же ошибки каждого испытуемого не зависят от ошибок других и (в отсутствие систематических искажений) усредняются до нуля. Вдобавок магия уменьшения ошибки срабатывает только в том случае, когда наблюдения взаимно независимы, а ошибки не коррелируют. Если испытуемые находятся под влиянием общего для них предубеждения, то агрегация оценок его не уменьшит. По сути, если позволить наблюдателям влиять друг на друга, то размер выборки уменьшится, а с ним уменьшится и точность групповой оценки.
Для получения полезной информации из множественных источников следует обеспечить их независимость друг от друга. Это правило широко используют в полицейских расследованиях: многочисленным свидетелям происшествия не разрешают обсуждать его до дачи показаний. Цель не только в том, чтобы предотвратить сговор между злоумышленниками, но и в том, чтобы непредубежденные свидетели не повлияли друг на друга. Те, кто обмениваются впечатлениями, впоследствии будут склонны делать одинаковые ошибки в показаниях, уменьшая общую ценность предоставляемых ими сведений. Избавляйтесь от избыточности в ваших источниках.
Этот принцип независимости суждений и декоррелированных ошибок могут с успехом применять руководители компаний во время проведения совещаний и всевозможных встреч. Следует соблюдать простое правило: все участники записывают краткое изложение своей точки зрения до обсуждения, и, та ким образом, эффективно используется все разнообразие знаний и мнений внутри группы. При стандартном открытом обсуждении слишком большой вес получают мнения тех, кто говорит раньше и убедительнее других, вынуждая остальных присоединяться.
Что ты видишь, то и есть (WYSIATI)
Размышляя о первых годах совместной работы с Амосом, я неизбежно вспоминаю его любимую шутку. Ловко пародируя одного из университетских преподавателей философии, мой приятель с сильным немецким акцентом хрипло произносил: «Не забывайте о примате Бытия!» Что именно имел в виду профессор, я так и не понял (подозреваю, что и Амос тоже), но шутки моего друга всегда имели определенный смысл. Мы с ним вспоминали эту фразу всякий раз, когда сталкивались с удивительно асимметричным отношением наших умов к информации, которая у нас имеется, и к информации, которой мы не располагаем.
Читать дальше
Конец ознакомительного отрывка
Купить книгу