Третье направление – это разработка математических моделей поведения самих экспертов в процессе экспертизы, которые позволили бы уменьшить их «стратегическое» поведение, то есть преследование ими своих собственных, отличных от организаторов экспертизы, целей. При этом такое поведение может быть у всех упомянутых выше участников экспертного процесса. Как пишет Н.А. Абрамова, согласно парадигме активных систем, человек обладает свойством сознательного выбора той модели поведения, которая наиболее отвечает его целям в данной ситуации. В частности, он может внешне действовать в рамках заданных «правил игры», а фактически следовать своим целям и правилам [64] Абрамова Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях // Проблемы управления. 2007. № 2. С. 11–21.
.
«В этом контексте активной называется экспертиза, в которой существенна активность (то есть, целенаправленность (не всегда «объективная») поведения) ее участников и их возможности манипулирования результатами экспертизы. Процедуры экспертизы, в которых нейтрализованы возможности манипулирования их результатами (точнее, в которых всем участникам выгодно вести себя честно и добросовестно), называются неманипулируемыми [или пассивными] экспертизами» [65] Сетевая экспертиза, 2011. С. 109.
. Различные подходы к созданию условий для проведения неманипулируемых экспертиз (разработанные с помощью математического моделирования) представлены, например, в работах Д.А. Новикова с соавторами [66] Новиков Д.А. Теория управления организационными системами. М., 2007; Бурков В.Н., Новиков Д.А. Как управлять организациями. М., 2004.
. Разрабатываются также способы предотвращения такой опасной разновидности активной экспертизы, как коррупционное поведение [67] Выборнов Р.А. Модели и методы управления организационными системами с коррупционным поведением участников. М., 2006.
.
Четвертым направлением снижения возможных ошибок экспертных процедур является уменьшение роли неосознанных, непреднамеренных ошибок как самих экспертов, так и организаторов экспертизы. Так, например, в работах Н.А. Абрамовой [68] Абрамова Н.А. О некоторых мифах в оценке качества программного обеспечения // Надежность. 2002. № 1 (8). С. 38–63; Абрамова Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях // Проблемы управления. 2007. № 2. С. 11–21.
развивается представление о том, что каждый эксперт обладает своей определенной областью компетенции. В условиях реальной экспертизы, например, быстрого изменения ситуации, срочности задания или в иных стрессовых ситуациях эксперт при подготовке своего заключения может незаметно для самого себя сместиться из области своей компетентности в область «обыденного знания». Для обыденного же мышления характерно обращение к неадекватным стереотипам. Использованию подобных неадекватных подходов и стереотипов, по мнению Н.А. Абрамовой, способствуют:
• «Объективные и субъективные условия, такие как недостаток времени или познавательных ресурсов для исчерпывающего анализа ситуации, информационная сложность ситуации, неопределенность, отсутствие выбора и др.;
• Специфика действия стереотипов, запускаемых автоматически без достаточных оснований (предполагается механизм условного рефлекса);
• «Факторы веры» – факторы влияния, повышающие субъективную уверенность в адекватности принимаемых решений, помимо их объективной адекватности, вплоть до существенного отклонения от рационального поведения» [69] Абрамова Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях // Проблемы управления. 2007. № 2. С. 16.
.
При этом наиболее «тяжелыми» факторам влияния оказываются научные нормы и парадигмы, обеспечивающие уверенность ученых в своих немотивированных представлениях. Отметим, что наряду с обозначенными выше «факторами риска» Н.А. Абрамова выделяет и факторы второго рода, которые закладываются уже в ходе создания и обоснования экспертных методов, а именно – психологически некорректные модели знаний экспертов, либо принятие линейной модели при аппроксимации.
Завершим это раздел списком наиболее типичных ошибок, возникающих при проведении экспертизы: 1. Преувеличение возможностей экспертных оценок; 2. Излишнее увлечение «здравым смыслом»; 3. Использование некомпетентных экспертов; 4. Недостаточная информированность экспертов об объекте экспертизы; 5. Нечеткая постановка задачи перед экспертами; 6. Стремление оставаться в рамках одной экспертной процедуры; 7. Излишнее увлечение количественными оценками; 8. Нарушение принципов теории измерений; 9. Возможная противоречивость экспертных оценок при парных измерениях; 10. Неоправданное увлечение «свертками»; 11. Неточные процедуры коллективного выбора; 12. Необходимость организации информационного взаимодействия между экспертами; 13. Конформизм экспертов; 14. Коньюктурность оценок; 15. Неверное понимание точности экспертных оценок; 16. Излишнее увлечение формальными моделями; 17. Неправильная обработка результатов экспертизы; 18. Некорректная интерпретация результатов.
Читать дальше