Николас Карр - Стеклянная клетка. Автоматизация и мы

Пристрастность к компьютерным данным – это оборотная сторона подчинения. Она возникает, когда люди придают неоправданное значение высвечивающейся на экране монитора информации. Даже если она неверна или вводит в заблуждение, люди все равно склонны ей верить. Уверенность в программном обеспечении оказывается настолько сильной, что мы игнорируем или отбрасываем другие источники информации, включая собственные суждения. Если вам когда-нибудь приходилось блуждать по незнакомому району, следуя указаниям неисправного или устаревшего GPS, то, значит, вы тоже пали жертвой пристрастия к данным автоматики. Даже люди, зарабатывающие на жизнь вождением автомобиля, часто проявляют поразительное отсутствие здравого смысла, полагаясь на спутниковые навигационные системы. Игнорируя дорожные знаки и другие значимые признаки, они выбирают опасные маршруты и порой врезаются в низкие эстакады или запутываются в узких улочках маленьких городков. В 2008 году в Сиэтле водитель автобуса высотой в 12 футов (около 4 метров), перевозившего школьную спортивную команду, врезался в пролет моста высотой в 9 футов. Крышу автобуса снесло от удара, в больницу с травмами попал 21 человек. В полиции водитель сказал, что следовал инструкциям навигатора и «не видел» знаки и предупреждающие сигналы о низком мосте [7].

Пристрастное отношение к компьютерным данным особенно рискованно для людей, принимающих решения на основании аналитических и диагностических компьютерных рекомендаций. С конца девяностых рентгенологи стали использовать программное обеспечение для выявления подозрительных очагов, обнаруженных при маммографии и других рентгенологических исследованиях. Цифровая версия изображения передается в компьютер, программа анализирует его и стрелками указывает врачу области рентгенограммы, на которые следует обратить особенно пристальное внимание. В некоторых случаях такие подсказки действительно способствуют верной диагностике, помогая врачу идентифицировать потенциальный рак в случаях, когда иначе он мог бы пропустить опасное заболевание. Проведенные на эту тему исследования показали, однако, что иногда такие подсказки производили абсолютно противоположный эффект. Идя на поводу у машины, врач лишь бегло осматривает другие области снимка и иногда пропускает угрожающую жизни больного опухоль или иную патологию. Подсказки увеличивают частоту ложноположительных результатов интерпретации снимков, приводящей к ненужным биопсиям.

Проведенный недавно группой специалистов Лондонского университета (University of London) анализ данных маммографий указывает на то, что пристрастное отношение рентгенологов и других специалистов по методам визуализации к компьютерным данным оказывает большее влияние на качество диагностики, чем думали раньше. Ученые обнаружили, что, в то время как компьютерная диагностика повышает надежность работы недостаточно опытных специалистов в выявлении сравнительно простых случаев, она же может подвести опытного рентгенолога при оценке сложных случаев. Полагаясь на программу, специалисты с довольно большой вероятностью пропускают некоторые типы рака [8]. Скрытое пристрастие к автоматизации принятия решений может быть обусловлено врожденным свойством когнитивных систем человеческого мозга реагировать на необычные и тревожные стимулы [9]. Направляя наше внимание в определенное русло, компьютерные подсказки искажают зрительное восприятие снимка.

Подчинение и пристрастие в отношении компьютерных данных и автоматизации вообще порождаются ограниченностью нашей способности концентрировать внимание. Тенденция к подчинению говорит о том, насколько легко исчезает наша сосредоточенность и осознание происходящего, когда отпадает необходимость непосредственного взаимодействия с окружающей реальностью. Склонность к пристрастному отношению в оценке компьютерной информации показывает, что внимание сосредоточивается выборочно и его объект может легко смещаться под влиянием достойных доверия подсказок, даже если они оказались ложными. Пристрастие становится все больше по мере того, как повышается надежность и качество автоматизированных систем [10]. Эксперименты показывают, что если система регулярно совершает ошибки, то мы сохраняем бдительность, следя за ее работой, проверяя ее сравнением данных с информацией, полученной из других источников. Но, если система надежна и редко отказывает, мы становимся ленивыми и нелюбопытными, убеждаясь в ее непогрешимости.