Николас Карр - Стеклянная клетка. Автоматизация и мы

В медицине специалистам часто приходится пересматривать инструкции или назначения, сделанные компьютерами. Руководство госпиталей обнаружило, что назначения ими лекарств, устранив некоторые общие расстройства организма человека, создали новые проблемы. Проведенное в 2011 году в одном из госпиталей исследование показало, что число случаев повторного назначения одних и тех же лекарств возросло после внедрения автоматизированной системы [7]. Диагностические программы тоже далеки от совершенства. В большинстве случаев доктор Алгоритм поставит вам правильный диагноз и назначит адекватное лечение, но если набор ваших симптомов отличается от стандартного, то вы будете благодарить судьбу за то, что в кабинете оказался доктор Человек, который исправил неудачные назначения компьютера.

Потенциальных источников ошибок становится больше по мере усложнения технологии автоматизации, увеличения числа перекрестных связей, объемов баз данных и сетевых протоколов. Системы подвергаются «каскадам отказов», в ходе которых небольшая поломка в каком-то одном звене приводит к катастрофическим последствиям, вызывая разлад всей системы. В 2010 году группа физиков писала в журнале Nature: «Человек живет в мире взаимозависимых сетей. Различные элементы инфраструктуры, такие, как водоснабжение, транспорт, заправочные станции и электростанции, – все это соединено в единую систему электроникой и другими средствами, что делает их в высшей степени чувствительными к случайным сбоям и ошибкам» [8].

Становится все труднее выявлять вероятность наступления таких нарушений. «В промышленных машинах прошлого, – объясняет научный сотрудник MIT Нэнси Ливсон в своей книге “Engineering a Safe Word” (“Создание безопасного мира”), – взаимодействие между деталями можно было надежно спланировать, понять и защитить, а всю конструкцию машины – полностью протестировать, прежде чем запускать ее в действие». Современные высокотехнологичные системы уже не обладают этими свойствами. Они стали менее управляемыми в интеллектуальном смысле, чем их предшественники, собранные с помощью болтов и гаек [9]. Все части машины могут работать безупречно, но небольшая ошибка в конструкции способна привести к непоправимой катастрофе.

Опасность еще более увеличивается из-за невероятной скорости, с какой компьютеры принимают решения и начинают действовать. Это было наглядно продемонстрировано ужасным утром 1 августа 2012 года, когда крупнейшая торговая фирма Уолл-стрит Capital Group запустила новую автоматизированную программу для покупки и продажи акций. В этой суперсовременной программе был небольшой изъян, оставшийся незамеченным во время ее испытаний. Программа немедленно вздула валютные курсы своими абсолютно иррациональными распоряжениями, продавая ежесекундно акции на 2,6 миллиона долларов. Через 45 минут, которые потребовались математикам и программистам для того, чтобы разобраться в проблеме и остановить это безумие, программа успела растранжирить 7 миллиардов долларов, поставив компанию на грань банкротства. Через неделю консорциум других фирм Уолл-стрит компенсировал убытки Capital Group, чтобы избежать катастрофы на финансовом рынке.

Естественно, технология не стоит на месте, а неисправности всегда устраняются. Но безупречность работы автоматизированных систем, увы, навечно останется недостижимым идеалом. Даже если инженерам удастся создать совершенную систему, то ей придется подстроиться под наш мир. Беспилотные автомобили поедут не по улицам города Солнца. Роботы работают не в райских кущах. По небу по-прежнему будут летать гуси, а из туч – сверкать молнии. Убеждение в том, что когда-нибудь будет построена абсолютно самодостаточная, надежная автоматизированная система, – это не более чем утопия. К сожалению, такая вера характерна не только для высоколобых технократов, но и для инженеров и программистов, создателей этих систем. В своей знаковой статье, напечатанной в 1983 году в журнале Automatica, Лизанна Бэйнбридж, профессор инженерной психологии из Лондонского университетского колледжа (University College London), сформулировала причину наделения компьютерных систем все бо́льшими задачами, заключающуюся в том, что создатели программ часто считают людей «ненадежными и неэффективными» по сравнению с компьютерами. Люди, таким образом, превращаются в наблюдателей, пассивных созерцателей экранов [10]. Исследования вигильности [25]  Вигильность – настороженность, осторожность, как преднамеренная и осознанная, так и скрытая, бессознательная (например, настороженность спящей матери в отношении своего ребенка). операторов британских радаров, следивших за немецкими подводными лодками во время Второй мировой войны, показали, что даже высокомотивированный человек не способен внимательно следить за экраном монитора больше чем полчаса, если эта информация не меняется [11]. Людям становится скучно, они отвлекаются на посторонние мысли, концентрация внимания падает. «Это означает, – писала Бэйнбридж, – что человек физически не способен наблюдать за экраном, на котором долгое время не происходит ничего существенного» [12].