Филип Фернбах - Иллюзия знания. Почему мы никогда не думаем в одиночестве

Сейчас мы наблюдаем непростой период развития технологии. Почти все, что мы делаем, становится возможным благодаря умным машинам. Машины достаточно умны, чтобы мы могли на них полагаться как на центральный элемент сообщества носителей знаний. Однако ни один механизм не обладает уникальной способностью, столь важной для любой человеческой деятельности: он не готов к целенаправленному сотрудничеству. Это в значительной мере определяет основные контуры совместной работы человека и машины.

Одной из важнейших функций современных систем «человек – машина» является сохранение наших жизней, и устройства выполняют эту функцию очень хорошо (конечно, в тех случаях, когда они не предназначены специально для убийства). Люди уже не претендуют на то, чтобы самостоятельно, без помощи компьютеров, управлять самолетами, автомобилями и промышленными установками. Нас окружает множество сложных технических устройств, которые делают то, для чего они предназначены. Даже при вождении автомобиля водитель сейчас в меньшей степени управляет машиной, чем раньше. В современном автомобиле имеется порядка пятидесяти микропроцессоров (107). Некоторые из них предназначены для обеспечения комфорта и развлечений, например спутниковое радио. Другие помогают водителю управлять машиной: для обеспечения оптимального усилия в рулевом приводе с гидроусилителем на различных скоростях движения используется компьютер; он же задействован и в антиблокировочной тормозной системе, предотвращающей занос машины. При этом революция, имя которой «автоматизация», только начинается. Полностью автоматизированный автомобиль можно встретить уже не только в научно-фантастических романах. В конце 2015 г. Илон Маск, генеральный директор компании Tesla Motors, заявил (108), что примерно через два года такая машина станет реальностью, хотя государственным чиновникам для разработки правовых норм допуска беспилотных автомобилей на дороги, скорее всего, потребуется больше времени.

Что касается крупных транспортных средств, технология здесь уже изменила правила игры. Без помощи автоматики современный лайнер просто не полетит. Для управления полетом новейшими военными реактивными самолетами используются компьютерные комплексы, потому что они настолько неустойчивы, что требуют применения автоматизированной системы, которая во много раз быстрее, чем человек, обнаруживает отклонения и реагирует на них. Вместе с тем наша зависимость от умных технологий создает определенный парадокс: по мере ее развития техника становится все более надежной и эффективной, и именно поэтому человек все больше зависит от нее. В итоге концентрация внимания у человека-оператора ослабляется, он отвлекается, самоустраняется, перекладывает всю работу на технику. В самом крайнем случае эта тенденция может привести к тому, что пилотирование тяжелого воздушного корабля превратится в пассивное занятие, подобное просмотру телевизора. Это замечательно – пока не случается нечто непредвиденное. Именно в непредвиденных ситуациях выявляется вся ценность человека с его способностью гибко реагировать на обстоятельства и справляться с незнакомыми ситуациями. Машины не способны на сотрудничество во имя достижения общей цели, они служат всего лишь инструментами. И если человек-оператор перестает осуществлять контроль, то велика вероятность того, что в системе возникнет серьезная авария.

Парадокс автоматизации заключается в том, что сама эффективность автоматизированных систем безопасности порождает зависимость от них, и в силу этой зависимости вклад человека-оператора в работу системы уменьшается, что, в свою очередь, повышает уровень опасности. Современные технологии чрезвычайно сложны, и они усложняются все больше и больше. Автоматизированные системы безопасности непрерывно совершенствуются. По мере их усложнения, дублирования и включения дополнительных функций сфера использования этих систем расширяется. Но в случае их отказа масштабы катастрофы могут быть намного больше. Ирония судьбы заключается в том, что автоматизированные системы на самолетах, поездах и промышленном оборудовании могут снижать общий уровень безопасности (109). Поскольку технология не способна понять, что собирается выполнить система (потому что она не осознает и не разделяет намерений человека), всегда существует опасность, что что-то пойдет не так. Если человек как часть системы не подготовлен к действиям в условиях отказа технологии, может случиться беда.