Николас Карр - Стеклянная клетка. Автоматизация и мы

Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.

В 2013 году Кристоф Хейнс, южноафриканский правовед, работающий над темой внесудебных решений, издал доклад о статусе и перспективах развития военных роботов [4]. От чтения этого сухого бесстрастного доклада по спине бегут мурашки: «Правительства, способные выпускать смертоносные автономные роботы, – писал Хейнс, – утверждают, что в настоящее время не рассматривается вопрос об их применении в вооруженных конфликтах или в каких-либо иных ситуациях. Однако история вооружений, – продолжает он, – позволяет предположить, что людям не следует слишком серьезно относиться к таким прогнозам. Надо помнить, что аэропланы и беспилотные самолеты поначалу использовались в вооруженных конфликтах только для разведки, а их боевое применение исключалось ввиду возможных негативных последствий. Опыт, однако, подтверждает, что, когда технология позволяет получить преимущество перед противником, подобные рассуждения просто отбрасываются в сторону. Как только появляется новый тип оружия, немедленно начинается гонка вооружений. В этой ситуации сила соблюдения собственных интересов может свести на нет всякие усилия по контролю над вооружением и его боевым применением».

Война гораздо в большей степени подчиняется шаблонам, чем гражданская жизнь. Есть определенные правила ведения боевых действий, иерархия командования и четко определенные стороны конфликта. Убийство не только не порицается, но и поощряется. Но даже на войне программирование морально значимых задач поднимает проблемы, которые не могут быть решены без предварительного урегулирования некоторых моральных аспектов. В 2008 году командование ВМС США поручило группе по этике и новым наукам Университета штата Калифорния подготовить доклад по этическим проблемам, возникающим в связи с возможным применением смертоносных автоматизированных машин, и выработать предложения по созданию «этически запрограммированных роботов» для военных целей. Специалисты по этике доложили, что существует, в принципе, два способа программирования морально обоснованных компьютерных решений: сверху вниз и снизу вверх. В первом случае все правила, программирующие решения робота, создаются заранее, и машина просто им следует «без изменений или гибкости». Невозможно предвидеть все ситуации, в которых может оказаться робот. «Ригидность программирования сверху вниз может привести к неприятным последствиям, – написали ученые, – когда события или ситуации, не предусмотренные или недостаточно проработанные программистами, заставляют робота поступать неверно или просто совершать ужасные вещи именно потому, что он жестко следует заданным правилам» [5].

При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с бо́льшим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.