Джон Маркофф - Homo Roboticus? Люди и машины в поисках взаимопонимания

Разработчик программного обеспечения и консультант автомобильного проекта Google Брэд Темплтон как-то заметил: «Робот станет действительно автономным, когда вы прикажете ему идти на работу, а он решит отправиться на пляж» {201}. Это замечательная фраза, в которой самосознание соединяется с автономностью. Сегодня машины начинают действовать без значимого вмешательства людей или на уровне независимости, которую можно считать автономностью. Это ставит трудные вопросы перед разработчиками интеллектуальных машин. Однако по большей части инженеры игнорируют этические проблемы, возникающие при использовании компьютерных технологий. Лишь изредка сообщество исследователей искусственного интеллекта поддается дурным предчувствиям.

На проходившей в Атланте в 2013 г. конференции Humanoids, посвященной разработке и применению антропоморфных роботов, робототехник из Технологического института Джорджии Рональд Аркин обратился к аудитории со страстной речью под названием «Как НЕ создать Терминатора». Он напомнил собравшимся, что к своим трем знаменитым законам Азимов позднее добавил фундаментальный «нулевой» закон робототехники, который гласит: «Робот не может причинить вред человечеству или, бездействуя, допустить, чтобы человечеству был причинен вред» {202}. Обращаясь более чем к 200 робототехникам и специалистам по искусственному интеллекту из университетов и компаний, Аркин призвал более глубоко задуматься о последствиях автоматизации. «Все мы знаем, что соревнования [DARPA Robotics Challenge] проходят с прицелом на чрезвычайные ситуации под девизом „найти и уничтожить“, – сказал он сардонически, добавив: Простите, я имел в виду девиз „найти и спасти“».

Граница между роботами, действующими как спасатели и как надзиратели, уже сейчас нечеткая, если вообще существует. Аркин показал отрывки из научно-фантастических фильмов, включая «Терминатор» 1984 г. Джеймса Кэмерона. В каждом из них фигурировали злобные роботы, выполнявшие задачи, которые DARPA ставило в своих соревнованиях: расчистка завалов, вскрытие дверей, проламывание стен, подъем по лестницам и вождение автомобилей. Разработчики могут использовать эти возможности как конструктивно, так и деструктивно в зависимости от своих намерений. Аудитория нервно смеялась, но Аркин не давал ей расслабиться. «Я шучу, – сказал он, – но мне хочется показать, что технологии, которые вы разрабатываете, могут использоваться в таких целях, о которых вы даже не задумывались». В сфере вооружений потенциал неожиданных последствий долгое время был особенностью так называемых технологий двойного назначения, например ядерной энергии, которая может использоваться и как источник электричества, и как оружие. Теперь это все более справедливо для робототехники и искусственного интеллекта. Это технологии двойного назначения не только с точки зрения возможности использования в качестве оружия, но и с точки зрения их потенциала расширять возможности людей или заменять их. Сегодня мы все еще «в контуре управления» – машины, заменяющие людей или расширяющие их возможности, разрабатываются людьми, которые не могут сбросить с себя ответственность за последствия своих изобретений. «Если вы хотите создать Терминатора, то продолжайте делать свое дело не задумываясь и вы получите именно такое устройство, – сказал Аркин. – Но миру вокруг нас не все равно, какие будут последствия у того, что мы создаем».

Вопросы и проблемы автоматизации вышли за пределы технического сообщества. В оставшемся незамеченным открытом отчете Пентагона «Роль автономности в оборонных системах» {203}авторы обратили внимание на этические проблемы автоматизации боевых систем. Военные уже напрямую сталкиваются с противоречиями, связанными с автономными системами вроде дронов и приближением к грани, за которой вопросы жизни и смерти уже будут решать не люди. В одном из своих выступлений Аркин утверждал, что, в отличие от людей, автономные боевые роботы не будут чувствовать угрозы личной безопасности, а это потенциально может уменьшить сопутствующий ущерб и избежать военных преступлений. Этот вопрос – часть споров, начавшихся еще в 1970-е гг., когда командовавшие соединениями стратегических бомбардировщиков генералы обосновывали более высокую ценность самолета по сравнению с баллистической ракетой наличием «человека в контуре управления», который позволял отозвать бомбардировщик и мог оценить размер нанесенного противнику ущерба.