Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Из-за того что биологи и химики однажды заняли ясную позицию, их главным делом теперь считается создание полезных лекарств и новых материалов, а не разработка биологического и химического оружия. Сообщества ученых, чьи исследования относятся к разработке искусственного интеллекта и робототехнике, тоже говорили: подписавшие письмо хотят, чтобы предмет их исследований ассоциировался со стремлением к лучшему будущему, а не с созданием новых способов убивать людей. Будет ли искусственный интеллект в будущем использоваться преимущественно в гражданских или в военных целях? Хотя в этой главе больше страниц посвящено первым, может оказаться, что мы скоро потратим больше денег на последние, – особенно если военная гонка AI-оружия наберет обороты. Инвестиционные обязательства на исследование искусственного интеллекта в гражданских целях в 2016 году превысили миллиард долларов, но это ничто по сравнению с бюджетными запросами Пентагона на 2017 фискальный год, где на проекты, связанные с искусственным интеллектом, закладывается 12–15 миллиардов долларов. России и Китаю, вероятно, следует принять к сведению слова заместителя министра обороны США Роберта Уорка: “Я хочу, чтобы наших конкурентов заинтересовало, что скрывается за черным занавесом” {47} 47 В американском правительстве, очевидно, есть люди, стремящиеся развязать гонку AI-вооружений: http://tinyurl.com/workquote .

Хотя в настоящее время явно наметилось общее движение к международным переговорам о поисках формы запрета роботов-убийц, до сих пор неясно, каким он будет и, несмотря на довольно оживленную дискуссию, каким он должен быть. Хотя основные участники согласны, что мировые державы должны выработать какой-то проект международных правил относительно ведения исследований в области автономных систем оружия и относительно его возможного применения, у них гораздо меньше согласия в том, что именно должно быть запрещено и каким образом этот запрет должен обеспечиваться. Например, только ли летальное автономное оружие следует запрещать, или такой запрет должен касаться и тех его видов, которые серьезно угрожают здоровью людей, – скажем, ослепляя их? Запрещать надо разработку, производство или владение? Запрет должен касаться всех видов автономных систем оружия или, как сказано в нашем письме, только наступательных, не распространяясь на оборонительные системы – автономные зенитные орудия и комплексы противоракетной обороны в числе прочего? В последнем случае следует ли автономную систему оружия (АСО) считать оборонительной, даже если она легко выдвигается на вражескую территорию? И как добиваться соблюдения договора, если большинство компонентов автономного оружия допускает двойное использование, включая гражданское? Например, нет большой разницы между дроном, доставляющим бандероли от Amazon, и дроном, доставляющим бомбы.

Некоторые участники дебатов утверждают, что разработка эффективного договора по АСО безнадежно сложна и поэтому не стоит даже и пытаться. Но ведь еще Джон Кеннеди подчеркивал, объявляя о начале подготовки полета на Луну, что есть смысл приниматься даже за безнадежные дела, если их успех может принести большую пользу человечеству в будущем. Более того, многие эксперты утверждают, что запрет на биологическое и химическое оружие был ценен, даже несмотря на то, что добиться его соблюдения оказалось трудно, случаи обмана часты, но принятие запрета вызвало крайнюю нетерпимость, ограничивающую применение этих видов оружия.

Я встретил Генри Киссинджера на официальном ужине в 2016 году, и у меня появилась возможность спросить у него о его роли в запрете биологического оружия. Он рассказал, как, будучи советником по национальной безопасности США, убедил президента Никсона, что запрет будет полезен для национальной безопасности страны. На меня произвели большое впечатление и острый ум, и безупречная память этого девяностодвухлетнего человека, и мне было интересно узнать, как это событие воспринималось изнутри власти. Поскольку Соединенные Штаты уже обладали статусом сверхдержавы благодаря состоянию своих обычных и ядерных вооружений, они скорее бы проигрывали, чем что-либо приобретали в результате всемирной гонки биологических вооружений, результат которых был непредсказуем. Одним словом, если ты и так уже хозяин положения, то имеет смысл следовать максиме “пока не болит живот, не давай его трогать”. После ужина к нашему разговору присоединился Стюарт Рассел, и мы обсуждали, как тот же аргумент можно использовать в отношении летального автономного оружия: больше всех выиграют от такой гонки вооружений не сверхдержавы, а мелкие государства-изгои или негосударственные субъекты типа террористов, которые получат доступ к такому оружию через черные рынки, после того как оно будет разработано.