Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Если объединить последние достижения в области разработки миниатюрных квадрокоптеров, миниатюрных камер, чипов машинного зрения, алгоритмов навигации и методов обнаружения и слежения за людьми, можно в весьма недалеком будущем создать оружие для поражения личного состава, подобное Slaughterbot [155] Фильм «Скотобойня», снятый на средства Института будущего жизни, вышел в ноябре 2017 г. и доступен по ссылке: youtube.com/watch?v=9CO6M2HsoIA . , изображенному на рис. 7 (справа). Такому оружию можно было бы дать задачу атаковать любого человека, отвечающего определенным визуальным критериям (возраст, пол, униформа, цвет кожи и т. д.), или даже конкретного человека, основываясь на распознавании лиц. Я слышал, что Министерство обороны Швейцарии уже создало и протестировало настоящий Slaughterbot и установило, что, как и ожидалось, технология реализуема и работает как летальное оружие.

С 2014 г. в Женеве на уровне дипломатов ведутся дискуссии, которые могут привести к запрету AWS. В то же время некоторые из основных участников этих дискуссий (США, Китай, Россия, а также, в некоторой степени, Израиль и Великобритания) уже вступили в опасное соревнование по разработке автономного оружия. В США, например, программа «Совместные операции в закрытых зонах» (Collaborative Operations in Denied Environments, CODE) пытается реализовать автономное функционирование, обеспечив возможность работы таких дронов, которые не могут постоянно контактировать с командным пунктом. Дроны будут «охотиться стаями, как волки», утверждает руководитель программы [156] Отчет об одном из самых серьезных ляпов в отношениях военных ведомств с общественностью: Dan Lamothe, «Pentagon agency wants drones to hunt in packs, like wolves», The Washington Post , January 23, 2015. . В 2016 г. ВВС США продемонстрировали развертывание в полете 103 микродронов Perdix с тремя истребителями F/A-18. Согласно сделанному заявлению, «Perdix не являются запрограммированными синхронизированными индивидуальными элементами, это коллективный организм, имеющий один распределенный „мозг“, занимающийся принятием решений и их взаимным приспособлением, как пчелиный рой» [157] Объявление о полномасштабном эксперименте с роем дронов: US Department of Defense, «Department of Defense announces successful micro-drone demonstration», news release no. NR-008–17, January 9, 2017. .

Возможно, вам кажется совершенно очевидным, что создание машин, которые могут принять решение убивать людей, — плохая мысль. Однако «совершенно очевидно» не всегда убедительно для правительств — включая некоторых из перечисленных в предыдущем абзаце, — помешанных на достижении чего-то, что они считают стратегическим превосходством. Более убедительной причиной для запрещения автономного оружия является то, что это масштабируемое оружие массового уничтожения .

Масштабируемый — это термин из области программирования. Процесс является масштабируемым, если вы можете увеличить его в миллион раз, по сути просто купив в миллион раз больше оборудования. Так, Google обрабатывает около 5 млрд поисковых запросов в день силами не миллионов сотрудников, а миллионов компьютеров. При наличии автономного оружия вы можете совершить в миллион раз больше убийств, купив в миллион раз больше оружия, именно потому что оно автономно . В отличие от дронов с дистанционным управлением или АК-47, им не нужно участие человека, чтобы делать свою работу.

Как оружие массового уничтожения масштабируемое автономное оружие имеет преимущества для атакующего перед ядерным оружием и ковровыми бомбардировками: оно не повреждает имущество и может применяться избирательно для уничтожения лишь тех, кто представляет угрозу. Оно, безусловно, может использоваться для того, чтобы целиком смести с лица земли определенную этническую группу или всех последователей какой-либо религии (если у них есть видимые отличительные признаки). Более того, если применение ядерного оружия представляет собой катастрофический рубеж, который нам удается (нередко по чистому везению) не переступить с 1945 г., в отношении масштабируемого автономного вооружения такой рубеж отсутствует. Атаки могут усиливаться постепенно: сначала сотня убитых, потом тысяча, десять тысяч, сто тысяч. В дополнение к реальной атаке сама угроза применения подобного оружия делает его эффективным средством устрашения и подавления. Автономное оружие значительно снизит безопасность человека на всех уровнях: личном, местном, общенациональном и международном.