Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Некоторые комментаторы готовы признать, что риски реальны, но все-таки высказываются за то, чтобы ничего не делать. Их аргументы: ничего сделать невозможно, важно сделать что-то совершенно другое, нужно помалкивать о рисках.

Типичный ответ на предположения, что продвинутый ИИ может быть опасен для человечества, — запретить исследования ИИ невозможно. Обратите внимание на мысленный скачок: «Ага, кто-то заговорил о рисках! Наверняка предложит запретить мое исследование!» Этот скачок может быть уместным при обсуждении рисков с опорой только на «проблему гориллы», и я склонен согласиться, что ее решение путем запрета создания сверхинтеллектуального ИИ потребовало бы наложить определенные ограничения на исследования ИИ.

Однако текущее обсуждение рисков сосредоточено не на носящей общий характер «проблеме гориллы» (пользуясь языком журналистики, противостоянии людей и сверхразума), а на «проблеме царя Мидаса» и ее вариантах. Решение «проблемы царя Мидаса» решает и «проблему гориллы» — не предотвращением появления сверхинтеллектуального ИИ и не обнаружением способа победить его, а исключением самой возможности его конфликта с людьми. Обсуждения «проблемы царя Мидаса» обычно избегают предложения свернуть исследования ИИ. Предлагается лишь уделить внимание вопросу предотвращения отрицательных последствий плохо сконструированных систем. Аналогично разговор о рисках утечки на АЭС нужно рассматривать не как попытку запретить исследования в области ядерной физики, а как предложение направить больше усилий на решение проблемы безопасности.

Имеется очень интересный исторический прецедент сворачивания научного исследования. В начале 1970-х гг. биологи начали понимать, что новые методы рекомбинации ДНК — встраивания генов одного организма в другой — могут нести существенные риски для здоровья человека и мировой экосистемы. Две конференции в калифорнийском Асиломаре в 1973 и 1975 гг. привели сначала к мораторию на подобные эксперименты, а затем к выработке детальных принципов биобезопасности с учетом рисков каждого предлагаемого эксперимента [214] Отчет симпозиума с предложением добровольного введения ограничений на генную инженерию: Paul Berg et al., «Summary statement of the Asilomar Conference on Recombinant DNA Molecules», Proceedings of the National Academy of Sciences 72 (1975): 1981–84. . Некоторые типы опытов, например с использованием генов токсинов, были сочтены слишком опасными, чтобы их разрешить.

Сразу после конференции 1975 г. Национальный институт здравоохранения, финансирующий практически все основные медицинские исследования в США, начал процесс организации Консультативного комитета по рекомбинантной ДНК, который играл важнейшую роль в выработке принципов Национального института здравоохранения, фактически воплощавших рекомендации асиломарских конференций. С 2000 г. эти принципы включают запрет одобрения финансирования любого протокола, предполагающего генеративное изменение человека — модификацию человеческого генома, наследуемую последующими поколениями. За этим запрещением последовали правовые запреты в 50 с лишним странах.

«Улучшение человеческого капитала» являлось одной из заветных целей евгеники, направления конца XIX — начала XX вв. Разработка CRISPR-Cas9, очень точного метода редактирования генома, возродила эту мечту. На международном саммите, проведенном в 2015 г., обсуждались возможности его будущего применения, призвав к сдержанности в случаях, когда отсутствует «широкий общественный консенсус в отношении допустимости предлагаемого применения» [215] Декларация принципов, разработанная вследствие открытия метода редактирования генома CRISPR-Cas9: Organizing Committee for the International Summit on Human Gene Editing, «On human gene editing: International Summit statement», December 3, 2015. . В ноябре 2018 г. китайский ученый Хэ Цзянькуй объявил, что отредактировал геномы трех человеческих эмбрионов, как минимум два из которых развились, что привело к рождению живых младенцев. Разразился международный скандал, и на тот момент, когда я пишу эти строки, Цзянькуй находится под домашним арестом. В марте 2019 г. международная группа из ведущих ученых недвусмысленно потребовала ввести официальный запрет на подобные эксперименты [216] Свежая декларация принципов, предложенная ведущими биологами: Eric Lander et al., «Adopt a moratorium on heritable genome editing», Nature 567 (2019): 165–68. .

Выводы из этих споров вокруг ИИ неоднозначны. С одной стороны, они свидетельствуют о том, что мы можем отказаться от продолжения исследований, имеющих огромный потенциал. Международный консенсус против изменения генома до сих пор был в основном успешным. Страх, что запрет просто заставит ученых уйти в подполье или перебраться в страны без соответствующего законодательного ограничения, оказался безосновательным. С другой стороны, изменение генома — легко выявляемый процесс, случай конкретного применения более общего знания о генетике, требующий специального оборудования и реальных людей-испытуемых. Более того, он относится к области репродуктивной медицины, уже находящейся под пристальным контролем и правовым регулированием. Эти характеристики не относятся к разработке универсального ИИ, и на сегодняшний день никто не предложил реально осуществимой формы законодательного сворачивания исследований ИИ.