Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Меня часто просят предсказать, когда появится сверхинтеллектуальный ИИ, и обычно я отказываюсь отвечать на этот вопрос. Тому есть три причины. Первая: накопилась долгая история несбывшихся предсказаний такого рода [109] Люк Мюльхаузер много писал о предсказаниях в области ИИ, и я благодарен ему за то, что он нашел первоисточники последующих цитат. См.: Luke Muehlhauser, «What should we learn from past AI forecasts?» Open Philanthropy Project report, 2016. . Например, в 1960 г. первопроходец в сфере ИИ, нобелевский лауреат, экономист Герберт Саймон писал: «В технологическом отношении… машины научатся, в пределах 20 лет, выполнять любую работу, которую способен делать человек» [110] Прогноз появления ИИ человеческого уровня в течение 20 лет: Herbert Simon, The New Science of Management Decision (Harper & Row, 1960). . В 1967 г. Марвин Минский, один из организаторов дартмутской рабочей группы 1956 г., открывшей сферу разработки ИИ, писал: «Я убежден, что при жизни одного поколения вне возможностей машин останутся лишь немногие элементы интеллекта — проблема создания „искусственного интеллекта“ будет, в сущности, решена» [111] Прогноз появления ИИ человеческого уровня в течение жизни одного поколения: Marvin Minsky, Computation: Finite and Infinite Machines (Prentice Hall, 1967). .

Вторая причина нежелания объявлять дату пришествия сверхинтеллектуального ИИ состоит в отсутствии четкого барьера, который для этого пришлось бы преодолеть. Машины уже превосходят возможности человека в некоторых областях. Эти области будут расширяться и углубляться, и, вероятно, сверхчеловеческие системы общих знаний, сверхчеловеческие системы биомедицинских исследований, сверхчеловечески ловкие и гибкие роботы, сверхчеловеческие системы корпоративного планирования и т. д. появятся задолго до того, как мы получим полностью универсальную сверхинтеллектуальную ИИ-систему. Эти «частично сверхинтеллектуальные» системы, по отдельности и вместе, начнут ставить перед нами многие из тех вопросов, которые следует ожидать от универсальных интеллектуальных систем.

Третья причина, по которой я не предсказываю появление сверхинтеллектуального ИИ, — его принципиальная непредсказуемость. Он требует «концептуальных прорывов», как заметил Джон Маккарти в интервью 1997 г. [112] Прогноз Джона Маккарти о появлении ИИ человеческого уровня в интервале «от пяти до пятисот лет»: Ian Shenker, «Brainy robots in our future, experts think», Detroit Free Press , September 30, 1977. Далее он сказал: «Вы хотите получить 0,7 Эйнштейна и 0,3 Манхэттенского проекта, причем сначала Эйнштейна. Я убежден, что это займет от 5 до 500 лет». В следующем разделе я объясню, какими могут быть некоторые из этих концептуальных прорывов. Насколько они непредсказуемы? Вероятно, настолько же, насколько было предсказуемо изобретение Силардом цепной реакции через несколько часов после заявления Резерфорда, что она совершенно невозможна.

Однажды на собрании Всемирного экономического форума в 2015 г. я отвечал на вопрос о том, когда мы можем увидеть сверхинтеллектуальный ИИ. Собрание проходило по правилам Чатем-хауса {4} 4 Разговорное название Королевского института международных отношений (брит.). — Прим. пер. , запрещающим разглашать за его стенами какие бы то ни было замечания любого из присутствующих. Тем не менее я из избытка осторожности начал свой ответ словами: «Строго не под запись…» Я предположил, что, если не помешают никакие катаклизмы, это, вероятно, произойдет при жизни моих детей — которые еще малы и, скорее всего, благодаря достижениям медицины будут жить намного дольше, чем большинство присутствовавших. Не прошло и двух часов, как в The Daily Telegraph вышла статья, цитирующая слова профессора Рассела и дополненная изображениями беснующихся терминаторов. Заголовок гласил: «Роботы-„социопаты“ могут обскакать человеческую расу при жизни одного поколения».

Моя оценка сроков, скажем, в 80 лет намного более консервативна, чем у типичного исследователя ИИ. По результатам недавних опросов [113] Обзор исследований специалистов по ИИ их собственных прогнозов появления ИИ человеческого уровня см. на сайте aiimpacts.org. Подробное рассмотрение результатов исследования проблематики ИИ человеческого уровня см. в статье: Katja Grace et al., «When will AI exceed human performance? Evidence from AI experts», arXiv:1705.08807v3 (2018). , оптимисты ожидают появления ИИ человеческого уровня примерно в середине этого века. Исходя из опыта в отношении ядерной физики, здравомыслие требует допустить, что это произойдет раньше, и подготовиться соответственно. Если бы требовался лишь один концептуальный прорыв, аналогичный идее Силарда о цепной реакции деления ядер, сверхинтеллектуальный ИИ в той или иной форме мог бы появиться, можно сказать, внезапно. Вполне вероятно, мы оказались бы к этому не готовы: если бы мы построили сверхинтеллектуальные машины с любой степенью автономности, то скоро оказались бы не способны контролировать их. Я, однако, убежден, что у нас есть пространство для маневра, потому что для перехода от ситуации сегодняшнего дня к сверхинтеллекту необходим целый ряд принципиальных прорывов.