Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Под нажимом многие скептики признают, что проблема реальна , хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал [233] О неожиданном согласии «скептиков» и «верующих» по поводу рисков от ИИ: Alexander, «AI researchers on AI risk». :

Позиция «скептиков» представляется следующей: пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы, но незачем паниковать или пытаться запретить исследования ИИ.

«Верующие» тем временем настаивают, что, хотя незачем паниковать или пытаться запретить исследования ИИ, пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы.

Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.

Дебаты выявили хаос, с которым мы имеем дело: если мы создаем машины для оптимизации целей, то цели, которые мы ставим перед машинами, должны соответствовать нашим желаниям. Однако мы не умеем полно и точно сформулировать цели человечества. К счастью, есть золотая середина.

После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.

Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.

К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность , с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга [234] Руководство по детальному моделированию деятельности головного мозга, на сегодняшний день немного устаревшее: Anders Sandberg and Nick Bostrom, «Whole brain emulation: A roadmap», technical report 2008–3, Future of Humanity Institute, Oxford University, 2008. — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ [235] Введение в генетическое программирование от ведущего деятеля: John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press, 1992). . Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.

Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.

Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.