Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.

К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.

Машина, преследующая неверную цель, — это плохо, но бывает и хуже. Решение, предложенное Аланом Тьюрингом, — отключить питание в критический момент — может оказаться недоступным по очень простой причине: невозможно сбегать за кофе, если ты мертв .

Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.

Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.

Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники [193] Три закона робототехники Азимова впервые появляются в рассказе Айзека Азимова «Хоровод»: Isaac Asimov, «Runaround», Astounding Science Fiction , March 1942. Вот они: 1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам. Важно понимать, что Азимов предложил эти законы для создания интересных литературных сюжетов, а не в качестве серьезного руководства для будущих инженеров-робототехников. Многие его рассказы, в том числе «Хоровод», иллюстрируют проблемные последствия буквального понимания законов. С точки зрения современного ИИ законы Азимова совершенно не учитывают элемент вероятности и риска: следовательно, неясна допустимость действий робота, подвергающего человека некоторой вероятности вреда, хотя бы ничтожно малой. Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это инструментальная цель — цель, являющаяся полезной подцелью практически любой исходной задачи [194] Понятие инструментальной цели взято из неопубликованной рукописи: Stephen Omohundro, «The nature of selfimproving artificial intelligence» (unpublished manuscript, 2008). См. также: Stephen Omohundro, «The basic AI drives», in Artificial General Intelligence 2008: Proceedings of the First AGI Conference , ed. Pei Wang, Ben Goertzel, and Stan Franklin (IOS Press, 2008). . Любая сущность, имеющая определенную задачу, будет автоматически действовать так, как если бы имела и инструментальную цель.

Кроме необходимости быть живым, инструментальной целью в нашей нынешней системе является доступ к деньгам. Так, интеллектуальная машина может хотеть денег не из жадности, а потому что деньги полезны для достижения любых целей. В фильме «Превосходство», когда мозг Джонни Деппа загружается в квантовый суперкомпьютер, первое, что делает машина, — копирует себя на миллионы других компьютеров в интернете, чтобы ее не могли отключить. Второе ее действие — быстро обогащается на биржевых операциях, чтобы финансировать свои экспансионистские планы.