Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В главе 1 я ввел понятие полезных машин, а именно — машин, действия которых ожидаемо должны преследовать наши цели, а не свои цели. Моей задачей в этой главе будет объяснить доступным языком, как это можно сделать, несмотря на то очевидное препятствие, что машины не знают, в чем состоят наши задачи. Итоговый подход в конечном счете приведет к появлению машин, не представляющих для нас никакой опасности, какими бы интеллектуальными они ни были.

Мне хотелось бы описать данный подход в форме трех принципов [236] Параллель с Тремя законами робототехники Азимова совершенно случайна. . Помните, что их основное назначение — служить руководством для исследователей и разработчиков ИИ в размышлениях о том, как создать полезные ИИ-системы; они не предлагаются в качестве явно заданных законов, которым должны удовлетворять ИИ-системы [237] То же самое утверждает Элиезер Юдковский: Eliezer Yudkowsky, «Coherent extrapolated volition», technical report, Singularity Institute, 2004. Он полагает, что прямое следование «Четырем великим нравственным принципам, которыми исчерпывается то, что мы должны встроить в ИИ», есть гарантированный путь к уничтожению человечества. Его понятие «когерентного экстраполированного волеизъявления человечества» созвучно первому принципу; идея заключается в том, что сверхинтеллектуальная ИИ-система могла бы обнаружить, чего люди хотят на самом деле. :

1. Единственная задача машины — в максимальной степени реализовать предпочтения человека.

2. Изначально машина находится в неопределенности относительно того, каковы эти предпочтения.

3. Главнейшим источником информации о предпочтениях человека является поведение человека.

Прежде чем перейти к более подробным объяснениям, важно подчеркнуть широту толкования того, что я в этих принципах называю предпочтениями . Напомню, что я писал в главе 2: если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно детально описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить незаинтересованность в обоих . Таким образом, предпочтения в данном случае носят всеобъемлющий характер; они охватывают все, что может быть для вас важно в сколь угодно далеком будущем [238] Безусловно, вы можете иметь предпочтение в вопросе о том, достигать реализации своих предпочтений с помощью машины или исключительно собственными силами. Допустим, например, что вы предпочитаете результат А результату Б при прочих равных. Вы не в состоянии достичь результата А без содействия, но все равно предпочитаете самостоятельно добиться Б, чем получить А с помощью машины. В этом случае машина должна принять решение не помогать вам, разве что она может оказать вам помощь совершенно незаметным для вас способом. Вы можете, разумеется, иметь и предпочтения в отношении необнаруживаемой помощи, как и обнаруживаемой. . Причем это ваши предпочтения: машина не пытается идентифицировать или установить один идеальный комплекс предпочтений, но понимает и удовлетворяет (насколько это возможно) предпочтения каждого человека.

Первый принцип, согласно которому единственная задача машины — максимизировать реализацию предпочтений человека, является центральным в понятии полезной машины. Особенно важно, что она будет полезной для людей , а не, допустим, тараканов. Это неотделимо от данного понятия пользы, связанного с ее получателем.

Данный принцип означает, что машина всецело альтруистична, то есть не придает абсолютно никакой внутренней ценности собственному благополучию или даже собственному существованию. Она может защищать себя, чтобы продолжить приносить пользу людям, потому что ее владелец был бы несчастлив, если бы ему пришлось оплачивать ремонт, либо потому, что вид грязного или поврежденного робота может угнетать прохожего, но не потому, что хочет быть живой. Введение любого предпочтения самосохранения создает у робота дополнительный стимул, не вполне совпадающий с благополучием человека.

Формулировка первого принципа поднимает два вопроса фундаментального значения. Каждый сам по себе заслуживает целой книжной полки, по этим вопросам уже написано множество книг.

Первый вопрос: имеют ли люди в действительности предпочтения значимого или устойчивого характера? Честно говоря, понятие «предпочтения» — это идеализация, во многих отношениях расходящаяся с реальностью. Например, мы не рождаемся с предпочтениями, которые имеем во взрослые годы, значит, они обязательно меняются со временем. На данный момент я предположу, что это разумная идеализация. Позднее я рассмотрю, что происходит, если мы отказываемся от идеализации.