Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Приближаясь к определенности в отношении предпочтений Гарриет, Робби все больше станет напоминать старые недобрые ИИ-системы с фиксированными целями: он не станет спрашивать разрешения и не предоставит Гарриет возможности выключить его, а также будет преследовать неверную цель. С этим еще можно мириться, когда речь идет о скрепках и скобках, но не в случае необходимости выбирать между качеством и продолжительностью жизни, если Гарриет тяжело больна, или между численностью населения и потреблением ресурсов, если от Робби ожидались действия в интересах всего человечества.

Итак, у нас появляется проблема, если Робби заранее отбрасывает предпочтения, возможно, имеющиеся у Гарриет: он может прийти к твердому, но ошибочному убеждению о ее предпочтениях. Решение кажется очевидным: не делать этого! Всегда приписывать некоторую вероятность, сколь угодно малую, логически возможным предпочтениям. Например, с точки зрения логики возможно, что Гарриет настолько хочет избавиться от скобок, что готова вам приплатить, лишь бы вы их забрали. (Может быть, она в детстве пригвоздила свой палец к столу такой скобкой и теперь даже видеть их не может.) Следовательно, мы должны допустить отрицательные соотношения цен, вследствие чего задача несколько усложняется, но остается абсолютно решаемой [267].

Что, однако, делать, если Гарриет ценит скрепки в 12 центов по будним дням и в 80 центов по выходным? Это новое предпочтение не описывается никаким единственным числом, и Робби фактически вынужден заведомо им пренебречь. Оно попросту отсутствует в его комплексе возможных гипотез о предпочтениях Гарриет. В общем случае для Гарриет могут быть важны еще очень и очень многие вещи, кроме скрепок и скобок. (Честное слово!) Представим, например, что изначальные представления Робби допускают гигантский список возможных предметов заботы Гарриет, в том числе уровень Мирового океана, глобальную температуру, количество атмосферных осадков, ураганы, озонную дыру, паразитные виды и уничтожение лесов. Тогда Робби будет наблюдать за поведением и выбором Гарриет и постепенно совершенствовать свою теорию ее предпочтений, чтобы понять, какой вес она приписывает каждому пункту списка. Однако, как и в примере со скрепкой, Робби не узнает о том, что не входит в этот список. Допустим, Гарриет также беспокоится из-за цвета неба — гарантирую, вы не найдете этого среди типичных тревог климатологов. Если Робби сможет чуть лучше оптимизировать уровень океана, глобальную температуру, количество осадков и т. д., сделав небо оранжевым, то сделает это без колебаний.

У этой проблемы опять-таки есть решение: не допускайте этого! Никогда не отбрасывайте заранее возможные атрибуты мира, которые могут быть частью структуры предпочтений Гарриет. На словах все прекрасно, но на деле заставить эту схему работать труднее, чем в случае, когда предпочтения Гарриет описываются одним числом. Изначальная неопределенность Робби должна допускать неограниченное количество неизвестных атрибутов, возможно, входящих в предпочтения Гарриет. Тогда, если решения Гарриет необъяснимы с точки зрения атрибутов, которые Робби уже знает, он может сделать вывод, что тут, вероятно, участвует один или несколько прежде неизвестных атрибутов (к примеру, цвет неба), и попытаться выяснить, что это за атрибуты. Таким образом, Робби избегает проблем, вызываемых слишком ограничивающим изначальным представлением. Насколько я знаю, пока не существует рабочих образцов Робби такого типа, но общая идея присутствует в современной мысли о машинном обучении [268].

Неопределенность относительно человеческих целей может быть не единственным способом убедить робота не запрещать свое выключение, когда он подает кофе. Выдающийся логик Моше Варди предложил более простое решение на основе запрета [269]: вместо того чтобы ставить перед роботом цель «подавать кофе», задайте ему цель «подавать кофе, не препятствуя своему выключению ». К сожалению, робот с такой целью будет удовлетворять букве закона, противореча его духу — например, окружив выключатель рвом с водой, кишащим пираньями, или просто ударяя током любого, кто пройдет возле выключателя. Написать такой запрет в форме, защищенной от дурака, — все равно что пытаться написать закон о налогообложении, в котором нет ни одной лазейки, — задача, над которой мы безуспешно бьемся не одну тысячу лет. Достаточно интеллектуальное существо с сильным стимулом избежать уплаты налогов, скорее всего, найдет такую возможность. Назовем это принципом лазейки : если достаточно интеллектуальная машина имеет стимул создать определенное условие, то в общем случае для простых людей станет невозможно создать запреты на эти действия, чтобы воспрепятствовать ей в этом или аналогичном действии.