Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

(Вскоре мы поймем, почему интеграл раскладывается именно так.) В то же время ценность действия d , обратиться к Гарриет, состоит из двух частей: если u > 0, то Гарриет позволяет Робби продолжить, следовательно, ценность равна u , но если u < 0, то Гарриет выключает Робби и ценность равна 0:

EU (d) = ∫0−∞P (u) ∙ 0 du + ∫∞0P (u) ∙ u du.

Сравнив выражения для EU (a) и EU (d), мы сразу видим, что EU (d) ≥ EU (a), потому что в выражении для EU (d) область с отрицательной полезностью умножается на ноль и выпадает. Два варианта выбора имеют одинаковую ценность только при нулевой вероятности отрицательной области, а именно — если Робби уже убежден, что Гарриет нравится предлагаемое действие. Эта теорема является прямой аналогией хорошо известной теоремы о неотрицательной ожидаемой ценности информации.

Пожалуй, следующий шаг развития ситуации в случае «один человек — один робот» — это рассмотреть некую Гарриет, которая еще не знает собственных предпочтений относительно некоторых аспектов мира или предпочтения которой еще не сформированы.

Чтобы в точности увидеть, как именно Робби приходит к неверному убеждению, рассмотрим модель, в которой Гарриет слегка иррациональна и ошибается с вероятностью, уменьшающейся экспоненциально с ростом величины ошибки. Робби предлагает Гарриет четыре скрепки в обмен на одну скобку; она отказывается. Согласно убеждению Робби, это иррационально: даже при стоимости скрепки в 25 центов и скобки в 75 центов четыре первых следовало бы обменять на одну вторую. Значит, она совершила ошибку, но эта ошибка намного более вероятна при истинной ценности скрепки 25 центов, а не, допустим, 30 центов, поскольку цена ошибки для нее существенно возрастает, если она оценивает скрепки в 30 центов. Теперь в вероятностном распределении Робби 25 центов — самая вероятная величина, потому что она представляет собой наименьшую ошибку со стороны Гарриет с экспоненциально уменьшающимися вероятностями для цены выше 25 центов. Если он продолжит ставить этот эксперимент, то распределение вероятностей будет все сильнее концентрироваться около 25 центов. В пределе Робби приобретает уверенность в том, что для Гарриет ценность скрепки составляет 25 центов.

Робби мог бы, например, иметь нормальное (Гауссово) распределение для своего исходного убеждения относительно обменного курса в интервале от −∞ до +∞.

Пример математического анализа, который может потребоваться, см. в статье: Avrim Blum, Lisa Hellerstein, and Nick Littlestone, «Learning in the presence of finitely or infinitely many irrelevant attributes», Journal of Computer and System Sciences 50 (1995): 32–40. См. также: Lori Dalton, «Optimal Bayesian feature selection», in Proceedings of the 2013 IEEE Global Conference on Signal and Information Processing , ed. Charles Bouman, Robert Nowak, and Anna Scaglione (IEEE, 2013).

Здесь я немного перефразирую вопрос, поставленный Моше Варди на Асиломарской конференции по полезному ИИ в 2017 г.

Michael Wellman and Jon Doyle, «Preferential semantics for goals», in Proceedings of the 9th National Conference on Artificial Intelligence (AAAI Press, 1991). Эта статья основана на значительно более раннем предложении Георга фон Райта: Georg von Wright, «The logic of preference reconsidered», Theory and Decision 3 (1972): 140–67.

Мой покойный коллега из Беркли заслужил честь стать именем прилагательным. См.: Paul Grice, Studies in the Way of Words (Harvard University Press, 1989).

Первая статья о прямой стимуляции центров удовольствия в головном мозге: James Olds and Peter Milner, «Positive reinforcement produced by electrical stimulation of septal area and other regions of rat brain», Journal of Comparative and Physiological Psychology 47 (1954): 419–27.

Эксперимент, в котором крысам позволили нажимать на кнопку: James Olds, «Self-stimulation of the brain; its use to study local effects of hunger, sex, and drugs», Science 127 (1958): 315–24.

Эксперимент, в котором людям позволили нажимать на кнопку: Robert Heath, «Electrical self-stimulation of the brain in man», American Journal of Psychiatry 120 (1963): 571–77.

Первое математическое объяснение токовой стимуляции, показывающее, как она происходит у агентов при обучении с подкреплением: Mark Ring and Laurent Orseau, «Delusion, survival, and intelligent agents», in Artificial General Intelligence: 4th International Conference , ed. Jürgen Schmidhuber, Kristinn Thórisson, and Moshe Looks (Springer, 2011).

Возможность безопасного осуществления взрывоподобного роста интеллекта: Benja Fallenstein and Nate Soares, «Vingean reflection: Reliable reasoning for self-improving agents», technical report 2015–2, Machine Intelligence Research Institute, 2015.

Трудность, с которой сталкиваются агенты, рассуждая о себе и своих преемниках: Benja Fallenstein and Nate Soares, «Problems of self-reference in self-improving space-time embedded intelligence», in Artificial General Intelligence: 7th International Conference , ed. Ben Goertzel, Laurent Orseau, and Javier Snaider (Springer, 2014).