Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Классическая работа по теории многомерной полезности: Ralph Keeney and Howard Raiffa, Decisions with Multiple Objectives: Preferences and Value Tradeoffs (Wiley, 1976).

Статья, представляющая идею IRL: Stuart Russell, «Learning agents for uncertain environments», in Proceedings of the 11th Annual Conference on Computational Learning Theory (ACM, 1998).

Первая статья о структурном оценивании процессов принятия решения Маркова: Thomas Sargent, «Estimation of dynamic labor demand schedules under rational expectations», Journal of Political Economy 86 (1978): 1009–44.

Первые алгоритмы IRL: Andrew Ng and Stuart Russell, «Algorithms for inverse reinforcement learning», in Proceedings of the 17th International Conference on Machine Learning , ed. Pat Langley (Morgan Kaufmann, 2000).

Более совершенные алгоритмы IRL: Pieter Abbeel and Andrew Ng, «Apprenticeship learning via inverse reinforcement learning», in Proceedings of the 21st International Conference on Machine Learning , ed. Russ Greiner and Dale Schuurmans (ACM Press, 2004).

Понимание обратного обучения с подкреплением как Байесова обновления: Deepak Ramachandran and Eyal Amir, «Bayesian inverse reinforcement learning», in Proceedings of the 20th International Joint Conference on Artificial Intelligence , ed. Manuela Veloso (AAAI Press, 2007).

Как научить вертолет летать и выполнять фигуры высшего пилотажа: Adam Coates, Pieter Abbeel, and Andrew Ng, «Apprenticeship learning for helicopter control», Communications of the ACM 52 (2009): 97–105.

Первоначальное название игры в ассистента — игра на кооперацию в рамках обратного обучения с подкреплением , или CIRL. См.: Dylan Hadfield-Menell et al., «Cooperative inverse reinforcement learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016).

Числа выбраны так, чтобы игра стала интереснее.

Равновесное решение для этой игры можно найти в процессе так называемого итерационного наилучшего ответа: взять любую стратегию для Гарриет; взять лучшую, с учетом стратегии Гарриет, стратегию для Робби; взять лучшую, с учетом стратегии Робби, стратегию для Гарриет и т. д. Если этот процесс достигает неподвижной точки, когда ни одна из стратегий не меняется, это значит, что решение найдено. Процесс протекает следующим образом:

1. Начинаем со стратегии жадного человека для Гарриет: изготавливать две скрепки, если она предпочитает скрепки, по одной скрепке и скобке, если ей все равно, либо две скобки, если она отдает предпочтение скобкам.

2. Робби должен рассмотреть три варианта, исходя из этой стратегии Гарриет.

a) Если Робби видит, что Гарриет производит две скрепки, то делает вывод, что она предпочитает скрепки, следовательно, теперь он считает, что ценность скрепки равномерно распределена между 50 центами и $1 со средним значением 75 центов. В этом случае лучший план для него состоит в том, чтобы изготовить для Гарриет 90 скрепок с ожидаемой ценностью $67,5.

b) Если Робби видит, что Гарриет производит по одной скрепке и скобке, то заключает, что она оценивает оба товара в 50 центов, и лучшим выбором для него оказывается произвести по 50 штук того и другого.

c) Если Робби видит, что Гарриет делает две скобки, то, по той же логике, что и в шаге 2 (а), ему следует произвести 90 скобок.

3. С учетом этой стратегии Робби теперь лучшая стратегия для Гарриет несколько отличается от жадной стратегии шага 1. Если Робби собирается отвечать на изготовление ею одной скрепки и одной скобки выпуском 50 штук каждого товара, то для нее лучше так и делать не только в случае, если она абсолютно индифферентна, но и сколько-нибудь близка к индифферентности. В действительности теперь оптимальная политика — делать по штуке того и другого, если она оценивает скрепки в любую сумму от примерно 44,6 цента до 55,4 цента.

4. С учетом новой стратегии Гарриет стратегия Робби остается неизменной. Например, если она выбирает по одной штуке того и другого, он заключает, что ценность скрепки равномерно распределена между 44,6 цента и 55,4 цента со средним значением 50 центов, следовательно, лучший выбор — делать по 50 штук каждой. Поскольку стратегия Робби та же, что и на шаге 2, наилучший ответ Гарриет будет таким же, как на шаге 3, то есть мы нашли равновесие.

Более полный анализ игры в выключение см. в статье: Dylan Hadfield-Menell et al., «The off-switch game», in Proceedings of the 26th International Joint Conference on Artificial Intelligence , ed. Carles Sierra (IJCAI, 2017).

Доказательство общего результата довольно простое, если вас не пугают знаки интегралов. Пусть P (u) — исходная плотность вероятностей Робби относительно полезности для Гарриет предлагаемого действия а . Тогда ценность продолжения выполнения а равна:

EU (a) = ∫∞−∞ P (u) ∙ u du = ∫∞−∞ P (u)udu ∙ ∫∞0P (U) ∙ u du.