Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Пожалуй, самый простейший путь к пониманию IRL состоит в следующем: наблюдатель отталкивается от некоего общего предположения об истинной функции вознаграждения и уточняет это предположение по мере дальнейшего наблюдения за поведением. На языке Байесова подхода [258] Понимание обратного обучения с подкреплением как Байесова обновления: Deepak Ramachandran and Eyal Amir, «Bayesian inverse reinforcement learning», in Proceedings of the 20th International Joint Conference on Artificial Intelligence , ed. Manuela Veloso (AAAI Press, 2007). : начнем с априорной вероятности возможных функций вознаграждения и будем уточнять это распределение вероятностей по мере появления данных В. Предположим, например, что робот Робби наблюдает за человеком Гарриет и гадает, в какой степени она предпочитает место у прохода месту у иллюминатора. Первоначально он находится в неопределенности по этому вопросу. Теоретически Робби может рассуждать так: «Если бы Гарриет действительно хотела сидеть ближе к проходу, то изучила бы схему расположения мест, чтобы узнать, доступно ли место у прохода, вместо того чтобы согласиться на место у иллюминатора, которое предложила ей авиакомпания. Однако она этого не сделала, хотя, вероятно, заметила, что это место у иллюминатора, и вроде бы не торопилась. Следовательно, сейчас значительно более вероятно, что ей все равно, где сидеть, или она даже предпочитает место у прохода».

Самым потрясающим примером IRL в действии является работа моего коллеги Питера Эббила по обучению исполнению фигур высшего пилотажа на вертолете [259] Как научить вертолет летать и выполнять фигуры высшего пилотажа: Adam Coates, Pieter Abbeel, and Andrew Ng, «Apprenticeship learning for helicopter control», Communications of the ACM 52 (2009): 97–105. . Опытные пилоты могут заставить модели вертолетов делать потрясающие трюки: петли, спирали, маятникообразные движения и т. д. Оказалось, что попытки копировать действия человека не приносят особого результата из-за невозможности точно воспроизвести условия — если повторять те же последовательности управляющих действий в других обстоятельствах, это может закончиться катастрофой. Вместо этого алгоритм изучает, чего хочет пилот, в форме ограничений траектории, движение по которой может осуществить. Этот подход дает даже лучшие результаты, чем у эксперта, поскольку у людей более медленная реакция и они постоянно совершают мелкие ошибки, которые вынуждены исправлять.

Метод IRL уже является важным инструментом создания эффективных ИИ-систем, но в нем делается ряд упрощающих допущений. Первое — что робот воспримет функцию вознаграждения, когда изучит ее путем наблюдения за человеком, следовательно, сможет выполнять то же задание. Это прекрасно работает в случае управления автомобилем или вертолетом, но не относится к питью кофе: робот, наблюдающий за моим утренним ритуалом, усвоит, что я (иногда) хочу кофе, но не научится сам его хотеть. Решить эту проблему легко — нужно лишь сделать так, чтобы робот ассоциировал предпочтения с человеком, а не с самим собой.

Второе упрощающее допущение IRL состоит в том, что робот наблюдает за человеком в ситуации «единственного принимающего решения агента». Например, предположим, что робот учится в медицинском институте, чтобы стать хирургом, наблюдая за специалистом. Алгоритмы IRL предполагают, что человек выполняет операцию обычным оптимальным способом, как если бы робота рядом не было. Однако это не так: хирург мотивирован помочь роботу (как и любому другому студенту) обучиться хорошо и быстро и соответственным образом меняет свое поведение. Он может объяснять свои действия, обращать внимание на ошибки, которые следует избегать, — скажем, делать слишком глубокий разрез или шить слишком туго, — может описывать манипуляции в нештатной ситуации, если во время операции что-нибудь случилось. Никакие из этих действий не имеют смысла, если выполняешь операцию без студентов, и алгоритмы IRL не смогут понять, какие предпочтения за ними стоят. Поэтому мы должны будем обобщить IRL, перейдя от ситуации одного агента к ситуации с множественными агентами, а именно — создать алгоритмы обучения, работающие в случае, когда человек и робот являются частью общей среды и взаимодействуют друг с другом.

Человек и робот в одной среде — это пространство теории игр, как в том примере, где Алиса била пенальти в ворота Боба. В этой первой версии теории мы предполагаем, что человек имеет предпочтения и действует соответственно им. Робот не знает предпочтений человека, но все равно хочет их удовлетворить. Мы будем называть любую такую ситуацию игрой в помощника , поскольку предполагается, что робот по определению должен помогать человеку [260] Первоначальное название игры в ассистента — игра на кооперацию в рамках обратного обучения с подкреплением , или CIRL. См.: Dylan Hadfield-Menell et al., «Cooperative inverse reinforcement learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016). .