Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Специалисты по безопасности ИИ не первый год считают такую зависимость возможной [275]. Их беспокоит не только то, что система обучения с подкреплением наподобие AlphaGo может научиться жульничать, вместо того чтобы в совершенстве овладевать задачей, для решения которой предназначена. По-настоящему серьезная проблема возникает, когда люди являются источником вознаграждающего сигнала. Если предположить, что ИИ-систему можно научить хорошо себя вести путем обучения с подкреплением, в ходе которого люди дают сигналы обратной связи, указывающие направление улучшения, неизбежным результатом оказывается, что ИИ-система выясняет, как контролировать людей, и заставляет их всегда давать максимальное положительное вознаграждение.

Вероятно, вы считаете, что это будет всего лишь бессмысленный самообман ИИ-системы, и вы правы, но это логическое следствие из определения обучения с подкреплением. Метод отлично работает, когда сигнал приходит «из внешней вселенной» и генерируется каким-то процессом, который ИИ-система никогда не сможет изменить, но отказывает, если процесс генерирования вознаграждения (а именно человек) и ИИ-система обитают в одной вселенной.

Как нам избежать этого самообмана? Проблема возникает вследствие смешения двух разных вещей: вознаграждающего сигнала и реального вознаграждения. В рамках стандартного подхода к обучению с подкреплением это одно и то же. Мне кажется, это ошибка. Их нужно рассматривать отдельно друг от друга, как это происходит в игре в помощника: вознаграждающие сигналы дают информацию о накоплении реального вознаграждения, которое и нужно максимизировать. Система обучения, так сказать, накапливает баллы «в небесах», тогда как вознаграждающий сигнал в лучшем случае лишь служит счетчиком этих баллов. Иными словами, вознаграждающий сигнал сообщает о накоплении вознаграждения (а не является им ). В такой модели, очевидно, захват контроля над механизмом подачи вознаграждающих сигналов означает всего лишь потерю информации. Если алгоритм производит фиктивные вознаграждающие сигналы, то лишается возможности узнавать, действительно ли его действия ведут к накоплению баллов «в небесах». Таким образом, рациональный ученик, в конструкцию которого заложена способность проводить это различие, имеет стимул избегать любой формы зависимости от токовой стимуляции.

Предсказание И. Дж. Гуда, упомянутое нами ранее, о взрывоподобном развитии интеллекта является одной из причин сегодняшнего беспокойства по поводу возможных рисков сверхразумного ИИ. Если люди могут сконструировать машину несколько умнее себя, то, согласно аргументации, эта машина будет несколько лучше людей уметь конструировать машины. Она построит новую машину, еще более разумную, и процесс будет повторяться, пока, по словам Гуда, «интеллект человека не останется далеко позади».

Исследователи безопасности ИИ, особенно из Института изучения машинного интеллекта в Беркли, рассмотрели вопрос о том, возможно ли безопасное взрывное развитие интеллекта [276]. На первый взгляд вопрос кажется утопичным (разве это не будет просто «конец игры»?), но, возможно, надежда все-таки есть. Допустим, первая машина серии, Робби Марк I, начинает действовать, имея идеальное знание предпочтений Гарриет. Зная о том, что ограничения его когнитивных возможностей делают несовершенными его попытки осчастливить Гарриет, он строит Робби Марка II. Интуиция говорит, что Робби Марк I имеет стимул встроить свое знание предпочтений Гарриет в Робби Марка II, поскольку это ведет к будущему, где предпочтения Гарриет лучше удовлетворяются, — именно в этом и состоит жизненное предназначение Робби Марка I в соответствии с первым принципом. По той же логике, если Робби Марк I пребывает в неопределенности относительно предпочтений Гарриет, эта неопределенность будет передана Робби Марку II. Так что, вероятно, взрывоподобный рост все-таки безопасен.

Ложкой дегтя в этой бочке меда с математической точки зрения является то, что Робби Марку I будет трудно понять, как станет вести себя Робби Марк II, поскольку Робби Марк II по определению является более продвинутой версией. На некоторые вопросы о его поведении Робби Марк I не сможет ответить [277]. Что еще серьезнее, у нас пока нет четкого математического определения, что означает для машины в реальности иметь определенное назначение, скажем, удовлетворение предпочтений Гарриет.