Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация [79] Об алгоритмах рулевого управления см., например: Jarrod Snider, «Automatic steering methods for autonomous automobile path tracking», technical report CMU-RI-TR-09–08, Robotics Institute, Carnegie Mellon University, 2009. . Аналогичная система действует всякий раз, когда вы идете и затем останавливаетесь; если бы она прекратила работать, вы тут же упали бы. Как и в случае мигательного рефлекса, довольно трудно отключить этот механизм и позволить себе упасть.

Итак, рефлекторные агенты выполняют задачу разработчика, но не знают, в чем она заключается и почему они действуют определенным образом. Из этого следует, что они не могут в действительности принимать решения сами; кто-то другой, обычно разработчик или процесс биологической эволюции, должен все решить заранее. Очень трудно создать хорошего рефлекторного агента путем обычного программирования, за исключением очень простых задач наподобие игры в крестики-нолики или экстренного торможения. Даже в этих случаях рефлекторный агент крайне негибок и не может изменить свое поведение, если обстоятельства указывают, что реализуемая политика уже не годится.

Одним из способов создания более мощных рефлекторных агентов является процесс обучения на примерах Г. Вместо того чтобы устанавливать правила поведения или задавать функцию вознаграждения либо цель, человек может дать примеры решения проблем и верное решение для каждого случая. Например, мы можем создать агента-переводчика с французского языка на английский, предоставив примеры предложений на французском языке с правильным переводом на английский. (К счастью, парламенты Канады и ЕС ежегодно создают миллионы таких примеров.) Затем алгоритм контролируемого обучения обрабатывает примеры и создает комплексное правило, которое берет любое предложение на французском языке в качестве входа и делает перевод на английский язык. Нынешний чемпион среди обучающихся алгоритмов машинного перевода является разновидностью так называемого глубокого обучения и создает правило в виде искусственной нейронной сети с сотнями слоев и миллионами параметров Г. Другие алгоритмы глубокого обучения оказались очень хороши для классифицирования объектов в изображениях и распознавания слов в речевом сигнале. Машинный перевод, распознавание речи и визуальных объектов — три самые важные подобласти в сфере ИИ, поэтому перспективы глубокого обучения вызывают такой энтузиазм.

Можно почти бесконечно спорить о том, приведет ли глубокое обучение напрямую к ИИ человеческого уровня. По моему мнению, которое я прокомментирую в дальнейшем, оно далеко отстает от необходимого Г, но пока давайте сосредоточимся на том, как эти методы вписываются в стандартную модель ИИ, в которой алгоритм оптимизирует фиксированную задачу. Для глубокого обучения, как и для любого контролируемого обучающегося алгоритма, «вводимая в машину задача» обычно состоит в максимизации предсказательной точности, или, что то же самое, минимизации ошибок. Это во многом кажется очевидным, но в действительности имеет два варианта понимания, в зависимости от того, какую роль выученное правило должно играть во всей системе. Первая роль — это восприятие: сеть обрабатывает сенсорный входной сигнал и выдает информацию остальной системе в форме вероятностных оценок воспринимаемого. Если это алгоритм распознавания объектов, он может сказать: «70 % вероятность, что это норфолкский терьер, 30 % вероятность, что это норвичский терьер» [80] Норфолкский и норвичский терьеры — две категории из базы данных ImageNet. Они печально знамениты тем, что их трудно различить и до 1964 г. считались одной породой. . Остальная система решает, какое внешнее действие предпринять на основе этой информации. Такая задача, связанная с восприятием, беспроблемна в следующем смысле: даже «безопасная» сверхинтеллектуальная ИИ-система, в противоположность «небезопасной», основанной на стандартной модели, должна иметь как можно более точную и отлаженную систему восприятия.