Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.

Если поступающая извне целевая функция может быть неверной, то для машины не имеет смысла действовать так, словно она всегда верная. Отсюда вытекает мое предложение полезных машин, то есть таких, от которых можно ожидать действий, направленных на достижение наших целей. Поскольку эти цели находятся в нас, а не в них, машинам понадобится больше узнавать о наших реальных желаниях путем наблюдения за тем, что мы выбираем и как. Машины, сконструированные подобным образом, должны быть покорны людям: они будут спрашивать разрешения, действовать с осторожностью в отсутствие четких ориентиров и позволять себя выключить.

Эти начальные условия ориентированы на упрощенную идеализированную среду, но я уверен, что они сохранятся и при переносе в более реалистичное окружение. Мои коллеги уже успешно применили аналогичный подход к таким практическим проблемам, как взаимодействие автономного автомобиля с водителем [331]. Например, машины с автопилотом удручающе плохо воспринимают знак «4 стопа» {19} на перекрестках, если неясно, у кого преимущество. Когда же эта задача формулируется в виде игры в помощника, машина предлагает новаторское решение: она немного сдает назад, чтобы показать, что решительно не намерена двигаться первой. Человек на другой стороне перекрестка понимает этот сигнал и начинает движение, уверенный, что столкновения не будет. Очевидно, мы, эксперты-люди, могли бы подумать об этом решении и запрограммировать его в транспортном средстве, но этого не сделали; машина совершенно самостоятельно изобрела эту форму коммуникации.

Я полагаю, что по мере приобретения большего опыта в других средах мы будем удивлены спектром и гибкостью поведения машин в ходе их взаимодействия с человеком. Мы настолько привыкли к тупости машин, демонстрирующих негибкое, заданное программой поведение или преследующих четкие, но неверные цели, что можем быть поражены тем, насколько чувствительными они становятся. Технология доказуемо полезных машин составляет ядро нового подхода к разработке ИИ и основу новых отношений между людьми и машинами.

Представляется также возможным применить аналогичные идеи к перестройке других «машин», призванных служить людям, начиная с обычных программных систем. Нас учат создавать программное обеспечение, соединяя вспомогательные подпрограммы, каждая из которых имеет четко определенную спецификацию , описывающую, какой выход будет получен при любом данном входе, — как у кнопки извлечения квадратного корня на калькуляторе. Эта спецификация является прямым аналогом цели, заданной ИИ-системе. Вспомогательная подпрограмма не должна отключаться и возвращать управление более высоким уровням программного комплекса, пока не получит результат, отвечающий спецификации. (Это должно напомнить вам об ИИ-системе, упорствующей в своем узколобом преследовании поставленной цели.) Лучшим подходом было бы допустить в спецификации неопределенность. Например, подпрограмме, выполняющей некие ужасно сложные математические вычисления, обычно дается предел погрешности, определяющий требуемую точность ответа, и она должна выдавать ответ, верный в этих пределах. Иногда для этого необходимо несколько недель расчетов. Возможно, лучше быть менее точными в отношении допустимой ошибки, чтобы подпрограмма могла вернуться через 20 секунд и сообщить: «Я нашла настолько-то точное решение. Этого достаточно, или вы хотите, чтобы я продолжила?» В некоторых случаях вопрос может передаваться через всю иерархию вплоть до высшего уровня программного комплекса, чтобы человек-пользователь мог давать системе дальнейшие указания. Ответы человека помогли бы уточнить спецификацию на всех уровнях.

Рассуждения того же типа можно применить и к таким структурам, как правительства и корпорации. Очевидные промахи властей включают чрезмерное внимание, уделяемое предпочтениям (финансовым, а также политическим) некоторых лиц, облеченных властью, и пренебрежение предпочтениями тех, кем они управляют. Выборы призваны сообщить правительству о предпочтениях людей, но, как представляется, имеют удивительно узкий охват (порядка одного байта информации каждые несколько лет) для столь комплексной задачи. Во многих странах правительство есть всего лишь средство для какой-то группы людей навязать свою волю другим. Корпорации дальше заходят в стремлении узнать предпочтения клиентов через исследования рынка или непосредственную обратную связь в форме решений о покупке. В то же время формирование человеческих предпочтений с помощью рекламы, культурного влияния и даже зависимости от химических веществ считается приемлемым способом ведения бизнеса.