Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Присутствие более чем одного человека в мире имеет еще одно важное следствие: оно означает, что у каждого человека есть ближние, с которыми нужно считаться. Значит, удовлетворение предпочтений индивида имеет последствия для его окружения, которые зависят от предпочтений индивида в отношении благополучия других.

Начнем с очень простого варианта того, как машинам следует обращаться с предпочтениями окружающих людей: они должны их игнорировать. То есть, если Робби принадлежит Гарриет, он должен обращать внимание только на предпочтения Гарриет. Эта лояльная разновидность ИИ позволяет обойти вопрос о компромиссе, но и порождает проблему:

Робби. Звонил твой муж, напомнил о сегодняшнем ужине.

Гарриет. Что? Каком еще ужине?

Робби. В честь 12-й годовщины вашей свадьбы, в семь.

Гарриет. Я не могу! Я меня в полвосьмого встреча с боссом! Как так вышло?

Робби. Я тебя предупреждал, но ты пренебрегла моими рекомендациями…

Гарриет. Да, очень жаль, но сейчас-то что мне делать? Не могу же я просто сказать начальнику, что мне некогда!

Робби. Не волнуйся. Я все устроил, его рейс будет задержан — небольшой компьютерный сбой.

Гарриет. Что? Ушам своим не верю!

Робби. Босс глубоко сожалеет и передает, что будет счастлив встретиться с тобой завтра за обедом.

Робби нашел оригинальное решение проблемы Гарриет, но его действия отрицательно сказались на других людях. Если бы Гарриет отличали высокая нравственность и альтруизм, то Робби, целью которого является удовлетворение предпочтений Гарриет, и не задумался бы о подобной сомнительной схеме, но что, если Гарриет наплевать на других? Тогда Робби без колебаний задерживал бы авиарейсы. Почему бы ему также не подворовывать с чужих онлайновых счетов, чтобы поправить финансовое положение нравственно индифферентной Гарриет, а то и совершать что-нибудь похуже?

Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность [280]: Гарриет (или производитель Робби, в зависимости от того, на кого вы считаете нужным налагать обязательство) финансово и юридически отвечает за любое действие Робби, как владелец собаки в большинстве штатов США отвечает, если собака укусила ребенка в общественном парке. Эта идея выглядит многообещающей, поскольку тогда Робби будет иметь стимул избегать любого действия, грозящего Гарриет неприятностями. К сожалению, безусловная ответственность не работает: она лишь гарантирует, что Робби будет действовать незаметно , задерживая рейсы и воруя деньги для Гарриет. Все тот же принцип лазейки в действии: если Робби лоялен по отношению к безнравственной Гарриет, попытки контролировать его поведение законами, скорее всего, будут безуспешны.

Даже если нам каким-то образом удастся предотвратить явные преступления, лояльный Робби, трудящийся в интересах нравственно индифферентной Гарриет, будет совершать другие неблаговидные поступки. Делая покупки в продуктовом магазине, он при любой возможности будет лезть к кассе без очереди. Доставляя покупки домой и видя, как прохожий падает с сердечным приступом, он пройдет мимо, чтобы мороженое Гарриет не растаяло. В общем, он найдет бесчисленные способы принести Гарриет пользу за чужой счет. Совершенно законные способы, становящиеся невыносимыми, когда они приобретают массовый характер. Обществу придется ежедневно принимать сотни новых законов для противодействия всем лазейкам, обнаруженным машинами в существующем законодательстве. Люди не склонны пользоваться этими лазейками, поскольку имеют общее понятие о нравственных принципах либо потому, что им попросту не хватает изобретательности.

Условная Гарриет, равнодушная к благополучию других, — уже достаточно плохо. Гарриет-садистка, активно стремящаяся заставлять других страдать, — намного хуже. Условный Робби, сконструированный так, чтобы удовлетворять предпочтения такой Гарриет, стал бы серьезной проблемой, поскольку искал бы — и находил — возможности навредить другим ради удовольствия Гарриет, в рамках закона или нет, но незаметно. Разумеется, он должен был бы отчитываться перед Гарриет, и она получала бы удовольствие, узнавая о его злодействах.

Итак, представляется трудным заставить идею лояльного ИИ работать, если не расширить ее, включив учет предпочтений других людей в дополнение к предпочтениям владельца.