Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Джеффри Сакс, знаменитый специалист по экономике развития, однажды рассказал мне историю, иллюстрирующую силу подобных предпочтений в мышлении людей. Он был в Бангладеш вскоре после масштабного наводнения, разорившего один из регионов страны, и разговаривал с фермером, потерявшим дом, поля, весь скот и одного из детей: «Мне очень жаль, вы, конечно, в страшном горе». «Ничего подобного, — ответил фермер. — Я прямо-таки счастлив, ведь мой проклятый сосед лишился еще и жены и всех детей!»

Экономический анализ гордыни и зависти — особенно в контексте социального положения и статусного потребления — вышел на первый план в работе американского социолога Торстейна Веблена, издавшего в 1899 г. книгу «Теория праздного класса», в которой раскрываются разрушительные следствия подобного отношения [310], В 1977 г. британский экономист Фред Хирш издал «Социальные пределы роста» [311], где ввел понятие статусного товара . Статусным товаром может быть все что угодно — машина, дом, олимпийская медаль, образование, доход или определенный акцент, — что получает свою воспринимаемую ценность не только из присущих выгод, но и из относительных свойств, в том числе малого количества или превосходства по отношению к кому-то другому. Погоня за статусными товарами, побуждаемая гордыней и завистью, имеет характер игры с нулевой суммой, иными словами, Алиса не может улучшить свое относительное положение, не ухудшив относительное положение Боба, и наоборот. (Это, очевидно, не мешает тратить на эту погоню огромные суммы.) Статусные товары получили повсеместное распространение в современной жизни, и машинам придется понять их общую значимость в предпочтениях индивидов. Более того, специалисты по теории социальной идентичности предполагают, что членство в группе и принадлежность к ней, а также статус всей группы относительно других групп являются принципиально важными составляющими самоуважения человека [312]. Итак, трудно понять поведение человека без понимания того, как индивиды воспринимают самих себя как членов групп — будь то биологического вида, населения страны, этнической группы, политической партии, профессионального круга, семьи или болельщика определенной футбольной команды.

Как и в случае садизма и злобности, мы можем предположить, что Робби должен будет приписывать малый или нулевой вес гордыне и зависти от своих планов помощи Алисе и Бобу. Однако это предложение сталкивается с некоторыми трудностями. Поскольку гордыня и зависть противодействуют заботе в отношении Алисы к благополучию Боба, будет нелегко их разделить. Может оказаться, что Алиса очень заботлива, но в то же время страдает от зависти; трудно отличить эту Алису от другой Алисы, которой лишь самую малость не наплевать на Боба, зато она совсем не завидует ему. Более того, в силу преобладания гордыни и зависти в человеческих предпочтениях критически важно учесть негативные последствия их игнорирования. Возможно, они принципиальны для самооценки, особенно в положительной форме самоуважения и восхищения другими.

Позвольте мне еще раз подчеркнуть ранее сделанное замечание: правильно сконструированные машины не будут вести себя так, как те, чье поведение они наблюдают , даже если они изучают предпочтения демонов-садистов. Возможно даже, что, оказавшись в незнакомой ситуации повседневного взаимодействия с чисто альтруистическими сущностями, мы научимся быть лучшими людьми — более альтруистичными и менее управляемыми гордыней и завистью.

Название этого раздела не выделяет конкретный подтип людей. Оно относится ко всем нам. Мы все невероятно тупы по сравнению с недостижимым уровнем идеальной рациональности и все подвержены эмоциональным переменам, в значительной мере управляющим нашим поведением.

Давайте начнем с тупости. Идеально рациональная сущность максимизирует ожидаемое удовлетворение своих предпочтений во всех возможных будущих жизнях, которые могла бы для себя избрать. Я не в состоянии написать число, характеризующее сложность этой проблемы принятия решения, но считаю полезным следующий мысленный эксперимент. Сначала заметьте, что количество выборов в области двигательного контроля, которые человек делает в течение жизни, составляет около 20 трлн (см. подробные расчеты в Приложении А). Далее, посмотрим, куда заведут нас вычисления методом перебора на описанном Сетом Ллойдом ноутбуке с предельными физическими возможностями, который в миллиард триллионов триллионов раз быстрее самого быстрого в мире компьютера. Поручим этому устройству перебрать все возможные последовательности слов английского языка (скажем, в порядке разминки перед Вавилонской библиотекой из рассказа Борхеса) и оставим его на год работать. Последовательности скольких слов он сможет пересчитать за это время? Тысячу страниц текста? Миллион страниц? Нет. Одиннадцать слов. Это дает некоторое представление о трудности конструирования наилучшей возможной жизни из 20 трлн действий. В общем, мы намного дальше от рациональности, чем слизень от возможности обогнать космический корабль «Энтерпрайз» из «Звездного пути» при искривлении пространства девятого уровня. Мы не имеем ни малейшего представления о том, какой должна быть рационально выбранная жизнь.