Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Из этого следует, что люди часто действуют против собственных предпочтений. Например, Ли Седоль во время матча, проигранного программе AlphaGo, сделал один или даже несколько ходов, гарантировавших проигрыш, и AlphaGo смогла (по крайней мере, в некоторых случаях) это зафиксировать. Однако для AlphaGo было бы неправильно сделать вывод, что Ли Седоль имеет предпочтение проиграть. Нет, было бы разумно заключить, что Ли Седоль предпочитает выиграть, но некоторые ограничения вычислительных возможностей не позволяют ему выбирать верный ход во всех случаях. Таким образом, чтобы понять поведение Ли Седоля и узнать его предпочтения, робот, следующий третьему принципу («решающим источником информации о человеческих предпочтениях является человеческое поведение»), должен сколько-нибудь разбираться в когнитивных процессах, обусловливающих это поведение. Он не может по умолчанию считать его рациональным.

Это ставит очень серьезную исследовательскую проблему перед создателями ИИ, специалистами по когнитивной науке, психологами и нейробиологами: каким образом достичь настолько глубокого понимания человеческой познавательной деятельности [313], чтобы мы (или, скорее, наши полезные машины) могли «ретроспективно вывести» из поведения человека его глубинные предпочтения, если таковые имеются? Люди отчасти справляются с этим, усваивая ценности других, руководствуясь врожденными навыками, так что, по-видимому, это возможно. У людей есть преимущество: они могут использовать собственную когнитивную архитектуру, чтобы моделировать чужую, даже не зная, что это за архитектура: «Если я хочу Х, то делаю то же самое, что мамочка, значит, мамочка, по-видимому, хочет Х».

Машины этого преимущества лишены. Они с легкостью моделируют другие машины, но не людей. Не похоже, чтобы они в скором времени получили доступ к полной модели человеческой когнитивной деятельности, будь то видовой или ориентированный на конкретных индивидов. Вместо этого имеет смысл с практической точки зрения рассмотреть основные пути отклонения людей от рациональности и изучить вопрос о том, как узнавать предпочтения по поведению, демонстрирующему эти отклонения.

Одно из очевидных различий между людьми и рациональными сущностями состоит в том, что в любой отдельный момент мы не делаем выбор из всех возможных первых шагов для всех возможных вариантов жизни. Мы очень от этого далеки. Типичный человек встроен в глубоко укорененную иерархию «стандартных подпрограмм». В общем, мы преследуем ближайшие цели, а не максимизируем предпочтения в отношении будущей жизни, и можем действовать лишь в соответствии с ограничениями стандартных подпрограмм, имеющихся у нас в настоящее время. В данную минуту, например, я печатаю это предложение: я могу выбирать, как продолжить его после двоеточия, но мне никогда не придет в голову задуматься о том, чтобы бросить его писать, а вместо этого прослушать онлайновый курс для рэперов, или сжечь дом и потребовать страховку, или о любом другом из мириад действий, которые я мог бы совершить. Вероятно, многие из них были бы лучше того, что я делаю сейчас, но с учетом моей иерархии обязательств для меня они все равно что не существуют.

Судя по всему, понимание действий человека требует понимания его иерархии стандартных подпрограмм (весьма индивидуальной): какую подпрограмму данный человек выполняет сейчас, какие краткосрочные цели преследуются в рамках этой подпрограммы и какое отношение они имеют к глубинным, долгосрочным предпочтениям. Обобщая, можно сказать, что выяснение человеческих предпочтений требует узнавания реальной структуры человеческой жизни. Каковы все те дела, которыми мы, люди, можем заниматься, поодиночке или вместе? Какие занятия характерны для разных культур и типов индивидов? Это невероятно интересные и серьезные вопросы для исследования. Очевидно, у них нет конкретного ответа, поскольку мы, люди, постоянно пополняем свой «репертуар» новыми видами деятельности и поведенческими структурами. Однако даже частичные и промежуточные ответы были бы очень полезны для интеллектуальных систем всех типов, призванных помогать людям в их повседневной жизни.

Еще одна очевидная особенность действий людей — ими часто движут эмоции. В некоторых случаях это хорошо: такие эмоции, как любовь и благодарность, без сомнения, играют роль в наших предпочтениях, и движимые ими действия могут быть рациональными, даже не являясь в полной мере преднамеренными. В других случаях эмоциональная реакция ведет к действиям, которые даже глупые люди оценивают как не особенно рациональные — разумеется, задним числом. Например, рассерженная Гарриет, в сердцах шлепнувшая заупрямившуюся 10-летнюю Алису, может сразу же пожалеть об этом поступке. Робби, наблюдающий это действие, должен бы (обычно, хотя не всегда) объяснить его злостью и разочарованием, а также недостатком самоконтроля, а не осознанным садизмом ради садизма. Чтобы эта схема работала, Робби должен иметь некоторое понимание эмоциональных состояний человека, включая их причины, развитие во времени в ответ на внешние раздражители и их влияние на действие. Специалисты по нейробиологии начинают постигать принципы некоторых эмоциональных состояний и их связь с другими когнитивными процессами [314], и существует ряд полезных работ по вычислительным методам обнаружения и прогнозирования эмоциональных состояний человека и управления ими [315], но предстоит узнать намного больше. Опять-таки машины находятся в неблагоприятном положении, когда речь идет об эмоциях: они не могут выполнить внутреннее моделирование опыта, чтобы узнать, какое эмоциональное состояние он вызовет.