Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Описание эффекта Болдуина является увлекательным, но неполным: оно предполагает, что обучение и эволюция обязательно работают в одном направлении, а именно, что направление обучения, вызванное любым сигналом внутренней обратной связи в организме, с точностью соответствует эволюционной приспособленности. Как мы видели на примере карликового трехпалого ленивца, это не так. В лучшем случае встроенные механизмы обучения дают лишь самое общее представление о долгосрочных последствиях любого конкретного действия для эволюционной приспособленности. Более того, возникает вопрос: как вообще возникла система вознаграждения? Ответ: разумеется, в процессе эволюции, усвоившей тот механизм обратной связи, который хоть сколько-нибудь соответствовал эволюционной приспособленности [20] Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, «Interactions between learning and evolution», in Artificial Life II , ed. Christopher Langton et al. (Addison-Wesley, 1991). . Очевидно, механизм обучения, который заставлял бы организм удаляться от потенциальных брачных партнеров и приближаться к хищникам, не просуществовал бы долго.

Таким образом, мы должны поблагодарить эффект Болдуина за то, что нейроны, с их способностью к обучению и решению задач, широко распространены в животном царстве. В то же время важно понимать, что эволюции на самом деле все равно, есть у вас мозг или интересные мысли. Эволюция считает вас лишь агентом , то есть кем-то, кто действует. Такие достославные характеристики интеллекта, как логическое рассуждение, целенаправленное планирование, мудрость, остроумие, воображение и креативность, могут быть принципиально важны для разумности агента, а могут и не быть. Идея ИИ невероятно захватывает в том числе потому, что предлагает возможный путь к пониманию этих механизмов. Может быть, нам удастся узнать, как эти характеристики интеллекта делают возможным разумное поведение, а также почему без них невозможно достичь по-настоящему разумного поведения.

С самых истоков древнегреческой философии концепция разума связывалась со способностью воспринимать, мыслить логически и действовать успешно [21] Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус , или «ум», имеющее много связанных друг с другом значений. . В течение столетий эта концепция расширилась и уточнилась.

Аристотель среди прочих изучал понятие успешного рассуждения — методы логической дедукции, которые ведут к верному выводу при условии верной предпосылки. Он также исследовал процесс принятия решения о том, как действовать, иногда называемый практическим рассуждением. Философ считал, что предполагается логическое заключение о том, что определенная последовательность действий приводит к желаемой цели {1} 1 Цит. в пер. Н. Брагинской. — Прим. пер. :

Решение наше касается не целей, а средств, ведь врач принимает решения не о том, будет ли он лечить, и ритор — не о том, станет ли он убеждать… но, поставив цель, он заботится о том, каким образом и какими средствами ее достигнуть; и если окажется несколько средств, то прикидывают, какое самое простое и наилучшее; если же достижению цели служит одно средство, думают, как ее достичь при помощи этого средства и что будет средством для этого средства, покуда не дойдут до первой причины, находят которую последней… И, если наталкиваются на невозможность [достижения], отступаются (например, если нужны деньги, а достать их невозможно); когда же это представляется возможным, тогда и берутся за дело [22] Цит. по: Aristotle, Nicomachean Ethics , Book III, 3, 1112b. .

Можно сказать, что этот фрагмент задает направление следующих 2000 лет западной мысли о рациональности. В нем говорится, что «цель» — то, чего хочет данный человек, — фиксирована и задана, а также что рациональным является такое действие, которое, согласно логическому выводу о последовательности действий, самым «простым и наилучшим» образом приводит к цели.

Предположение Аристотеля выглядит разумно, но не исчерпывает рационального поведения. Главное, в нем отсутствует неопределенность. В реальном мире наблюдается склонность реальности вторгаться в наши действия, и лишь немногие из них или их последовательностей гарантированно достигают поставленной цели. Например, я пишу это предложение в дождливое воскресенье в Париже, а во вторник в 14:15 из аэропорта Шарля де Голля вылетает мой самолет в Рим. От моего дома до аэропорта около 45 минут, и я планирую выехать в аэропорт около 11:30, то есть с большим запасом, но из-за этого мне, скорее всего, придется не меньше часа просидеть в зоне вылета. Значит ли это, что я гарантированно успею на рейс? Вовсе нет. Может возникнуть ужасная пробка или забастовка таксистов; такси, в котором я еду, может попасть в аварию; или водителя задержат за превышение скорости и т. д. Я мог бы выехать в аэропорт в понедельник, на целый день раньше. Это значительно снизило бы шанс опоздать на рейс, но перспектива провести ночь в зоне вылета меня не привлекает. Иными словами, мой план включает компромисс между уверенностью в успехе и стоимостью этой уверенности. План приобретения дома предполагает аналогичный компромисс: купить лотерейный билет, выиграть миллион долларов, затем купить дом. Этот план является самым «простым и наилучшим» путем к цели, но маловероятно, чтобы он оказался успешным. Однако между легкомысленным планом покупки дома и моим трезвым и обоснованным планом приезда в аэропорт разница лишь в степени риска. Оба представляют собой ставку, но одна ставка выглядит более рациональной.