Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, «A new factor in evolution», American Naturalist 30 (1896): 441–51.

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, «How learning can guide evolution», Complex Systems 1 (1987): 495–502.

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, «Interactions between learning and evolution», in Artificial Life II , ed. Christopher Langton et al. (Addison-Wesley, 1991).

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус , или «ум», имеющее много связанных друг с другом значений.

Цит. по: Aristotle, Nicomachean Ethics , Book III, 3, 1112b.

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. — Прим. пер .]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensées (Chez Guillaume Desprez, 1670).

Понятие полезности: Daniel Bernoulli, «Specimen theoriae novae de mensura sortis», Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, «A note on measurement of utility», Review of Economic Studies 4 (1937): 155–61. Если s 0, s 1, … — последовательность состояний, то полезность в этой модели есть U (s 0, s 1, …) = ∑ tƴ tR (s t), где ƴ — коэффициент дисконтирования, а R — функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, «Time discounting and time preference: A critical review», Journal of Economic Literature 40 (2002): 351–401.

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана — Моргенштерна: Maurice Allais, «Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école américaine», Econometrica 21 (1953): 503–46.

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, «Fundamental concepts of qualitative probabilistic networks», Artificial Intelligence 44 (1990): 257–303.

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, «Le comportement»; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, «Judgment under uncertainty: Heuristics and biases», Science 185 (1974): 1124–31.

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой — с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.