Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Ralph Adolphs and David Anderson, The Neuroscience of Emotion: A New Synthesis (Princeton University Press, 2018).

См., например: Rosalind Picard, Affective Computing , 2nd ed. (MIT Press, 1998).

Восторженные описания прелестей дуриана: Alfred Russel Wallace, The Malay Archipelago: The Land of the Orang-Utan, and the Bird of Paradise (Macmillan, 1869).

Менее восторженный взгляд на дуриан: Alan Davidson, The Oxford Companion to Food (Oxford University Press, 1999). Из-за запаха дуриана приходилось эвакуировать людей из зданий и разворачивать самолеты на полпути.

Написав эту главу, я узнал, что точно с такими же философскими целями дуриан использует Лори Пол: Laurie Paul, Transformative Experience (Oxford University Press, 2014). Пол предполагает, что неопределенность относительно собственных предпочтений представляет собой неустранимую проблему теории принятия решений; противоположный взгляд высказывается в статье: Richard Pettigrew, «Transformative experience and decision theory», Philosophy and Phenomenological Research 91 (2015): 766–74. Ни один из авторов не ссылается на более ранние труды Харсаньи (Harsanyi, «Games with incomplete information, Parts I–III») или: Cyert and de Groot, «Adaptive utility».

Первая статья о помощи людям, которые не знают собственных предпочтений и выясняют их: Lawrence Chan et al., «The assistive multi-armed bandit», in Proceedings of the 14th ACM/IEEE International Conference on Human — Robot Interaction (HRI) , ed. David Sirkin et al. (IEEE, 2019).

Элиезер Юдковски в своей книге Coherent Extrapolated Volition (Singularity Institute, 2004), объединяет все эти аспекты, а также банальную непоследовательность, под общим понятием «сумбур», к сожалению, не прижившимся.

О двух «я», оценивающих опыт: Канеман Д. Думай медленно… решай быстро. — М.: АСТ, 2013.

Гедонометр Эджворта, вымышленное устройство для ежеминутного измерения счастья: Francis Edgeworth, Mathematical Psychics: An Essay on the Application of Mathematics to the Moral Sciences (Kegan Paul, 1881).

Типичная работа о последовательном принятии решений в условиях неопределенности: Martin Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming (Wiley, 1994).

Об аксиоматических предположениях, обосновывающих репрезентацию полезности как суммы полезностей во времени: Tjalling Koopmans, «Representation of preference orderings over time», in Decision and Organization , ed. C. Bartlett McGuire, Roy Radner, and Kenneth Arrow (North-Holland, 1972).

Люди 2019 г. (которые в 2099 г. могут быть давно мертвы, а могут и оказаться более ранними личностями людей 2099 г.) могут стремиться создать машины в соответствии с имеющимися в 2019 г. предпочтениями людей 2019 г., а не потакать, очевидно, туманным и недостаточно понимаемым предпочтениям людей 2099 г. Это было бы все равно, что писать Конституцию, запрещающую любые поправки. Если люди 2099 г. после должного осмысления придут к выводу, что хотят изменить предпочтения, встроенные в машины людьми 2019 г., представляется разумным, чтобы у них была эта возможность. В конце концов, именно они и их потомки должны будут иметь дело с последствиями.

Я благодарен за это наблюдение Уэнделлу Уоллаку.

Ранняя статья, посвященная изменениям предпочтений со временем: John Harsanyi, «Welfare economics of variable tastes», Review of Economic Studies 21 (1953): 204–13. Более новое (и несколько более техническое) рассмотрение см. в статье: Franz Dietrich and Christian List, «Where do preferences come from ?», International Journal of Game Theory 42 (2013): 613–37. См. также: Laurie Paul, Transformative Experience (Oxford University Press, 2014), и Richard Pettigrew, «Choosing for Changing Selves», philpapers.org/archive/PETCFC.pdf.

Рациональный анализ иррациональности: Jon Elster, Ulysses and the Sirens: Studies in Rationality and Irrationality (Cambridge University Press, 1979).

Талер Р., Санстейн К. Nudge. Архитектура выбора. — М.: Манн, Иванов и Фербер, 2017.

Многообещающие идеи когнитивных протезов для человечества: Falk Lieder, «Beyond bounded rationality: Reverse-engineering and enhancing human intelligence» (PhD thesis, University of California, Berkeley, 2018).

О следствиях игр в помощника для вождения: Dorsa Sadigh et al., «Planning for cars that coordinate with people», Autonomous Robots 42 (2018): 1405–26.

Любопытно, что в этом списке отсутствует Apple. В компании имеется группа изучения ИИ, которая быстро наращивает свою деятельность. Вследствие традиционной культуры секретности влияние компании на рынке идей пока еще ограниченно.

Из интервью Макса Тегмарка в документальном фильме «Вы доверяете компьютеру?» (Do You Trust This Computer?) 2018 г.

Об оценках потерь от киберпреступлений: «Cybercrime cost $ 600 billion and targets banks first», Security Magazine , February 21, 2018.

Форстер Э. М. Машина останавливается и др. рассказы. — М.: Астрель, 2014.