Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Демонстрация того, почему агент может преследовать цель, отличающуюся от его истинной цели, если его вычислительные возможности ограниченны: Jonathan Sorg, Satinder Singh, and Richard Lewis, «Internal rewards mitigate agent boundedness», in Proceedings of the 27th International Conference on Machine Learning , ed. Johannes Fürnkranz and Thorsten Joachims (2010), icml.cc/Conferences/2010/papers/icml2010proceedings.zip.

Высказывается мнение, что биология и нейробиология также имеют непосредственное отношение к этому вопросу. См., например: Gopal Sarma, Adam Safron, and Nick Hay, «Integrative biological simulation, neuropsychology, and AI safety», arxiv.org/abs/1811.03493(2018).

О возможности возлагать на компьютеры ответственность за причиненный вред: Paulius Čerka, Jurgita Grigienė, and Gintarė Sirbikytė, «Liability for damages caused by artificial intelligence», Computer Law and Security Review 31 (2015): 376–89.

Блестящее введение в общепринятые этические теории и их следствия для разработки ИИ-систем: Wendell Wallach and Colin Allen, Moral Machines: Teaching Robots Right from Wrong (Oxford University Press, 2008).

Первоисточник утилитаризма: Jeremy Bentham, An Introduction to the Principles of Morals and Legislation (T. Payne & Son, 1789).

Развитие Миллем идей его наставника Бентама оказало громадное влияние на либеральную мысль: John Stuart Mill, Utilitarianism (Parker, Son & Bourn, 1863).

Статья, вводящая понятия утилитаризма предпочтений и автономии предпочтений: John Harsanyi, «Morality and the theory of rational behavior», Social Research 44 (1977): 623–56.

Аргумент в пользу общественного агрегирования посредством взвешенных сумм полезностей при принятии решения от имени многочисленных индивидов: John Harsanyi, «Cardinal welfare, individualistic ethics, and interpersonal comparisons of utility», Journal of Political Economy 63 (1955): 309–21.

Распространение теоремы общественного агрегирования Харсаньи на случай неравной априорной уверенности: Andrew Critch, Nishant Desai, and Stuart Russell, «Negotiable reinforcement learning for Pareto optimal sequential decision-making», in Advances in Neural Information Processing Systems 31, ed. Samy Bengio et al. (2018).

Источник идеалистического утилитаризма: G. E. Moore, Ethics (Williams & Norgate, 1912).

Новостная статья, цитирующая приводимый Стюартом Армстронгом выразительный пример неверно ориентированной максимизации полезности: Chris Matyszczyk, «Professor warns robots could keep us in coffins on heroin drips», CNET , June 29, 2015.

Теория негативного утилитаризма (название позже предложено Смартом) Поппера: Karl Popper, The Open Society and Its Enemies (Routledge, 1945).

Опровержение негативного утилитаризма: R. Ninian Smart, «Negative utilitarianism», Mind 67 (1958): 542–43.

Типичный аргумент о рисках, обусловленных командой «покончить с человеческими страданиями», см. в работе: «Why do we think AI will destroy us?», Reddit, reddit.com/r/Futurology/comments/38fp6o/why_do_we_think_ai_will_destroy_us.

Хороший источник по стимулам-самообманам для ИИ: Ring and Orseau, «Delusion, survival, and intelligent agents».

О невозможности межличностного сравнения полезностей: W. Stanley Jevons, The Theory of Political Economy (Macmillan, 1871).

Монстр полезности появляется в кн.: Robert Nozick, Anarchy, State, and Utopia (Basic Books, 1974).

Например, мы можем установить полезность немедленной смерти равной 0, а максимально счастливой жизни — 1. См.: John Isbell, «Absolute games», in Contributions to the Theory of Games , vol. 4, ed. Albert Tucker and R. Duncan Luce (Princeton University Press, 1959).

Сверхупрощенный подход Таноса, проявившийся в политике уполовинивания населения, рассматривается в статье: Tim Harford, «Thanos shows us how not to be an economist», Financial Times , April 20, 2019. Еще до премьеры фильма защитники Таноса стали собираться на подфоруме r/thanosdidnothingwrong/. В соответствии с девизом подфорума, 350 000 из 700 000 его участников впоследствии были удалены.

О полезности для популяций разных размеров: Henry Sidgwick, The Methods of Ethics (Macmillan, 1874).

Отталкивающий вывод и другие запутанные проблемы утилитаристской мысли: Derek Parfit, Reasons and Persons (Oxford University Press, 1984).

Краткий обзор аксиоматических подходов к популяционной этике: Peter Eckersley, «Impossibility and uncertainty theorems in AI value alignment», in Proceedings of the AAAI Workshop on Artificial Intelligence Safety , ed. Huáscar Espinoza et al. (2019).

Расчеты долгосрочной экологической емкости Земли: Daniel O’Neill et al., «A good life for all within planetary boundaries», Nature Sustainability 1 (2018): 88–95.

Приложения нравственной неопределенности к популяционной этике: Hilary Greaves and Toby Ord, «Moral uncertainty about population axiology», Journal of Ethics and Social Philosophy 12 (2017): 135–67. Более полный анализ: Will MacAskill, Krister Bykvist, and Toby Ord, Moral Uncertainty (Oxford University Press, forthcoming).