Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Интересный анализ см. в статье: Oracle AI: Stuart Armstrong, Anders Sandberg, and Nick Bostrom, «Thinking inside the box: Controlling and using an Oracle AI», Minds and Machines 22 (2012): 299–324.

Мнения о том, почему ИИ не лишит нас работы: Kenny, «IBM’s open letter».

Пример положительного отношения Курцвейла к слиянию человеческого мозга с ИИ: Ray Kurzweil, interview by Bob Pisani, June 5, 2015, Exponential Finance Summit, New York, NY.

Статья, цитирующая слова Илона Маска о нейронном кружеве: Tim Urban, «Neuralinkf and the brain’s magical future», Wait But Why, April 20, 2017.

Новейшие достижения проекта «нейронной пыли» в Беркли: David Piech et al., «StimDust: A 1.7 mm3, implantable wireless precision neural stimulator with ultrasonic power and communication», arXiv: 1807.07590 (2018).

Сьюзан Шнайдер в книге «Искусственный Вы» (Susan Schneider, Artificial You: AI and the Future of Your Mind (Princeton University Press, 2019)) указывает на риски невежества, сопутствующие таким потенциальным технологиям, как загрузка информации в мозг и нейропротезирование: в отсутствии реального понимания, могут ли электронные устройства обладать сознанием, и с учетом постоянных блужданий философии в вопросе об устойчивой личной идентичности мы рискуем непреднамеренно покончить с собственным сознательным существованием или заставить страдать сознающие машины, не понимая, что они обладают сознанием.

Интервью Яна Лекуна о рисках ИИ: Guia Marie Del Prado, «Here’s what Facebook’s artificial intelligence expert thinks about the future», Business Insider , September 23, 2015.

Вывод о существовании проблем контроля ИИ, вытекающих из избытка тестостерона: Steven Pinker, «Thinking does not imply subjugating», in What to Think About Machines That Think , ed. John Brockman (Harper Perennial, 2015). 30.

Эпохальный труд по многим философским вопросам, в том числе о возможности постижения морального долга из мира природы: Юм Д. О человеческой природе. — М.: Азбука, 2017.

Аргумент, что достаточно интеллектуальная машина не может не преследовать цели человека: Rodney Brooks, «The seven deadly sins of AI predictions», MIT Technology Review , October 6, 2017.

Pinker, «Thinking does not imply subjugating».

Оптимистический взгляд, что проблемы безопасности ИИ неизбежно решатся в нашу пользу: Steven Pinker, «Tech prophecy».

О неожиданном согласии «скептиков» и «верующих» по поводу рисков от ИИ: Alexander, «AI researchers on AI risk».

Руководство по детальному моделированию деятельности головного мозга, на сегодняшний день немного устаревшее: Anders Sandberg and Nick Bostrom, «Whole brain emulation: A roadmap», technical report 2008–3, Future of Humanity Institute, Oxford University, 2008.

Введение в генетическое программирование от ведущего деятеля: John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press, 1992).

Параллель с Тремя законами робототехники Азимова совершенно случайна.

То же самое утверждает Элиезер Юдковский: Eliezer Yudkowsky, «Coherent extrapolated volition», technical report, Singularity Institute, 2004. Он полагает, что прямое следование «Четырем великим нравственным принципам, которыми исчерпывается то, что мы должны встроить в ИИ», есть гарантированный путь к уничтожению человечества. Его понятие «когерентного экстраполированного волеизъявления человечества» созвучно первому принципу; идея заключается в том, что сверхинтеллектуальная ИИ-система могла бы обнаружить, чего люди хотят на самом деле.

Безусловно, вы можете иметь предпочтение в вопросе о том, достигать реализации своих предпочтений с помощью машины или исключительно собственными силами. Допустим, например, что вы предпочитаете результат А результату Б при прочих равных. Вы не в состоянии достичь результата А без содействия, но все равно предпочитаете самостоятельно добиться Б, чем получить А с помощью машины. В этом случае машина должна принять решение не помогать вам, разве что она может оказать вам помощь совершенно незаметным для вас способом. Вы можете, разумеется, иметь и предпочтения в отношении необнаруживаемой помощи, как и обнаруживаемой.

Фраза «наибольшее счастье наибольшему числу людей» впервые встречается в работе Фрэнсиса Хатчесона: Francis Hutcheson, An Inquiry into the Original of Our Ideas of Beauty and Virtue, In Two Treatises (D. Midwinter et al., 1725). Есть также мнение, что эта формулировка происходит из более раннего высказывания Вильгельма Лейбница; см.: Joachim Hruschka, «The greatest happiness principle and other early German anticipations of utilitarian theory», Utilitas 3 (1991): 165–77.

Можно предложить, чтобы машины учитывали в своей целевой функции условия не только для людей, но и для животных. Если веса этих условий соответствуют степени внимания людей к нуждам животных, то конечный результат будет таким же, как если бы машина заботилась о животных только посредством заботы о людях, заботящихся о животных. Придание всем живым существам равных весов в целевой функции машины, безусловно, имело бы катастрофические последствия. Например, в смысле численности антарктическая креветка превосходит человечество в соотношении пятьдесят тысяч к одному, а бактерии — миллиард триллионов к одному.