Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Визуализация слияния черных дыр, зарегистрированного LIGO: LIGO Lab Caltech, «Warped space and time around colliding black holes», February 11, 2016, youtube.com/watch?v=1agm33iEAuo.

Первая публикация с описанием наблюдения гравитационных волн: Ben Abbott et al., «Observation of gravitational waves from a binary black hole merger», Physical Review Letters 116 (2016): 061102.

О детях как ученых: Alison Gopnik, Andrew Meltzoff, and Patricia Kuhl, The Scientist in the Crib: Minds, Brains, and How Children Learn (William Morrow, 1999).

Краткое описание нескольких проектов автоматизированного научного анализа экспериментальных данных с целью открытия законов: Patrick Langley et al., Scientific Discovery: Computational Explorations of the Creative Processes (MIT Press, 1987).

Некоторые ранние работы о машинном обучении, управляемом ранее предшествующим знанием: Stuart Russell, The Use of Knowledge in Analogy and Induction (Pitman, 1989).

Философский анализ индукции Гудменом остается источником вдохновения: Nelson Goodman, Fact, Fiction, and Forecast (University of London Press, 1954).

Ветеран исследования ИИ жалуется на мистицизм философии науки: Herbert Simon, «Explaining the ineffable: AI on the topics of intuition, insight and inspiration», in Proceedings of the 14th International Conference on Artificial Intelligence , ed. Chris Mellish (Morgan Kaufmann, 1995).

Обзор индуктивного логического программирования от двух родоначальников этого направления: Stephen Muggleton and Luc de Raedt, «Inductive logic programming: Theory and methods», Journal of Logic Programming 19–20 (1994): 629–79.

Раннее упоминание важности использования комплексных операций как новых примитивных действий см. в кн.: Alfred North Whitehead, An Introduction to Mathematics (Henry Holt, 1911).

Работа, демонстрирующая, что смоделированный робот способен совершенно самостоятельно научиться вставать: John Schulman et al., «High-dimensional continuous control using generalized advantage estimation», arXiv:1506.02438 (2015). Видеодемонстрация доступна на YouTube: youtube.com/watch?v=SHLuf2ZBQSw.

Описание системы обучения с подкреплением, которая учится играть в видеоигру «Захват флага»: Max Jaderberg et al., «Human-level performance in first-person multiplayer games with population-based deep reinforcement learning», arXiv:1807.01281 (2018).

Мнение о прогрессе в разработке ИИ в ближайшие несколько лет: Peter Stone et al., «Artificial intelligence and life in 2030 », One Hundred Year Study on Artificial Intelligence , report of the 2015 Study Panel, 2016.

Подпитываемый СМИ спор Илона Маска и Марка Цукерберга: Peter Holley, «Billionaire burn: Musk says Zuckerberg’s understanding of AI threat ‘is limited,’» The Washington Post , July 25, 2017.

О ценности поисковых машин для отдельных пользователей: Erik Brynjolfsson, Felix Eggers, and Avinash Gannamaneni, «Using massive online choice experiments to measure changes in well-being», working paper no. 24514, National Bureau of Economic Research, 2018.

Пенициллин был открыт несколько раз, и его фармакологические свойства описывались в медицинских изданиях, но никто, судя по всему, не обращал на них внимания. См.: en.wikipedia.org/wikiHistory_of_penicillin.

Обсуждение некоторых новых эзотерических рисков, связанных со всезнающими, провидческими ИИ-системами: David Auerbach, «The most terrifying thought experiment of all time», Slate , July 17, 2014.

Анализ некоторых потенциальных заблуждений в представлениях о продвинутом ИИ: Kevin Kelly, «The myth of a superhuman AI», Wired , April 25, 2017.

Машины могут делиться с людьми некоторыми аспектами когнитивной структуры, особенно теми, которые связаны с восприятием физического мира и манипуляциями в нем, а также концептуальными структурами, сопутствующими пониманию естественного языка. Их совещательные процессы, скорее всего, будут заметно отличаться от наших вследствие колоссального неравенства аппаратной части.

Согласно данным исследования 2016 г., 88-й процентиль соответствует $100 000 в год: American Community Survey, US Census Bureau, www.census.gov/programs-surveys/acs. В том же году среднемировой ВВП на душу населения составлял $10,133: National Accounts Main Aggregates Database, UN Statistics Division, unstats.un.org/unsd/snaama.

Если фаза роста ВВП составляет 10 или 20 лет, он составляет $9400 трлн или $6800 трлн соответственно — в любом случае совсем неплохо. Примечательный исторический факт: И. Дж. Гуд, предсказавший взрывное развитие интеллекта (с. 187), оценивал ценность ИИ человеческого уровня минимум в «один мегаКейнс», имея в виду прославленного экономиста Джона Мейнарда Кейнса. Вклад Кейнса в 1963 г. был оценен в 100 млрд, таким образом, мегаКейнс составляет около $2 200 000 трлн (по курсу 2016 г.). Гуд связывал ценность ИИ, в первую очередь, с его потенциальной способностью гарантировать бесконечное выживание человеческой расы. Позднее он стал задаваться вопросом, не следует ли ему добавить знак минус.