Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Если вы хотите получить веский аргумент, почему возникновение жизни требует довольно редкой флуктуации, из-за чего наши ближайшие соседи оказываются за 10 1000метров от нас, я советую посмотреть видео физика и астробиолога из Принстона Эдвина Тёрнера: https://www.youtube.com/watch?v=Bt6n6Tu1beg

Эссе Мартина Риса о поиске внеземных цивилизаций см.: https://www.edge.org/annual-question/2016/response/26665

Популярное изложение статьи Джереми Ингланда о диссипативно направленной адаптации см. в: https://www.scientificamerican.com/article/a-new-physics-theory-of-life/

Основные идеи взяты из книги: Ilya Prigogine & Isabelle Stengers (1984) Order Out of Chaos: Man’s New Dialogue with Nature , Bantam (см. рус. пер.: Пригожин И., Стенгерс И. Порядок из хаоса: Новый диалог с природой / пер. с англ. Ю. А. Данилова. М.: Прогресс, 1986. – Прим. перев. ).

О чувствах и их физиологических причинах см.:

– William James (1890) Principles of Psychology , Henry Holt & Co.;

– Robert Ornstein (1992) Evolution of Consciousness: The Origins of the Way We Think , Simon & Schuster;

– António Damásio (2005) Descartes’ Error: Emotion, Reason, and the Human Brain , Penguin;

– António Damásio (2012) Self Comes to Mind: Constructing the Conscious Brain , Vintage.

Элиезер Юдковски обсуждал возможность приведения в соответствие с целями дружественного искусственного интеллекта не просто наших целей, а наших целей (“волений”), гладко экстраполированных в будущее (coherent extrapolated volition, CEV). Образно говоря, это то, чего хотела бы идеализированная версия нас самих, если бы мы знали больше, думали быстрее и были бы в большей степени людьми, чем сами бы хотели. Юдковски начал критиковать идею CEV вскоре после предания ее гласности в 2004 году: ( http://intelligence.org/files/CEV.pdf) и потому, что ее сложно применить, и потому, что неясны возможности преобразования ее во что-нибудь хорошо определенное.

В подходе обратного обучения с подкреплением ключевая идея состоит в том, что искусственный интеллект стремится к максимальному удовлетворению не своих целей, а целей его владельца-человека. Поэтому он должен проявлять осторожность в тех случаях, когда непонятно, чего в точности хочет владелец, и надо поначалу с этим разобраться. Тогда проблемы с выключением не возникает: оно указывает на возникшее непонимание истинных намерений владельца.

См. статью Стива Омохундро: http://tinyurl.com/omohundro2008

Глубокая и содержательная книга Ханны Аренд о том, что бывает, когда разум слепо подчиняется приказам, не обращаясь к вопросам этики: Hanna Arendt (1963), Eichmann in Jerusalem: A Report on the Banality of Evil , Penguin (есть русский перевод: Арендт Х. Банальность зла. Эйхман в Иерусалиме / пер. с англ. С. Кастальский, Н. Рудницкая. М.: Европа, 2008. – Прим. пе рев.). Близкая дилемма возникает в работе Эрика Дрекслера ( http://www.fhi.ox.ac.uk/reports/2015-3.pdf): чтобы удерживать сверхразум под своим контролем, его расчленяют на меньшие части, каждая из которых не в состоянии понять всю картину целиком. Если такое получится, то опять же возникает мощное орудие без внутренних моральных ограничителей, способное безропотно выполнять волю своего владельца. Это напоминает расчлененную бюрократию в условиях тиранической антиутопии: одна часть контролирует создание оружия, не зная, как оно будет использоваться, другая – казнит осужденных, не зная, в чем их вина, и т. п.

Современный вариант этого “золотого правила” предложил Джон Ролз: гипотетическая ситуация морально приемлема, если никто не хочет ее изменить, не зная заранее, какое место в ней займет.

Например, IQ многих людей в ближайшем окружении Гитлера был весьма высок: http://tinyurl.com/nurembergiq

Словарная статья о сознании Стюарта Сазерленда довольно любопытна. См.: Macmillan Dictionary of Psychology , Macmillan, 1989.

Эрвин Шрёдингер, один из создателей квантовой механики, сделал это замечание в книге Mind and Matter (см.: Шрёдингер Э. Разум и материя / пер. с англ. А. В. Монаков. Ижевск: НИЦ “Регулярная и хаотическая динамика”, 2000. – Прим. перев. ), обсуждая прошлое: что бы произошло, если бы сознательная жизнь никогда не возникла и не заняла главенствующего места? С другой стороны, возникновение искусственного интеллекта ставит логическую проблему, связанную с тем, что теперь мы сами можем начать разыгрывать пьесу перед пустыми креслами в будущем.

101 Стэнфордская философская энциклопедия приводит подробный обзор различных способов определения и использования слова “сознание”. См.: http://tinyurl.com/stanfordconsciousness