Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Некоторые эпистемологические системы могут быть цельными и не предполагать явно сформулированных принципов. В этом случае преемственность будет обеспечиваться не выполнением этих принципов, а скорее некоторой эпистемологической точкой отсчета — теми или иными предпочтениями, которыми и определяется реакция субъекта на поток событий.

Обсуждение проблемы искажения — см.: [Bostrom 2011 a].

Например, одним из камней преткновения в рассуждениях о роли наблюдателя является правомерность следующего допущения: из факта вашего существования следует гипотеза, что существованию большего количества наблюдателей N следует присвоить вероятность, пропорциональную N . Аргументы против этого допущения можно найти в незавершенном эксперименте о самонадеянном философе, описанном в книге: [Bostrom 2002 a]. Аргументы в его защиту см.: [Olum 2002]; критику этих аргументов — см.: [Bostrom, Ćirković 2003]. Убежденность в правомерности данного допущения может влиять на различные эмпирические гипотезы, имеющие потенциально высокую стратегическую важность, например на теорему о конце света Картера–Лесли («Аргумент Судного дня»), гипотезу о симуляции и гипотезу о «великом фильтре». См.: [Bostrom 2002 a; 2003 a; 2008 a; Carter 1983; Ćirković et al. 2010; Hanson 1998 d; Leslie 1996; Tegmark, Bostrom 2005]. То же можно сказать и о других аспектах теории выбора наблюдателя.

См., например: [Howson, Urbach 1993]. Есть и другие интересные результаты, сужающие диапазон ситуаций, в которых два байесовских агента могут рационально не согласиться друг с другом, притом что их мнение основано на общем знании; см.: [Aumann 1976; Hanson 2006].

См. концепцию «верховного судии»: [Yudkowsky 2004].

В эпистемологии остаются нерешенными много важных вопросов, некоторые из них были нами упомянуты. Важно то, что нам, возможно, не обязательно иметь все ответы, чтобы обеспечить результат, практически неотличимый от наилучшего. Вполне может сработать смешанная модель, основанная на широком диапазоне априорных распределений.

Этот принцип впервые сформулирован в моей статье «Грабеж с насилием Паскаля» [Bostrom 2009 b, p. 190], там же отмечается, что это не тавтология. Визуальным аналогом может быть коробка большого, но ограниченного объема, представляющая собой пространство базовых возможностей, которые могут быть получены при помощи некоторой технологии. Представьте, что вы насыпаете в коробку песок, символизирующий усилия исследователей. От того, как вы его распределяете, зависит, в каком месте коробки образуется горка. Но если продолжать сыпать песок, рано или поздно заполнится весь ее объем.

См.: [Bostrom 2002 b].

Это не согласуется с традиционным взглядом на научно-технологическую политику. Харви Аверч считает, что между 1945 и 1984 гг. в США она была сфокусирована на поиске оптимального уровня правительственного финансирования научных и технологических предприятий, а также на обсуждении проблемы, насколько активно правительство должно поощрять лучших, чтобы обеспечить наибольшее процветание национальной экономики и скорейший рост ее военной мощи. В этих расчетах технологический прогресс всегда благо, но Аверч отмечает рост критических замечаний в адрес этого посыла [Averch 1985]. См. также: [Graham 1997].

См.: [Bostrom 2002 b].

Конечно, здесь явно просматривается тавтология. Легко можно построить аргументацию в пользу обратного порядка разработки подобных технологий. Скажем, для человечества будет лучше вначале решить менее трудную проблему — создать нанотехнологии, — потому что в результате мы создадим лучшие институты, усилим международную координацию и станем более зрелыми в вопросах глобальной стратегии. Может быть, правильнее потренироваться на какой-то проблеме, с которой связана не столь сложная угроза, как в случае машинного интеллекта? Нанотехнологии (или синтетическая биология, или какое-то менее опасное направление, с которым мы столкнемся впервые) могли бы стать своеобразной стремянкой, встав на которую мы дотянулись бы до уровня возможностей, которых будет достаточно, чтобы справиться с более высоким уровнем угрозы со стороны сверхразума. Этот аргумент следует оценивать для каждой ситуации отдельно. Например, в случае нанотехнологий следует помнить о самых разных последствиях их появления: скачок производительности аппаратного обеспечения за счет создания наноподложек микросхем; влияние на экономических рост дешевизны физического капитала; широкое распространение совершенных технологий слежения; возможность формирования синглтона как прямого или косвенного следствия прорыва в области нанотехнологий; огромные возможности развития таких направлений, как разработка машинного интеллекта, нейроморфного ИИ и полная эмуляция головного мозга. Рассмотрение всех этих вопросов (и других, возникающих в результате появления новых технологий, с которыми связан экзистенциальный риск) выходит за рамки нашей книги. Здесь мы лишь отмечаем причину, которая на первый взгляд обосновывает желание начать с разработки сверхразума, подчеркивая, впрочем, что в некоторых случаях возможно появление аргументов, способных изменить эту предварительную оценку.