Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Свидетельства того, что и в геологической, и человеческой истории прослеживается тенденция в пользу большей сложности, можно найти в книге Роберта Райта «Не ноль. Логика человеческой судьбы» [Wright 2001]. Противоположные аргументы (которые Райт критикует в главе 9 своей книги) см.: [Gould 1990]. См. также: [Pinker 2011], где приведены аргументы в пользу того, что мы являемся свидетелями устойчивой и длительной тенденции снижения уровня насилия и жестокости.

Об эффекте выбора наблюдателя см.: [Bostrom 2002 a].

См.: [Bostrom 2008 a]. Чтобы исключить влияние эффекта наблюдателя, потребуется гораздо более тщательное изучение деталей нашей эволюционной истории; см., например: [Carter 1983; 1993; Hanson 1998 d; Ćirković et al. 2010].

Мелиоризм (от лат. melior — «лучше») — концепция, признающая реальность идеи прогресса как ведущей к совершенствованию мира. (Прим. ред.)

См.: [Kansa 2003].

См., например: [Zahavi, Zahavi 1997].

См.: [Miller 2000].

См.: [Kansa 2003]; см. также: [Frank 1999] — очень интересная книга Роберта Франка «“Роскошная” лихорадка», дающая серьезную пищу для размышлений.

В принципе, не вполне ясно, как лучше всего измерять степень глобальной политической интеграции. Можно сравнить эпоху охотничье-собирательской культуры, когда в руководящие структуры в общем входило максимум несколько сот человек, принимающих все решения, и наше время, когда крупнейшие политические структуры в общем насчитывают более миллиарда человек. Это означает разницу в семь порядков, всего на порядок меньше ситуации, в которой единой политической структурой стал бы весь мир. Однако в те времена, когда максимальным уровнем интеграции являлось племя, население планеты было несравнимо меньше. Тогда племя могло включать в себя до тысячной доли всех жителей Земли. Оценка доли населения планеты, вовлеченной в процесс политической интеграции, а не абсолютных цифр, кажется более правильной в современных условиях (особенно учитывая, что переход к искусственному интеллекту может вызвать взрывной рост количества жителей планеты за счет появления имитационных моделей или иных форм цифрового разума). Развиваются принципиально отличные от государственных и других официальных институций глобальные организации и сети, которые тоже следует принимать во внимание.

Одна из возможных причин, почему первая революция ИИ должна закончиться довольно быстро, — избыточное количество аппаратных средств. Но это не исключает и прорыва в ПО, связанного с переходом от имитационных моделей к композиционным моделям ИИ.

См.: [Shulman 2010 b].

Эусоциальность — наивысший уровень социальной организации животных. (Прим. ред.)

Как получится уравновесить все pro и contra , будет зависеть от работы, которую пытается выполнить суперорганизм, и насколько большими возможностями будет обладать наиболее развитый единый шаблон эмуляторов. Человеческая потребность в крупных организационных структурах, в которые постоянно объединяются множества различных типов людей, отчасти вызвана тем, что людей, талантливых сразу во всем, очень мало.

Естественно, изготовить множество копий интеллектуального программного агента очень легко. Но для уверенности, что скопированные имитационные модели будут обладать одинаковыми конечными целями, этого недостаточно. Чтобы два агента имели одинаковые конечные цели ( одинаковые в прямом смысле этого слова — то есть «одни и те же»), эти цели должны совпадать в своих дейктических (то есть указательных) элементах. Если Боб эгоист, то имитация Боба тоже будет эгоистом. Тем не менее цели их не одинаковые, поскольку Боба заботит благополучие Боба, а имитацию Боба — благополучие имитации Боба.

[Shulman 2010 b, p. 6].

Это скорее относится к людям и имитационным моделям, а не к системам ИИ, которые могут быть разработаны таким образом, что будут способны включать скрытые модули или функциональные процессы, которые практически невозможно обнаружить. Однако ИИ, специально созданные для обеспечения прозрачности , позволят проводить более тщательные контрольные проверки, чем системы, по архитектуре схожие с человеческим мозгом. Давление общества может заставить ИИ раскрыть свой исходный код или изменить себя в сторону большей прозрачности — особенно если прозрачность является предварительным условием для доверия и возможности заключать выгодные сделки. См.: [Hall 2007].