Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Может показаться, что такая ситуация невозможна, поскольку «организм, находящийся в подобном овощном состоянии» не сможет голосовать и защищать свои права. Но он может оставить доверенность ИИ на управление делами и защиту его политических интересов. (Все наши предположения исходят из того, что права собственности будут уважаться.)

Не очень понятно, какой термин выбрать: слово убивать звучит более жестоко, чем это может оказаться на самом деле; слово отключать звучит, может быть, более приемлемо, но для нашего случая оно слишком упрощает ситуацию. А сложность в том, что фактически речь идет о двух отдельных процедурах: остановке активной деятельности и удалении информационных шаблонов. Смерть человека обычно предполагает одновременно и то и другое, но в случае с эмуляторами эти процедуры могут быть разделены во времени. Мы могли бы сравнить временную остановку программы с обычным человеческим сном, а постоянную остановку — с комой. Еще сильнее усложняет ситуацию возможность копирования эмуляторов и запуск их с различными скоростями — это вообще не имеет прямых аналогий с человеческой жизнью. См.: [Bostrom 2006 b; Bostrom, Yudkowsky 2014].

Придется искать компромисс между общей мощностью параллельных вычислений и их скоростью, поскольку высочайшая скорость вычислений достижима только за счет снижения их эффективности. Это будет особенно верно с началом эры обратимых вычислений.

Эмуляторы можно испытывать, подвергая их искушению. Путем многократных проверок, как эмулятор, запущенный из состояния готовности, реагирует на различные последовательности стимулов, можно убедиться в его надежности. Но чем дальше в процессе развития он продвигается от своего исходного состояния, тем сильнее снижается уверенность в нем работодателя. (Поскольку проницательный эмулятор может догадываться, что работает в режиме имитации, следует быть осторожными, экстраполируя его поведение на ситуации, в которых гипотеза о симуляции будет меньше влиять на принимаемые им решения.)

Некоторые эмуляторы скорее будут идентифицировать себя со своим кланом — то есть со всеми копиями и вариациями, полученными из одного шаблона, — чем думать о себе как отдельном субъекте. Такие эмуляторы, скорее всего, не станут считать свое отключение смертью, зная, что другие члены клана выживут. Они могут понимать, что рано или поздно их настройки сбросят к некоторому исходному состоянию и они потеряют память, но будут так же мало беспокоиться об этом, как и любители вечеринок, которые часто не могут вспомнить утром события предыдущей ночи, — считайте это ретроградной амнезией, а не смертью.

С этической оценкой можно подходить и ко многим другим факторам. Даже если все работники испытывают «чувство глубокого удовлетворения» от условий своего труда, результат все-таки может быть сомнительным с нравственной точки зрения по другим основаниям, хотя эти основания и являются предметом споров между сторонниками различных этических учений. Однако важнейшим факторов все равно следует считать субъективное ощущение благополучия. См. также: [Bostrom, Yudkowsky 2014].

См.: [World Values Survey, 2008].

См.: [Helliwell et al. 2012].

Laissez-faire (фр. букв. «не мешать; оставаться пассивным») — принцип невмешательства; экономическая доктрина, согласно которой государственное вмешательство в экономику должно быть минимальным. (Прим. ред.)

Joie de vivre (фр.) — радость жизни. (Прим. ред.)

См.: [Bostrom 2004]; см. также: [Chislenko 1996; Moravec 1988].

Будут ли системы для обработки информации, возникшие в рамках этого сценария, обладать сознанием (в смысле наличия квалиа и возможности субъективных переживаний)? Трудно сказать. Отчасти из-за эмпирической неопределенности: какого рода когнитивными субъектами они будут. Отчасти из-за философской неопределенности: какие типы систем обладают сознанием. Можно попытаться переформулировать наш вопрос и спросить: будут ли они иметь моральный статус или будут ли они такими, что у нас появятся предпочтения относительно их «благополучия». Но на эти вопросы ответить не легче, чем на вопрос о сознании. На самом деле может оказаться, что ответы на вопросы и о сознании, и о моральном статусе, и о наших предпочтениях будут зависеть от того, смогут ли обсуждаемые системы субъективно переживать условия, в которых находятся.