Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Тоталитарные страны наверняка догадаются возродить менее технологичные, но более действенные меры. Можно, как в СССР, помещать ученых, работающих над интересующими государство направлениями, в трудовые лагеря вроде сталинских «шарашек», которые в дальнейшем переродились в респектабельные и абсолютно закрытые академгородки.

Когда в обществе низок уровень социальной тревоги, некоторые ученые обычно не прочь чуть подогреть степень беспокойства, чтобы привлечь внимание к своей работе и представить направление, которым занимаются, чуть более важным и интересным. Когда в обществе уровень тревоги повышен, те же ученые меняют тон, поскольку начинают беспокоиться о снижении финансирования, введении новых норм регулирования и негативной общественной реакции. Специалистов из смежных дисциплин (например, кибернетика и робототехника), не имеющих прямого отношения к искусственному интеллекту, может возмущать такой перекос в финансировании и внимании. Они также могут справедливо считать, что их работа не несет риска возникновения потенциально опасных последствий, как в случае со взрывным развитием искусственного интеллекта. (Некоторые исторические параллели мы находим в истории развития идеи нанотехнологий; см.: [Drexler 2013].)

Эти проекты были удачны в том смысле, что достигли некоторых целей хотя бы минимально. Насколько успешными они явились в более широком плане (принимая во внимание экономическую эффективность), сказать трудно. Например, при разработке проекта МКС был допущен серьезный перерасход бюджета и задержки по срокам. Подробнее о проблемах, возникших в ходе проекта, см.: [NASA, 2013]. С разработкой Большого адронного коллайдера связано несколько серьезных неудач, но, скорее всего, они были вызваны первоначальной сложностью поставленной задачи. Проект «Геном человека» в конечном счете достиг успеха, но, похоже, благодаря дополнительному импульсу, который ему придала конкуренция с частным проектом Крейга Вентера. Пользовавшиеся международной поддержкой проекты по контролю над термоядерной энергией, несмотря на огромные инвестиции, не оправдали ожиданий, вероятно, все по той же причине — поставленная задача оказалась слишком сложной.

См.: [US Congress, 1995].

См.: [Hoffman 2009; Rhodes 2008].

См.: [Rhodes 1986].

Криптослужба ВМФ США OP-20-G, похоже, сознательно проигнорировала британцев, готовых поделиться с союзником методами расшифровки «Энигмы»; руководители OP-20-G не сообщили об этом предложении высшему руководству страны, см.: [Burke 2001]. В результате у США сложилось впечатление, что Британия утаила от них важную информацию, что привело к ненужной напряженности в ходе войны. Некоторые данные, полученные в результате дешифровки немецких сообщений, британская контрразведка передавала СССР. В частности, Сталин был предупрежден о подготовке операции «Барбаросса» (план вторжения Германии в СССР), но он отказался верить этому предупреждению, отчасти потому что британцы не сообщили ему об источнике сведений.

Бертран Рассел защищал возможность ядерной войны в течение нескольких лет — чтобы заставить Россию принять план Баруха; позднее Рассел стал последовательным сторонником взаимного ядерного разоружения [Russell, Griffin 2001]. Как известно, Джон фон Нейман был убежден в неизбежности войны между США и Россией и даже как-то сказал: «Если вы говорите: “Почему бы не разбомбить [русских] завтра”, — я спрошу: “А почему не сегодня?” Если вы скажете: «Сегодня в пять», — я спрошу: “а почему бы не в час?”» [Blair 1957, p. 96]. (Вероятно, он сделал свое нашумевшее заявление, чтобы заработать дополнительные очки у ястребов-антикоммунистов из Министерства обороны — ведь то были времена Маккарти. Невозможно с уверенностью заявлять, что фон Нейман действительно нанес бы первым удар, отвечай он за политику США.)

См.: [Baratta 2004].

Если ИИ контролируется группой людей, проблема может возникнуть с ними, хотя есть шанс, что к тому моменту появятся новые способы обеспечить выполнение общественных договоров, в таком случае даже человеческие сообщества смогут избежать угрозы внутреннего противостояния и образования враждебных коалиций.

Каковы критерии, по которым человек считается доминирующим видом на Земле? С экологической точки зрения он является самым распространенным крупным (~ 50 кг) млекопитающим, но общая сухая человеческая биомасса (~ 100 млрд кг) не очень впечатляет по сравнению с биомассой муравьев (300–3000 млрд кг). На долю человека и его микрофлоры приходится ничтожно малая часть (< 0,001) общей биомассы планеты. При этом территория, используемая под посадки и пастбища, представляет собой одну из крупнейших экосистем и покрывает примерно 35% свободной ото льда поверхности суши [Foley et al. 2007]. Человек присваивает почти четверть чистой первичной продукции — это согласно стандартным оценкам [Haberl et al. 2007], хотя в общем — в зависимости от понятийных подходов и терминологических принципов — их диапазон составляет от 3% до более чем 50% [Haberl et al. 2013]. У человека самый обширный среди всех животных ареал обитания; человек находится на вершине пищевой цепи.