Ник Бостром - Искусственный интеллект. Этапы. Угрозы. Стратегии

Наиболее важной среди всех когнитивных способностей зародыша ИИ является его способность выполнять интеллектуальную работу по саморазвитию, то есть способность повышать уровень своего интеллекта. (Если зародыш ИИ специализируется на улучшении другой системы, которая, в свою очередь, улучшает его, их можно рассматривать как подсистемы более крупной системы и анализировать в совокупности.)

Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.

Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].

Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.

Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].

Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.

Цифровой разум может быть запущен на единственной машине, а не с помощью глобальной компьютерной сети, но мы имеем в виду не такую концентрацию. Нас больше интересует степень концентрации власти — особенно такой, которую обеспечивает технологическое превосходство, — на последних стадиях революции машинного интеллекта или сразу после ее завершения.

Например, в развивающихся странах потребительские товары, как правило, выводятся на рынок медленнее, см.: [Talukdar et al. 2002]; см. также: [Keller 2004; World Bank, 2008].

Для настоящего обсуждения этой проблемы следовало бы привлечь серьезную экономическую литературу, посвященную теории организаций. Бесспорно, классическим источником до сих пор служит фундаментальный труд Рональда Коуза «Природа фирмы» [Coase 1937]; см. также: [Canbäck et al. 2006; Milgrom, Roberts 1990; Hart 2008; Simester, Knez 2002].

Тем не менее зародыш ИИ легко выкрасть — передать по сети или унести на флешке.

Согласно некоторым исследователям, шелк мог использоваться уже в культуре Яншао (5000–3000 гг. до н. э.), см.: [Barber 1991]. В относительно недавней работе приведено приблизительное время одомашнивания тутового шелкопряда (на основании генетических исследований) — около 4100 лет назад [Sun et al. 2012].

См.: [Cook 1984, p. 144] — эта легенда слишком красива, чтобы быть исторически правдоподобной, как и история, рассказанная Прокопием Кесарийским в его «Войнах» (VIII, 1–7), что тутовые шелкопряды были доставлены в Византию странствующими монахами в их бамбуковых посохах, см.: [Hunt 2011].

См.: [Wood 2007; Temple 1986].

В доколумбийских культурах колесо было известно, но использовалось только для игр (возможно, из-за отсутствия подходящих тягловых животных).

См.: [Koubi 1999; Lerner 1997; Koubi, Lalman 2007; Zeira 2011; Judd et al. 2012].

Испытанная в 1953 году РДС-6 стала первой бомбой с использованием термоядерной реакции, но первую «настоящую» термоядерную бомбу РДС-37, у которой на долю реакции синтеза приходилась большая часть мощности взрыва, испытали только в 1955 году.