Алексей Турчин - Российская Академия Наук

В материалах, прилагаемых к книге, следует, в первую очередь отметить новаторскую статью американца Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в научном сборнике «Риски глобальной катастрофы» , который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. Е. Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию саморазвивающегося Семени ИИ (Seed AI), много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.

Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в американском журнале Nature в разделе гипотезы, что говорит об определённом уровне признания.

Наконец, научный сотрудник Института системного анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.

Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:

1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.

2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.

3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, первый человек в космосе), или доводила их до масштабного предела («Царь-бомба»). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).

4. Безответственность и коррупция, влияющие на организацию производства («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.

5. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает в массовое сознание медленнее, чем сами технологии, и большая часть работ на тему глобальных рисков до сих пор не переведена на русский язык.

6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков компьютерных программ («русские хакеры»), и может быть крайне опасно, если тоже самое произойдёт в области биотехнологий.