У нас больше шанса запретить космические вооружения, чем нанотехнологию, и это могло бы даже быть лучшим способом минимизировать наши краткосрочные риски. В выборе долгосрочной стратегии контроля гонки вооружений, однако мы должны рассматривать больше, чем следующий шаг. Анализ, который я обрисовал в этой главе подсказывает, что традиционные подходы к контролю вооружений, основанные на переговорах о проверяемых ограничениях, не могут справиться с нанотехнологией. Если это так, то нам нужно разработать альтернативные подходы. Активные щиты – что кажется существенным, в конченом счёте могут предложить новую стабилизирующую альтернативу гонке вооружений в космосе. Исследуя эту альтернативу, мы можем исследовать основные вопросы, общие для всех активных щитов. Если мы в этом случае их разработаем, мы получим опыт и построим институциональные механизмы, которые могут позже оказаться существенными для нашего выживания.
Активные щиты – новый выбор, основанный на новых технологиях. Чтобы заставить их работать, потребуется творческий, междисциплинарный синтез идей в проектировании, стратегии и международных отношениях. Они предложат новые возможности, которые могут позволить нам избежать старых тупиков. Они очевидно предложат ответ на старый вопрос защиты без угрозы – но не простой ответ.
Власть, зло, некомпетентность и лень
Я обрисовал, как нанотехнология и продвинутый ИИ дадут огромную власть ведущей силе – власть, которая может быть использована чтобы уничтожить жизнь, или чтобы расширить и освободить её. Поскольку мы не можем остановить эти технологии, представляется, что мы должны как-то справиться с возникновением концентрации власти, большей, чем любая другая в истории.
Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.
Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов – государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.
Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.
Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.
Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло – слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность – слишком ли мы глупы, чтобы делать правильные вещи? Лень – слишком ли мы ленивы, чтобы подготовиться?
Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.
Демократические правительства – большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.
Читать дальше