И все-таки даже столь безупречно функционирующее сверхразумное сообщество подчиняется законам математики. Теория игр, обсуждавшаяся в разделе 7, неумолима. Если эксплуатация выгодна, она появится. Что из этого следует для нашего сверхразума, фанатично нацеленного на выполнение единственной задачи? Гипотетический рой роботов, производящих скрепки, должен координироваться с помощью того же программного обеспечения, которое задает цель каждому из них. Пока программа неизменна, каждая особь будет прилежно выполнять свою функцию. Но что, если у одного из ботов возникнет мутация, позволяющая ему переписывать собственный код? К тому же мы убедились, что без способности дочерних ботов менять свое программное обеспечение не обойтись. А если, например, одна особь решит, что лучший способ выполнить свое предназначение — это пожрать других ботов? Эгоизм — угроза, которой нельзя избежать даже в сообществе сверхразумных искусственных инопланетян.
В сообществе альтруистов с самым отлаженным взаимодействием — например, клеток нашего организма — эгоистическая мутация может иметь катастрофические последствия. Когда каждый убежден в благих намерениях всех остальных, паразиту раздолье. Если одна из клеток нашего организма решает вести себя эгоистично, начинает бесконтрольно размножаться, не выполняя полезных для организма функций, мы заболеваем раком.
Когда сотрудничают все, доверие — наиболее эффективная стратегия. В маленькой деревеньке не запирают дверей, выходя на улицу, а в вашем (здоровом) организме иммунная система не воспринимает другие клетки тела как врагов. Наш рой ботов-скрепочников оставляет задние двери своего мышления незапертыми — в программе присутствует уязвимость, которой легко воспользоваться. А значит, эгоистическая мутация, даже если она не случайна, а тщательно спланирована, нарушит целостность совместной деятельности. Как всегда в теории игр, успех или неуспех подобного мутанта зависит от реакции других игроков. Возможно, мутант погибнет. Возможно, будет достигнуто равновесие, при котором боты-коллективисты поделят планеты с эгоистами. А возможно, затея коллективного производства скрепок будет обречена.
Здесь вы можете возразить, что, будучи сверхразумными (или, по крайней мере, будучи умнее меня), инопланетные боты-родители сумеют предусмотреть эту опасность и принять меры, чтобы ее избежать. Даже в нашем собственном организме имеются механизмы обнаружения и уничтожения раковых клеток, и человечество не вымирает просто оттого, что риск онкологических заболеваний всегда присутствует. Однако вот в чем подвох — мы исходили из того, что эта мутация представляет собой переписывание кода у бота, который сам по себе уже сверхразумен . В фантастических фильмах типа «Терминатора» и «Матрицы» люди совершают беспомощные, но отважные попытки сразиться с искусственным интеллектом, поработившим планету Земля, и эти попытки выглядят обреченными на провал (несмотря на обязательную победную концовку), поскольку противник гораздо могущественнее нас. Но в моем гипотетическом примере бот-предатель по способностям равен хозяину, и это существенно меняет расклад сил. Как сказал один из героев Джоан Роулинг, «наши противники тоже умеют колдовать» [116] Роулинг Дж. К. Гарри Поттер и Принц-Полукровка / Пер. с англ. С. Ильина и М. Лахути. — М.: РОСМЭН, 2005.
. Как и любая единообразная стратегия, производство скрепок, по всей видимости, должно неизбежно застопориться из-за альтернативных стратегий, которые могут, по крайней мере частично, успешно конкурировать с изначальной. Сверхразумный — не значит неуязвимый.
Может показаться, что стремление избежать смерти — неотъемлемая составляющая жизни каждого организма на нашей планете: от газели, удирающей от гепарда, до гепарда, который не хочет умереть с голоду; от роз, которые отращивают шипы, чтобы их не съели, до биохимиков, которые ищут лекарство от рака. Кажется очевидным, что животные хотели бы жить вечно, — чем больше у вас времени, тем больше вы сможете оставить потомства, которое, что ни говори, является валютой естественного отбора.
Развивая это соображение дальше, можно ожидать, что инопланетяне, более разумные и развитые, чем мы, будут жить дольше, а может быть даже… станут бессмертными? Мы заманчиво близки к решению всех медицинских проблем человеческого организма. Чудаковатый биолог-миллионер Обри ди Грей прославился заявлением, что первый человек, который проживет 1000 лет, уже родился, и вложил состояние в создание компании, которая должна добиться этой цели [117] Эта концепция, а также исследовательский фонд, учрежденный Обри ди Греем, носят название «Стратегии достижения пренебрежимого старения инженерными методами» (Strategies for Engineered Negligible Senescence, сокращенно SENS).
. Надо полагать, инопланетные цивилизации уже опередили нас в этом вопросе. Наверное, инопланетяне знают, как полностью победить смерть?
Читать дальше
Конец ознакомительного отрывка
Купить книгу