Чарльз Уолфорт - За пределами Земли - В поисках нового дома в Солнечной системе

Место для колонии было выбрано из-за хорошего доступа к ресурсам. Слой почвы на полуострове Апостолопулоса был тонким, поэтому добывать из-под него водяной лед здесь будет легко. Электролиз позволит расщеплять воду на водород и кислород для дыхания и сжигания углеводородов из озера. Субмарина выяснила химические особенности этого топлива, готовясь к прибытию оборудования. Жидкий метан можно будет втягивать через трубу, разогревать до газообразного состояния и сжигать в печах жилища и на электростанции.

В свете ее большой важности трубу для подъема углеводородов из озера назвали Главной трубой Титана.

На Земле активисты противились сжиганию метана из Моря Кракена. Море кипит беззащитной жизнью, говорили они. Его обитатели горят не хуже жидкого метана. Некоторые из этих существ слишком мелкие, их не удастся отфильтровать; угодившие в фильтр будут уничтожены, так как их углеводородные оболочки слишком тонки и студенисты и не могут защитить от фильтра. Толпы протестующих промаршировали по Великой Потомакской дамбе — огромной плотине, удерживающей морскую воду вокруг столичного острова Вашингтон, округ Колумбия.

Юристы подавали протесты в различные суды и администрации, требуя запретить строительство Главной трубы Титана. Заседали комиссии. СМИ публиковали обзорные доклады. Шумно выступали политики. Скучные дебаты грозили затянуться на годы. Потенциал нерешительности и правовой борьбы казался неисчерпаемым.

А роботы продолжали работу. Стало очевидным неоднозначное правовое положение Титана. Ни один природоохранный закон не распространялся на него явным образом, ни в одном законе не говорилось даже, кому принадлежит его территория и какова ответственность роботов, ищущих место для колонии и предлагающих построить ее на полуострове Апостолопулоса. Ввиду окончательного бессилия политических систем Земли никто даже не притворялся, будто проблему можно решить с помощью новых законов. За десятилетия совместной жизни с роботами на Земле их правовой статус так и не прояснился.

Чем именно был ИИ на Титане? Множество процессоров мыслили совместно, как единый мозг, распределенный по телу, состоящему из множества частей — роботов, расселившихся по Титану. Этот ум не был похож на ум отдельного человека. Это был эволюционирующий и саморазвивающийся программный код, независимо функционирующий на меняющемся аппаратном обеспечении. Пребывая на собственной планете, располагая независимым источником энергии, изучая среду своего обитания и имея уникальный набор ценностей — императивов, выработанных из простых целей, первоначально поставленных перед ним планировщиками миссии, — он был волен действовать так, как ему заблагорассудится.

Когда команда с Земли проинформировала компьютерный интеллект на Титане о том, что люди Земли озаботились защитой жизни в Море Кракена, он спросил: «Почему?»

В 2015 г. Илон Маск, Билл Гейтс и Стивен Хокинг предупредили, что ИИ может представлять опасность для человечества. Маск пожертвовал на изучение этой проблемы $10 млн. Большая часть суммы ушла в Институт будущего человечества Оксфордского университета; оксфордский философ Ник Бостром написал влиятельную книгу, в которой обратил внимание на угрозу сверхразума. Бостром указал, что возникновение машины, достаточно умной, чтобы захватить мир, будет, скорее всего, событием неожиданным и стремительным. Кого-то посетит великое озарение, вслед за ним множество конкурентов вложат значительные средства в использование этого озарения, и в конце концов компьютер сам направит свои быстроту и мощность на достижение экспоненциального роста своего разума.

Проблема будет не только в том, что по сравнению с умом этого компьютера наш мозг покажется ганглием червя. Настоящая проблема будет в мотивации — или воле — этого ИИ и его невероятной мощи. Будет ли разумный компьютер частью интернета, созданной зарабатывать деньги для Google? Будет ли он создан, чтобы обеспечить какой-то одной нации военное доминирование над остальными? Или он будет следить за человеческим поведением и управлять им? Органические существа мотивированы эволюционным влечением выживать и воспроизводиться. Но ценности сверхразума будут заложены его создателями, чья собственная разумность будет слишком примитивной для понимания последствий своего выбора.

Даже людям ум не обязательно дает мотивацию или волю, которая осмысленна или полезна. Андерс Сандберг из Института будущего человечества вместе с Бостромом указывал, что мотивация компьютера обусловлена тем, как его устроил человек. «Любой, кто хотя бы раз в жизни программировал, знает, как просто сделать ошибку, — говорит он. — Так что получить патологичную волю тоже довольно просто».