Гленн Йеффет - Прими красную таблетку - Наука, философия и религия в «Матрице»

Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение». [184] В книга «Я, робот» (1950) Айзек Азимов описал ставшее самым известным представление об этических нормах поведения для роботов, которое нашло выражение в Трех законах для роботов: 1. Робот не может действием или бездействием повредить человеку. 2. Робот должен исполнять приказы, отданные людьми, за исключением тех приказов, которые противоречат Первому закону. 3. Робот должен защищать самого себя, пока эта защита не входит в противоречие с Первым или Вторым законом. Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.

Я решил, что пришла пора переговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни — весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества. [185] Hillis, p. 78.

Так что я полетел в Лос-Анджелес. У меня была конкретная цель — отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курцвейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.

Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», — сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я — нет.

Беседуя и размышляя о Курцвейле, Качинском и Моравеке, я неожиданно вспомнил роман, который прочел почти двадцать лет назад. Это был роман Фрэнка Герберта «Белая чума». Герой этого произведения, молекулярный биолог, сходит с ума, потому что его семья гибнет в результате бессмысленного убийства. Охваченный жаждой мести, он выводит и распространяет новых и очень заразных возбудителей чумы, убивающих в больших масштабах, но избирательно. (Нам повезло, что Качинский оказался математиком, а не молекулярным биологом.) Мне также вспомнился Борг из «Звездного пути», улей, населенный частично биологическими, частично роботизированными созданиями с сильным деструктивным началом. Описание ужасов вроде Борга — это главный элемент научной фантастики. Почему же меня не заботили подобные дисто-пические перспективы роботизации раньше? Почему эти кошмарные сценарии не привлекли внимания остальных людей?

В какой-то степени ответ на этот вопрос, конечно, лежит в нашем отношении ко всему новому — в нашем пристрастии к мгновенной близости и полному согласию. Несмотря на то что мы привыкли жить в условиях, когда крупные научные открытия стали почти обыденными, нам необходимо свыкнуться с тем фактом, что самые привлекательные технологии XXI века — робототехника, генная инженерия и нанотехнологии — представляют качественно иную угрозу, чем ранее освоенные человеком технологии. Конкретно говоря, роботы, искусственно запрограммированные организмы и наноботы отличаются опасным свойством: они могут самовоспроизводиться. Бомба взрывается лишь однажды, а вот один бот может расплодиться и быстро выйти из-под контроля.

В основном моя работа на протяжении последних двадцати пяти лет была связана с организацией сетей вычислительных машин, в которых отправление и получение сообщений создает возможность для неуправляемого дублирования. Но хотя дублирование в компьютере или в компьютерной сети и может доставить какие-то неприятности, в худшем случае оно выводит машину из строя либо разрушает сеть или сетевую службу. Неконтролируемое же самовоспроизводство, характерное для передовых технологий, угрожает куда большим риском — риском нанесения существенного вреда в физическом мире.