Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно.

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.

Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».

Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г. [188] Еще одна лекция, в которой Тьюринг предсказал порабощение человечества: Alan Turing, «Intelligent machinery, a heretical theory» (lecture given to the 51 Society, Manchester, 1951). Текст выложен на сайте turingarchive.org . :

Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера.

В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Би-би-си:

Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждет нас? Даже если мы сумели бы удержать машины в подчиненном положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за нее тревожиться.

Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума» . Эта заповедь запрещает любые вычислительные устройства.

Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.

Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.