Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

В альтернативном варианте сценария зоопарка предполагается, что искусственный интеллект сохранит в процессе рекурсивных самоулучшений то, что было заложено в него, когда он разрабатывался как дружественный, и поэтому он должен обеспечить счастливую и безопасную жизнь миллиарду людей. Это оказывается возможным благодаря огромным человеческим фабрикам счастья, где их содержат накормленными, здоровыми, веселыми, развлекая их смесью виртуальной реальности и легких галлюциногенов. Остальная часть Земли и выход в космос для них закрыты.

Если ни один из перечисленных сценариев не вызывает у вас 100-процентного энтузиазма, то подумайте вот о чем: в технологическом отношении прямо сейчас разве уже не все хорошо? Разве мы не можем сохранить все как есть и перестать беспокоиться, что какой-то AI нас истребит или станет нами править? Давайте рассмотрим такой сценарий, в котором технологический прогресс в направлении сверхразумного искусственного интеллекта все время обрубается, но не сверхумным стражем, а руководимым людьми оруэлловским государством всеобщей слежки, в котором определенные виды разработок искусственного интеллекта запрещены.

У идеи, что технологический прогресс должен быть остановлен и что человечеству надо отказаться от дальнейшего движения по этому пути, долгая и противоречивая история, полная своих взлетов и падений. Движение луддитов знаменито своим бурным (и безуспешным) сопротивлением наступлению машин в эпоху индустриальной революции. Сегодня слово “луддиты” носит презрительный оттенок: так называют людей, выбравших неправильную историческую позицию, – они сопротивляются прогрессу и неотвратимым переменам. Однако идея отказа от некоторых технологий вовсе не мертва: она находит все новых и новых сторонников среди “зеленых” и антиглобалистов. Один из самых ярких выразителей таких взглядов – известный защитник природы Билл Мак-Киббен, оказавшийся в числе тех, кто первым заговорил об опасности глобального потепления. В отличие от анти-луддитов, утверждающих, что всякая технология должна развиваться и разворачиваться до тех пор, пока она приносит прибыль, сторонники более умеренных взглядов полагают такую позицию неоправданно экстремальной. Они считают, что технологию следует развивать только в том случае, если есть полная уверенность, что она принесет больше пользы, чем вреда. У этой точки зрения тоже немало сторонников, в том числе среди тех, кого называют “нео-луддитами”.

Я думаю, что единственным практически осуществимым способом достичь сколько-нибудь последовательного технологического отказа может стать только переход к глобальному тоталитарному государству. К такому же выводу приходит и Рэй Курцвейл в его The Singularity Is Near и К. Эрик Дрекслер в Engines of Creation . Причина сугубо экономическая: если от какой-то трансформативной технологии отказываются не все, а только некоторые, то противники отказа получают дополнительное богатство и власть, благодаря чему в конце концов побеждают. Классический пример – поражение, нанесенное Британией Китаю в Первой опиумной войне 1839 года: хотя китайцы изобрели порох, они разрабатывали огнестрельное оружие совсем не так агрессивно, как европейцы, и в результате остались без шансов.

Тоталитарные государства прошлого показали себя неустойчивыми и разрушились, но новые технологии слежки дают будущим автократическим лидерам беспрецедентный шанс. “Вы знаете, для нас это было просто как сон, превращающийся в реальность”, – говорил Вольфганг Шмидт по поводу новых шпионских систем NSA, разоблаченных Эдвардом Сноуденом, в недавнем интервью, где предавался воспоминаниям о тех временах, когда он был подполковником Штази, печально известной тайной полиции Восточной Германии {71} 71 Воспоминания бывшего подполковника восточногерманских спецслужб см.: http://www.mcclatchydc.com/news/nation-world/national/article24750439.html . Хотя Штази часто ассоциируют с построением государства, больше других за всю человеческую историю приблизившегося к оруэлловскому идеалу всеобщей слежки, Шмидт жаловался, что их технология позволяла устанавливать подслушивающие устройства только на сорока телефонных номерах одновременно, и поэтому, чтобы подключить к системе какой-то новый номер, надо было отключить один из уже прослушивающихся. В отличие от той, устаревшей, существующая сейчас технология позволит будущему глобальному тоталитарному государству одновременно записывать каждый телефонный звонок, сохранять каждое пересланное электронное сообщение, фиксировать каждый поисковый запрос, каждую просмотренную веб-страницу и каждую транзакцию по кредитной карте каждого из людей, живущих на Земле, дополняя эту информацию сведениями об их местонахождении, определяемом по данным с сотового телефона и с камер наружного наблюдения, многие из которых сейчас снабжены функцией распознавания лиц. К тому же современные технологии машинного обучения, которым еще далеко до AGI, уже позволяют анализировать и синтезировать всю эту массу данных для выявления склонности к мятежу и нейтрализовать подозрительных лиц задолго до того, как у них появится шанс создать хоть какие-то проблемы для государства.