Джеймс Баррат - Последнее изобретение человечества

Enron обладал правами на жизненно важную линию электропередач, соединяющую Северную Калифорнию с Южной. В 2000 г., перегрузив линию потребителями во время летней жары, компания создала «фантомную», или ложную, сетевую перегрузку и «бутылочное горлышко» в доставке энергии к потребителю. Цены взлетели до небес, а электричество оказалось в серьезном дефиците. Калифорнийские чиновники подавали энергию в одни районы, одновременно погружая во мрак другие, — известная практика «веерных отключений». Эти отключения вроде бы не вызвали гибели людей, но испугали очень многих: целые семьи оказывались запертыми в лифте, а улицы освещались только фарами проезжающих авто. Apple, Cisco и другие корпорации вынуждены были временно закрыться с потерей миллионов долларов.

Но сам Enron заработал на этом миллионы. Было зафиксировано, как во время отключения электричества один трейдер сказал: «Просто отключи их. Вот идиоты! Им бы лучше вернуть чертовых лошадей и коляски, и чертовы лампы, чертовы керосиновые лампы».

Сегодня этот трейдер — энергетический брокер в Атланте. Но дело в том, что, если бы руководители Enron имели доступ к умному вредоносному ПО, которое могло бы помочь им оставить Калифорнию без электричества, как вы думаете, они постеснялись бы им воспользоваться? Я думаю, нет, даже если это означало бы ущерб для энергосистемы и гибель людей

Чем больше времени я провожу с разработчиками ИИ и результатами их трудов, тем все более убеждаюсь, что УЧИ появится совсем скоро. И я уверен, что, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект по всем тем причинам, которые я перечислил. Будет много шума о том, что мы создаем на планете новый вид. Это будет круто. Но не будет уже разговоров о том, что УЧИ — следующий эволюционный шаг для homo sapiens, и обо всем, что с этим связано. По существу, мы просто не сможем понять, что представляет собой наше создание.

В своей области новый вид будет столь же силен, как Watson в своей. Если даже он будет сосуществовать с нами в качестве нашего орудия, он обязательно запустит свои щупальца во все уголки нашей жизни так, как и не снилось Google и Facebook. Социальные сети могут оказаться для него инкубатором, или средством распространения, или тем и другим сразу. Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.

Это будет УЧИ версии 1.0. Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной — делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие.

Stuxnet тому — наглядный пример. Как и автономные дроны-убийцы. С финансированием DARPA ученые в Исследовательском институте Технологического университета Джорджии разработали программное обеспечение, позволяющее автоматическим транспортным средствам распознавать врагов при помощи программ зрительного распознавания и других средств, а затем наносить по ним смертельный удар при помощи вооруженного дрона. И все это вообще без участия человека. В статье, которую я читал об этом, была и фраза, призванная продемонстрировать благие намерения: «Авторизация машины на принятие смертельных боевых решений — дело политических и военных руководителей, решающих юридические и этические вопросы».