Николас Карр - Стеклянная клетка. Автоматизация и мы

Однако в действительности эта ситуация оказывается еще более щекотливой. «Военные и политические преимущества роботов имеют и собственные моральные ограничения. Их применение САР не просто изменит способ ведения сражений и стычек, – утверждает Хейнс. – Оно изменит отношение политиков и военных к вопросу о том, следует ли вообще начинать войну. Ненависть общества к потерям всегда удерживала политиков от объявления войн и подстегивала стремление к переговорам. Так как роботы уменьшат человеческую цену вооруженного конфликта, общество будет с большей легкостью отчуждено от военных дебатов и оставит решение вопроса о применении силы на усмотрение государства, что приведет к обыденности вооруженного конфликта. Киберсолдаты могут снизить для государства порог перехода к войне или другим конфликтам. Война перестанет быть последним средством решения политических споров» [9].

Внедрение нового класса вооружений всегда меняет природу ведения войны, а оружие, которое можно метать или взрывать издалека (катапульты, мины, мортиры, ракеты), оказывало и продолжает оказывать в этом отношении наибольший эффект, как предусмотренный, так и непреднамеренный. Последствия применения киберсолдат превзойдут все, что появлялось на полях сражений до сих пор. Первый же выстрел, самостоятельно сделанный роботом, прогремит на весь мир, навсегда изменив лицо войны, а может быть, и всего общества.

Социальные и этические вызовы, порожденные призраками роботов, запрограммированных на убийство, и самоуправляющихся машин, открывают очень важную и неприятную перспективу направления автоматизации в целом. Идею замещения традиционного способа действия автоматизированным трактовали как возможность замены любой работы путем деления ее на отдельные задачи, которые легче автоматизировать. Это представление надо, вероятно, расширить. По мере того как растет область приложений автоматизации, человечество начинает понимать, что общество не может быть разделено на не связанные между собой сферы деятельности – например, сферы труда, отдыха, государственной власти. Их нельзя автоматизировать по отдельности, чтобы не затронуть состояние других сфер, не изменить жизнь общества в целом. Все на свете взаимосвязано. Изменится оружие, и, как следствие, возникнет другой способ ведения войны. Эти связи становятся более тесными по мере распространения информации в компьютерных сетях. В какой-то момент автоматизация достигает критической массы и начинает формировать общественные нормы и этику. Люди постепенно видят себя и отношения с другими в совершенно ином свете. Личную деятельность они невольно начинают подгонять под технологию, играющую в наши дни все более значимую роль. Меняется и поведение людей. Они ждут от компьютера помощи и разочаровываются в тех редких случаях, когда ее не получают. «Программы стали настоятельной необходимостью, – как выражается Джозеф Вайценберг, специалист по вычислительной технике из Массачусетского технологического института. – Они становятся той материей, из которой люди строят свой мир» [10].

В девяностые годы, когда только начал надуваться пузырь доткомов, уже шли взволнованные разговоры о «вездесущей компьютеризации». Вскоре эксперты стали уверять нас, что наступает эра микрочипов. Они будут везде: в фабричных и заводских машинах, на полках складов, встроены в стены кабинетов, магазинов и жилых домов, зарыты в землю и полетят по воздуху. Будут вшиваться в одежду и даже плавать в нашей крови. Снабженные сенсорами и передатчиками, эти миниатюрные компьютеры станут измерять все мыслимые переменные величины – от усталости металла и температуры почвы до уровня сахара в крови и через интернет посылать данные в крупные центры их обработки. Там мощные компьютеры проанализируют переданную ими информацию и выдадут инструкции, как поддержать те или иные параметры на нужном уровне. Компьютеризация проникнет во все на свете. Автоматизация станет вездесущей. Мы окажемся в раю компьютерных фанатов, в мире программируемых машин.

Одним из главных вдохновителей этого помешательства стала Xerox PARC, легендарная исследовательская лаборатория в Кремниевой долине, где Стив Джобс почерпнул вдохновение для создания системы Macintosh. Инженеры и математики Xerox PARC опубликовали серию статей о будущем, в котором компьютеры тесно вплетутся в ткань повседневной жизни и станут ее частью [11]. Люди уже не будут замечать находящихся вокруг них компьютеры и чувствовать тревожность по поводу всеобщей компьютеризации, на них снизойдет полная «безмятежность» [12]. Звучит поистине идиллически. Но специалисты Xerox PARC не были законченными оптимистами. Им самим не очень нравился мир, который они нарисовали. Они беспокоились о том, что нашпигованный компьютерами мир станет идеальным местом для скрытно надзирающего за всеми Большого Брата. «Если компьютерные системы станут настолько же невидимы, насколько и вездесущи, – писал в 1999 году главный технолог лаборатории Марк Вайзер, – то станет трудно понять, кто за кем следит, кто кого контролирует, что с чем связано, откуда течет информация и как она используется» [13]. Нам придется полностью довериться людям и компаниям, обслуживающим систему.