Николас Карр - Стеклянная клетка. Автоматизация и мы

Что делает робот-водитель? Нажмет ли он на тормоза, спасая собаку, но рискуя тем, что машина пойдет юзом? Или уберет виртуальную ногу с педали тормоза, пожертвовав собакой ради безопасности пассажира и автомобиля? Как будет компьютер разбираться в потоке переменных и вероятностей, чтобы за долю секунды принять решение? Если посчитано, что торможение будет означать для пса вероятность уцелеть, равную 53 %, и существует вероятность 18 %, что будет повреждена машина, а с вероятностью 4 % человек, сидящий в машине, получит травму, то сочтет ли компьютер спасение собаки правильным действием? Каким образом программа, работая самостоятельно, переведет набор чисел в решение, чреватое неприятными практическими и моральными последствиями?

Что, если это собака хозяина машины? Вместо собаки на дорогу мог выбежать ребенок… Вообразите, что утром тот же человек едет на работу, просматривая поступившую за ночь электронную почту, автомобиль идет по мосту со скоростью 40 миль в час. По тротуару мост переходит группа школьников. Дети послушно идут за взрослыми, ничто не предвещает неприятностей, однако машина сбрасывает скорость, предпочтя ошибку безопасности. Внезапно среди детей возникает короткая потасовка, и одного мальчишку выталкивают на дорогу. Человек в машине, деловито набирая очередное сообщение на клавиатуре смартфона, не замечает происходящего. Робот должен принять решение: либо увернуться от наезда, выйдя из ряда и выскочив на встречную полосу, чем он может убить хозяина, либо наехать на ребенка. Какую команду подаст компьютер на рулевую колонку? Учтет ли робот, что в машине едет еще и ребенок на детском сиденье, снабженном особыми датчиками? Что, если по встречной полосе идут машины и одна из них – школьный автобус? Когда-то Айзек Азимов составил кодекс поведения робота: «Робот не может причинять вред человеку или своим бездействием допускать ситуации, которые могут повредить человеку» [1]. Это вполне разумное требование, но оно было написано в те времена, когда мир был устроен проще.

«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.

До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.