— А вы сами не боитесь?
— Я лучше осведомлен. Пока действуют Три Закона Роботехники, этого не случится. Роботы могут стать нашими партнерами, внести свой вклад в великую борьбу за разгадку законов природы и мудрое управление ею. При таком сотрудничестве человечество могло бы достигнуть гораздо большего, чем в одиночку, причем роботы всегда стояли бы на страже интересов человека.
— Но если на протяжении двух веков Три Закона успешно удерживали роботов в границах повиновения, в чем же источник недоверия людей?
— Ну… — Харриман яростно поскреб затылок, взъерошив седые волосы. — В основном, конечно, предубеждение. Но к несчастью, есть тут некоторые сложности, за которые, конечно же, сразу ухватились противники роботов.
— Это касается Трех Законов?
— Да, в особенности Второго Закона. Видишь ли, с Третьим проблем нет, это закон абсолютный. Робот всегда должен жертвовать собой ради людей, ради любого человека.
— Естественно, — согласился Джордж-10.
— Первый Закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б — пяти престарелым людям, не имеющим особой ценности, то что предпочесть?
— Действие А, — без колебаний ответил Джордж-10. — Вред, причиненный одному, меньше, чем вред, причиненный пяти.
— Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки… И вот тут мы подходим ко Второму Закону.
— Закону повиновения.
— Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос — чьи приказы?
— Человека.
— Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? «Что есть человек, яко помниши его» [14] Послание к евреям св. апостола Павла, 2, 6.
, Джордж?
Джордж заколебался.
— Цитата из Библии, — поспешно проговорил Харриман. — Это не важно. Я имею в виду: должен ли робот повиноваться приказам ребенка, или идиота, или преступника, или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы — какой выполнять?
— Разве за двести лет эти проблемы не возникали и не были решены? — поинтересовался Джордж.
— Нет, — энергично помотал головой Харриман. — Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты. Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.
— Тогда необходимо внедрить в позитронный мозг способность к взвешенному суждению.
— Вот именно. Мы начали производство модели ДжР, которая сможет судить о человеке, принимая во внимание пол, возраст, социальную и профессиональную принадлежность, ум, зрелость, общественную значимость и так далее.
— И как это повлияет на Три Закона?
— На Третий Закон — вообще никак. Даже самый ценный робот обязан разрушить себя ради самого ничтожного человека. Здесь ничего не изменится. Первого Закона это коснется, только если альтернативные действия в любом случае причинят вред. Тогда решение будет приниматься не только в зависимости от количества людей, но и, так сказать, их качества, при условии, конечно, что на это хватит времени, а основания для суждения будут достаточно вескими. Впрочем, такие ситуации довольно редки. Самым сильным изменениям подвергнется Второй Закон, поскольку любое потенциальное подчинение приказу будет включать в себя суждение о нем. Реакция робота замедлится, за исключением тех случаев, когда в силу вступит Первый Закон, зато исполнение приказа будет более осмысленным.
Читать дальше