Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

Цивилизованное общество выработало законы и нормы гуманного ведения войны, юридически закрепленные в документах международного гуманитарного права. Существует оружие (в частности, химическое оружие и противопехотные мины), применение которого запрещено международным гуманитарным правом. И государства, подписавшие Конвенцию о запрещении химического оружия и о запрещении противопехотных мин, или уже уничтожили запасы такого оружия либо приступили к его уничтожению.

А как обстоят дела с полностью автономным оружием?

Смогут ли роботы-убийцы выполнять требования международного гуманитарного права, минимизировать потери гражданского населения в зоне военного конфликта? Критики полностью автономного оружия приводят множество убедительных доводов, что это невозможно, а его сторонники предлагают различные способы, как сделать роботов-убийц гуманнее.

«Роботы-убийцы» не смогут соблюдать международное гуманитарное право» – считают противники полностью автономного оружия.

Первоначальная оценка полностью автономного оружия показывает, что, похоже, роботы-убийцы будут неспособны соблюдать ключевые принципы международного гуманитарного права. Они будут неспособны следовать правилам гуманного ведения военных действий, различения (противника и мирных жителей), пропорциональности (применения оружия) и военной необходимости (применения оружия). Даже убежденные сторонники полностью автономного оружия признают, что проблема различения противника от гражданского лица является одной из нескольких «пугающих проблем».

3.1.1. Проблема различения

Правило различения (требует, чтобы солдат перед тем, как открыть огонь по цели, различил (определил) – это противник или мирный житель) является одним из самых больших препятствий для полностью автономного оружия. У полностью автономного оружия нет способности ощутить или интерпретировать различие между солдатами противника и гражданскими лицами, особенно в современной боевой окружающей обстановке.

Изменение характера вооруженного столкновения за прошлые несколько десятилетий (от войны между солдатами на поле боя – к асимметричным конфликтам), характеризуемого боями на городских улицах среди гражданского населения, сделало различение воюющих и невоюющих людей очень трудным. Государства, активно разрабатывающие автономное оружие (США, Израиль, европейские страны), воюют преимущественно с террористами, которые не носят униформы или знаков отличия. Вместо этого они стремятся быть как можно более похожими на гражданское население. Казалось бы, что робот может легко дать ответ ДА или НЕТ на вопрос с двойным ответом – действительно ли человек является противником? Но фактически полностью автономное оружие не сможет дать правильный ответ, если воюющие стороны не будут носить форму и/или знаков отличия (например, погоны). Различение гражданского лица и вооруженного террориста находится вне рамок машинного восприятия. В любом случае террористам было бы легко обмануть этих роботов, например, пряча оружие.

3.1.2. Проблема пропорциональности

Требование, чтобы применение оружия было пропорциональным (одно из самых сложных правил международного гуманитарного права) нуждается в человеческой оценке ситуации, что непосильно для полностью автономного оружия. Тест пропорциональности запрещает применение оружия, если ожидаемый вред гражданским лицам превышает ожидаемый эффект от его военного применения. Определение пропорциональности применения того или иного оружия зависит в большой степени от конкретной ситуации на поле боя. Юридически правильный ответ в одной ситуации может стать неверным даже при небольшом изменении фактов, лежащих в основе юридической оценки.

Очень маловероятно, что робот сможет анализировать огромное количество возможных сценариев, чтобы правильно интерпретировать ситуацию в режиме реального времени. Проблемы робота с анализом такого количества ситуаций из-за ограниченности вычислительной мощности компьютера и программного обеспечения вмешались бы в его способность правильно выполнить тест пропорциональности. Те, кто интерпретирует международное гуманитарное право в сложных и динамичных сценариях, призывают на помощь человеческое суждение, а не автоматическую способность принятия решения компьютером. Тест пропорциональности субъективен, учитывает довольно широкий спектр мнений и должен, прежде всего, быть вопросом здравого смысла и разума военных начальников.