Педро Домингос - Верховный алгоритм

Война — не для людей

Солдатскую службу автоматизировать сложнее, чем науку, но прогресс не обойдет стороной и вооруженные силы. Одно из важнейших призваний роботов — делать то, что для человека слишком опасно, а ведение войн опасно по определению. Уже сегодня роботы обезвреживают взрывные устройства, а дроны позволяют подразделению «заглянуть за высотку». На подходе беспилотные автомобили снабжения и роботы-мулы. Вскоре нам придется определиться, разрешать ли роботам нажимать на спусковой крючок. Аргумент «за» — стремление обезопасить живых военнослужащих, а также непригодность дистанционного управления в быстро меняющейся обстановке и ситуациях типа «стреляй или погибнешь». Против такого решения говорит тот факт, что роботы не понимают этики, поэтому им нельзя доверить решения, связанные с жизнью и смертью. В то же время их можно научить этике, и здесь возникает более глубокий вопрос: готовы ли мы к этому.

Несложно заложить в робота общие принципы применения оружия, например военные соображения, пропорциональность и сохранение жизни мирного населения. Но между этими принципами и конкретной ситуацией — пропасть, которую должно преодолеть рассуждение солдата. Когда роботы будут пытаться применить на практике три закона робототехники, они быстро столкнутся с проблемами, что, собственно, иллюстрируют рассказы Айзека Азимова. Общие принципы обычно противоречивы, а иногда исключают друг друга, и это неизбежно, иначе мир станет черно-белым, без оттенков. Когда военная необходимость превыше жизни гражданских лиц? На это нет однозначного ответа, и не получится вложить в компьютер все непредвиденные обстоятельства. Выход дает машинное обучение. Во-первых, надо научить роботов распознавать соответствующие концепции, предоставив им, например, наборы ситуаций, где гражданских пощадили или не пощадили, применение оружия было и не было пропорциональным и так далее. Затем надо составить для роботов кодекс поведения в виде правил с этими концепциями. Наконец, их надо научить применять этот кодекс путем наблюдения за людьми: в этом случае солдат открыл огонь, а в этом воздержался. Обобщая эти примеры, робот сможет сформировать комплексную модель принятия этических решений в виде, скажем, большой логической сети Маркова. Когда его решения начнут совпадать с человеческими настолько, насколько решения разных людей совпадают между собой, обучение будет завершено и модель можно будет загрузить в тысячи электронных мозгов. В отличие от людей роботы не будут терять голову в горячке боя. Если робот станет функционировать неправильно, ответственность за это понесет производитель. Если начнет поступать неправильно — учителя.

Как вы, наверное, догадались, главная проблема такого подхода заключается в том, что учиться этике путем наблюдения за людьми, возможно, не лучшая идея. Робот может серьезно смутиться, увидев, что своими действиями люди часто нарушают собственные этические принципы. Поэтому можно, например, очистить обучающие данные, оставив только примеры поведения солдата, признанные этической комиссией правильными. Члены комиссии также станут проверять и корректировать модель после обучения, пока их не удовлетворит результат. Если в комиссию войдут разные люди, достичь консенсуса будет непросто, но так и должно быть. Обучение роботов этике, с учетом их логичности и отсутствия предыдущего опыта, заставит нас перепроверить собственные представления и исключить из них противоречия. Здесь, как и во многих других областях, большим плюсом машинного обучения может оказаться не то, что узнают машины, а то, что узнаем мы сами — их учителя.

Другой аргумент против армий роботов — то, что война станет слишком легким делом. При этом односторонний отказ от такого вооружения сам по себе может спровоцировать нападение. Логическая реакция, которую поддерживают ООН и Human Rights Watch, — соглашение о запрете роботизированного вооружения, аналогичное Женевскому протоколу 1925 года, запретившему химическое и биологическое оружие. Однако здесь есть важный нюанс. Химическое и биологическое оружие только увеличивает человеческие страдания, а роботизированное может заметно их облегчить. Если войну ведут машины, а люди ими командуют, не будет убитых и раненых, поэтому, наверное, надо запрещать не роботизированных солдат, а — когда мы будем к этому готовы — солдат-людей.

Армии роботов действительно могут повысить вероятность боевых действий, но они изменят и саму этику войны. Когда на прицеле робот, решить дилемму «стрелять — не стрелять» намного проще. Сейчас войну считают невообразимым ужасом, крайней мерой. Такая точка зрения будет скорректирована: война по-прежнему останется оргией разрушения, убыточной для всех воюющих сторон, и ее будут избегать по мере возможности, но не любой ценой. А если война сведется к соревнованию в мощи уничтожения, почему не соревноваться в масштабе созидания?