Норберт Винер - Творец и робот

Лейтмотив всех этих историй – опасность, связанная с природой магического. По-видимому, корни этой опасности кроются в том, что магическое исполнение заданного осуществляется в высшей степени буквально и что если магия вообще способна даровать что-либо, то она дарует именно то, что вы попросили, а не то, что вы подразумевали, но не сумели точно сформулировать. Если вы просите двести фунтов стерлингов и не оговариваете при этом, что не желаете их получить ценою жизни вашего сына, вы получите свои двести фунтов независимо от того, останется ли ваш сын в живых или умрет!

Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.

Когда вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы получите его – если получите что-либо вообще, – но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые, согласно установленным правилам, приводят ее к выигрышу. Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы.

Это нечто большее, чем невинный парадокс. Мне определенно нечем опровергнуть предположение о том, что США и Россия вынашивают идеи использования машин, и в частности обучающихся машин, для того чтобы определить момент нажатия кнопки атомной войны – этого современного ultima ratio [13].

Испокон веков армии вели войны, которые всегда отставали от технических возможностей своего времени. Говорят, что в каждой войне хорошие генералы воюют так, как воевали в последней войне, а плохие генералы как в предпоследней. Действительно, методы ведения боевых действий в «военной игре» никогда не поспевают за изменениями реальной обстановки. Это было верно всегда, хотя в периоды, изобиловавшие войнами, порой находилось достаточно воинов, считавших, что война, в которой они участвовали, протекала в сравнительно медленно изменявшихся условиях. Именно эти испытанные воины и являются военными экспертами в истинном смысле слова. В настоящее же время экспертов ведения атомной войны не существует. Это значит, что нет таких людей, которые обладали бы каким-либо опытом в военном конфликте, где обе стороны располагают атомным оружием и применяют его. Разрушение городов в атомной войне, деморализация людей, голод, болезни и косвенные губительные последствия войны (которые могут вызвать значительно большее число жертв, чем взрывы и прямое выпадение радиоактивных осадков) – все это известно лишь предположительно.

Вероятно, поэтому и рядятся в патриотические одежды те, кто преуменьшает потери человечества и преувеличивает вероятность выживания народов в условиях мировой катастрофы нового типа. Но если атомная война приводит к полному самоуничтожению, а обычные военные действия теряют всякий смысл, то, очевидно, содержание сухопутных войск и военно-морского флота окажется в значительной мере бесцельным, а бедные, преданные службе генералы и адмиралы останутся без работы. Фирмы по производству ракет не будут больше иметь того идеального рынка сбыта, где все изделия предназначаются для однократного использования и поэтому не вступают в конкуренцию с продукцией, которую еще предстоит изготовить. Духовенство будет лишено возможности проявить свою восторженность и экзальтацию, всегда сопутствующие крестовым походам. Говоря короче, если начнется «военная игра» с подобной программой, то найдется много лиц, которые, упуская из поля зрения возможные последствия, потребуют свои двести фунтов стерлингов, забыв упомянуть, что сын должен остаться в живых.

Поскольку наше действительное желание всегда может быть выражено неточно, последствия этого могут стать чрезвычайно серьезными тогда, когда процесс исполнения наших желаний осуществляется не прямым путем, а степень их реализации не ясна до самого конца. Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их, с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием. При таком процессе обратная связь проходит через нас и мы можем – пока еще не слишком поздно – повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.