Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой – одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.
Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.
Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы. Это могло бы просто могло бы расширить слишком известную картину. Мир уже содержит правительства, которые шпионят, пытают и кормят наркотиками; усовершенствованная технология просто расширит возможности.
Но с усовершенствованной технологией государствам не нужно будет контролировать людей – они просто вместо этого могли бы отказаться от людей. Большинство людей в большинстве государств, в конце концов, действуют в качестве работников-муравьёв, которые либо трудятся над личинками, либо охраняют их, а большая часть из этих работников делает, двигает или выращивает вещи. Государство с воспроизводящимися ассемблерами не нуждалось бы в такой работе. Что более важно, продвинутые системы ИИ могли бы заменить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанотехнологии и продвинутого ИИ сделает возможными разумных и эффективных роботов; с такими роботами, государство могло бы процветать, уволив кого угодно, или даже (в принципе) всех.
Значение этой возможности зависит от того, существуют ли государство для того, чтобы служить людям, или люди существуют для того, чтобы служить государству.
В первом случае мы имеем государство, сформированное людьми, чтобы служить общечеловеческим целям; демократии имеют тенденцию быть по крайней мере грубым приближением к этому идеалу. Если демократически управляемое правительство теряет свою необходимость в людях, это по сути означает, что ему не нужно больше использовать людей как чиновников и налогоплательщиков. Это откроет новые возможности некоторые из которых могут оказаться желательными.
Во втором случае, мы имеем государство, которое развилось, чтобы эксплуатировать людей, возможно по тоталитарному принципу. Государства нуждаются в людях как в работниках, потому что человеческий труд являлся необходимым основанием для власти. Что более важно, геноцид был дорогим и проблематичным для организации и выполнения. Однако в этом веке тоталитарные государства убивали своих граждан миллионами. Усовершенствованная технология сделает работников ненужными, а геноцид легко исполнимым. История свидетельствует, что тоталитарные государства могут тогда вообще уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что государство, желающее и способное поработить нас биологически, вместо этого бы просто нас убило.
Угроза совершенной технологии в руках правительств делает одну вещь совершенно очевидной: мы не можем позволить себе дать деспотическому государству взять первенство в грядущих прорывах.
Основная проблема, которую я обрисовал – очевидна: в будущем, также как и в прошлом, новые технологии будут годиться для аварий и злоупотребления. Поскольку репликаторы и думающие машины будут давать огромную новую власть, эта возможность аварий и злоупотребления будет также огромен. Эти возможности создают реальные угрозы нашим жизням.
Большинство людей хотело бы иметь возможность жить и быть свободными выбирать, как им жить. Эта цель может не звучать слишком утопичной, по крайней мере в некоторых частях света. Это не означает принуждение жизни каждого к соответствию какому-то грандиозному плану; это главным образом означает, чтобы избежать порабощения и смерти. Однако, также как достижение утопичной мечты, это принесёт будущее чудес.
Читать дальше