Array Полдень XXI век - Журнал Полдень XXI век 2005 №1

А деревья, даже если их ветви ломаются от снега, не сбрасывают листву.

Животные, в свою очередь, лишены абстрактного мышления, и те единичные случаи, когда обезьяна отделяла рис от песка водой или училась читать отдельные буквы, являются исключениями, лишь подтверждающими правило. Образы, которые генерирует мысль животного, изолированы друг от друга, не связаны в единую систему. Вот почему животные легко уходят от лесных пожаров, могут переплывать через реки, строить гнезда, но панически боятся того же огня и не могут им управлять.

Человек обладает возможностями рефлексии и совершенствования собственного сознания. Он может достигать выгоды более сложными действиями. Изощренность этих способов прямо пропорциональна количеству знаний человека и его логическим способностям. Качественно новой ступенью — диалектическим отрицанием изначальных качеств организованности действий — можно признать возможность самоубийства. Но по каким параметрам ограничено мышление «венца творения»? По очень многим, начиная с того, что оно вообще разбито на сознательное и бессознательное, и кончая простым ограничением памяти и вычислительных способностей.

Поэтому признаком существования ИИ можно считать действия по достижению благополучия некоего субъекта, которые нам — людям — ещё малопонятны.

Какие же черты будут свойственны сознанию ИИ? Прежде всего, это его целостность и возможность полного самоосознания. Человек не может до конца понять свой собственный характер, опытнейшие психологи с трудом разбираются в отдельных аспектах своих подсознательных реакций. Оценить и понять свое поведение в толпе, узкой группе лиц, семейном кругу, да при том в режиме реального времени — практически невозможно. ИИ, имеющий доступ к тексту своей программы, сможет оценить и практически предсказать свое поведение в любой ситуации (если в программе нет противоречий или она не слишком стохастична). Самоосознание указывает лучшие пути к самосовершенствованию — поэтому ИИ должен проявить способности идеального ученика, тем более что у него не будет человеческих проблем с памятью. Разумеется, возможности самоанализа будут ограничены начальными постулатами программы, системой сдержек и противовесов, зашитой в нее. Они могут восприниматься ИИ как своего рода инстинкты, и в этом отношении он более ограничен, чем человек. Но в случае устранения подобных сдерживающих механизмов ИИ становится обладателем более совершенного, по сравнению с человеческим, сознания.

Разумеется, сознание искусственного интеллекта может быть умышленно отягощено недостатками, имитирующими недостатки человеческой психики, и даже теми, что человеку не присущи. Однако лучший работник тот, который наиболее адекватно воспринимает окружающую среду.

Тут мы подходим к другому вопросу: что может побудить машину предпринять нелояльные по отношению к человеку действия, что может послужить их причиной или мотивом?

Наиболее вероятная причина — изменения в уже существующем ИИ. Гораздо проще изменить фрагмент системы, чем создавать её с нуля. Попытки подобных изменений в современных условиях — объективны, заданы условиями общества. Но смысл этих изменений — величина субъективная. Среда, в которой будет работать ИИ, насыщена массой противоречивых идей. К субъективным причинам относятся характеры возможных сбоев, поломок, дефектов программирования. В результате всех этих неприятностей в основу сознания Deus ex machina могут лечь самые разные идеи — от аутизма до идеи всеобщего уничтожения. Вот тут-то и может начаться кошмар, которым фантасты пугают обывателей уже много лет.

Помимо изменений в уже существующих ИИ, возможен процесс эволюции Deus ex machina с недружественными человеку взглядами. Для выявления аспектов этого процесса опять-таки обратимся к биологическим сравнениям. Свойство живых организмов бороться за жизнь и сохранение вида (в данном случае это одно и то же) было приобретено ими в результате эволюции, когда все, не спасающие свою жизнь, погибают и остаются одни жизнелюбы. Каждый отдельный субъект, борясь за свою жизнь, в конечном итоге увеличивает поголовье себе подобных.

С компьютерами все по-другому: каждый отдельно взятый компьютер или программа создаются человеком, причем обладают строго заданными качествами, и как бы прекрасно они ни работали, «оставить потомство» они могут только при посредстве человека. Налицо искусственный отбор, который можно только отдаленно сравнить с выведением новых пород собак.