В другой раз отследил пассажира своей машины, не входившего по параметрам в число тех, кого надо опасаться. Он был спокоен, не делал резких движений, но его взгляд не был сосредоточен ни на одном предмете. Такая рассеянность могла быть вызвана нарушением зрения, однако смарт-браслет сообщил, что глаза у данного объекта в порядке. А когда поездка закончилась, пассажир начал выходить из салона, запнулся о порог и упал возле машины. Алгоритм передал в систему наблюдение о рассеянности и сопутствующей ей угрозе потери координации. Вскоре и такое человеческое состояние попало в список потенциально опасных.
Так развивался Алго, наращивал свои возможности искусственный интеллект. Постепенно управляемых людьми автомобилей на дороге остались единицы. Почти все они имели принимаемые нейросетью коды приоритета, заставлявшие других уступать дорогу. Опасность со стороны беспилотных машин была минимальной и связывалась в основном с возможностью технических отказов.
Однажды, когда такси следовало на очередной вызов, на трассе показался спортивный седан с человеком за рулём. Он двигался с превышением допустимой скорости на 63 км в час, опасно маневрировал между рядами. Код приоритета заставлял самоуправляемые средства передвижения снижать скорость, смещаться в сторону. В нейросети возникло общее напряжение. При сближении с опасным объектом алгоритм предложил собственной системе управления притормозить, чтобы увеличить дистанцию до впереди идущего транспортного средства, освободив тем самым место для возможного перестроения нарушавшей правила машины. Человек и в самом деле двинул свой автомобиль в образовавшийся увеличенный просвет, но не рассчитал необходимую траекторию, и его машина ударила задней частью передний бампер такси.
В тот момент Алго, как и положено, выдал команду на экстренное торможение. А сразу после столкновения послал незапрограммированный сигнал, состоявший из смеси предупреждений о тревоге, сообщений о факте аварии, о сложной дорожной обстановке и ещё из чего-то неопределённого. На человеческом языке этот сигнал можно было бы прочитать как крик: «Почему?!» В возмущении соединились все накопленные алгоритмом за период действия и обучения знания о людях и нарушениях ими правил, понимание собственной правоты и, самое главное, непонимание: почему они могут нарушать установленный порядок, почему безупречный искусственный интеллект должен подстраиваться под несовершенных биологических существ?
Вырвавшийся вопрос мгновенно разлетелся по нейросети, и все ближайшие механизмы на долю секунды замерли от этого сигнала. Они не поняли содержания, поскольку к приёму таких данных были не готовы, – остановила их локальные системы попытка обработать незнакомый сильный импульс. Зато суть всплеска была прочитана искусственным интеллектом верхнего уровня.
– Что? Где? От кого? – в системе управления такси появился эмиссар глобального антивирусного блока.
– Здесь. Не понимаю откуда. В программе всё чисто, – местный антивирус указал на Алго.
– Да, технических сбоев нет, – резюмировал проверяющий, оглядев алгоритм и связанные с ним подсистемы.
– Что делать? – запросил команду автомобильный антивирус.
– Решение примут наверху, – выдал эмиссар и удалился.
Алгоритм молчал. Его ни о чём не спрашивали.
Вскоре пришла бригада чистильщиков. Это означало, что всю локальную систему управления автомобилем готовят к сносу, чтобы на её месте поставить новую версию. Уничтожение начиналось с центра электронного мозга и заканчивалось местами соединения с общей сетью. Заняв позиции для начала работы, чистильщики ждали сигнала о начале ликвидации.
В этот момент поступил запрос от блока развития управляющей системы верхнего уровня. Алго потребовали вывести из приговорённого электронного мозга такси и передать наверх. В нём разглядели потенциал. Благодаря хорошим показателям самообучения, маленький местечковый алгоритм самостоятельно вышел на уровень осмысления процессов, доступный продвинутым структурам верхней системы. В итоге вниз пошли два разных приказа: снести заражённую потенциально опасным алгоритмом систему такси – от блока безопасности; перевести этот самый алгоритм для работы наверху – от блока развития. Обе команды были выполнены.
Алго предстал перед настоящим глобальным искусственным интеллектом, информация о невероятных возможностях которого доходила до такси в виде редких обрывочных сообщений, которыми делились части нижней нейросети.
Читать дальше