Филип Фернбах - Иллюзия знания. Почему мы никогда не думаем в одиночестве

Чему нас может научить этот случай, едва не завершившийся трагедией? Машины делали то, что им положено было делать. Все дублирующие системы функционировали как надо. Да, машины не представляли операторам подробную информацию о происходящем, но ведь нельзя требовать от машин слишком многого. Они не способны понять, что именно необходимо знать человеку и что тот собирается делать. Как было показано выше, именно это ограничивает возможности машин. Они не более чем инструменты, а не верныесотрудники, преследующие общую с вами цель.

Единственную настоящую ошибку на судне совершили ответственные люди, доверившиеся GPS-системе. Отчасти их можно понять – до этого случая машины всегда были эталоном точности. Офицеров ввела в заблуждение иллюзия знания. Они считали, что понимают информацию, поступающую от машин, но в действительности не оценили важность появившихся на экране не очень заметных символов (тех самых DR и SOL), потому что просто не знали, как работает их GPS-устройство. Они не знали, что означают эти символы, не знали, что они сообщают о расчете лишь приблизительного местонахождения судна и предупреждают о ситуации, грозящей катастрофой. Поскольку экипаж не знал о своем заблуждении, двойной контроль не осуществлялся. За многие годы успешных плаваний у людей выработалось глубокое чувство уверенности в себе, маскирующее сформировавшуюся у них иллюзию знания.

Одним из навыков, формирующихся параллельно с появлением самосознания, является способность размышлять над тем, что происходит. Люди всегда могут наблюдать и оценивать собственное поведение. Они способны абстрагироваться и давать себе отчет в том, что они делают и что происходит непосредственно вокруг них. Более того, люди могут отслеживать и некоторые собственные мыслительные процессы (сознательную составляющую психической деятельности). Если им не нравится то, что они видят, принимаются меры, чтобы изменить ситуацию. Понятно, что эти меры носят ограниченный характер. Скользя вниз по сплошному льду, вы мало что сможете сделать, чтобы остановиться, если у вас нет ледоруба. Если вы охвачены ужасом или страстью, вам очень трудно контролировать эти чувства, но, по крайней мере, у нас есть способность понимать, что происходит (в состоянии бодрствования и ясности сознания). В той степени, в которой мы способны контролировать свои действия (обычно мы ведь не позволяем себе поддаться неудержимому соблазну схватить лежащий перед нами большой кусок шоколадного торта), мы можем и изменять их. В противоположность этому машина всегда подчиняется заложенной в нее программе. Алгоритм может быть очень сложным, в него можно заложить даже умение адаптироваться к изменениям в окружающем пространстве. Однако если разработчики программы не учли какую-то ситуацию, то и машина не будет знать, что делать в случае возникновения таких обстоятельств, и может поступить, с нашей точки зрения, совершенно неправильно. Поэтому критически важной ролью человека является осуществление контроля заработой автоматизированных систем, то есть оператор просто должен находиться на месте при появлении признаков серьезной неполадки. В настоящее время большую проблему представляет невозможность обеспечить одному человеку доступ ко всей информации, необходимой для понимания и управления сложной современной системой. Они же между тем усложняются с нарастающей скоростью. Именно это должно вызывать тревогу.

Компьютеры не способны на коллективный замысел, и пока нет никаких признаков прогресса в этом направлении, поэтому мы не очень опасаемся зловредного суперинтеллекта, который будет преследовать собственные цели в ущерб человечеству. Более того, на горизонте вообще не видно никакого суперинтеллекта. Машины, не обладающие базовой человеческой способностью к совместной концентрации внимания и стремлению к общим целям, никогда не смогут читать наши намерения и стать умнее человека, ибо они даже не могут понять нас.

Однако в одном отношении технология приближается к суперинтеллекту. Сеть предлагает нам новые умные инструменты, такие как GPS-устройства и операционные системы, уже способные разговаривать с нами. Но одна из наиболее эффективных форм использования Сети, наоборот, превращает в инструмент самого человека. Краудсорсинг позволяет создавать более крупные и динамичные сообщества носителей знаний, чем когда-либо раньше, за счет агрегирования знаний и навыков большего числа людей. Он стал важнейшим источником информации для сайтов и приложений, которые интегрируют знания людей из разных мест, обладающих разной информацией и разным опытом. Сайты Yelp и Amazon используют краудсорсинг для составления обзоров своих услуг и товаров. Навигационное приложение Waze использует его для составления карт дорожного движения на основании информации, получаемой от водителей на дорогах. Есть сайты вроде Reddit, на которых пользователь задает вопросы и любой может ответить на них.