Джошуа Купер Рамо - Седьмое чувство. Под знаком предсказуемости - как прогнозировать и управлять изменениями в цифровую эпоху

Эта проблемы вызвала интерес у оксфордского философа Ника Бострома, который провел следующий мыслительный эксперимент. Представьте себе сверхинтеллектуальную машину, запрограммированную делать все необходимое, чтобы с высокой скоростью производить скрепки. Это мог бы быть компьютер, который подключен ко всем ресурсам, необходимым для решения этой задачи. Иди и вычисли это! Вот и все, что его люди-инструкторы могли бы сказать. По мере того как искусственный интеллект, осуществляющий производство скрепок становится все лучше и лучше в выполнении своей задачи, он требует все больше и больше ресурсов: больше электроэнергии, стали, средств производства и доставки. Скрепки складываются. Машина осматривается. «Если бы только я могла контролировать энергообеспечение», – размышляет она. Она наблюдает за доставкой. Берет под контроль горнодобывающую промышленность. Людей. И так, амбициозна в своем производстве большего количества и лучшего качества скрепок, что она начинает думать о своих владельцах, которые не в состоянии остановить ее до тех пор, пока она не переработает весь мир в скрепки. Вы должны были надеяться, что кто-то вспомнил и поместил команду Холта в ее логику.

Безусловно, проволочная «машина» Ника Бострома является вымышленной опасностью, и никто не забудет дать команду этой машине прекратить делать скрепки, но то, как он смотрит на эту проблему, представляется не таким уж маловероятным. Если люди могут потерять рассудок, его может в некотором смысле утратить и искусственный интеллект. «Мы не можем беспечно предполагать, что сверхинтеллект обязательно поделиться конечной стоимостью продукта, стереотипно полагаясь на мудрость и интеллектуальное развитие человечества, – пишет Бостром. – Не менее вероятно и технически проще, что мы построим суперинтеллект, который превратит конечную стоимость в ничто, что поддается расчету». Поскольку эти устройства мыслят таким образом, что мы не понимаем, мы, конечно, не можем следовать за ними в реальном времени и сталкиваемся со следующей проблемой: мы не знаем, как сказать машине – не делай этого. Как много того, чему мы могли бы надеяться научить ее: быть милосердной, бороться за свободу, следовать моральному кодексу, – все это выходит далеко за рамки того, что может быть достигнуто посредством математических вычислений. Мы, в конце концов, не решили проблему даже затем, чтобы запрограммировать самих себя для достижения этих ценностей.

Если машина Бострома, производящая бумажные скрепки, вам кажется фантастической, достаточно легко представить другие, более реальные опасности, остающиеся за гранью человеческого контроля. Вспомните о медико-санитарной помощи. Первоначально вы должны узнать о том, что представляет собой головоломка, известная в теории игр как «ультимативная проблема». Все происходит следующим образом. Я говорю вам, что вы можете выиграть приз в миллион долларов, но вы должны разделить его с кем-то другим. Как вы разделите его, остается на вашем усмотрении, но существует требование: если ваш партнер отказывается от доли, которую вы ему предлагаете, никто из вас не получит и цента. Если разделить банк, отдав лишь доллар вашему приятелю, а остальное оставить себе? Это оскорбит его. Ваш друг откажется наверняка. Но что вы должны решить? Можно было бы ожидать, что разумно было бы разделить все поровну, но все люди жадные. Таким образом, ваш партнер не захочет остаться ни с чем, а вы продолжаете желать большего, полагая, что можете получить это. Когда ученые рассматривают этот коктейль жадности и страха, они полагают, что предложение в $ 300 000 почти всегда принимается. Тем не менее есть удивительный способ изменить результат – противопоставить человека компьютеру в этих переговорах. Приятель, предлагающий другу поделиться в долях восемьдесят к двадцати, скорее всего получит отказ. Слишком жаден. А если компьютер сделает подобное предложение? Обезличенное отсутствие очарования у машины, подающей только звуковые сигналы, притягивает биологических игроков к нахождению компромисса. И предложение в $ 200 000, как правило, к общему удовлетворению принимается.

Возможно, это связано с тем, как полагают ученые, что наш соревновательный инстинкт приглушен, когда мы взаимодействуем с машиной. Исследователи обнаружили, что существует возможность достижения компромисса иным способом. Печальные фильмы, военные призывы, хард-рок – каждое из перечисленного может повлиять на эмоции игроков и изменить результат. Повышенный уровень тестостерона препятствует достижению компромисса. Игроки же, окруженные семейными фотографиями или ведущие игру перед зеркалом, проявляют теплое великодушие.