Чарльз Уолфорт - За пределами Земли - В поисках нового дома в Солнечной системе

Андерс говорит: «Предположим, к примеру, что мы можем создать робота, способного совершенствовать свой ум, и дали ему задачу делать скрепки. В качестве попутной цели к производству скрепок он делает себя умнее. Но это не входило в наши планы. Нам просто нужны были скрепки. Теперь у нас есть сверхразумный агент, у которого есть выверенный план того, как превратить в скрепки всю вселенную. В этот момент мы можем сказать: «Погоди, я не это имел в виду!» — но это нам не поможет, потому что мы превращаемся в груду скрепок».

Это дурацкий пример, но у нас уже есть компьютеры, с помощью своих вычислительных мощностей выдающие неожиданные идеи и решения, чаще верные, нежели ошибочные. Сколько раз автоматическая проверка правописания позволяла вам исправить ваши случайные ошибки? Машинное обучение делает потрясающие вещи, порой невероятные. Приложение-переводчик от Google выучило языки мира самостоятельно, не в результате кропотливого процесса кодирования смыслов всех глаголов программистами, а путем статистического анализа обширных баз данных существующих переводов. Когда вы нажимаете на кнопку «перевести» на веб-странице, оно выискивает знакомые закономерности и подставляет соответствующие слова из другого языка. Чаще всего результат осмыслен; иногда — странен.

Преимущества машины, способной думать о тех вещах, о которых не можем думать мы, очевидны, но именно в этой способности и кроется угроза. Риск появления роботов, желающих поработить мир, невелик. Куда более рискованно то, что они будут хотеть делать что-то неожиданное, потому что мы их такими создали. Эта опасность — более глубокий вариант проблемы, уже досаждающей людям, работающим с роботами на космических аппаратах и в лабораториях: люди получают травмы, потому что не могут предугадать действия роботов.

Помочь может создание роботов, мышление которых ближе к человеческому, чьи закономерности мышления для нас были хотя бы постижимы. Вообразите создание компьютера с системой машинного обучения; усадите его мысленно за работу по разбору человеческого поведения и морали, закономерностей нашей истории и литературы. Понравится ли нам получившийся в итоге робот? Об убийстве и предательстве он узнает по меньшей мере столько же, сколько о любви и любознательности.

Человеческая этика эмоциональна, она эволюционирует вместе с нашими культурами. Движения за защиту окружающей среды не существовало до промышленной революции, но защита природы стала таким же центральным мотивом жизни некоторых людей, как для других — набожность. С чего нам печься о защите инопланетных существ, от которых нам никакого проку? Сверхразум может истолковать эти идеи как бессмысленные или сделать из них совершенно неожиданные выводы.

Сейчас не существует компьютеров, достаточно умных, чтобы так мыслить. Искусственный интеллект, сравнимый с человеческим, все время обещают «через двадцать лет». Стюарт Армстронг и Кадж Сотала из Института будущего человечества и Института исследований машинного интеллекта изучили 95 предсказаний появления ИИ, сделанных с 1950-х гг. Они обнаружили, что не важно, является ли прогнозирующий экспертом или непосвященным, опирается на доказательства или просто угадывает — чаще всего они говорят, что ИИ, сравнимый с человеческим, появится через 20 лет.

Циничное объяснение этих неудавшихся прогнозов в том, что при двадцатилетнем пределе предсказание имеет отношение к карьере самих ученых, но их взгляды не успеют признать ошибочными до ухода на покой. Но в основе своей предсказать это событие довольно сложно, потому что мы не знаем, когда произойдут ключевые открытия. Авиация развилась взрывообразно, как только братья Райт придумали правильную форму крыла. Если Бостром прав, то уже родился тот гений, в чью голову придет подобная стартовая идея, и, быть может, роботы не глупее людей появятся через поколение. Если же нет, то ждать придется еще долго.

Где мы находимся сейчас? Крупнейшие успехи в машинном обучении иллюстрируют то, как трудно нам дается воспроизведение гибкого человеческого разума. Лондонская компания под названием DeepMind [64] «Глубокий ум». — Прим. пер. , приобретенная Google, заявила о заметном прорыве в области ИИ в 2015 г.: она продемонстрировала компьютер, способный учиться играть в видеоигры 1980-х гг. для Atari, такие как Breakout, Pong и Space Invaders; в некоторые из них он играл куда лучше любого человека. Программистам не пришлось «скармливать» компьютеру подробности каждой игры; компьютер выработал свою стратегию для 49 игр и после усовершенствования, вероятно, сможет научиться играть и в другие игры.