Макс Тегмарк - Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта

Информационные технологии уже оказали большое положительное влияние на виртуальные сферы нашей деятельности: от науки до финансов, производства, транспорта, здравоохранения, энергетики и коммуникаций, и все это бледнеет по сравнению с тем, как все перечисленное может измениться благодаря искусственному интеллекту. Но чем больше мы доверяем технологиям, тем более надежными они должны стать, выполняя именно то, что мы хотим.

На протяжении всей человеческой истории в развитии технологий мы полагались на один и тот же проверенный метод, метод проб и ошибок, предполагающий нашу способность на совершаемых ошибках учиться. Мы научились пользоваться огнем, а потом, неоднократно погорев, изобрели огнетушитель, пожарный выход, пожарную сигнализацию и пожарную службу. Мы изобрели автомобиль, а потом, не раз побывав в автокатастрофах, изобрели ремни безопасности, подушки безопасности и беспилотные автомобили. До сих пор наши технологии относительно редко приводили к несчастным случаям, так что причиняемый ими вред перевешивался приносимыми ими выгодами. Однако разрабатываемые нами технологии становятся все мощнее и мощнее, и мы неизбежно достигнем такого момента, когда даже одна авария может оказаться достаточно разрушительной, чтобы перевесить все мыслимые выгоды. Некоторые в качестве примера такого события называют случайно спровоцированный глобальный атомный конфликт. Другие ссылаются на пандемию, которая может возникнуть в результате неудачного опыта с биотехнологией, и в следующей главе мы обратимся к спорам о том, сможет ли искусственный интеллект привести в будущем к чему-то подобному. Но рассматривать такие крайности нам в общем-то и не надо, чтобы сделать основной вывод: по мере того как наши технологии становятся все более и более мощными, мы все меньше и меньше можем полагаться на метод проб и ошибок в достижении технологической безопасности. Иными словами, наша задача – стать про-активными , а не реактивными , все больше ресурсов вкладывая в исследования вопросов безопасности, чтобы предотвращать даже единичные случайности. Вот почему общество тратит больше средств на исследования по безопасности ядерных реакторов, чем на исследования по безопасности мышеловок.

По той же самой причине, как мы видели в главе 1, к исследованиям по безопасности искусственного интеллекта был проявлен большой общественный интерес на конференции в Пуэрто-Рико. В оставшейся части этой главы я хочу познакомить вас с четырьмя направлениями в исследованиях технической безопасности искусственного интеллекта, которые доминируют сейчас в дискуссиях вокруг этого вопроса и которые характеризуются четырьмя ключевыми словами: проверка (верификация), валидация, надежность и контроль [20] Если вы хотите более подробную карту исследовательского ландшафта AI-безопасности, вы можете найти ее в представлении одного из знаменосцев Института будущего жизни Ричарда Маллаха, пройдя по ссылке https://futureoflife.org/landscape/ . Чтобы сделать рассказ несколько более живым и наглядным, давайте разберем некоторые прошлые удачи и провалы в различных информационных технологиях и посмотрим, какие уроки мы можем из них извлечь и какие исследовательские задачи на будущее они перед нами ставят.

Большинство этих историй уже довольно старые, и речь в них пойдет о тех компьютерных системах, которые сейчас никто не будет связывать с искусственным интеллектом, при этом ни в одной из этих историй никаких особых инцидентов не случилось, а если и случилось, то последствия их отнюдь не были тяжелыми. Несмотря на все это, мы можем извлечь из них ценные уроки для проектирования безопасных и мощных AI-систем будущего, сбои в работе которых могут оказаться действительно катастрофическими.

Начнем с того, что близко моему сердцу: c исследований космоса. Компьютерные технологии позволили нам летать на Луну и отправлять беспилотные космические корабли, чтобы исследовать все планеты нашей Солнечной системы и даже совершить посадку на спутник Сатурна Титан и на комету. Как мы увидим в главе 6, будущий AI может помочь нам исследовать другие звездные системы и галактики, если будет работать без глюков. 4 июня 1996 года ученые, надеявшиеся исследовать магнитосферу Земли, радостно сообщили, что ракета-носитель Европейского космического агентства “Ариан‐5” взмыла в небо с научными приборами, которые они построили. Спустя тридцать семь секунд их радость угасла, потому что ракета взорвалась, превратившись в гигантский фейерверк стоимостью в миллионы долларов {14} 14 Взрыв ракеты “Ариан‐5”: https://www.youtube.com/watch?v=qnHn8W1Em6E . Причина, как выяснилось, заключалась в программном обеспечении, в котором случился “глюк”, когда оно стало пытаться оперировать с числом, не влезавшим в 16 отведенных под это бит памяти {15} 15 Доклад комиссии по расследованию аварийного пуска “Ариан‐5”: http://tinyurl.com/arianeflop . Спустя два года космический аппарат NASA Mars Climate Orbiter случайно вошел в атмосферу “красной планеты”, и это привело к его гибели, а все из-за того, что два его программных модуля пользовались разными единицами для силы, в результате возникла ошибка в 445 % при расчете необходимой тяги двигателя {16} 16 Доклад по результатам первой фазы расследования неудачного пуска миссии NASA по изучению марсианского климата: http://tinyurl.com/marsflop . Это стало вторым супердорогим “глюком” в истории NASA: в первый раз их миссия “Mariner‐1” на Венеру завершилась взрывом сразу после запуска с мыса Канаверал 22 июля 1962 года, после того как контролирующее полет программное обеспечение прекратило работу из-за неправильного знака пунктуации {17} 17 Наиболее подробный и связный отчет о том, что авария на старте миссии NASA “Маринер‐1” к Венере была вызвана одной-единственной ошибкой – математический символ, написанный рукой человека, был без верхнего подчеркивания: http://tinyurl.com/marinerflop . Как будто специально, чтобы доказать, что не только на Западе освоили искусство компьютерных “глюков” в космосе, советский проект “Фобос‐1” завершился неудачно 2 сентября 1988 года. Это был самый тяжелый из когда-либо запущенных межпланетный космический корабль; целью миссии было посадить станцию на поверхность Фобоса, спутника Марса, – и все это сорвалось, когда недостающий дефис в тексте программы был интерпретирован как команда “конец миссии”, которая и была отправлена на космический корабль, находившийся на пути к Марсу, отключив все его системы {18} 18 Подробное описание причин неудачи с советским зондом “Фобос‐1”, направлявшимся к Марсу, можно найти на с. 308 этой книги: Wesley Huntress & Mikhail Marov. Soviet Robots in the Solar System , Praxis Publishing, 2011. .