Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Есть и другой тип косвенных данных, бросающихся в глаза: то, каким мы сделали мир [248] Очень интересная статья о неприродной не-ошибке, показывающая, как можно вывести предпочтения из состояния мира, каким его обустроили люди: Rohin Shah et al., «The implicit preference information in an initial state», in Proceedings of the 7th International Conference on Learning Representations (2019), iclr.cc/Conferences/2019/Schedule . . Мы сделали его именно таким, потому что — очень сильно обобщая — он нравится нам таким. (Разумеется, он не совершенен!) Представьте теперь, что вы инопланетянин, оказавшийся на Земле, когда все люди уехали на выходные. Заглядывая в их дома, начнете ли вы понимать основы человеческих предпочтений? На полах лежат ковры, потому что нам нравится ходить по мягким теплым поверхностям и не нравятся громкие шаги; вазы стоят посреди столов, а не на краю, потому что мы не хотим, чтобы они упали и разбились, и т. д. — все, что не организовано самой природой, дает представление о том, что нравится и что не нравится странным двуногим созданиям, населяющим эту планету.

Вы можете заметить, что обещания Партнерства по развитию ИИ относительно кооперации в области обеспечения безопасности ИИ не слишком вдохновляют, если следите за прогрессом в области автономных автомобилей. Это остроконкурентная область по веским причинам. Первый производитель, который выпустит на рынок полностью автономное транспортное средство, получит гигантское рыночное преимущество; это преимущество будет развиваться, поскольку производитель сможет быстрее собирать больше данных для улучшения работы системы; компании, занимающиеся извозом, такие как Uber, будут быстро вытеснены из бизнеса, если другая компания выставит полностью автономные такси прежде самого Uber. Это повлечет за собой гонку с высокими ставками, в которой осмотрительность и тщательное конструирование, похоже, менее важны, чем шикарные выставки, переманивание специалистов и публичные показы несовершенных продуктов.

Таким образом, экономическая конкуренция не на жизнь, а на смерть создает импульс экономить на безопасности в надежде выиграть гонку. В ретроспективной статье 2008 г. о конференции 1975 г. в Асиломаре, приведшей к принятию моратория на генетическое изменение людей, один из ее организаторов, биолог Пол Берг, писал [249] Ретроспективный взгляд на конференцию в Асиломаре: Paul Berg, «Asilomar 1975: DNA modification secured», Nature 455 (2008): 290–91. :

Это урок Асиломара для всей науки: лучшая реакция на обеспокоенность, вызванную обретаемым знанием или технологиями на раннем этапе развития, состоит в том, чтобы ученые из учреждений с государственным финансированием нашли консенсус с широкой общественностью по поводу лучшего способа контроля — чем раньше, тем лучше. Когда ученые из корпораций начнут доминировать в исследовательском начинании, будет попросту поздно.

Экономическая конкуренция возникает не только между корпорациями, но и между странами. Недавний вал сообщений о многомиллиардных государственных инвестициях в ИИ, поступающих из США, Китая, Франции, Британии и ЕС, безусловно, свидетельствует, что ни один из крупнейших игроков не хочет отстать. В 2017 г. президент России Владимир Путин сказал: «Тот, кто станет лидером [в сфере ИИ], будет править миром» [250] Новостная статья, сообщающая о речи В. Путина об ИИ: «Putin: Leader in artificial intelligence will rule world», Associated Press , September 4, 2017. . Это совершенно верный вывод. Продвинутый ИИ, как мы убедились в главе 3, приведет к огромному росту производительности и частоты инноваций практически во всех областях. Если его владелец не станет делиться инновациями, то получит возможность обойти любое соперничающее с ним государство или экономический блок.

Ник Бостром в «Сверхразумности» предостерегает против этой мотивации. Конкуренция государств, как и конкуренция корпораций, будет более сосредоточиваться на развитии возможностей как таковых и в меньшей мере — на проблеме контроля. Возможно, однако, что Путин читал Бострома; далее он сказал: «Было бы крайне нежелательно, чтобы кто-либо захватил монопольное положение». Это было бы еще и довольно бессмысленно, поскольку ИИ человеческого уровня не является игрой с нулевым итогом, и, поделившись им, нельзя ничего потерять. Напротив, конкурентная борьба за то, чтобы первым создать ИИ человеческого уровня, не решив сначала проблему контроля, — это игра с отрицательным итогом. Отдача для каждого — минус бесконечность.