Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Проблема возникает, когда мы переходим от восприятия к принятию решений. Например, обученная сеть распознавания объектов может автоматически присваивать подписи изображениям на сайте или в учетной записи в социальной сети. Присваивание подписей — это действие, имеющее последствия. Каждое такое действие требует принятия реального решения в плане классификации, и, если нет гарантий, что каждое решение совершенно, человек-разработчик должен задать функцию потерь , определяющую издержки неверного классифицирования объекта типа А как объект типа Б. Именно так у Google возникла приснопамятная проблема с гориллами. В 2015 г. разработчик ПО Джеки Алсине пожаловался в «Твиттер», что сервис аннотирования фотографий Google Photos обозначил его и его друга как горилл [81] Глубоко прискорбный инцидент с аннотированием изображений: Daniel Howley, «Google Photos mislabels 2 black Americans as gorillas», Yahoo Tech , June 29, 2015. . Хотя непонятно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google был разработан под минимизацию фиксированной, строго определенной функции потерь — более того, он приписывал всем ошибкам одну и ту же стоимость. Иными словами, он предполагал, что стоимость ошибочного принятия человека за гориллу равна стоимости ошибочного принятия норфолкского терьера за норвичского. Очевидно, это неадекватная функция потери для Google (или владельцев компании), что продемонстрировала возникшая проблема в сфере отношений с общественностью.

Поскольку возможных подписей к изображениям тысячи, количество потенциальных издержек, связанных с ошибочным принятием одной категории за другую, исчисляется миллионами. Несмотря на все усилия, Google обнаружила, что очень трудно заранее задать все эти параметры. Вместо этого следовало признать неопределенность в отношении истинной стоимости ошибочной классификации и создать обучающийся и классифицирующий алгоритм с достаточной чувствительностью к издержкам и связанной с ними неопределенности. Такой алгоритм мог бы иногда спрашивать у разработчиков Google что-нибудь вроде: «Что хуже: ошибочно принять собаку за кошку или человека за животное?» Кроме того, при наличии существенной неопределенности в отношении стоимости ошибочной классификации алгоритм мог бы отказываться подписывать некоторые изображения.

К началу 2018 г. сообщалось, что Google Photos действительно отказывается классифицировать фотографию гориллы. Получив очень четкое изображение гориллы с двумя детенышами, сервис отвечает: «Гм-м… пока не вижу это достаточно ясно» [82] Последующая статья о Google и гориллах: Tom Simonite, «When it comes to gorillas, Google Photos remains blind», Wired , January 11, 2018. .

Я не собираюсь утверждать, что адаптация стандартной модели ИИ была неудачным выбором на тот момент. Очень много сил вложено в разработку различных реализаций этой модели в логических, вероятностных и обучающихся системах. Многие системы стали весьма полезны, и, как мы увидим в следующей главе, нас ждут еще более значимые достижения. В то же время мы не можем больше полагаться на обычную практику высмеивания крупных промахов целевой функции. Все более интеллектуальные машины, оказывающие все более глобальное воздействие, не позволят нам этой роскоши.

3 мая 1997 г. начался матч между Deep Blue, шахматным компьютером IBM, и Гарри Каспаровым, чемпионом мира и, вероятно, лучшим шахматистом в истории. Newsweek назвала матч «Последним рубежом человеческого мозга». 11 мая при промежуточной ничьей 2½−2½ Deep Blue обыграл Каспарова в финальной партии. СМИ неистовствали. Рыночная капитализация IBM мгновенно выросла на $18 млрд. По общему мнению, ИИ совершил колоссальный прорыв.

С точки зрения исследователей ИИ, этот матч никоим образом не был прорывом. Победа Deep Blue, какой бы впечатляющей она ни была, всего лишь продолжила тенденцию, наблюдающуюся несколько десятилетий. Базовую концепцию шахматных алгоритмов разработал в 1950 г. Клод Шеннон [83] Базовый план игровых алгоритмов был разработан Клодом Шэнноном: Claude Shannon, «Programming a computer for playing chess», Philosophical Magazine , 7th ser., 41 (1950): 256–75. , основные усовершенствования были сделаны в начале 1960-х гг. После этого шахматный рейтинг лучших программ неуклонно рос главным образом благодаря появлению все более быстрых компьютеров, позволявших программам дальше заглядывать вперед. В 1994 г. [84] См. илл. 5.12 кн.: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach , 1st ed. (Prentice Hall, 1995). Обратите внимание, что рейтинг шахматистов и шахматных программ не точная наука. Наивысший коэффициент Эло Каспарова, полученный в 1999 г., составляет 2851, но современные шахматные программы, такие как Stockfish, имеют рейтинг 3300 и более. мы с Питером Норвигом составили численные рейтинги лучших шахматных программ начиная с 1965 г. по шкале, где рейтинг Каспарова составлял 2805. Рейтинги начинались от 1400 в 1965 г. и улучшались почти по идеальной прямой в течение 30 лет. Экстраполяция линии за 1994 г. предсказывала, что компьютеры смогут обыграть Каспарова в 1997 г., — что и случилось.