Мартин Форд - Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

М. Ф.: А как работают новые тесты?

Д. М.: Соучредитель компании Apple Стив Возняк предложил так называемый кофейный тест. Претенденту на звание сильного ИИ нужно войти в случайный дом, найти кофе-машину, приготовить кофе и разлить его по чашкам. Тест выглядит тривиально, но для его прохождения нужно принимать сложные универсальные решения множества проблем общего характера. Мне кажется, что это оптимальная форма теста Тьюринга.

Но я хотел бы вернуться к вопросу об ограничениях, так как осталась за кадром проблема, связанная с предвзятостью. ИИ-сообщество имеет полярные мнения по этому вопросу. Одна из точек зрения заключается в том, что машины будут обладать меньшей степенью предвзятости, чем люди. Когда судья принимает решение об освобождении под залог, применение алгоритма может нивелировать человеческие предрассудки и даже избежать влияния суточных ритмов. Вспомните работу Марианны Бертран и Сендхила Малленатана, в которой рассматривались ответы на идентичные рабочие резюме, присланные представителями различных расовых групп.

М. Ф.: Многие надеются, что ИИ не унаследует человеческую предвзятость.

Д. М.: Предвзятость может появиться в данных как на стадии их сбора, так и за счет избыточной или недостаточной выборки. Эта проблема наглядно проявляется в кредитовании и уголовных делах, и велика вероятность, что в любой набор данных уже встроены масштабные предубеждения, причем непреднамеренно. Об этом много писали в своих работах Джулия Ангвин и ее коллеги из организации ProPublica и стипендиат фонда Макартуров Сендхил Малленатан. В итоге был сделан интересный вывод, что алгоритмы не способны удовлетворять различным определениям справедливости одновременно. Возникла важная проблема: определить, что такое справедливость.

Машины могут как помочь в преодолении предвзятости, так и усугубить ситуацию. К счастью, в этой области мы потихоньку продвигаемся вперед. Меня радует работа Сильвии Кьяппы из компании DeepMind, построенная на условной справедливости и причинно-следственных моделях.

М. Ф.: Но разве данные могут быть свободными от человеческих предубеждений, если они собираются в процессе обычной интернет-деятельности пользователей?

Д. М.: Я приведу пример, демонстрирующий, как возникает эта проблема. Известно, что отдельные районы патрулируются полицией более интенсивно, чем остальные. Это позволяет собрать о них больше данных.

Различия в выборке данных между строго охраняемыми и практически не патрулируемыми районами влияют на прогноз криминальной обстановки. Сбор данных может быть вполне объективным, но прогноз окажется далеким от реальности из-за чрезмерной выборки в одном районе и недостаточной выборки в другом.

Или рассмотрим такую процедуру, как выдача кредита. Есть люди, которые активно используют кредитные карты и совершают электронные платежи, и, соответственно, доступно множество данных об их транзакциях. Избыточная выборка в данном случае идет человеку на пользу, так как о нем можно сделать более точный прогноз. При этом о человеке, который предпочитает платить наличными, данных мало, алгоритм дает менее точный прогноз, что может негативно повлиять на окончательное решение о выдаче кредита.

Присутствует эта проблема и в системах распознавания лиц, что продемонстрировали в своих работах Тимнит Гебру, Джой Буоламвини и др.

М. Ф.: А что вы думаете о других опасностях, связанных с ИИ? Об угрозе, исходящей от суперинтеллекта?

Д. М.: Есть много поводов для беспокойства. Несколько лет назад группа, в которую входили, в частности, Илон Маск и Стюарт Рассел, встретилась в Пуэрто-Рико, чтобы обсудить прогресс в области ИИ, а также связанные с этой сферой проблемы. По итогам Стюарт Рассел опубликовал статью, где перечислялись области, которые недостаточно исследуются. Сейчас этот список считается исчерпывающим и включает вопросы безопасности.

Например, вопрос, как остановить вышедшую из-под контроля машину или даже алгоритм? Может понадобиться так называемая большая красная кнопка. Но исследователи из DeepMind в серии простых двумерных видеоигр gridworlds продемонстрировали, что многие алгоритмы теоретически могут научиться отключать свои выключатели.

При этом мы можем не знать, что именно повлияло на неверное решение или ошибочный прогноз, выданный ИИ. Существует интерпретатор сложных нелинейных моделей LIME, который пытается определить, на какие наборы данных опирается обученная модель при составлении прогноза. Другой многообещающий метод – применение обобщенных аддитивных моделей (generalized additive models, GAM). В них складываются модели отдельных признаков, по которым можно отследить, как влияет на прогноз добавление каждого признака.