Мартин Форд - Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

Дж. Д.: Да, у DeepMind есть структурированный план и вера в себя, но, конечно, о сильном ИИ думают и остальные группы в Google. Наш путь кажется мне более органичным, ведь мы работаем над действительно гибкими ИИ-системами для решения новых задач.

М. Ф.: Как возник ваш интерес к ИИ? И как складывалась ваша карьера?

Дж. Д.: Мне было 9 лет, когда мой отец собрал первый компьютер. К старшим классам школы я уже научился писать программы, а потом получил степень бакалавра в области computer science и экономики в Университете Миннесоты. Темой моей дипломной работы стало параллельное обучение нейронных сетей. Это был 1990 г., когда этой темой интересовались все. Мне очень нравился предоставляемый этими сетями уровень абстракции. Я получал настоящее удовольствие от работы.

Думаю, это чувство испытывали тогда многие, но у нас не было нужных вычислительных мощностей. Мне казалось, что ускорь 64-битные процессорные машины раз в 60, и мы сможем сделать великие вещи. Практика показала, что требовалась в миллион раз большая скорость. Впрочем, теперь она у нас есть.

Затем в течение года я разрабатывал программное обеспечение для статистического моделирования и прогнозирования пандемии ВИЧ/СПИДа во Всемирной организации здравоохранения. После этого в Вашингтоне получил докторскую степень в области computer science. Там я в основном занимался методами оптимизации программ, написанных на объектно-ориентированных языках, в исследовательской лаборатории компании DEC в Пало-Альто.

В конце концов я присоединился к стартапу Google. Тогда в нем работало всего 25 человек. Начал я с разработки нашей первой рекламной системы. Затем был многолетний труд над поисковыми системами и такими функциями, как сканирование, обработка запросов, индексация, ранжирование и т. п., и позднее – инфраструктурное программное обеспечение в проектах MapReduce, Bigtable и Spanner.

В 2011 г. я стал работать над системами, ориентированными на машинное обучение, потому что меня заинтересовало, как можно использовать огромные объемы вычислений, которые применялись для тренировки очень больших и мощных нейронных сетей.

М. Ф.: Расскажите историю проекта Google Brain. Какую роль он играет в Google?

Дж. Д.: Однажды мы разговорились на кухне с Эндрю Ыном, который в то время был консультантом компании Google X, и я узнал, что его ученики в Стэнфорде уже давно интересуются возможностями нейронных сетей и даже начали решать с их помощью различные проблемы. Меня это заинтересовало, так как с нейронными сетями я работал 20 лет назад, когда писал дипломную работу. В результате у нас родился перспективный план: воспользоваться как можно большим количеством вычислений для обучения нейронных сетей.

Мы решили две проблемы. Во-первых, обучение без учителя на примерах изображений. Мы взяли 10 млн случайных кадров из различных видеороликов YouTube и попытались обучить очень большую сеть. Может быть, вы видели знаменитую визуализацию кошки?

М. Ф.: Да, она наделала много шума.

Дж. Д.: Мы поняли, что при обучении масштабируемых моделей на больших объемах данных происходит что-то интересное.

М. Ф.: Как я понимаю, самое интересное было то, что нейросеть сама извлекла концепцию кота из неструктурированных и немаркированных данных?

Дж. Д.: Да. Мы предоставили сети необработанные изображения и использовали алгоритм обучения без учителя, который позволил восстановить их из сжатой картинки, обнаруживая шаблоны, срабатывающие, когда в центре кадра оказывалась кошка. На YouTube очень много кошек. Во-вторых, вместе с командой по распознаванию речи мы попробовали применить глубокое обучение и нейронные сети для создания акустической модели перехода от необработанных звуковых сигналов к частям слова, например, «buh», «fuh» или «ss». Нейронные сети превзошли своих предшественников по точности распознавания речи.

Затем с другими командами Google мы занялись восприятием, параллельно применяя наши подходы к новым задачам. Наши системы представляли собой большие вычисления на нескольких компьютерах, которые не требовали привлечения программиста. Достаточно было указать: «Я хочу обучить вот эту большую модель, пожалуйста, используйте сто компьютеров». Это было первое поколение программного обеспечения для подобных задач.

Затем появилось второе поколение, то есть библиотека TensorFlow, которую мы решили сделать системой с открытым исходным кодом. Проектируя ее, мы преследовали три цели. Во-первых, гибкость, позволяющую быстро проверять различные идеи в области машинного обучения. Во-вторых, возможность масштабирования. В-третьих, мы хотели перейти от исследований к системе обслуживания производства. С 2015 г. ее применяют многие компании, научные учреждения и обычные люди.