Я. Л.: Да, это одна из вещей, над которыми мы работаем. Еще мы обучаем машину наблюдать за разными источниками данных. Строим модель мира, надеясь на отражение в ней здравого смысла, чтобы потом использовать ее как прогностическую.
М. Ф.: Некоторые считают, что одного глубокого обучения недостаточно, и в сетях изначально должна быть структура, отвечающая за интеллект. А вы, похоже, убеждены, что интеллект может органически появиться из относительно универсальных нейронных сетей.
Я. Л.: Вы преувеличиваете. С необходимостью структуры согласны все, вопрос в том, как она должна выглядеть. А говоря о людях, которые считают, что должны быть структуры, обеспечивающие логическое мышление и способность к аргументации, вы, вероятно, имеете в виду Гари Маркуса и, возможно, Орена Этциони. С Гари мы спорили на эту тему сегодня утром. Его мнение не очень хорошо воспринимается в сообществе, потому что, не сделав ни малейшего вклада в глубокое обучение, он критически писал о нем. Орен работал в этой сфере некоторое время и при этом высказывается значительно мягче.
Фактически, сама идея сверточных сетей возникла как попытка добавить в нейронные сети структуру. Вопрос в том, какую: позволяющую машине манипулировать символами или, например, соответствующую иерархическим особенностям языка?
Многие мои коллеги, в том числе Джеффри Хинтон и Иошуа Бенджио, согласны с тем, что рано или поздно мы сможем обойтись без структур. Они могут принести пользу в краткосрочной перспективе, потому что пока не придуман способ самообучения. Этот момент можно обойти, привязав все к архитектуре. Но микроструктура коры, как визуальной, так и префронтальной, кажется полностью однородной.
М. Ф.: А мозг использует что-то похожее на метод обратного распространения ошибки?
Я. Л.: Это неизвестно. Может оказаться, что это не обратное распространение в том виде, как мы его знаем, а похожая на него форма аппроксимации оценки градиента. Над биологически правдоподобными формами оценки градиента работал Иошуа Бенджио. Существует вероятность того, что мозг оценивает градиент какой-либо целевой функции.
М. Ф.: Над какими еще важными вещами ведется работа в компании Facebook?
Я. Л.: Мы занимаемся множеством фундаментальных исследований, а также вопросами машинного обучения, поэтому в основном имеем дело с прикладной математикой и оптимизацией. Ведется работа над обучением с подкреплением и над так называемыми порождающими моделями, которые представляют собой форму самообучения или предвосхищающего обучения.
М. Ф.: Разрабатывает ли компания Facebook системы, умеющие поддерживать разговор?
Я. Л.: Фундаментальные темы исследований я перечислил выше, но есть еще и множество областей их применения. Facebook активно ведет разработки в области компьютерного зрения, и можно утверждать, что у нас лучшая в мире исследовательская группа. Мы много работаем и над обработкой текстов на естественном языке. Сюда относится перевод, обобщение, категоризация (выяснение, о какой теме идет речь) и диалоговые системы для виртуальных помощников, систем вопросов и ответов и т. п.
М. Ф.: Как вы думаете, появится ли однажды ИИ, который сможет пройти тест Тьюринга?
Я. Л.: В какой-то момент это случится, но я не считаю тест Тьюринга хорошим критерием: его легко обмануть, и он в некоторой степени устарел. Многие забывают или отказываются верить, что язык – это вторичное явление по отношению к интеллекту. Посмотрите на орангутанов. Они в изрядной степени обладают здравым смыслом, имеют хорошие модели мира и могут создавать инструменты, как люди. Но при этом у них нет языка. Они не социальные животные и едва взаимодействуют с другими представителями вида, если не брать невербальное общение матери и детеныша. Существует целый пласт интеллекта, не имеющий ничего общего с языком. И сводя проверку ИИ к прохождению теста Тьюринга, мы этот пласт игнорируем.
М. Ф.: Какие препятствия стоят на пути к созданию сильного ИИ?
Я. Л.: Я думаю, что мы пока не видим всего массива проблем, с которым нам предстоит столкнуться в процессе работы. Но первым делом нужно выяснить, каким способом дети и животные в первые дни, недели и месяцы жизни познают устройство мира.
Именно в это время ребенок узнает, что мир трехмерен. Замечает, что при движении головой объекты перемещаются перед ним. Получает представление о постоянстве предметов, когда видит, что спрятанный объект никуда не исчезает. Постепенно узнает о существовании гравитации, инерции и жесткости – это базовые свойства, которые постигаются в основном путем наблюдения. У младенца нет средств воздействия на мир, но он много наблюдает и получает при этом огромное количество информации. Это делают и детеныши животных, но больше следуют инстинктам. Пока мы не выясним, как провести такое обучение, к созданию сильного ИИ не приблизимся. Есть и технические подзадачи, в которые я не буду углубляться, например предсказание в условиях неопределенности, но они уже вторичны.
Читать дальше
Конец ознакомительного отрывка
Купить книгу