Джон Маркофф - Homo Roboticus? Люди и машины в поисках взаимопонимания

Примерно тогда же Хинтон оказался на конференции, в которой участвовал известный исследователь машинного зрения из Массачусетского технологического института Дэвид Марр, и поинтересовался у него, в своем ли уме этот парень. Марр ответил, что знает его, что у него светлая голова и что не имеет представления, сошел ли тот с ума. Было ясно одно, что Сейновски делает нечто новое в области когнитивных исследований.

На семинаре Хинтон и Сейновски встретились впервые. В Калифорнийском университете уже предложили новый подход к созданию модели работы мозга. Так называемая параллельная распределенная обработка была альтернативой символьному подходу, который тогда доминировал в области искусственного интеллекта и когнитивных наук. Двое исследователей быстро поняли, что смотрят на проблему одинаково. Они видели силу нового подхода на основе сетей датчиков, или «нейронов», взаимосвязанных представляющей силу связей матрицей параметров. Чтобы сеть распознавала образ при таком подходе, нужно было представить его в виде графа весовых коэффициентов. Этот подход оказался несравненно эффективней, чем первоначальная символьная модель искусственного интеллекта.

Все изменилось в 1982 г., когда бывший научный руководитель Сейновски по физике Джон Хопфилд создал то, что получило название нейронной сети Хопфилда. Подход Хопфилда отличался от прежних моделей нейронных сетей, созданных разработчиками первых персептронов, тем, что позволял отдельным нейронам независимо менять свои параметры. Свежий взгляд на идею нейронных сетей вдохновил Хинтона и Сейновски на тесное сотрудничество.

Молодые ученые к этому времени получили свои первые преподавательские должности: Хинтон – в Университете Карнеги – Меллона, Сейновски – в Университете Джона Хопкинса, но они достаточно крепко сдружились, чтобы четырехчасовая поездка не была препятствием для встреч по выходным. Было понятно, что найден способ превращения первоначальной модели нейронных сетей в более мощную обучающуюся систему. Они знали, что люди учатся путем наблюдений и обобщений, и сконцентрировались на имитировании этого процесса. Новый вид многослойной сети назвали «машиной Больцмана» в честь австрийского физика Людвига Больцмана. В эту модель они заложили более эффективный подход к машинному обучению и добились самого значительного прогресса со времени первого однослойного алгоритма обучения, разработанного Розенблаттом.

Политический спор вокруг персептронов миновал Сейновски. Как студент-физик, он был далек от мира искусственного интеллекта в конце 1960-х гг., когда Мински и Пейперт заварили бучу. Но он прочел книгу «Персептроны», и она понравилась ему прекрасными геометрическими построениями. Тогда он пропустил мимо ушей их вывод о том, что персептрон не удастся применить к миру многоуровневых систем. Теперь появилась возможность доказать, что они ошибались.

Хинтон и Сейновски создали альтернативную модель, но им нужно было доказать ее эффективность по сравнению с популярными в то время системами, основанными на правилах. Чтобы продемонстрировать преимущества новой технологии, Сейновски с помощью аспиранта в течение лета занимался проблемами языка, обучая свою нейронную сеть произносить английские фразы. В то время у него не было опыта в лингвистике, поэтому он пошел в школьную библиотеку и взял учебник с изложением правил произношения. Нужно было знать весь этот невероятно сложный набор правил и исключений, чтобы правильно говорить по-английски.

В разгар работы по созданию нейронной сети, способной освоить правильное произношение, в Балтимор приехал Хинтон. Он был настроен скептически.

«Вряд ли из этого что-то выйдет, – сказал он. – Английский – невероятно сложный язык, и простая сеть не освоит его».

Друзья решили начать с упрощенной версии языка. Они вновь отправились в библиотеку и нашли книжку для детей с очень небольшим набором слов. Теперь сеть была настроена на усвоение языка из детской книги. В течение часа после того, как система начала работать, исследователей одолевали сомнения. Сначала она генерировала невнятные звуки, похожие на лепет младенца, но по мере обучения их качество улучшалось. Наконец пара слов прозвучала правильно, и процесс продолжался до тех пор, пока речь не стала идеальной. Машина запоминала и общие правила, и исключения.

Исследователи вернулись в библиотеку и взяли другое учебное пособие, где на одной стороне страницы приводилась транскрипция рассказа пятиклассника о делах в школе и о поездке к бабушке, а на другой – правильное звучание каждого слова, транскрибированное фонологом. Это было то, что нужно для обучения, и информацию пропустили через нейронную сеть. Объем текстов был относительно небольшим, но система начала говорить, как пятиклассник. Исследователи были поражены и раззадорены.