Они взяли словарь на 20 000 слов и решили посмотреть, как далеко можно зайти с их нейронной сетью. На этот раз программу запустили на неделю на довольно мощном для того времени мини-компьютере VAX компании Digital Equipment Corp. Она училась, училась и училась и в конце концов стала произносить слова, которые раньше не видела. Результаты были удивительно хорошими.
Программа получила имя Nettalk. Она состояла из 300 смоделированных элементов, которые разработчики называли нейронами. Они были организованы в виде трех слоев – входного для считывания слов, выходного для генерирования речи и «скрытого», связывавшего первые два. Нейроны соединялись друг с другом с помощью 18 000 «синапсов» – связей, имевших численные значения, которые могли рассматриваться как веса. Если такие простые сети могли «учиться» слышать, видеть, говорить и в целом повторять многое из того, что делают люди, они, очевидно, были перспективным новым направлением и в сфере искусственного интеллекта, и в сфере усиления интеллекта.
После успеха с Nettalk пути Сейновски и Хинтона разошлись. Сейновски переехал в Калифорнию и стал работать в Институте Солка, где сосредоточился на теоретических проблемах нейробиологии. Занимаясь исследованиями мозга, он уверовал в силу разнообразия как базового принципа биологии и, таким образом, фундаментально отошел от пути, по которому шло развитие современных цифровых вычислений. Хинтон получил место в отделении информатики Торонтского университета и за следующие два десятилетия усовершенствовал машину Больцмана. К первоначальной контролируемой модели он добавил возможность неконтролируемого (автоматического) обучения. Интернет стал божьим даром, открыв доступ к огромным массивам изображений, видео– и аудиозаписей. Разработки двух исследователей в конечном итоге открыли новые возможности таким компаниям, как Google, Microsoft и Apple, горевшим желанием создать интернет-сервисы на основе распознавания речи и образов.
Полный разворот судьбы персептрона в какой-то мере связан и с правильно организованной пиар-кампанией, продолжавшейся не один год. Еще до первой встречи Сейновски и Хинтона в Сан-Диего пренебрежительным отзывом Сеймура Пейперта о персептроне заинтересовался способный молодой французский студент Ян Лекун. Увидев его, Лекун направился в библиотеку и проштудировал все что можно о способных обучаться машинах. Сын авиаинженера, он с детства возился с авиационной аппаратурой и был помешан на электронике еще до поступления в колледж. Лекун изучал астрофизику, но больше все же интересовался тонкостями программирования. Он прочитал всю литературу о персептроне, начиная с 1950-х гг., и пришел к выводу, что эту тему забросили. На начало 1980-х гг. пришелся расцвет экспертных систем, и никто не писал о нейронных сетях.
В Европе Лекун был одиноким рыцарем. На последнем курсе он изучал электротехнику и начал работу над диссертацией под руководством человека, который не имел представления о его теме. Вскоре после поступления в аспирантуру ему попалась малоизвестная статья Хинтона и Сейновски о машине Больцмана. «Я должен поговорить с этими ребятами! Похоже, только они что-то понимают», – подумал он.
По счастливой случайности им удалось встретиться зимой 1985 г. во французских Альпах на научной конференции по вопросу соединения идей физики и нейронауки. Сеть Хопфилда, служившая первой моделью памяти человека, вызвала новый интерес в научном сообществе. Хотя Сейновски участвовал в конференции, он пропустил выступление Лекуна. Молодой французский ученый впервые делал доклад на английском и страшно волновался в немалой мере потому, что присутствовавший на конференции физик из Bell Laboratories сопровождал едкими замечаниями каждое выступление. Сидевшие рядом с Лекуном участники сказали ему, что это стиль Bell Labs – или идеи не на должном уровне, или для ученых лаборатории они уже не новость. Как ни странно, но после его выступления на ломаном английском ученый из Bell Labs встал и выразил одобрение. Через год Bell Labs предложила Лекуну работу.
На конференции Лекун все же поймал Сейновски, и ученые поделились своими соображениями. Разговор привел к появлению небольшого братства исследователей, которые намеревались создать новую модель искусственного интеллекта. Лекун завершил работу над диссертацией по подходу к обучению нейронных сетей, известному как «обратное распространение ошибки». Его вклад сделал возможной автоматическую «настройку» сети на более точное распознавание образов.
Читать дальше
Конец ознакомительного отрывка
Купить книгу