Ян Лекун - Как учится машина. Революция в области нейронных сетей и глубокого обучения

В Лез-Уш я был одним из самых молодых исследователей, и мне пришлось общаться на английском языке о многоуровневых сетях и алгоритме HLM, моем предшественнике алгоритмов обратного распространения. Я только начал подготовку своей диссертации, и нервничал, выступая перед столь именитой аудиторией.

Меня особенно привлекли две личности: Ларри Джекел, глава отдела Bell Labs (позже мне самому довелось работать в этом отделе) и Джон Денкер – настоящий ковбой из Аризоны: джинсовый костюм, большие бакенбарды, ковбойские сапоги… Этот не очень похожий на ученого человек, только что защитивший диссертацию, был невероятно уверен в себе! Когда на него находило вдохновение, он мог быть чертовски убедителен и изобретательно отстаивал свою точку зрения, причем без агрессии и часто вполне обоснованно. Франсуаза Фогельман говорила мне: «У ребят из Bell Labs огромное преимущество. Когда вы только хотите сделать что-то новое, то выясняется, что это либо уже было сделано в Bell Labs десять лет назад, либо это просто не работает». Черт возьми!

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

FLOPS (обозначается также как flops, flop/s, произносится по-русски как «флопс») – акроним от англ. Floating-point Operations Per Second (число операций с плавающей точкой в секунду). Представляет собой внесистемную единицу измерения производительности компьютеров. Правописание и склонение термин в русском языке еще не устоялось: иногда пишут «флоп», иногда «флопс». – Прим. ред.

https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix.

https://arxiv.org/abs/1706.07068.

https://ai.google/research/teams/brain/magenta/.

https://www.google.com/doodles/celebrating-johann-sebastian-bach.

https://fr.wikipedia.org/wiki/Algorithme_de_Dijkstra.

https://fr.wikipedia.org/wiki/Algorithme_A*.

Alan Turing, Computing machinery and intelligence, Mind , october 1950, vol. 59, n236.

То же.

https://fr.wikipedia.org/wiki/Tri_a_bulles.

Агентство перспективных исследовательских проектов, которое в 1972 г. переименовали в DARPA (Агентство перспективных оборонных исследовательских проектов), является агентством Министерства обороны по финансированию проектов исследований и разработок (НИОКР).

Терабайт – это единица измерения количества цифровой информации, здесь используется в качестве единицы измерения объема памяти. Он составляет 240 байт. Один байт может иметь 256 различных значений.

Richard O. Duda, Peter E. Hart, Pattern Classification and Scene Analysis, Wiley, 1973.

Marvin L. Minsky, Seymour A. Papert, Perceptrons: An Introduction to Computional Geometry, The MIT Press, 1969.

Устройство, состоящее из модулятора и демодулятора, предназначенное для передачи цифровых данных по телефону или по коаксиальному кабелю.

Théories du langage, théories de l'apprentissage: le débat entre Jean Piaget et Noam Chomsky, d.bat recueilli par Maximo Piatelli-Palmarini, Centre Royaumont pour une science de l'homme, Seuil, Points, 1979.

Richard O. Duda, Peter E. Hart, Pattern Classification and Scene Analysis, p. 6.

См. главу 5 «Мой HLM!».

Машиной Больцмана называется один из видов нейронных сетей. – Прим. ред.

John J. Hopfield, Neural networks and physical systems with emergent collective computational abilities, Proceedings of the National Academy of Sciences, 1982, 79 (8), p. 2554–2558, DOI:10.1073/pnas.79.8.2554.