Евгений Штольц - Машинное обучение на практике – от модели PyTorch до Kubeflow в облаке для BigData

* синхронный перевод в Skype: разговор между людьми без знания языков друг друга;

* автопилот в автомобилях;

* FindFace распознаёт лица;

* описание изображение текстом и наоборот.

Достижения на 2019 год:

* чтение по губам лучше профессионала (DeepMind Lip Reading);

* изображения: фотореалистичная генерация изображений (Google bigGAN), трансформация видео (NVIDEA vid-to-vid), создание изображений по макетам (NVIDEA gauGAN), обучение беспилотников по виртуальным маршрутам (NVIDEA Drive);

* текст: GPT, BERT, BART, T5, ELMo и другие архитектуры развиваются, расширяют свою сферу применения, эволюционируют;

* звук: умные колонки, с умением автоответчика вести разговор;

* соревнования: AlphaZero обыграла чемпионов в Go и шахматы, другие сети обыграли в StartCraft, Dota-2, покер;

* медицина: визуализация снимков;

* автоматизация: AliBaba автоматизировала Ханджоу (светофоры, инфраструктура), Google автоматизировал охлаждение своих Data центров, автопилоты и другие Edge AI;

* доступность: дообучение готовых моделей в Cloud.

Достижения на 2020 год:

* Intel создал нейроморфную машину Loihi с 1024 нейронами и IBM TrueNorth с миллионом нейронов;

* модель MuZero сама учится играть в неизвестные ей игры (Atari + Go + шахматы + японские шахматы) без начальных знаний, обучающих партий людей и программ и выигрывает у узкоспециализированной AlphaZero, традиционных программ Stockfish и людей в шахматы;

* модель mT5 обучена на более 100 языках для переводов;

* GPT-3 и ruGPT умеют писать программы;

* Модель GPT-3 написала передовицу для газеты Гардиан;

* Модель NVidia StyleGAN2 генерирует правдоподобные лица людей.

Достижения на 2021 год:

* создание ML с несколькими навыками, таких как GPT-3;

* генерация изображения по текстовому описанию: нейронная сеть OpenAI DALL-E (GPT-3 13 + автоинкодер) от OpenAI;

* генераторы музыки: Pod Music Transformet (нотная модель), OpenAI Jukebox (звуковая модель: голос и музыка);

* нейронная сеть создаёт Atari игры по образцу;

* OpenAI Codex создаёт программы по детальному описанию задачи на естественном языке.

Но, в 2021 году более интересны проекты, которые имеют применение нейронных сетей в бизнесе:

* генерация генотипа человека для обхода закона о запрете экспериментов над необезличенным генотипом;

* Яндекс выпустил беспилотных доставляющих роботов;

* одна из нейронных сетей одержала победу над реальным пилотом истребителя и бедет внедряться в боевые беспилотники;

* Яндекс продемонстрировал работу беспилотного такси Yandex Self-Driving Car на дрогах общего пользования города после снегопада;

* чат-бот от Microsoft имитирующий старшеклассница Tay долгое время оставался нераспознанным к бот;

* генерация изображения по текстовому описанию: нейронная сеть Николай Иронов от студии дизайна Студии Артемия Лебедева генерит коммерческие логотипы.

* внедрены системы управления бизнес процессами на основе обучения с подкреплением (игрового принципа обучения);

* многие страны создали стратегии развития AI на государственном уровне, так в России принята стратегия указом №490 "О развитии искусственного интеллекта в Российской Федерации";

* на законодательном уровне формируется экосистема для AI: в России принят закон посвящённых AI (Закон об искусственном интеллекте 123-ФЗ).

* обучение на малых датасетах: копирование голоса по записи длительностью в 4 часа как SaaS продукт.

* виртуальная ведущая Елена от Сбербанка эмулирует мимику во время разговора, но не очень естественно, на мой взгляд.

Но не стоит забывать про стандартные задачи:

* Intelligent document processing – извлечение структурированных данных из неструктурированных бумажных документов;

* Process Mining – описание реальных процессов по цифровым следам, определение узких мест и зацикливаний и возможных решений.

Достижения это хорошо, но это демонстрация потенциальных возможностей. Давайте посмотрим, что добились нейронные сети в индустрии на основании отчёт об искусственном интеллекте Artificial Intelligence Index Report 2021.

Посмотрим на качественный прогресс в IMAGENET Calange. Это соревнование по распознаванию картинок нейронными сетями. Создана очень большая база изображений (датасет). В этот датасет входят разные изображения по 200 категориям. В категории TOP-1 accuracy нейронная сеть должна с одной попытки угадать категорию, например, это самолёт или туфли. В категории TOP-5 accuracy нейронная сеть должна с пятью попыток угадать категорию. Как мы увидим, прогресс постепенно выходит на плато:

год – TOP-1 – TOP-5 2013 – 65% – 85% 2014 – 74% – 87% 2015 – 79% – 92% 2016 – 83% – 95% 2017 – 84% – 97% 2018 – 85% – 97.5% 2019 – 86% – 97.6% 2020 – 86% – 97.7% 2021 – 86.5% – 97.9%