Александр Чесалов - Глоссариум по искусственному интеллекту и информационным технологиям

Методы эвристического поиска (Heuristic search techniques) – это методы, которые сужают поиск оптимальных решений проблемы за счет исключения неверных вариантов

Механизм внимания (Attention mechanism) – это одно из ключевых нововведений в области нейронного машинного перевода. Внимание позволило моделям нейронного машинного перевода превзойти классические системы машинного перевода, основанные на переводе фраз. Основным узким местом в sequence-to-sequence обучении является то, что все содержимое исходной последовательности требуется сжать в вектор фиксированного размера. Механизм внимания облегчает эту задачу, так как позволяет декодеру оглядываться на скрытые состояния исходной последовательности, которые затем в виде средневзвешенного значения предоставляются в качестве дополнительных входных данных в декодер.

Минимизация структурных рисков (Structural risk minimization, SRM) – это индуктивный принцип использования в машинном обучении. Обычно в машинном обучении обобщенная модель должна быть выбрана из конечного набора данных, что приводит к проблеме переобучения – модель становится слишком строго адаптированной к особенностям обучающего набора и плохо обобщается для новых данных. Принцип SRM решает эту проблему, уравновешивая сложность модели с ее успехом в подборе обучающих данных. Этот принцип был впервые изложен в статье 1974 года Владимира Вапника и Алексея Червоненкиса.

Многозадачное обучение (Multitask learning) – это общий подход, при котором модели обучаются выполнению различных задач на одних и тех же параметрах. В нейронных сетях этого можно легко добиться, связав веса разных слоев. Идея многозадачного обучения была впервые предложена Ричем Каруаной в 1993 году и применялась для прогнозирования пневмонии, а также для создания системы следования дороге на беспилотных устройствах (Каруана, 1998). Фактически при многозадачном обучении модель стимулируют к созданию внутри себя такого представления данных, которые позволяет выполнить сразу много задач. Это особенно полезно для обучения общим низкоуровневым представлениям, на базе которых потом происходит «концентрация внимания» модели или в условиях ограниченного количества обучающих данных. Многозадачное обучение нейросетей для обработки естественного языка было впервые применено в 2008 году Коллобером и Уэстоном (Collobert & Weston, 2008).

Мобильное здравоохранение (Mobile healthcare, mHealth) – это ряд мобильных технологий, систем, сервисов и приложений, установленных на мобильных устройствах и использующихся в медицинских целях и для обеспечения здорового образа жизни человека и мотивации людей к здоровому образу жизни и формированию новой «цифровой» культуры здоровья.

Модель от последовательности к последовательности (Sequence-to-sequence model, seq2seq).Самая популярная задача на последовательность – это перевод: обычно с одного естественного языка на другой. За последние пару лет коммерческие системы стали на удивление хороши в машинном переводе – взгляните, например, на Google Translate, Yandex Translate, DeepL Translator, Bing Microsoft Translator. Сегодня мы узнаем об основной части этих систем.

Модель убеждений, желаний и намерений (Belief-desire-intention software model) – это модель программирования интеллектуальных агентов. Образно модель описывает убеждения, желания и намерения каждого агента, однако непосредственно применительно к конкретной задаче агентного программирования. По сути, модель предоставляет механизм позволяющий разделить процесс выбора агентом плана (из набора планов или внешнего источника генерации планов) от процесса исполнения текущего плана, выбранного ранее. Как следствие, агенты, повинующиеся данной модели способны уравновешивать время, затрачиваемое ими на выбор и отсеивание будущих планов со временем исполнения выбранных планов. Процесс непосредственного синтеза планов (планирование) в модели не описывается и остаётся на откуп программного дизайнера или программиста.

Модули векторной обработки (Intelligent Engines) – это поле выполнения операций умножения с плавающей запятой с минимальными задержками (DSP Engines) и специализированное поле/модуль AI Engines c высокой пропускной способностью, а также минимальными задержкам на выполнение операций и оптимальным уровнем энергопотребления, предназначенное для решения задач в области реализации искусственного интеллекта (AI inference) и цифровой обработки сигналов.