Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

Первые два слагаемых в правой части совпадают для любых образов x и x i , так как длины всех векторов-образов равны √ n. Таким образом, задача поиска ближайшего образа сводится к поиску образа, скалярное произведение с которым максимально. Этот простой факт приводит к тому, что сравнивать придется линейные функции от образов, тогда как расстояние является квадратичной функцией.

Наиболее известной сетью ассоциативной памяти является сеть Хопфилда [312]. В основе сети Хопфилда лежит следующая идея — запишем систему дифференциальных уравнений для градиентной минимизации «энергии» H (функции Ляпунова). Точки равновесия такой системы находятся в точках минимума энергии. Функцию энергии будем строить из следующих соображений:

1. Каждый эталон должен быть точкой минимума.

2. В точке минимума все координаты образа должны иметь значения ±1.

Функция

не удовлетворяет этим требованиям строго, но можно предполагать, что первое слагаемое обеспечит притяжение к эталонам (для вектора x фиксированной длины максимум квадрата скалярного произведения ( x, x i )² достигается при x= x i …), а второе слагаемое — приблизит к единице абсолютные величины всех координат точки минимума). Величина a характеризует соотношение между этими двумя требованиями и может меняться со временем.

Используя выражение для энергии, можно записать систему уравнений, описывающих функционирование сети Хопфилда [312]:

(1)

Сеть Хопфилда в виде (1) является сетью с непрерывным временем. Это, быть может, и удобно для некоторых вариантов аналоговой реализации, но для цифровых компьютеров лучше воспользоваться сетями, функционирующими в дискретном времени — шаг за шагом.

Построим сеть Хопфилда [312] с дискретным временем. Сеть должна осуществлять преобразование входного вектора x так, чтобы выходной вектор x' был ближе к тому эталону, который является правильным ответом. Преобразование сети будем искать в следующем виде:

(2)

где w i — вес i- го эталона, характеризующий его близость к вектору x , Sign — нелинейный оператор, переводящий вектор с координатами yi в вектор с координатами sign( yi ).

Сеть работает следующим образом:

1. На вход сети подается образ x , а на выходе снимается образ x' .

2. Если x' ≠ x , то полагаем x = x' и возвращаемся к шагу 1.

3. Полученный вектор x' является ответом.

Таким образом, ответ всегда является неподвижной точкой преобразования сети (2) и именно это условие (неизменность при обработке образа сетью) и является условием остановки.

Пусть j * — номер эталона, ближайшего к образу x . Тогда, если выбрать веса пропорционально близости эталонов к исходному образу x , то следует ожидать, что образ x' будет ближе к эталону x i ′, чем x , а после нескольких итераций он станет совпадать с эталоном x i ′.

Наиболее простой сетью вида (2) является дискретный вариант сети Хопфилда [312] с весами равными скалярному произведению эталонов на предъявляемый образ:

(3)

Рис. 1. а, б, в — эталоны, г — ответ сети на предъявление любого эталона

О сетях Хопфилда (3) известно [53, 231, 247, 312], что они способны запомнить и точно воспроизвести «порядка 0.14 n слабо коррелированных образов». В этом высказывании содержится два ограничения:

• число эталонов не превосходит 0.14 n .

• эталоны слабо коррелированны.

Наиболее существенным является второе ограничение, поскольку образы, которые сеть должна обрабатывать, часто очень похожи. Примером могут служить буквы латинского алфавита. При обучении сети Хопфилда (3) распознаванию трех первых букв (см. рис. 1 а, б, в), при предъявлении на вход сети любого их эталонов в качестве ответа получается образ, приведенный на рис. 1 г (все образы брались в рамке 10 на 10 точек).

В связи с такими примерами первый вопрос о качестве работы сети ассоциативной памяти звучит тривиально: будет ли сеть правильно обрабатывать сами эталонные образы (т. е. не искажать их)?

Мерой коррелированности образов будем называть следующую величину:

Зависимость работы сети Хопфилда от степени коррелированности образов можно легко продемонстрировать на следующем примере. Пусть даны три эталона x 1, x 2, x 3таких, что

(4)

Для любой координаты существует одна из четырех возможностей:

В первом случае при предъявлении сети q- го эталона в силу формулы (3) получаем