Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

Таким образом, функция оценки должна состоять из двух компонентов: первая реализует притяжение между примерами одного класса и барицентром этого класса, а вторая отвечает за отталкивание барицентров разных классов. Обозначим точку в пространстве выходных сигналов, соответствующую m- му примеру, через α m , множество примеров i- го класса через I i , барицентр точек, соответствующих примерам этого класса, через B i ( ), число примеров в i- ом классе через | B i |, а расстояние между точками a и b через . Используя эти обозначения, можно записать притягивающий компонент функции оценки для всех примеров i- го класса в виде:

Функция оценки H P i обеспечивает сильное притяжение для примеров, находящихся далеко от барицентра. Притяжение ослабевает с приближением к барицентру. Компонент функции оценки, отвечающий за отталкивание барицентров разных классов, должен обеспечивать сильное отталкивание близких барицентров и ослабевать с удалением барицентров друг от друга. Такими свойствами обладает гравитационное отталкивание. Используя гравитационное отталкивание можно записать второй компонент функции оценки в виде:

Таким образом, оценку, обеспечивающую сближение точек, соответствующих примерам одного класса, и отталкивание барицентров, можно записать в виде:

Вычислим производную оценки по j- му выходному сигналу, полученному при решении i -го примера. Пусть i- ый пример принадлежит l- му классу. Тогда производная имеет вид:

Эту оценку будем называть кинетической. Существует одно основное отличие этой оценки от всех других, ранее рассмотренных, оценок для решения задач классификации. При использовании традиционных подходов, сначала выбирают интерпретатор ответа, затем строят по выбранному интерпретатору функцию оценки, и только затем приступают к обучению сети. Для кинетической оценки такой подход не применим. Действительно, до того как будет закончено обучение сети невозможно построить интерпретатор. Кроме того, использование кинетической оценки, делает необходимым обучение сети решению всех примеров обучающего множества одновременно. Это связанно с невозможностью вычислить оценку одного примера. Кинетическая оценка, очевидно, не является локальной: для вычисления производных оценки по выходным сигналам примера необходимо знать барицентры всех классов, для вычисления которых, в свою очередь, необходимо знать выходные сигналы, получаемые при решении всех примеров обучающего множества.

Интерпретатор для кинетической оценки строится следующим образом. Для построения разделителя i- го и j- го классов строим плоскость, перпендикулярную к вектору ( B i-B j ). Уравнение этой плоскости можно записать в виде

Для определения константы D находим среди точек i- го класса ближайшую к барицентру j- го класса. Подставляя координаты этой точки в уравнение гиперплоскости, получаем уравнение на D . Решив это уравнение, находим величину D 1. Используя ближайшую к барицентру i- го класса точку j- го класса, находим величину D 2. Искомая константа D находится как среднее арифметическое между D 1и D 2. Для отнесения произвольного вектора к i- му или j- му классу достаточно подставить его значения в левую часть уравнения разделяющей гиперплоскости. Если значение левой части уравнения получается больше нуля, то вектор относится к j- му классу, в противном случае — к i- му.

Интерпретатор работает следующим образом: если для i- го класса все разделители этого класса с остальными классами выдали ответ i- ый класс, то окончательным ответом является i- ый класс. Если такого класса не нашлось, то ответ «не знаю». Ситуация, когда для двух различных классов все разделители подтвердили принадлежность к этому классу, невозможна, так как разделитель этих двух классов должен был отдать предпочтение одному из них.

Рассмотренный пример решения задачи с использованием нелокальной оценки позволяет выделить основные черты обучения с нелокальной оценкой:

1. Невозможность оценить решение одного примера.

2. Невозможность оценить правильность решения примера до окончания обучения.

3. Невозможность построения интерпретатора ответа до окончания обучения.

Этот пример является отчасти надуманным, поскольку его можно решить с использованием более простых локальных оценок. Ниже приведен пример задачи, которую невозможно решить с использованием локальных оценок.