Е. Миркес - Учебное пособие по курсу «Нейроинформатика»

Из свойств сюръективного мультииндекса следует, что все слагаемые, входящие в y I0 ⊗kсодержат в качестве тензорного сомножителя e q , не входящий ни в одно тензорное произведение, составляющие в сумме y J ⊗k. Из свойства 2 получаем, что ( y J ⊗k, y I0 ⊗k) = 0. Аналогично, из того, что в каждом слагаемом второй суммы L≠ I, I⊄ Lследует ортогональность y I0 ⊗kкаждому слагаемому второй суммы в (18) и, следовательно, всей сумме.

Таким образом y I ⊗kсодержит компоненту y I0 ⊗kортогональную ко всем y J ⊗k, |J|≤ m , J≠ Iи ( y J ⊗k- y I0 ⊗k). Множество тензоров Y k= { y I ⊗k, |I|≤ k } удовлетворяет условиям леммы, и следовательно все тензоры в Y k линейно независимы. Таким образом, число линейно независимых тензоров в множестве не меньше чем

Для того, чтобы показать, что число линейно независимых тензоров в множестве { x ⊗k} не превосходит этой величины достаточно показать, что добавление любого тензора из Yк Y k приводит к появлению линейной зависимости. Покажем, что любой y I ⊗kпри | I|> k может быть представлен в виде линейной комбинации тензоров из Y k . Ранее было показано, что любой тензор y I ⊗kможет быть представлен в виде (17). Разобьем (17) на три суммы:

(19)

Рассмотрим первое слагаемое в (19) отдельно.

Заменим в последнем равенстве внутреннюю сумму в первом слагаемом на тензоры из Y k :

(20)

Преобразуем второе слагаемое в (19).

(21)

Преобразуя аналогично (21) второе слагаемое в (20) и подставив результаты преобразований в (19) получим

(22)

В (22) все не замененные на тензоры из Y k слагаемые содержат суммы по подмножествам множеств мощностью меньше k . Проводя аналогичную замену получим выражение, содержащее суммы по подмножествам множеств мощностью меньше k- 1 и так далее. После завершения процедуры в выражении останутся только суммы содержащие вектора из Y k , то есть y I ⊗kбудет представлен в виде линейной комбинации векторов из Y k . Теорема доказана.

Начиная с этой лекции и до конца курса будем рассматривать сети, решающие задачу аппроксимации функции.

Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных «правил обучения» и архитектур нейронных сетей, способов оценивать и интерпретировать их работу, приемов использования нейронных сетей для решения прикладных задач.

До сих пор эти правила, архитектуры, системы оценки и интерпретации, приемы использования и другие интеллектуальные находки существуют в виде «зоопарка» сетей. Каждая сеть из нейросетевого зоопарка имеет свою архитектуру, правило обучения и решает конкретный набор задач, аналогично тому, как каждое животное в обычном зоопарке имеет свои голову, лапы, хвост и питается определенной пищей. В данном курсе проводится систематизация «зоопарка» и превращение его в «технопарк». То есть переход от разнообразия организмов к разнообразию деталей — это и эффективнее, и экономнее. Процесс накопления зоопарка и последующего преобразования его в технопарк вполне закономерен при возникновении всего нового. Хорошим примером может послужить процесс развития персональных компьютеров. В семидесятых годах, когда они только появились, происходил процесс накопления зоопарка. В то время существовало множество абсолютно несовместимых друг с другом персональных компьютеров (IBM PC, Apple, PDP, HP и др.). В восьмидесятых и начале девяностых годов происходил процесс систематизации и преобразования зоопарка персональных компьютеров в технопарк. Сейчас, придя в хороший магазин, торгующий компьютерами, вы можете из имеющейся в наличии комплектации собрать такой персональный компьютер, какой вам нужен. Вы можете сами выбрать процессор, память, принтер, аудио и видео карты и т. д.

Для представления всего разнообразия нейрокомпьютеров в виде небольшого набора деталей полезен такой подход: каждая нейронная сеть из зоопарка должна быть представлена как реализованная на идеальном нейрокомпьютере, имеющем заданную структуру. В пределах данной структуры вы можете сами выбирать комплектующие — архитектуру сети, предобработчик, интерпретатор ответа и другие компоненты. Несомненно, структура этого идеального нейрокомпьютера со временем будет эволюционировать. Однако преимущества даже от первых шагов стандартизации несомненны.