Питер Макоуэн - Вычислительное мышление - Метод решения сложных задач

Наша простая схема подсчета монет, которая учится правильно выполнять задачу с нуля, делает тривиальные операции. Но если такую схему объединить с миллионами похожих для совместной работы, можно создать огромную вычислительную армию. Конечно, самое сложное — запрограммировать ее. Нужно разработать необходимое программное обеспечение, и все они будут вместе работать над общей целью.

Наша игра с проверкой монет была не слишком интересной. Давайте сыграем в настоящую игру — например, «Снап!». Если две карты совпадают, кричите «Снап!». Если они разные, молчите. Чтобы упростить процесс, будем считать, что у нас есть только красные и черные карты. Получится ли создать нейронную сеть, чтобы сыграть в эту игру?

Давайте разберем, как именно наша нейронная сеть будет определять совпадение цветов. Пусть 1 означает карту красного цвета, а 0 — черного. Красный–красный (1, 1) или черный–черный (0, 0) — это «Снап!», красный–черный (1, 0) или черный–красный (0, 1) — нет. Процесс похож на проверку монет с помощью И, но не так прост в освоении.

Цветной «Снап!» — это пример использования функции исключающее ИЛИ. Она немного похоже на функцию И, но активизируется, только если на входе (1, 0) или (0, 1), — и ни в каких иных случаях. Функция активизируется, только если истине соответствует один сигнал (то есть один сигнал равен 1), но не оба, как на рис. 48.

На заре нейронных сетей такого рода логика представляла собой большую проблему. Нейронные контуры, которые тогда назывались перцептронами,отлично работали с И, ИЛИ и с другими простыми операциями в булевой логике, но не могли справиться с досадным моментом исключения. Причина состояла в их геометрии. Оказалось, что перцептрон работал, создавая границу решения — линию на графе. При достаточном сигнале на вводе перцептрон переходил через границу. Это зависело от весов и порогов восприятия в контуре (наши значения И1, И2 и Д в предыдущей игре). Пока явления, для которых мы хотели получить разный выход, были по разные стороны границы решения, все было хорошо — перцептрон работал.

Но в случае с функцией «исключающее ИЛИ», где нам нужна линия в соответствии с таблицей на рис. 48, ничего не получилось. Если изобразить это на графе с использованием данных координат (где красный — 1, а черный — 0), то окажется, что на выходе невозможно отделить ответы, равные 0, от ответов, равных 1. Нельзя создать систему, в которой, когда вас толкают через границу, одно состояние сменяется другим (см. рис. 49).

И вот идея: если каждый перцептрон может нарисовать только одну линию, нужно использовать больше перцептронов. Если один перцептрон будет питать другой и получится так называемый многослойный перцептрон,то каждый слой будет определять линию решения и мы сможем использовать две линии.

Да, сделать его можно. Есть несколько способов создать нейронные контуры, которые могут работать с исключающим ИЛИ или играть в «Снап!», и на рис. 50 представлен один из таких способов. Заметим, что здесь мы используем представлениев виде графа,чтобы показать нейронный контур. В конечном итоге главное здесь — нейроны и их взаимосвязи. Еще мы абстрагируемсяот внутренних подробностей работы нейронов и сосредотачиваемся на их усвоенном поведении.

Теперь у нас есть нейронная сеть из четырех взаимосвязанных нейронов. У нас два нейрона на входе — ВХ1 и ВХ2, которые определяют цвет видимых ими карт. Они дадут на выходе 1, если карта красная, и 0 — если черная. Этот результат идет в нейрон Д (дом) во втором слое. Порог для его активации — 1,5 (то есть он активируется при условии, что сумма сигналов на входе больше 1,5), но сам он дает на выходе отрицательный результат ( −2). Все сигналы поступают в третий нейрон, ВЫХ с порогом 0,5.

Эту схему нужно проверить. Давайте пройдемся по всем комбинациям.

Если на входе поступает комбинация (0, 0), это (черный, черный), и нейрон во втором слое, Д, получает сигнал 0 с обеих сторон (см. рис. 51 a). Для Д сигнал 0 меньше, чем порог 1,5, поэтому вершина Д активирует 0. Сигналы, поступающие на нейрон ВЫХ, суммируются (0 + 0 + 0), и на выходе Д дает 0. Это меньше, чем порог 0,5 для нейрона ВЫХ, поэтому он не активируется, и перцептрон на выходе дает 0.