Модели нейронных сетей

Теоретические основы нейроматематики были заложены в начале 1940-х гг. Попытки построить машины, способные к ра­зумному поведению, были в значительной мере вдохновлены идеями «отца кибернетики» Норберта Винера, который писал в своей знаменитой работе «Кибернетика или управление и связь в животном и машине», что все машины, претендующие на «разум­ность», должны обладать способностью преследовать определен­ные цели и приспосабливаться, т.е. обучаться. Идеи Винера были применены Дж. Маккалохом и У. Питтсом, которые разработали собственную теорию деятельности головного мозга, основан­ную на предположении, что функционирование компьютера и мозга сходно. К главным результатам их работы относятся следу­ющие:

• модель нейрона в виде простейшего процессорного элемен­та, который вычисляет значение переходной функции от скаляр­ного произведения вектора входных сигналов и вектора весовых коэффициентов;
• конструкция нейронной сети для выполнения логических и арифметических операций;
• предположение о том, что нейронная сеть способна обучать­ся, распознавать образы, обобщать полученную информацию.

В формализме Дж. Маккалоха и У. Питтса нейроны имеют пороговую функцию перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех дру­гих нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.

Аппаратная реализация ИНС на основе пороговых элемен­тов, оперирующих двоичными числами, оказалась чрезвычайно трудной из-за высокой стоимости электронных элементов в то время. Самые совершенные системы тогда содержали лишь сот­ни нейронов, в то время как нервная система муравья содержит более 20 тыс.

Серьезное развитие нейрокибернетика получила в трудах американского нейрофизиолога Ф. Розенблата, который предло­жил свою модель нейронной сети в 1958 г. и продемонстрировал созданное на ее основе электронное устройство, названное пер-цептроном.

Алгоритм обучения перцептрона включает следующие шаги.

1. Системе предъявляется эталонный образ.
2. Если результат распознавания совпадает с заданным, весо­вые коэффициенты связей не изменяются.
3. Если ИНС неправильно распознает результат, то весовым коэффициентам дается приращение в сторону повышения каче­ства распознавания.

Теоретический анализ перцептрона, проведенный М. Мин­ским и С. Пейпертом, показал его ограниченные возможнос­ти, поскольку не всегда существует такая комбинация весовых коэффициентов, при которой заданное множество образов будет распознаваться правильно. Причина этого недостатка состоит в том, что однослойный перцептрон реализует линейную поверх­ность, разделяющую пространство эталонов, вследствие чего происходит неверное распознавание образов в случаях, когда за­дача не является линейно сепарабельной. Для решения таких проблем предложены модели многослойных перцептронов, спо­собные строить ломаную границу между распознаваемыми обра­зами. Несмотря на то что перцептрон Розенблата имел невысо­кие возможности обучения, разработка этой концепции при­влекла внимание исследователей к проблеме ИНС и привела к созданию более «разумных» интеллектуальных систем.

Многослойные сети. В многослойных сетях устанавливаются связи только между нейронами соседних слоев, как показано на рис. 1.1.

Рис.1.1. Схема многослойного перцептрона

Каждый элемент может быть соединен модифицируемой связью с любым нейроном соседних слоев, но между элементами одного слоя связей нет. Каждый нейрон может посылать выход­ной сигнал только в вышележащий слой и принимать входные сигналы только с нижерасположенного слоя.

Структура нейронной сети определяется типом, например 25-10-5, т.е. двадцать пять узлов находится в первом слое, десять — в скрытом и пять — в выходном. Определение числа скры­тых слоев и числа нейронов в каждом слое для конкретной зада­чи является неформальной проблемой, при решении которой можно использовать эвристическое правило: число нейронов в сле­дующем слое в два раза меньше, чем в предыдущем.

Выше отмечалось, что простой перцептрон с одним слоем обучаемых связей формирует границы областей решений в виде гиперплоскостей. Двухслойный перцептрон может выполнять операцию логического И над полупространствами, образованны­ми гиперплоскостями первого слоя весов. Это позволяет форми­ровать любые выпуклые области в пространстве входных сигна­лов. С помощью трехслойного перцептрона, используя логичес­кое ИЛИ для комбинирования выпуклых областей, можно полу­чить области решений произвольной формы и сложности, в том числе невыпуклые и несвязные. То, что многослойные перцеп-троны с достаточным множеством внутренних нейроподобных элементов и соответствующей матрицей связей в принципе спо­собны осуществлять любое отображение вход-выход, отмечали еще М. Минский и С. Пейперт, однако они сомневались, что для таких процедур можно открыть мощный аналог процедуры обу­чения простого перцептрона. В настоящее время в результате возрождения интереса к многослойным сетям предложено не­сколько таких процедур. Одной из них является алгоритм обрат­ного распространения ошибки.

Рекуррентные сети. Они содержат обратные связи, благодаря которым становится возможным получение отличающихся зна­чений выходов при одних и тех же входных данных. Наличие рекуррентных нейронов позволяет ИНС накапливать знания в про­цессе обучения.

Рекуррентные сети (рис. 1.2) являются развитием модели Хопфилда на основе применения новых алгоритмов обучения, исключающих попадание системы в локальные минимумы на по­верхности энергетических состояний. Важной особенностью ре­куррентных сетей является их способность предсказывать суще­ствование новых классов объектов.

Рис. 1.2. Схема рекуррентной нейронной сети

Модель Хопфилда. Работы американского биофизика Дж. Хопфилда положили начало современному математическому моделированию нейронных вычислений. Ему удалось при­влечь к анализу нейросетевых моделей мощный математический аппарат статистической физики. В результате была сформулирована математическая модель ассоциативной памяти на нейрон­ной сети с использованием правила Д. Хебба для модификации весовых коэффициентов. Это правило основано на простом предположении: если два нейрона возбуждаются вместе, то сила связи между ними возрастает; если они возбуждаются порознь, то сила связи между ними уменьшается.

Сеть Хопфилда строится с учетом следующих условий:

• • все элементы связаны со всеми;
• лю, т. е. исключаются обратные связи с выхода на вход одного нейрона.

Для однослойной нейронной сети со связями типа «все ко всем» характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, отражающей структуру всех связей в сети. Вве­денная Хопфиддом функция вычислительной энергии нейрон­ной сети описывает поведение сети через стремление к миниму­му энергии, который соответствует заданному набору образов. В связи с этим сети Хопфилда могут выполнять функции ассоциа­тивной памяти, обеспечивая сходимость к тому образу, в область притяжения которого попадает начальный паттерн (образец) ак­тивности нейронов сети.

Этот подход привлекателен тем, что нейронная сеть для кон­кретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основе вида функции энергии, сконструированной для решаемой задачи.

Развитием модели Хопфидда является машина Больцмана, предложенная и исследованная Дж. Е. Хинтоном и Р. Земелом для решения комбинаторных оптимизационных задач и задач искусственного интеллекта. В ней, как и в других моделях, нейрон имеет состояния (1,0), межнейронные связи представле­ны весовыми коэффициентами, а каждое состояние сети харак­теризуется определенным значением функции консенсуса (ана­лог функции энергии). Максимум функции консенсуса соответ­ствует оптимальному решению задачи.

Сети Хопфилда получили применение на практике в основ­ном как реализации подсистем более сложных систем. Они име­ют определенные недостатки, ограничивающие возможности их применения:

• предположение о симметрии связей между элементами, без которой нельзя ввести понятие энергии;
• нейронная сеть — это устройство для запоминания и обра­ботки информации, а не устройство минимизации энергии. Эко­номия энергии играет в этих процессах вспомогательную роль;
• сети Хопфилда поддерживают множество лишних, неэф­фективных, иногда дублирующих друг друга связей. В реальных нервных системах такие связи не поддерживаются, так как их ре­ ализация требует определенных затрат. В биологических нерв­ных системах происходит освобождение от лишних связей за счет их структуризации. При этом вместо организации связей «всех ко всем» используется многослойная иерархическая систе­ма связей.

Самоорганизующиеся сети Т. Кохонена. Идея сетей с са­моорганизацией на основе конкуренции между нейронами бази­руется на применении специальных алгоритмов самообучения ИНС. Сети Кохонена обычно содержат один (выходной) слой обрабатывающих элементов с пороговой передаточной функци­ей. Число нейронов в выходном слое соответствует количеству распознаваемых классов. Настройка параметров межнейронных соединений проводится автоматически на основе меры близости вектора весовых коэффициентов настраиваемых связей к векто­ру входных сигналов в эвклидовом пространстве. В конкурент­ной борьбе побеждает нейрон, имеющий значения весов, наибо­лее близкие к нормализованному вектору входных сигналов. Кроме того, в самоорганизующихся сетях возможна классифи­кация входных образцов (паттернов). На практике идея Кохоне­на обычно используется в комбинации с другими нейросетевы-ми парадигмами.