Способы реализации нейронных сетей

Нейронные сети могут быть реализованы программным или аппаратным способом.

Вариантами аппаратной реализации являются нейрокомпью­теры, нейроплаты и нейроБИС (большие интегральные схемы).

Одна из самых простых и дешевых нейроБИС — модель MD 1220 фирмы Micro Devices, которая реализует сеть с 8 нейронами и синапсами. Среди перспективных разработок можно выделить модели фирмы Adaptive Solutions (США) и Hitachi (Япония). Раз­рабатываемая фирмой Adaptive Solutions нейроБИС является од­ной из самых быстродействующих: объявленная скорость обра­ботки составляет 1,2 млрд межнейронных соединений в секунду (мнс/с). Схемы, производимые фирмой Hitachi, позволяют реализовывать ИНС, содержащие до 576 нейронов.

Большинство современных нейрокомпьютеров представляют собой персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Возмож­ностей таких систем вполне хватает для решения большого числа прикладных задач методами нейроматематики, а также для разработки новых алгоритмов. Наибольший интерес представляют специализированные нейрокомпьютеры, в которых реализованы принципы архитектуры нейросетей. Типичными представителя­ми таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация перцептрона, разработанная Ф. Розенблатом, называлась Mark I). Модель Mark III фирмы TRW пред­ставляет собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элемен­тов с более чем 1 млн настраиваемых соединений, позволяет об­рабатывать до 450 тыс. мнс/с.

Другим примером является нейрокомпьютер NETSIM, со­зданный фирмой Texas Instruments на базе разработок Кембридж­ского университета. Его топология представляет собой трехмер­ную решетку стандартных вычислительных узлов на базе процес­соров 80188.

В тех случаях, когда разработка или внедрение аппаратных реализаций нейронных сетей обходятся слишком дорого, приме­няют более дешевые программные реализации. Одним из самых распространенных программных продуктов является семейство программ BrainMaker фирмы CSS (California Scientific Software). Первоначально разработанный фирмой Loral Space Systems no заказу NASA и Johnson Space Center пакет BrainMaker был вскоре адаптирован для коммерческих приложений и сегодня используется несколькими тысячами финансовых и промышленных ком­паний, а также оборонными ведомствами США для решения за­дач прогнозирования, оптимизации и моделирования ситуаций. Назначение пакета BrainMaker — решение задач, для которых пока не найдены- формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся прогнозирование курсов валют и акций на биржах, мо­делирование кризисных ситуаций, распознавание образов и мно­гие другие. BrainMaker решает поставленную задачу, используя математический аппарат теории нейронных сетей (более кон­кретно — сеть Хопфилда с обучением по методу обратного рас­пространения ошибки). В оперативной памяти строится модель многослойной нейронной сети, которая обладает свойством обу­чаться на множестве примеров, оптимизируя свою внутреннюю структуру. При правильном выборе структуры сети после ее обу­чения на достаточно большом количестве примеров можно до­биться высокой достоверности результатов (97% и выше). Суще­ствуют версии BrainMaker для MS DOS и MS Windows, а также для Apple Macintosh. Кроме базовой версии пакета в семейство BrainMaker входят следующие дополнения:

• BrainMaker Student — версия пакета для университетов. Она особенно популярна у небольших фирм, специализирующихся на создании приложений для не очень сложных задач.
• Toolkit Option — набор из трех дополнительных программ, увеличивающих возможности BrainMaker. Binary, которая пере­водит обучающую информацию в двоичный формат для ускорения обучения; Hypersonic Training, где используется высокоскоро­стной алгоритм обучения; Plotting, которая отображает факты, статистику и другие данные в графическом виде.
• BrainMaker Professional — профессиональная версия пакета BrainMaker с расширенными функциональными возможностями. Включает в себя все опции Toolkit.
• Genetic Training Option (для BrainMaker Pro) — программа ав­томатической оптимизации нейронной сети для решения заданного класса задач, использующая генетические алгоритмы для селекции наилучших решений.
• DataMaker Editor — специализированный редактор для авто­матизации подготовки данных при настройке и использовании нейронной сети.
• Training Financial Data — специализированные наборы дан­ных для настройки нейронной сети на различные виды аналитических, коммерческих и финансовых операций, которые включа­ют реальные значения макроэкономических показателей NYSE, NADDAW, ASE, OEX, DOW и др., индексы инфляции, статисти­ческие данные биржевых сводок по различным видам продук­ции, а также информацию по фьючерсным контрактам и многое другое.
• BrainMaker Accelerator — специализированная нейроплата-акселератор на базе сигнальных процессоров TMS320C25 фирмы Texas Instraments. Вставленная в персональный компьютер, она в несколько раз ускоряет работу пакета BrainMaker.
• BrainMaker Accelerator Pro — профессиональная многопроцессорная нейронная плата. Она содержит пять сигнальных процессоров TMS320C30 и 32 Мбайт оперативной памяти.

В настоящее время на рынке программных средств имеется большое количество разнообразных пакетов для конструирова­ния нейронных сетей и решения различных задач. Пакет BrainMaker можно назвать ветераном рынка. Кроме представите­лей этого семейства, к хорошо известным и распространенным программным средствам можно отнести NeuroShell (Ward System’s Group), Neural Works (Neural Ware Inc.) и NeuroSolutions (NeuroDimension Inc.). Объектно-ориентированные програм­мные среды семейства NeuroSolutions предназначены для модели­рования И НС произвольной структуры. Пользователю систем NeuroSolutions предоставлены возможности исследования и диа­логового управления. Все данные в сети доступны для просмотра в процессе обучения посредством разнообразных инструментов визуализации. Проектирование ИНС в системе NeuroSolutions ос­новано на модульном принципе, который позволяет моделиро­вать стандартные и новые топологии. Важным преимуществом системы является наличие специальных инструментов, позволя­ющих моделировать динамические процессы в ИНС.

Рассмотрим один из тестовых примеров, в котором решается достаточно трудная задача прогнозирования значений хаотичес­ких временных последовательностей. Для предсказания значе­ний трех членов хаотического ряда Mackey-Glass, который явля­ется эталонным тестом, выбрана топология TLRN (Time Lagged Recurrent Network) — рекуррентная сеть с запаздыванием во вре­мени, в которой обратные связи локально ограничены. Подоб­ные сети являются расширением многослойного перцептрона, который снабжен структурами памяти.

Они содержат обратные  связи, однако проблема устойчивости здесь легко решается, а по­ведение таких сетей хорошо объяснимо. Сети с подобной тополо­гией подходят для решения проблем прогнозирования, иденти­фикации и классификации образцов, изменяющейся во времени. Выходной сигнал динамической системы можно предсказать на короткий срок, но любая малая ошибка в таких сетях увеличива­ется со временем из-за присущего им внутреннего фактора рас­согласования, называемого положительной экспонентой Ляпу­нова. В таких сетях реализована структура памяти Laguerre, кото­рая обладает удобным свойством, позволяющим контролировать глубину запоминания с помощью единственного адаптивного параметра. В памяти такого типа может храниться К/и обработан­ных в прошлом образцов, где К- число выходных сигналов; и -параметр памяти.

Рекуррентная сеть не может быть обучена стандартным мето­дом обратного распространения ошибки. NeuroSolutions содержит модификацию этого алгоритма, позволяющую проводить обуче­ние динамической сети. Нейроны выходного слоя обычно имеют линейную передаточную функцию. Такой выбор обусловлен стремлением воспроизвести волновую форму выходного сигнала. Нелинейности могут вызвать получение недопустимых значений в экстремальных точках и привести к ошибкам. Для нейронов входного слоя и скрытых слоев, как правило, подбираются нели­нейные активационные функции. В процессе решения задачи определяется объем обучающей и тестирующей выборки, в удоб­ном режиме конструируется архитектура сети (количество скры­тых слоев, число нейронов), выбирается вид активационных функций, способ и параметры обучения.