BC/NW 2008, №2 (13): 10.5

Большие нейронные сети в системах управления

Кабак И.С., Суханова Н.В.

(Москва, МГТУ «СТАНКИН», Россия )

В  докладе рассматривается новая аппаратно-программная технология создания больших искусственных нейронных сетей. Эта технология позволяет создавать системы управления сложными автоматическими техническими объектами:  системы распознавания образов (техническое зрение роботов), системы безопасности, ассоциативную память и др. Основные технические и научные результаты технологии подтверждены патентами РФ.

 

Современные системы управления оборудованием становятся все более сложными и интеллектуальными [1]. Это связано как с усложнением задач управления, так и с появлением все более сложных технических объектов.

Быстрое развитие вычислительной техники и снижение ее стоимости создает предпосылки для построения систем управления на базе искусственного интеллекта и, в частности, нейронных сетей.

Создание сложных систем управления на современном этапе развития техники и технологии в условиях и средах, поведение и состояние которых сложно прогнозировать. Такие системы управления должны быть адаптивными и обладать определенным уровнем искусственного интеллекта.

В докладе рассмотрены системы интеллектуального управления и экспертные системы  на базе искусственных нейронных сетей. Существует несколько основных способов реализации искусственного интеллекта в системах управления.

Устройства искусственной нейронной сети должны:

·        Быть простыми в эксплуатации и обслуживании

·        Иметь сравнительно невысокую стоимость

·        Быть перепрограммируемыми.

·        Иметь информационную избыточность, неиспользуемые в данный момент нейроны.

Известны три основных способов реализации искусственных нейронных сетей:

·        Аппаратная реализация, когда нейронная сеть является аппаратной  схемой, электронным устройством

·        Программная реализация, когда нейронная сеть является компьютерной программой, выполняемой на компьютере соответствующей вычислительной  мощности

·        Аппаратно-программная реализация, являющая комбинацией двух первых способов.

При аппаратной реализации нейронной сети возникает проблемы взаимных связей входов и выходов нейронов сети [2]. Полагают, что естественный нейрон человека связан с 10 ³ – 10 ⁴ других нейронов. На практике, трудно обеспечить общее количество линий связей между нейронами больше ста. Важнейшим свойством искусственной нейронной сети является ее способность к обучению.  Первоначально созданная нейронная сеть получает тестовые примеры и ей сообщают правильные результаты по этим тестам. Возможны и другие методы обучения. В процессе обучения сеть меняется, что сложно реализовать аппаратно.

При программной реализации таких проблем нет.  С ростом количества нейронов в сети растут требования к ресурсам вычислительной системы. Процессор компьютера является строго последовательным устройством обработки информации. Несмотря на быстрый рост возможностей современных компьютеров, занятых управлением техническими объектами, они существенно отстают от потребностей интеллектуального управления. Использование суперкомпьютеров для этих задач невозможно из-за экономических, технических и других причин.

При аппаратно-программной реализации искусственная нейронная сеть является комплексом аппаратных устройств, для работы и управления которыми используются аппаратные средства и программно реализованные алгоритмы. При аппаратно-программной реализации нейронной сети надо:

1.                 Создать аппаратный комплекс, реализующий большую нейронную сеть. Существенным является ограничения количества линий связи между модулями. Необходимо определить архитектуру и состав такой вычислительной системы, а также структуру и состав ее компонентов. В целом, такая система представляет собой совокупность вычислительных устройств параллельной обработки фрагментов нейронной сети, причем сами нейроны имеют чисто аппаратную реализацию, а связи между нейронами в таком устройстве реализуются в виде информации в оперативной памяти.

2.                 Разработать новую архитектуру нейронной сети, позволяющую осуществлять трафик информации в нейронной сети в целом или ее фрагментах, снять ограничения на количество возможных связей нейрона.

3.                 Для рационального распределения нейронов между обрабатывающими модулями вычислительной системы необходимо провести декомпозицию нейронной сети и выделить в ней отдельные фрагменты.

Рассмотрим коммутаторную архитектуру искусственной нейронной сети [3-4].

В традиционной  архитектуре сеть состоит из однотипных элементов- нейронов. Нейроны при традиционной архитектуре выполняют две функции:

1.                 Обрабатывают информацию, поступившую на вход, и вырабатывают выходной значение- функция обработки.

2.                 Масштабируют и передают выходное значение другим нейронам - функция транспорта информации.

Представим нейронную сеть, как – распределенную систему, состоящую из двух подсистем (по числу выполняемых функций):

·  Обрабатывающей- являющейся совокупностью более простых нейронов, поскольку им не надо передавать потребителям информацию. Это снимает ограничения на количество соседних нейронов.

·   Транспортной - масштабирующей и передающей информацию по назначению. Транспортная подсистема может быть реализована, как комплекс связанных между собой линиями связи коммутаторов (устройств распределения информации).

Такая архитектура названа коммутаторной [6-8]. Каждый нейрон информационно связан с одним из коммутаторов, он принимает от него входную информацию и передает ему выходную информацию и имеет только один вход и один выход.

 Переданная коммутатору информация транспортной подсистемой будет передана коммутаторам, к которым подключены нейроны - потребители информации. Коммутаторы образуют  древовидную структуру, причем имеются коммутаторы, непосредственно связанные с нейронами (базовые коммутаторы), и коммутаторы, связанные только с другими коммутаторами (коммутаторы верхнего уровня), обеспечивающие передачу информации между базовыми коммутаторами.

Для сокращения трафика информации в коммутаторной нейронной сети, сгруппируем нейроны по критерию их информационной близости друг к другу. Поскольку рассматривалась древовидная структура транспортной подсистемы, суммарный трафик информации в сети зависит от расположения нейронов в древовидной структуре.

Справедлива постановка задачи оптимизации - перераспределить нейроны между базовыми коммутаторами, так чтобы, минимизировать трафик в сети. Эта задача эквивалентна фрагментации нейронной сети на автономные группы информационно связанных между собой нейронов, причем максимальный размер группы задается и равен  количеству входов базового коммутатора.

Коммутаторная сеть другая форма представления нейронной сети, так что любую нейронную сеть можно преобразовать в коммутаторную и наоборот.

Полученные в результате  фрагментации группы нейронов выполняют некоторые подзадачи общей задачи. Таким образом, задача фрагментации близка к декомпозиции нейронной сети. Наиболее перспективна декомпозиция, когда имеется структурная однотипность комплекса в целом и декомпозируемых компонентов. Нейрон в коммутаторной нейронной сети  имеет только один вход и один выход. Преобразуем автономную группу нейронов в домен, имеющий, как и нейрон, один вход и один выход. Для этого добавим к автономной группе специальный компонент- шлюз домена (рис.1.).

Рис.1. Структура домена нейронной сети

Шлюз домена обеспечивает трафик информации между внешними и внутренними нейронами домена. Он разделяет внешнее адресное пространство и адресное пространство внутри домена. Домен является автономным компонентом коммутаторной нейронной сети.

Рассмотрим доменную нейронную сеть, состоящую из доменов и построенную по коммутаторной технологии.

Домен является базовым элементом такой сети и состоит из нейронов  и доменов более низкого уровня. Доменная организация позволяет разбить сеть на максимально независимые друг от друга фрагменты сети (домены). На уроне сети оптимизируется трафик информации между доменами.

Рассмотрим аппаратно-программную реализацию домена, когда он является одним аппаратным модулем [5]. Связь доменов в рамках нейронной сети обеспечивается локальной сетью, определенного типа. Унификация аппаратных модулей-доменов позволит создавать их как некоторые чипы (интегральные схемы), выпускаемые большими партиями, а потому сравнительно недорогие.

Объемно-модульная технология построения доменных нейронных сетей предполагает, что отдельные модули, имеющие кубическую форму, образуют в пространстве кубическую решетку. Построенная по этой технологии система функционально состоит их двух типов компонентов (рис.2.):

·  Базовых модулей.

·  Периферийных модулей.

Базовые модули составляют нейронную сеть, включая в себя аппаратно реализованные домены. Каждый базовый модуль имеет шесть разъемов, по одному на каждой грани куба. Эти разъемы названы моноканалом и включают как канал для обмена информацией между модулями, так и питание модуля. Моноканал осуществляет механическое крепление модулей.

Рис.2. Структура аппаратной части интеллектуальной системы

Важной особенностью коммутаторной архитектуры является хранение таблицы связей не в нейроне, а базовом коммутаторе. Перенос матрицы связей домена в другой, равный или больший по количеству нейронов домен, эквивалентен клонированию (созданию копии)  исходного домена.

Базовый модуль состоит из следующих компонентов (рис.3):

·  Сетевого контроллера, осуществляющего прием, анализ, передачу информации по сети. Сетевой контроллер выполняет функции сетевого коммутатора для более простых сетей, хотя в будущем, при увеличении степени интеграции микросхем, возможны и более сложные функции, например, маршрутизация.

·  Внутренней памяти, хранящей необходимые для работы сетевого контроллера и домена информацию.

·  Одного или нескольких (в дальнейшем, при повышении степени интеграции микросхем) доменов, архитектура которых была рассмотрена выше. Отметим, что домен имеет только один вход и один выход. Он информационно связан с сетевым контроллером, от которого он получает и которому передает информацию.

Рис.3. Структура базового модуля

Периферийные модули выполняют в работе системы вспомогательные функции:

1.                 Обеспечивают питание базовых модулей системы

2.                 Хранят знания доменов, в частности, хранят таблицы связи (весовых коэффициентов) доменов.

3.                 При инициализации системы загружают в базовые модули знания доменов

4.                 При инициализации и в процессе работы при сбоях и отказах базовых модулей, обеспечивают первоначальную или повторную маршрутизацию, создавая маршруты передачи данных в кубической решетчатой сети и передавая базовым модулям таблицы коммутации сетевых контроллеров.

 Фактическая работа базовых и периферийных модулей существенно сложнее. Например, предусмотрено, что при инициализации системы, базовый модуль сам определяет свой адрес, что позволяет собирать систему без учета положения модулей в кубической решетке.

Выводы

 

1.                 Коммутаторная архитектура нейронной сети позволяет реализовать большие нейронные сети

2.                 Применение доменной архитектуры фрагментирует большую сеть на слабосвязанные части

3.                 Возможна аппаратная реализация больших нейронных сетей, как совокупности унифицированных аппаратных блоков с загруженной в них информацией о структуре и связях нейронной сети.

ЛИТЕРАТУРА

1.     Люгер Д. Искусственный интеллект М.: Мир, 2003. 690 с.

2.     Теория нейронных сетей./под ред. Галушкина А.И. –М: ИПРЖР,2000г

3.     Кабак И.С., Суханова Н.В. Нейронная сеть. Патент РФ  .

4.     Кабак И.С., Суханова Н.В. Доменная Нейронная сеть. Патент РФ.

5.     Кабак И.С., Суханова Н.В. Модульная  вычислительная система Патент РФ.

6.     Кабак И.С. Коммутаторная архитектура больших нейронных сетей. Труды международной научно-технической конференции Информационные средства и технологии Москва,16-18 октября 2007 том 3 стр.124…127

7.      Кабак И.С. Доменная организация коммутаторных нейронных сетей. Труды международной научно-технической конференции Информационные средства и технологии Москва,16-18 октября 2007 том 3 стр.128…131 

8.      Кабак И.С., СТЕПАНОВ С.Ю. Оптимизация трафика информации в  коммутаторной нейронной сети. Труды международной научно-технической конференции Информационные средства и технологии Москва,17-19 октября 2006 том 3 стр.163…167