- Реализация многослойного персептрона и сети адаптивного резонанса
- Искусственные нейронные сети
- Новые архитектуры и алгоритмы обучения дискетных нейронных сетей адаптивной резонансной теории
- Архитектура нейронных сетей
- Классификатор на основе нейронной сети ART-1
- Ассоциативная память. Адаптивная резонансная теория. Оптические нейронные сети
Реализация многослойного персептрона и сети адаптивного резонанса
Быканов Н. П. Реализация многослойного персептрона и сети адаптивного резонанса [Текст] // Технические науки: проблемы и перспективы: материалы IV Междунар. науч. конф. (г. Санкт-Петербург, июль 2016 г.). — СПб.: Свое издательство, 2016. — С. 6-9. — URL https://moluch.ru/conf/tech/archive/166/10827/ (дата обращения: 26.02.2019).
Реализация многослойного персептрона и сети адаптивного резонанса
Быканов Никита Павлович, студент
Балтийский государственный технический университет «Военмех» имени Д. Ф. Устинова
Нейронные сети, называемые персептронами (от лат. perceptio — восприятие), представляют математическую модель процесса восприятия образов.
Эта модель реализуется в виде слоев нейронов: рецепторного слоя и одного или нескольких слоев преобразующих нейронов [1, c.56].
Под обучением многослойного персептрона понимается процесс адаптации сети к предъявленным эталонным образцам путем модификации весовых коэффициентов связей между нейронами.
Обратите внимание
Сеть обучается методом обратного распространения ошибки. Обучение многослойного персептрона методом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямой и обратный.
При прямом проходе образ (входной вектор) подается на сенсорные узлы сети, после чего распространяется от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ.
Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода они настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого отклика, в результате чего формируется сигнал ошибки.
Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название «алгоритм обратного распространения ошибки».
Для обучения нейронной сети c помощью персептрона выбираются четыре образца из предлагаемых изображений. Образцы для обучения сети представлены на рисунке 1.
Рис. 1. Образцы рисунков для обучения сети
В процессе обучения производится тестирование обобщающих свойств сети. Для этого формируется тестовая выборка из восьми образцов. В качестве тестовых образцов используются условно «искаженные» обучающие образцы.
Для этого из каждого обучающего образца формируются два условно «поцарапанных» образца — в них часть точек не «белого» цвета заменяется на «белый».
Для тестовых образцов вычисляется ошибка на выходе сети, но она не используется для корректировки весовых коэффициентов.
Важно
На рисунках 2 и 3 представлены результаты выполнения программы в момент обучения и в момент расчета.
Рис. 2. Обучение сети
Рис. 3. Расчет сети
Сети адаптивного резонанса — разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера [2, c.35].
В сетях адаптивной резонансной теории (АРТ) предпринимается попытка приблизить механизм запоминания образов в ИНС к биологическому.
Результатом работы АРТ является устойчивый набор запомненных образов и возможность выборки «похожего» образа по произвольному вектору, предъявленному на вход сети.
Важное качество АРТ динамическое запоминание новых образов без полного переобучения и отсутствие потерь уже запомненных образов при предъявлении новых.
В процессе классификации образов можно выделить пять основных фаз: инициализацию, распознавание, сравнение, поиск и обучение.
Инициализация. Перед началом процесса обучения сети АРТ все весовые векторы несвязанных нейронов, а также параметр сходства должны быть установлены в начальные значения. Всем весам векторов присваиваются одинаковые малые значения.
Распознавание. В начальный момент времени вектор X отсутствует на входе сети. Следовательно, все компоненты входного вектора X можно рассматривать как нулевые: xi = 0.Затем на вход слоя сравнения подается вектор X, который должен быть классифицирован.
Совет
Сравнение.В слое сравнения веер сигналов отклика слоя распознавания сравнивается с компонентами вектора X. Выход слоя сравнения C теперь содержит единичные компоненты только в тех позициях, в которых единицы имеются и у входного вектора X и у вектора обратной связи P.
Если в результате сравнения векторов C и X не будет обнаружено значительных отличий, то нейрон сброса остается неактивным. Вектор C вновь вызовет возбуждение того же нейрона-победителя в слое распознавания, что и удачно завершит процесс классификации.
В противном случае будет выработан сигнал сброса, который начнет фазу поиска.
Поиск. Если значение параметра сходства выигравшего нейрона превышает пороговый уровень, поиск не требуется, процесс классификации на этом завершается. В противном случае другие запомненные образы должны быть исследованы с целью поиска лучшего соответствия.
Обучение. Обучающий алгоритм используется в случае как успешного, так и неуспешного поиска. Вектору весов возбужденного нейрона в распознающем слое присваиваются новые значения.
Для реализации сети АРТ-1 рассмотрим набор примеров для обучения из 5 образцов.
Каждый образец — это символ, состоящий из 12 точек (матрица 4х3).
Точка может быть белой (Хi = 0) или черной (Хi = 1). Пример образца представлен на рисунке 4.
Рис. 4. Пример для обучения сети АРТ
Кодировка образца: 0100 0110 1101
Образцы последовательно подаются на вход сети. Параметр — «порог сходства» по умолчанию: 0.8 (предусмотреть возможность его изменения).
Алгоритм реализации:
Реализация сети АРТ-1 представлена на рисунке 5.
Рис. 5. Обучение сети АРТ
Типовые задачи, решаемые в контексте ИНС и представляющие научный и практический интерес, можно подразделить следующим образом:
Таким образом, с помощью многослойного персептрона, используя алгоритм обратного распространения ошибки, можно решать задачи классификации, а при решении задач кластеризации можно использовать сети адаптивной резонансной теории.
Литература:
Основные термины (генерируются автоматически): многослойный персептрон, обучение сети, обратное распространение ошибки, сеть, входной вектор, вход сети, адаптивный резонанс, входной образ, противный случай, адаптивная резонансная теория.
Реализация многослойного персептрона и сети адаптивного…
многослойный персептрон, обучение сети, обратное распространение ошибки, сеть, входной вектор, вход сети, адаптивный резонанс, входной образ, противный случай, адаптивная резонансная теория.
многослойный персептрон, обучение сети, обратное распространение ошибки, сеть, входной вектор, вход сети, адаптивный резонанс, входной образ, противный случай, адаптивная резонансная теория.
Реализация многослойного персептрона и сети адаптивного…
Сети адаптивного резонанса — разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера [2, c.35].
Для ее решения часто используют классическую полносвязную нейронную сеть прямого распространения (многослойный персептрон), для обучения которого используется алгоритм обратного распространения ошибки.
Реализация многослойного персептрона и сети адаптивного…
Обучение многослойного персептрона методом обратного распространения ошибки. Во время прямого прохода все синаптические веса сети фиксированы.
нейронная сеть, сеть, GRNN, нейрон, задача, вход, распознавание образов, типовая структура, адаптивно–резонансная теория, ассоциативная память. Программная реализация сети Хопфилда для распознавания… Длительность обучения персептрона прямо пропорциональна…
Обучение многослойного персептрона методом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямой и обратный. При прямом проходе образ (входной вектор) подается на сенсорные узлы сети…
нейронная сеть, входной слой, сумма активов, многослойный персептрон, коэффициент корреляции, обратное распространение, скрытый слой, модель, выходной слой, выходное значение.
Искусственные нейронные сети
Содержание:
Введение
4. Вероятностная нейронная сеть
8.2 Процесс кластеризации
8.3 Применение кластерного анализа
Иску?сственные нейро?нные се?ти (ИНС) математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей сетей нервных клеток живого организма.
Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Первой такой попыткой были нейронные сети Маккалока и Питтса.
Впоследствии, после разработки алгоритмов обучения, получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др.
ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах.
Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам.
И тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи.
Обратите внимание
С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п.
С математической точки зрения, обучение нейронных сетей это многопараметрическая задача нелинейной оптимизации. С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники.
С точки зрения развития вычислительной техники и программирования, нейронная сеть способ решения проблемы эффективного параллелизма.
А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами.
В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение.
Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или зашумленных, частично искаженных данных.
Нейронные сети возникли из исследований в области искусственного интеллекта, а именно, из попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга (Patterson, 1996).
Важно
Основной областью исследований по искусственному интеллекту в 60-е – 80-е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на представлении, что процесс нашего мышления построен на манипуляциях с символами).
Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, не ухватывают некоторые ключевые аспекты человеческого интеллекта. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоянии воспроизвести структуру мозга.
Чтобы создать искусственных интеллект, необходимо построить систему с похожей архитектурой.
Мозг состоит из очень большого числа (приблизительно 10,000,000,000) нейронов, соединенных многочисленными связями (в среднем несколько тысяч связей на один нейрон, однако это число может сильно колебаться). Нейроны – это специальная клетки, способные распространять электрохимические сигналы.
Нейрон имеет разветвленную структуру ввода информации (дендриты), ядро и разветвляющийся выход (аксон). Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону. Через синапсы этот сигнал достигает других нейронов, которые могут в свою очередь активироваться.
Нейрон активируется тогда, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации).
Интенсивность сигнала, получаемого нейроном (а следовательно и возможность его активации), сильно зависит от активности синапсов. Каждый синапс имеет протяженность, и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей нейросистем, Дональд Хебб, высказал постулат, что обучение заключает?/p>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- Далее
- На последнюю страницу
Новые архитектуры и алгоритмы обучения дискетных нейронных сетей адаптивной резонансной теории
Transcript
- 681.513:620.1. . . . . . e-mail: Arcade@i.ua- – (). – .: -, ., , , , () . – , , [1 4]. – , , . , , , , – , – . , , , – ., , , , [3 6]. , .. , , . , , – , , – , , , , – .. [5 7]. – .-, “” “” , , , , , -, . , “” “” – , – , , -. , , , – , – , –
- .. .89, , . – : , , – .. , – .[1 6] – (.. ) – (). () (). – – [5 9]. – , , S- Y- n m (n S- ; m Y-) – , . [7 11] – ( ) , , – , Y-. – – Y- – .- , – , , – . -1 . , ., – .-1-1 . 1 , – . – , – , , . , [7 11], , , – . – , . , — , , , .
- 15(70) 200990- , -. , ( ), [7 10].: – S-, – ; Z- ; Y-. Z- S- F1 . , : R, G1 G2 .iS ( ni ,1 ) – -iZ ( ni ,1 ) . -R, G1 G2. iZ ( ni ,1 )) ,1( mjY j -R. 1 0 ), ,1 ; ,1( 11 ijij WmjniW -Z- Y-.) ,1 ; ,1( 2 nimjW ji. – Z- 1G . Z- R. G1,2G R. iS iZ ( ni ,1 ), 1G 2G – : 0 1.Y- , . 1 -, . ) ,1( mjY j: , -1 -, jYU20 jYU Z-:niZijYY ijjUWUU11;, 1 jYU , jY -; , 0 jYU , –;, 1 jYU , , ,, .
- .. .91-1 , Y- G1 Z- R, – .Z- Y- : Z- – 1G S Y; Y- – 2G , R Z-. Z- Y- – ” “, -. , Y- n Z-, 2G , – .-1 , [8 11].-1.-1 . 1.: ),0,0,0,0,1,1,1,1(1 S ),0 0, 0, 0, 1, 1, 1, ,0(2 S ),0 0, 0, 0, 1, 1, 0, ,1(3 S),0 0, 0, 0, 1, 0, 1, ,1(4 S ),0 0, 0, 0, 0, 1, 1, ,1(5 S ),1 1, 1, 1, 0, 0, 0, ,0(6 S),1 1, 1, 0, 0, 0, 0, ,0(7 S ),1 1, 0, 1, 0, 0, 0, ,0(8 S ),1 0, 1, 1, 0, 0, 0, ,0(9 S).0 1, 1, 1, 0, 0, 0, ,0(10 S -. 521 …, , , SSS , , …, , , 1076 SSS -, 1S 6S , . : m = 6 Y- -; n = 8 ; = 0,5 ; ,521 …, , , SSS 1076 …, , , SSS ,; 111,0)81/(1)1/(11 nWij1ijW )6 ,1 ;8 ,1( ji ; 2jiW = 12jiW ;8 ,1( i)6 ,1j ; L = 2 , ;8 ,1( 1 iWij )6 ,1 j – ; q = 10 ., – : }, , ,{ }, ,{ }, , ,{ 87654321 SSSSSSSS}, ,{ 109 SS -. , 1021 …, , , SSS . , – rK 521 …, , , SSS : }} ,{ }, , ,{{ 543211 SSSSSK( ); }} ,{ }, , ,{{ 534212 SSSSSK ; }} ,{ }, , ,{{ 435213 SSSSSK ;}, , ,{{ 5314 SSSK }} ,{ 42 SS ..-1. -, –
- 15(70) 200992. -, – , .521 …, , , SSS ( …, , , 76 SS 10 S ): 0S )0 ,0 ,0 ,0 ,0 ,0 ,0 ,0( . , -. – – . .-, – – – , – , , – “”, , [11]. – , – ..154321 SSSSSS 1S – ,1W 2W , , , , , – .- Y- , – 61 , SS ,1021 …, , , SSS } , , , ,{ }, , , , ,{ 10987654321 SSSSSSSSSS . ,-1 – : , , …, , , , 121 qqkkk SSSSS, qqkkk SSSSS 121 … .., qqkkk SSSSS 121 … ,, , . , , , , , , , , , , 61109875432 SSSSSSSSSS , 0,5, : }{ },{ }, ,{ }, ,{ }, ,{ }, ,{ 61109875432 SSSSSSSSSS .- , , -, . , – , –
- .. .93. – – , [11]. , -, . .,8n p 0,8 – 1Y 2Y1S (1,1,1,1,0,0,0,1), 2S (0,1,1,1,1,0,1,0), : 111,0)1/(11 nWij ( mji ,3 ;8 ,1 ); 333,011 iW 8); 4, 3, 2, ,1( i 011 iW 7); 6, ,5( i333,012 iW 7); 5, 4, 3, 2, ( i 012 iW 8); 6, ,1( i 121 iW 8); 4, 3, 2, ,1( i 021 iW7); 6, ,5( i 122 iW 7); 5, 4, 3, 2,( i 022 iW ( i 8). 6, ,13S (1,1,1,1,0,0,1,0) – : ,665,15333,021 YY UU…43 YYUU .555,05111,0 mYU1Y ,p ,8,05/43 SUp ZZU ;Z3S.3S , — .2Y , – , Y-, – . . – -1 ,1RR (. 1), 1jY ). ,1( mj1jY.jY 1jY ), ,1( mj -, , -. 1jY ) ,1( mj “” jY.1R 1jY -1jY -.jY -., . 1Y – , – , ,
- 15(70) 2009941Y – , -.- -1 , – , – , [11]. Z-. , , . . 2 d – . d : 1R , 11G ,12G , ,dR , dG1 , dG2 . , 2 RG -) ,1( 2 dqGq ) ,1( dqRq .. 2. d. 1.. . . . . .R11ijW. . . . . .. . . . . .. . . . . . RZiS1 Si SnG111Y1jY1mYY1 YGZ12jiWYjZndG111G11ijW. .Y-12jiW1dijW 2djiWdG21Z1S2GdS1RRdR12G
- .. .952G , – ” “, – ) ,1( 2 dqGq . – – R- – , – ) ,1( dqRq . , .qF1 ) ,1( dq , – 1F -1 [11].Y- , -1, , , . – – , -1.-1 , , ., , , – . – , – ., – – – , . – – ., ( ) . – . – -1 , , ., – .1. .. [] .. , .. . .: , 2002. 94 .
- 15(70) 2009962. Neural networks for control / Edited by W. Thomas Miller III, Richard S. Sutton, and Paul J. Werbos, Cambridge, Massachusetts, London: MIT Press, 1996. 524 P.3. .. : , , [] . . .: , 2004. 176 .4. .. . 2- . 2 [] .. . .: , 2004. 464 .5. . : [] . . .: , 2006. 1104 .6. .. : . [] .. .., .. . .: – . .. , 2002. 320 .7. Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science 1987. Vol. 11. P. 23 63.8. Carpenter G.A., Grossberg S. A massively parallel architecture for selforganizing neural pat-tern recognition machine // Computing, Vision, Graphics and Image Processing. 1987. Vol. 37. P. 54 115.9. .., .. [] .. , .. . : , 2001. 159 .10. Fausett L. Fundamentals of Neural Networks. Architectures, Algorithms and Applica-tions. New Jersey: Prentice Hall International, Inc., 1994. 461 p.11. .. [] / .., .., .., .. .: , 2003. 248 .NEW ARCHITECTURES AND TRAINING ALGORITMS OF DISCRETE NEURAL NETWORKS OF ADAPTIVE RESONANCE THEORYV. D. DMITRIENKO I. P. KHAVINA . Y. ZKVRTNYI National Technical University Kharkov Polytechnic Institute e-mail: Arcade@i.uaIn article analyzed lacks and advantages of architecture and training algorithms of Adaptive Resonance Theory (ART) discrete neural net-works. Offered new architectures of ART neural networks and training algorithms of these networks without adaptation weights connections of distributed recognizing neurons.Key words: adaptive resonance theory discrete neural networks,training algorithms.
Архитектура нейронных сетей
ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 5): сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.
Сеть РБФ (радиально-базисных функций) — искусственная нейронная сеть, которая использует радиальные базисные функции как функции активации.
АРТ ‑ Адаптивная резонансная теория, сети адаптивного резонанса — разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера. Включает в себя модели, использующие обучение с учителем и без учителя и используются при решении задач распознавания образов и предсказания.
Нейронные сети различают по:
· структуре сети (связей между нейронами);
· особенностям модели нейрона;
· особенностям обучения сети.
По структуре нейронные сети можно разделить (рисунок 
на:
· неполносвязные (или слоистые) и полносвязные;
· со случайными и регулярными связями;
· с симметричными и несимметричными связями.
Рисунок 8 – Классификация нейронных сетей по структуре
Неполносвязные нейронные сети (описываемые неполносвязным ориентированным графом и обычно называемые перцептронами), подразделяются на однослойные (простейшие перцептроны) и многослойные, с прямыми, перекрестными и обратными связями.
В нейронных сетях с прямыми связями нейроны j-ого слоя по входам могут соединяться только с нейронами i-ых слоев, где j > i , т.е. с нейронами нижележащих слоев. В нейронных сетях с перекресными связями допускаются связи внутри одного слоя, т.е. выше приведенное неравенство заменяется на j > = i .
В нейронных сетях с обратными связями используются и связи j-ого слоя по входам с i-ым при j < i.
С точки зрения топологии можно выделить три основных типа нейронных сетей:
· полносвязные (рисунок 9, а);
· многослойные или слоистые (рисунок 9, б);
· слабосвязные (с локальными связями) (рисунок 9, в).
Рисунок 9 – Архитектуры нейронных сетей: а – полносвязная сеть, б – многослойная сеть с последовательными связями, в – слабосвязные сети
Совет
В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.
В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из Q слоев, пронумерованных слева направо.
Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько скрытых слоев.
Связи от выходов нейронов некоторого слоя q к входам нейронов следующего слоя (q+1) называются последовательными.
В свою очередь, среди многослойных нейронных сетей выделяют следующие типы.
1) Монотонные. Это частный случай слоистых сетей с дополнительными условиями на связи и нейроны. Каждый слой кроме последнего (выходного) разбит на два блока: возбуждающий и тормозящий. Связи между блоками тоже разделяются на тормозящие и возбуждающие.
Если от нейронов блока А к нейронам блока В ведут только возбуждающие связи, то это означает, что любой выходной сигнал блока является монотонной неубывающей функцией любого выходного сигнала блока А. Если же эти связи только тормозящие, то любой выходной сигнал блока В является невозрастающей функцией любого выходного сигнала блока А.
Для нейронов монотонных сетей необходима монотонная зависимость выходного сигнала нейрона от параметров входных сигналов.
2) Сети без обратных связей.
В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя.
Обратите внимание
Если не оговорено противное, то каждый выходной сигнал q-гo слоя подастся на вход всех нейронов (q+1)-гo слоя; однако возможен вариант соединения q-гo слоя с произвольным (q+p)-м слоем.
Среди многослойных сетей без обратных связей различают полносвязанные (выход каждого нейрона q-гo слоя связан с входом каждого нейрона (q+1)-гo слоя) и частично полносвязанные. Классическим вариантом слоистых сетей являются полносвязанные сети прямого распространения (рисунок 10).
Рисунок 10 – Многослойная (двухслойная) сеть прямого распространения
3) Сети с обратными связями. В сетях с обратными связями информация с последующих слоев передается на предыдущие. Среди них, в свою очередь, выделяют следующие:
· слоисто-циклические, отличающиеся тем, что слои замкнуты в кольцо: последний слой передает свои выходные сигналы первому; все слои равноправны и могут как получать входные сигналы, так и выдавать выходные;
· слоисто-полносвязанные состоят из слоев, каждый из которых представляет собой полносвязную сеть, а сигналы передаются как от слоя к слою, так и внутри слоя; в каждом слое цикл работы распадается на три части: прием сигналов с предыдущего слоя, обмен сигналами внутри слоя, выработка выходного сигнала и передача к последующему слою;
· полносвязанно-слоистые, по своей структуре аналогичные слоисто-полносвязанным, но функционирующим по-другому: в них не разделяются фазы обмена внутри слоя и передачи следующему, на каждом такте нейроны всех слоев принимают сигналы от нейронов как своего слоя, так и последующих.
В качестве примера сетей с обратными связями на рисунке 11 представлены частично-рекуррентные сети Элмана и Жордана.
Рисунок 11 – Частично-рекуррентные сети: а – Элмана, б – Жордана
В слабосвязных нейронных сетях нейроны располагаются в узлах прямоугольной или гексагональной решетки. Каждый нейрон связан с четырьмя (окрестность фон Неймана), шестью (окрестность Голея) или восемью (окрестность Мура) своими ближайшими соседями.
Известные нейронные сети можно разделить по типам структур нейронов на:
· гомогенные (однородные);
· гетерогенные.
Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации.
Еще одна классификация делит нейронные сети на:
· синхронные;
· асинхронные.
В первом случае в каждый момент времени лишь один нейрон меняет свое состояние, во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Алгоритмически ход времени в нейронных сетях задается итерационным выполнением однотипных действий над нейронами.
По используемым на входах и выходах сигналам нейронные сети можно разделить на:
· аналоговые;
· бинарные.
Бинарные оперируют только двоичными сигналами, и выход каждого нейрона может принимать значение либо логического ноля (заторможенное состояние) либо логической единицы (возбужденное состояние).
По моделированию времени нейронные сети подразделяются на сети:
· с непрерывным временем;
· с дискретным временем.
Для программной реализации применяется как правило дискретное время.
По способу подачи информации на входы нейронной сети различают:
· подачу сигналов на синапсы входных нейронов;
· подачу сигналов на выходы входных нейронов;
· подачу сигналов в виде весов синапсов входных нейронов;
· аддитивную подачу на синапсы входных нейронов.
По способу съема информации с выходов нейронной сети различают:
· съем с выходов выходных нейронов;
· съем с синапсов выходных нейронов;
· съем в виде значений весов синапсов выходных нейронов;
· аддитивный съем с синапсов выходных нейронов.
По организации обучения разделяют обучение нейронных сетей:
· с учителем (supervised neural networks);
· без учителя (nonsupervised).
При обучении с учителем предполагается, что есть внешняя среда, которая предоставляет обучающие примеры (значения входов и соответствующие им значения выходов) на этапе обучения или оценивает правильность функционирования нейронной сети и в соответствии со своими критериями меняет состояние нейронной сети или поощряет (наказывает) нейронную сеть, запуская тем самым механизм изменения ее состояния.
По способу обучения разделяют обучение:
· по входам
· по выходам.
При обучении по входам обучающий пример представляет собой только вектор входных сигналов, а при обучении по выходам в него входит и вектор выходных сигналов, соответствующий входному вектору.
По способу предъявления примеров различают:
· предъявление одиночных примеров
· предъявление “страницы” примеров.
В первом случае изменение состояния нейронной сети (обучение) происходит после предъявления каждого примера. Во втором – после предъявления “страницы” (множества) примеров на основе анализа сразу их всех.
Под состоянием нейронной сети, которое может изменяться, обычно понимается:
· веса синапсов нейронов (карта весов – map) (коннекционистский подход);
· веса синапсов и пороги нейронов (обычно в этом случае порог является более легко изменяемым параметром, чем веса синапсов);
· установление новых связей между нейронами (свойство биологических нейронов устанавливать новые связи и ликвидировать старые называется пластичностью).
По особенностям модели нейрона различают нейроны с разными нелинейными функциями:
пороговой;
Наиболее часто в качестве функций активации используются следующие виды сигмоид:
Функция Ферми (экспоненциальная сигмоида):
Рациональная сигмоида (при=0 вырождается в т.н. пороговую функцию активации):
Гиперболический тангенс:
,
где s — выход сумматора нейрона,— произвольная константа.
Перечисленные функции относятся к однопараметрическим.
Также используются многопараметрические передаточные функции, например,.
Наиболее распространенные модели нейронных сетей:
· модель Хопфилда;
· машина Больцмана;
· сеть Кохонена;
· модель Хэмминга;
· многослойный персептрон.
Дата добавления: 2016-12-27; просмотров: 6261;
Классификатор на основе нейронной сети ART-1
Е.С.Борисов
понедельник, 5 октября 2009 г.
В этой работе построен классификатор, распознающий картинки с цифрами от до . Для реализации классификатора используется нейронная сеть ART-1.
При построении классификаторов может возникать проблема стабильности – пластичности, которая заключается в необходимости постоянного разрешения дилеммы: является ли текущий образ искажением “старого”, т.е.
уже предъявлявшегося ранее, или это “новый” образ, существенно отличающийся от “старых”. Восприятие системы должно быть пластично, т.е. способно воспринимать новую информацию, и при этом – стабильно, т.е.
не разрушать память о старых образах.
Решение этой проблемы было предложено С.Гроссбергом в теории адаптивного резонанса (ART)[1]. Согласно ей общая схема интеллектуальной системы состоит из двух типов памяти: кратковременной (STM) и долговременной (LTM), которые связаны между собой.
Текущий входной образ помещается в кратковременную память и сравнивается с хранящимися в долговременной памяти. Если содержимое STM похоже на образ из LTM то возникает состояние резонанса – т.е. система “узнаёт” входной образ. В противном случае текущий входной образ считается “новым”.
Таким образом реализуется детектор новизны образов[2].
Гипотеза Гроссберга состоит в том, что только резонансные состояния мозга достигают рационального уровня сознания[3].
Важно
Это перекликается с понятием естественного (человеческого) языка, который часто ошибочно определяют как средство общения, в то время как средством общения есть речь.
Язык же есть средством разделения, инструментом сегментации и классификации окружающего мира. Человек способен видеть (воспринять) только то, что присутствует в его языке (состояние резонанса).
На базе теории адаптивного резонанса было разработано несколько нейросетевых моделей. В этой статье мы рассмотрим нейронную сеть ART-1[4].
ART-1 относится к дискретным (работает с бинарными сигналами) рекуррентным нейронным сетям и состоит из трёх слоёв (входного и двух обрабатывающих) и двух специальных блоков (управления и сброса). Общая схема этой сети приведена на рис.1.
Рис.1: нейронная сеть ART-1
Нейроны входного слоя соединёны с соответствующими нейронами первого слоя, блоком сброса и блоком управления . Каждый нейрон первого слоя соединён со всеми нейронами второго слоя и блоком сброса . Нейроны второго слоя соединёны со всеми нейронами первого слоя и блоком управления .
Общая схема функционирования сети выглядит следующим образом.
Рассмотрим теперь эти механизмы подробнее.
Каждый нейрон первого слоя имеет три входа.
(1)
где- выход -го нейрона второго слоя,- весовой коэффициент.
Второй слой реализует алгоритм “победитель берёт всё” (WTA), поэтому выход только одного нейрона второго слоя будет активен.
Выход нейронапервого слоя будет активен только если активны два или три его входа (т.н. правило “два из трёх”).
(2)
Здесь реализуется немного усложнённый алгоритм “победитель берёт всё” (WTA). “Победителем” считается нейрон второго слоя с максимальным состоянием.
(3)
(4)
где- выход-го нейрона первого слоя,- весовой коэффициент.
Выходная активность нейрона-победителя устанавливается равной единице, остальные нейроны остаются неактивны.
(5)
Любой нейрон второго слоя может находиться в заблокированном состоянии, т.е. для него установлен сигнал сброса R. Это означает, что он “не допускается до участия в соревнованиях”.
Кроме того, любой нейрон второго слоя может быть зарезервирован. Это означает, что он стал частью LTM и весовые коэффициенты связей этого нейрона несут информацию о некотором образе. Отсюда следует, что количество образов, которые способна вместить система, равна количеству нейронов второго слоя.
После вычисления активности второго слоя, сигнал возвращается к первому слою и повторно вычисляется его активность. Затем выполняется сравнение входного образа X с текущим выходом нейронов первого слоя.
(6)
где- выход-го нейрона первого слоя,–го компонента входного образа,- константа (т.н. параметр бдительности).
Если выполняется отношение (6) то система пришла в состояние резонанса, т.е. входной образ успешно классифицирован, номер класса соответствует номеру нейрона победителя второго слоя.
Если отношение (6) не выполняется то здесь возможны два варианта.
Как и в случае перцептрона[5] память системы есть матрицы весовых коэффициентов связей нейронов. Но в отличии от него процесс функционирования сетей ART не разделяется на две фазы обучения и рабочего состояния.
ART-1 способна обучаться постоянно и самостоятельно, по мере поступления новых образов. Если система обнаружила новый образ то резервируется нейрон второго слоя и модифицируются веса его связей по следующим правилам.
(7)
(8)
где- константа,- выход-го нейрона первого слоя, – номер нейрона-победителя второго слоя.
Начальные значения весовых матриц следующие.
(9)
(10)
где- константа,- размер выходного вектора X.
который ещё не был “победителем”
то перейти на п.14
иначе перейти на следующий пункт
иначе перейти на следующий пункт
то обнаружен новый образ, перейти на п.16
иначе перейти на следующий пункт
перейти на п.17
найти свободный нейрон второго слоя
то память заполнена, невозможно запомнить новый образ, перейти на п.17
иначе перейти на следующий пункт
модифицировать его веса согласно (7) и (8)
Отметим, что это несколько упрощённый алгоритм ART-1, в оригинале веса связей модифицируются в любом случае: как при обнаружении нового образа, так и при успешной классификации.
Таким образом моделируется адаптивность системы. Однако такой алгоритм ведёт к постепенному, необратимому обнулению матриц весов и рано или поздно система перестанет работать.
Своеобразная математическая модель русской поговорки “много будешь знать – скоро состаришься”.
В этой работе реализован классификатор бинарных (черно-белых) картинок с изображением цифр.
На вход нейронной сети подаётся картинка в формате BMP, размером точек, представляющая собой матрицу байт, таким образом входной слой сети ( на рис.1) состоит из нейронов. Размер первого слоя равен размеру входного вектора . Размер второго слоя определяет емкость памяти системы, в данном случае – 10 нейронов.
Рис.2: результаты работы классификатора
image type cluster
1
2
3
4
5
6
7
8
9
image type cluster
1
2
3
4
5
6
7
8
9
image type cluster
all busy
2
3
all busy
5
6
all busy
8
9
Данная реализация классификатора показала способность к обобщению немного хуже двухслойного перцептрона. Однако, она обладает способностью отделять новые образы от искажённых старых (тех, что уже предъявлялись), а так же ART-1 (в отличии от перцептронов) способна постоянно (быстро) обучаться, не “забывая” при этом старые образы.
В программе используется библиотека для работы с картинками GdkPixbuf v.2.
Исходные тексты программы [ здесь ].
Grossberg S. Competitive learning: From interactive activation to adaptive resonance // Cognitive Science N11/1987, p.23-63 – http://www.cns.bu.edu/Profiles/Grossberg/Сергей А. Терехов Лекции по теории и приложениям искусственных нейронных сетей – http://alife.narod.ru/lectures/neural/Neu_index.htmС.
Гроссберг Внимательный мозг // Открытые системы, N4/1997 – http://www.osp.ru/os/1997/04James A.Freeman, David M.Skapura Neural networks : algorithms, applications, and programming techniques. – Addison-Wesley Publishing Company, 1991, ISBN 0-201-51376-5В.А.Головко, под ред.проф.А.И.
Галушкина Нейронные сети: обучение, организация и применение. – Москва : ИПРЖР, 2001
Evgeny S. Borisov
2009-10-08 При использовании материалов этого сайта, пожалуйста вставляйте в свой текст ссылку на мою статью.
Ассоциативная память. Адаптивная резонансная теория. Оптические нейронные сети
Человеческая память ассоциативна, т. е. некоторое воспоминание может порождать большую связанную с ним область. Например, несколько музыкальных тактов могут вызвать целую гамму чувственных воспоминаний, включая пейзажи, звуки и запахи. Напротив, обычная компьютерная память является локально адресуемой, предъявляется адрес и извлекается информация по этому адресу.
Сеть с обратной связью формирует ассоциативную память. Подобно человеческой памяти по заданной части нужной информации вся информация извлекается из «памяти». Чтобы организовать ассоциативную память с помощью сети с обратными связями, веса должны выбираться так, чтобы образовывать энергетические минимумы в нужных вершинах единичного гиперкуба.
Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от +1 до –1, соответствующих двоичным значениям 0 и 1, Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле:
(6.4)
где т – число запоминаемых выходных векторов; d – номер запоминаемого выходного вектора; OUTi,j – i-компонента запоминаемого выходного вектора.
Это выражение может стать более ясным, если заметить, что весовой массив W может быть найден вычислением внешнего произведения каждого запоминаемого вектора с самим собой (если требуемый вектор имеет n компонент, то эта операция образует матрицу размером п х п) и суммированием матриц, полученных таким образом. Это может быть записано в виде
, (6.5)
где Di – i-й запоминаемый вектор-строка.
Как только веса заданы, сеть может быть использована для получения запомненного выходного вектора по данному входному вектору, который может быть частично неправильным или неполным. Для этого выходам сети сначала придают значения этого входного вектора.
Затем входной вектор убирается и сети предоставляется возможность «расслабиться», опустившись в ближайший глубокий минимум.
Совет
Сеть идущая по локальному наклону функции энергии, может быть захвачена локальным минимумом, не достигнув наилучшего в глобальном смысле решения.
Адаптивная резонансная теория включает две парадигмы, каждая из которых определяется формой входных данных и способом их обработки.
АРТ-1 разработана для обработки двоичных входных векторов, в то время как АРТ-2, более позднее обобщение АРТ-1, может классифицировать как двоичные, так и непрерывные векторы. В данной работе рассматривается только АРТ-1.
Читателя, интересующегося АРТ-2, можно отослать к работе [3] для полного изучения этого важного направления. Для краткости АРТ-1 в дальнейшем будем обозначать как APT.
Описание APT
Сеть APT представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выражает в форме возбуждения одного из нейронов распознающего слоя.
Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору.
Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор.
Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.
Реализация нейронных сетей в виде оптических систем позволяет решить эту проблему. Взаимное соединение нейронов с помощью световых лучей не требует изоляции между сигнальными путями, световые потоки могут проходить один через другой без взаимного влияния.
Обратите внимание
Более того, сигнальные пути могут быть расположены в трех измерениях. (Интегральные цепи являются существенно планарными с некоторой рельефностью, обусловленной множеством слоев.
) Плотность путей передачи ограничена только размерами источников света, их дивергенцией и размерами детектора. Потенциально эти размеры могут иметь величину в несколько микрон.
Наконец, все сигнальные пути могут работать одновременно, тем самым обеспечивая огромный темп передачи данных. В результате система способна обеспечить полный набор связей, работающих со скоростью света.
Оптические нейронные сети могут также обеспечить важные преимущества при проведении вычислений.
Величина синаптических связей может запоминаться в голограммах с высокой степенью плотности; некоторые оценки дают теоретический предел в 1012 бит на кубический сантиметр.
Хотя такие значения на практике не достигнуты, существующий уровень плотности памяти очень высок. Кроме того, веса могут модифицироваться в процессе работы сети, образуя полностью адаптивную систему.
