Sieci rekurencyjne

Sieci
rekurencyjne
Jacek Bartman
Sieci rekurencyjne
Charakteryzuj si :
istnieniem sprz e zwrotnych mi dzy
wej ciem, a wyj ciem,
dwukierunkowym
przep ywem
informacji,
wyst powaniem w ich pracy przebiegi
dynamiczne
Do najcz ciej spotykanych
rekurencyjnych nale
sieci
sieci Hopfielda,
maszyna Boltzmana,
sieci BAM (Bidirectionxl Associxtive Memory),
sieci ART (Adaptive Resonance Theory).
Jacek Bartman
Sieci rekurencyjne
jednowarstwowa
W uk adach biologicznych neurony maj silne
sprz enia zwrotne.
Zamkni cie p tli sprz enia zwrotnego powoduje,
e sie0 staje si dynamiczna – sygna y na jej
wyj ciu zale od:
aktualnego stanu wej 0
stanu sieci (który zale y od wej 0 wcze niejszych)
lub innymi s owy
wielowarstwowa
stanu pocz tkowego
podanych pó3niej pobudze
Jacek Bartman
Sieci rekurencyjne znajduj zastosowanie do rozwi zywania
problemów optymalizacyjnych oraz jako pami ci skojarzeniowe
(asocjacyjne).
Pami skojarzeniowa (asocjacyjna) jest jednym z podstawowych
atrybutów ludzkiego mózgu. Ma dwie istotne cechy:
informacje zarejestrowane w pami ci asocjacyjnej mog by dost pne poprzez
podanie na wej$ciu systemu informacji skojarzonej,
$lad pami ciowy, zwany engramem, nie ma w pami ci asocjacyjnej $ci$lej
lokalizacji - ka'da zarejestrowana informacja zlokalizowana jest w istocie w ca(ej
pami ci, na zasadzie kolektywnego dzia(ania wszystkich jej elementów.
Jacek Bartman
Pami
asocjacyjna pe(ni funkcj
wzajemne skojarzenia wektorów.
uk(adu
reprezentuj cego
W przypadku, gdy skojarzone wektory dotycz tych samych
sk(adników tego samego wektora, mówimy o pami ci
autoasocjacyjnej (sie Hopfielda).
Gdy skojarzone s dwa ró'ne wektory mo'na mówi o pami ci typu
heteroasocjacyjnego (sie Hamminga, sie BAM).
Podstawowym zadaniem pami ci asocjacyjnej jest zapami tanie
zbioru próbek wej$ciowych (ucz cych) w taki sposób, aby przy
prezentacji nowej próbki uk(ad móg( wygenerowa odpowied.,
która dotyczy b dzie jednej z zapami tanych wcze$niej próbek,
po(o'onej najbli'ej próbki testuj cej.
Jacek Bartman
Najbardziej znanymi sieciami rekurencyjnymi s :
sie Hopfielda,
sie BAM (Bidirectional Associxtive Memory)
rzadziej spotyka si :
sie
sie
sie
sie
Hamminga
RTRN (Real Time Recurrent Network),
Elmana (o uproszczonej strukturze rekurencji),
RCC (Recurrent Cascade Correlation)
Jacek Bartman
Sie Hopfielda
Za(o'enia:
wszystkie neurony s ze sob po( czone
(fully connected network) wagami
synaps wji.
macierz wag po( cze7 jest symetryczna,
Wij = Wji. - symetria jest wygodna
z teoretycznego p. widzenia, pozwala
wprowadzi f. energii; jest nierealistyczna
z biologicznego p. widzenia.
wyj$cie neuronu nie jest kierowane na
jego wej$cie Wii =0
Brak podzia(u na warstwy.
Jacek Bartman
Algorytm dzia ania sieci Hopfielda
Wybieramy losowo neuron.
Obliczamy wa'on sum po( cze7 do aktywnych s siadów.
u (k ) =
N
w ji x i (k )
bj
i =1
Je'eli suma jest dodatnia to neuron si aktywuje, w przeciwnym przypadku
dezaktywuje.
1
gdy u j (k ) > 0
y j (k + 1) = y j (k ) gdy u j (k ) = 0
0
gdy u j (k ) > 0
1
lub
y j (k + 1) = y j (k ) gdy u j (k ) = 0
gdy u j (k ) < 0
1
gdy u j (k ) < 0
Losujemy kolejny neuron i post pujemy wed(ug algorytmu, a' do
uzyskania stanu stabilnego.
Proces nazywa si równoleg( relaksacj .
Jacek Bartman
Funkcja energii
Podczas pracy w danej chwili aktualizuje si wyj$cie tylko jednego neuronu
Aktualizacja zawsze prowadzi do obni'enia funkcji energii (f. Lapunowa):
E (x ) =
1
2
N
N
N
w ij y i y j +
i =1 j = 1
bi y i
i =1
w danej chwili zmienia si stan tylko jednego neuronu (np.: p-tego):
E (y ) =
1
2
N
w pj y p y j + bp y p
j =1
Zmiana warto$ci funkcji energii wynosi
E (k ) = E (y (k + 1)) E (y (k )) =
y p (k ) u p (k )
je$li up 0 to yp nie mo'e zmale , wi c energia zmaleje;
je$li up < 0 to yp < 0, energia równie' zmaleje.
Osi gni cie minimum funkcji energii oznacza, 'e sie znalaz(a si w stanie
Jacek Bartman
stabilnym (nie musi to by minimum globalne)
Atraktory
Stany stabilne, odpowiadaj ce minimum funkcji energii, nazywa si
atraktorami.
Atraktory mo'na porówna do najni'szych punktów w dolinie, a dolin
nazwa niecka przyci gania atraktora (atraktory punktowe - tylko dla
symetrycznych po( cze7).
O liczbie i rodzaju atraktorów oraz charakterze funkcji energii
decyduje dobór wag po( cze7 mi dzy neuronami
Stany stabilne: minima lokalne E(W) odpowiadaj ce pami tanym
wzorcom
Jacek Bartman
Sieci ART
(Adaptive Resonance Theory)
Jedn z w a ciwo ci mózgu jest umiej tno 0 zapami tywania nowych
obrazów bez zaniku zdolno ci rozpoznawania obrazów poznanych
wcze niej.
Wi kszo 0 przedstawionych metod uczenia sieci neuronowych mia a t
wad , e wprowadzenie do nauczonej ju sieci nowych obrazów
wymaga powtórzenia procesu uczenia si przy pomocy wzorów
poprzednich i nowych. Ograniczanie si jedynie do nowych wzorów
powoduje zapomnienie wzorów poprzednich
Problem ten rozwi zany zosta w sieciach ART.
Autorami prac dotycz cych Adaptacyjnej Teorii Rezonansu, które s
podstaw dzia ania sieci rezonansowych ART s Carpenter i Grossberg.
Jacek Bartman
Rodzaje sieci ART
ART1 - operuj na obrazach binarnych
ART2 - na obrazach ci g ych
ART3 - zapewnia wi ksz stabilno 0 w porównaniu z sieci ART 2
Jacek Bartman
Budowa sieci rezonansowych
Sieci rezonansowe ART sk adaj si z:
dwóch warstw: dolnej (wej$ciowo-porównuj cej)
i górnej wyj$ciowo-rozpoznawczej)
warstwa górna
wagi góra dó(
wagi dó(-góra
warstwa dolna
uk(adu orientacji,
uk(adu kontrolnego
Obie warstwy s po czone dwoma uk adami po cze jednokierunkowych:
od warstwy dolnej do górnej o wagach o wagach wij (na rysunku na czarno)
od warstwy górnej do dolnej o wagach vji (na rysunku na czerwono)
Jacek Bartman
Dzia anie sieci rezonansowej
W pierwszej, wej ciowej warstwie (dolnej) , przechowywany jest obraz
wej ciowy.
Druga warstwa, wyj ciowa (górna) odpowiada za wskazanie klasy, do której
klasyfikuje si kszta t wej ciowy.
W warstwie tej tylko jeden z neuronów ma stan jedynki. Natomiast wszystkie pozosta e s
wyzerowane.
Je eli zwrócony sygna dok adnie odpowiada wzorcowi to klasyfikacja jest
zako czona
Je li natomiast sygna odpowiedzi w znacz cy sposób ró ni si od sygna u
wej ciowego wówczas dokonuj si odpowiednie modyfikacje wag
po cze , a proces ten powtarza si a do osi gni cia maksymalnego
podobie stwa.
Poszczególne warstwy komunikuj si w gór i w dó , czyli rezonuj ,
dopasowuj c wagi, a proces ten powtarza si , a do osi gni cia
maksymalnego podobie stwa.
Jacek Bartman
Uczenie sieci ART
Sie0 ART jest sieci ucz c si w czasie rzeczywistym.
Uczenie to polega g ównie na rozpoznawaniu kszta tów, które znacznie
ró ni si od przechowywanych wzorców oraz ich zapami tywaniu jako
nowych wzorców.
Przy niewielkich ró nicach stwierdzonych przy porównywaniu wej 0 z
zapami tanymi wzorcami dokonuje si "douczenie" polegaj ce na
poprawieniu wzorców zgodnie z obserwowanymi odchyleniami.
Nad uaktywnieniem lub wygaszeniem odpowiednich decyzji w sieci
czuwaj uk ady orientuj cy i uk ad kontrolny.
Jacek Bartman
Wady sieci rezonansowej dwuwarstwowej
niebezpiecze stwo powstania przypadkowego procesu dynamicznego
wzajemnych pobudze warstw przy zerowym obrazie wej ciowym. Taki
proces mo e da0 bardzo niepo dane rezultaty.
trudno 0 w ustaleniu poprawnych progów aktywacji dla neuronów
warstwy dolnej:
powinny by0 niskie, aby obraz wej ciowy móg wygenerowa0 odpowiednie wyj cie,
powinny by0 na tyle wysokie aby w przypadku poprawnego rozpoznania wzorca,
obraz z warstwy górnej nie zaburza wektora wej ciowego warstwy dolnej - co
b dzie doprowadzi o do utraty rezonansu.
Jacek Bartman
Uk(ad kontrolny
Uk ad kontrolny sk ada si z dwóch poduk adów, które maja za zadanie
eliminacj podanych wad:
poduk ad G2 pe ni rol elementu progowego uaktywniaj cego si w chwili pojawienia si
sygna u wej ciowego dzi ki czemu umo liwia zablokowanie reakcji warstwy dolnej na
bod3ce pochodz ce z warstwy górnej, je eli brak jest sygna ów wej ciowych.
poduk ad G1 odbiera pobudzaj ce impulsy wej ciowe oraz hamuj ce z warstwy górnej
i podaje dodatkowy sygna dla neuronów warstwy dolnej (przesuwa próg tych
neuronów).
g
Jacek Bartman
Realizacja uk(adu kontrolnego
Wej cia sieci
Wyj cia warstwy
górnej
Uk ad kontrolny mo na zamodelowa0 przy pomocy trzech nieliniowych neuronów
k
1 dla
j =1
k
g1 =
0 dla
j =1
g =
y gj > 0
y gj
0
1 dla g 2
g1 > 0
0 dla g2
g1
0
n
1 dla
g2 =
i =1
n
0 dla
i =1
xi > 0
xi
Jacek Bartman
0
Uk(ad orientacji
Zwany równie detektorem nowych danych
Uk ad orientacji jest pobudzany przez sygna wej ciowy i hamowany
przez sygna wyj ciowy z warstwy pierwszej
Jacek Bartman
Pojawienie si obrazu na wej ciu sieci powoduje wybór neuronu
zwyci skiego w warstwie górnej i przekazanie odpowiedzi do warstwy
dolnej.
Obraz wej ciowy wraz z odpowiedzi warstwy górnej podane na warstw
doln generuj w niej nowy obraz.
Je eli obraz wej ciowy zostaje rozpoznany powstaje rezonans a sygna y
podane na uk ad orientacyjny wzajemnie si znosz
Je eli obraz nale y do klasy niezidentyfikowanej, uk ad orientacji
uaktywnia si i eliminuje z rywalizacji zwyci zc z warstwy górnej.
Umo liwia to rywalizacj i je eli nowy zwyci zca jest „nieobsadzony” to
zostaje zaakceptowany jako reprezentant nowej klasy
Jacek Bartman
Wyj cie neuronu warstwy dolnej
=
0 dla x j + v ji y ig + g
r=
0 dla
i =1
n
i =1
xi
xi
k
j =1
k
j =1
ygj > 0
ygj 0
Wej cia sieci
Wyj cia warstwy
dolnej
y dj
1 dla x j + v ji y ig + g >
1 dla
n
Jacek Bartman
Pe(ny schemat sieci ART
Struktura sieci ART.-1
Jacek Bartman
Uczenie sieci ART.
Wariant I
dla po cze „dó -góra”
w ij (k ) +
1,
w ij (k + 1) = w ij (k ),
w ij (k )
1
1
i
=
2
gdy
gdy
2,
gdy
(y (k ) = 1) (y (k ) = 1)
(y (k ) = 0 )
(y (k ) = 0 ) (y (k ) = 1)
1
j
2
i
2
i
1
j
2
i
mog by0 sta e ale lepsze wyniki uzyskuje si gdy:
(1
w ij (k )) w ij (k )
n
y id
1
i =1
2
n
= w ij (k )
y id
i =1
dla po cze „góra-dó ”
1,
v ji (k + 1) = v ji (k ),
0,
gdy
gdy
gdy
(y (k ) = 1) (y (k ) = 1)
(y (k ) = 0 )
(y (k ) = 0 ) (y (k ) = 1)
1
j
2
i
2
i
1
j
2
i
Jacek Bartman
Wariant II
dla po cze „dó -góra”
n
1+
w ij (k + 1) = w ij (k ),
0,
i =1
, gdy
(y
gdy
(y
gdy
(y
v ji (k + 1) = v ji (k ),
0,
(k ) = 1)
(y
2
i
(k ) = 1)
(y
2
i
(k ) = 1)
y ig
dla po cze „góra-dó ”
1,
1
j
gdy
gdy
gdy
2
i
1
j
(k ) = 0 )
(k ) = 0 )
(y (k ) = 1) (y (k ) = 1)
(y (k ) = 0 )
(y (k ) = 0 ) (y (k ) = 1)
1
j
2
i
2
i
1
j
2
i
Jacek Bartman
Uczenie inicjuje si wagami:
wji – losuje si z rozk adem równomiernym z przedzia u [0, 1/n]
vji=1
Jacek Bartman
Fazy dzia(ania sieci ART
Faza 1 - Inicjalizacja
Polega na wst pnym ustawieniu wag po cze oraz progu zadzia ania uk adu
orientuj cego. Wagi pocz tkowe vij po cze "z góry na dó " ustawiamy,
przypisuj c im warto ci równe jeden vij=1 gdzie i = 1,...,k; j = 1,...,n. Wagi
pocz tkowe wij "z do u do góry" ustawia si jednakowo w nast puj cy sposób
wii=1/n, gdzie n to liczba neuronów dolnej warstwy. Czu o 0 uk adu
orientuj cego p jest liczba z przedzia u (0,1).
Jacek Bartman
Zasada dzia(ania sieci ART. – krok po kroku.
wprowadzi obraz na wej$cie pierwszej warstwy sieci – na wyj$ciu
otrzymamy jego kopi ,
w warstwie górnej (konkurencyjnej) pobudzeniu ulega tylko jeden
neuron,
obraz powsta(y w warstwie górnej jest nast pnie wstecz przekazywany
do warstwy dolnej,
obraz z warstwy górnej wraz z obrazem wej$ciowym powoduj ponowna
aktywacj warstwy dolnej,
je'eli nowa aktywacja warstwy dolnej harmonizuje z zewn trznym
obrazem wej$ciowym to mówimy o rezonansie adaptacyjnym.
oznacza to, 'e obraz wej$ciowy zosta( rozpoznany i zakwalifikowany do
klasy reprezentowanej przez wzbudzony element warstwy górnej.
Jacek Bartman