Sztuczne sieci neuronowe

Plan wykładu
• Odwzorowanie Sammona
Sztuczne sieci neuronowe
• Sieci samoorganizuj ce si typu Hebba
– reguła Hebba
– reguła Oji
– przykłady zastosowa
Wykład 12: Sieci samoorganizuj ce si
typu Hebba
Małgorzata Kr towska
Katedra Oprogramowania
e-mail: [email protected]
2
Sztuczne sieci neuronowe
Odwzorowanie Sammona
Odwzorowanie Sammona
Odwzorowanie Sammona pozwala na graficzne przedstawienie danych
wielowymiarowych w przestrzeni o mniejszej liczbie wymiarów.
Zadanie odwzorowania nieliniowego Sammona polega na takim doborze
wektorów y, aby minimalizowa funkcj bł du E zdefiniowan w
postaci:
Zało enia:
– danych jest n wektorów N-wymiarowych xi (i=1,2,...,n) i odpowiednio do
nich definiuje si n wektorów w przestrzeni M-wymiarowej (M=2,3),
oznaczonych przez yi.
– odległo ci pomi dzy poszczególnymi wektorami w przestrzeni N*
wymiarowej oznaczono przez d ij = d ( xi , x j )
odległo ci w przestrzeni M-wymiarowej przez d ij = d ( yi , y j )
– do okre lenia odległo ci mi dzy wektorami mo na zastosowa dowoln
metryk , w szczególno ci euklidesow .
1
E=
c
n
i< j
[d
*
ij
− d ij
]
2
d ij*
przy czym:
c=
n
i< j
dij*
d ij =
M
k =1
[y
ik
− y jk
]
2
gdzie yij oznacza j-t składow wektora yi.
Sztuczne sieci neuronowe
3
Sztuczne sieci neuronowe
4
Odwzorowanie Sammona
Odwzorowanie Sammona
W minimalizacji funkcji bł du Sammon zastosował metod optymalizacji
Newtona, uproszczon do postaci:
y pq (k + 1) = y pq (k ) − η∆ pq (k )
Odpowiednie składowe gradientu s równe:
2
∂E
=−
c
∂y pq
*
n
d pj − d pj
j =1 , j ≠ p
d pj d *pj
[y
pq
− y jq
]
w której
∆ pq ( k ) =
∂E
∂y pq
∂2 E
∂y 2pq
2
∂ 2E
=−
2
c
∂y pq
( y pq − y jq ) 2
d pj* − d pj
1
*
(
)
1
d
d
−
−
+
pj
pj
*
d pj
d pj
j =1 , j ≠ p d pj d pj
n
reprezentuje iloraz odpowiedniej składowej gradientu i diagonalnego
składnika hesjanu, okre lone w k-tej iteracji.
Współczynnik uczenia jest stał z przedziału [0.3; 0.4].
5
Sztuczne sieci neuronowe
6
Sztuczne sieci neuronowe
Reguła Hebba (1949)
Reguła Hebba
Je li aktywny neuron A jest cyklicznie pobudzany
przez neuron B, to staje si on jeszcze bardziej czuły
na pobudzenie tego neuronu.
Konsekwenc
reg a:
stwierdzenia Hebba jest nas pu ca, dwu-c
wAB ( k + 1) = wAB (k ) + η y A (k ) y B ( k )
gdzie:
• wAB - waga poł czenia synaptycznego pomi dzy neuronem A i B
ciowa
1 . J eli neurony A i B p czone synap
pobudzane jednocz
(t.j. synchronicznie) to p czenie synaptyczne je c ce jest
wzmacniane.
Zmiana wag poł czenia pomi dzy neuronem A i B według reguły Hebba
przebiega w nast puj cy sposób:
• yA - stan aktywacji neuronu A
nie
• yB - stan aktywacji neuronu B
∀ η - współczynnik uczenia (dodatni)
2. J eli neurony A i B p czone synap
pobudzane
niejednocz nie (t.j. asynchronicznie) to p czenie synaptyczne je
c ce podlega o abieniu.
Sztuczne sieci neuronowe
yB
yA
A
7
Sztuczne sieci neuronowe
wAB
B
8
Prosta reguła Hebba
Interpretacja geometryczna reguły Hebba
• Dzi anie reg y Hebba dla sieci s ada cej s z
jednego elementu liniowego, na którego we cie
d czono wzorce we ciowe Xi , których roz ad
statystyczny opisuje st
prawdopodobi stwa P
(Xi ).
• Celem uczenia jest wyznaczenie miary podobi
pom dzy dowolnym pojedynczym wzorcem
we ciowym Xi a roz adem st
prawdopodobi stwa P(Xi )
y
∆w = ηYX
w1
stwa
x1
w2
x2 .....
wN
xN
∆wi = ηYX i
• Reguła Hebba
wzmacnia wyj cie Y po ka dym kolejnym wej ciu, a
wi c cz ste wzorce wej ciowe b d miały decyduj cy
wpływ na wyj cie i b d wywoływa najwi ksze
Sztuczne
neuronowe
wyjsiecicie.
Wektor wag neuronu stopniowo
przemieszcza si w kierunku
rodka masy próbek ucz cych
9
10
Sztuczne sieci neuronowe
Wady reguły Hebba
Modyfikacje reguły Hebba
Mo na zapobiec rozbie no ci prostej reguły Hebba ograniczaj c wzrost
wektora wag w.
– normalizacja wszystkich wag po ka dej aktualizacji
Wagi rosn bez ogranicze i proces uczenia nigdy si nie ko czy - proces
uczenia jest rozbie ny
– Oja [1982] wykazał, e modyfikuj c odpowiednio reguł Hebba mo na
nada wektorom wag stał długo ||w||=1 bez potrzeby normalizacji.
Ponadto w zbli a si do wektora własnego macierzy E{XiXjT} o
najwi kszej warto ci własnej.
(dowód: Korbicz J., Obuchowicz A., Uci ski D.: Sztuczne sieci neuronowe. Podstawy i
zastosowania, 1994)
Sztuczne sieci neuronowe
11
Sztuczne sieci neuronowe
12
Reguła Oji
Interpretacja geometryczna reguły Oji
Reguła Oji polega na dodaniu do reguły Hebba wyrazu zanikania wagi
proporcjonalnego do Y2:
∆wi = ηy ( xi − ywi )
y
∆wi = ηy ( xi − ywi )
w1
wstecznie
propagowane
wyj cie
w2
x1
x2 .....
wN
xN
13
Sztuczne sieci neuronowe
Własno ci reguły Oji
Własno ci reguły Oji
Kierunek wyuczonego wektora wag
∆w = 0
14
Sztuczne sieci neuronowe
Wektor wag neuronu uczonego przy u yciu reguły Oji jest wektorem
własnym macierzy C.
< > - oznacza warto oczekiwan liczon
wzgl dem rozkładu próbek x
∆w = η y ( x − yx) = η yx − y 2 w = 0
(
)
∆w = η ( wT x) x − y 2 w = η xxT w − y 2 w = 0
xx
T
=C
η (Cw− < y > w) = 0
2
Sztuczne sieci neuronowe
Cw = λw
macierz C w zale no ci od normalizacji danych
jest nazywana macierz iloczynów skalarnych,
macierz kowariancji lub macierz korelacji danych
z własno ci wart. własnych
Cw = λw
15
Sztuczne sieci neuronowe
16
Własno ci reguły Oji
Własno ci reguły Oji - podsumowanie
Cw = λw
λ = y 2 = ( wT x)( wT x) = wT xxT w = wT Cw
λ = wT λw
wektora wag ||w|| = ,
kierunku maksymalnego
2) kierunek wektora wag l y wz
wektora asnego macierzy korelacji zbioru wzorców
we ciowych
2
w =1
3) wektor wag l y wz
wart
oczekiwa
Długo wektora wag uczonego
przy u yciu reguły Oja jest
ograniczona
Sztuczne sieci neuronowe
ug
17
Metoda składowych głównych (PCA)
kierunku, który maksymalizuje
<Y >, t.j. warianc odpowiedzi sieci.
2
Sztuczne sieci neuronowe
18
Dobór liczby składowych głównych
• Celem jest znalezienie M wektorów ortogonalnych w przestrzeni
danych, które wpływaj w jak najwi kszym stopniu na wariancj
danych.
• Rzut danych z przestrzeni N-wymiarowej na M-wymiarow
podprzestrze rozpi t przez te wektory umo liwia otrzymanie
redukcji wymiarowo ci.
• Kierunek k-tej składowej głównej pokrywa si z kierunkiem wektora własnego
odpowiadaj cego k-tej co do wielko ci warto ci własnej macierzy kowariancji.
• Warto ci własne reprezentuj wariancje składowych głównych
• Je eli suma dwóch lub trzech pierwszych składowych głównych jest du a (np.
stanowi 90% lub wi cej całkowitej ich sumy) to wynika st d, e wariancje
wej ciowych zmiennych s odtwarzane w znacznym stopniu przez składowe
główne.
• Przyjmuje si , e pierwsza składowa główna le y wzdłu kierunku
maksymalnej wariancji. Druga składowa główna jest ograniczona do
podprzestrzeni prostopadłej do składowej pierwszej i le y wzdłu
kierunku maksymalnej wariancji tej podprzestrzeni.
Sztuczne sieci neuronowe
19
Sztuczne sieci neuronowe
20
Metoda składowych głównych (PCA)
Jednowarstwowe sieci jednokierunkowe
• Sanger i Oja (1989) okre lili jednowarstwow sie jednokierunkow ,
która wyznacza składowe główne
• Reguła Oji umo liwia znalezienie jednostkowego wektora wag, który
maksymalizuje warto redniokwadratow sygnału wyj ciowego <y2>.
Dla danych o redniej zerowej jest to pierwsza składowa główna.
• Architektura sieci:
– sieci s liniowe, o sygnale na wyj ciu i-tym yi danym wzorem:
yi = wiTx
– reguła uczenia według Sangera ma posta :
• Zadanie: opracowa sie M-wyj ciow , która b dzie wydzielała M
pierwszych składowych głównych.
∆wi = ηyi x −
21
Sztuczne sieci neuronowe
i
k =1
y k wk
wektory wag przyjmuj dokładnie kierunki M pierwszych składowych
głównych; wi ->±ci, przy czym ci jest znormalizowanym wektorem
własnym macierzy korelacji C, który nale y do i-tej najwi kszej warto ci
własnej λi.
22
Sztuczne sieci neuronowe
Jednowarstwowe sieci jednokierunkowe
Zastosowanie sieci Hebba
• Analiza składowych głównych PCA
• Analiza składowych niezale nych INCA (ang. Independent Component
Analysis) - rozwini cie metody PCA. Pozwala na wyznaczenie
ukrytych czynników zawartych w zbiorze zmiennych losowych,
pomiarów lub sygnałów.
x-w1y1
x-w1y1-w2y2
•
w1, w2, ..., wM - wektory własne
Sztuczne sieci neuronowe
23
lepa separacja sygnałów BSS (ang. Blind Source Separation) separacja nieznanych sygnałów z sygnału b d cego mieszanin tych
sygnałów.
Sztuczne sieci neuronowe
24