Sztuczne sieci neuronowe

Plan wykładu
Sieci samoorganizujace si na zasadzie współzawodnictwa:
• uczenie nienadzorowane
• uczenie konkurencyjne
Sztuczne sieci neuronowe
– reguła WTA
– reguła WTM
Wykład 10: Sieci samoorganizuj ce si na
zasadzie współzawodnictwa
• kwantowanie wektorowe
• mapa cech Kohonena
Małgorzata Kr towska
Katedra Oprogramowania
e-mail: [email protected]
Sztuczne sieci neuronowe
Uczenie nienadzorowane
(bez nauczyciela)
Uczenie nienadzorowane - przykłady
W tej klasie metod uczenia sztucznych sieci neuronowych (zwanej
uczeniem bez nadzoru lub bez nauczyciela) sie bez informacji
zwrotnej koryguj cej jej działanie z zewn trz (tj. oceny działania
sieci) sama wypracowuje funkcje przetwarzania danych, np.
uporz dkowywania, wykrywania regularno ci w danych, ich
klasyfikacji, kodowania itd.
Metody uczenia nienadzorowanego s wa nym narz dziem
przetwarzania danych w sytuacjach gdy nie mo na zorganizowa
nadzorowanego procesu uczenia.
Sztuczne sieci neuronowe
2
3
Przykładowe zadania, które mog by realizowane przez sieci
samoorganizuj ce si :
• wykrywanie podobie stwa - ocena stopnia podobie stwa
pomi dzy wzorcami (wg wybranego kryterium),
• analiza składowych głównych - jest to metoda redukcji
wymiarowo ci danych, w której wektory wzorców
wej ciowych s rzutowane na najistotniejsze kierunki ich
zmian w przestrzeni o zredukowanej liczbie wymiarów,
• klasyfikacja - detekcja danych, których cechy grupuj si
(s podobne) wg wybranego kryterium,
Sztuczne sieci neuronowe
4
Uczenie nienadzorowane - przykłady
Uczenie konkurencyjne
Przykładowe zadania, które mog by realizowane przez sieci
samoorganizuj ce si :
Jednym z podstawowych sposobów uczenia nienadzorowanego jest tzw.
uczenie konkurencyjne (ang. competitive learning). W tej metodzie
uczenia sieci, poszczególne neurony “konkuru ” ze so o prawo do
reprezentacji danych we ciowych.
• okre lanie prototypu - wskazanie typowego reprezentanta
grupy, tzw. prototypu,
• kodowanie - wyznaczanie zbioru prototypów o liczno ci
znacznie mniejszej ni cały zbiór danych wej ciowych
najlepiej je reprezentuj cych (uzyskuje si efekt kompresji
stratnej danych),
• tworzenie map cech - porz dkowanie danych według
wybranego kryterium podobie stwa.
5
Sztuczne sieci neuronowe
Cechy charakterystyczne:
• zwykle sieci jednowarstwowe
• ka dy neuron jest poł czony
ze wszystkim składowymi
wektora wej ciowego x
• neurony liniowe
6
Sztuczne sieci neuronowe
Uczenie konkurencyjne
Uczenie konkurencyjne
W konkurencyjnej metodzie uczenia sieci, tylko jeden element wyj ciowy
mo e znajdowa si w stanie aktywnym. Nazywany jest on zwyci zc ,
a schemat takiej reguły aktywacji neuronów okre lany jest mianem
“zwyci zca bierze wszystko” (ang. Winner Takes All - WTA).
• Ka da komórka w takiej warstwie jest poł czona ze wszystkimi elementami xk
wzorca wej ciowego za pomoc poł cze wagowych wjk (j=1, 2, ..., M; k=1, 2,
..., N). W wyniku zastosowania takiej struktury poł cze j-ty neuron warstwy
wyj ciowej sieci otrzymuje sygnał pobudzenia:
yj =
N
k =1
w jk x k = wTj x,
j = 1, 2,
,M
• Komórka zwyci ska warstwy wyj ciowej sieci, oznaczona indeksem j*, jest to
neuron otrzymuj cy najsilniejszy sygnał pobudzenia yj.. Zatem dla komórki
zwyci skiej spełniona jest nierówno :
wTj* x > wTj x,
Sztuczne sieci neuronowe
7
Sztuczne sieci neuronowe
j = 1,
M
8
Uczenie konkurencyjne
Z równania:
wTj* x > wTj x,
j = 1,
Uczenie konkurencyjne
Inne miary odległo ci miedzy wektorami:
M
wynika, e wektor wag wj* ł cz cy zwyci ski neuron z elementami wektora
wej ciowego jest wektorem najbardziej "podobnym", w sensie iloczynu
skalarnego wektorów, do wzorca x aktualnie podanego na wej cie sieci. Je eli
przyj , e wektory wj oraz x znormalizowano do jednostkowej długo ci to
szukan komórk zwyci zcy jest neuron, dla którego ró nica:
d ( x, w j ) = w j − x =
osi ga warto
minimaln
N
k =1
2
( xk − wjk ) ,
d ( x, w j* ) = min d ( x, w j ),
j = 1,
• miara Euklidesowa:
• iloczyn skalarny:
,M
Dla znormalizowanych wektorów wj i x o warto ci ich iloczynu skalarnego
decyduje jedynie zgodno ich kierunków a nie dodatkowo ich długo .
Sztuczne sieci neuronowe
• miara według normy L∞:
9
N
k =1
( xk − wjk ) 2
d ( x, w j ) = x w j cos( x, w j )
,M
• miara według normy L1
(Manhattan):
j = 1,
d ( x, w j ) = w j − x =
N
d ( x, w j ) =
k =1
x k − w jk
d ( x, w j ) = max xk − w jk
k
10
Sztuczne sieci neuronowe
Strefy wpływów
Strefy wpływów - ilustracja
• Na koniec procesu uczenia cała przestrze cech jest podzielona na
rozdzielne strefy wpływów poszczególnych neuronów. Jednocze nie
mo na zaobserwowa pogrupowanie danych. Cały zbiór danych został
podzielony na skupiska reprezentowane przez poszczególne neurony.
• Zastosowanie ró nych miar odległo ci pomi dzy wektorami kształtuje
podział stref wpływów inaczej.
• W szczególno ci zastosowanie iloczynu skalarnego bez normalizacji
wektorów mo e prowadzi do niespójnego podziału przestrzeni cech, w
którym wyst puje kilka neuronów w jednym obszarze, a w innym nie
ma adnego.
Rozkład obszarów atrakcji przy ró nych miarach odległo ci mi dzy wektorami
nieznormalizowanymi: a) miara euklidesowa; b) iloczyn skalarny; c) norma L1;
Sztuczne sieci neuronowe
11
.
d) norma L∞
Sztuczne sieci neuronowe
12
Normalizacja wektorów
Uczenie konkurencyjne - adaptacja wag
• Wykazano, e proces samoorganizacji prowadzi zawsze do spójnego podziału
przestrzeni cech, gdy cho jeden z wektorów x lub w podlega normalizacji.
• Je eli wektory x s znormalizowane to wektory wag staj si równie
automatycznie znormalizowane.
• Badania eksperymentalne potwierdziły potrzeb normalizacji wektorów dla
małych wymiarów n=2,3 Dla n>200 normalizacja nie odgrywa wi kszej roli.
• Metody normalizacji:
xi
xi =
– redefinicja składowych wektora x
W ka dej iteracji uczenia, prezentowane s kolejne wzorce
wej ciowe, a wyłoniony neuron zwyci ski tak adaptuje swoje
wagi aby dodatkowo poprawi "dopasowanie” (korelacj ), w
sensie iloczynu skalarnego, do aktualnie podanego na wej cie
sieci wzorca.
stosuj c tzw. standardow
Dopasowanie to mo na osi gn
konkurencyjn reguł uczenia:
N
j =1
x 2j
∆w j*k = η ( xk − w j*k )
– zwi kszenie wymiaru przestrzeni o jeden (do N+1), przy takim wyborze (N+1)szej składowej, aby
N
i =1
xi2 = 1
(Zachodzi tu z reguły konieczno wcze niejszego przeskalowania składowych
wektora x w przestrzeni RN. umo liwiaj cego spełnienie tej równo ci)
Sztuczne sieci neuronowe
Uczenie dotyczy tylko neuronu zwyci skiego, st d okre lenie
"zwyci zca bierze wszystko" (ang. winner-takes-all).
13
14
Sztuczne sieci neuronowe
Interpretacja geometryczna
Uczenie konkurencyjne
Reguła uczenia konkurencyjnego powoduje stopniow zmian
kierunku wektora wag poszczególnych jednostek wyj ciowych
sieci w stron statystycznie najcz ciej wyst puj cych wej .
Reg
uczenia konkurencyjnego m na zapis
w postaci
uwzg dnia cej kolejne iteracje uczenia k, k+1, k+2, ....
w j ( k + 1) =
w j ( k ) + η j ( k )[ x − w j ( k )]
j = j*
w j (k )
j ≠ j*
W standardowej regule uczenia konkurencyjnego nie uwzg dnia
s efektu „hamowania obocznego” neuronów siadu cych z
neuronem zwyc skim.
Sztuczne sieci neuronowe
15
Sztuczne sieci neuronowe
16
Zwyci zca bierze wi kszo
- WTM
Przykład adaptacji wag (WTM)
• Algorytmy WTA, w których tylko jeden neuron mo e podlega adaptacji w
ka dej iteracji, s algorytmami słabo zbie nymi, szczególnie przy du ej liczbie
neuronów
• W praktyce zostały one zast pione algorytmami WTM (ang. Winner Takes
Most), w których oprócz zwyci zcy uaktualniaj swoje wagi równie neurony
z jego s siedztwa:
wi = wi + ηi G (i, x)[ x − wi ]
dla wszystkich neuronów i nale cych do s siedztwa Sj* zwyci zcy.
Definiuj c G(i,x) w postaci:
G(i , x) =
1 i = j*
0 i ≠ j*
otrzymujemy algorytm WTA.
Sztuczne sieci neuronowe
Ilustracja procesu adaptacji wag
17
18
Sztuczne sieci neuronowe
Kwantowanie wektorowe danych
Obszary Voronoia
Jednym z najwa niejszych zastosowa uczenia konkurencyjnego
jest tzw. kwantowanie wektorowe danych. Idea takiej
reprezentacji danych pozwala uzyska efekt ich kodowania z
kompresj .
Zadanie kwantowania wektorowego realizuje si przez podział
danych na wybran liczb M klas. W ka dej z klas definiuje si
tzw. wektor prototypowy klasy, który staje si reprezentantem
(kwantuje do swojej warto ci) wszystkie dane z klasy.
Przynale no do danej klasy znajduje si przez znalezienie
najbli szego prototypu (np. według metryki euklidesowej).
Przestrze danych podzielona jest, w efekcie stosowania takiej
reguły, tzw. mozaik Voronoia wyznaczaj c obszary klas.
Sztuczne sieci neuronowe
19
Obszary Voronoia. Kropki reprezentuj prototypy klas.
Sztuczne sieci neuronowe
20
Kwantowanie wektorowe
Kwantowanie wektorowe
Kwantowanie wektorowe danych mo na uzyska za pomoc reguły
uczenia konkurencyjnego w nast puj cy sposób:
• okre l zało on liczb M klas i utwórz sie jednowarstwow o
takiej samej liczbie M jednostek wyj ciowych,
• zastosuj reguł konkurencyjn „zwyci zca bierze wszystko” do
uczenia sieci (stosuj reguł uczenia dla ka dej nowej danej
wej ciowej).
Po nauczeniu sieci, wagi poszczególnych jednostek reprezentuj
prototypy klas, a o przynale no ci danej wej ciowej do klasy
informuje zwyci skie wyj cie sieci.
21
Sztuczne sieci neuronowe
Ilustracja kwantowania wektorowego uzyskanego za pomoc sieci uczonej
reguł konkurencyjn
22
Sztuczne sieci neuronowe
Mapa cech Kohonena
Mapa cech Kohonena
Kohonen zaproponował reguł uczenia konkurencyjnego, w której
w odró nieniu od reguły standardowej, modyfikacji wag
dokonuje si nie tylko dla neuronu zwyci skiego, lecz równie
dla pewnej liczby neuronów z jego otoczenia.
Cel:
Idea:
Neurony poło one blisko siebie maj pełni podobn funkcj
Modyfikacja reguły WTA tworz ca obszary wra liwe na podobne
wzorce
Reguła ta wymaga wprowadzenia tzw. topologicznego
uporz dkowania neuronów w warstwie wyj ciowej (zwanej te
map cech), dla której mo na wprowadzi poj cie otoczenia
neuronu zwyci skiego np. przez zaliczenie do tego otoczenia
neuronów, których indeksy porz dkuj ce nie ró ni si o wi ksz
ni zało ona warto , która wyznacza to otoczenie.
Sztuczne sieci neuronowe
23
Sztuczne sieci neuronowe
24
Mapa cech Kohonena
Konkurencyjne uczenie nienadzorowane
Algorytm
zal n
uczenia
c :
w j ( k + 1) =
konkurencyjnego
Kohonena
w j ( k ) + η( k )[ x − w j ( k )]
w j (k )
jest
dany
j ∈ Ω(k )
j ∉ Ω(k )
w której wielk ci η(k) oraz Ω(k), reprezentu ce odpowiednio
wsp czynnik uczenia i otoczenie neuronu zwyc zcy,
dodatnimi, male cymi funkcjami czasu (tj. numeru iteracji uczenia
k).
25
Sztuczne sieci neuronowe
Sztuczne sieci neuronowe
26
Dobór parametrów
Algorytm uczenia sieci Kohonena
• współczynnik uczenia - dobór eksperymentalny z przedziału (0.1; 1)
• otoczenie neuronu zwyci zcy - pocz tkowo powinno obejmowa wi ksz ni
połowa z ogólnej liczby neuronów i nale y je zmniejsza w czasie uczenia tak
by w ko cowej fazie uczenia, zawierało ono tylko neuron zwyci ski
(neurony uło one w siatk hexagonaln i prostok tn )
1. Przypisz wagom sieci o M neuronach warstwy wyj ciowej i N
wej ciach niewielkie liczby losowe. Ustal liczb neuronów
nale cych do pocz tkowego otoczenia neuronu (> M/2)
2. Doł cz nowy wektor ucz cy x=[x1 , ...., xk , ..., xN ] do wej cia.
3. Wyznacz odpowied ka dego neuronu warstwy wyj ciowej
4. Znajd neuron zwyci ski j* (najwi ksza warto odpowiedzi).
5. Wyznacz nowe warto ci wag dla neuronu zwyci zcy j* i jego
s siedztwa (tj. jego otoczenia) stosuj c reguł Kohonena.
6. Zmie odpowiednio warto ci współczynnika uczenia i otoczenia
7. Powtórz 2-6 dla nast pnych wzorców wej ciowych a do chwili
ustalenia si odpowiedzi sieci.
Sztuczne sieci neuronowe
27
Sztuczne sieci neuronowe
28
Przykłady zastosowa
Odwzorowanie powierzchni dwuwymiarowej na liniow siatk 50 jednostek
wyj ciowych; Odwzorowanie powierzchni kwadratowej na siatk zawieraj c
10x10 jednostek wyj ciowych
Sztuczne sieci neuronowe
29