Sieć Kohonena cz.1

Literatura
1.
2.
3.
4.
5.
Tadeusiewicz R.: Sieci neuronowe. Akademicka Oficyna Wydawnicza,
Warszawa 1993
Osowski S.: Sieci neuronowe w uj ciu algorytmicznym. WNT,
Warszawa 1996
Hertz J., Krogh A., Palmer R. G.: Wst p do teorii oblicze
neuronowych. WNT, Warszawa 1993
Masters T.: Sieci neuronowe w praktyce. Programowanie w C++.
WNT, Warszawa 1996
Piłot T.,Gwiazda A.: Zastosowania sztucznej inteligencji w in ynierii
produkcji. Pod Red. R. Knosali, WNT 2002
Sieci neuronowe
Sie Kohonena
Copyright by dr in . Tomasz Piłot
Schemat wyj ciowej warstwy sieci o
algorytmie uczenia o konkurencji ostrej
neuron zwyci ski i*
[wektor cech wej ciowych xj ]
Algorytm uczenia Kohonena
Metoda uczenia konkurencyjnego
Modyfikacja wag poł cze sieci:
wi*j = wi*j + η(t) (xjµ - wi*j),
gdzie: η(t) – współczynnik uczenia, t – numer iteracji, xjµ – warto j-tej cechy
µ-tego wzorca wej ciowego, wij – warto wagowa poł czenia wej ciowego
w zła j z i-tym neuronem wyj ciowym.
Warto
wyj ciowa:
Dla miary Euklidesowej:
Dla innych miar:
hiµ =
j
wij xjµ = wi ⋅ xµ
|wi* - xµ |
wi ⋅ xµ
d (xµ,wi*) = min d(x, wi), 0 i
n
Algorytm uczenia Kohonena
Metoda uczenia konkurencyjnego
W przypadku odległo ci stosuje si ró ne miary:
• miara Euklidesa:
N
d ( x, w i ) =
j =1
(x
j − w ij )
2
• iloczyn skalarny:
d ( x, w i ) =
N
j =1
(x
j − w ij )
2
• miara według normy L1 (Manhattan):
d ( x, w i ) =
N
j =1
• miara według normy L :
(x
j
− w ij
)
2
d ( x, w i ) = max (x j − w ij )
j
Algorytm uczenia Kohonena
Normalizacja wektora wej ciowego i wagowego
Sposoby normalizacji mo na przedstawi nast puj co:
• redefinicja składowych wektora wej ciowego:
xj
xj ←
N
x 2j
j=1
• zwi kszenie wymiaru przestrzeni wej ciowej o jeden,
tzn. z RN → RN+1, gdzie:
N +1
j=1
x 2j = 1
Algorytm uczenia Kohonena
Metoda uczenia konkurencyjnego z funkcj s siedztwa
Modyfikacja wag poł cze sieci:
( )
w ij (t ) = w ij (t − 1) + η (t ) Λ i , i * (x j − w ij (t − 1))
Okre lenie w zła o maksymalnej warto ci wyj ciowej, gdy |wi| = 1 :
|wi* - xµ |
wi ⋅ xµ
Obliczenie warto ci funkcji w otoczeniu w zła „zwyci skiego”:
( )
( )
d 2 i, i *
Λ i, i = exp −
2λ (t ) 2
*
Obliczenie nowych warto ci funkcji promienia s siedztwa λ(t) i
współczynnika uczenia η(t).
Algorytm uczenia Kohonena
Funkcje s siedztwa – funkcje promienia s siedztwa
Jako funkcje promienia s siedztwa (t) stosuje si zwykle nast puj ce:
• funkcj liniow 1(t):
(t) =
1
gdzie:
0
t
1−
+1
T1
T1 okre la maksymalny okres,
t okre la numer iteracji,
pocz tkowa promienia s siedztwa.
0 warto
• funckj wykładnicz :
t
(t) =
2
0
min
Tmax
0
•gdzie: Tmax - parametr okre laj cy maksymaln warto iteracji,
przej ciowa promienia s siedztwa, przy którym funkcja
min - warto
ta przechodzi przez punkt o współrz dnych ( Tmax, min ).
Algorytm uczenia Kohonena
Funkcja celu Rittera i Schultena
1
E {w ij } =
2
M i Λ (i, k )(x j − w ij )
µ
ijk
2
1
=
2
Funkcje współczynnika uczenia:
• funkcja liniowa
t
η (t ) = η 0 1 −
T1
• funkcja pot gowa
η (t ) = η 0αt −α
• funkcja wykładnicza
2
(t) =
0
η min
η0
t
Tmax
µ
( )
Λ i , i * x µ − w i*
Algorytm „gazu neuronowego” cz.I
1. Sortowanie w złów wyj ciowych ze wzgl du na odległo wzorca wej ciowego,
w mierze Euklidesa, od macierzy wag, zwi zanej z danym w złem:
d 0 < d1 < ... < d n −1
gdzie:
n – liczba neuronów wyj ciowych,
m=0,1,...,n-1 – okre la pozycj w zła i-tego w wektorze odległo ci,
dm – oznacza odległo na m-tej pozycji i-tego w zła wyj ciowego w
uporz dkowanym wektorze odległo ci, która wyra a si zale no ci :
dm = x − wi
gdzie:
x - macierz wzorca wej ciowego,
wi - macierz wag poł cze i-tego w zła wyj ciowego
i macierzy wej ciowej x.
Algorytm „gazu neuronowego” cz.II
2. Okre lenie warto ci funkcji s siedztwa na w złach uporz dkowanych wg
odległo ci dm:
( )
Λ i, i = e
*
λ (t )
d 2m
gdzie (t) jest funkcj promienia s siedztwa.
Funkcje celu stowarzyszona z funkcj s siedztwa charakteryzuje si , przy
warto ciach λ→0, przej ciem w algorytm uczenia konkurencji ostrej. Posta funkcji
przybiera kształt paraboli. W przypadku jednak, gdy λ → ∞, wtedy przy wolnej
zmianie λ dostajemy funkcj wielomodaln , o wielu minimach lokalnych. W tym
momencie funkcja ta zapewnia doj cie procesu uczenia do globalnego minimum.
Wskutek tego algorytm ten jest okre lany jako najbardziej skuteczny w ród takich
algorytmów jak mapa Kohonena czy k-u rednie .