Schemat wyjściowej warstwy sieci o algorytmie uczenia o

Schemat wyj ciowej warstwy sieci o
algorytmie uczenia o konkurencji ostrej
neuron zwyci ski i*
[wektor cech wej ciowych xj ]
Algorytm uczenia Kohonena
Kwantowanie wektorowe
Modyfikacja wag poł cze sieci:
wi*j = wi*j + η(t) (xjµ - wi*j),
gdzie: η(t) – współczynnik uczenia, t – numer iteracji, xjµ – warto j-tej cechy
µ-tego wzorca wej ciowego, wij – warto wagowa poł czenia wej ciowego
w zła j z i-tym neuronem wyj ciowym.
Warto
wyj ciowa:
Dla miary Euklidesowej:
Dla innych miar:
hiµ =
j
wij xjµ = wi ⋅ xµ
|wi* - xµ |
wi ⋅ xµ
d (xµ,wi*) = min d(x, wi), 0 i
n
Algorytm uczenia LVQ Kohonena
Learning quantization vector – adaptacyjne kwantowania wektorowe
Podstawowe zało enia:
Algorytmy WTA i WTM dziel obszar wej ciowy na okre lone strefy wpływów
poszczególnych neuronów. Wagi neuronu zwyci aj cego wyznaczaj punkt
centralny dla grupy wektorów wej ciowych, który oznaczamy jako wc.(wektor
Voronoia).
Zbiór wszystkich wektorów centralnych nosi nazw ksi ki kodowej.
VQ - w ka dym obszarze wej ciowym Rn wyró nia si tzw. ,,wektory koduj ce”
(codebook vectors), gdzie przy zastosowaniu reguły najbli szego s siada mo na
okre li klas dla nowego wzorca x.
Ka demu wzorcowi wej ciowemu przypisujemy klas C co stanowi algorytm
uczenia LVQ.
Kolejne wektory wej ciowe porównuje si z wektorami centralnymi. Je eli klasy
wektora centralnego i wej ciowego s zgodne to nast puje zmiana warto ci
wektora centralnego tak aby zbli y si do wektora wej ciowego, w przeciwnym
przypadku wektor centralny jest odsuwany od wej ciowego.
Algorytm uczenia LVQ Kohonena
Learning quantization vector – adaptacyjne kwantowania wektorowe
Podstawowy algorytm LVQ1:
1. Wprowadzenie kolejnego wektora wej ciowego xi, i=1..p
c = arg min ( x − w k
k
)
2. Porównanie klasy C x przypisanej wektorowi xi i klasy C w c
i
przypisanej do wc:
• Je li C x i = C w c , to
•
Je li C x ≠ C w , to
i
c
w c (t + 1) = w c (t ) + α t [x i − w c (t ) ]
w c (t + 1) = w c (t ) − α t [x i − w c (t ) ]
3. Pozostałe wektory nie ulegaj zmianie.
Algorytm uczenia LVQ Kohonena
Learning quantization vector – adaptacyjne kwantowania wektorowe
Algorytm LVQ2.1:
Wyznaczenie okna do którego wpada wektor wej ciowy wg zale no ci:
1− e
di d j
, e = 0.2 .. 0.3
min
,
>s, s =
1+ e
d j di
Adaptacja wag:
w i (t + 1) = w i (t ) − α t [x k − w i (t ) ]
[
w j (t + 1) = w j (t ) + α t x k − w j (t )
Gdzie:
i - wektor o innej klasie ni x,
j – wektor o tej samej klasie co x.
]
Algorytm uczenia LVQ Kohonena
Learning quantization vector – adaptacyjne kwantowania wektorowe
Algorytm LVQ3:
Wyznaczenie okna do którego wpada wektor wej ciowy wg zale no ci:
1− e
di d j
min
,
, e = 0.2 .. 0.3
>s, s =
1+ e
d j di
Adaptacja wag:
w i (t + 1) = w i (t ) − α t [x k − w i (t ) ]
[
w j (t + 1) = w j (t ) + α t x k − w j (t )
Gdzie:
]
i - wektor o innej klasie ni x,
j – wektor o tej samej klasie co x.
Natomiast, je eli xk, wi oraz wj nale
do tej samej klasy:
w h (t + 1) = w h (t ) + εα t [x k − w h (t ) ], h ∈ {i, j}