Microsoft PowerPoint - SNiAE-3-Sieci

Samoorganizacja
Sieci neuronowe
i algorytmy ewolucyjne
Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie
danych, analiza skupień, modele rozkładu prawd. stanów środowiska ...
Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane.
Proste bodźce wyzwalające u zwierząt, uboga reprezentacja.
Analiza danych zmysłowych i instrukcje motoryczne - neurony o
podobnych funkcjach są obok siebie => mapy topograficzne.
III. Sieci – uczenie bez nadzoru
•
•
•
•
•
Jerzy KORCZAK
email :[email protected]
http://www.korczak-leliwa.pl
http://citi-lab.pl http://kti.ue.wroc.pl
Mapy somatosensoryczne układu czuciowego,
mapy motoryczne kory i móżdżku,
mapy tonotopiczne układu słuchowego,
mapy orientacji dwuocznej układu wzrokowego,
mapy wielomodalne układu orientacji (wzgórki czworacze górne)
W materiale wykorzystano w części slajdy z wykładu Prof. W. Ducha, UMK
1
Samoorganizacja
Mapy czuciowe i motoryczne
Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie
danych, analiza skupień, modele rozkładu prawd. stanów środowiska ...
Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane.
Proste bodźce wyzwalające u zwierząt, uboga reprezentacja.
Analiza danych zmysłowych i instrukcje motoryczne - neurony o
podobnych funkcjach są obok siebie => mapy topograficzne.
•
•
•
•
•
Mapy somatosensoryczne układu czuciowego,
mapy motoryczne kory i móżdżku,
mapy tonotopiczne układu słuchowego,
mapy orientacji dwuocznej układu wzrokowego,
mapy wielomodalne układu orientacji (wzgórki czworacze górne)
Mapy senso-motoryczne
Metody uczenia sieci « bez nadzoru »
• Uczenie konkurencyjne
Reguła : «winner-take-all»
• Mapy samo-organizujace się Kohonena
– Sieć o stałych wymiarach (2D)
• Projekcja danych w sieć 2D
• Gaz neuronowy
– Dynamika topologii sieci (GNG)
• Wstawienie neuronow w miejscu gdzie błąd sieci jest
największy
J.Korczak, ULP
6
1
WTA
Sieć 2D, dane 3D
Uczenie konkurencyjne - WTA, Winner Takes All.
Nazywane też Hard Competitive Learning.
Jeden zwycięzca, dane pojedynczo (on-line) lub wszystkie (batch).
Mogą powstawać bezużyteczne neurony - konieczna incjalizacja zgodna z
rozkładem danych.
Algorytm LBG typu WTA:
1. przypadkowa inicjalizacja;
2. Powtarzaj aż ustaną zmiany:
3.
pokaż wszystkie dane i znajdź zbiory Voronoia;
4.
przesuń wagi neuronu do centrum obszaru
' = wagi sieci
o'
'
y
neurony wejściowe
z
wagi przypisane
połączeniom
Wc =
1
Rc
∑V
2-D siatka
neuronów
V ∈Rc
Uczenie sieci 2D
Modele samoorganizacji
SOM lub SOFM (Self-Organized Feature Mapping) samorganizująca się mapa cech.
o
x
o
o
'
'o
x
Wariant LBG-U: przesuń mało użyteczne (zerowy zbiór
Voronoia) neurony w lokalne minima błędu.
x=dane
o=pozycje wag
neuronów
przestrzeń cech
o' ' '
' '
' oo ' ' '
'
'' ' ' ' ' ' ' oo
'o o
' '
o=dane
o
o x
o
o
x
o
xo
o
N-wymiarowa
przestrzeń danych
Jak mapy topograficzne mogą się utworzyć spontanicznie?
Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez
odległe, hamowany przez neurony pośrednie.
o
o
Historia:
von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm
Hebbowski, wzbudzenie typu „Meksykańskiego kapelusza”, model
układu wzrokowego.
Amari (1980) - model ciągłej tkanki neuronowej.
Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja
i kooperacja.
wagi wskazują
na punkty w N-D
siatka neuronów
w 2-D
Sieć odwzorowaniem danych
Uczenie SOM
Neurony reagują na sygnały X podobne do W.
Podobny = iloczyn skalarny największy lub odległość min.
Znajdź najsilniej reagujący neuron c.
X − Wj =
∑( X
2
i
− Wij ) ; c = arg min X − W j
j
i
Przesuń wagi neuronu c i neuronów w sąsiedztwie O(c):
(
2
h( r, rc , t ) = h0 (t )exp − r − rc / σ c 2 (t )
)
w stronę wektora X:
Wi ( t + 1) = Wi ( t ) + h ( ri , rc , t )  X ( t ) − Wi ( t ) dla i ∈ O ( c )
J.Korczak, UE
11
2
SOM: «mexican hat»
Reguła modyfikacji wag wokół Best Matching Unit
The weigths are updated according to «mexican hat».
Interaction
excitatory action
+
inhibitory action
_
_
Hints : - define a large neighborhood range in the beginning
- adaptation rate is a linear decreasing function
J.Korczak, ULP
13
J.Korczak, ULP
14
15
J.Korczak, UE
16
Redukcja promienia „kapelusza” w czasie uczenia
J.Korczak, ULP
Modyfikacje SOM
Kohonen’s Self-organizing Map: Algorithm
1.
SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja
sąsiedztwa staje się deltą, czyli σ = 0.
 r −r
i
j
h ri − rj , t = exp  −
 2σ (t )2

2
(
)

 ; σ (t ) = σ 0 e −2σ 0t / tmax


Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen).
Błąd lokalny neuronu i jest sumą po wszystkich neuronach:
ε i ( X; W , t ) =
1
∑ h ri − rj , t X ( t ) − Wj ( t )
2 j
(
)
2.
3.
4.
5.
6.
2
7.
Neuron-zwycięzca ma najmniejszy błąd lokalny:
c = arg min ∑ h ri − rj , t X ( t ) − W j ( t )
i
j
(
)
Initialisation aléatoire des poids des connexions de N entrées vers
les M sorties.
Initialisation de R (le rayon de voisinage).
Présenter au réseau une nouvelle entrée.
Calculer la distance entre le neurone j de sortie et le neurone i
d’entrée pour tout j :
dj = Σ (xi(t) – wij(t))2
avec xi(t) l’entrée du neurone, et wij(t) le poids de la connexion
Sélection le neurone j* de sortie de distance minimale.
Mettre à jour les poids des connexions du neurone j* avec ses
voisins situés dans un rayon R : wij(t+1)=wij(t)) +η(t)(xi(t)– wij(t))
limt->oo η(t) =0
Si η(t)>0, alors diminuer le rayon R et retourner en 3.
Sinon l’apprentissage est terminé.
2
J.Korczak, ULP
18
3
Własności SOM
Stała uczenia
Trudno coś udowodnić o zbieżności lub punktach stacjonarnych dla
algorytmu SOM w więcej niż jednym wymiarze.
Wyniki analityczne tylko w 1D dla ciągłego czasu, proces Markova:
wartości wag wzdłuż prostej porządkują się.
Powolna zbieżność: 104-106 iteracji.
Duża stała uczenia
prowadzi do eksploracji
znacznej części
przestrzeni.
Sąsiednie neurony kodują sąsiednie obszary, ale niekoniecznie odwrotnie
Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa.
Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne
porównanie wszystkich odległości; niezbyt duże mapy.
Na komputerach wieloprocesorowych szukanie min z K będzie powolne.
Jakość klasyfikacji: zwykle niska. Kohonen: SOM głównie do wizualizacji ...
ale
Wizualizacja: też kiepska, brak oceny wprowadzanych zniekształceń.
W SOM nie istnieje funkcja energii, nie ma gradientu!
Mapy ekwiprobabilistyczne
Dla 1 wymiaru można pokazać, że uporządkowanie jest
prawidłowe, ale p(Wi) ≈ p(X)2/3 w granicy ciągłego rozkładu.
Stosowanie lokalnych funkcji błędu prowadzi do p(Wi) ≈ p(X)1/3
SOM przecenia rejony mało prawdopodobnych danych i
niedocenia rejony o dużym prawdopodobieństwie.
Powstają neurony bezużyteczne; jak wykorzystać całą sieć?
Symulacje z
równomiernym
rozkładem wektorów;
końcowy podział jest
równomierny.
Maksymalizacja entropii
Kwantyzator maksymalizujący entropię (MEQ):
w każdym przedziale takie samo prawdopodobieństwo.
P ( Hi ) =
∫ p( X )dX = 1/ k ;
Conscience Learning (DeSieno 1988; Hecht-Nielsen 1988).
fi - częstość wygrywania neuronu i, C - stała.
2

c = arg min  Cfi + ∑ h ri − rj , t X ( t ) − W j ( t ) 
i
j


(
)
Zasada jednakowego zniekształcenia: każdy neuron powinien mieć podobny
wkład do końcowego błędu kwantyzacji (klasyfikacji).
k
P ( R ) = ∑ P ( Hi ) = 1
Hi
i =1
Można to osiągnąć maksymalizując entropię:
k
I = −∑ P ( H i ) log 2 P ( H i ) ≤ log 2 k
i =1
Jak znaleźć optymalne przedziały by osiągnąć
ekwiprobabilistyczny podział?
Neural Gas et Growing Neural Gas
[Fritzke, 1994] [Martinetz, Schulten, 1991]
BAR
NG
Reguła Adaptacji Granic, Boundry Adaptation Rule.
Jeśli P(Hi) jest za duże (zbyt często pojawiają się wektory z tego
przedziału) to wielkość przedziału należy zmniejszyć.
H i = [Wi −1 ,Wi ]
NG algorithm sorts for each input signal the neurons of the network
according to the distance of their reference vectors.
Based on this ‘rank order a certain number of units is adapted.
Both the number of adapted neurons and the adaptation strength are
decreased according to a fixed schedule.
Neurons are not interconnected.
Przedział w 1D określony jest przez wagi.
Jeśli dane są z przedziału Hi to Wi przesuwamy w lewo (zmniejszamy
przedział Hi), jeśli z Hi+1 to w prawo (zmniejszamy przedział Hi+1).
GNG
Self-organization: starting with very few neurons new neurons are
inserted succesively.
Each new neuron is inserted near the neuron which has accumulated
most errors.
Neurons are connected dynamically: age of connections is used to
delete a connection.
∆Wi = η ( ℑ ( H i +1 ) − ℑ ( H i ) ) ,1 ≤ i ≤ k ;
ℑ ( H ) - f. charakterystyczna zbioru H
Zmiany ustają gdy mamy ekwiprobabilistyczny podział:
∆Wi = η ℑ ( H i +1 ) − ℑ ( H i ) = η ( P ( H i +1 ) − P ( H i ) ) → 0
J.Korczak, UE
24
4
Konstruktywny SOM
Kohonen’s Self-organizing Map
Growing Cell Structures (Fritzke 1993).
Początkowa topologia: k-wymiarowy sympleks (k=1, 2, 3).
Dodaje się nowe neurony i usuwa stare.
Algorytm SOM, ale bez zmniejszania sąsiedztwa i adaptacji
dokonuje się tylko dla zwycięzcy i bezpośrednich sąsiadów.
1.
2.
3.
4.
5.
6.
Znajdź neuron-zwycięzcę c.
Popraw jego wagi: ∆Wc=ηs(X-Ws).
Popraw wagi sąsiadów ∆Ws=ηs(X-Ws).
Zwiększ licznik częstości ∆τc=1, zmniejsz wszystkie ∆τc=−α τc.
Policz zrenormalizowane częstości fi = τi/Σjτj
Po ustalonej liczbie epok L znajdź neuron o największej częstości i
wstaw pomiędzy ten neuron i najdalszego sąsiada nowy neuron tworząc
lokalny sympleks; nowy wektor weź z interpolacji.
Map of 10*10 neurons
J.Korczak, ULP
25
Growing Neural Gas: Algorithm
1. Initialize the set to contain two units A ={c1, c2}, t=0. Initialize the connection
set.
2. Generate at random an input signal ξ.
3. Determine the winner s1 and the second-nearest unit s2 ,the closest to ξ.
4. If a connection between s1 and s2 does not exist already, create it . Set the age
of the connection to 0
C = C U {(s1,s2 )}.age(s1,s2) = 0
5. Add the squared distance between the input signal and the winner to a local
error variable: ∆Es1 = II ξ − wsiII2.
6. Adapt the reference vectors of the winner and its direct topological neighbors
by fractions :
∆wsi = εb*(ξ
ξ -wsi) , ∆wi = εn*(ξ
ξ -wn)
7. Increment the age of all edges emanating from si
8. Remove edges with an age larger than amax If this results in units having no
more emanating edges, remove those units as well.
9. If the number of input signals generated so far is an integer multiple of a
parameter l, add a new unit r to the network and interpolate its reference vector
from q and f, decrease the error variables of q and f by a fraction
10. If a stopping criterion (e.g., net size or some performance measure) is not yet
fulfilled continue with step 2.
J.Korczak, UE
Rozwój GNG
27
J.Korczak, UE
28
GNG - 2 obszary
Sytuacja w 3-wym. przestrzeni
danych - 2 oddzielone
skupienia.
Sieć GCS rosnąca w dwóch
wymiarach - odpowiednia
topologia.
5
Gas neuronowy
Wizualizacja w SOM i MDS
Wariant uczenia konkurencyjnego (Schulten i Martinez 1991)
• MDS - skalowanie wielowymiarowe
Informacja o skupieniach w danych zawarta jest w relacjach
topograficznych maksimów gęstości rozkładow.
Wizualizacja w niskowymiarowych przestrzeniach wymaga oceny
stopnia zniekształcenia - miary liczbowej.
MDS, MultiDimensional Scaling (Thorton 1954, Kruskal 1964,
Sammon 1964, Duch 1995) - proste miary zgodności topograficznej
(MZT).
Przestrzeń danych RN, wektory X mapowane na przestrzeń docelową,
zwykle Y ∈R2.
Odległości Rij = D(Xi, Xj) pomiędzy Xi i Xj w RN;
odległości rij = d(Yi,Yj) w R2.
Znajdź mapę X →Y=M(X) minimalizującą globalną MZT, czyli różnicę
pomiędzy Rij i rij.
Algorytm NG typu SOM:
1. przypadkowa inicjalizacja N wektorów; t=0;
2. Wybierz przypadkowy wektor V
3. Zrób ranking wag najbliższych V; k=1..N
Wi − V ≤ W j − V ; i < j
Zastosuj regułę adaptacji:
∆Wi = ε (t )hλ ( i )(V − Wi )
zmniejszając eksponencjalnie obszar λ i stałą uczenia ε(t).
GND
Growing Neural Gas : przyklad
GNG 100 neuronow max.
J.Korczak, ULP
33
J.Korczak, ULP
34
Voronoi i Delaunay
GND: Pokrycie przestrzeni danych
Punkty Granice decyzji
danych Voronoia
SOM
J.Korczak, ULP
Triangulacja
Delaunaya
Obszary Voronoia - neuron zwycięża konkurencję.
Zbiór Voronoia - zbiór wektorów wewnątrz obszaru Voronoia.
Łącząc neurony, których obszary Voronoia mają wspólną krawędź
otrzymujemy traingulację Delaunaya.
Growing Neural Gas
35
6
GND : Growing Neural Gas
Mapy ekonomiczne
Dane: Bank Światowy 1992, 39 wskaźników jakości życia.
SOM i mapa świata; analiza giełdy i analiza stopów.
J.Korczak, ULP
37
Applications :
Classification of Remote Sensing Images
Olej z Włoch
572 próbek olejków z
oliwek pobrano z 9
prowincji Włoch.
•
Sieć SOM 20 x 20,
uczona % 8 tłuszczów
zawartych w olejkach.
Mapa 8D => 2D.
Dokładność klasyfikacji
na testowanych
próbkach rzędu 9597%.
Satellite SPOT
– resolution de 20m * 20m en mode MultiSpectral
• B1 : 0.50 à 0.59 ηm
• B2 : 0.61 à 0.68 ηm
• B3 : 0,79 à 0.89 ηm
– triplet de valeurs
entre 0 et 255
– dimensions :
3000x3000 pixels
- resolution de 1,3m*1,3m
J.Korczak, UE
Résultats : Robertsau 1996
40
Knowledge discovery from functional MRI
Rayon d’agrégation 2, rayon d’étude de voisinage 1, 20 classes
Images 3D, taken in time,
measuring the haemdynamic
response related to neural activity
in the brain
[http://alsace.u-strasbg.fr/ipb/
Goal: Discovery of the patterns of
brain activation which they are
generating in one or more regions
of interest
Classification étape 9
J.Korczak, UE
Segmentation étape 9
41
J.Korczak, UE
42
7
Classification of voxels of fMRI
fMRI brain scanner
J.Korczak, UE
43
J.Korczak, UE
44
Bibliografia
Kilka zrodel WWW
Bishop C.M., Neural Networks for Pattern Recognition, Oxford Univ., 1995.
Gupta J., Smith K., Neural Network in Business: Techniques and
Applications, Idea GR. Pub., 2002.
Haykin S., Neural Networks: A Comprehensive Foundation, Prentice, 1999.
Rojas R., Neural Networks: A Systematic Introduction, Springer, 1996.
LSIIT (CNRS)
http://lsiit.u-strasbg.fr/afd
All seven parts of the FAQ can be downloaded from either of the following
URLS:
ftp://ftp.sas.com/pub/neural/FAQ.html.zip
ftp://ftp.sas.com/pub/neural/FAQ.txt.zip
Usenet newsgroup comp.ai.neural-nets.
Part 1: Introduction
Online books : http://www.shef.ac.uk/psychology/gurney/notes/index.html
Usenet newsgroup : comp.ai.neural-nets
FAQ : ftp://ftp.sas.com/pub/neural/FAQ.html
Neuroprose : ftp://archive.cis.ohio-state.edu/pub/neuroprose
http://lsiit.u-strasbg.fr/afd
http://www.dontveter.com/bpr/bpr.html
J.Korczak, ULP
Part
Part
Part
Part
Part
Part
45
2:
3:
4:
5:
6:
7:
J.Korczak, ULP
Learning
Generalization
Books, data, etc.
Free software
Commercial software
Hardware and miscellaneous
46
8