Teoria chaosu deterministycznego Cz¦±¢ trzynasta. Sieci neuronowe

Teoria chaosu deterministycznego
Cz¦±¢ trzynasta.
Sieci neuronowe
Nigdy nie ufaj niczemu i nikomu,
je±li nie wiesz, gdzie jest jego mózg.
Harry Potter i Komnata Tajemnic, J. K. Rowling
Celem zaj¦¢ b¦dzie analiza sztucznych sieci neuronowych. Sieci neuronowe
stanowi¡ komputerowy (albo matematyczny, w zale»no±ci od implementacji)
model ludzkiego mózgu. S¡ te» bardzo skutecznym narz¦dziem stosowanym
w ró»nych dziedzinach nauki i techniki (m. in. informatyka, zapami¦tywanie
wzorców np. rozpoznawanie pisma, bezpiecze«stwo pracy, porównaj [1]) Zajmiemy si¦ sieciami Hopelda w przypadku ci¡gªym i dyskretnym. Zadania
inspirowane s¡ przykªadami z ksi¡»ki [2].
Sugerowane jest, aby przed zaj¦ciami przypomnie¢/przyswoi¢ sobie nast¦puj¡ce zagadnienia:
•
rozwa»ania dotycz¡ce sieci z ci¡gªymi parametrami z wykªadów [3] (stabilno±¢, jednoznaczno±¢ rozpoznawania wzorców).
•
denicje i podstawowe wªasno±ci sieci Hopelda - rozdziaª 5. w ksi¡»ce
[1].
Zadanie 1.
Rozwa» sie¢ neuronow¡ Hopelda skªadaj¡c¡ si¦ z dwóch neuronów, opisanych poni»szym ukªadem równa«
(
ẋ = −x + π2 arctg
ẏ = −y + π2 arctg
gdzie
γ ∈ R+ .
γπy ,
2
γπx ,
2
Wyznacz funkcj¦ Lapunowa (kiedy istnieje?), narysuj jej wy-
kres. Narysuj wektorowy wykres obrazuj¡cy dynamik¦ tego równania i przedyskutuj j¡ w zale»no±ci od parametru
1
γ.
Zadanie 2.
Powtórz rozwa»ania z poprzedniego zadania dla nast¦puj¡cego ukªadu równa« opisuj¡cego sie¢ Hopelda
(
ẋ = −x + 2 π2 arctg
ẏ = −y + 2 π2 arctg
γπx ,
2
γπy .
2
Oprócz modeli ci¡gªych, opisywanymi równaniami ró»niczkowymi mo»na te»
rozwa»y¢ model dyskretny. Posªu»ymy si¦ w tym celu tzw. reguª¡ zapami¦tywania Hebba (porównaj [1, 2]). Zaªó»my, »e mamy zestaw wzorców, które
chcemy zapami¦ta¢ macierz
x1 , ..., xM ∈ {−1, 1}N .
Tworzymy na ich podstawie
M
1 X
M
W =
xr xTr −
IN .
N
N
i=1
IN
to macierz jednostkowa wymiaru
N.
Dziaªanie sieci neuronowej (rozpoznawanie wzorca) zwi¡zane jest z dynamik¡
pewnego odwzorowania. Warunki pocz¡tkowe okre±lone s¡ nast¦puj¡co
xi (0) = yi , i = 1, ..., N,
gdzie
y ∈ RN
to obiekt, w którym chcemy rozpozna¢ poszukiwany wzorzec.
Dynamika okre±lona jest przez funkcj¦
xi (n + 1) = f˜ ([W x(n)]i ) , i = 1, ..., N,
gdzie funkcja zdeniowana jest jak poni»ej


1, vi (n) > 0
˜
f (vi (n)) = xi (n) vi (n) = 0


−1, vi (n) < 0,
gdzie
vi (n) =
PN
j=0 Wij xj (n).
Stosujemy dynamik¦ asynchroniczn¡ tzn.
losujemy pewn¡ kolejno±¢ wspóªrz¦dnych i uaktualniamy je opisan¡ powy»ej
reguª¡. Alternatywnie - dynamik¡ synchroniczn¡ jednorazowo uaktualniamy
caªy wektor.
Iteracja ta zbiega do punktu staªego (pytanie dla ch¦tnych - dlaczego?),
którym mo»e by¢
•
Jeden z wyj±ciowych wzorców,
•
Kombinacja liniowa wzorców,
•
Tzw. stany szkªa spinowego, niezwi¡zane z »adnym z wzorców.
Oczywi±cie najgorsza z punktu widzenia zastosowa« jest sytuacja trzecia.
2
Zadanie 3.
Zastosuj pi¦cioneuronow¡ sie¢ Hopelda do rozpoznawania nast¦puj¡cych
wzorców
x1 = (1, 1, 1, 1, 1)T ,
x2 = (1, −1, −1, 1, −1)T ,
x3 = (−1, 1, −1, 1, 1)T .
Rozpoznaj nast¦puj¡ce wektory stworzon¡ sieci¡ neuronow¡
y1 = (1, −1, 1, 1, 1)T ,
y2 = (0, 1, −1, 1, 1)T ,
y3 = (−1, 1, 1, 1, −1)T .
Sprawd¹ jak zmiana wyj±ciowych wzorców i ich ilo±ci wpªywa na dziaªanie
sieci. Przeanalizuj inne wektory, »eby zbada¢ jak rozpozna je sie¢.
Zadanie 4.
Bazuj¡c na wynikach zadania 3. napisz sie¢ Hopelda zªo»on¡ z
zdoln¡ do rozpoznawania obrazków zapisanych w kwadracie
81 neuronów,
9 × 9 pikseli.
Zaproponuj dane pocz¡tkowe (np. inspirowane rysunkiem 1) i sprawd¹ jak
sie¢ rozpoznaje wzorce.
Rysunek 1: Przykªadowe wzorce do zadania 4.
Literatura
[1] R. A. Kosi«ski, Sztuczne sieci neuronowe. Dynamika nieliniowa i chaos,
Wydawnictwo Naukowo-Techniczne, Warszawa (2002).
[2] S. Lynch, Dynamical Systems with Applications using Mathematica, Birkhäuser, Boston, (2007).
3
[3] G. ‘wi¡tek, Dynamika modeli matematycznych, (2013).
4