Wstep do sieci neuronowych, wykład 15 Zespolone sieci neuronowe

Wst¦p
Neurony zepolone
Wst¦p do sieci neuronowych, wykªad 15
Zespolone sieci neuronowe
M. Czoków, J. Piersa
Faculty of Mathematics and Computer Science,
Nicolaus Copernicus University, Toru«, Poland
2012-24-01
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Idea
Funkcjonalno±¢ klasycznego neuronu (pracuj¡cego na liczbach
rzeczywistych) jest do±¢ ograniczona.
Okazuje si¦, »e wiele ogranicze« neuronu mo»e by¢
wyeliminowanych, je±li neuron zamiast na liczbach rzeczywistych
b¦dzie pracowª na liczbach zespolonych.
Zespolone neurony maja wi¦ksze mo»liwo±ci i lepiej si¦ ucz¡ ni»
klasyczne neurony.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Ograniczenia klasycznego perceptronu
Rozwa»my perceptron z binarnym wej±ciem i binarnym wyj±ciem oraz
funkcje boolowske postaci f
: {0, 1}n → {0, 1}
funkcje boolowskie separowalne za pomoc¡ funkcji liniowej mog¡
by¢ odwzorowane przez klasyczny perceptron
funkcje boolowskie nieseparowalne za pomoc¡ funkcji liniowej nie
mog¡ by¢ odwzorowane przez klasyczny perceptron
liczba funkcji boolowskich separowalnych liniowo jest bardzo
maªa w porównaniu do wszystkich funkcji
dla n = 3 104 spo±ród 256
dla n = 4 okoªo 2000 spo±ród 65536
funkcje nieseparowalne w sposób liniowy nie mog¡ by¢
odwzorowane za pomoc¡ pojedynczego neuronu, musimy do tego
u»y¢ sieci neuronowej (Minsky-Papert, 1969)
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Posta¢ algebraiczna
Liczba zespolona jest to liczba postaci:
z
= a + bi ,
gdzie a i b s¡ pewnymi liczbami rzeczywistymi oraz
jednostk¡ urojon¡, tj.
i
2
= −1.
Dla liczby z
cz¦±¢ rzeczywist¡ jako Re z
cz¦±¢ urojon¡ jako Im z
i jest tzw.
i deniuje si¦ jej
=a+b
=a
=b
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Pªaszczyzna zespolona
Liczbom zespolonym mo»na
przyporz¡dkowa¢ w sposób wzajemnie
jednoznaczny wektory na pªaszczy¹nie,
podobnie jak uto»samia si¦ wektory na
prostej z liczbami rzeczywistymi.
Wspóªrz¦dne s¡ nazwane rzeczywist¡
(Re , pozioma) i urojon¡ (Im ,
pionowa). Ka»dej wi¦c liczbie
zespolonej z
= a + bi
mo»na
przyporz¡dkowa¢ wektor ~
z
= [a, b]
i odwrotnie.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Moduª i sprz¦»enie
Równowa»ne s¡ stwierdzenia moduª (|z |) liczby z i dªugo±¢ wektora ~
z.
Deniujemy je w nast¦puj¡cy sposób:
|z | = |~z | =
Sprz¦»enie liczby z
= a + bi
p
a
2
+ b2 .
jest zdeniowane w nast¦puj¡cy sposób:
z̄
= a − bi .
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Argument
Niech
ϕ
oznacza k¡t, który wektor ~
z
tworzy z prost¡ Re , oznaczmy go przez
arg
z.
Jest to tak zwany argument.
Zatem sin ϕ
=
b
|z | i cos ϕ
=
a
|z | .
Liczba zespolona ró»na od zera ma
niesko«czenie wiele argumentów.
Argument liczby z speªniaj¡cy
nierówno±¢ 0
przez
Arg
z
≤ arg z < 2π
oznacza si¦
i nazywa si¦ go
argumentem gªównym.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Posta¢ trygonometryczna
Liczba zespolona mo»e by¢ wyra»ona w nast¦puj¡cy sposób:
z
= a + bi = |z |(cos ϕ + i sin ϕ).
Poza tym zachodzi:
z
k
= |z |k (cos ϕ + i sin ϕ)k = |z |k (cos k ϕ + i sin k ϕ).
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Motywacja
Liczby zespolone powtórzenie
Wzór Eulera
z
z
k
= |z |e i ϕ = |z |(cos ϕ + i sin ϕ)
= |z |k e i k ϕ = |z |k (cos k ϕ + i sin k ϕ)
Ka»da liczba zespolona z
6= 0
posiada k ró»nych pierwiastków k -tego
stopnia:
zj
dla j
=
p
p
ϕ+2 π
ϕ + 2j π
ϕ + 2j π
|z |e i
+ i sin
),
= |z |(cos
k
j
k
k
k
= {0, 1, ..., k − 1}.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
k
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Logika wielowarto±ciowa
Tradycyjny rachunek zda« jest dwuwarto±ciowy s¡ w nim
mo»liwe tylko dwie warto±ci logiczne prawda albo faªsz.
Jednak»e klasyczna dwuwarto±ciowo±¢ jest tylko jedn¡
z mo»liwo±ci zakresu warto±ci logicznych. Istniej¡ logiki, w
których wyst¦puj¡ wi¦cej ni» dwie warto±ci.
Warto±ci wielowarto±ciowej logiki (k -warto±ciowej) s¡ tradycyjnie
kodowane za pomoc¡ liczb caªkowitych
M. Czoków, J. Piersa
{0, 1, ..., k − 1}.
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Wielowarto±ciowa logika nad ciaªem liczb zespolonych
Deniujemy bijekcj¦ dziaªajac¡ ze zbiory warto±ci logiki
j
∈ {0, 1, ..., k − 1}
do zbioru warto±ci poªo»onych na okr¦gu
jednostkowym na pªaszczy¹nie zespolonej. Zatem:
j
→ εj = exp (i 2π j /k )
εj ∈ {ε0 , ε, ε2 , ..., εk −1 }
pierwiastki k -tgo stopnia liczby 1
s¡ warto±ciami k -warto±ciowej
logiki nad ciaªem liczb
zespolonych.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Neuron wielowarto±ciowy
Neuron wielowarto±ciwy (z angielskiego Multi-Valued Neuron, w
skrócie MVN):
jest to jednostka z n wej±ciami, jednym wyj±ciem zlokalizownaym
na okr¦gu jednostkowym pªaszczyzny zespolonej i z wagami
o warto±ciach zespolonych
jego teoretycznym podªo»em jest logika wielowarto±ciowa
(k -warto±ciowa) nad ciaªem liczb zespolonych
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
warto±ciowana (k -warto±ciowana)
Wst¦p
Neurony zepolone
Funkcja aktywacji
w sposób dyskretny
Funkcja aktywacji P (z ) ma
nast¦puj¡c¡ posta¢:
( ) = exp (i 2π j /k ) = εj ,
P z
dla j , dla którego:
2π j /k
≤ Arg z < 2π(j + 1)/k .
Funkcja P (z ) mapuje zespolon¡
pªaszczyzn¦ na zbiór k
pierwisatków jedno±ci.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Wªasno±ci wielowarto±ciowego neuronu
wagi nad ciaªem liczb zespolonych
funkcja aktywacji P (z ) dziaªaj¡ca na argumencie sumy wa»onej
zespolone wej±cia
wyj±cia le»¡ce na okr¦gu jednostkowym pªaszczyzny zespolonej
wi¦ksza funkcjonalno±¢ ni» w tradycyjnym neuronie
prostota uczenia
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Uczenie wielowarto±ciowego neuronu
W
(r +1)
= W (r ) +
α
(εq − εs )X̄ ,
(n + 1 )
gdzie
W
X
wektor wag
przykªad ucz¡cy, wektor dªugo±ci n
+ 1,
pierwszy element
wektora to bias
X̄
sprz¦»enie X
α
staªa uczenia (mo»e zawsze mie¢ warto±¢ 1)
r
numer iteracji
εq po»¡dane wyj±cie
εs
aktualne wy±cie
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Motywacja
Je±li istnieje zestaw wag, dla którego MVN odwzorowuje funkcj¦
k -warto±ciow¡,
to w wyniku uczenia zostanie on znaleziony.
A co je±li nie istnieje, czy nale»y u»y¢ sieci neuronowej, by
odwzorowa¢ funkcj¦?
Funkcj¦ k warto±ciow¡ mo»na odwzorowa¢ na funkcj¦
m -warto±ciow¡
(m
= lk , l > 1),
dla której istnieje odpowiedni
zestaw wag.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
l -powtarzalna k -okresowa
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
funkcja aktywacji
Wprowad¹my okresow¡ funkcj¦ aktywacji, w której warto±ci
k -warto±ciowej
logiki b¦d¡ powtarzane ze wspóªczynnikiem l .
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Okresowa funkcja aktywacji dla neuronu wielowarto±ciowego
Funkcja aktywacji ma posta¢:
( )=j
P z
mod k
,
dla j , dla którego zachodzi:
2 π j /m
j
M. Czoków, J. Piersa
≤ Arg z < 2π(j + 1)/m,
= 0, 1, ..., m − 1;
WSN 2010/2011 Wykªad 14
m
= kl ,
l
≥ 2.
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Wst¦p
Neurony zepolone
Okresowa funkcja aktywacji dla wielowarto±ciowych
neuronów
Funkcja aktywacji ma posta¢:
( )=j
P z
mod k
,
dla j , dla którego zachodzi:
2π j /m
j
≤ Arg z < 2π(j + 1)/m,
= 0, 1, ..., m − 1;
m
= kl ,
l
≥ 2.
funkcja aktywacji jest k -okresow¡ l -powtarzaln¡ funkcj¡ aktywacji
okresowa funkcja aktywacji odwzorowuje k -warto±ciow¡ logik¦ na
m -warto±ciow¡
logik¦, gdzie m
M. Czoków, J. Piersa
= kl
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Rozwi¡znaie problemu XOR
Wektor wag W
= (0, 1, i )
i funkcja
aktywacji P s¡ rozwi¡zaniem dla
problemu XOR.
M. Czoków, J. Piersa
x1
x2
z = w0
+w1 x1
+w2 x2
1
1
1
−1
−1
−1
1
+i
1−i
−1 + i
−1 − i
−1
1
WSN 2010/2011 Wykªad 14
P (z ) XOR
0
0
1
1
1
1
0
0
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Okresowo±¢ funkcji aktywacji
Funkcja aktywacji P jest okresowa.
Dzieli pªaszczyzn¦ zespolon¡ na 4
sektory i ustawia ich warto±ci jako
przemienny ci¡g 0, 1, 0, 1.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Wst¦p
Neurony zepolone
Problem parzysto±ci na trzech bitach
Czy na wej±ciu mamy parzyst¡ liczb¦ 1? W
x1
x2
1
1
1
1
−1
−1
−1
−1
M. Czoków, J. Piersa
= (0, ε, 1, 1)
x3
z = w0
+w1 x1
+w2 x2
+w3 x3
1
1
1
−1
−1
−1
−1
ε+2
ε
ε
ε−2
−ε + 2
−ε
−ε
−ε − 2
1
1
1
1
−1
−1
−1
−1
1
WSN 2010/2011 Wykªad 14
P (z ) f
0
0
1
1
1
1
0
0
1
1
0
0
0
0
1
1
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Problem parzysto±ci
Problem parzysto±ci dla N bitów mo»e zosta¢ rozwi¡zany za
pomoc¡ pojedynczego neuronu z okresow¡ funkcj¡ aktywacji
i k
=2
dla ka»dego N .
Zostaªo to udowodnione matematycznie dla wszystkich N
i eksperymentalnie dla wszystkich N mniejszych od 18.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Algorytm uczenia
W
(r +1)
= W (r ) +
α
(εq − εs )X̄ ,
(n + 1 )
gdzie
εq
po»¡dane wyj±cie
εs aktualne wy±cie
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Aktualne wyj±cie
Aktualnym wyj±ciem jest j -ty pierwiastek zespolony m -tego stopnia:
εs = exp (i 2π j /m),
dla którego zachodzi:
2π j /m
j
≤ Arg z < 2π(j + 1)/m,
= 0, 1, ..., m − 1;
M. Czoków, J. Piersa
m
= kl ,
l
≥ 2.
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Po»¡dane wyj±cie
Zaªó»my »e w bie»¡cym kroku iteracji algorytmu uczenia, sie¢ ma
zwróci¢ odpowied¹ q , gdzie 0
≤ q ≤ k − 1.
Istnieje l sektorów, dla których je±li z b¦dzie le»e¢ w jednym
z nich, to sie¢ zwróci q .
Je±li le»y w jednym z nich, to nie modykujemy wektora wag.
W przeciwnym wypadku z l mo»liwych sektorów wybieramy ten,
dla którego pierwiastek z nim powi¡zany le»y najbli»ej w sensie
odlegªo±ci k¡towej od wektora z .
Pierwiastek tego sektora stanowi nasze
εq
w bie»¡cym kroku
iteracji.
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14
Wst¦p
Neurony zepolone
Neuron
wielowarto±ciowy
Okresowa
funkcja
Uczenie MVN
dla aktywacji
okresowej funkcji aktywacji
Zalety neuronu wielowarto±ciowego
uczy si¦ szybciej
przystosowuje si¦ lepiej
mo»e nauczy¢ si¦ poprawnie klasykowa¢ zbiór nieseparowalny
liniowo
otwiera obiecuj¡ce, nowe mo»liwo±ci projektowania sieci
M. Czoków, J. Piersa
WSN 2010/2011 Wykªad 14