Przykład kroku algorytmu propagacji wstecznej w typowej sieci

Przykład kroku algorytmu propagacji wstecznej w typowej sieci

Przykład kroku algorytmu propagacji
wstecznej w typowej sieci
(Próg - wejście stale równe 1)
η = 0.1
-0.2
1
df (e)
= f (e)(1 − f (e))
de
f(e)
0.2444 0.5744
0.1
-0.1
0.1
0.2488 0.4656
0.3
0.2
0.2
-0.1
0
1
1 + e−x
f'(e)
0.2
1
f (x) =
0.2402 0.5986
Dla podanej konfiguracji
oczekiwanym winikiem jest 1,
więc delta=1-0.4656=0.5343
W pierwszym kroku propagujemy delty, mnożąc je przez wagi i pochodne.
-0.2
1
0.2
0.2444 0.5744
0.1
1
δ=-0,0133
-0.1
0.1
δ=0.5343
0.2488 0.4656
0.3
0.2
0.2
0.2402 0.5986
δ=0.0266
-0.1
0
Gdy każdy węzeł ma już wyliczoną deltę, modyfikujemy wagi
-0.2
1
wi→j := wi→j + η · δj · oi
0.2
δ=-0.0032
0.2444
0.5744
0.1
1
-0.1
0.1
δ=0.1329
0.2488
0.4656
0.3
0.2
0.2
0
0.2402
0.5986
δ=0.0063
-0.1
Zatem:
-0.2 := -0.2 + 0.1*0.1329*1
1
0.2:=0.2+0.1*(-0.0032)*1
0.1:=0.1+0.1*0.0063*1
0.1:=0.1+0.1*(-0.0032)*1
δ=-0.0032
0.2444
0.5744
-0.1:=-0.1+0.1*0.1329*0.5744
1
δ=0.1329
0.2488
0.4656
0.3:=0.3+0.1*0.0063*1
0.2:=0.2+0.1*(-0.0032)*0
0.2:=0.2+0.1*0.1329*0.5986
0.2402
0.5986
δ=0.0063
-0.1:=0.1+0.1*0.0063*0
0
Ostatecznie
-0.1867
1
0.1997
0.10063
1
δ=-0.0032
0.2444
0.5744
-0.0923
0.0997
δ=0.1329
0.2488
0.4656
0.30063
0.2079
0.2
0.2402
0.5986
δ=0.0063
-0.1
0
W kolejnym kroku
-0.1867
Widzimy poprawę
w stosunku do
poprzedniego
przebiegu
1
0.1997
0.10063
1
0.2444 0.5742
-0.0923
0.0997
0.2491 0.4712
0.30063
0.2079
0.2
0
0.2402 0.5989
-0.1