Przykład kroku algorytmu propagacji wstecznej w typowej sieci
Transkrypt
Przykład kroku algorytmu propagacji wstecznej w typowej sieci
Przykład kroku algorytmu propagacji wstecznej w typowej sieci (Próg - wejście stale równe 1) η = 0.1 -0.2 1 df (e) = f (e)(1 − f (e)) de f(e) 0.2444 0.5744 0.1 -0.1 0.1 0.2488 0.4656 0.3 0.2 0.2 -0.1 0 1 1 + e−x f'(e) 0.2 1 f (x) = 0.2402 0.5986 Dla podanej konfiguracji oczekiwanym winikiem jest 1, więc delta=1-0.4656=0.5343 W pierwszym kroku propagujemy delty, mnożąc je przez wagi i pochodne. -0.2 1 0.2 0.2444 0.5744 0.1 1 δ=-0,0133 -0.1 0.1 δ=0.5343 0.2488 0.4656 0.3 0.2 0.2 0.2402 0.5986 δ=0.0266 -0.1 0 Gdy każdy węzeł ma już wyliczoną deltę, modyfikujemy wagi -0.2 1 wi→j := wi→j + η · δj · oi 0.2 δ=-0.0032 0.2444 0.5744 0.1 1 -0.1 0.1 δ=0.1329 0.2488 0.4656 0.3 0.2 0.2 0 0.2402 0.5986 δ=0.0063 -0.1 Zatem: -0.2 := -0.2 + 0.1*0.1329*1 1 0.2:=0.2+0.1*(-0.0032)*1 0.1:=0.1+0.1*0.0063*1 0.1:=0.1+0.1*(-0.0032)*1 δ=-0.0032 0.2444 0.5744 -0.1:=-0.1+0.1*0.1329*0.5744 1 δ=0.1329 0.2488 0.4656 0.3:=0.3+0.1*0.0063*1 0.2:=0.2+0.1*(-0.0032)*0 0.2:=0.2+0.1*0.1329*0.5986 0.2402 0.5986 δ=0.0063 -0.1:=0.1+0.1*0.0063*0 0 Ostatecznie -0.1867 1 0.1997 0.10063 1 δ=-0.0032 0.2444 0.5744 -0.0923 0.0997 δ=0.1329 0.2488 0.4656 0.30063 0.2079 0.2 0.2402 0.5986 δ=0.0063 -0.1 0 W kolejnym kroku -0.1867 Widzimy poprawę w stosunku do poprzedniego przebiegu 1 0.1997 0.10063 1 0.2444 0.5742 -0.0923 0.0997 0.2491 0.4712 0.30063 0.2079 0.2 0 0.2402 0.5989 -0.1