Systemy neuronowo-rozmyte - Grzegorz Dudek Ph.D.

SZTUCZNA INTELIGENCJA
WYKŁAD 11. SYSTEMY NEURONOWO-ROZMYTE
Dr hab. inż. Grzegorz Dudek
Wydział Elektryczny
Politechnika Częstochowska
Częstochowa 2014
SIECI NEURONOWO-ROZMYTE
• Sieci neuronowo-rozmyte pozwalają na automatyczne tworzenie reguł na podstawie
przykładów zgromadzonych w zbiorze uczącym, zastępując w ten sposób eksperta.
• Podobnie jak w sieciach neuronowych parametry systemu neuronowo-rozmytego
dobierane są w procesie uczenia.
• Sieć neuronowo-rozmyta łączy w sobie czytelność reguł rozmytych i adaptacyjność
samouczących się sieci neuronowych.
2
SYSTEM NEURONOWO-ROZMYTY TYPU MAMDANIEGO
System RSW opisany na poprzednim wykładzie można przedstawić w postaci struktury
sieciowej.
Przyjmijmy, że wyostrzanie realizujemy metodą wysokości:
N
y=
∑h y
k
k =1
k max
h1
N
∑h
k =1
1max
k
2max
gdzie:
h2
hk = t (µ Ak ( x1 ), µ Ak ( x2 ),...,µ Ak ( xn ))
1
2
Nmax
n
yk max = sup µB k ( y)
hN
3
SYSTEM NEURONOWO-ROZMYTY TYPU TSK
W modelu Takagi-Sugeno-Kanga (TSK) baza reguł ma charakter rozmyty tylko w części
przestankowej, natomiast w części konkluzyjnej występują zależności funkcyjne.
Pojedyncza reguła ma postać:
Rk: JEŻELI x1 jest A1k I … I xn jest Ank TO y = f(x1, x2, … , xn)
Warstwa: 1
Schemat sieci:
2
3
2
A1
5
x1 x2 x n
1
A1
x1
4
N
y1
N
y2
N
yN
N
A1
1
A2
x2
2
A2
Σ
y
N
A2
1
An
xn
2
An
N
An
4
SYSTEM NEURONOWO-ROZMYTY TYPU TSK
Sposób przetwarzania danych przez kolejne warstwy sieci (model ANFIS – Adaptive-NetworkBased Fuzzy Inference System):
Warstwa 1. Elementy tej warstwy realizują funkcje przynależności składowych wektora
wejściowego xi do zbiorów Aik , i = 1, 2, …, n (numer składowej), k = 1, 2, …, N (numer reguły).
Np. gaussowskie funkcje przynależności:
  x − ck
µ Ak ( xi ) = exp−  i k i
i
  σ i



2



gdzie cik i σ ik to parametry przesłanki (środek i szerokość funkcji Gaussa)
Warstwa 2. Wyznaczenie stopnia odpalenia k-tej reguły hk (zwanego wcześniej poziomem
odcięcia). Elementy tej warstwy realizują t-normę, np. w postaci iloczynowej:
n
hk = µ Ak ( x1 ) ⋅ µ Ak ⋅ ... ⋅ µ Ak = ∏ µ Ak ( xi ) .
1
2
n
i =1
i
5
SYSTEM NEURONOWO-ROZMYTY TYPU TSK
Warstwa 3. Normalizacja – elementy tej warstwy wyznaczają względny stopień odpalenia k-tej
reguły (w stosunku do sumy stopni odpaleń wszystkich reguł):
hk =
hk
N
∑h
j =1
j
Stąd h1 + h2 +…+ hN = 1
Warstwa 4. Wyznaczenie konkluzji reguł – elementy tej warstwy realizują funkcję liniową
składowych wektora wejściowego xi przemnożoną przez względny stopień odpalenia reguły:
 n

y k = h k (a1k x1 + a2k x2 + ... + ank xn + a0k ) = h k  ∑ aik xi + a0k 
 i =1

gdzie aik to parametry konkluzji.
Jest to system Sugeno pierwszego rzędu. Gdy zamiast funkcji liniowej zastosujemy stałą
otrzymamy system Sugeno zerowego rzędu.
6
SYSTEM NEURONOWO-ROZMYTY TYPU TSK
Warstwa 5. Wyznaczenie odpowiedzi system – suma konkluzji reguł:
n

k
h
aik xi + a0k 

∑
∑
N
N
n



y = ∑ y m = ∑ h k  ∑ aik xi + a0k  = k =1  i =N1
k =1
k =1
 i =1

∑ hk
N
k =1
Wyjście jest sumą kombinacji liniowych składowych wektora wejściowego ważonych stopniami
odpalenia reguł. Stopień odpalenia reguły informuje na ile dana reguła jest kompetentna do
formowania wyjścia.
W wyniku otrzymujemy gładką interpolację liniowych modeli lokalnych (konkluzje reguł),
obowiązujących w obszarach zdefiniowanych przez funkcje przynależności występujące w
przesłankach. Jeśli funkcje przynależności są nieliniowe, model jest nieliniowy.
7
APROKSYMACJA FUNKCJI ZA POMOCĄ ANFIS
(a)
(c)
1
2
0.8
0
µi
0.6
yzki
-2
0.4
0.2
0
-1
(b)
-4
-0.5
0
x
0.5
1
1
0.8
ki
iα
ykh
,y
z
,
y
0
x
0.5
1
-1
-1
-0.5
0
x
0.5
1
0.5
0
-0.5
0.2
0
-1
-0.5
1
(d)
0.6
hαk i
0.4
-1
-0.5
0
x
0.5
1
(a) funkcje przynależności, (b) unormowane stopnie odpalenia reguł, (c) funkcje liniowe konkluzji, (d)
konstrukcja aproksymanty (linia przerywana) poprzez zsumowanie wejść neuronu wyjściowego
8
SYSTEM NEURONOWO
WNIOSKOWANIE
-ROZMYTY
W SYSTEMIE
TYPU TAKAGI
MAMDANIEGO
-SUGENO
9
WNIOSKOWANIE W SYSTEMIE TSK
10
WNIOSKOWANIE
WNIOSKOWANIE
W SYSTEMIE
W SYSTEMIE
SUGENO
TSK
x =[1, 0.5, 0.5, 16, 3]
x = [4, 1, 2, 25, 4]
yk
11
UCZENIE SIECI NEURONOWO-ROZMYTEJ TSK
Parametry modelu estymuje się metodą wstecznej propagacji błędu lub metodami hybrydowymi
(kombinacja metody najmniejszych kwadratów do estymacji parametrów konkluzji aik i
wstecznej propagacji błędu do estymacji parametrów przesłanek cik i σ ik ).
Dąży się do minimum błędu kwadratowego:
E=
1
( y − h(x))2 → min
2
dla każdego przykładu uczącego.
Tak jak w sieciach neuronowych metoda wstecznej propagacji błędu oparta jest na optymalizacji
gradientowej. Gradient ∇E zawiera trzy rodzaje składników:
∂E ∂E
∂E
, k i
.
k
∂ai ∂ci
∂σ ik
W kolejnych iteracjach algorytmu stosując metodę największego spadku modyfikuje się
parametry: aik ← aik − ηa
∂E
∂E
, cik ← cik − η c k
k
∂ai
∂ci
i σ ik ← σ ik − ησ
∂E
∂σ ik
12
UCZENIE SIECI NEURONOWO-ROZMYTEJ TSK –
METODA HYBRYDOWA
Wyjście ANFIS jest liniowo zależne od parametrów konkluzji aik i nieliniowo zależne od
parametrów przesłanek cik i σ ik . Proces uczenia w każdej iteracji rozbija się na dwa etapy.
Etap 1. Wyznacza się parametry konkluzji. Wyjście systemu można zapisać:
N
 n

y = ∑ h k  ∑ aik xi + a0k  =
k =1
 i =1

1
1
1
1
= h (x) x1a1 + h (x) x2 a2 + ... + h 2 (x) x1a12 + h 2 (x) x2 a22 + ... + h N (x) xn anN + h N (x)a0N =
= F11 (x)a11 + F21 (x)a12 + ... + F12 (x)a12 + F22 (x)a22 + ... + FnN (x)anN + F0N (x)a0N
W zapisie macierzowym: y = FA , stąd:
A = (FT F) −1 FT y
gdzie A to wektor współczynników, F to macierz wartości funkcji x dla wszystkich przykładów
uczących, a y to wektor pożądanych odpowiedzi dla wszystkich przykładów uczących.
Etap 2. Wyznacza się parametry przesłanek metodą wstecznej propagacji błędu.
13
ALGORYTM HYBRYDOWY UCZENIA MODELU TSK
1. Przy ustalonych parametrach przesłanek prezentuje się na wejście wszystkie przykłady
uczące wyznaczając macierz F.
2. Metodą najmniejszych kwadratów oblicza się macierz parametrów konkluzji A.
3. Przy ustalonych parametrach przesłanek i konkluzji oblicza się odpowiedź sieci dla
wszystkich przykładów uczących.
4. Wyznacza się średni błąd kwadratowy pomiędzy odpowiedziami sieci a odpowiedziami
pożądanymi.
5. Metodą wstecznej propagacji błędu wyznacza się nowe wartości parametrów przesłanek.
6. Powrót do kroku 1 lub stop, jeśli spełniony jest warunek zatrzymania.
14
ALGORYTM HYBRYDOWY UCZENIA MODELU TSK
Początkowe wartości parametrów przesłanek wyznacza się:
• dzieląc zakresy poszczególnych składowych wektora wejściowego xi równomiernie
(wykres po lewej)
• stosując metody grupowania danych do ustalenia środków funkcji przynależności (wykres
po prawej)
1
0
10
0.5
1
0.5
0
10
10
10
8
9
8
8
8
9
6
7
6
6
6
7
x2
5
x2
5
4
4
4
4
2
3
2
2
2
3
1
0
0
1
5
10
15
0
0
0
1
1
0.5
0.5
0
0
0
5
10
x1
15
0
5
0
5
10
15
10
15
x1
15