Nieparametryczna identyfikacja systemów

Nieparametryczna identy…kacja systemów
W÷odzimierz Greblicki
Instytut Cybernetyki Technicznej, Politechnika Wroc÷awska
opublikowano w: Archiwum Automatyki i Robotyki, tom XXXVI, zeszyt 2, str. 277-290, 1991
Streszczenie
tod estymacji funkcji regresji, a potem ich zastosowania by÷y spowodowane pewnymi, powaz· nymi niekiedy niedostatkami metod parametrycznych. Te
ostatnie wymagaja¾ jak wiadomo dość sporej informacji apriorycznej. Dla przyk÷adu, jeśli identy…kuje sie¾ charakterystyk¾e systemu statycznego na
podstawie obserwacji jego sygna÷ów wejściowych
i wyjściowych, to nalez· y juz· przed eksperymentem wiedzieć, z· e nalez· y ona do pewnej, znanej rodziny funkcji. Rodzina ta musi ponadto dać sie¾
przedstawić w postaci parametryczej, co oznacza,
z· e jednoznaczne określenie funkcji nalez· acej
¾ do niej
jest równoznaczne ustaleniu wektora parametrów o
znanym i ograniczonym wymiarze. Problem identy…kacji parametrycznej polega zatem na estymacji rzeczywistej wartości wektora parametrów. Typowa jest tutaj sytuacja, gdy o nieznanej charakterystyce wiadomo, z· e jest wielomianem znanego
stopnia, a identy…kacja polega na estymacji jego
wspó÷czynników. Wydaje sie¾ jednak, z· e zadania
praktyczne, w których nie dysponuje sie¾ niestety
wiedza¾ o badanym obiekcie na tyle szeroka,
¾ z· e umoz· liwi÷oby to przedstawienie problemu w postaci parametryczej. Moz· na wtedy stosować metody nieparametryczne, gdyz· nie wymagaja¾ one tak znacznej informacji apriorycznej. Pozwalaja¾ one identy…kować nieznana¾ charakterystyk¾e tzn. otrzymywać
algorytmy zbiez· ne do niej nawet wtedy, gdy jej postać funkcyjna jest zupe÷nie nieznana i wiadomo o
niej zaledwie, z· e jest np. ca÷kowalna z kwadratem.
Algorytmy proponowane przez podejście nieparametryczne, czyli algorytmy nieparametryczne sa¾
zatem skutecznym narzedziem
¾
w sytuacjach, gdy
wstepna
¾
informacja o systemie jest znikoma. Warto
podkreślić takz· e, z· e nie nalez· y ich traktować jako
konkurencyjne wibec tych, które otrzymuje sie¾ w
ramach metod parametrycznych. W istotny jednak
sposób poszerzaja¾ one nasze moz· liwości poznawcze.
Pozwalaja¾ one bowiem identy…kować systemy nieliniowe przy bardzo ubogiej informacji apriorycznej,
gdy klasyczne podejście parametryczne zawodzi.
Ze wzgledu
¾
na brak publikacji na ten temat w
jezyku
¾
polskim i jednocześnie spore zainteresowanie w literaturze obcojezycznej,
¾
niniejsza praca ma
W pracy przedstawiono nieparametryczne algorytmy
estymacji funkcji regresji oraz zastosowano je do identy…kacji systemów sterowania. Podano podstawowe ich
w÷asności takie jak zbiez· ność i szybkość tej zbiez· ności. Omówiono nastepnie
¾
nieparametryczne algorytmy
identy…kacji pewnej klasy nieliniowych systemów dynamicznych i przedstawiono wyniki dotyczace
¾ ich zbiez· ności. Praca jest przede wszystkim prezentacja¾ metod
nieparametrycznych pod katem
¾
ich zastosowań w identy…kacji i omawia rezultaty otrzymane do tej pory w
tym zakresie.
1
Wstep
¾
Nieparametryczne metody wnioskowania statystycznego, które moz· na wykorzystać w identy…kacji systemów sterowania sa¾ przedmiotem badań od
stosunkowo nied÷ugiego czasu. Pierwsze prace na
ten temat pojawi÷y sie¾ w czasopismach poświeco¾
nych statystyce matematycznej w po÷owie lat sześćdziesiatych,
¾
Nadaraya [2], Watson [32], i dotyczy÷y nieparametrycznej estymacji funkcji regresji.
Na poczatku
¾
lat siedemdziesiatych
¾
zauwaz· ono, z· e
ich rezultaty moz· na bezpośrednio wykorzystać do
identy…kacji charakterystyk statycznych, Greblicki
[8,9,10]. Znaczniejsze zainteresowanie metodami
nieparametrycznymi przynosi nastepne
¾
dziesiecio¾
lecie, Devroye [1], Devroye i Wagner [2,3], Greblicki i Krzyz· ak [13], Greblicki, Krzyz· ak i Pawlak [14], Greblicki i Pawlak [15, 18], Silverman
[30], Stone [31], a g÷ównym obszarem ich zastosowań staje sie¾ rozpoznawanie. Istotniejsza¾ próba¾ zastosowania tego narzedzia
¾
dla potrzeb identy…kacji
by÷o rozwiazanie problemu optymalnego modelowania systemu bed
¾ acego
¾
kaskadowym po÷aczeniem
¾
podsystemów statycznych, Greblicki i Krzyz· ak [12].
Kolejne zagadnienie, do rozwiazania którego zastosowano metody nieparametryczne, to identy…kacja
pewnej klasy nieliniowych systemów dynamicznych
nazywanych systemami Hammersteina, Greblicki
[11], Greblicki i Pawlak [16,17,19,20].
Pojawienie sie¾ i rozwój nieparametrycznych me1
2.2
charakter informacyjny i przegladowy.
¾
2
Omówimy teraz dwa czesto
¾
stosowane nieparametryczne algorytmy estymacji m(u) tzn. algorytm z
jadrem
¾
i algorytm ortogonalny.
Zauwaz· my, z· e jako przybliz· enia licznika i mianownika w u÷amku (3) moz· na przyjać
¾ odpowiedno:
Identy…kacja systemu statycznego
2.1
Algorytmy identy…kacji
Wprowadzenie
1
2h
Rozpatrzymy teraz zadanie identy…kacji systemu
statycznego, rys. 1.
u+h
Z ·Z
¸
yf (v; y)dy dv
u¡h
oraz
1
2h
u+h
Z
f(v)dv;
u¡h
(4)
gdzie h jest pewna¾ dodatnia¾ liczba.
¾ Przez f(:; :)
Un
oznaczyliśmy ÷aczn
¾ a¾ gestość
¾
prawdopodobieństwa
Yn wejścia i wyjścia. Wyrazenia podane w (4) daja¾
·
m
sie¾ ÷atwo oszacować na podstawie danych pomiarowych. Oznaczajac
¾ bowiem przez Iu zbiór wszystkich i 2 f1; 2; : : : ; ng, dla których jUi ¡ uj · h,
moz· na jako nieobcia¾z· one oszacowania tych wyraz· eń
Rys. 1. Identy…kowany system statyczny
przyjać
¾ odpowiednio:
W systemie tym:
1 X
1 X
Yi oraz
Ui :
(5)
Yn = m(Un ) + Zn ;
(1)
2nh i2I
2nh i2I
Zn
u
gdzie Un i Yn sa¾ odpowiednio wejściem i wyjściem,
a Zn zak÷óceniem pomiarowym. Un i Zn sa¾ zmiennymi losowymi. Poniewaz· o funkcji m zak÷adamy,
z· e jest mierzalna w sensie Borela, takz· e Yn jest
zmienna¾ losowa.
¾ Ponadto sygna÷ wejściowy jest stacjonarnym bia÷ym szumem tzn. dla n 6= m zmienne
losowe Un i Um sa¾ niezalez· ne i maja¾ jednakowe
rozk÷ady. Podobnie zak÷ócenie jest stacjonarnym
bia÷ym szumem, a jego wartość średnia jest równa
zero. Przyjmujemy takz· e, z· e sygna÷ wejściowy i
szum pomiarowy sa¾ procesami stochastycznie wzajemnie niezalez· nymi. Za÷oz· enia powyz· sze obowiazuj
¾ a¾ w ca÷ej pracy i nie bad
¾ a¾ powtarzane w podawanych w niej twierdzeniach.
Zadanie identy…kacji polega na wnioskowaniu o
nieznanej charakterystyce m na podstawie obserwacji niezalez· nych par (U1 ; Y1 ) ; : : : ; (Un ; Yn ). Zauwaz· ajac,
¾ z· e
m(u) = E fYn jUn = ug
Oznaczajac:
¾
K(u) =
u
½
1=2; dla juj · 1
0;
dla juj > 1;
(6)
moz· na z kolei wyraz· enia w (5) przepisać w nastepu¾
jacej
¾ postaci:
µ
¶
µ
¶
n
n
1 X
u ¡ Ui
u ¡ Ui
1 X
Yi K
oraz
K
:
nh i=1
h
nh i=1
h
(7)
Poniewaz· powyz· sze wielkości przyjeliśmy
¾
jako oszacowania tych w (4), które sa¾ z kolei przybliz· eniami
g(u) i f(u), to estymator nieznanego m(u) de…niujemy nastepuj
¾ aco:
¾
µ
¶
n
u ¡ Ui
1 X
Yi K
nh i=1
h
¶ :
µ
n
1 X
u ¡ Ui
K
(2)
nh i=1
h
moz· na stwierdzić, z· e z punktu widzenia statystyki
matematycznej problem polega na estymacji funkcji regresji. Zak÷adajac
¾ teraz istnienie gestości
¾
prawdopodobieństwa sygna÷u wejściowego moz· emy
stwierdzić, z· e:
Jest oczywiste, z· e aby zapewnić zbiez· ność powyz· szego wyraz· enia do m(u) nalez· y wspó÷czynnik h
uzalez· nić od liczby pomiarów n. Prowadzi to do
nastepuj
¾ acej
¾ de…nicji estymatora:
µ
¶
n
1 X
u ¡ Ui
Yi K
m(u) = g(u)=f (u);
(3)
nh(n) i=1
h(n)
m
^ n (u) =
(8)
µ
¶ ;
n
gdzie g(u) = m(u)f (u). Przez f oznaczyliśmy
1 X
u ¡ Ui
K
gestość
¾
prawdopodobieństwa zmiennej losowej Un .
nh(n) i=1
h(n)
Podajac
¾ róz· ne oszacowania wyraz· eń znajdujacych
¾
sie¾ w liczniku i mianowniku u÷amka (3) otrzymuje gdzie K jest tzw.
jadrem
¾
estymatora,
sie¾ rózne algorytmy identy…kacji nieparametrycz- fh(n); 1; 2; : : :g ciagiem
¾
liczb dodatnich.
Donej.
puszczajac
¾ stosowanie innych funkcji K, a nie
2
tylko tej zde…niowanej wzorem (6), otrzymuje sie¾ moz· emy ÷atwo sprawdzić, z· e
ca÷a¾ klase¾ algorytmów nazywana¾ w literaturze
n
X
estymatorem z jadrem.
¾
Yi kN(n) (u; Ui )
Algorytm, który przedstawimy teraz wykorzyk=0
m
~ n (u) = n
;
stuje szeregi ortogonalne i dlatego nazywany jest
X
ortogonalnym. Za÷ózmy, z· e f'k ; k = 0; 1; 2; : : :g
kN(n) (u; Ui )
jest uk÷adem funkcji ortonormalnych na ca÷ej prok=0
stej. Niech:
gdzie kN jest tzw. jadrem
¾
szeregu ortogonalnego.
1
1
Dla
uk÷adu
trygonometrycznego,
kN jest jadrem
¾
X
X
g(u) »
ak 'k (u) oraz f (u) »
bk 'k (u)
Dirichleta, gdy natomiast system ortonormalny jest
k=0
k=0
typu wielomianowego, jadro
¾
to moz· na ÷atwo wyrazić w znacznie prostszej obliczeniowo postaci jeśli
co oznacza, z· e :
skorzysta sie¾ z wzoru Christo¤ela-Darboux.
Z
Z
ak = m(u)f (u)'k (u)du i bk = f (u)'k (u)du:
2.3
Zbie·zność algorytmów identy…kacji
Jako przybliz· enie g(u) i f(u), czyli wyraz· eń
stojacych
¾
odpowiednio w liczniku i mianowniku Podstawowy problem jaki sie¾ teraz pojawia to zbiez· ność przedstawionych powyz· ej algorytmów idenu÷amka (3) przyjmiemy teraz:
ty…kacji do nieznanej charakterystyki. W odnieN(n)
N(n)
sieniu do algorytmu z jadrem
¾
nalez· y odpowiedzieć
X
X
ak 'k (u) oraz
bk 'k (u);
na pytanie w jaki sposób wybrać ciag
¾ fh(n)g oraz
k=0
k=0
jadro
¾
K. Wobec algorytmu otrogonalnego wy÷ania
sie¾ zagadnienie wyboru funkcji ortogonalnych i cigdzie fN (n); n = 1; 2; : : :g jest pewnym ciagiem
¾
agu
¾ fN (n)g. O zagadnieniach tych traktuje szereg
liczb naturalnych.
Jest oczywiste, z· e wspó÷- prac. Zaczniemy od twierdzenia dotyczacego
¾
algoczynniki a0 ; a1 ; : : : oraz b0 ; b1 ; : : : rozwinieć
¾ ortogo- rytmu z jadrem.
¾
nalnych sa¾ nieznane, Zauwaz· ajac
¾ jednak, z· e ak =
EfY1 'k (U1 )g oraz bk = Ef'k (U1 )g, moz· na podać Twierdzenie 1. Za÷óz· my, z· e
nastepuj
¾ ace
¾ nieobcia¾z· one ich estymatory:
Z
m2 (u)f (u)du < 1 i EZ12 < 1: (10)
n
n
X
1
1X
Yi 'k (Ui ) oraz ~bk =
' (Ui ):
a
~k =
n i=1
n i=1 k
Niech K bedzie
¾
nieujemna¾ funkcja¾ mierzalna¾
w sensie Borela taka,
¾ z· e:
W rezultacie otrzymujemy nast¾epujacy
¾ algorytm
Z
identy…kacji:
K(u)du = 1;
m
~ n (u) =
n
X
a
~k 'k (u)
k=0
N(n)
X
:
(9)
Jez· eli
~bk 'k (u)
jujK(u) ! 0, gdy juj ! 1.
n
n
h(n) ! 0 oraz nh(n) ! 1;
k=0
to
Stosujac
¾ róz· ne uk÷ady funkcji otrogonalnych otrzyn
muje sie¾ rózne wersje algorytmu (9). Jako uk÷ad ten
m
^ n (u) ! m(u) w/g prawdopodobieństwa
moz· na przyjać
¾ np. rodzine¾ funkcji Hermite’a. Jeśli
w kaz· dym punkcie u 2 (¡1; 1), w którym
sygna÷ wejściowy jesr ograniczony, to moz· na stosozarówno
charakterystyka m jak i gestość
¾
f sa¾
wać uk÷ady ortogonalne na odcinku, czyli np. uk÷ad
ci
ag÷e
¾
oraz
jednocześnie
f(u)
>
0.
trygonometryczny lub wielomiany Legendre’a.
Pomimo, z· e zasady konstrukcji estymatorów (8) i
^
(9) sa¾ ca÷kowicie róz· ne, istnieje miedzy
¾
nimi pewne Dowód. Oznaczmy przez g^n (u) i fn (u) wyraz· enia stojace
¾ odpowiednio w liczniku i mianowniku
podobieństwo. Oznaczjac
¾ bowiem
wyraz· enia (8). Oczywiście
N
µ
¶
Z
X
u¡v
1
'k (u)'k (v);
kN (u; v) =
E^
gn (u) =
K
g(v)dv:
h(n)
h(n)
k=0
3
z· ada
¾ sie¾ aby jego rozk÷ad prawdopodobieństwa posiada÷ gestość,
¾
aczkolwiek moz· e być ona zupe÷nie
dowolna.
A teraz uwaga dotyczaca
¾ specy…kacji punktów,
w których algorytm zbiega sie¾ do nieznanej charakterystyki. Zauwaz· my, z· e jeśli gestość
¾
f jest ciag÷a,
¾
to algorytm jest zgodny w kaz· dym punkcie, w
którym charakterystyka m jest ciag÷a
¾
a gestość
¾
dodatnia. Zwróćmy jednak uwage,
¾ z· e charakterystyka
nie musi być bynajmniej funkcja¾ wszedzie
¾
ciag÷
¾ a,
¾
moz· e to być np. charakterystyka typu przekaźnikowego.
Twierdzenie 1 moz· na ÷atwo wzmocnić, aczkolwiek wymaga÷oby to stosowania bardziej zaawansowanych narzedzi.
¾
Stosujac
¾ np. technik¾e obcieć
¾ moz· na wykazać, z· e za÷oz· enia (1) mo
¾ przez
R z· na zastapić
mniej ograniczajacy
¾ warunek jm(u)jf (u)du < 1
i EjZ1 j < 1, Devroye [1], Greblicki, Krzyz· ak i
Pawlak [14].
W pracy tej zak÷adamy, z· e rozk÷ad sygna÷u wejściowego jest na tyle regularny, z· e istnieje jego
gestość.
¾
Z za÷oz· enia tego moz· na zrezygnować, gdyz·
okazuje sie,
¾ z· e algorytm zbiega sie¾ do nieznanej
charakterystyki takz· e przy dowolnym rozk÷adzie sygna÷u wejściowego nawet takim, który gestości
¾
nie
posiada, Devroye [1], Devoye i Wagner [3], Greblicki, Kzyz· ak i Pawlak [14], Stone [31].
Twierdzenie 1 daje spora¾ swobode¾ w wyborze
jadra
¾
K i ciagu
¾ liczbowego fh(n)g. Jest oczywiste,
z· e wybór ten ma wp÷yw na szybkość z jaka¾ algorytm sie¾ zbiega. Krytyczny okazuje sie¾ tutaj wybór
ciagu
¾ liczbowego, gdyz· wp÷yw jadra
¾
na te¾ szybkość
jest niewielki. Moz· na wykazać, z· e jeśli zarówno m
jak i f sa¾ w punkcie u dwukrotnie róz· niczkowalne
oraz h(n) = c1 n¡1=5 , c1 > 0, to:
Zbiez· ność powyz· szego do g(u), gdy h(n) zda¾z· a do
zera, jest przedmiotem twierdzeń analizy matematycznej. Korzystajac
¾ np. z Twierdzenia 9.9 z ksia¾z· ki Wheedena i Zygmunda [33] wnioskujemy, z· e,
poniewaz· g jest funkcja¾ ca÷kowalna,
¾ wyraz· enie powyz· sze zbiega sie¾ do g(u) w kaz· dym punkcie ciag÷o¾
ści funkcji g. Z kolei
var [^
gn (u)]
·
µ
¶¸
1
u ¡ U1
=
var
Y
K
·
1
nh2 (n)
h(n)
·
µ
¶
¸
Z
k
var [Z1 ]
u¡v
K
f (v)dv
nh(n)
h(n)
h(n)
µ
¶
Z
1
u¡v
+
K
m2 (v)f (v)dv;
h(n)
h(n)
gdzie k = supu K(u). Korzystajac
¾ ponownie ze
wspomnianego powyz· ej twierdzenia dochodzimy do
wniosku, z· e wyraz· enie w nawiasach kwadratowych
zbiega sie¾ do var [Z1 ] f (u) + m2 (u)f(u), gdy h(n)
da¾z· y do zera. Zbiez· ność ta ma miejsce w kaz· dym
punkcie u, w którym zarówno m jak i f sa¾ ciag÷e.
¾
Wykazaliśmy zatem, z· e:
n
E(^
gn (u) ¡ g(u))2 ! 0
w kaz· dym punkcie u, w którym zarówno m jak i f
sa¾ ciag÷e.
¾
Powtarzajac
¾ powyz· sze rozumowanie w odniesieniu do f (u) moz· na ÷atwo sprawdzić, z· e
n
E(f^n (u) ¡ f(u))2 ! 0
w kaz· dym punkcie ciag÷ości
¾
funkcji f. Z tego co
pokazaliśmy oraz de…nicji estymatora wynika teza,
co kończy dowód.
Istnieje wiele funkcji spe÷niajacych
¾
warunki
Twierdzenia 1, które moz· na przyjać
¾ jako jadro
¾
estymatora. Oto kilka przyk÷adów:
½
1 ¡juj
1 ¡ juj; dla juj · 1
a)
c)
e
;
0;
dla juj > 1;
2
1
1
2
b) p e¡u =2 ;
d)
:
¼(1
+
u2 )
2¼
P fjm
^ n (u) ¡ m(u)j > "jm(u)jg · d1 n¡4=5
dla kaz· dego " > 0, gdzie d1 jest pewna¾ liczba¾ niezalez· na¾ od n, Greblicki i Krzyz· ak [13]. Rezultat
ten moz· e stanowić pewna¾ rekomendacje¾ odnośnie
do wyboru ciagu
¾ liczbowego.
Jeśli chodzi o algorytm ortogonalny, to róz· ne jego
wersje otrzymywane przez wykorzystanie róz· nych
uk÷adów ortogonalnych wymagaja¾ róz· nych sposobów analizy. Majac
¾ zatem na uwadze ograniczoność miejsca poprzestaniemy na algorytmie z uk÷adem Hermite’a. Jak wiadomo, w uk÷adzie tym:
1
¡u2 =2
'k (u) = p
Hk (u);
p e
k
2 k! ¼
Jeśli jako ciag
¾ liczbowy przyjać
¾ h(n) = cn¡® , to
warunki (11) sa¾ spe÷nione dla 0 < ® < 1.
Zauwaz· my, z· e jedynym za÷oz· eniem Twierdzenia
1 odnoszacym
¾
sie¾ do informacji wstepnej
¾
o nieznanym systemie jest (10). Wymaga ono aby istnia÷
drugi moment Em2 (U1 ) sygna÷u pojawiajacego
¾
sie¾
bezpośrednio za elementem o nieznanej charakterystyce oraz aby zak÷ócenie pomiarowe posiada÷o
skończona¾ wariancje.
¾ Nie wymagana jest przy tym
z· adna znajomość funkcyjnego kszta÷tu nieznanej
charakterystyki. Odnośnie do sygna÷u wejściowego,
gdzie:
dk ¡u2
e
duk
jest k-tym wielomianem Hermite’a. Dla przyk÷adu,
H0 (u) = 1, H1 (u) = ¡2u, H2 (u) = 4u2 ¡ 2,
H3 (u) = ¡8u2 + 12u, itd.
2
Hk (u) = eu
4
¾
algorytmu z wielowymiarowym uk÷aTwierdzenie 2. Za÷óz· my, z· e spe÷nione jest za÷o- z wyjatkiem
dem trygonometrycznym, niczego na ten temat nie
z· enie (10), Jeśli f; g 2 Lp , p > 1, oraz
wiadomo.
n
n
Duz· e zainteresowanie budzi b÷ad
¾ ca÷kowy, a nie
N (n) ! 1 oraz N (n)=n2 ! 0;
(12)
tylko punktowy, do którego ograniczyliśmy sie¾ tuto dla algorytmu wykorzystujacego
¾
uk÷ad Her- taj, gdyz· podaje on globalna¾ ocen¾e jakości algomite’a
rytmu. Do b÷edu
¾
ca÷kowego wrócimy omawiajac
¾
rezultaty
eksperymentu
numerycznego.
Badana
n
m
~ n (u) ! m(u) w/g prawdopodobieństwa
jest takz· e zbiez· ność z prawdopodobieństwem 1 oraz
inne typy zbiez· ności probabilistycznej. Otrzymyw kaz· dym punkcie u 2 (¡1; 1), w którym wane w literaturze rezultaty dotycza¾ takz· e specy…zarówno charakterystyka m jak i gestość
¾
f sa¾ kacji punktów, w których algorytmy sa¾ zbiez· ne. W
róz· niczkowalne i jednocześnie f(u) > 0.
tej pracy stwierdziliśmy np. zbiez· ność w punktach
ciag÷ości,
¾
czy róz· niczkowalności nieznanej charakDowód powyz· szego twierdzenia moz· na znaleźć w terystyki. Znane sa¾ wyniki o zbiez· ności w prawie
pracy Greblicki i Pawlak [15]. Trzeba dodać, z· e wszystkich, wed÷ug odpowiednich miar, punktach.
podobnie jak mia÷o to miejsce wobec Twierdzenia
Stosuje sie¾ takz· e róz· ne pochodne wersje przed1 takz· e i w Twierdzeniu 2 za÷oz· enie (10) moz· na stawionych powyz· ej algorytmów. Odnośnie do alos÷abić, Greblicki i Pawlak [15].
gorytmu z jadrem
¾
warto wspomnieć o jego wersjach
Warto w tym miejscu zwrócić uwage¾ na to, z· e rekurencyjnych, Devroye i Wagner [2], Greblicki i
zbiory punktów określone ptzrz Twierdzenia 1 i 2, Krzyz· ak [13], Greblicki i Pawlak [18].
w których algorytm z jadrem
¾
i algorytm ortogoWarto odnotować próbe¾ zastosowania algorytnalny z uk÷adem Hermite’a zbiegaja¾ sie,
¾ sa¾ róz· ne. mów ortogonalnych do estymacji zmieniajacej
¾ sie¾ w
Jez· eli np. sygna÷ wejściowy ma rozk÷ad normalny, czasie funkcji regresji, czyli inaczej mówiac
¾ do idento zgodnie z Twierdzeniem 1 algorytm z jadrem
¾
ty…kacji obiektu niestacjonarnego, Greblicki, Rutjest zbiez· ny do m(u) w kaz· dym punkcie ciag÷ości
¾
kowska i Rutkowski [21].
m. Twierdzenie 2 zapewnia natomiast w tej syObszerny i szczegó÷owy przeglad
¾ wyników uzytuacji zbiez· ność algorytmu otrogonalnego jedynie skanych w dziedzinie nieparametryczej estymacji
w punktach rózniczkowalności m. Róz· nica ta nie funkcji regresji oraz gestości
¾
prawdopodobienstwa
jest przypadkowa i wystepuje
¾
takz· e przy korzysta- zawiera ksiaz· ka Prakasy Rao [24]. Moz· na w niej
niu z innych uk÷adów ortogonalnych, gdyz· ma g÷eb¾
znaleźć bogaty wykaz publikacji wydanych do 1980
sze przyczyny.
roku dotyczacych
¾
nie tylko estymacji jako takiej
Odnośnie do szybkości zbiez· ności rozwaz· nego al- lecz takz· e zastosowań.
gorytmu wiadomo, z· e jeśli m oraz f sa¾ dwukrotnie
rózniczkowalne, to przy spe÷nieniu pewnych dodatkowych za÷oz· eń:
3 Identy…kacja systemów dy-
namicznych
P fjm
~ n (u) ¡ m(u)j > "jm(u)jg · d2 n¡4=5 ;
£
¤
" > 0, d2 > 0, gdy tylko N (n) = c2 n1=2 , gdzie
c2 > 0, natomiast [:] oznacza cześć
¾ ca÷kowita,
¾ Greblicki i Pawlak [15]. Zauwaz· my, z· e szybkość powyz· sza posiada rzad
¾ n¡4=5 , czyli ten sam jaki ma
algorytm z jadrem.
¾
Warto dodać, z· e obserwacja ta
powtarza sie takz· e dla algorytmów korzystajacych
¾
z innych uk÷adów ortogonalnych.
2.4
Podejście nieparametryczne zastosowano takz· e do
identy…kacji pewnej klasy nieliniowych systemów
dynamicznych. Obejmuje ona systemy określane
jako systemy Hammersteina, a które nazw¾e zawdzieczaj
¾
a¾ temu, z· e ich zachowanie opisuje sie¾ funkcjona÷em Hammersteina.
Zn
Un
Uwagi
Wn
m
Powyz· ej podano jedynie podstawowe w÷asności zaprezentowanych algorytmów identy…kacji. Ograniczono sie¾ przy tym do jednowymiarowego wejscia.
O ile mody…kacja algorytmu z jadrem
¾
na przypadek wielu wejść i dalsza analiza nie stanowia¾ powaz· nej trudności, to nie mozna niestety tego powiedzieć o algorytmie ortogonalnym. Jak do tej pory,
podsystem
dynamiczny
Vn
Rys. 2. Identy…kowany system Hammersteina
W systemie takim, rys. 2,
Wn = m(Un );
5
Yn
gdzie m jest nieznana¾ nieliniowa¾ charakterystyka.
¾ postać:
Podsystem liniowy opisywany jest nastepuj
¾ acym
¾
równaniem stanu:
½
Xn+1
Yn
= AXn + bWn
= cT Xn + Zn ;
gdzie Xn jest wektorem stanu, Zn szumem pomiarowym, Yn wyjściem systemu, T oznacza transpozycje.
¾ A, b, oraz c sa¾ nieznane, lecz wiadomo, z· e A
jest macierza,
¾ której wszystkie wartości w÷asne lez· a¾
wewnatrz
¾
ko÷a jednostkowego. Podobnie jak poprzednio, sygna÷ wejściowy jest stacjonarnym bia÷ym szumem losowym określonym tym razem dla
n = : : : ; ¡1; 0; 1; : : :. Odnośnie do zak÷óceń pomiarowych zak÷adamy, z· e maja¾ skończona¾ wariancje.
¾
Nieznana charakterystyka m spe÷nia nastepuj
¾ ace
¾
za÷oz· enie:
Yi K
(14)
natomiast algorytm ortognalny zachowuje postać
(9) z ta¾ róz· nica,
¾ z· e teraz:
n
a
~k =
n
1X
1X
Yi 'k (Ui¡1 ) oraz ~bk =
' (Ui¡1 ):
n i=1
n i=1 k
Trzeba tutaj zwrócić uwage¾ na zasadnicza¾ róz· nice¾
pomiedzy
¾
sytuacja¾ obecna,
¾ a ta¾ z która¾ mieliśmy
do czynienia przy identy…kacji systemu statycznego. Wtedy wnioskowaliśmy na podstawie stochastycznie niezalez· nych par (U1 ; Y1 ) ; (U2 ; Y2 ) ; : : :,
natomiast teraz identy…kujemy majac
¾ pary zalez· ne (U0 ; Y1 ) ; (U1 ; Y2 ) ; : : :. Sa¾ one zalez· ne, gdyz·
zmienne losowe Y1 ; Y2 ; : : : sa¾ zalez· ne, poniewaz· sa¾
wyjściem systemu dynamicznego. Obecny problem
sprowadza sie¾ do poprzedniego, gdy A = 0, tzn.
gdy liniowy podsystem dynamiczny redukuje sie¾ do
opóźnienia o jedna¾ chwile.
¾
Wspomniana powyz· ej zalez· ność obserwowanych
par powoduje pojawienie sie¾ dodatkowych trudności analitycznych i dlatego ograniczymy sie¾ jedynie
do stwierdzenia, z· e rezultaty dotyczace
¾ algorytmu
(8) podane w Twierdzeniu 1 mozna powtórzyć dla
estymatora (14), Greblicki i Pawlak [16, 17]. Pewnym zaskoczeniem jest, z· e wystapienie
¾
zalez· ności
pomiedzy
¾
obserwacjami nie powoduje zmniejszenia
rzedu
¾ szybkości zbiez· ności.
Moz· na wykazać, z· e teza Twierdzenia 2 dotyczaca
¾ algorytmu ortogonalnego z systemem Hermite’a pozostaje s÷uszna takz· e i teraz, Greblicki [11].
Szybkość zbiez· ności takz· e nie ulega pogorszeniu.
Do tej pory procesy fUn g i fYn g by÷y określone
dla n = : : : ; ¡1; 0; 1; : : : i by÷y przy tym stacjonarne. Interesujaca
¾ jest takz· e sytuacja, gdy procesy te de…niowane sa¾ dla n = 0; 1; : : :, tzn. gdy nie
maja¾ one w chwili zerowej z· adnej historii. Proces
fYn g jest teraz niestacjonarny, pomimo, z· e proces
wejściowy i system jako taki sa¾ stacjonarne. ×atwo
spostrzec, z· e teraz
jm(u)j · c1 + c2 juj;
dla pewnych c1 oraz c2 . Dzieki
¾ temu zadanie
jest prawid÷owo sformu÷owane w tym sensie, z· e Xn
bed
¾ ace
¾ suma¾ nieskończonego szeregu zmiennych losowych jest takz· e zmienna¾ losowa.
¾ Jest oczywiste,
z· e za÷oz· enie to nie jest w z· adnym przypadku zwiazane
¾
z przedstawiona¾ poniz· ej metoda¾ identy…kacji.
Zadanie polega na identy…kacji obydwu podsystemów na podstawie obserwacji wejścia i
wyjscia ca÷ego systemu tzn.
na podstawie
(U0 ; Y0 ) ; (U1 ; Y1 ) ; : : :. Poniewaz· odpowiedź impulsowa¾ podsystemu liniowego moz· na ÷atwo estymować metodami korelacyjnymi, ograniczymy sie¾ do
identy…kacji podsystemu nieliniowego.
Zauwaz· my, z· e
E fYn+1 jUn = ug = ®m(u) + ¯;
µ
¶
u ¡ Ui¡1
h(n)
m
^ n (u) = i=1n
µ
¶ ;
X
u ¡ Ui¡1
K
h(n)
i=1
n
X
(13)
gdzie ® = cT b oraz ¯ = cT AEXn . Za÷óz· my chwilowo, z· e gestość
¾
sygna÷u wejściowego jest funkcja¾
parzysta,
¾ a nieznana charakterystyka nieparzysta.
¾
Wówczas EXn = 0 i w rezultacie ¯ = 0. Do przypadku ¯ 6= 0 wrócimy później. Estymacja funkcji
regresji (11) prowadzi zatem do wykrycia ®m(u),
gdzie ® jest nieznana¾ liczba.
¾ Nie jest to jednak specy…czna¾ w÷asnościa¾ prezentowanej metody, lecz cecha¾ ogólna¾ wynikajac
¾ a¾ z szeregowej struktury identy…kowanego systemu. Kaz· dy bowiem algorytm
konstruowany przy przyjetych
¾
w pracy za÷oz· eniach
wstepnych
¾
o systemie posiadać moz· e jedynie zdolność estymacji nieznanej charakterystyki z dok÷adnościa¾ do nieznanego mnoz· nika, którym w naszym
przypadku jest ®.
Algorytm z jadrem
¾
przyjmuje teraz nastepuj
¾ ac
¾ a¾
E fYn+1 jUn = ug = ®m(u) + ¯ n ;
gdzie ¯ n = cT AEXn , przy czym EXn = An x0 ,
gdzie x0 jest poczatkowym
¾
wektorem stanu. Zak÷adamy przy tym, z· e wektor ten nie charakteru
losowego. Okazuje sie,
¾ z· e algorytm z jadrem
¾
zachowuje sie¾ poprawnie takz· e i w tej sytuacji, Greblicki
i Pawlak [19].
6
Ze wzgledów
¾
obliczeniowych wygodnie jest niekiedy stosować rekurencyjne wersje algorytmu (14),
Greblicki i Pawlak [20]. De…niuje sie¾ je nastepu¾
jaco:
¾
oraz
cokolwiek, wiadomo o ich zachowaniu sie¾ dla niewielkiej liczby obserwacji. W tym obszarze musimy sie¾ jedynie zadowolić wynikami badań symulacyjnych. Poniz· ej podamy wyniki eksperymentu
numerycznego, w którym zbadano zachowanie sie¾
dwóch algorytmów, przy pomocy których estymowano charakterystyke nieliniowa¾ w systemie Hammersteina. W systemie tym charakterystyka ta jest
funkcja¾ nieciag÷
¾ a¾ i jest zde…niowana nastepuj
¾ aco:
¾
8
< 0:4; dla 0:5 < u
0; dla ¡ 0:5 < u < 0:5
m(u) =
:
¡0:4; dla u < ¡0:5:
µ
¶
n
X
1
u ¡ Ui¡1
Yi K
h(i)
h(i)
i=1
0
mn (u) = n
µ
¶
X 1
u ¡ Ui¡1
K
h(i)
h(i)
i=1
¶
u ¡ Ui¡1
h(i)
m00n (u) = i=1n
µ
¶ :
X
u ¡ Ui¡1
K
h(i)
i=1
n
X
Yi K
µ
Ponadto Xn jest skalarem, przy czym Xn+1 =
0:2 ¢ Xn + Zn . Sygna÷ wejściowy ma rozk÷ad równomierny na odcinku (¡1; 1), a zak÷ocenie na odcinku
×atwo sprawdzić, z· e m0n (u) = L0n (u)=Mn0 (u), gdzie (¡0:5; 0:5). Pierwszy z estymatorów, to algorytm
z jadrem,
¾
przy czym jako jadro
¾
przyjeto
¾ (6). Jako
0
0
drugi
zastosowano
algorytm
ortogonalny
z uk÷adem
Ln (u) = Ln¡1 (u)
·
µ
¶
¸trygonometrycznym.
1
u ¡ Un¡1
1
Yn K
¡ L0n¡1 (u)
+
n h(n)
h(n)
oraz
35
algorytm
1000 X MISE
0
Mn0 (u) = Mn¡1
(u)
·
µ
¶
¸
1
u ¡ Un¡1
1
0
K
¡ Mn¡1 (u) ;
+
n h(n)
h(n)
30
przy czym L00 (u) = M00 (u) = 0. Alternatywna formu÷a rekurencyjna, która¾ podamy dla drugiego z
przedstawionych powyz· ej algorytmów identy…kacji,
jest nastepuj
¾ aca:
¾
¶
µ
u ¡ Un¡1
00
00
Ln (u) = Ln¡1 (u) + Yn K
h(n)
20
00
Mn00 (u) = Mn¡1
(u) + K
u ¡ Un¡1
h(n)
¶
z j•drem
25
15
10
5
oraz
µ
trygonometryczny
0
0
;
100
200
n
300
400
przy czym L000 (u) = M000 (u) = 0. Przez L00n (u) i
Rys. 3. Zalez· ność b÷edu
¾ ca÷kowego od liczby
Mn00 (u) oznaczyliśmy odpowiednio licznik i mianowobserwacji
nik we wzorze de…niujacym
¾
algorytm.
Wrócimy teraz do za÷oz· enia dotyczacego
¾
¯. JeJakość kaz· dego z nich oceniano biorac
¾ pod uwage¾
z· eli ¯ 6= 0, to moz· na jednak w pewnych sytuacjach
średni,
ca÷kowy
b÷
ad
¾
kwadratowy
(MISE):
estymować ®m(u). Jeśli bowiem m(0) = 0, co jest
jak sie¾ wydaje czestym
¾
przypadkiem, to jako algo0:8
Z
rytm identy…kacji moz· na przyjać
¾ m
^ n (u) ¡ m
^ n (0).
E
(mn (u) ¡ m(u))2 du;
Jest oczywiste, z· e proponowany algorytm zbiega sie¾
¡0:8
do ®m(u), jeśli tylko m
^ n (0) zda¾z· a do m(0).
przy czym jako mn (u) przyjmowano kolejno kaz· dy z dwóch algorytmów. Jakość oceniano na odcinku bed
¾ acym
¾
cześci
¾ a¾ przedzia÷u (¡1; 1). UczyPodane w pracy rezultaty analizy teoretycznej do- niono tak, aby nie dyskwali…kowć z góry estymatycza¾ w÷asności asymptotycznych. Niewiele, jeśli tora trygonometrycznego. Jak bowiem wiadomo,
4
Przyk÷ad numeryczny
7
maja¾ z regu÷y rzad
¾ n¡1 . Z drugiej jednak strony,
algorytmy nieparametryczne sa¾ pod wzgledem obliczeniowym nieporównanie szybsze od parametrycznych otrzymywanych np. metoda¾ najmniejszych
kwadratów, która wymaga czasoch÷onnego odwracania macierzy. Róz· nica ta staje sie tym bardziej
istotna im wiekszy
¾
jest wymiar nieznanego wektora
parametrów.
Wydaje sie,
¾ z· e na koniec mozna stwierdzić, z· e
nieparametryczne metody estymacji sa¾ istotna¾ propozycja¾ ze strony statystyki matematycznej, która¾
warto wykorzystać i rozwijać dla potrzeb identy…kacji systemów nieliniowych.
rozwiniecia
¾ trygonometryczne nie zachowuja¾ sie¾ poprawnie na końcach odcinka.
B÷ad
¾ szacowano empirycznie na podstawie niezalez· nych realizacji. Jako liczbe¾ obserwacji przyjmowano kolejno 25; 50; 100; 200; 300 i 500. Jeśli
chodzi o estymator z jadrem,
¾
to dla kaz· dego z powyz· szych n wybrano eksperymentalnie takie h(n),
które minimalizuje nasz b÷ad
¾ ca÷kowy. Podobnie
postapiono
¾
z algorytmem trygonometrycznym, z ta¾
róz· nica,
¾ z· e tym razem wybierano optymalne N (n).
W ten sposób, dla kaz· dego z estymatorów otrzymano, dla podanych powyz· ej n, najmniejszy, moz· liwy do uzyskania b÷ad
¾ ca÷kowy, a wyniki przedstawiono na rys. 3.
Narzucajacym
¾
sie¾ spostrzez· eniem jest to, z· e
otrzymane wykresy sa¾ bardzo podone, gdyz· zaobserwowane róz· nice w znacznym stopniu mieszcza¾
sie¾ w granicach b÷edu
¾
spowodowanego empirycznym charakterem przyk÷adu. Wydaje sie¾ wiec,
¾ z· e
podane wyz· ej wyniki analizy teoretyczej i przedstawione rezultaty przyk÷adu symulacyjnego sk÷aniaja¾ do wniosku o bardzo podobnym zachowaniu
sie¾ obydwu algorytmów zarówno dla ma÷ych jak i
duz· ych n.
5
Bibliogra…a
[1] L. Devroye. On the almost everywhere convergence of nonparametric regression function estimates. Annals of Statistics, 9:1310–
1319, 1981.
[2] L.P. Devroye, T.J. Wagner. On the L1convergence of kernel estimators of regression
functions with aplication in discrimination. Z.
Wahrsch. Verv. Gebiete, 51:15–25, 1980.
Uwagi końcowe
[3] L.P. Devroye, T.J. Wagner. Distribution-free
consistency results in nonparametric discrimination, regression function estimation. Annals
of Statistics, 9:231–239, 1980.
W niniejszej pracy ograniczyliśmy sie¾ do dwóch typów algorytmów nieparametrycznych. Trzeba jednak stwierdzić, z· e bada sie¾ ich znacznie wiecej,
¾
a
najpopularniejsze z nich wydaja¾ sie¾ splajnowy, Silverman [30], i najbliz· szy sasiad,
¾
Stone [31]. Czynione sa¾ takz· e próby powiazania
¾
podejścia nieparametrycznego z metoda¾ najmniejszych kwadratów,
Rafaj÷owicz [26].
Tutaj omawialiśmy systuacje,
¾ w której system
pobudzany jest sygna÷em losowym. Badane sa¾ takz· e algorytmy identy…kujace
¾ nieznana¾ charakterystyk¾e obiektu statycznego w przypadku, gdy wejście jest natury deterministycznej, Ga÷kowski i
Rutkowski [4], Georgiev [5, 6], Georgiev i Greblicki
[7], Priestley i Chao [23], Schuster i Yakowitz [29].
Czynione sa¾ próby zastosowania ich do identy…kacji
systemów opisywanych równaniami o pochodnych
czastkowych,
¾
Rafaj÷owicz [25], a takz· e niestacjonarnych, Rutkowski [27, 28].
Na zakończenie nalez· a÷oby jeszcze raz stwierdzić,
z· e metody nieparametryczne stwarzaja¾ moz· liwości
identy…kacji systemów w warunkach daleko posunietego
¾
braku informacji wstepnej
¾
o badanym systemie. Jest przy tym oczywiste, z· e zap÷acić trzeba
za to pewna¾ cene,
¾ która¾ jest wolniejsza ich zbiez· ność. Jak podaliśmy, szybkość, która¾ zapewniaja¾
one przy dwukrotnie rózniczkowalnej charakterystyce, jest rzedu
¾
n¡4=5 . Metody parametryczne
[4] T. Ga÷kowski, L. Rutkowski. Nonparametric
recovery of multivariate function with applications to system identi…cation. Proc. IEEE,
73:942–943, 1985.
[5] A. Georgiev.
On the recovery of functions, their derivatives from imperfect measurements. IEEE Transactions on Systems,
Man„ Cybernetics, SMC-14:900–904, 1984.
[6] A. Georgiev. Asymptotic properties of the
multivariate Nadaraya-Watson regression estimate: The …xed design case. Statistics, Probability Letters, 7:35–40, 1989.
[7] A. Georgiev, W. Greblicki.
Nonparametric function recovering from noisy observations. Journal of Statistical Planning, Inference, 13:1–14, 1986.
[8] W. Greblicki. Nieparametryczna identy…kacja
charakterystyk statycznych. Podstawy Sterowania, 3(1):11–18, 1973.
[9] W. Greblicki. Identy…kacja statyczna metoda¾
szeregów ortogonalnych. Podstawy Sterowania, 4(1):3–12, 1974.
8
[10] W. Greblicki. Nonparametric system identi…- [22] E. Nadaraya. On regression estimators. Thecation by orthogonal series. Problems of Conory Probab. Appl., 9:157–159, 1964.
trol, Information Theory, 8(1):67–73, 1979.
[23] M.B. Priestley, M.T. Chao. Nonparametric
function …tting. J. Royal Statistical Society,
[11] W. Greblicki. Nonparametric orthogonal se34:385–392, 1972.
ries identi…cation of Hammerstein systems.
International Journal of Systems Science,
[24] B.L.S. Prakasa Rao. Nonparametric Func20(12):2355–2367, 1989.
tional Estimation. Academic Press, Orlando,
1983.
[12] W. Greblicki, A. Krzyz· ak. Nonparametric
identi…cation of a memoryless system with a [25] E. Rafaj÷owicz.
Nonparametric algorithm
cascade structure. International Journal of Syfor identi…cation of weakly nonlinear static
stems Science, 10(11):1301–1310, 1979.
distributed-parameter systems. Systems, Control Letters, 4:91–96, 1984.
[13] W. Greblicki, A. Krzyz· ak. Asymptotic properties of kernel estimates of a regresion func- [26] E. Rafaj÷owicz. Nonparametric orthogonal setion. Journal of Statistical Planning, Inferies estimators of regression: A class attaining
rence, 4:81–90, 1980.
the optimal convergence rate in L2 . Statistics,
Probability Letters, 5:219–224, 1987.
[14] W. Greblicki, A. Krzyz· ak, M. Pawlak.
Distribution-free pointwise consistency of ker- [27] L. Rutkowski. On-line identi…cation of timenel regression estimate. Annals of Statistics,
varying systems by nonparametric technique.
12(4):1570–1575, 1985.
IEEE Transactions on Automatic Control,
AC-27:228–230, 1982.
[15] W. Greblicki, M. Pawlak. Fourier and Hermite series estimates of regression functions. [28] L. Rutkowski. Nonparametric identi…cation
of quasi-stationary systems. Systems, Control
Annals of the Institute of Statistical MathemaLetters,
6:33–35, 1985.
tics, 37(3, Part A):443–454, 1985.
[16] W. Greblicki, M. Pawlak. Identi…cation of di- [29] E. Schuster, S. Yakowitz. Contribution to the
theory of nonparametric regression with apscrete Hammerstein systems using kernel replication
to system identi…cation. Annals of
gression estimates. IEEE Transactions on
Statistics,
7:139–149, 1979.
Automatic Control, AC-31(1):74–77, January
1986.
[30] B.W. Silverman. Some aspects of the spline
smoothing approach to non-parametric regres[17] W. Greblicki, M. Pawlak. Hammerstein sysion
curve …tting. Annals of Statistics, 47:1–
stem identi…cation by non-parametric regres52,
1984.
sion estimation. International Journal of Control, 45(1):343–354, 1987.
[31] C.J. Stone. Consistent nonparametric regression. Annals of Statistics, 47:595–645, 1977.
[18] W. Greblicki, M. Pawlak. Necessary and suf…cient consistency conditions for a recursive [32] G.S. Watson. Smooth regression analysis. Sankernel regression estimate. Journal of Multikhyā, Ser. A, 26:359–372, 1964.
variate Analysis, 23(1):67–76, 1987.
[33] R.L. Wheeden, A. Zygmund. Measure, Inte[19] W. Greblicki, M. Pawlak.
Nonparamegral. Dekker, New York, 1977.
tric identi…cation of Hammerstein systems.
IEEE Transactions on Information Theory,
IT-35(2):409–418, March 1989.
[20] W. Greblicki, M. Pawlak. Recursive identi…cation of Hammerstein systems. Journal of the
Franklin Institute, 326(4):461–481, 1989.
[21] W. Greblicki, D. Rutkowska, L. Rutkowski.
An orthogonal series estimate of time-varying
regression. Annals of the Institute of Statistical Mathematics, 35(2, Part A):215–228, 1983.
9