PARAMETRYCZNA IDENTYFIKACJA SYSTEMÓW O Z×O ·ZONEJ

Transkrypt

INSTYTUT CYBERNETYKI TECHNICZNEJ
POLITECHNIKI WROC×AWSKIEJ
Raport serii: PREPRINTY nr /2002
PARAMETRYCZNA IDENTYFIKACJA
·
SYSTEMÓW O Z×OZONEJ
STRUKTURZE
(rozprawa doktorska)
mgr inz· . Grzegorz MZYK
Promotor: prof. dr hab. inz· . Zygmunt HASIEWICZ
S÷owa kluczowe:
– identy…kacja systemów
– estymacja parametrów
– zmienne instrumentalne
– systemy nieliniowe
– systemy o z÷oz· onej strukturze
WROC×AW
wrzesień 2002
Podziekowania
¾
Pragne¾ serdecznie podziekować
panu profesorowi Zygmuntowi
¾
Hasiewiczowi za opieke¾ naukowa¾ oraz wsparcie w trakcie
studiów doktoranckich i podczas pisania tej pracy.
Dziekuj
e¾ równiez· panu prof. dr hab. W÷odzimierzowi
¾
Greblickiemu, kierownikowi Zak÷adu Sterowania i Optymalizacji Instytutu Cybernetyki Technicznej oraz pozosta÷ym
pracownikom Zak÷adu za cenne dyskusje i uwagi.
Spis treści
Wykaz oznaczeń
6
Indeks tabel i rysunków
9
1 Wprowadzenie
1.1 Stan badań . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.1 Wstep
¾ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.2 Wp÷yw informacji wstepnej
o systemie na wybór metody identy…kacji
¾
1.1.3 Ogólna reprezentacja systemów nieliniowych . . . . . . . . . . . . . .
1.1.4 Koncepcja systemów blokowo-zorientowanych . . . . . . . . . . . . .
1.1.5 Określenie zakresu tematycznego pracy . . . . . . . . . . . . . . . . .
1.2 Przyk÷ady zastosowań praktycznych . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Modelowanie szeregów czasowych i prognozowanie . . . . . . . . . . .
1.2.2 Identy…kacja nieliniowości zestawów g÷ośnikowych . . . . . . . . . . .
1.2.3 Badanie charakterystyk dekodera AM . . . . . . . . . . . . . . . . . .
1.2.4 Destylacja wsadów wielosk÷adnikowych . . . . . . . . . . . . . . . . .
1.2.5 Identy…kacja procesów emisji zanieczyszczeń . . . . . . . . . . . . . .
1.2.6 Inne zastosowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Opis podstawowych metod identy…kacji . . . . . . . . . . . . . . . . . . . . .
1.3.1 Metoda najmniejszych kwadratów (LS) . . . . . . . . . . . . . . . .
1.3.2 Metoda zmiennych instrumentalnych (IV) . . . . . . . . . . . . . . .
1.3.3 Estymatory jadrowe
. . . . . . . . . . . . . . . . . . . . . . . . . . .
¾
1.4 Teza pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 Cele pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 Podstawowe za÷oz· enia i klasy…kacja problemów pracy . . . . . . . . . . . . .
1.6.1 Za÷oz· enia ogólne . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.2 Klasy…kacja zadań . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.3 Problemy pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
10
10
10
13
13
17
18
18
18
18
19
21
21
22
22
25
28
29
29
29
29
31
31
2 Trzy-etapowa (3E) metoda identy…kacji systemów
2.1 Sformu÷owanie problemu . . . . . . . . . . . . . . .
2.2 Wady metody najmniejszych kwadratów . . . . . .
2.3 Eksperyment z metoda¾ najmniejszych kwadratów .
32
32
34
36
2
typu NARMAX
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
. . . . . . . . . . . . . .
SPIS TREŚCI
3
2.4
2.5
2.6
2.7
2.8
Zastosowanie metody zmiennych instrumentalnych . . . . . . . . . . . . . . . 37
W÷asności asymptotyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Optymalizacja metody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Nieparametryczna generacja zmiennych instrumentalnych . . . . . . . . . . . 46
Algorytm 3E (trzy-etapowy) identy…kacji systemów NARMAX przy skorelowanych
zak÷óceniach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.9 Wyniki badań eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . . 50
2.9.1 Eksperyment 1 – Porównanie algorytmu IV z algorytmem najmniejszych
kwadratów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.9.2 Eksperyment 2 – Nieparametryczna generacja zmiennych instrumentalnych dla potrzeb identy…kacji systemu NARMAX . . . . . . . . . . 50
2.9.3 Eksperyment 3 – Wp÷yw wariancji zak÷óceń na dok÷adność identy…kacji
za pomoca¾ algorytmu 3E . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.9.4 Eksperyment 4 – Wraz· liwość algorytmu 3E na dobór zmiennych instrumentalnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.10 Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3 Dwu-etapowa (2E) parametryczno-nieparametryczna identy…kacja systemów
Hammersteina
54
3.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.1.1 Badany system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.1.2 Zadanie identy…kacji . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.2 Analiza problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 Algorytm 2E (dwu-etapowy) identy…kacji systemów Hammersteina . . . . . 56
3.4 W÷asności asymptotyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.5.1 Eksperyment 1 – Identy…kacja przyk÷adowego systemu Hammersteina 59
3.5.2 Eksperyment 2 – Wp÷yw wariancji zak÷óceń na b÷ad
¾ identy…kcji za
pomoca¾ algorytmu 2E . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.5.3 Eksperyment 3 – Porównanie algorytmów 2E i 3E dla systemu Hammersteina . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.6 Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4 Identy…kacja systemów nieliniowych przy skorelowanym sygnale wejściowym
(algorytm 2ESW)
64
4.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.1.1 Przyk÷adowe struktury . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.2 Algorytm najmniejszych kwadratów i jego w÷asności przy skorelowanym sygnale wejściowym . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3 Algorytm 2ESW (dwu-etapowy, dla systemów nieliniowych ze skorelowanym
wejściem) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.1 Metody generacji macierzy zmiennych instrumentalnych ªN . . . . . 70
4.3.2 Przypadek 1 – dodatkowe moz· liwości pomiarowe . . . . . . . . . . . . 70
SPIS TREŚCI
4
4.3.3 Przypadek 2 – wejście typu AR(n) . . . . . . . . . . . . . . . . . . . 72
4.4 Zastosowanie algorytmu 2ESW do identy…kacji systemów kaskadowych (HammersteinaHammersteina) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.5.1 Eksperyment 1 – Algorytm najmniejszych kwadratów przy skorelowanym
wejściu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.5.2 Eksperyment 2 – Porównanie algorytmu 2ESW z algorytmem najmniejszych kwadratów . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5.3 Eksperyment 3 – Wp÷yw wielkości skorelowania wejścia na b÷ad
¾ identy…kacji za pomoca¾ algorytmu 2ESW . . . . . . . . . . . . . . . . . 76
4.6 Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5 Identy…kacja systemów Wienera metoda¾ zmiennych instrumentalnych (algorytm IVW)
5.1 Sformu÷owanie problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.1 Badany system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.2 Zadanie identy…kacji . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.1.3 Komentarze do za÷oz· eń i przyk÷ady . . . . . . . . . . . . . . . . . . .
5.2 Algorytm identy…kacji systemu Wienera . . . . . . . . . . . . . . . . . . . .
5.2.1 Analiza problemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.2 Opis macierzowy . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3 Estymator IVW (zmiennych instrumentalnych dla systemu Wienera) . . . .
5.4 Generacja zmiennych instrumentalnych . . . . . . . . . . . . . . . . . . . . .
5.4.1 Przypadki szczególne . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.5 Wyniki badań eksperymentalnych . . . . . . . . . . . . . . . . . . . . . . . .
5.5.1 Eksperyment 1 – Porównanie algorytmu IVW z metoda¾ najmniejszych
kwadratów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.5.2 Eksperyment 2 – Próba zastosowania algorytmu 2ESW do identy…kacji ”odwróconego” systemu Wienera . . . . . . . . . . . . . . . . .
5.5.3 Eksperyment 3 – Charakterystyka odcinkami liniowa; wp÷yw wariancji
zak÷óceń na efektywność algorytmu IVW . . . . . . . . . . . . . . .
5.6 Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
78
78
78
79
79
80
80
82
82
83
86
87
87
89
90
91
6 Uwagi końcowe
6.1 Oryginalne wyniki naukowe pracy . . . . . . . . . . . . . . . . . . . . . . . .
6.2 Uwagi praktyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3 Problemy otwarte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3.1 Identy…kacja systemów Wienera pobudzanych skorelowanym sygna÷em
wejściowym . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3.2 Identy…kacja struktur ze sprze¾z· eniami zwrotnymi . . . . . . . . . . .
6.3.3 Zalez· ność pomiedzy
zak÷óceniem i wejściem . . . . . . . . . . . . . .
¾
92
92
93
94
A Za÷aczniki
i dowody twierdzeń
¾
97
95
95
96
5
SPIS TREŚCI
A.1 Zmody…kowany opis systemu Hammersteina . . . . .
A.2 Warunek konieczny dobrej określoności algorytmu 3E
A.3 Dowód twierdzenia 2.1 . . . . . . . . . . . . . . . . .
A.7 Dowód twierdzeń 3.1 – 3.3 . . . . . . . . . . . . . . .
A.10 Schemat dowodu twierdzenia 4.3 . . . . . . . . . . . .
. .
dla
. .
. .
. .
. .
. .
. .
. .
. .
. . . . . . . . . . .
systemu NARMAX
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
97
98
98
98
100
101
102
103
104
105
B Podstawowe fakty z algebry i statystyki matematycznej zastosowane w
pracy
106
B.1 Rozk÷ad SVD macierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
B.2 Faktoryzacja macierzy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
B.3 Lemat o dwóch macierzach . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
B.4 Zbiez· ność z prawdopodobieństwem 1, zbiez· ność wed÷ug prawdopodobieństwa
i zbiez· ność wed÷ug średniej z kwadratem . . . . . . . . . . . . . . . . . . . . 107
B.5 Twierdzenie S÷uckiego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.6 Nierówność Czebyszewa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.7 Ustawiczność pobudzania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.8 Procesy ergodyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
B.9 Zmody…kowana nierówność trójkata
¾ . . . . . . . . . . . . . . . . . . . . . . . 109
C Informacja o adresie WWW kodów źród÷owych programów
110
Wykaz literatury
110
Wykaz waz· niejszych oznaczeń
* – w odniesieniu do parametrów oznacza ich prawdziwa¾ wartość, w odniesieniu do zmiennych
instrumentalnych – wartość optymalna¾ (suboptymalna)
¾
^ – wartość estymatora (oszacowanie)
k k2 – norma euklidesowa wektora
j j – wartość bezwzgledna
¾
2E – dwuetapowy (parametryczno-nieparametryczny) algorytm identy…kacji systemów Hammersteina
2ESW – dwuetapowy, parametryczny algorytm identy…kacji systemów nieliniowych ze skorelowanym wejściem
3E – trzyetapowy (parametryczno-nieparametryczny) algorytm identy…kacji systemów NARMAX
a – wektor parametrów odwrotności charakterystyki nieliniowej ¹¡1 () w systemie Wienera
AR(n) – proces autoregresji rzedu
¾ n
ARM A(n; m) – proces autoregresji z ruchoma¾ średnia¾ rzedów
n; m
¾
c – wektor parametrów charakterystyki nieliniowej ¹() w systemach NARMAX i Hammersteina
cov() – kowariancja
(odwróconym systemie Wienera)
d – pseudo-zak÷ócenie w systemie zastepczym
¾
d – wektor parametrów nieliniowośći ´() w systemie NARMAX
det A – wyznacznik macierzy A
dim(A) – wymiar macierzy A
AT – transpozycja macierzy A
A¡1 – odwrotność macierzy A
E – operator wartości oczekiwanej
F (x) – charakterystyka nieliniowa systemu (patrz algorytm 2ESW, w rozdziale 4)
h(M) – parametr wyg÷adzania w estymacji jadrowej
¾
IV – metoda zmiennych instrumentalnych (ang. instrumental variables)
IVW – algorytm identy…kacji systemów Wienera metoda¾ zmiennych instrumentalnych
K() – funkcja jadrowa
¾
LS – metoda najmniejszych kwadratów (ang. least squares)
N – ilość pomiarów wykorzystywanych w końcowym etapie identy…kacji
M – ilość pomiarów wykorzystywanych w pierwszym etapie identy…kacji
MA(m) – proces ruchomuej średniej rzedu
¾ m
p – wektor parametrów charakterystyki nieliniowej (patrz algorytm 2ESW, w rozdziale 4)
6
WYKAZ OZNACZEŃ
7
P () – prawdopodobieństwo
P lim() – granica stochastyczna (wed÷ug prawdopodobieństwa)
rank(A) – rzad
¾ macierzy A
rs (¿ ) – autokowariancja dyskretnego procesu stochastycznego fsk g
R(u) – funkcja regresji (warunkowa wartość oczekiwana wyjścia ze wzgledu
¾ na wejście)
SP E(n; m) – sygna÷ silnie ustawicznie pobudzajacy
n; m
¾ rzedów
¾
SVD – rozk÷ad macierzy wed÷ug wartości szczególnych (ang. singular value decomposition)
uk – wejście systemu w chwili k
umax – górne oszacowanie (ograniczenie) wartości wejścia uk
UB – górne oszacowanie (ang. upper bound)
var() – wariancja
xk – skorelowane wejście elementu/podsystemu nieliniowego w chwili k
wk ; vk – sygna÷y interakcyjne
yk – wyjście systemu w chwili k
YN – wektor zawierajacy
¾ N pomiarów wyjścia systemu yk
zk – zak÷ócenie dzia÷ajace
¾ na wyjście systemu w chwili k
zmax – górne oszacowanie (ograniczenie) wartości sygna÷u zk
ZN – wektor zawierajacy
¾ N wartości zak÷óceń systemu zk
® – wektor wspó÷czynników autoregresji sygna÷u wejściowego fxk g
° i – i-ty element odpowiedzi impulsowej podsystemu liniowego (np. w systemie Hammersteina)
¡ – wektor elementów odpowiedzi impulsowej ° i
(IV )
¢N
(LS)
¢N
– b÷ad
¾ estymacji metoda¾ zmiennych instrumentalnych na podstawie N pomiarów
– b÷ad
¾ estymacji metoda¾ najmniejszych kwadratów na podstawie N pomiarów
"k – pierwotne (bia÷e) zak÷ócenie, które po …ltracji formuje zak÷ócenie fzk g
´() – nieliniowość statyczna w petli
¾ sprze¾z· enia zwrotnego systemu NARMAX
µ – zagregowany wektor parametrów systemu NARMAX
prawdopodobieństwa uk
#(uk ) – funkcja gestości
¾
¸i – i-ty element odpowiedzi impulsowej podsystemu liniowego (np. w systemie Wienera)
wartości bezwzglednej
¸max (A) – wartość w÷asna macierzy A o najwiekszej
¾
¾
¤ – wektor elementów odpowiedzi impulsowej ¸i
¹() – nieliniowa charakterystyka podsystemu statycznego (np. w systemie Hammersteina)
» – pseudo-zak÷ócenie pochodzace
¾ od dynamiki systemu
& – pseudo-zak÷ócenie w drugim etapie algorytmu 2E
¿ – oznaczenie argumentu funkcji autokowariancji rx (¿ ) = Ef(xk+¿ ¡ Exk )(xk ¡ Exk )g
Ák – wektor uogólnionych wejść systemu nieliniowego
©N – macierz uogólnionych wejść systemu nieliniowego
Ã k – wektor zmiennych instrumentalnych
Ã max – górne oszacowanie (ograniczenie) sk÷adowych Ã k
ªN – macierz zmiennych instrumentalnych
zak÷ócenie fzk g
! i – i-ty element odpowiedzi impulsowej …ltru formujacego
¾
Indeks tabel i rysunków
Spis rysunków
Rys. 1.1. Identy…kowany system – str. 10
Rys. 1.2. System o strukturze Wienera-Hammersteina (tzw. ”sandwich”) – str. 14
Rys. 1.3. System Hammersteina – str. 15
Rys. 1.4. System Wienera – str. 15
Rys. 1.5. System addytywny NARMAX – str. 15
Rys. 1.6. Schemat ideowy dekodera AM – str. 19
Rys. 1.7. Kolumna wysokociśnieniowa – str. 20
Rys. 1.8. Dwukana÷owy system Wienera – str. 20
Rys. 2.1. System NARMAX o strukturze addytywnej – str. 32
Rys. 2.2. Wyniki identy…kacji systemu NARMAX metoda¾ LS – str. 37
Rys. 2.3. Wykres funkcji ´(y) = ¡ arctan(y) – str. 43
Rys. 2.4. Wykres funkcji ´(y) = ¡ arctan(10y) – str. 43
Rys. 2.5. Autokorelacja z próby sygna÷u wyjściowego przy ´(y) = ¡ arctan(y) – str. 44
Rys. 2.6. Autokorelacja z próby sygna÷u wyjściowego przy ´(y) = ¡ arctan(10y) – str. 44
Rys. 2.7. Porównanie metod LS i IV w identy…kacji systemu NARMAX – str. 51
Rys. 2.8. Parametryczna i nieparametryczna generacja instrumentów – str. 52
Rys. 2.9. Wp÷yw wariancji zak÷óceń na b÷ad
¾ identy…kacji za pomoca¾ algorytmu 3E – str. 52
Rys. 2.10. Wp÷yw zmiennych instrumentalnych na b÷ad
¾ identy…kacji za pomoca¾ algorytmu
3E – str. 53
Rys. 3.1. System Hammersteina – str. 54
Rys. 3.2. Schemat ideowy etapu 2 (parametrycznego) algorytmu 2E – str. 57
Rys. 3.3. Zagregowany b÷ad
wektora parametrów c w funkcji liczby pomiarów M
¾ wzgledny
¾
na 1. etapie algorytmu – str. 59
Rys. 3.4. Przyk÷adowe rozwiazanie
(postać uzyskanej charakterystyki nieliniowej) dla M =
¾
100 i M = 500 pomiarów na 1. etapie algorytmu (N0 = 4 i N0 = 7) – str. 60
Rys. 3.5. Zalez· ność b÷edu
¾ identy…kacji za pomoca¾ algorytmu 2E od wariancji zak÷óceń –
str. 61
Rys. 3.6. Porównanie algorytmu 2E z algorytmem 3E – str. 62
Rys. 4.1. Identy…kowany system nieliniowy – str. 65
Rys. 4.2. System statyczny – str. 66
Rys. 4.3. System równoleg÷y – str. 66
8
INDEKS TABEL I RYSUNKÓW
9
Rys. 4.4. System równoleg÷o-szeregowy – str. 66
Rys. 4.5. Wejście systemu jako wyjście …ltru liniowego – str. 70
Rys. 4.6. Przypadek bez znajomości wartości wejść …ltru kolorujacego
sygna÷ wejściowy –
¾
str. 72
Rys. 4.7. System Hammersteina-Hammersteina – str. 73
Rys. 4.8. Rezultaty eksperymentów z metoda¾ najmniejszych kwadratów – str. 75
Rys. 4.9. Porównanie metod zmiennych instrumentalnych z metoda¾ najmniejszych kwadratów
– str. 75
Rys. 4.10. Wp÷yw si÷y skorelowania procesu wejściowego na efektywność algorytmu 2ESW
– str. 76
Rys. 5.1. System Wienera – str. 78
Rys. 5.2. System zastepczy
(nieliniowy system statyczny) – str. 81
¾
Rys. 5.3. Porównanie algorytmu IVW z metoda¾ najmniejszych kwadratów – str. 88
Rys. 5.4. Porównanie algorytmów 2ESW i najmniejszych kwadratów w identy…kacji systemu Wienera – str. 89
Rys. 5.5. Wykres funkcji odcinkami liniowej, opisanej wzorem (5.29) – str. 90
Rys. 5.6. Wp÷yw wariancji zak÷óceń na efektywność metody IVW – str. 91
Rys. 6.1. Nieliniowy system MIMO ze sprze¾z· eniem zwrotnym – str. 95
Rys. 6.2. Struktura wewnetrzna
pojedynczego elementu Sj systemu MIMO – str. 96
¾
Rys. 6.3. System równoleg÷o-szeregowy do modelownia przenikania wejść do zak÷óceń w
systemie Hammersteina – str. 96
Spis tabel
Tab.
Tab.
Tab.
Tab.
Tab.
Tab.
1.1.
1.2.
1.3.
5.1.
5.2.
6.1.
Testowanie struktury systemu – str. 16
Klasy…kacja zadań identy…kacji – str. 31
Zakres pracy i proponowane algorytmy identy…kacji – str. 31
B÷edy
¾ algorytmu najmniejszych kwadratów i algorytmu IVW – str. 88
B÷edy
¾ algorytmu najmniejszych kwadratów i algorytmu 2ESW – str. 89
Przyk÷adowe programy komputerowe realizujace
¾ rozk÷ad SV D macierzy – str. 94
Rozdzia÷ 1
Wprowadzenie
1.1
1.1.1
Stan badań
Wstep
¾
Praca dotyczy algorytmów identy…kacji (budowy modeli matematycznych) nieliniowych
systemów dynamicznych w obecności sygna÷ów losowych. W rozdziale 1 zde…niowano podstawowe pojecia
pracy, krótko przedstawiono obecny stan badań w zakresie identy…kacji
¾
systemów nieliniowych i sklasy…kowano najcześciej
stosowane metody z odniesieniem do
¾
odpowiedniej literatury. Wyjaśniono takz· e celowość modelowania systemów o z÷oz· onej strukturze (tzw. systemów blokowo-zorientowanych), poparto ja¾ stosownymi przyk÷adami zastosowań praktycznych. Na tym tle sformu÷owano za÷oz· enia do zadań rozwiazywanych
¾
przez autora. Podstawowe wyniki naukowe pracy zawarte sa¾ w rozdzia÷ach 2-5. Dla sformu÷owanych wcześniej problemów przedstawiono w nich i zbadano szereg algorytmów identy…kacji opartych o tzw. technike¾ zmiennych instrumentalnych, kluczowa¾ dla tej pracy.
Rozdzia÷ 6 zawiera podsumowanie wyników badań, na bazie którego przedstawiono pomys÷y
nowych algorytmów i problemy otwarte. Fundamentalne twierdzenia, de…nicje i lematy, wraz
z dowodami i referencjami umieszczono w Dodatkach na końcu monogra…i.
1.1.2
Wp÷yw informacji wstepnej
o systemie na wybór metody
¾
identy…kacji
Ogólnie, celem identy…kacji systemu jest znalezienie modelu (wzoru) matematycznego,
który najlepiej opisuje relacje pomiedzy
wielkościa¾ wejściowa¾ u, a wyjściowa¾ y systemu. Na
¾
system dzia÷a z regu÷y nieznane, losowe zak÷ócenie z.
z
y
u
SYSTEM
Rysunek 1.1 Identy…kowany system.
Aby znaleźć taki model nalez· y wybrać odpowiednia¾ metode¾ identy…kacji, która w ogólności
zalez· y od posiadanej wiedzy wstepnej
(a priori) o systemie. Problemy i metody identy…kacji
¾
moz· na sklasy…kować nastepuj
¾ aco:
¾
10
ROZDZIA× 1. WPROWADZENIE
11
za÷oz· eń o systemie
² ze wzgledu
¾ na zakres przyjetych
¾
–metody parametryczne, gdy zak÷adamy, z· e postacie funkcji opisujacych
system sa¾ nam
¾
znane z dok÷adnościa¾ do parametrów;
–metody nieparametryczne, gdy system traktujemy jako ”czarna¾ skrzynke”,
¾ tj. zak÷adamy
jedynie istnienie adekwatnego opisu w określonej klasie charakterystyk;
w systemie
² ze wzgledu
¾ na charakter sygna÷ów wystepuj
¾ acych
¾
–problemy deterministyczne;
–problemy probabilistyczne;
² ze wzgledu
¾ na rodzaj charakterystyki opisujacej
¾ system
–identy…kacja systemów liniowych;
–identy…kacja systemów nieliniowych;
² ze wzgledu
¾ na zachowanie sie¾ systemów w funkcji czasu lub sposobu pomiaru sygna÷ów
w czasie
–identy…kacja systemów z czasem ciag÷ym;
¾
–identy…kacja systemów z czasem dyskretnym; (obecnie cześciej
stosowana ze wzgledu
¾
¾ na
rozwój cyfrowej techniki obliczeniowej)
² ze wzgledu
¾ na w÷asności badanego systemu
–identy…kacja systemów statycznych;
–identy…kacja systemów dynamicznych;
² ze wzgledu
¾ na strukture¾ systemu
–identy…kacja systemów (obiektów) prostych (jednoelementowych);
–identy…kacja systemów o z÷oz· onej strukturze, tzw. blokowo-zorientowanych (tj. zbioru
wzajemnie po÷aczonych
i wspó÷zalez· nych podsystemów prostych - liniowych obiektów dy¾
namicznych i nieliniowych obiektów statycznych). W ramach tej kategorii moz· na dokonać
dalszego podzia÷u na identy…kacje¾ systemów o strukturach otwartych i zamknietych
(zawier¾
ajacych
sprze¾z· enie zwrotne).
¾
Na tle powyz· szej klasy…kacji moz· liwe jest ogólne określenie zakresu tematycznego pracy.
Niniejsze opracowanie koncentruje sie¾ wokó÷ problemów i metod identy…kacji nieliniowych
systemów dynamicznych o z÷oz· onej strukturze z czasem dyskretnym. Rozpatrywane
sa¾ parametryczne algorytmy identy…kacji, aczkolwiek do wspomagania ich dzia÷ania wykorzystuje sie¾ takz· e metody nieparametryczne estymacji funkcji regresji. Rozwaz· ane zadania
maja¾ charakter probabilistyczny. Wiekszość
badanych w pracy systemów ma strukture¾
¾
otwarta.
¾
Podstawowa¾ przes÷anka¾ przy wyborze algorytmu identy…kacji powinna być informacja wstepna
¾
o systemie, tj. o postaci jego charakterystyk i rodzaju zak÷óceń. Problem ten jest szczegó÷owo
omówiony w [48]. Czasami informacja wstepna
jaka¾ dysponujemy moz· e być bardzo dok÷adna
¾
12
(np. wiemy z· e obiekt jest liniowy i znamy rozk÷ad wystepuj
w nim zak÷óceń), czesto
¾ acych
¾
¾
jednak nasza wiedza ogranicza sie¾ do ogólnych informacji jakościowych (np. o ograniczoności
wariancji zak÷óceń, czy ciag÷ości
charakterystyki obiektu). W zalez· ności od posiadanej in¾
formacji decydujemy sie¾ na odpowiednia¾ metode¾ identy…kacji. Wyróz· niamy dwie wzajemnie
uzupe÷niajace
¾ sie¾ grupy metod – parametryczne i nieparametryczne. W metodach parametrycznych zak÷ada sie¾ znajomość postaci funkcji opisujacych
system (np. liniowe, wyk÷ad¾
nicze, wielomianowe, itp.), tj. ich charakterystyk (opisów) z dok÷adnościa¾ do parametrów.
Do najpopularniejszych metod identy…kacji parametrycznej nalez· a:¾
–metoda najmniejszych kwadratów (ang. least squares);
[17][19][46][47][48][53][58][66]
[60][66][68][71][72][98][100]
[103][105][106][126] [129]
–metoda zmiennych instrumentalnych (ang. instrumental variables);
[48][68][71][72][74]–[81]
[85][102][103][105] [106][107][125]
–metoda najwiekszej
wiarygodności;
¾
[48][68][71][72][96][103]
–metoda najwiekszego
prawdopodobieństwa a posteriori
¾
[48][68][72][103]
Polegaja¾ one na znajdywaniu prawdziwego wektora parametrów systemu, lub takiego wektora wspó÷czynników dla którego za÷oz· ony model najlepiej przybliz· a rzeczywisty system. Algorytmy takie dzia÷aja¾ na zasadzie minimalizacji pewnego wskaźnika niedok÷adności modelu
(jakości identy…kacji) ze wzgledu
¾ na poszukiwany wektor parametrów. Znalezienie takiego
minimum moz· e stanowić skomplikowane zadanie obliczeniowe. Zaleta¾ metod parametrycznych
jest duz· a praktyczna szybkość zbiez· ności, niezalez· na od wymiarowości problemu i rodzaju
charakterystyk oraz ich prostota z inz· ynierskiego punktu widzenia. W niektórych przypadkach moz· liwa jest zadowalajaco
¾ dok÷adna identy…kacja systemu, nawet na podstawie kilku
pomiarów. Niebezpieczeństwem podejścia parametrycznego jest natomiast moz· liwość wystapienia
b÷edu
niew÷aściwego modelu
¾
¾ systematycznego jaki moz· e sie¾ pojawić przy przyjeciu
¾
(za÷oz· eniu b÷ednej
postaci charakterystyki obiektu).
¾
Decydujac
¾ sie¾ na nieparametryczna¾ metode¾ identy…kacji zak÷adamy, z· e charakterystyki
systemu sa¾ nam ca÷kowicie nieznane. Ograniczamy sie¾ najcześciej
do przyjecia
¾
¾ ogólnych za÷oz· eń o systemie np. pewnych informacji jakościowych o charakterystyce. Najpopularniejsze
algorytmy nieparametryczne to:
– algorytmy jadrowe;
¾
[26][28][31][33][48]
[81][96]
– algorytmy oparte na rozwinieciu
estymowanych funkcji w szeregi ortogonalne (ostatnio
¾
równiez· falkowe)
[29][31][32][34][48][51]
[92][95][109][124].
W porównaniu z identy…kacja¾ parametryczna¾ tutaj wymagana jest duz· a ilość pomiarów. Szybkość zbiez· ności jest mniejsza niz· dla metod parametrycznych i zalez· y od cech estymowanej
charakterystyki. Zaleta¾ metod nieparametrycznych jest to, z· e charakterystyka jest wyznaczana lokalnie – punkt po punkcie, co eliminuje skutki jakie moga¾ powstać w wyniku b÷ed¾
13
nej hipotezy wstepnej
odnośnie postaci charakterystyki obiektu, przyjmowanej w metodzie
¾
parametrycznej. Dzia÷anie takiego algorytmu najcześciej
opiera sie¾ na wielokrotnym wykony¾
waniu prostych numerycznie obliczeń. Zdecydowanie sie¾ na konkretna¾ metode¾ – parametryczna¾ lub nieparametryczna¾ – zalez· y od ilości posiadanych pomiarów i od moz· liwości
sparametryzowania obiektu, czyli sformu÷owania adekwatnego modelu. Nalez· y podkreślić,
z· e obie grupy metod wzajemnie sie¾ dope÷niaja.¾ Obiecujace
¾ sa¾ hybrydowe, parametrycznonieparametryczne metody identy…kacji, polegajace
¾ na próbie jak najlepszej aproksymacji
wyestymowanej nieparametrycznie funkcji w wybranym zbiorze punktów w sposób parametryczny.
1.1.3
Ogólna reprezentacja systemów nieliniowych
W świecie rzeczywistym (systemach) wiekszość
zalez· ności ma charakter nieliniowy (tzn.
¾
nie spe÷nia zasady superpozycji) oraz posiada dynamike¾ (tzn. wartość wyjścia moz· e zalez· eć od wejść w chwilach poprzednich). Reprezentowanie ich za pomoca¾ liniowych modeli
moz· e nie być zadowalajace.
Dlatego nieliniowy opis procesu moz· e być czesto
niezbedny
do
¾
¾
¾
zaprojektowania odpowiedniego systemu sterowania. Teoria identy…kacji systemów nieliniowych jest bardziej zróz· nicowana niz· dla systemów liniowych. Wynika to z trudności w
skonstruowaniu efektywnych algorytmów identy…kacji nadajacych
sie¾ dla moz· liwie szerok¾
iej klasy systemów nieliniowych. Tradycyjnym i uniwersalnym, chociaz· posiadajacym
wady
¾
podejściem by÷o reprezentowanie estymowanych charakterystyk jako szeregu funkcjona÷ów
nieliniowych Volterr’y lub Wiener’a [4][6][41]. W ogólności system (przyczynowy) transformuje sygna÷ wejściowy uj , gdzie j = ¡1; :::; k na wyjście yk . Przekszta÷cenie to moz· emy
reprezentować za pomoca¾ operatora Volterr’y, który w wersji dyskretnej ma postać:
yk = h0 +
1 X
1
X
i=1 j1 =0
:::
1
X
hi (j1 ; :::; ji )uk¡j1 :::uk¡ji
(1.1)
ji =0
gdzie hi () oznaczaja¾ wspó÷czynniki Volterr’y i-tego rzedu.
Identy…kacja takich systemów
¾
polega na estymacji wspó÷czynników hi (). Sa¾ one ograniczone i symetryczne wzgledem
swoich
¾
argumentów. Dla systemów przyczynowych (…zycznie realizowalnych) zachodzi hi (j1 ; j2 ; :::; ji ) =
0, gdy co najmniej jeden z argumentów j1 ; j2 ; :::; ji jest ujemny.
Innym sposobem reprezentacji nieliniowego przekszta÷cenia sygna÷u wejściowego na wyjście jest rozwiniecie
¾ w szereg Wiener’a:
yk =
1
X
Gi (ki (j); uj )
(1.2)
i=0
gdzie j = ¡1; :::; k; natomiast Gi () sa¾ ortogonalnymi funkcjona÷ami o znanej postaci, ale zawierajacymi
nieznane funkcje jadrowe
ki (). Identy…kacja systemu polega na estymacji tych
¾
¾
w÷aśnie funkcji. Przeglad
ró
z
nych
technik
identy…kacji wykorzystujacych
takie reprezen¾
¾
·
tacje moz· emy znaleźć w pracach przegladowych
[6] i [76]. Ze wzgledu
¾
¾ na duz· a¾ z÷oz· oność
obliczeniowa¾ metody te doczeka÷y sie¾ niewielu zastosowań w praktyce i zosta÷y wyparte
przez metody identy…kacji bazujace
¾ na koncepcji systemów tzw. zorientowanych blokowo
(ang. block-oriented systems).
1.1.4
Koncepcja systemów blokowo-zorientowanych
Przez z÷oz· oność systemu rozumie sie¾ fakt, z· e system sk÷ada sie¾ z wielu elementów
oraz z· e obiekty (podsystemy) wchodzace
¾ w sk÷ad ca÷ego systemu sa¾ ze soba¾ po÷aczone
¾
14
i wzajemnie od siebie zalez· a,
¾ a ich rozdzielenie jest niemoz· liwe, niebezpieczne, lub zbyt
kosztowne. Moga¾ równiez· wystapić
ograniczenia w dostepności
pomiarowej sygna÷ów. Z
¾
¾
tych powodów algorytmów identy…kacji stosowanych dla pojedynczego obiektu nie da sie¾
w prosty sposób przenieść na systemy o strukturze z÷oz· onej. Zasadnicza¾ kwestia¾ w takich przypadkach jest identy…kowalność systemu o z÷oz· onej strukturze. Identy…kowalność
pojedynczych obiektów prostych wchodzacych
w sk÷ad systemu nie implikuje identy…kowal¾
ności tych elementów w ca÷ym systemie [44][47]. Okazuje sie¾ w szczególności, z· e identy…kowalność parametrów systemu z÷oz· onego w warunkach deterministycznych zalez· y m.in.
od wartości parametrów poszczególnych obiektów (podsystemów), których nie znamy oraz
od struktury po÷aczeniowej
systemu. Oprócz identy…kowalności strukturalnej warunkiem
¾
koniecznym umoz· liwiajacym
identy…kacje¾ i dobrze uwarunkowujacym
zadanie jest wybór
¾
¾
odpowiedniej sekwencji wejściowej [94]. Kluczowym pojeciem
jest tutaj w÷asność ustaw¾
icznego pobudzania przez sygna÷ (ang. persistently exciting signal) szeroko omówiona w
[103] i [107]. Identy…kowanie systemów o z÷oz· onej strukturze ma zastosowanie w wielu praktycznych problemach realizacji optymalnego, wielopoziomowego sterowania [47]. Obiekty
wyróz· nione w modelu nie zawsze musza¾ mieć swoje odpowiedniki w świecie rzeczywistym,
jakość modelu określa sie¾ porównujac
¾ wartości jego wejść i wyjść z odpowiednimi wejściami i wyjściami systemu. Celem identy…kacji takiego systemu jest najcześciej
estymacja
¾
rzeczywistych wartości parametrów w opisach obiektów wchodzacych
w
sk÷ad
systemu,
przy
¾
uz· yciu uzyskanych w eksperymencie pomiarów wejść i wyjść ca÷ego systemu. Dziedzina ta
znajduje szerokie zastosowanie w automatyce, telekomunikacji, nawigacji radarowej, modelowaniu procesów produkcyjnych, przemys÷owych, a takz· e przy opisie zjawisk biologicznych,
ekonomicznych itp. [23][22][25][40][54][57][73][88][89][99].
W celu ominiecia
z opisanymi wcześniej metodami
¾ trudności obliczeniowych zwiazanych
¾
identy…kacji systemów nieliniowych w oparciu o szeregi Volterry lub Wienera, rozpatruje sie¾
tzw. systemy blokowo-zorientowane. Zak÷ada sie,
¾ z· e nieliniowy system dynamiczny moz· e być
przedstawiony jako zbiór po÷aczonych
ze soba¾ stosunkowo prostych elementów tj. liniowych
¾
podsystemów dynamicznych i nieliniowych podsystemów statycznych. Rezygnuje sie¾ zatem z
traktowania systemu jako ”czarnej skrzynki” i przyjmuje pewna¾ wstepn
¾ a¾ strukture¾ modelu.
Pomys÷odawcami koncepcji byli w latach 80-tych Billings i Fakhouri ([8]). Podejście to
zosta÷o powszechnie zaakceptowane w literaturze ze wzgledu
¾ na dobra¾ aproksymacje¾ wielu
rzeczywistych zjawisk. Czesto
¾ zdarza sie,
¾ z· e dysponujemy dodatkowa¾ wiedza¾ parametryczna¾
o charakterystykach, moz· emy mieć moz· liwość pomiaru niektórych sygna÷ów interakcyjnych
lub nawet znać opis niektórych bloków wchodzacych
w sk÷ad systemu.
¾
Ze wzgledu
¾ na wielość zastosowań praktycznych i moz· liwość aproksymacji szerokiej klasy
systemów nieliniowych, najbardziej popularnymi i najszerzej studiowanymi w literaturze
strukturami sa¾ struktura kaskadowa (sandwich) (Rys. 1.2 i wzór (1.3)) i jej szczególne
przypadki – systemy Hammersteina (Rys. 1.3 i wzór (1.4)) i Wienera (Rys. 1.4 i wzór
(1.5)) oraz addytywny system NARMAX (Rys. 1.5 i wzór (1.6)). Przedstawiamy tu wersje
systemów z nieskończona¾ pamieci
¾ a¾ elementów liniowych.
zk
uk
{λ }
∞
j
j=0
xk
µ(
)
wk
{γ i }i 0
∞
vk
=
Rysunek 1.2 System o strukturze Wienera-Hammersteina (tzw. ”sandwich”).
yk
15
1
X
xk =
(1.3)
¸j uk¡j
j=0
wk = ¹ (xk ) ,
yk =
1
X
° i wk¡i + zk
i=0
zk
uk
µ(
wk
)
{γ i }i
∞
vk
yk
=0
Rysunek 1.3 System Hammersteina.
(1.4)
wk = ¹ (uk )
1
X
yk =
° i wk¡i + zk
i=0
zk
uk
xk
{λ }
∞
j
µ(
j= 0
yk
)
Rysunek 1.4 System Wienera.
xk =
1
X
(1.5)
¸j uk¡j + zk
j=0
yk = ¹ (xk )
zk
uk
µ(
)
η(
)
wk
w' k
Rysunek 1.5 System addytywny NARMAX.
{γ i }i
∞
{λ }
∞
j
vk
=0
j =1
v' k
yk
16
yk =
1
X
° i wk¡i +
i=0
wk = ¹ (uk )
wk0 = ´ (yk )
1
X
0
¸j wk¡j
+ zk
(1.6)
j=1
Na wstepnym
etapie procedury identy…kacji waz· ne jest określenie struktury, która na¾
jlepiej odzwierciedla badany system. Jest to zadanie trudne i rzadko rozpatrywane w literaturze. W pracy [9] zaproponowano zbiór testów statystycznych, pozwalajacych
na detekcje¾
¾
struktury i dobór w÷aściwego modelu na podstawie zbioru pomiarów wejść i wyjść systemu. Testy te sa¾ oparte na wyliczaniu (szacowaniu) funkcji korelacji wzajemnej pierwszego
i drugiego rzedu
wejściem i wyjściem systemu. Autorzy proponuja¾ nastepuj
¾ pomiedzy
¾
¾ acy
¾
sposób doboru modelu:
Testowana w÷asność
sta÷y stosunek ru2 ;y (¿ )=ru2 ;u2 (¿ )
ru2 ;y (¿ ) = 0
sta÷y stosunek ru;y (¿ )=ru2 ;y (¿ )
sta÷y stosunek (ru;y (¿ ))2 =ru2 ;y (¿ )
Stosowany model
nieliniowy element statyczny
liniowy element dynamiczny
model Hammersteina
model Wienera
Tabela 1.1 Testowanie struktury systemu.
W wypadku niespe÷nienia wszystkich czterech warunków proponuje sie¾ stosowanie modelu
”sandwich” lub bardziej ogólnych modeli typu NARMAX postaci
yk = F (yk¡1 ; :::; yk¡p ; uk ; :::; uk¡n ) + zk
(1.7)
gdzie F () jest pewnym przekszta÷ceniem nieliniowym. Szczególnym przypadkiem modeli
NARMAX danych wzorem (1.7) sa¾ modele bilinearne, w których funkcja F () jest kombinacja¾
liniowa¾ iloczynów mieszanych swoich argumentów oraz modele addytywne (rys. 1.5 i wzór
1.6), rozpatrywane w rozdziale 2.
Problem identy…kacji systemów zorientowanych blokowo polega na określeniu odpowiedzi
impulsowych liniowych obiektów dynamicznych oraz charakterystyk statycznych elementów nieliniowych w oparciu o zbiór pomiarów wejść i wyjść ca÷ego systemu. Poczatek
¾
tej dziedzinie dali Nerandra i Gallman (1966) [21] konstruujac
¾ dla systemu Hammersteina
algorytm iteracyjny polegajacy
¾ na naprzemiennym identy…kowaniu charakterystyki nieliniowej ¹() i funkcji wagowej f° i g (jego zbiez· ność udowodniono później w [108]). W latach
siedemdziesiatych
powsta÷o wiele prac (np. [11]) opartych na bardzo restrykcyjnym za¾
÷oz· eniu, z· e funkcja ¹() jest wielomianem znanego stopnia. Algorytmy te mia÷y zawe¾z· ony
zakres stosowalności, a ponadto prace nie zawiera÷y dowodów zbiez· ności prezentowanych
algorytmów (np. [8]). Wyznaczenie funkcji wagowej f° i g przeprowadzano standardowa¾
metoda¾ korelacyjna,¾ a g÷ówny problem stanowi÷a identy…kacja nieliniowości ¹(). W latach
osiemdziesiatych
ukaza÷ sie¾ szereg artyku÷ów Billings’a i Fakhouri’ego dotyczacych
parame¾
¾
trycznej identy…kacji systemów zorientowanych blokowo. Skonstruowali oni zgodny algorytm
korelacyjny dla systemu typu ”sandwich”. Opierajac
¾ sie¾ na teorii procesów separowalnych [4]
pokazano, z· e gdy wejście systemu jest bia÷ym szumem, to wyznaczenie korelacji wzajemnych
pierwszego i drugiego rzedu
wejściem i wyjściem systemu pozwala zdekomponować
¾ pomiedzy
¾
17
identy…kacje¾ tej klasy systemów na dwa etapy: identy…kacje¾ liniowych podsystemów dynamicznych i identy…kacje¾ nieliniowego podsystemu statycznego.
W tym samym czasie pojawi÷ sie¾ cykl artyku÷ów ([26]–[35]) dotyczacych
nieparame¾
trycznej identy…kacji systemów blokowo-zorientowanych. Kierunek ten by÷ rozwijany
przez lata w zespole pana prof. W÷odzimierza Greblickiego, kierownika Zak÷adu Sterowania i Optymalizacji Instytutu Cybernetyki Technicznej oraz jego
wspó÷pracowników – prof. Adama Krzyz· aka (obecnie: Concordia University
Montreal Canada) i prof. Miros÷awa Pawlaka (obecnie: Manitoba University
Winnipeg Canada). Zauwaz· ono, z· e funkcja regresji w systemie Hammersteina jest skalowana¾
i przesuniet
¾ a¾ wersja¾ nieliniowej charakterystyki ¹()
R(u) = E fyk p uk = ug = c¹(u) + s
(1.8)
a odkrycie wartości wspó÷czynników c i s wymaga dodatkowej wiedzy i nie zalez· y od metody
identy…kacji. Opracowano dwie grupy nieparametrycznych algorytmów estymacji funkcji regresji R(u). Pierwsza¾ oparta¾ na estymatorach jadrowych
[26][28][31], druga¾ – polegajac
¾
¾ a¾
na rozwinieciu
nieliniowej charakterystyki w odpowiedni szereg ortogonalny [29][30]. Al¾
gorytmy te sa¾ znacznie prostsze obliczeniowo od prezentowanych wcześniej w literaturze
algorytmów parametrycznych, wymagaja¾ jednak wielokrotnego powtórzenia obliczeń (dla
kaz· dego ustalonego argumentu u charakterystyki). Udowodniono m.in. punktowa¾ zbiez· ność
algorytmów przy znacznie s÷abszym praktycznie za÷oz· eniu dotyczacym
nieliniowości ¹(), a
¾
mianowicie istnieniu dwóch dodatnich sta÷ych c1 i c2 takich, z· e
j¹(u)j < c1 + c2 juj
(1.9)
Identyczne podejście uda÷o sie¾ takz· e zastosować dla systemów Wienera z odwracalna¾ charakterystyka¾ nieliniowa¾ ¹(), pobudzanych sygna÷em o rozk÷adzie normalnym. Wtedy funkcja
regresji wejścia ze wzgledu
¾ na wyjście jest skalowana¾ wersja¾ odwrotności nieliniowości ¹()
R(y) = E fuk p yk = yg = c¹¡1 (y) + s
(1.10)
Taki sposób podejścia do problemu identy…kacji systemu Wienera zaprezentowano np. w
pracach [32] i [34].
Niniejsza praca jest próba¾ kontynuacji tego generalnego kierunku w odniesieniu do
zadań, w których dysponujemy wieksz
¾ a¾ (parametryczna)
¾ wiedza¾ o charakterystykach obiektu.
1.1.5
Określenie zakresu tematycznego pracy
W pracy identy…kuje sie¾ systemy blokowo-zorientowane, o z÷oz· onych strukturach, tzn.
sk÷adajace
ze soba¾ liniowych obiektów dynamicznych i nieliniowych ele¾ sie¾ z po÷aczonych
¾
mentów statycznych. W systemach wystepuj
¾ a¾ zak÷ócenia losowe. G÷ówny nacisk k÷adzie sie¾
na estymacje¾ nieliniowych charakterystyk podsystemów statycznych na podstawie pomiarów
wejść i wyjść ca÷ego systemu. Zak÷ada sie¾ znajomość tych charakterystyk z dok÷adnościa¾ do
parametrów. Rozpatruje sie¾ podstawowe i najbardziej popularne struktury po÷aczeń
tj. sys¾
temy Hammersteina, Wienera i systemy typu NARMAX. Do ich identy…kacji stosuje sie¾ tzw.
metode¾ zmiennych instrumentalnych pozwalajac
¾ a¾ na pokonanie ogólnie szkodliwych zjawisk
takich jak skorelowanie zak÷óceń oraz skorelowanie sygna÷u wejściowego. Do generacji zmiennych instrumentalnych wykorzystuje sie¾ metody nieparametryczne (estymatory jadrowe)
¾
[82]. Szczegó÷owa¾ klasy…kacje¾ zadań przedstawiono w punkcie 1.6.2.
1.2
1.2.1
18
Przyk÷ady zastosowań praktycznych
Modelowanie szeregów czasowych i prognozowanie
Wiekszość
komercyjnych pakietów komputerowych specjalizowanych do analizy danych
¾
(np. Statistica, ProgSys) zawiera modu÷y umoz· liwiajace
¾ zbudowanie modelu zachowania sie¾
pewnej wielkości w czasie (np. ceny papierów wartościowych) na podstawie zgromadzonych
danych. Parametry otrzymanego modelu maja¾ najcześciej
znaczenie merytoryczne i s÷uz· a¾
¾
do podejmowania decyzji. Programy te umoz· liwiaja¾ szeroki wybór modeli o ogólnej postaci
(por. [89])
yk = F (yk¡1 ; yk¡2 ; yk¡3 ; :::)
(1.11)
gdzie yk jest wartościa¾ wielkości badanej w chwili k, natomiast F () jest funkcja¾ nieliniowa¾ o
z góry zadanej postaci parametrycznej (do wyboru przez uz· ytkownika).
1.2.2
Identy…kacja nieliniowości zestawów g÷ośnikowych
Do opisu wielu procesów w akustyce stosuje sie¾ ogólne modele nieliniowe typu NARMAX. W pracy [57] zaprezentowano dwustopniowy algorytm identy…kacji nieliniowości zestawu
g÷ośnikowego. Zastosowano nastepuj
¾ acy
¾ opis
yk = F n (yk¡1 ; :::; yk¡p ; uk¡d ; :::; uk¡d¡q ) + zk
(1.12)
gdzie yk (wyjście) oznacza po÷oz· enie membrany g÷ośnika, uk (wejście) wartość sygna÷u sterujacego,
a zk – zak÷ócenie w chwili k. Funkcja F n oznacza liniowa¾ kombinacje¾ iloczynów wejść i
¾
wyjść (maksymalnie n czynników). Nieliniowe w÷asności g÷ośnika sa¾ niepoz· adane
ze wzgledu
¾
¾
na wystepowanie
harmonicznych; ujawniaja¾ sie¾ one przy duz· ej mocy sygna÷u sterujacego.
¾
¾
Dzieki
¾ tej w÷asności opracowano dwustopniowy algorytm identy…kacji. Wpierw dla ma÷ych
mocy buduje sie¾ model liniowy g÷ośnika (typu ARMAX), a nastepnie
przy duz· ych mocach
¾
analizuje sie¾ odchy÷ke¾ membrany g÷ośnika od wartości wyjściowej modelu ARMAX. Na jej
podstawie dokonuje sie¾ selekcji iloczynów (znaczacych)
wchodzacych
do funkcji nieliniowej
¾
¾
n
F () i dokonuje sie¾ identy…kacji systemu NARMAX. Posiadanie dobrego modelu nieliniowego g÷ośnika umoz· liwia sterowanie jakościa¾ na linii produkcyjnej oraz budowe¾ uk÷adów
korekcyjnych do sterowania g÷ośnikiem.
1.2.3
Badanie charakterystyk dekodera AM
Typowy dekoder AM (Rys. 1.6) stosowany powszechnie w konwencjonalnej telewizji
oraz ÷aczności
krótkofalowej sk÷ada sie¾ z 3 podstawowych podzespo÷ów: selektywnego …ltru
¾
wejściowego, uk÷adu nieliniowego prostownika i wyjściowego …ltru dolnoprzepustowego. W
artykule [23] przedstawiono metode¾ identy…kacji charakterystyk poszczególnych podzespo÷ów
dekodera AM w oparciu o model ”sandwich”. Procedura identy…kacji sk÷ada sie¾ z kilku
etapów. Wpierw estymuje sie¾ momenty wejściowo-wyjściowe drugiego i trzeciego rzedu,
¾
wylicza sie¾ ich transformaty Z i rozwiazuje
uk÷ad równań liniowych, otrzymujac
¾
¾ estymatory
odpowiedzi impulsowych …ltru wejściowego i wyjściowego. W efekcie moz· liwe jest wykreślenie
charakterystyk amplitudowo-fazowych …ltrów i estymacja nieliniowości prostownika.
19
antena
Dekoder AM
odbiornik
głowica (liniowy
filtr selektywny)
nieliniowy
prostownik
liniowy filtr
dolnoprzepustowy
Rysunek 1.6 Schemat ideowy dekodera AM.
1.2.4
Destylacja wsadów wielosk÷adnikowych
W ostatnich latach znaczaco
¾ wzros÷o zainteresowanie przemys÷u procesami destylacji,
ze wzgledu
¾ na potrzeby ma÷o-seryjnej produkcji materia÷ów bardzo kosztownych. Osiagni
¾ e¾
cie wysokiej jakości produktów i poprawa efektywności dzia÷ania procesu destylacji wymaga
uz· ycia dobrego modelu matematycznego, pozwalajacego
na implementacje¾ odpowiedniego al¾
gorytmu sterowania. Uzyskanie odpowiedniego modelu dla procesów destylacji jest zadaniem
prawie niemoz· liwym i poświecono
mu w literaturze stosunkowo ma÷o uwagi. Problem ten
¾
jest zwiazany
z opóźnieniem z jakim dostepne
staja¾ sie¾ informacje o procesie i uzyskiwanym
¾
¾
produkcie. Najcześciej
stosuje sie¾ typowe struktury blokowo-zorientowane: Hammersteina,
¾
Wienera i inne [25][70].
Praca [25] zawiera opis sterowania procesem destylacji mieszanki trójsk÷adnikowej. Jako sygna÷ wejściowy uk procesu traktuje sie¾ tzw. wspó÷czynnik powrotu (ilość skroplonej substancji
w danym kroku). Wyjścia y 1 , y 2 i y 3 stanowia¾ ste¾z· enia odpowiednio cyklohexanu, heptanu
i toluenu. Do tej pory do sterowania kolumna¾ destylacyjna¾ stosowany by÷ model liniowy,
bazujacy
¾ na przestrzeni stanów:
xk+1 = Axk + Buk + wk
yk = Cxk + Duk + vk
(1.13)
gdzie xk oznacza wektor stanu, A; B; C; D – nieznane parametry, a wk i vk – zak÷ócenia
procesu i pomiaru. Ze wzgledu
¾ na niesatysfakcjonujac
¾ a¾ jakość produkcji zastosowano wielomianowy model Hammersteina o zmody…kowanej postaci (w Dodatku A.1 pokazano, z· e jest
on szczególnym przypadkiem addytywnego systemu NARMAX opisanego wzorami (1.6))
yk =
¹ (uk ) =
p
X
j=1
m
X
aj yk¡j +
n
X
bi ¹ (uk¡i ) + vk
(1.14)
i=1
ct utk
t=1
Zastosowano dwuetapowy algorytm identy…kacji dla systemów NARMAX, oparty na metodzie
najmniejszych kwadratów i rozk÷adzie SVD (zaproponowany w artykule [120] i przedstawiony w rozdziale 2). Wartości rzedów
p, n i m wybrano eksperymentalnie minimalizujac
¾
¾
średni b÷ad
wartościami pomiarów sygna÷ów wyjściowych w systemie,
¾ kwadratowy pomiedzy
¾
a wyjściami modelu. Na podstawie modelu nieliniowego zaprojektowano nowoczesna¾ strategie¾ sterowania kolumna¾ destylacyjna.
¾
20
W artykule [70] zaprezentowano projekt sterowania wysokociśnieniowa¾ kolumna¾ destylacyjna¾ (Rys. 1.7) s÷uz· ac
¾ a¾ do rozdzielania zmieszanych gazów.
SKRAPLACZ
PRODUKT (P)
KOLUMNA
DESTYLACYJNA
SUROWIEC (S)
WARNIK
Rysunek 1.7 Kolumna wysokociśnieniowa.
Surowiec S stanowi mieszanina pieciu
gazów (etylenu, etanu, metanu, wodoru i propylenu)
¾
znajdujaca
¾ sie¾ pod wp÷ywem wysokiego ciśnienia w stanie ciek÷ym. Celem jest uzyskanie
produktu P – etylenu, z zanieczyszczeniami nie przekraczajacymi
10%. Zadanie utrudnia
¾
fakt podobnych temperatur wrzenia gazów wystepuj
acych
w
mieszaninie.
Na bazie doświad¾
¾
czenia operatorów wy÷oniono dwie wielkości wejściowe u1 i u2 majace
¾ zasadniczy wp÷yw na
czystość produktu y (wyjście):
– stosunek szybkości podawania surowca do szybkości pobierania produktu
u1 =
S
P
– zanieczyszczenie surowca (ozn. u2 ).
Wahania temperatury i ciśnienia w kolumnie potraktowano jako zak÷ócenia z. Do modelowania procesu destylacji zastosowano uogólniony (dwukana÷owy) system Wienera (Rys.
1.8).
u1, k
{λ }
zk
∞
1 ,i
i= 0
µ(
u 2 ,k
)
yk
{λ }
∞
2, j
j= 0
Rysunek 1.8 Dwukana÷owy system Wienera.
Stabilizacja czystości wywaru umoz· liwi÷a bezpieczne przesuniecie
punktu pracy kolumny
¾
destylacyjnej do obszaru wyz· szych zanieczyszczeń, co obniz· y÷o energoch÷onność produkcji i
przynios÷o duz· e korzyści …nansowe.
21
1.2.5
Identy…kacja procesów emisji zanieczyszczeń
W polskich elektrociep÷owniach powszechnie stosuje sie¾ tzw. kot÷y z cyrkulacyjnym
z÷oz· em ‡uidalnym. Idea¾ procesu ‡uidyzacji, na którym opiera sie¾ dzia÷anie kot÷ów, jest to,
z· e w pewnych warunkach moz· liwe jest zawieszenie czasteczek
materia÷u sypkiego w strumie¾
niu przep÷ywajacych
gazów w taki sposób, z· e mieszanina ta wykazuje w÷aściwości cieczy. Na
¾
spodzie zbiornika znajduje sie¾ ruszt, na którym zgromadzony jest materia÷ sypki. Poniz· ej
niego umieszczone sa¾ dysze umoz· liwiajace
¾ dostarczanie powietrza. Ze wzgledu
¾ na to, z· e
·
normy emisji zanieczyszczeń sa¾ coraz bardziej wyostrzane, w Elektrociep÷owni Zerań
zaistnia÷a potrzeba zaprojektowania i wdroz· enia na kotle systemu regulacji emisji dwutlenku siarki
poprzez dodawanie kamienia wapiennego do paleniska. Wielkościa¾ sterowana¾ yk by÷o ste¾z· enie dwutlenku siarki w spalinach, a sterujac
podajnika dostarczajacego
kamień
¾ a¾ uk predkość
¾
¾
wapienny. Emisja dwutlenku siarki oraz jej redukcja poprzez wprowadzanie wapienia sa¾
procesami bardzo z÷oz· onymi i stworzenie ich dobrego modelu matematycznego na podstawie
wiedzy teoretycznej by÷o zadaniem praktycznie niemoz· liwym do wykonania. Do modelowania procesu spalania i emisji dwutlenku siarki zosta÷ najpierw zastosowany klasyczny model
liniowy
A(q)yk =
B(q)
D(q)
uk +
"k
C(q)
E(q)
(1.15)
Jak informuja¾ autorzy opracowania [54] obecnie sterowanie kot÷em jest realizowane w oparciu
o rozmyte sieci neuronowe realizujace
¾ rozmyte modele typu NARMAX.
1.2.6
Inne zastosowania
Nieliniowe systemy blokowo-zorientowane dobrze nadaja¾ sie¾ do modelowania wielu zjawisk
biocybernetycznych, geologicznych, telekomunikacyjnych i innych np. zwiazanych
z przep÷y¾
wem ciep÷a. Oto przyk÷ady takich zastosowań:
² modelowanie systemów centralnego ogrzewania i wymienników ciep÷a [20][40];
² identy…kacja nieliniowości silników elektrycznych i silników Diesela (np. [111])
² rozchodzenie sie¾ sygna÷ów w systemach telekomunikacyjnych i liniach d÷ugich, t÷umienie niepoz· adanego
echa (np. [67][110]);
¾
² przetwarzenie obrazów (np. kompresja sygna÷u TV [24])
² identy…kacja obiektów na podstawie odbicia radarowego;
² opisywanie zalez· ności średnicy rogówki oka od nate¾z· enia świat÷a [61][73];
od pobudzenia elektrycznego wysy÷anego przez
² opisywanie zalez· ności d÷ugości mieśni
¾
mózg [61] [73];
² modelowanie powierzchni komórek nerwowych [61] [73][88];
² inteligentne systemy aktywnego t÷umienia ha÷asu [14];
ska÷ wapiennych pod wp÷ywem dzia÷ania wody [127];
² symulacja pekania
¾
² projektowanie systemów antypowodziowych [66][127];
² modelowanie systemów o parametrach roz÷oz· onych [112]-[115].
22
1.3
Opis podstawowych metod identy…kacji
W niniejszym punkcie zebrane sa¾ (patrz [72], [103]) najwaz· niejsze fakty dotyczace
¾
metody najmniejszych kwadratów (ang. LS – least squares) i metody zmiennych instrumentalnych (ang. IV – instrumental variables) istotne dla tej pracy, na klasycznym przyk÷adzie
estymacji parametrów obiektów liniowych. Przypomniana jest takz· e postać nieparametrycznych estymatorów jadrowych.
Sa¾ to metody kluczowe dla tej pracy.
¾
1.3.1
Metoda najmniejszych kwadratów (LS)
Dla liniowego obiektu statycznego opisanego równaniem
yi = xTi b¤ + zi
(1.16)
gdzie yi , xi i zi oznaczaja¾ odpowiednio wyjście, wektor wejściowy i zak÷ócenie w i-tym pomiarze (i = 1; :::; N ) ocena¾ prawdziwego wektora parametrów b¤ wed÷ug metody LS jest wektor
(LS)
bN postaci
(LS)
= (XNT XN )¡1 XNT YN
(1.17)
XN = (x1 ; x2 ; :::; xN )T
YN = (y1 ; y2 ; :::; yN )T
ZN = (z1 ; z2 ; :::; zN )T
(1.18)
bN
gdzie
Estymator LS jest estymatorem liniowym ze wzgledu
¾ na pomiary wyjść. Oznaczajac
¾
LN = (XNT XN )¡1 XNT
(1.19)
moz· emy go zapisać jako
(LS)
bN
= LN YN
(1.20)
przy czym
YN = XN b¤ + ZN
Przy nastepuj
za÷oz· eniach o losowych zak÷óceniach i wejściach
¾ acych
¾
(1) ciagi
¾ fxi g i fzi g sa¾ typu iid i nie zalez· a¾ od siebie
(2) Ez = 0
(3) varz < 1
(4) ExxT < 1
(1.21)
23
(LS)
estymator bN
jest estymatorem nieobcia¾z· onym parametrów b¤ , tzn.
(LS)
EbN
= b¤ + ELN EZN = b¤
(1.22)
oraz estymatorem mocno zgodnym, tj.
(LS)
bN
! b¤
(1.23)
z prawdopodobieństwem 1, gdy N ! 1.
W liniowym dyskretnym obiekcie dynamicznym wartość wyjścia zalez· y równiez· od wartości
wejść i wyjść w chwilach poprzednich. Obiekt taki (typu ARX) opisuje równanie róz· nicowe
yk = ¡a1 yk¡1 ¡ a2 yk¡2 ::: ¡ aR yk¡R + b0 xk + b1 xk¡1 + ::: + bS xk¡S + zk
(1.24)
gdzie fyk g jest procesem wyjściowym, fxk g – procesem wejściowym, fzk g – zak÷óceniem,
natomiast R i S określaja¾ rzad
¾ autoregresji i ruchomej średniej w opisie obiektu.
De…niujac
¾ uogólniony wektor wejść
'k = (¡yk¡1 ; :::; ¡yk¡R ; xk ; xk¡1 ; :::; xk¡S )T
(1.25)
oraz wektor prawdziwych wartości parametrów obiektu
p¤ = (a1 ; :::; aR ; b0 ; b1 ; :::; bS )T
równanie obiektu dynamicznego moz· na przedstawić jako regresje¾ liniowa,
¾ w postaci podobnej
do opisu obiektu statycznego (1.16), tj.
yk = 'Tk p¤ + zk
Podobnie da sie¾ tez· skonstruować równanie macierzowe opisujace
¾ zestaw N pomiarów. Oznaczajac
¾
YN = (y1 ; y2 ; :::; yN )T
ZN = (z1 ; z2 ; :::; zN )T
©N = ('1 ; '2 ; :::; 'N )T
otrzymujemy
YN = ©N p¤ + ZN
(1.26)
Ze wzgledu
¾ na powyz· sze analogie, estymator LS dla liniowego obiektu dynamicznego ma
postać
(LS)
pN
= (©TN ©N )¡1 ©TN YN
(1.27)
24
W praktycznych przypadkach zak÷ócenie fzk g wystepuj
¾ ace
¾ w opisie systemu (1.24) nie jest
w ogólności bia÷ym szumem, jak mia÷o to miejsce w przypadku identy…kacji systemu statycznego, ale procesem skorelowanym. Wartość zk zalez· y od zak÷óceń w chwilach poprzednich.
Proces fzk g nalez· y zatem traktować ogólnie jako stacjonarny (w stanie ustalonym) szum
kolorowy. Macierz kowariancji zak÷óceń nie jest wtedy diagonalna. Pierwsze R elementów
uogólnionego wektora wejść 'k moz· e być skorelowane z zak÷óceniem zk . Z tego powodu
estymator najmniejszych kwadratów dla liniowego obiektu dynamicznego jest w ogólności
obcia¾z· ony, równiez· asymptotycznie. Oznaczajac
¾ przez
§ = EZN ZNT
macierz kowariancji zak÷óceń (z za÷oz· enia Ezk = 0) i zak÷adajac,
¾ z· e macierz § jest dodatnio
określona (ozn. § > 0) na mocy twierdzenia o faktoryzacji (patrz tw. B.2, str. 106) moz· emy
zapisać
§ = P§ P§T
gdzie P§ jest macierza¾ nieosobliwa.¾ Mnoz· ac
¾ lewostronnie równanie (1.26) przez macierz P§¡1
i oznaczajac
¾
YN = P§¡1 YN
©TN = P§¡1 ©TN
ZN = P§¡1 ZN
otrzymujemy
YN = ©TN p¤ + ZN
(1.28)
gdzie po przekszta÷ceniu, elementy wektora zak÷óceń ZN w powyz· szym równaniu tworza¾
bia÷y szum, bowiem
T
cov(ZN ) = EZN ZN = P§¡1 EZN ZNT P§T ¡1 = I
Macierz P§¡1 pe÷ni zatem role¾ …ltru wybielajacego
zak÷ócenia. W odniesieniu do równa¾
nia (1.28) w celu oszacowania wektora p¤ moz· emy poprzez analogie¾ do (1.26) zastosować
estymator LS postaci
(LS)
pN
= (©TN ©N )¡1 (©TN YN )
Taki estymator posiada wszystkie w÷asności estymatora LS dla systemów statycznych, wymaga
jednak dok÷adnej znajomości budowy korelacyjnej zak÷óceń, tj. macierzy §, której z regu÷y
nie znamy. Istnieja¾ róz· ne metody ominiecia
¾ problemu skorelowania dla róz· nych specy…cznych
modeli zak÷óceń. Kilka zmody…kowanych metod LS o lokalnym zakresie stosowalności
moz· na znaleźć w pracy [72]. Wiekszość
z nich opiera sie¾ na naprzemiennym identy…kowaniu
¾
wspó÷czynników korelacji modelu zak÷óceń i parametrów obiektu. W praktyce najcześciej
¾
przyjmuje sie¾ nastepuj
ace
¾ ace
¾ typowe modele zak÷óceń, uwzgledniaj
¾
¾ róz· ne rodzaje skorelowania. Powstaja¾ one w rezultacie odpowiedniej …ltracji bia÷ego szumu, tj. procesu f"k g typu
iid takiego, z· e E"k = 0 i var"k < 1:
25
² proces ruchomej średniej (ang. MA - moving average), w którym wartość sygna÷u zak÷ócajacego
w danej chwili zalez· y od pewnej liczby (zwanej rzedem)
kolejnych wartości
¾
¾
szumu bia÷ego z przesz÷ości
zk = c0 "k + c1 "k¡1 + ::: + cT "k¡T
Jego funkcja autokorelacji Rz (¿ ) przyjmuje wartość zero dla j¿ j > T:
² proces autoregresji (ang. AR - autoregression), w którym aktualna wartość zak÷ócenia
zalez· y od pewnej liczby w÷asnych wartości poprzednich oraz wymuszajacego
szumu
¾
bia÷ego "k :
zk = d1 zk¡1 + d2 zk¡2 + ::: + dU zk¡U + "k
gdzie U - rzad
¾ autoregresji.
² proces autoregresji z ruchoma¾ średnia¾ (ARMA) rzedów
U, T:
¾
zk + d1 zk¡1 + d2 zk¡2 + ::: + dU zk¡U = c0 "k + c1 "k¡1 + ::: + cT "k¡T
który jest po÷aczeniem
obu powyz· szych modeli.
¾
Znajomość budowy korelacyjnej zak÷óceń (macierzy §) umoz· liwia …ltracje¾ wybielajac
¾ a¾ zak÷óceń, która sprowadza problem do zadania identy…kacji z bia÷ym szumem [103]. W praktyce struktura korelacyjna zak÷óceń nie jest jednak znana i zazwyczaj wystepuje
ucia¾z· liwa
¾
konieczność jednoczesnego identy…kowania parametrów toru zak÷óceń. Uniwersalna¾ metoda¾
postepowania,
stosowana¾ dla systemów liniowych niezalez· nie od struktury korelacyjnej za¾
k÷óceń jest metoda zmiennych instrumentalnych.
1.3.2
Metoda zmiennych instrumentalnych (IV)
Gdy w zadaniu identy…kacji liniowego obiektu dynamicznego wystepuje
skorelowanie
¾
zak÷óceń moz· na zastosować metode¾ zmiennych instrumentalnych (ang. IV - instrumental
estymatora
variable method, patrz [102],[103],[104],[101],[125]). Polega ona na zastapieniu
¾
LS danego wzorem (1.27), estymatorem postaci
(IV )
pN
= (ªTN ©N )¡1 ªTN YN
(1.29)
gdzie
ªN = (Ã 1 ; Ã 2 ; :::; ÃN )T
(1.30)
jest odpowiednia¾ dodatkowa¾ macierza¾ oraz
Ã k = (Ã k;1 ; :::; Ã k;R ; Ã k;R+1 ; :::; Ã k;R+S+1 )T
(1.31)
jest wektorem o tym samym wymiarze co wektor 'k . Macierz ªN jest zatem macierza¾ o
strukturze i wymiarach zgodnych z macierza¾ ©N
dim ªN = dim ©N
(1.32)
26
Zawiera ona tzw. zmienne instrumentalne Ã k;i (instrumenty). Stad
¾ jest nazywana macierza¾
zmiennych instrumentalnych. Procedura identy…kacji systemu w oparciu o metode¾ zmiennych instrumentalnych wymaga zatem generacji macierzy ªN . Aby ustalić jakie w÷asności
powinny spe÷niać zmienne instrumentalne, po to aby estymator IV dany wzorem (1.29) by÷
zgodny, mnoz· ymy lewostronnie równanie pomiarów (1.26) przez ªTN
ªTN YN = ªTN ©N p¤ + ªTN ZN
(1.33)
Jez· eli wejście fxk g jest procesem iid (co w ogólności zak÷adać bedziemy
w pracy; por. za¾
÷oz· enie 1.3 na str. 30), przy za÷oz· eniu asymptotycznej stabilności systemu wyjście fyk g jest
procesem ergodycznym (patrz def. B.7 na str. 108). Na podstawie (1.29) zachodzi
)
ªTN YN = ªTN ©N p(IV
N
(1.34)
Wstawiajac
¾ (1.34) do (1.33) po prostych przekszta÷ceniach otrzymujemy
µ
¶³
¶
´ µ1
1 T
(IV )
¤
T
ª ©N
pN ¡ p =
ª ZN
N N
N N
Wynikaja¾ stad
¾ dwa podstawowe postulaty jakie równocześnie musza¾ spe÷niać zmienne instrumentalne.
Postulat I
Instrumenty winny być takie, z· e istnieje granica P limN!1( N1 ªTN ©N )
P lim (
N !1
1 T
ª ©N ) = EÃ k 'Tk
N N
(1.35)
i jest ona macierza¾ nieosobliwa¾
detfEÃ k 'Tk g 6= 0
(1.36)
(tj. skorelowane z elementami zawartymi w uogólnionym wektorze wejść 'k (wzór (1.25)),
gdy dodatkowo zachodzi jeden z warunków EÃ k = 0 lub E'k = 0; wtedy cov(Ã k ; 'k ) jest
macierza¾ niezerowa).
¾
Postulat II
Instrumenty powinny być jednocześnie takie, z· e
P lim (
N!1
1 T
ª ZN ) = EÃ k zk
N N
(1.37)
EÃ k zk = 0
(1.38)
oraz
(tj. nieskorelowane z zak÷óceniami, o ile Ezk = 0; wtedy cov(Ã k ; zk ) = 0). Przy zachodzeniu
warunku (1.38) oraz za÷oz· eniu Ezk = 0 zachodzi oczywiście
EÃ k zk = EÃ k Ezk = 0
27
Uwaga: Dla skuteczności metody zmiennej pomocniczej wystarczy÷oby wymaganie, aby
macierz graniczna w warunku (1.35) by÷a dowolna¾ macierza¾ nieosobliwa,¾ a wektor graniczny
w warunku (1.37) by÷ wektorem zerowym. Świadomie rezygnujemy tutaj z takiej ogólności bowiem w pracy wykazywać bedziemy
istnienie podanych tu, konkretnych wielkości
¾
granicznych, korzystajac
¾ z ergodyczności odpowiednich procesów.
Przy spe÷nieniu powyz· szych postulatów otrzymujemy
)
¤
P lim(p(IV
N ) = p
a zatem zgodność estymatora IV niezalez· nie od budowy korelacyjnej zak÷óceń.
Do najbardziej popularnych znanych w literaturze ([102] [125]) metod generacji macierzy
spe÷nienie warunków (1.35)–(1.37) nalez· a:¾
ªN zapewniajacych
¾
² przypisanie zmiennym pomocniczym wartości wejść w chwilach poprzednich
Ã k = (xk¡1 ; :::; xk¡R ; xk¡R¡1 ; ::; xk¡R¡S¡1 )
(1.39)
² zastosowanie dowolnej …ltracji liniowej sygna÷u wejściowego
Ã k;j =
1
X
hj;i xk¡i
(1.40)
i=0
z autoregresja¾ w opisie
² iteracyjne wyznaczanie elementów wektora Ã k zwiazanych
¾
obiektu, tzn. wartości Ã k;1 ; :::; Ã k;R , jako wyjścia modelu obiektu ybk dla dotychczas
zidenty…kowanych parametrów
Ã k = (¡yd
yk¡R ; xk ; xk¡1 ; :::xk¡S );
k¡1 ; :::; ¡[
(1.41)
uzyskane w danym kroku estymatory parametrów wykorzystuje sie¾ do generacji nowych
zmiennych instrumentalnych, az· do ustabilizowania wyniku.
Jest znanym faktem w literaturze, z· e efektywność metody IV dla systemów liniowych jest
silnie wraz· liwa na zastosowane zmienne instrumentalne. Szczegó÷owej analizy tego problemu
dokonano w pracach [102] i [125]. Okazuje sie,
¾ z· e w tym przypadku najbardziej w÷aściwym w sensie minimalizacji asymptotycznej macierzy kowariancji estymatora (1.29) jest
wybór macierzy ªN róz· niacy
¾ sie¾ od macierzy ©N tym, z· e zamiast rzeczywistych, zak÷óconych (dostepnych
dla pomiaru) wartości wyjść yk zawiera÷aby ona wartości niezak÷ócone
¾
tzn.
yk (niestety pomiarowo niedostepne),
¾
Ã k;opt: = (¡yk¡1 ; :::; ¡yk¡R ; xk ; xk¡1 ; :::xk¡S )
gdzie yk jest rozwiazaniem
równania róz· nicowego (1.24) dla zk = 0 (patrz np. [125]):
¾
Poniewaz· wartości yk sa¾ nieznane, a równocześnie brak jest w literaturze dowodu zbiez· ności
metody iteracyjnej danej wzorem (1.41) – zrodzi÷ sie¾ pomys÷, aby nieznane wielkości tego
typu estymować metodami nieparametrycznymi, w szczególności opartymi na jadrowej
es¾
on rozwijany w dalszej cześci
tymacji funkcji regresji. Bedzie
¾
¾ pracy dla przypadku identy…kacji systemów nieliniowych.
W pracach [62] i [63] podano przyk÷adowe zastosowania metody zmiennych instrumentalnych
do estymacji parametrów modeli ciag÷ych
uzyskanych metodami dyskretnymi.
¾
28
Nalez· y zaznaczyć, z· e zadania identy…kacji oparte na metodach LS i IV prowadza¾ generalnie do problemów s÷abo uwarunkowanych numerycznie (tzn. odwracana macierz ma
wyznacznik bliski zeru). Powoduje to duz· a¾ zalez· ność wyników od b÷edów
zaokragle
¾
¾ ń danych
wejściowych i zastosowanego algorytmu obliczeniowego. Najcześciej
stosuje sie¾ techniki odbić
¾
Householdera, obrotów Givensa, lub poszukuje pseudoodwrotności macierzy poprzez rozk÷ad
wzgledem
wartości szczególnych (ang. SVD – singular value decomposition). Powszechnie
¾
stosuje sie¾ tez· wersje rekurencyjne algorytmów.
Przedstawione tutaj metody LS i IV bed
¾ a¾ w dalszej cześci
¾ pracy stosowane (po odpowiedniej
mody…kacji) do identy…kacji charakterystyk statycznych systemów nieliniowych o z÷oz· onej
strukturze, tj. systemów sk÷adajacych
sie¾ z kilku wzajemnie ze soba¾ po÷aczonych
i przez
¾
¾
to wspó÷zalez· nych elementów. Do generacji optymalnych zmiennych instrumentalnych bed
¾ a¾
wykorzystywane metody nieparametryczne, oparte na estymacji jadrowej.
¾
1.3.3
Estymatory jadrowe
¾
Klasyczny estymator jadrowy
Watsona i Nadarayi funkcji regresji
¾
R(u) = E fyk j uk = ug
(1.42)
obliczany na podstawie sekwencji N niezalez· nych par zmiennych losowych: (u1 ; y1 ); :::; (uN ; yN )
ma postać
PN
k
yk K( u¡u
)
h
b
(1.43)
RN (u) = Pk=1
N
u¡uk
K(
)
k=1
h
gdzie parametr h zalez· y od N , a K(¢) jest borelowska¾ funkcja¾ jadrow
a.¾ W pracy [26]
¾
pokazano, z· e niezalez· nie od funkcji gestości
prawdopodobieństwa # rozk÷adu zmiennej losowej
¾
u zachodzi zbiez· ność wed÷ug prawdopodobieństwa
bN (u) ! R(u)
R
(1.44)
gdy N ! 1, o ile E jyj < 1 oraz h ! 0 i N h ! 1 dla N ! 1. Ponadto, jez· eli jyk j < ° <
Nh
1 i log
! 1 zbiez· ność (1.44) zachodzi z prawdopodobieństwem 1 i w konsekwencji
N
Z ¯
¯
¯
¯b
(1.45)
¯RN (u) ¡ R(u)¯ #(du) ! 0
prawie na pewno, gdy N ! 1.
Klasa stosowanych funkcji jadrowych
typu ”okno” obejmuje
K(x) oprócz klasycznego jadra
¾
¾
2
1
takz· e jadra
o nieograniczonym nośniku, np. e¡jxj , e¡x , 1+jxj1 1+± (± > 0), 1+x
¾
·e
2 a takz
nieca÷kowalna¾ funkcje¾
½ 1
dla jxj < e
e
K(x) =
1
dla
jxj > e
jxj lnjxj
W pracy [28] estymator jadrowy
zastosowano do identy…kacji nieliniowej charakterystyki
¾
statycznej systemów o strukturze Hammersteina. Wykazano, z· e estymator jest zbiez· ny w
kaz· dym punkcie ciag÷ości
funkcji regresji w systemie Hammersteina R(u) i funkcji gestości
¾
¾
wejścia #(u). W punktach, w których funkcje R(u) i #(u) sa¾ dwukrotnie róz· niczkowalne, a
funkcja jadra
spe÷nia warunki
¾
Z 1
Z 1
xK(x)dx = 0 oraz
x2 K(x)dx < 1
x=¡1
x=¡1
29
2
estymator ma szybkość zbiez· ności O(N ¡ 5 ) wed÷ug prawdopodobieństwa (def. B.2, str. 107).
1
Asymptotycznie optymalny jest przy tym wybór parametru h rzedu
¾ N ¡ 5 . Moz· liwe jest takz· e
stosowanie estymatora jadrowego
do identy…kacji odwrotności nieliniowej charakterystyki
¾
w systemie Wienera; wtedy zbiez· ność wed÷ug prawdopodobieństwa jest wolniejsza, rzedu
¾
1
O(N ¡ 3 ) (patrz np. [31][32]).
Sformu÷ujemy teraz teze¾ pracy.
1.4
Teza pracy
Zastosowanie metody zmiennych instrumentalnych oraz uz· ycie do generacji instrumentów metod nieparametrycznych (estymacji jadrowej)
umoz· liwia efektywna¾ identy…kacje¾ parametrów
¾
nieliniowych charakterystyk statycznych systemów Hammersteina, Wienera i systemów typu
NARMAX w obecności skorelowanych zak÷óceń oraz optymalizacje¾ algorytmów. Zastosowanie
tych narzedzi
daje równiez· moz· liwość identy…kacji parametrów charakterystyk nieliniowych
¾
w warunkach skorelowania sygna÷u wejściowego (por. punkt 1.1.5 na str. 17). Moz· liwości te
nie by÷y dotychczas badane w literaturze naukowej.
1.5
Cele pracy
W pracy postawiono nastepuj
¾ ace
¾ cele:
z identy…kacja¾
² klasy…kacja problemów i wydzielenie na tym tle klas zadań zwiazanych
¾
nieliniowych systemów dynamicznych o z÷oz· onej strukturze, rozpatrywanych w pracy;
² opracowanie zgodnych algorytmów identy…kacji parametrycznej systemów dla poszczególnych klas zadań;
² analiza i optymalizacja szybkości zbiez· ności zaproponowanych algorytmów;
² uogólnienie zastosowań metody zmiennych instrumentalnych na przypadek identy…kacji systemów nieliniowych o strukturze blokowej;
² zastosowanie nieparametrycznych algorytmów estymacji do wspomagania metod parametrycznych (estymacji sygna÷ów interakcyjnych, lub generacji optymalnych zmiennych
instrumentalnych)
odpowiednich
² zaprojektowanie
nieparametrycznych) identy…kacji;
algorytmów
hybrydowych
(parametryczno-
² opracowanie i implementacja algorytmów obliczeniowych identy…kacji oraz ich analiza
eksperymentalna.
1.6
1.6.1
Podstawowe za÷oz· enia i klasy…kacja problemów pracy
Za÷oz· enia ogólne
Przyjmuje sie¾ nastepuj
¾ ace
¾ ogólne za÷oz· enia (wiedze¾ wstepn
¾ a)
¾ dotyczace
¾ elementów sk÷adowych systemów i wystepuj
w nich sygna÷ów:
¾ acych
¾
30
Za÷oz· enie 1.1 Charakterystyki nieliniowych elementów statycznych znane sa¾ w postaci parametrycznej (por. wzory (1.3)-(1.6) i rys. 1.2-1.5 na stronach 14-15)
¹(u) =
m
X
ct ft (u)
(1.46)
t=1
q
´ (y) =
X
dl gl (y)
l=1
gdzie f1 (),...,fm () oraz g1 (); :::; gq () tworza¾ uk÷ady (znanych a priori) liniowo niezalez·nych
funkcji, wspólnie spe÷niajacych
warunki
¾
jft (u)j 6 pmax
jgl (y)j 6 pmax
(1.47)
dla pewnej dodatniej sta÷ej pmax .
Za÷oz· enie 1.2 Liniowe obiekty dynamiczne opisane równaniami (por. wzory (1.3)-(1.6) i
rys. 1.2-1.5 na stronach 14-15)
vk =
1
X
° i wk¡i
(1.48)
i=0
vk0 =
1
X
0
¸j wk¡j
j=1
sa¾ asymptotycznie stabilne tzn.
P1
i=0
j° i j < 1 i
P1
j=1
j¸j j < 1.
Za÷oz· enie 1.3 Sygna÷ wejściowy systemu fuk g jest procesem typu iid i jest ograniczony, tzn.
isnieje (nieznane) umax , takie z·e juk j < umax < 1.
Za÷oz· enie 1.4 Zak÷ócenie fzk g dzia÷ajace
¾ na wyjście systemu jest procesem skorelowanym,
który powstaje jako wynik liniowej …ltracji
P1 bia÷ego szumu f"k g przez asymptotycznie stabilny
(
…ltr o odpowiedzi impulsowej f! i g1
i=0
i=0 j! i j < 1)
zk =
1
X
! i "k¡i
(1.49)
i=0
O procesie f"k g zak÷ada sie,
¾ z·e ma zerowa¾ wartość oczekiwana¾ (E"k = 0), jest ograniczony
(j"k j < "max < 1) i niezalez·ny od sygna÷u wejściowego fuk g.
Za÷oz· enie 1.5 Ca÷y system jest asymptotycznie stabilny i pracuje w stanie ustalonym.
Za÷oz· enie 1.6 Dostepne
dla pomiarów sa¾ tylko sygna÷ wejściowy fuk g i wyjściowy fyk g
¾
ca÷ego systemu.
Powyz· sze za÷oz· enia maja¾ charakter wspólny dla znacznej cześci
¾ pracy i stanowia¾ baze,
¾
na której bed
¾ a¾ dalej formu÷owane poszczególne klasy zadań. W przypadku niektórych rozpatrywanych zadań bedziemy
jednak zak÷adać skończona¾ odpowiedź impulsowa¾ podsystemu
¾
liniowego n < 1 (por. za÷oz· enie 1.2), skorelowanie sygna÷u wejściowego (por. za÷oz· enie 1.3),
a takz· e rozpatrywać bedziemy
nieliniowy …ltr formujacy
¾
¾ zak÷ócenia (por. wzór (1.49)).
31
1.6.2
Klasy…kacja zadań
Podobnie jak przy identy…kacji jednoelementowych (prostych) liniowych systemów dynamicznych moga¾ w ogólności wystapić
szkodliwe zjawiska skorelowania sygna÷ów. Sa¾ to w
¾
szczególności:
zak÷óceniem fzk g, a sygna÷em wejściowym fuk g;
² skorelowanie pomiedzy
¾
² skorelowanie procesu zak÷ócajacego
fzk g;
¾
² skorelowanie sygna÷u wejściowego fuk g.
Zjawiska te moga¾ wystapić
W konsekwencji moz· emy wyróz· nić 23 róz· nych
¾ osobno lub ÷acznie.
¾
klas zadań dla kaz· dej struktury po÷aczeń.
Przedstawiono je w tabeli 1.2, wraz z odpowiednimi
¾
oznaczeniami kodowymi (relacja pomiedzy
fuk g i fzk g j rodzaj wejścia j rodzaj zak÷ócenia).
¾
fzk gfuk gfzk g - bia÷e
fuk g - bia÷e
Klasa ”000”
fuk g - kolorowe Klasa ”010”
niezalez· ne
fzk gfuk g- skorelowane
fzk g - kolorowe
fzk g - bia÷e
fzk g - kolorowe
Klasa ”001” Klasa ”100” Klasa ”101”
Klasa ”011” Klasa ”110” Klasa ”111”
Tabela 1.2 Klasy…kacja zadań identy…kacji.
1.6.3
Problemy pracy
W przedstawionej poniz· ej tabeli 1.3 zebrano klasy zadań, których przypadki szczególne
rozpatrywane sa¾ szczegó÷owo w pracy i usystematyzowano zaproponowane dalej algorytmy
identy…kacji:
Klasa zadania
”000”
”001”
”010”, ”011”
”100” – ”111”
Algorytm identy…kacji
LS – najlepszy estymator nieobcia¾z· ony [106]
(stosowany w pracy w eksperymentach porównawczych)
– algorytm 3E dla systemów typu NARMAX (rozdzia÷ 2)
– algorytm 2E dla systemów Hammersteina (rozdzia÷ 3)
– algorytm IVW dla systemów Wienera (rozdzia÷ 5)
– algorytm 2ESW dla systemów Hammersteina (rozdzia÷ 4)
– algorytm 2ESW do identy…kacji systemów H-H (punkt 4.4)
– algorytm IVW dla systemów Wienera (rozdzia÷ 5)
problemy otwarte (omówione krótko w punkcie 6.3)
Tabela 1.3 Zakres pracy i proponowane algorytmy identy…kacji.
Rozdzia÷ 2
Trzy-etapowa (3E) metoda
identy…kacji systemów typu
NARMAX
2.1
Sformu÷owanie problemu
Rozpatrywany jest skalarny, dyskretny, asymptotycznie stabilny, nieliniowy system dynamiczny, opisany nastepuj
równaniem (por. [12][77][79][81][120] i Rys. 2.1):
¾ acym
¾
yk =
p
X
¸j ´(yk¡j ) +
j=1
n
X
(2.1)
° i ¹(uk¡i ) + zk
i=0
gdzie
¹(u) =
m
X
(2.2)
ct ft (u)
t=1
q
´(y) =
X
dl gl (y)
l=1
System o takiej strukturze nazywany jest w literaturze systemem addytywnym NARMAX
([12]).
zk
uk
µ(
)
η(
)
wk
{γ i }i
n
w' k
{λ }
p
j
vk
=0
v' k
j =1
Rysunek 2.1 System NARMAX o strukturze addytywnej.
32
yk
ALGORYTM 3E IDENTYFIKACJI SYSTEMÓW NARMAX
33
Sygna÷y yk , uk i zk stanowia¾ odpowiednio wyjście, wejście oraz zak÷ócenie systemu w chwili
k. Wejście uk i zak÷ócenie zk spe÷niaja¾ za÷oz· enia 1.3 i 1.4 ze str. 30. Liniowe podsystemy dynamiczne maja¾ skończone odpowiedzi impulsowe n i p. Uk÷ady funkcji g1 (),...,gq () i
f1 (),...,fm () sa¾ zgodne z warunkami za÷oz· enia 1.1, a wartości p, q, n i m sa¾ znane a priori.
Zak÷ada sie,
¾ z· e system jest asymptotycznie stabilny i dzia÷a w stanie ustalonym. Niech
¤
¡
c
d
=
=
=
=
(¸1 ; ::; ¸p )T
(° 0 ; :::; ° n )T
(c1 ; :::; cm )T
(d1 ; :::; dq )T
(2.3)
oznaczaja¾ nieznane, prawdziwe wektory parametrów systemu. Zauwaz· my, z· e opis we-wy systemu dany wzorami (2.1)–(2.2) nie jest jednoznaczny. Dla niezerowych sta÷ych ® i ¯ systemy
z wektorami parametrów ¤, ¡, c, d oraz ¯¤, ®¡, c=®, d=¯ sa¾ nierozróz· nialne (toz· same) z
punktu widzenia wejść i wyjść (patrz wzory (2.1)–(2.2)). Dla uzyskania jednoznaczności
opisu przyjmujemy nastepuj
¾ ace
¾ za÷oz· enia dodatkowe (za praca¾ [120]):
T
(a) macierze £¤d = ¤d i £¡c = ¡cT nie sa¾ jednocześnie zerowe;
(b) jj¤jj2 = 1 i jj¡jj2 = 1, gdzie jj:jj2 oznacza norme¾ euklidesowa¾ wektora;
(c) pierwsze niezerowe elementy wektorów ¤ i ¡ sa¾ dodatnie.
Niech
µ = (° 0 c1 ; :::; ° 0 cm ; :::; ° n c1 ; :::; ° ncm ; ¸1 d1 ; :::; ¸1 dq ; :::; ¸p d1 ; :::; ¸p dq )T =
= (µ1 ; :::; µ (n+1)m ; µ(n+1)m+1 ; :::; µ(n+1)m+pq )T
(2.4)
bedzie
wektorem zagregowanych parametrów systemu (2.1) uzyskanych po wstawieniu wzorów
¾
(2.2) do wzoru (2.1) i niech Ák bedzie
odpowiednim uogólnionym wektorem wejść
¾
Ák = (f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::; fm (uk¡n ); g1 (yk¡1 ); :::; gq (yk¡1 ); :::; g1 (yk¡p ); :::; gq (yk¡p ))T
(2.5)
Przy tych oznaczeniach opis (2.1)–(2.2) przyjmuje zagregowana¾ postać yk = ÁTk µ + zk , zatem
obiekt pozostaje liniowy wzgledem
parametrów, co dla k = 1; :::; N daje ÷acznie
zalez· ność
¾
¾
YN = ©N µ + ZN
(2.6)
gdzie YN = (y1 ; :::; yN )T , ©N = (Á1 ; :::; ÁN )T , ZN = (z1; :::; zN )T , podobnie jak we wzorze
(1.26).
System na rys. 2.1 jest bardziej ogólny niz· czesto
¾ spotykany w zastosowaniach klasyczny
system Hammersteina. System Hammersteina jest jego przypadkiem szczególnym, otrzymywanym gdy funkcja ´() jest liniowa (patrz Dodatek A.1). System addytywny NARMAX
róz· ni sie¾ takz· e od szeroko omawianego w literaturze systemu Wienera-Hammersteina (rys.
1.2), gdzie dwa liniowe obiekty dynamiczne otaczaja¾ jeden nieliniowy element statyczny.
Pomimo moz· liwości zastosowania w wielu dziedzinach ([40] [120][127]), systemowi typu (2.1)
o strukturze NARMAX poświecono
w literaturze stosunkowo ma÷o uwagi. W pracach [120] i
¾
[127], gdzie zosta÷ on b÷ednie
nazwany systemem Hammersteina-Wienera, zastosowano go do
¾
symulacji pekania
ska÷ wapiennych pod wp÷ywem dzia÷ania wody i do modelowania systemów
¾
antypowodziowych.
Zadanie identy…kacji systemu (2.1)–(2.2) polega na odkryciu prawdziwych wektorów
parametrów ¤, ¡, c i d (danych wzorem (2.3)), na podstawie zbioru pomiarów (uk ; yk )
(k = 1; :::; N ) wejść i wyjść ca÷ego systemu uzyskanych w eksperymencie.
34
W nastepnym
punkcie przedstawiony jest algorytm identy…kacji oparty na metodzie
¾
najmniejszych kwadratów, zaprezentowany w pracy [120] dla przypadku nieskorelowanych
zak÷óceń, i pokazuje sie¾ jego asymptotyczne obcia¾z· enie w przypadku zak÷óceń skorelowanych.
Stanowi to punkt wyjścia do zaproponowania nowego estymatora opartego na metodzie zmiennych instrumentalnych, wolnego od obcia¾z· enia. Postepowanie
jest oparte na technikach
¾
zaprezentowanych w pracach [102] i [125], zastosowanych do identy…kacji mniej skomplikowanych systemów dynamicznych. Zaproponowana¾ metode¾ porównuje sie¾ nastepnie
z
¾
algorytmem najmniejszych kwadratów. Dokonano analizy asymptotycznej b÷edu
¾ estymacji
oraz przedyskutowano zalety zaproponowanej metody. W szczególności wykazano zbiez· ność
estymatora wed÷ug prawdopodobieństwa do prawdziwych wartości parametrów systemu w
przypadku wystepowania
skorelowanych zak÷óceń. Rozwiazano
równiez· problem optymal¾
¾
nych wartości zmiennych instrumentalnych i zaprojektowano nieparametryczny algorytm ich
przybliz· onej generacji, a takz· e wyznaczono rzad
¾ szybkości zbiez· ności zaproponowanego estymatora. Jako ilustracje¾ wykazanych w÷asności przedstawiono przyk÷adowe wyniki porównawczych badań eksperymentalnych.
2.2
Wady metody najmniejszych kwadratów
Dla późniejszych porównań z zaproponowana¾ dalej metoda¾ zmiennych instrumentalnych zaczniemy od przedstawienia wprowadzonego w pracy [120] dwuetapowego algorytmu
identy…kacji opartego na metodzie najmniejszych kwadratów (LS) i dekompozycji wed÷ug
wartości szczególnych (SVD) (patrz np. [60]).
Etap 1. Wyznaczyć estymator LS
(LS)
b
µN = (©TN ©N )¡1 ©TN YN
(2.7)
zagregowanego wektora parametrów µ (wzory (2.4) i (2.6)), a nastepnie
skonstruować na jego
¾
(LS)
(LS)
b
b
podstawie (metoda¾ plug in) oszacowania £
i£
macierzy £¤d = ¤dT i £¡c = ¡cT
¡c
¤d
(por. warunek (a) powyz· ej):
Etap 2. Dokonać dekompozycji SVD (wed÷ug wartości szczególnych – patrz Dodatek B.1)
b (LS) :
b (LS) i £
oszacowań (macierzy) £
¤d
¡c
min(p;q)
b (LS) =
£
¤d
b (LS) =
£
¡c
X
i=1
T
± ib
» ib
³i
(2.8)
min(n;m)
X
i=1
¾i¹
bi b
º Ti
a nastepnie
wyznaczyć estymatory odpowiednich wektorów parametrów systemu (por. wzór
¾
(2.3))
b (LS) = sgn(b
¤
» 1 [·»1 ])b
»1
N
b(LS) = sgn(b
¡
¹1 [·¹1 ])b
¹1
N
(LS)
b
cN
= sgn(b
¹1 [·¹1 ])¾ 1 b
º1
b (LS) = sgn(b
» 1 [·»1 ])± 1b
d
³1
N
(2.9)
35
gdzie x[k] oznacza k-ta¾ sk÷adowa¾ wektora x oraz ·x = minfk : x[k] 6= 0g.
Aby wyjaśnić dlaczego etap 2 algorytmu jest dobra¾ droga¾ do uzyskania oszacowań
prawdziwych parametrów systemu ze wzoru (2.3) przeanalizujmy postać rozk÷adów SV D
teoretycznych macierzy £¡c = ¡cT i £¤d = ¤dT . Macierz bed
¾ aca
¾ iloczynem dwóch wektorów posiada rzad
¾ równy jedności i tylko jedna jej wartość szczególna jest róz· na od zera,
np. dla macierzy
min(n;m)
£¡c =
X
¾ i ¹i º Ti
i=1
zachodzi
¾ 1 6= 0, ¾ 2 = ::: = ¾ min(n;m) = 0
a zatem
£¡c = ¾ 1 ¹1 º T1
(2.10)
gdzie k¹1 k2 = kº 1 k2 = 1. Reprezentacja macierzy £¡c dana wzorem (2.10) jest jednoznaczna [60]. Aby na podstawie macierzy £¡c wyznaczyć wektor ¡, który spe÷nia warunek
(b) na str. 33 nalez· y przyjać
¾ ¡ = ¹1 ; lub ¡ = ¡¹1 . Warunek (c) określa wektor ¡ jednoznacznie. Pozosta÷y czynnik rozk÷adu wyznacza wektor c. W podobny sposób moz· na
uzasadnić stosowanie rozk÷adu SV D dla macierzy £¤d .
Rozk÷ad wed÷ug wartości szczególnych pozwala na zdekomponowanie oszacowań macierzy
b (LS) i £
b (LS) na iloczyny dwóch wektorów (wzór (2.8)) i wyróz· niezagregowanych parametrów £
¡c
¤d
(LS)T
b (LS)T wed÷ug wzoru (2.9). W pracy [120] pokazano w
b(LS)b
b (LS) d
nie odpowiednio ¡
i
c
¤
N
N
N
N
szczególności, z· e
°
°2
° b (LS)
T°
(2.11)
(b
¹1 ; ¾ 1 b
º 1 ) = arg min
£
¡
¡c
° ¡c
°
m
n
c2R ;¡2R
Wykazano takz· e, z· e w przypadku braku zak÷óceń (zk ´ 0) odpowiednie estymatory we
wzorze (2.9) sa¾ równe prawdziwym parametrom
b (LS) = ¤
¤
N
b
¡(LS)
= ¡
N
(2.12)
(LS)
b
cN
= c
b (LS) = d
d
N
zaś w przypadku gdy zak÷ócenia fzk g sa¾ bia÷ym szumem, niezalez· nym od wejścia fuk g, wtedy
przy N ! 1 zachodza¾ nastepuj
¾ ace
¾ zbiez· ności z prawdopodobieństwem 1:
b (LS) ! ¤
¤
N
(LS)
b
! ¡
¡N
(LS)
b
cN
! c
(LS)
b
d
! d
N
(2.13)
36
Uwzgledniaj
ac
¾
¾ wzory (2.6) i (2.7) b÷ad
¾ estymacji wektora µ metoda¾ najmniejszych kwadratów
moz· na zapisać nastepuj
¾ aco
¾
(LS)
¢N
=
(LS)
b
µN
¡
¡ µ = ©TN ©N
¢¡1
©TN ZN =
Ã
N
1 X
Ák ÁTk
N k=1
!¡1 Ã
N
1 X
Á zk
N k=1 k
!
(2.14)
Gdy fzk g jest bia÷ym szumem o zerowej wartości oczekiwanej i skończonej wariancji, niezalez· nym od wejścia fuk g; wtedy elementy macierzy ZN sa¾ niezalez· ne od elementów w macierzy
©N i na mocy ergodyczności zak÷óceń i procesu wektorowego fÁk g (por. Dodatek B.8) zachodzi ¢(LS)
! 0 z prawdopodobieństwem 1, gdy N ! 1. Jednak w przypadku, gdy fzk g
N
jest procesem skorelowanym, tzn. Ezk zk+i 6= 0 dla pewnego i 6= 0, wtedy estymator LS (2.7)
wektora µ nie jest zgodny z powodu zalez· ności pomiedzy
zak÷óceniami zk , a wartościami
¾
w wektorze Ák . W konsekwencji, estymagl (yk¡i ) (l = 1; :::; q, i = 1; :::; p) wystepuj
¾ acymi
¾
tory dane wzorami (2.9) takz· e nie sa¾ zgodne. Wniosek ten zosta÷ zilustrowany w poniz· szym
przyk÷adzie.
2.3
Eksperyment z metoda¾ najmniejszych kwadratów
W eksperymencie symulowano i identy…kowano system o nastepuj
parametrach
¾ acych
¾
¤ = ¡ = c = d = (0:5; 0:5; 0:5; 0:5)T
1
ft (u) =
costu; t = 1; :::; 4
t
0:1
sinly; l = 1; :::; 4
gl (y) =
l
(2.15)
Sygna÷ wejściowy fuk g generowano zgodnie z rozk÷adem jednostajnym na przedziale [¡10; 10],
tj. uk ~U [¡10; 10]. Zak÷ócenie fzk g generowano najpierw jako bia÷y szum, tj. zk = "k ,
o rozk÷adzie jednostajnym na przedziale [¡0:01; 0:01] (ok. 1% uz· ytecznego sygna÷u) lub
[¡0:05; 0:05] (ok. 5% uz· ytecznego sygna÷u). Eksperyment powtórzono dla f"k g przetworzonego przez …ltr kolorujacy
¾ F (q) = 1 + 0:5q¡1 , tj. zk = F (q)"k , gdzie q ¡1 oznacza operator
przesuniecia
o jeden krok wstecz w dziedzinie czasu. Porównywano zagregowany b÷ad
¾
¾ estymacji wyliczany wed÷ug nastepuj
¾ acej
¾ formu÷y
°
°
° b (LS)T b(LS)T (LS)T b (LS)T
T
T
T
T °
(2.16)
cN ; dN ) ¡ (¤ ; ¡ ; c ; d )°
ERR_LS(N) = °(¤N ; ¡N ; b
2
Wynik eksperymentu przedstawia rys. 2.2.
37
Rysunek 2.2 Wyniki identy…kacji systemu NARMAX metoda¾ LS.
Potwierdza on zgodność estymatora LS tylko dla zak÷óceń nieskorelowanych; w przeciwnym
przypadku nawet przy duz· ej liczbie pomiarów N (czesto
niemoz· liwej do osiagni
¾
¾ ecia
¾ w praktyce) utrzymuje sie¾ sta÷y b÷ad
¾ identy…kacji (tj. b÷ad
¾ systematyczny).
2.4
Zastosowanie metody zmiennych instrumentalnych
Za÷óz· my, z· e obok ©N ze wzoru (2.6) posiadamy macierz zmiennych instrumentalnych
ªN , spe÷niajac
¾ ace
¾ warunki
¾ a¾ (równiez· dla przypadku skorelowanych zak÷óceń zk ) nastepuj
(por. punkt 1.3.2):
(C1): dimªN = dim ©N , a elementy macierzy zmiennych pomocniczych ªN = (Ã 1 ; Ã 2 ; :::; Ã N )T ,
gdzie Ã k = (Ã k;1 ; Ã k;2 ; :::;¯ Ã k;m(n+1)+pq
)T , sa¾ wspólnie ograniczone, to znaczy istnieje taka
¯
sta÷a 0 < Ã max < 1 z· e ¯Ã k;j ¯ · Ã max (k = 1:::N , j = 1:::m(n + 1) + pq) i sa¾ procesami
ergodycznymi, niekoniecznie o zerowej wartości oczekiwanej (Dodatek B.8)
(C2): istnieje P lim( N1 ªTN ©N ) = EÃ k ÁTk i jest macierza¾ nieosobliwa¾ detfEÃ k ÁTk g 6= 0 (postulat I w punkcie 1.3.2)
(C3): P lim( N1 ªTN ZN ) = EÃ k zk oraz EÃ k zk = cov(Ã k ; zk ) = 0 (postulat II w punkcie 1.3.2
i za÷oz· enie 1.4 na str. 30)
Lemat 2.1 Warunkiem koniecznym istnienia macierzy zmiennych instrumentalnych ªN
spe÷niajacej
¾ (C2) jest asymptotyczna nieosobliwość macierzy N1 ©TN ©N .
38
(dowód – patrz Dodatek A.2).
Po lewostronnym pomnoz· eniu równania (2.6) przez macierz ªTN otrzymujemy:
ªTN YN = ªTN ©N µ + ªTN ZN
Biorac
estymatora LS
¾ pod uwage¾ powyz· sze warunki (C1)¥(C3) postulujemy zastapienie
¾
danego wzorem (2.7) i wyznaczanego w 1. etapie algorytmu z punktu 2.2, przez nastepuj
¾ acy
¾
estymator IV :
(IV )
b
µN = (ªTN ©N )¡1 ªTN YN
(2.17)
W etapie drugim postepujemy
analogicznie, tj. dokonujemy dekompozycji SVD uzyskanych
¾
(IV )
b (IV ) i £
b (IV ) odpowiednio macierzy £¤d i £¡c .
na podstawie b
µ N oszacowań £
¡c
¤d
2.5
W÷asności asymptotyczne
B÷ad
¾ estymacji wektora zagregowanych parametrów µ w przypadku algorytmu (2.17)
ma postać
!¡1 Ã
!
Ã
N
N
X
X
¡ T
¢¡1 T
(IV )
1
1
(IV )
(2.18)
¢N = b
µN ¡ µ = ªN ©N
ªN ZN =
Ã ÁT
Ã zk
N k=1 k k
N k=1 k
Twierdzenie 2.1 Przy warunkach (C1)¥(C3), estymator (2.17) jest zbiez·ny wed÷ug prawdopodobieństwa do prawdziwych parametrów systemu, niezalez·nie od budowy korelacyjnej zak÷óceń, tzn.
(IV )
P lim ¢N
N!1
=0
(2.19)
(IV )
Twierdzenie 2.2 B÷ad
¾ estymacji ¢N posiada asymptotycznie rzad
¾ szybkości zbiez·ności
O( p1N ) wed÷ug prawdopodobieństwa (patrz def. B.4 w Dodatku B.4 na str. 107), dla kaz·dego
wyboru zmiennych pomocniczych spe÷niajacych
warunki (C1)¥(C3).
¾
2.6
Optymalizacja metody
Teza twierdzenia 2.2 mówi o uniwersalnym gwarantowanym rzedzie
szybkości zbiez· ności
¾
estymatora (2.17), jednak konkretnie uzyskiwana szybkość zbiez· ności jest zalez· na od konkretnie wybranych zmiennych instrumentalnych. W niniejszym punkcie bada sie¾ istotny dla
pracy przypadek szczególny systemów NARMAX i przyjmuje sie¾ nastepuj
¾ ace
¾ lokalne za÷oz· enie o postaci nieliniowości ´() (rys. 2.1):
Za÷oz· enie 2.1 Nieliniowa funkcja ´() przechodzi przez punkt (0; 0)
´(0) = 0
(2.20)
39
oraz spe÷nia warunek Lipschitza ze sta÷a¾ r, tzn.
¯ (1)
¯
¯
¯
¯´(y ) ¡ ´(y (2) )¯ · r ¯y (1) ¡ y (2) ¯
(2.21)
przy czym sta÷a r > 0 jest taka, z·e
®=r
p
X
j=1
(2.22)
j¸j j < 1
Rozwaz· my nastepuj
¾ ace
¾ procesy warunkowe (por. wzór (2.2))
Gl;k , Efgl (yk ) j fui gki=¡1 g
(2.23)
gdzie l = 1; 2; :::q i oznaczmy
» l , gl (y) ¡ Gl
Zachodzi
gl (yk ) = Gl;k + » l;k
Dalej sygna÷ » l;k bedzie
interpretowany jako ”zak÷ócenie”:
¾
(2.24)
» l;k = gl (yk ) ¡ Gl;k
gdzie l = 1; 2; :::q, k = 1; 2; :::; N .
Równanie (2.1) opisujace
¾ system moz· na przedstawić w nastepuj
¾ acej
¾ postaci:
yk =
p
X
¸j ´(yk¡j ) +
j=1
³
n
X
i=0
° i ¹(uk¡i ) + zk = Ak
³
fyk¡j gpj=1
´
+ Bk (fuk¡i gni=1 ) + Ck (uk ) + zk
(2.25)
´
P
P
gdzie Ak
= pj=1 ¸j ´(yk¡j ), Bk (fuk¡i gni=1 ) = ni=1 ° i ¹(uk¡i ), Ck (uk ) = ° 0 ¹(uk ).
Dla ustalonego k zmienne losowe Ak , Bk i zk sa¾ niezalez· ne od wejścia uk (patrz za÷oz· enia 1.1–
1.6, str. 30). Dla ustalonego uk = u wartość Ck (uk ) jest ustalona i wynosi Ck (u) = ° 0 ¹(u).
Wartość oczekiwana we wzorze (2.23) istnieje i ma nastepuj
¾ ac
¾ a¾ interpretacje:
¾
³
´
(2.26)
Gl;k = Efgl (Ck (uk ) + Ak fyk¡j gpj=1 + Bk (fuk¡i gni=1 ) + zk ) j fui gki=¡1 g
fyk¡j gpj=1
Wartość ta jest trudna do wyliczenia explicite, ale moz· liwa do szacowania. Ponadto, jak sie¾
to okaz· e dalej, jawna zalez· ność Gl;k od nieliniowości ¹() i ´() nie jest dla nas istotna. Istotne
sa¾ natomiast nastepuj
¾ ace
¾ w÷asności:
© ªN
W÷asność (W1): ”Zak÷ócenia” » l;k k=1 dane wzorem (2.24) sa¾ niezalez· ne od procesu
wejściowego i sa¾ procesem ergodycznym (patrz Dodatek B.8)
© ªN
Dowód. Wzajemna niezalez· ność procesów » l;k k=1 i fuk g1
k=¡1 wynika wprost z de…nicji
(2.23). Na podstawie za÷oz· eń 1.3, 1.4 i 1.5 (str. 30) wnioskujemy, z· e wyjście fyk gN
k=1 systemu jest procesem ergodycznym i ograniczonym. Dzieki
za÷o
z
eniu
(1.1)
dotycz
acemu
nielin¾
¾
·
N
N
iowości, równiez· procesy fgl (yk )gk=1 oraz fGl;k gk=1 (l = 1; 2; :::; q) sa¾ ergodyczne i ogranic© ªN
zone. Stad
¾ zak÷ócenia » l;k k=1 (l = 1; 2; :::; q) jako róz· nica procesów ergodycznych (wzór
(2.24)) sa¾ ergodyczne.
40
© ª
W÷asność (W2): Proces » l;k ma zerowa¾ wartość oczekiwana.¾
Dowód. Na podstawie de…nicji (2.24) zak÷ócenia » l;k mamy:
E» l;k = Egl (yk ) ¡ EGl;k =
©
ª
©
ª
= Efugkj=¡1 E gl (yk ) j fugki=¡1 ¡ Efugkj=¡1 E gl (yk ) j fugki=¡1 = 0
W÷asność (W3): Jez· eli zmienne instrumentalne Ã k;j sa¾ generowane na podstawie wejść
fui gki=¡1 w nastepuj
¾ acy
¾ sposób
Ã k;j = Hj (fui gki=¡1)
(2.27)
gdzie przekszta÷cenia nieliniowe Hj () (j = 1; 2; :::; m(n + 1) + pq) sa¾ takie, z· e zapewniaja¾ erodyczność procesów fÃ k;j g wtedy iloczyny Ã k1 ;j » l;k2 (j = 1; 2; :::; m(n + 1) + pq,
l = 1; 2; :::; q) maja¾ zerowe wartości oczekiwane, tj. EÃ k1 ;j » l;k2 = 0.
Dowód. Odpowiednia¾ wartość oczekiwana¾ przy wykorzystaniu w÷asności (W1) i (W2)
moz· na rozpisać nastepuj
¾ aco
¾
£
¤
£
¤
1
1
)» l;k2 = EHj (fui gki=¡1
)E» l;k2 = 0
E Ã k1 ;j » l;k2 = E Hj (fui gki=¡1
tzn.
W÷asność (W4): Jez· eli zak÷ócenia zk i zmienne instrumentalne Ã k;j sa¾ ograniczone
¯
¯
¯
spe÷nione sa¾ za÷oz· enie 1.4 (str. 30) oraz warunek (C1): jzk j < zmax < 1 oraz Ã k;j ¯ =
jHj (uk )j < Ã max < 1 (por. za÷oz· enie 1.3), wtedy
N
1 X
Ã zk ! EÃ k zk
N k=1 k
(2.28)
z prawdopodobieństwem 1 (a wiec
¾ takz· e wed÷ug prawdopodobieństwa), gdy N ! 1; por.
warunek (C3).
Dowód. Iloczyn sk;j = Ã k;j zk stacjonarnych i ograniczonych sygna÷ów Ã k;j i zk jest sygna÷em
stacjonarnym o skończonej wariancji (patrz za÷oz· enia tw. B.4 na str. 109). Dla wykazania
(2.28), na mocy twierdzenia B.4 w Dodatku B.8 trzeba pokazać, z· e rsk;j (¿ ) ! 0, gdy j¿ j !
1: Autokowariancja zak÷óceń zk (Ezk = 0)
rz (¿ ) = E [(zk ¡ Ez) (zk+¿ ¡ Ez)] = Ezk zk+¿
(2.29)
jako wyjścia liniowego, asymptotycznie stabilnego …ltru pobudzanego bia÷ym szumem posiada w÷asność
(2.30)
rz (¿ ) ! 0
¡
¢
gdy j¿ j ! 1. Proces Ã k;j = Hj fui gki=¡1 jest procesem ergodycznym (patrz w÷asność
(W3)), niezalez· nym od zak÷óceń zk (za÷oz· enie 1.4). Stad
¾
£
¤
(2.31)
rsk;j (¿ ) = E [(sk;j ¡ Esk;j ) (sk+¿ ;j ¡ Esk;j )] = E Ã k;j Ã k+¿ ;j zk zk+¿ = crz (¿ )
¡
¢2
gdzie c = EÃ k;j jest skończona¾ sta÷a,¾ 0· c < 1: Stad
¾
rsk;j (¿ ) ! 0
(2.32)
41
gdy j¿ j ! 1 i w konsekwencji
N
1 X
sk;j ! Esk;j
N k=1
(2.33)
W÷asność (W5a): Dla systemu NARMAX z nieliniowościa¾ ´() spe÷niajac
¾ a¾ za÷oz· enie 2.1 i
rzedem
autoregresji p = 1 (wzór (2.1)) zachodzi nastepuj
¾
¾ aca
¾ zbiez· ność z prawdopodobieństwem 1 (stad
¾ takz· e wed÷ug prawdopodobieństwa)
N
1 X
Ã ÁT ! EÃ k ÁTk
N k=1 k k
(2.34)
dla N ! 1, gdzie Ã k jest dane wzorem (2.27); por. warunek (C2).
Dowód. System posiadajacy
p = 1 (dla przejrzystości wyprowadzeń
¾ autoregresje¾ rzedu
¾
niech ¸1 = 1) opisuje równanie
yk = ´ (yk¡1 ) +
n
X
° i ¹ (uk¡i ) + zk
(2.35)
i=0
zaś nieliniowość ´() zgodnie z za÷oz· eniem 2.1 spe÷nia warunek
j´ (y)j · a jyj
(2.36)
gdzie 0 < a < 1. Przyjmujac
¾ oznaczenie
±k =
n
X
° i ¹ (uk¡i ) + zk
(2.37)
i=0
dla zagregowanego wymuszenia zewnetrznego
(por. wzór (2.1)) na podstawie (2.35) otrzy¾
mujemy
yk = ´ (yk¡1 ) + ± k
(2.38)
Poniewaz· wejście fuk g jest procesem iid niezalez· nym od fzk g, a zak÷ócenie fzk g posiada
w÷asność rz (¿ ) ! 0 gdy j¿ j ! 1 (patrz (2.30)) wnioskujemy, z· e takz· e r± (¿ ) ! 0 gdy
j¿ j ! 1. Dalej wzór (2.38) moz· na przedstawić w nastepuj
¾ acej
¾ formie
yk = ± k + ´ f± k¡1 + ´ [± k¡2 + ´ (± k¡3 + :::)]g
(2.39)
Wprowadźmy wspó÷czynniki ck zde…niowane nastepuj
¾ aco
¾
ck =
´ (yk )
yk
(2.40)
dla k = 1; 2; :::; N ( 00 traktujemy jako 0). Z warunku (2.36) wynika, z· e
jck j · a < 1
Wykorzystujac
¾ wspó÷czynniki ck ; równanie (2.39) moz· na zapisać w postaci
yk = ± k + ck¡1 (± k¡1 + ck¡2 (± k¡2 + ck¡3 (± k¡3 + :::)))
(2.41)
42
to jest
yk =
1
X
ck;i ± k¡i
i=0
gdzie ck;0 , 1, ck;i = ck¡1 ck¡2 :::ck¡i . Na podstawie (2.41)
(2.42)
jck;i j < ai
P1 i
Poniewaz· dla 0P< a < 1 szereg potegowy
¾
· ny to na podstawie nierówności
i=0 a jest zbiez
1
(2.42) równiez· i=0 jck;i j < 1, a stad
¾ i ze wzoru (2.37) ÷atwo wywnioskować, z· e przy j¿ j ! 1
zachodzi ry (¿ ) ! 0 oraz rgl (yk ) (¿ ) ! 0, gdzie procesy gl (yk ) (l = 1; :::; q) sa¾ sk÷adowymi
wektora Ák : Zatem dla systemu z nieliniowościa¾ ´() spe÷niajac
¾ a¾ warunek (2.36) procesy fyk g
oraz fgl (yk )g (l = 1; :::; q) spe÷niaja¾ za÷oz· enia ergodycznego mocnego prawa wielkich liczb
(twierdzenie B.4, str. 109), z którego wynika w÷asność (2.34).
W÷asność (W5b): Przy za÷oz· eniu 2.1 zbiez· ność (2.34) zachodzi takz· e dla systemu (2.1) w
przypadku ogólnym, tzn. przy autoregresji rzedu
¾ p ¸1.
Dla dowolnego ciagu
¾ liczbowego fxk g zde…niujmy norme¾
kfxk gk = lim sup jxk j
K!1 k>K
(2.43)
Równanie systemu (2.1) zapiszmy w postaci
yk =
p
X
¸j ´(yk¡j ) + ± k
(2.44)
j=1
gdzie ± k jest dane wzorem (2.37).
Dowodu w÷asności (W5b) (przypadek p > 1) nie moz· na przeprowadzić analogicznie do
dowodu w÷asności (W5a) (dla p = 1). Nalez· y wykorzystać nastepuj
¾ ace
¾ twierdzenie (jego
dowód – patrz [65], str. 53):
(1)
(2)
Twierdzenie 2.3 Jez·eli fyk g i fyk g sa¾ dwiema róz·nymi sekwencjami wyjściowymi systemu (2.1) (wzór (2.44)) odpowiadajacymi
dwóm róz·nym zagregowanym wymuszeniom (wzór
¾
(1)
(2)
(2.37)) f± k g i f± k g to przy warunkach (2.20), (2.21) i (2.22) zachodzi
° °
°
°
1 °
1 °
° (1)
° (1)
° (1)
(2) °
(2) °
(2) °
(2.45)
°f± k ¡ ± k g° · °fyk ¡ yk g° ·
°f± k ¡ ±k g°
1+®
1¡®
gdzie k k oznacza norme¾ zde…niowana¾ wzorem (2.43).
Dowód. Ze wzoru (2.45) wynika zatem, z· e przy warunkach (2.20), (2.21) i (2.22) stan
ustalony wyjścia systemu (2.1) zalez· y tylko od stanu ustalonego jego wejścia f± k g (nie zalez· y
(2)
od sk÷adowej przejściowej). Szczególnym przypadkiem wzoru (2.45), dla ± k ´ 0 (wtedy na
(2)
podstawie (2.44) i (2.20) równiez· yk = 0) jest postać
° °
°
°
1 °
1 °
° (1) ° ° (1) °
° (1) °
(2.46)
°f± k g° · °fyk g° ·
°f± k g°
1+®
1¡®
Odpowiedź impulsowa systemu spe÷niajacego
warunek (2.46) da¾z· y do zera przy k ! 1.
¾
Wynika stad,
¾ iz· przy j¿ j ! 1 funkcja autokowariancji sygna÷u wyjściowego fyk g posiada
w÷asność
ry (¿ ) ! 0
43
Dodatkowo na podstawie za÷oz· eń (1.1)–(1.4) (str. 30) proces fyk g jest ograniczony, a wiec
¾
w szczególności posiada skończone momenty dowolnego skończonego rzedu.
Spe÷nione sa¾
¾
zatem za÷oz· enia twierdzeń ergodycznych B.4 i B.5 (Dodatek B.8, str. 108) co w konsekwencji
gwarantuje zbiez· ność (2.34).
Przyk÷ad
Dla zilustrowania istotności warunku (2.22) zbadano eksperymentalnie autokorelacje¾ wyjścia
systemów opisanych równaniem typu (2.35):
yk = ´ (yk¡1 ) + zk
gdzie zk = "k , "k ~U [¡0:25; 0:25] dla przyk÷adowych funkcji ´():
a) spe÷niajacej
¾ warunek (2.36): ´(y) = ¡ arctan(y)
Funkcja ´(y) =¯ ¡ arctan(y)
spe÷nia warunek (2.36) poniewaz· ´(0) = 0, a wartość bezwzgledna
¾
¯
¯
¯
1
jej pochodnej ¯¡ 1+y
· dego y 6= 0.
2 ¯ jest mniejsza od jedności dla kaz
1
0.5
-4
-2
0
2
y
4
-0.5
-1
Rysunek 2.3 Wykres funkcji ´(y) = ¡ arctan(y):
b) nie spe÷niajacej
¾ warunku (2.36): ´(y) = ¡ arctan(10y)
¯ 1 ¯
1
(tzn. ¯´( 10
Warunek (2.36) nie jest spe÷niony np. dla y = 10
)¯ =
1.5
1
0.5
-4
-2
0
-0.5
-1
-1.5
Rysunek 2.4 Wykres funkcji ´(y) = ¡ arctan(10y):
Wyniki eksperymentu:
2
y
4
¼
4
>
1
).
10
44
Funkcja autokorelacji sygnalu y
dla n(y)=-arctan y
τ
-1,0
-0,5
0,0
0,5
1,0
Rysunek 2.5 Autokorelacja z próby sygna÷u wyjściowego przy ´(y) = ¡ arctan(y):
Funkcja autokorelacji sygnału y
dla n(y)= -arctan 10y
τ
-1,0
-0,5
0,0
0,5
1,0
Rysunek 2.6 Autokorelacja z próby sygna÷u wyjściowego przy ´(y) = ¡ arctan(10y):
W÷asności (W5a) i (W5b) (patrz wzór (2.34) oraz wzory (2.5) i (2.27)) moz· na dla
poszczególnych sk÷adowych wektorów Ã k i Ák zapisać w postaci:
N
1 X
Ã gl (yk2 ) ! EÃ k1 ;j gl (yk2 )
N k=1 k1 ;j
£
¤
Dzieki
¾ w÷asności E Ã k1 ;j » l;k2 = 0 (patrz (W3)) dla zmiennych instrumentalnych konstruowanych wed÷ug przepisu (2.27) otrzymujemy
¤
£
¤
£
E Ã k1 ;j gl (yk2 ) = E Ã k1 ;j Gl;k2
Przyjmujac
¾ oznaczenia (por. wzór (2.5)):
#
#
# T
©#
N = (Á1 ; Á2 ; :::; ÁN )
(2.47)
, (f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::; fm (uk¡n ); G1;k¡1 ; :::; Gq;k¡1 ; :::; G1;k¡p ; :::; Gq;k¡p )T
Á#
k
45
gdzie Gl;k , Efgl (yk ) j fui gki=¡1g (wzór (2.23)), wykorzystujac
¾ ergodyczność procesów
{Ã k;j } (j = 1; :::; m(n + 1) + pq), fft (uk )g (t = 1; :::; m) i fGl;k g (l = 1; :::; q) (patrz wzór
(2.27) oraz za÷oz· enie 1.3 na str. 30) moz· emy zapisać:
N
1 T #
1 X
z prawdopodobieństwem 1
ª © =
Ã Á#T ! EÃ k Á#T
k
N N N
N k=1 k k
oraz na podstawie w÷asności (2.34):
N
1 T
1 X
ª ©N =
Ã ÁT ! EÃ k ÁTk z prawdopodobieństwem 1
N N
N k=1 k k
dla zmiennych instrumentalnych generowanych wed÷ug wzoru (2.27). Bezpośrednio z de…nicji
(2.23) i (2.47) wynika dodatkowo równość
EÃ k Á#T
= EÃ k ÁTk
k
£
¤
£
¤
bowiem E Ã k1 ;j gl (yk2 ) = E Ã k1 ;j Gl;k2 . Zatem dla dowolnego wyboru macierzy zmiennych
wymagania we w÷asności (W3) (wzór (2.27)), zachodzi
pomocniczych ªN , spe÷niajacego
¾
asymptotycznie, dla N ! 1, zachodzi nastepuj
¾ aca
¾ równość z prawdopodobieństwem 1:
1 T #
1
ªN ©N = ªTN ©N
N
N
(2.48)
B÷ad
wartościa¾ estymatora otrzymanego metoda¾ IV,
¾ oszacowania (tj. róz· nica pomiedzy
¾
a prawdziwa¾ wartościa¾ wektora parametrów µ systemu) zgodnie ze wzorem (2.18) wynosi:
¶¡1 µ
¶
µ
(IV )
1
1
(IV )
T
T
¢N = b
ª ©N
ª ZN
µN ¡ µ =
N N
N N
De…niujac
¾
¡N ,
Z¤N ,
µ
1 T
ª ©N
N N
p1 ZN
N
¶¡1
1
p ªTN
N
zmax
gdzie zmax jest maksymalna¾ wartościa¾ zak÷ócenia (patrz za÷oz· enie 1.4, str. 30) otrzymujemy
(IV )
¢N
= zmax ¡N Z¤N
(2.49)
Norma euklidesowa wektora Z¤N nie przekracza jedności:
v
v
!
u N Ã 1
u
¶2
N µ
uX p zk 2 u 1 X
zk
N
¤
t
t
kZN k =
=
·1
zmax
N
zmax
k=1
k=1
Do oceny jakości zmiennych pomocniczych (kryterium optymalizacji) przyjmujemy, podobnie jak w [125], maksymalna¾ wartość skumulowanego b÷edu
¾ estymacji postaci:
°2
°
°
° (IV )
(2.50)
Q (ªN ) = max °¢N (ªN )°
¤
kZN k·1
(IV )
gdzie k k oznacza norme¾ euklidesowa¾ wektora, a ¢N (ªN ) jest b÷edem
oszacowania dla
¾
danego wyboru macierzy zmiennych instrumentalnych ªN (wektorów Ã k ).
46
Twierdzenie 2.4 Przy za÷oz·eniach 1.1–1.6 (str. 30), za÷oz·eniu 2.1 oraz warunku (2.27)
wskaźnik Q (ªN ) dany wzorem (2.50) dla wyboru
#
ª#
N = ©N
(2.51)
osiaga
¾ asymptotycznie (tj. przy N ! 1) wartość minimalna,¾ tzn. dla kaz·dego ªN zachodzi
lim Q(ª#
N ) 6 lim Q(ªN )
N!1
N!1
z prawdopodobieństwem 1
(dowód – patrz Dodatek A.5)
Oczywiście, jak zosta÷o to pokazane (por. w÷asności (W1)¥(W5)), z· e zmienne instrumentalne dane wzorem (2.51) spe÷niaja¾ postulaty (C1)¥(C3) na str. 37.
2.7
Nieparametryczna generacja zmiennych instrumentalnych
Optymalnej macierzy zmiennych instrumentalnych ª#
· na wyznaczyć analityN nie moz
cznie, gdyz· wymaga÷oby to pe÷nej informacji probabilistycznej o systemie, a w szczególności
znajomości parametrów systemu (które sa¾ przedmiotem estymacji; patrz wzory (2.23), (2.26),
(2.25) i (2.47)). Trudna jest takz· e estymacja macierzy ª#
¾ na to, iz· elementy
N ze wzgledu
Gl;k w niej zawarte zalez· a¾ od nieskończonej liczby wartości procesu wejściowego. Dlatego
proponuje sie¾ algorytm heurystyczny polegajacy
¾ na stosowaniu ”przybliz· onych” wartości
optymalnych instrumentów o nastepuj
¾ acej
¾ postaci
(r)#
ªN
(r)#
Ãk
gdzie
(r)#
(r)#
(r)#
= (Ã 1 ; Ã 2 ; :::; Ã N )T
³
´T
(r)
(r)
(r)
(r)
, f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::; fm (uk¡n ); G1;k¡1 ; :::; Gq;k¡1 ; :::; G1;k¡p ; :::; Gq;k¡p
(r)
Gl
(r)
Gl;k
= Gl (u(0) ; :::; u(r) ) , Efgl (yj ) j uj = u(0) ; :::; uj¡r = u(r) g
(r)
=
(2.52)
(r)
Gl (uk ; :::; uk¡r )
Przypuszcza sie,
¾ z· e obciecie
¾
(r)#
ªN
#
»
= ªN
staje sie¾ ”coraz lepsze”, gdy r ! 1 (problem ten traktuje sie¾ jako otwarty).
W celu uzyskania przybliz· eń optymalnych zmiennych instrumentalnych (patrz wzór (2.52)),
(r)
proponuje sie¾ uz· ycie metod nieparametrycznych do estymacji wartości Gl (uk¡i ) (l = 1; 2; :::; q,
(r)#
w wektorach Ã k . Ograniczamy sie¾ do przyi = 1; 2; :::; p, k = 1; 2; :::; N) wystepuj
¾ acych
¾
padku r = 0 (pierwsze obciecie-przybli
z· enie) i oznaczamy
¾
(0)#
ª¤N = ªN
Ã ¤k , (f1 (uk ); ::; fm (uk ); ::; f1 (uk¡n ); ::; fm (uk¡n ); R1 (uk¡1 ); ::; Rq (uk¡1 ); ::; R1 (uk¡p ); ::; Rq (uk¡p ))T
gdzie
(0)
Rl (u) = Gl (u) = Efgl (yk )g j uk = ug
(2.53)
47
Elementy wektora Ã ¤k (bia÷e szumy) sa¾ zgodne z wymaganiami sformu÷owanymi we w÷asności
(W3).
Przyjmijmy oznaczenie
xl;k = gl (yk );
wtedy funkcje regresji (2.53) moz· na przedstawić w postaci:
Rl (u) = E fxl;k j uk = ug
W naszym zadaniu zarówno uk jak i yk moga¾ zostać zmierzone, zaś wartości xl;k = gl (yk )
moz· na wyliczyć, poniewaz· jak wcześniej za÷oz· ono (za÷oz· enie 1.1, str. 30) funkcje gl () sa¾
znane. Najbardziej odpowiednia¾ i naturalna¾ metoda¾ estymacji wartości Rl (u) w punktach
uk¡i (tj. warunkowych wartości oczekiwanych (2.53)) wydaje sie¾ być estymacja jadrowa.
¾
Klasyczny estymator jadrowy
funkcji regresji Rl (u) wyliczany w oparciu o M dostepnych
¾
¾
par ”pomiarów” f(ui ; xl;i )gM
ma
postać
(patrz
np.
[26]):
i=1
³
´´
PM ³
u¡ui
1
K
x
l;i
h(M)
bl;M (u) = M i=1
³
´
(2.54)
R
P
M
u¡ui
1
i=1 K h(M)
M
gdzie K() jest funkcja¾ jadra,
a h – tzw. parametrem wyg÷adzania.
¾
W pracach [26] i [28] udowodniono nastepuj
¾ ace
¾ twierdzenia:
Twierdzenie 2.5 Jeśli h(M) ! 0 i M h(M ) ! 1 dla M ! 1, zaś funkcja jadra
K(v)
¾
jest jedna¾ z: exp(¡ jvj), exp(¡v 2 ), 1+jvj1 1+± wtedy
1
M
´´
³
PM ³
u¡ui
y
K
i
i=1
h(M)
³
´ ! Efyi j ui = ug
P
M
u¡ui
1
K
i=1
M
h(M)
(2.55)
gdy M ! 1 wed÷ug prawdopodobieństwa, o ile f(ui ; yi )gM
¾ nieskorelowanych
i=1 stanowia¾ ciag
par zmiennych losowych o tym samym rozk÷adzie.
Twierdzenie 2.6 Jez·eli zarówno funkcja regresji Efyi j ui = ug, jak i funkcja gestości
¾
prawdopodobieństwa wejścia #(u) maja¾ ograniczone pochodne drugiego rzedu,
¾ to przy h(M ) =
1
2
O(M ¡ 5 ) rzad
¾ szybkości zbiez·ności wed÷ug prawdopodobieństwa jest optymalny i wynosi O(M ¡ 5 ):
Przyjmujemy zatem dodatkowe za÷oz· enie o charakterze lokalnym:
prawdopodobieństwa weZa÷oz· enie 2.2 Funkcje g1 (y),...,gq (y) i f1 (u),...,fm (u) oraz gestość
¾
jścia #(u) maja¾ skończone pochodne drugiego rzedu
¾ dla kaz·dego u 2 (¡umax ; umax ) i kaz·dego
y 2 (¡ymax ; ymax ).
Powyz· szego rezultatu (2.55) nie moz· emy wykorzystać w naszym zadaniu wprost, poniewaz·
wartości procesu fxl;i g wystepuj
¾ ace
¾ w liczniku wzoru (2.54) sa¾ ze soba¾ wzajemnie skorelowane. Aby wstepnie
przeanalizować w÷asności estymatora (2.54) dla przypadku sko¾
relowanego procesu fxl;i g zdekomponujmy sumy w liczniku (ozn. jL(f(uik
; xl;i )gM
i=1 )) i mi1
Â(M)
anowniku (ozn. W (fui gM
pod-sum cześ¾
i=1 )) prawej strony wzoru (2.54) na r = M
ciowych, gdzie Â(M ) jest ciagiem
liczb dodatnich, takim, z· e Â(M ) ! 1 i jednocześnie
¾
48
r ! 1 gdy M ! 1 (np. Â(M ) =
p
log M ):
¶
µ
M
r
1X
1 X
u ¡ ui
,
xl;i K
=
st
M i=1
h(M)
r t=1
µ
¶
M
r
1 X
u ¡ ui
1X
M
W (fui gi=1 ) ,
K
wt
=
M i=1
h(M)
r t=1
L(f(ui ; xl;i )gM
i=1 )
(2.56)
gdzie elementy poszczególnych pod-sum
st =
wt =
X
1
M
r fi:0<ir+t·Mg
X
1
M
r fi:0<ir+t·Mg
xl;ir+t K
K
µ
µ
u ¡ uir+t
h(M )
¶
¶
(2.57)
u ¡ uir+t
h(M )
sa¾ od siebie odleg÷e o r taktów w dziedzinie czasu i staja¾ sie¾ nieskorelowane gdy r ! 1. W
przypadku sk÷adników sum st nieskorelowanie to wynika z w÷asności funkcji autokowariancji
procesu fxk g (tj. rx (¿ ) ! 0, gdy j¿ j ! 1; patrz w÷asność (W5) na str. 41 oraz za÷oz· enie 1.1
na str. 30), natomiast sk÷adniki wt tworza¾ bia÷e szumy. Kaz· da z pod-sum fst g estymuje te¾
sama¾ wartość w oparciu o ”rzadki” zbiór danych pochodzacych
z tego samego stacjonarnego
¾
obiektu. Kaz· da z pod-sum sk÷ada sie¾ tez· z tej samej liczby sk÷adników
M=
M
r
Zapiszmy wzory (2.57) w postaci
st
wt
1
=
M
1
=
M
X
xl;ir+t K
fi:0<ir+t·Mg
X
fi:0<ir+t·Mg
K
µ
µ
u ¡ uir+t
H(M)
¶
¶
(2.58)
u ¡ uir+t
H(M )
gdzie H(M ) , h(M ). Dla uproszczenia niech h(M ) = cM ® gdzie ¡1 < ® < 0, wtedy
0 1¡ 1 1®
Â(M)
¡ ® ¢ 1¡ 1 1
®
1¡ 1
®
Â(M)
Â(M) = O(M )
@
A
(2.59)
H(M ) = cM = c M
=c M
a zatem gdy M ! 1, zachodzi
H(M) ! 0 oraz M H(M ) ! 1
(2.60)
Na podstawie (2.58), (2.59), (2.60) i przytoczonego twierdzenia 2.5, przy r ! 1 otrzymujemy
µ ¶
st
P limM!1 (st )
a(u)
=
P lim
=
= Rl (u)
P limM!1 (wt )
b(u)
M!1 wt
dla kaz· dego t = 1; 2; :::; r, a poniewaz·
M
bl;M (u) = L(f(ui ; xl;i )gi=1 =
R
W (fui gM
i=1 )
Pr
1
st
r
Prt=1
1
t=1 wt
r
49
to
P lim
M!1
³
´
b
Rl;M (u) = Rl (u)
(2.61)
1
Przy za÷oz· eniu 2.2, z w÷asności (2.59) i twierdzenia 2.6 wynika tez· , z· e przy h(M) = cM ¡ 5
asymptotyczna szybkość zbiez· ności estymatora (2.54) dla skorelowanego procesu fxl;k g jest
2
rzedu
¾ O(M ¡ 5 ). Formalny dowód powyz· szych w÷asności zostanie opracowany w przysz÷ości.
2.8
Algorytm 3E (trzy-etapowy) identy…kacji systemów
NARMAX przy skorelowanych zak÷óceniach
Uwzgledniaj
ac
¾
¾ powyz· sze rozwaz· ania, a w szczególności postać optymalych zmiennych
instrumentalnych ª¤N (twierdzenie 2.4, wzór (2.51)) i niemoz· liwość wyznaczenia ich w sposób
analityczny, proponuje sie¾ nieparametryczna¾ (jadrow
a)
¾
¾ estymacje¾ nieznanych (niedostep¾
nych) elementów macierzy ª¤N .
Etap 1 (nieparametryczny): Przy uz· yciu M + max(n; p) pomiarów f(ui ; yi )gM
i=1¡max(n;p)
¤
¤
¤
b
b
b ¤ )T ,
b
wygenerować empiryczna¾ macierz zmiennych instrumentalnych ªN;M = (Ã 1;M ; Ã 2;M ; :::Ã
N;M
gdzie
b¤
(2.62)
Ã
k;M = (f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::
b1;M (uk¡1 ); ::::::; R
bq;M (uk¡1 ); :::; R
b1;M (uk¡p ); :::; R
bq;M (uk¡p ))T
:::; fm (uk¡n ); R
³
´
bl;M (u) = PM gl (yi )K( u¡ui ) = PM K( u¡ui ).
oraz R
i=1
i=1
h(M)
h(M)
Etap 2 (parametryczny): Wyznaczyć estymator zagregowanego wektora parametrów
(wzór (2.4))
µ = (° 0 c1 ; :::; ° o cm ; ::; ° n c1 ; :::; ° n cm ; ¸1 d1 ; :::; ¸1 dq ; :::; ¸p d1 ; :::; ¸p dq )T
metoda¾ zmiennych instrumentalnych
³
´¡1
¤(IV )
b
b ¤T ©N
b ¤T YN
µN;M = ª
ª
N;M
N;M
(2.63)
gdzie YN = (y1 ; y2 ; :::; yN )T , ©N = (Á1 ; Á2 ; :::; ÁN )T ;
Ák = (f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::; fm (uk¡n ); g1 (yk¡1 ); :::; gq (yk¡1 ); :::; g1 (yk¡p ); :::; gq (yk¡p ))T ,
¤(IV )
(wzór (2.5)) a nastepnie
na podstawie wektora b
µN;M utworzyć (metoda¾ plug in) oszacowa¾
)
b (IV ) i £
b (IV
nia £
macierzy £¸d = ¤dT i £°c = ¡cT , podobnie jak w przypadku algorytmu
°c
¸d
najmniejszych kwadratów (2.7).
Etap 3 (dezagregacja): Dokonać dekompozycji SVD (rozk÷adu wed÷ug wartości szczególP
) b (IV )
b (IV ) i £
b (IV
nych – patrz Dodatek B.1) empirycznych macierzy £
= min(n;m)
¾i¹
bi b
º Ti ,
°c : £°c
¸d
i=1
P
T
b (IV ) = min(p;q) ± ib
wyznaczyć estymatory parametrów
£
» ib
³ i (por. wzór (2.8)), a nastepnie
¾
¸d
i=1
podsystemów sk÷adowych (tj. odpowiedzi impulsowych oraz wspó÷czynników charakterystyk
nieliniowych) (por. wzór (2.9))
b N = sgn(b
¤
» 1 [·»1 ])b
»1
bN = sgn(b
¡
¹1 [·¹1 ])b
¹1
b
cN = sgn(b
¹1 [·¹1 ])¾ 1 b
º1
gdzie x[k] oznacza k-ta¾ sk÷adowa¾ wektora x, zaś ·x = minfk : x[k] 6= 0g.
Przyjmujac
¾ prawdziwość tezy w warunku (2.61) wykazano
b N = sgn(b
d
» 1 [·»1 ])± 1b
³1
(2.64)
50
Twierdzenie 2.7 Dla systemów z nieliniowościa¾ ´(y) spe÷niajac
¾ a¾ za÷oz·enie 2.1 zachodzi
zbiez·ność
¤(IV )
b
µ N;M ! µ, gdy M ! 1 i N ! 1
wed÷ug prawdopodobieństwa, jez·eli h(M ) spe÷nia za÷oz·enia twierdzenia 2.5.
2.9
2.9.1
Wyniki badań eksperymentalnych
Eksperyment 1 – Porównanie algorytmu IV z algorytmem
najmniejszych kwadratów
Dla systemu opisanego w punkcie 2.3 dokonano porównania numerycznego algorytmów
LS i IV: Nieliniowość ´(y) systemu opisanego wzorami (2.15) spe÷nia warunki za÷oz· enia 2.1
na str. 38. ×atwo moz· na sprawdzić, z· e zachodzi
4
X
j=1
j¸j j = 2, ´(0) = 0 oraz j´ 0 (y)j ·
1
5
P4
a zatem moz· na przyjać
¾ sta÷a¾ Lipschitz’a r = 15 i wtedy ® = r j=1 j¸j j < 1.
W pierwszym doświadczeniu zmienne instrumentalne generowano w sposób standardowy
(tzn. analogicznie, jak przy identy…kacji systemów liniowych; por. wzory (2.5) i (1.41))
Ã k = (f1 (uk ); :::; fm (uk ); :::; f1 (uk¡n ); :::; fm (uk¡n); g1 (b
yk¡1 ); :::; gq (b
yk¡1 ); :::; g1 (b
yk¡p ); :::; gq (b
yk¡p ))T
gdzie wartości ybk oznaczaja¾ wyjścia uzyskanego wcześniej modelu systemu metoda¾ najmniejszych kwadratów. Wyniki porównania przy tej samej funkcji kryterianej (2.16) co w
punkcie 2.3 dla zak÷óceń skorelowanych i bia÷ych przedstawia rysunek 2.7.
Potwierdza sie¾ ograniczona stosowalność metody najmniejszych kwadratów (skutecznej jedynie dla zak÷óceń typu iid) i skuteczność metody zmiennych instrumentalnych w identy…kacji systemów typu NARMAX.
2.9.2
Eksperyment 2 – Nieparametryczna generacja zmiennych
instrumentalnych dla potrzeb identy…kacji systemu NARMAX
Nastepnie
zmieniono sposób generacji instrumentów na nieparametryczny wed÷ug wzoru
¾
(2.62), przyjmujac
¾ M = N . Wyniki w porównaniu z metoda¾ najmniejszych kwadratów
przedstawiono na rys. 2.8.
Dokonujac
¾ zamiany sposobu generacji zmiennych pomocniczych ze standardowego na nieparametryczny (asymptotycznie optymalny) uzyskano poprawe¾ jakości identy…kacji juz· przy niewielkiej
liczbie obserwacji N , co jest wyraźnie widoczne na rysunku 2.8.
51
Rysunek 2.7 Porównanie metod LS i IV w identy…kacji systemu NARMAX.
2.9.3
Eksperyment 3 – Wp÷yw wariancji zak÷óceń na dok÷adność
identy…kacji za pomoca¾ algorytmu 3E
System opisany w punkcie 2.3 poddano skorelowanym zak÷óceniom zk = "k + 0:5"k¡1
przyjmujac
¾ kolejno 3 róz· ne ustawienia wariancji w generatorze rozk÷adu jednostajnego procesu f"k g, kolejno 0.1, 0.2 i 0.3 % maksymalnej wartości sygna÷u wyjściowego bez zak÷óceń.
Na rys. 2.9 pokazano empiryczna¾ zalez· ność zagregowanego b÷edu
¾ identy…kacji parametrów
(2.16) od liczby pomiarów N = M i od wariancji var" procesu f"k g.
Wp÷yw wariancji procesu f"k g na wartość ERR_IV (N ) (przy ustalonym N ) jest w przybliz· eniu liniowy, zaś przy ustalonej wariancji zak÷óceń ERR_IV maleje ze wzrostem N
1
potegowo
(jak N ¡ 2 – por. tw. 2.2, str. 38).
¾
52
metoda standardowa generacji instrumentów
80
-3
70
*10
60
50
ERR_IV
40
30
ERR_LS
20
10
0
100
1000
10000
N
nieparametryczna generacja instrumentów
80
-3
70
*10
60
50
40
ERR_IV
30
20
ERR_LS
10
0
100
1000
10000
N
Rysunek 2.8 Parametryczna i nieparametryczna generacja instrumentów.
120
100
80
ERR_IV
[E-3]
60
40
20
3
0
100
300
N
500
1
1000
var ε
[E-6]
Rysunek 2.9 Wp÷yw wariancji zak÷óceń na b÷ad
¾ identy…kacji za pomoca¾ algorytmu 3E.
2.9.4
Eksperyment 4 – Wraz· liwość algorytmu 3E na dobór zmiennych instrumentalnych
W celu zilustrowania wraz· liwości algorytmu 3E na zastosowane zmienne instrumentalne i uzasadnienia celowości stosowania etapu 1 (nieparametrycznej generacji zmiennych)
53
b¤
dokonywano zaburzeń wartości elementów suboptymalnej macierzy ª
¾ do jej
N;M dodajac
elementów sta÷a¾ wartość (oznaczona¾ na rys. 2.10 jako ”przesuniecie”)
¾
Zarówno zwiekszanie,
jak i zmniejszanie instrumentów o sta÷e wartości spowodowa÷o wyraźne
¾
pogorszenie wyników identy…kacji, co ilustruje rysunek 2.10.
120
100
80
E R R _IV [ E -3]
60
40
2
20
0
0
100
300
N
500
prz es unię c ie
-2
1000
Rysunek 2.10 Wp÷yw zmiennych instrumentalnych na b÷ad
¾ identy…kacji za pomoca¾ algorytmu 3E.
2.10
Podsumowanie
W rozdziale opracowano i zbadano parametryczno-nieparametryczny algorytm identy…kacji systemów NARMAX. Wykazano zgodność zaproponowanego estymatora wed÷ug prawdopodobieństwa do prawdziwych parametrów systemu. Zbadano przy tym rzad
¾ szybkości
zbiez· ności i określono optymalne wartości zmiennych instrumentalnych w etapie parametrycznym. Opracowano takz· e heurystyczny, nieparametryczny algorytm ich ”przybliz· onej”
generacji. Zastosowanie nieparametrycznej generacji instrumentów poprawi÷o znacznie efektywność identy…kacji. Efektem dzia÷ania algorytmu 3E sa¾ oszacowania zarówno parametrów
podsystemów nieliniowych, jak i elementów odpowiedzi impulsowych podsystemów liniowych.
Metoda jest odporna na skorelowanie zak÷óceń. Algorytm 3E jest prosty w implementacji
komputerowej (regresja jadrowa,
procedura najmniejszych kwadratów/zmiennych instru¾
mentalnych i rozk÷ad SV D macierzy). Wada¾ metody jest wymaganie stosunkowo duz· ej
wiedzy wstepnej
o systemie.
¾
Rozdzia÷ 3
Dwu-etapowa (2E)
parametryczno-nieparametryczna
identy…kacja systemów Hammersteina
W niniejszym rozdziale zaproponowany zostanie dwuetapowy, parametrycznonieparametryczny algorytm identy…kacji systemów Hammersteina (por. [78]) w obecności
skorelowanych zak÷óceń. Procedura jest oparta na nieparametrycznej estymacji niedostep¾
nego sygna÷u interakcyjnego wk (rys. 3.1) za pomoca¾ estymatora jadrowego,
a nastepnie
¾
¾
zastosowaniu zmody…kowanej metody najmniejszych kwadratów do estymacji parametrów
cześci
¾ statycznej systemu. Przedstawiona zostanie analiza zbiez· ności algorytmu oraz wyniki
badań eksperymentalnych. Proponowany algorytm pozwala na po÷aczenie
pewnych pozyty¾
wnych cech metod parametrycznych i nieparametrycznych. Nieparametrycznie estymuje sie¾
”punkty pomiarowe”, a uzyskane rozwiazanie
posiada postać zamknietego
wzoru.
¾
¾
3.1
3.1.1
Badany system
Badany jest system Hammersteina (Rys. 3.1)
zk
uk
µ(
)
wk
{γ i }i
∞
vk
yk
=0
Rysunek 3.1 System Hammersteina.
opisany wzorami (1.4), (1.46) i (1.49) ze skończona¾ lub nieskończona¾ odpowiedzia¾ impulsowa,
¾ spe÷niajacy
¾ za÷oz· enia 1.1–1.6 na str. 30. Dla przejrzystości prezentacji przyjmujemy
dodatkowe za÷oz· enie
Za÷oz· enie 3.1 ¹(0) = 0 oraz ° 0 = 1.
54
ALGORYTM 2E IDENTYFIKACJI SYSTEMÓW HAMMERSTEINA
55
Opis badanego systemu jest zatem nastepuj
¾ acy
¾
yk =
zk =
1
X
i=0
1
X
° i ¹ (uk¡i ) + zk ; ° 0 = 1
(3.1)
! i "k¡i
i=0
wk = ¹ (uk ) = ÁT (uk ) c
gdzie c = (c1 ; c2 ; :::; cm )T jest prawdziwym wektorem parametrów,
a Á (uk ) = (f1 (uk ); f2 (uk ); :::; fm (uk ))T – uogólnionym wektorem wejść systemu.
3.1.2
Zadanie identy…kacji
Celem identy…kacji jest estymacja nieznanego wektora c prawdziwych parametrów nieliniowej charakterystyki statycznej cześci
¾ systemu na podstawie uzyskanych w eksperymencie
N
pomiarów f(uk ; yk )gk=1 wejść i wyjść ca÷ego systemu.
3.2
Analiza problemu
Z za÷oz· eń 1.1–1.6 oraz 3.1 wynikaja, z· e zak÷ócenie fzk g ma zerowP
a¾ wartość oczekiwana¾
(Ezk = 0) i jest ograniczone, tzn. jzk j < zmax < 1, gdzie zmax = "max 1
i=0 j! i j.
Metody korelacyjne i algorytmy oparte na metodzie najmniejszych kwadratów w identy…kacji
systemów Hammersteina, zaproponowane przez Billings’a i Fakhouri’ego w pracach np. [5]
i [8] dotycza¾ jedynie sytuacji, w których nieliniowość ¹ () jest postaci wielomianowej, zaś
zak÷ócenie fzk g jest bia÷ym szumem. Dlatego wprowadza sie¾ tutaj odmienny sposób opisu
systemu, wykorzystujacy
¾ sygna÷ interakcyjny fwk g. Oznaczajac
¾
WN = (w1 ; w2 ; :::; wN )T
©N = (Á(u1 ); Á(u2 ); :::; Á(uN ))T
(3.2)
statyczny element nieliniowy moz· emy opisać równaniem
WN = ©N c
(3.3)
Przy odwracalności macierzy ©TN ©N uzyskujemy stad
¾ wzór umoz· liwiajacy
¾ bezpośrednie wyznaczenie poszukiwanego wektora parametrów
¡
¢¡1 T
(3.4)
c = ©TN ©N
©N WN
Zauwaz· my, z· e dla wyznaczenia (obliczenia) prawdziwego wektora c wystarczy tu ma÷a liczba
pomiarów N (przyjmujac,
¾ z· e macierz ©TN ©N jest nieosobliwa). Sytuacja, w której N jest
ustalone (nie musi da¾z· yć do 1) jest odmienna niz· w ca÷ej pracy i dlatego w dalszej cześci
¾
rozdzia÷u zamiast N bedzi
emy
stosować
oznaczenie
N0
¾ ¾
¡ T
¢¡1 T
(3.5)
c = ©N0 ©N0
©N0 WN0
Warunkiem koniecznym nieosobliwości macierzy ©TN0 ©N0 jest N0 ¸ dim c. Nalez· y jednak
pamietać,
z· e wyjścia nieliniowości wk zawarte w macierzy WN0 nie moga¾ być bezpośred¾
nio zmierzone. Moz· na jednakz· e próbować wykorzystać wzór (3.4) dokonujac
¾ wcześniejszej
56
estymacji wartości niedostepnego
sygna÷u wk , np. za pomoca¾ estymatora jadrowego,
i wstaw¾
¾
c
iajac
WN0 . Oznacza to zastosowanie typowej
¾ wyestymowane WN0 w miejsce niedostepnego
¾
techniki plug-in w odniesieniu do wzoru (3.5).
Zauwaz· my, z· e przedstawiajac
¾ równanie (3.1) w postaci
yk = ¹(uk ) +
1
X
° i ¹ (uk¡i ) +
i=1
1
X
! i "k¡i
i=0
i de…niujac
¾ funkcje¾ regresji
(3.6)
R(u) = Efyk j uk = ug
otrzymujemy
R(u) = ¹(u) + E¹ (u)
1
X
°i
i=1
Po wykorzystaniu za÷oz· enia 3.1 daje to
R(0) = E¹ (u)
1
X
°i
i=1
i w konsekwencji
¹(u) = R(u) ¡ R(0)
(3.7)
Poniewaz· wk = ¹(uk ), powyz· szy zwiazek
wraz z (3.6) stanowić moz· e podstawe¾ do szacowania
¾
niedostepnych
dla pomiaru wartości wk metodami nieparametrycznymi.
¾
3.3
Algorytm 2E (dwu-etapowy) identy…kacji systemów
Hammersteina
W oparciu o obserwacje¾ (3.7) oraz wzór (3.5) proponuje sie¾ nastepuj
¾ acy
¾ algorytm identy…kacji:
Etap 1 (nieparametryczny): Przy uz· yciu M pomiarów f(ui ; yi )gM
i=1 wejść i wyjść ca÷ego
systemu wyestymować dla wybranego ciagu
punktów fu1 ; u2 ; :::; uk ; :::; uN0 g (takiego, z· e
¾
0
dla pomiarów sygna÷u fwk gN
det©TN0 ©N0 6= 0), N0 wartości (N0 ~ dim c = m) niedostepnego
¾
k=1
metoda¾ nieparametryczna¾ (jadrow
a)
¾
¾
gdzie
bM (uk ) ¡ R
bM (0)
w
bk;M = ¹
bM (uk ) = R
PM
bM (uk ) = Pi=1
R
M
k ¡ui
yi K( uh(M)
)
uk ¡ui
i=1 K( h(M) )
(3.8)
57
a h(M ) parametrem wyg÷adzania. W celu uzyskania optymalnego
K() jest funkcja¾ jadra,
¾
1
rzedu
¾ asymptotycznej szybkości zbiez· ności estymatora (3.8) zaleca sie¾ wybór h(M )~O(M ¡ 5 )
(patrz [29] i za÷oz· enie 3.2).
Etap 2 (parametryczny): Przez wstawienie w
bk;M w miejsce wk we wzorze (3.5), na podN0
stawie N0 par f(uk ; w
bk;M )gk=1 wyznaczyć estymator wektora parametrów c =(c1 ; c2 ; :::; cm )
elementu statycznego
¡
¢¡1 T
c N0 ;M
b
(3.9)
cN0 ;M = ©TN0 ©N0
©N0 W
c N0 ;M = (w
gdzie W
b1;M ; w
b2;M ; :::; w
bN0 ;M )T .
3.4
W÷asności asymptotyczne
De…niujac
¾ b÷ad
¾ estymacji nieparametrycznej (w etapie 1) jako
& k;M = w
bk;M ¡ wk = w
bk;M ¡ ¹(uk )
i zauwaz· ajac,
bk;M = ¹ (uk ) + & k;M parametryczna¾ cześć
¾ z· e w
¾ procedury (etap 2) moz· na interpretować jako identy…kacje¾ nieliniowego elementu statycznego ¹ (uk ) = ÁT (uk ) c zak÷ócanego
0
na wyjściu sygna÷em f& k;M g (Rys. 3.2) na podstawie zbioru ”pomiarów” f(uk ; w
bk;M )gN
k=1 i
przy zastosowaniu metody najmniejszych kwadratów.
ς
uk
µ (⋅ )
wk
k ,M
w^ k , M
Rysunek 3.2 Schemat ideowy etapu 2 (parametrycznego) algorytmu 2E.
c N0 ;M = WN0 + & N0 ;M co na
Oznaczajac
¾ & N0 ;M = (& 1;M ; & 2;M ; :::; & N0 ;M )T otrzymujemy W
podstawie równań (3.4) i (3.9) prowadzi do
¢¡1 T
¢¡1 T
¡
¡
b
cN0 ;M = ©TN0 ©N0
©N0 WN0 + ©TN0 ©N0
©No & N0 ;M = c + ¢N0 ;M
gdzie
¢¡1 T
©TN0 ©N0
©N0 & N0 ;M =
Ã
!¡1 Ã
!
N0
N0
³
´¡1 ³
´
X
1 X
1
(1)
(2)
=
Á(uk )ÁT (uk )
Á(uk )& k;M = ¢N0
¢N0 ;M
N0 k=1
N0 k=1
¢N0 ;M =
¡
³
´¡1
(1)
(1)
Macierz ¢N0 ma skończone elementy. Warunkiem koniecznym dobrej określoności ¢N0
jest N0 ¸ dim c (por. za÷oz· enia 1.1–1.3, str. 30). Wykorzystujac
¾ z kolei rezultaty przedstawione w pracach [29] i [31] mamy
w
bk;M ! wk
& k;M ! 0
58
wed÷ug prawdopodobieństwa gdy M ! 1, o ile h(M ) we wzorze (3.8) jest takie z· e
(3.10)
lim h(M ) = 0
M!1
lim M h(M ) = 1
M!1
Oznacza to iz·
lim P (j& k;M j > ±) = 0
M!1
dla kaz· dego ± > 0 i kaz· dego k = 1; 2; :::; N0 , przy za÷oz· eniu, z· e K() spe÷nia standardowe
warunki stawiane funkcjom jadra
([26]).
¾
°
°
°c
°
Twierdzenie 3.1 Jez·eli °WN0 ;M ¡ WN0 ° = O(M ¡¿ ) wed÷ug prawdopodobieństwa gdy M !
1; to k(b
cN0 ;M ¡ c)k = O(M ¡¿ ) wed÷ug prawdopodobieństwa gdy M ! 1.
Twierdzenie 3.2 Jez·eli (przy ustalonym N0 ) ciag
¾ fu1 ; u2 ; :::; uk ; :::; uN0 g jest taki, z·e
det©TN0 ©N0 6= 0, a h(M ) spe÷nia warunki dane wzorem (3.10) to estymator (3.9) jest zbiez·ny
wed÷ug prawdopodobieństwa do prawdziwego wektora parametrów systemu c, tj.
gdy M ! 1:
b
cN0 ;M ! c
wed÷ug prawdopodobieństwa
Wymaganie nieosobliwości macierzy ©TN0 ©N0 nie jest restrykcyjne w przypadku istnienia
gestości
prawdopodobieństwa wejścia oraz liniowej niezalez· ności funkcji f1 ; :::; fm . Problem
¾
ze znalezieniem odpowiedniego N0 moz· e wystapić,
gdy wejście ma rozk÷ad dyskretny.
¾
prawdopodobieństwa wejścia #(u) maja¾
Za÷oz· enie 3.2 Funkcje f1 (u),...,fm (u) oraz gestość
¾
skończone pochodne drugiego rzedu
¾ dla kaz·dego u 2 (¡umax ; umax ).
1
Twierdzenie 3.3 Przy za÷oz·eniu 3.2 i h(M ) = O(M ¡ 5 ) asymptotyczny rzad
¾ szybkości
2
zbiez·ności estymatora (3.9) wed÷ug prawdopodobieństwa jest optymalny i wynosi O(M ¡ 5 ):
Z twierdzenia 3.3 w szczególności wynika, z· e najlepsza szybkość zbiez· ności estymatora (3.9)
2
1
jest rzedu
¾ O(M ¡ 5 ), a wiec
¾ jest wolniejsza od typowej szybkości zbiez· ności O(M ¡ 2 ) wed÷ug
prawdopodobieństwa dla metod parametrycznych. Jest to cena, jaka¾ tu p÷acimy za brak
moz· liwości bezpośredniego pomiaru sygna÷u fwk g i konieczność jego nieparametrycznej estymacji, wynikajaca
¾ z wolniejszej zbiez· ności estymatorów nieparametrycznych w porównaniu
z parametrycznymi (por. np. twierdzenie 2.2 (str. 38) oraz Przyk÷ad 3.5.3 (str. 61)).
3.5
3.5.1
59
Eksperyment 1 – Identy…kacja przyk÷adowego systemu Hammersteina
Symulowano nastepuj
¾ acy
¾ system Hammersteina:
Á(uk )
c
°0
!i
=
=
=
=
(uk ; u2k ; sin uk )T
(2; 1; ¡20)T
1; ° 1 = ¡1; ° 2 = 1
2¡i ; i = 1; 2; :::
W eksperymencie przyjeto
¾ uk ~U[¡10; 10] oraz "k ~U [¡1; 1]. Na rysunkach 3.3 i 3.4 przedstawiono rezultaty badań eksperymentalnych nad algorytmem identy…kacji 2E takiego systemu.
Ilustruja¾ one kolejno w÷asność zgodności estymatora dla rosnacych
wartości M i pokazuja¾
¾
uzyskane rozwiazania
dla N0 = 4 i M = 100 oraz dla N0 = 7 i M = 500 pomiarów na obu
¾
1
2
stopniach. Uz· yto jadra
Gaussa o równaniu K(x) = e¡x z parametrem h(M ) = M ¡ 5 .
¾
30
ERR
24
18
N0=4
|| cN0,M - c ||2
ERR(M)=---------------100%
|| c ||2
12
6
0
100
200
300
400
M
500
Rysunek 3.3 Zagregowany b÷ad
wektora parametrów c w funkcji liczby pomiarów
¾ wzgledny
¾
M na 1. etapie algorytmu.
60
y
200
M=100
N0=4
u ~ U(-10,10)
ε ~ U(-1,1)
160
120
µ (u)
80
40
0
-40
T
ϕ (u)*c4,100
-80
obserwacje
-120
-10
-8
-6
-4
-2
0
2
4
6
8
u
10
y
200
M=500
N0=7
u ~ U(-10,10)
ε ~ U(-1,1)
160
120
µ
(u)
80
40
0
-40
T
ϕ (u)*c7,500
-80
obserwacje
-120
-10
-8
-6
-4
-2
0
2
4
6
8
u
10
Rysunek 3.4 Przyk÷adowe rozwiazanie
(postać uzyskanej charakterystyki nieliniowej) dla
¾
M = 100 i M = 500 pomiarów na 1. etapie algorytmu (N0 = 4 i N0 = 7).
3.5.2
Eksperyment 2 – Wp÷yw wariancji zak÷óceń na b÷ad
¾ identy…kcji za pomoca¾ algorytmu 2E
Eksperyment opisany w puncie 3.5.1 powtórzono dla róz· nych wariancji procesu f"k g
generujacego
zak÷ócenia, przyjmujac
¾
¾ kolejno var" = 1, 2 i 3. Wyliczano wartość zagregowanego b÷edu
cN0 ;M ¡ ck2 . W ekspery¾ estymacji parametrów o postaci AEE(M; var") = kb
mencie przyjeto
Wyniki
pokazano
na
rys.
3.5.
N
=
10.
¾
0
Zagregowany b÷ad
¾ estymacji rośnie w przybliz· eniu liniowo wraz ze wzrostem wariancji zak÷óceń.
61
3
2,5
2
A EE 1 , 5
1
0,5
3
0
100
300
500
1
va r ε
1000
M
Rysunek 3.5 Zalez·ność b÷edu
¾ identy…kacji za pomoca¾ algorytmu 2E od wariancji zak÷óceń.
3.5.3
Eksperyment 3 – Porównanie algorytmów 2E i 3E dla systemu Hammersteina
Poniewaz· system Hammersteina (wzory (3.1) i rys. 3.1) jest szczególnym przypadkiem systemu NARMAX (otrzymywanym gdy charakterystyka ´(y) w systemie NARMAX
jest liniowa, tj. ´(y) = dy – patrz Dodatek A.1), na przyk÷adzie tej struktury moz· liwe
jest porównanie opisanej tutaj metody 2E z algorytmem 3E zaprezentowanym dla systemu
NARMAX w rozdziale 2 – w zastosowaniu do identy…kacji nieliniowości ¹(u). Symulowano
dzia÷anie systemu NARMAX/Hammersteina z nadmiarowymi rzedami:
n = 10 i p = 10 (dla
¾
parametrów ° 0 = 1, ° 1¥10 = 0, ¸1 = 12 , ¸1¥10 = 0), tj. opisanego równaniem (por. wzory
(2.1), (2.3) i rys. 2.1)
1
yk = yk¡1 + ¹(uk ) + zk
2
(3.11)
przyjmujac
¾ nieliniowość ¹(u) = cu2 z parametrem c = 1, który jest przedmiotem identy…kacji. W eksperymencie przyjeto
¾ uk ~U [¡0:5; 0:5], zk = 12 zk¡1 + "k oraz "k ~U[¡0:1; 0:1].
W obu algorytmach do nieparametrycznej estymacji odpowiednich wielkości uz· yto jadra
¾
trójkatnego
o równaniu
¾
8
gdy x · ¡1
0
>
>
<
gdy x 2 (¡1; 0i
x+1
K(x) =
gdy x 2 (0; 1i
¡x + 1
>
>
:
gdy x > 1
0
62
Œrednie b³êdy kwadratowe estymacji
1000
800
600
400
200
0
0
20
40
60
80
100
120
Alg_2E
Alg_NK
Alg_3E
N
(a)
Wyniki eksperymentu
1,4
1,2
1,0
2
µ(υ)=υ2
y
0,8
0,6
0,4
0,2
0,0
-0,2
-1,2
(b)
-0,8
-0,4
0,0
0,4
0,8
1,2
Alg_2E
Alg_N
Alg_3E
u
Rysunek 3.6 Porównanie algorytmu 2E z algorytmem 3E.
Jakość estymacji wartości
parametru c oceniano wyliczajac
¾ średni empiryczny b÷ad
¾ kwadraP
(r)
2
dla
ró
z
nych
(R
oznacza
ilość
doświadczeń)
i przyjtowy ¢N0 ;M = R1 R
(b
c
¡
c)
M
·
r=1 N0 ;M
mujac
¾ N0 = 10. Badane metody porównano z klasycznym estymatorem najmniejszych
kwadratów (Alg_NK – wzór (2.7)). Wyniki identy…kacji otrzymane dla M = 100 porównano z jadrowym
algorytmem nieparametrycznym (Alg_N – prezentowany np. w pracy [28])
¾
nie wykorzystujacym
wiedzy wstepnej
o charakterystyce ¹(u) (Rys. 3.6b; linia punktowa).
¾
¾
Z porównań wynikaja¾ nastepuj
¾ ace
¾ wnioski:
– algorytm najmniejszych kwadratów nie jest zgodny (Rys. 3.6a);
– w identy…kacji nieliniowości systemów o strukturze Hammersteina najlepsze rezultaty
uzyskuje sie¾ stosujac
¾ algorytm dla nich specjalizowany, tzn. 2E (Rys. 3.6a), zgodnie z
oczekiwaniem;
– efektem zastosowania drugiego etapu algorytmu 2E (wykorzystania wiedzy parametrycznej)
jest wyg÷adzenie nieparametrycznego estymatora charakterystyki nieliniowej (Rys. 3.6b);
– zaleta¾ algorytmu 3E (w porównaniu do 2E) jest szerszy zakres stosowalności (systemy
NARMAX) oraz moz· liwość estymowania nie tylko parametrów nieliniowości, ale takz· e odpowiedzi
impulsowych podsystemów dynamicznych (moz· na go np. wykorzystać do identy…kacji systemów Hammersteina w przypadku jednoczesnej konieczności identy…kacji jego liniowej cześci
¾
dynamicznej).
3.6
63
Podsumowanie
W rozdziale zaproponowano dwu-etapowy (2E) parametryczno-nieparametryczny algorytm identy…kacji parametrów charakterystyki nieliniowej w systemie Hammersteina. Udowod2
niono zbiez· ność estymatora z szybkościa¾ O(M ¡ 5 ) wed÷ug prawdopodobieństwa do prawdziwych wartości parametrów identy…kowanej charakterystyki nieliniowej. Algorytm jest odporny
na skorelowanie zak÷óceń i ÷atwy w implementacji komputerowej (estymator jadrowy
+ proce¾
dura najmniejszych kwadratow). Wynikiem dzia÷ania algorytmu 2E w identy…kacji systemu
Hammersteina sa¾ (jedynie) oszacowania parametrów podsystemu statycznego. Oszacowanie
charakterystyki nieliniowej otrzymuje sie¾ w postaci zamknietego
wzoru. Jest to konsek¾
wencja¾ przyjecia
¾ parametrycznej wiedzy o systemie. Zakres stosowalności algorytmu 2E nie
ogranicza sie¾ jednak do identy…kacji systemów Hammersteina z charakterystykami nieliniowymi o postaci wielomianowej jak mia÷o to miejsce w pracach Billings’a i Fakhouri’ego
([3]–[9]), zak÷ada sie¾ tylko dwukrotna¾ róz· niczkowalność estymowanej funkcji.
W przypadku konieczości jednoczesnej estymacji elementów odpowiedzi impulsowej podsystemu liniowego moz· na zastosować algorytm 3E opisany w rozdziale 2, lub metody korelacyjne
(patrz np. [5],[33]).
Metodologia zastosowana w algorytmie 2E polegajaca
¾ na nieparametrycznej estymacji
wartości niedostepnego
sygna÷u, a nastepnie
wykorzystaniu ich w metodzie najmniejszych
¾
¾
kwadratów moz· e być w identyczny sposób przeniesiona na problem identy…kacji systemów
Wienera z odwracalna¾ charakterystyka¾ nieliniowa¾ (patrz np. [32]). Nalez· y sie¾ jednak liczyć
1
z wolniejsza¾ (O(M ¡ 3 )) zbiez· nościa¾ uzyskanego w ten sposób estymatora.
Rozdzia÷ 4
Identy…kacja systemów nieliniowych
przy skorelowanym sygnale
wejściowym (algorytm 2ESW)
W tym rozdziale zostanie skonstruowany zgodny estymator parametrów dla pewnej
klasy systemów nieliniowych o z÷oz· onej strukturze pobudzanych skorelowanym sygna÷em
wejściowym. Jak wiadomo – estymatory oparte na metodzie najmniejszych kwadratów (LS)
uz· yte do estymacji parametrów systemów z÷oz· onych sa¾ generalnie obcia¾z· one, nawet asymptotycznie ([46], [106]). Ich róz· ne mody…kacje spotykane w literaturze (patrz [77], [102],
[103], [105]) maja¾ na celu redukcje¾ obcia¾z· enia spowodowana¾ skorelowaniem procesu zak÷ócajacego,
zaś problem skorelowanego wejścia, pomimo wystepowania
w praktyce nie by÷ do
¾
¾
tej pory szczegó÷owo rozpatrywany. Przyczyna¾ skorelowania procesu wejściowego w systemie z÷oz· onym (o strukturze blokowej) moz· e być wystepowanie
interakcji i stad
¾
¾ pobudzanie
pewnych elementów systemu sygna÷em wyjściowym innych (liniowych) elementów dynamicznych wystepuj
w systemie. Badania rozpoczeto
¾ acych
¾
¾ od analizy klasycznego estymatora najmniejszych kwadratów i zwrócono uwage¾ na przyczyne¾ jego obcia¾z· enia w przypadku
skorelowanego sygna÷u wejściowego. W celu zredukowania wspomnianego obcia¾z· enia zaproponowano algorytm oparty na technice zmiennych instrumentalnych. Do wspomagania
procesu generacji instrumentów wykorzystuje sie¾ wyniki modelowania budowy korelacyjnej
wejścia. Problem ten w odniesieniu do klasy systemów otwartych zawierajacej
¾ m.in. takie
struktury jak nieliniowy system statyczny, system Hammersteina i system równoleg÷y (patrz
punkt 4.1.1) rozwiazano
dla dwóch szczególnych przypadków: 1) gdy dostepny
dla pomi¾
¾
arów jest dodatkowy sygna÷ (np. identy…kowany system jest pobudzany przez wyjście …ltru
liniowego pobudzanego dostepnym
dla pomiarów bia÷ym szumem); 2) kiedy wejście jest pro¾
cesem AR o znanym rzedzie
n (tzn. posiadamy parametryczna¾ wiedze¾ a priori o budowie
¾
korelacyjnej wejścia systemu).
4.1
Rozpatrujemy klase¾ systemów nieliniowych (Rys. 4.1), których opis moz· na sprowadzić
do równania (4.1) i które spe÷niaja¾ za÷oz· enia 4.1-4.5 podane niz· ej (por. [92] i [109]).
64
65
ALGORYTM 2ESW - SKORELOWANE WEJŚCIE
ε
ξ
xk
k
(x k − 1 , x k − 2 ,...)
k
{ω i }i = 0
∞
zk
F (x k )
yk
Rysunek 4.1 Identy…kowany system nieliniowy.
yk = F (xk ) + » k (xk¡1 ; xk¡2 ; :::) + zk
(4.1)
gdzie F (x) jest identy…kowana¾ nieliniowościa,¾ » k = » k (xk¡1 ; xk¡2 ; :::) traktujemy jako ”zak÷ócenie” pochodzace
zak÷ócenie pomiarowe.
¾ od systemu, a fzk g stanowi zewnetrzne
¾
Dla podkreślenia faktu skorelowania procesu wejściowego, tj. jego odmienności w stosunku
do za÷oz· enia 1.3 na str. 30, w rozdziale tym wyjatkowo
oznacza sie¾ go symbolem fxk g. O
¾
systemie (4.1) zak÷adamy, z· e:
Za÷oz· enie 4.1 Wejście systemu jest pobudzane stacjonarnym, skorelowanym procesem fxk g,
który moz·e być interpretowany jako wyjście asymptotycznie stabilnego …ltru liniowego
xk = §1
i=0 gi uk¡i
g0 6= 0 i §1
i=0 jgi j < 1 (elementy odpowiedzi impulsowej fgi g sa¾ nieznane) w stanie ustalonym.
Losowy sygna÷ fuk g jest typu iid oraz
Euk = 0
ponadto juk j < umax < 1 (przypadek ograniczonego wejścia).
Za÷oz· enie 4.2 Identy…kowana nieliniowość ma postać wielomianowa¾ o znanym stopniu W
F (x) =
W
X
pw xw
(4.2)
w=0
gdzie pw (w = 0; :::; W ) sa¾ nieznanymi parametrami.
Za÷oz· enie 4.3 ”Zak÷ócenie systemowe” f» k gk2Z moz·na przedstawić w postaci
»k =
1
X
¸i ³(xk¡i )
(4.3)
i=1
gdzie ³(x) jest nieznana,¾ ograniczona¾ funkcja:¾
j³(x)j 6 M³ < 1
(4.4)
taka¾ z·e E³(x1 ) = 0. Sekwencja f¸i g jest nieznana¾ odpowiedzia¾ impulsowa¾ asymptotycznie
stabilnego (§1
i=1 j¸i j < 1) …ltru liniowego.
66
Za÷oz· enie 4.4 Zak÷ócenie pomiarowe fzk gk2Z stanowi wyjście (w stanie ustalonym) niez1
nanego …ltru liniowego z odpowiedzia¾ impulsowa¾ {! i g1
i=0 , gdzie §i=0 j! i j < 1, pobudzanego
przez ograniczony, stacjonarny bia÷y szum f"k g (j"k j < "MAX ) o zerowej wartości średniej,
E"k = 0 (por. za÷oz·enie 1.4 na str. 30).
Za÷oz· enie 4.5 Procesy fuk g i f"k g sa¾ wzajemnie niezalez·ne.
4.1.1
Przyk÷adowe struktury
Istnieje wiele przyk÷adów waz· nych nieliniowych systemów blokowo-zorientowanych dajacych
¾
sie¾ opisać w ten sposób (np. nieliniowy element statyczny (Rys. 4.2), system Hammersteina
(Rys. 1.3), system równoleg÷y (Rys. 4.3), system równoleg÷o-szeregowy (Rys. 4.4) – patrz
tez· [92]).
zk
xk
µ(
yk
)
Rysunek 4.2 System statyczny.
{γ i }i = 0
∞
xk
µ(
zk
yk
)
Rysunek 4.3 System równoleg÷y.
κ
xk
( )
µ(
{λ i }i = 0
∞
{γ i }i = 0
)
∞
zk
yk
Rysunek 4.4 System równoleg÷o-szeregowy.
Dla tych systemów nieliniowość F (x) w równaniu (4.1) jest w ogólności skalowana¾ i przesuniet
¾ a¾ wersja¾ prawdziwej charakterystyki nieliniowej systemu ¹(x):
F (x) = c¹(x) + s
(4.5)
67
gdzie c i s oznaczaja¾ sta÷e zalez· ne od konkretnej struktury systemu (patrz [92]). Na przyk÷ad
dla podstawowego dla nas systemu Hammersteina (wzór (3.1) i rys. 3.1) otrzymujemy
yk =
1
X
° i ¹ (xk¡i ) + zk = ° 0 ¹ (xk ) + E¹ (x1 )
i=0
1
X
°i +
i=1
1
X
i=1
° i [¹ (xk¡i ) ¡ E¹ (x1 )] + zk ;
co daje
c = °0
s = E¹ (x1 )
1
X
°i
i=1
³(x) = ¹ (x) ¡ E¹ (x1 )
Biorac
¾ pod uwage¾ wzory (4.1) i (4.2), zde…niujmy uogólniony wektor wejść
Á(x) , (x1 ; :::; xW ; 1)T
(4.6)
p , (p1 ; :::; pW ; p0 )T
(4.7)
dk , zk + » k (xk¡1 ; xk¡2 ; :::)
(4.8)
wektor parametrów
i ca÷kowite uogólnione zak÷ócenie
Przyjmujac
¾ powyz· sze oznaczenia, ze wzorów (4.1) i (4.2) otrzymujemy
yk = ÁT (xk )p + dk
Oznaczajac
¾ standardowo
YN = (y1 ; :::; yN )T
©N = (Á(x1 ); :::; Á(xN ))T
DN = (d1; :::; dN )T
(4.9)
(4.10)
(4.11)
gdzie f(xk ; yk ) ; k = 1; :::; Ng jest zbiorem pomiarów wejść i wyjść ca÷ego systemu, uzyskujemy nastepuj
¾ ace
¾ równanie pomiarów korespondujace
¾ z (4.1) i (4.2)
YN = ©N p + DN
(4.12)
Zauwaz· my, z· e na mocy za÷oz· enia 4.3 mamy E» k (xk¡1 ; xk¡2 ; :::) = 0, zaś na mocy za÷oz· enia
4.4 jest Ezk = 0, co daje
Edk = 0, dla k = 1; 2; :::; N
(4.13)
Celem identy…kacji jest estymacja prawdziwych wartości parametrów systemu pw (w =
0; 1; :::; W ) w opisie (4.2), przy uz· yciu zbioru pomiarów wejść i wyjść systemu f(xk ; yk )gN
k=1
uzyskanego w eksperymencie.
68
4.2
Algorytm najmniejszych kwadratów i jego w÷asności przy skorelowanym sygnale wejściowym
Mnoz· ac
¾ lewostronnie równanie (4.12) przez ©TN otrzymujemy
©TN YN = ©TN ©N p + ©TN DN
(4.14)
a stad
¾
p=
µ
1 T
© ©N
N N
¶¡1
1 T
© YN ¡
N N
µ
1 T
© ©N
N N
¶¡1
1 T
© DN
N N
Na mocy (4.12), standardowy estymator najmniejszych kwadratów wektora parametrów p i
jego b÷ad
¾ maja¾ postać (por. np. wzory (2.6), (2.7) i (2.14) w rozdziale 2)
(LS)
pbN
¢(LS)
N
(LS)
=
=
µ
µ
1 T
© ©N
N N
1 T
© ©N
N N
¶¡1
¶¡1
1 T
© YN
N N
(4.15)
1 T
© DN
N N
(4.16)
(LS)
(LS)
Poniewaz· pbN = p + ¢N , kluczowa¾ kwestia¾ jest zachowanie sie¾ b÷edu
¾ ¢N przy N ! 1.
Na mocy przyjetych
za÷o
z
eń,
zak÷ócenia
oraz
elementy
wektora
Á(xkP
dk
) sa¾ ograniczone,
¾
·
P1
w
w
tj. jdk j P
< dmax < 1, jxk j < xmax < 1, gdzie dmax = i=0 j! i j umax + 1
i=1 j¸i j M³ oraz
1
xmax = i=0 jgi j umax (patrz za÷oz· enia 4.1, 4.3 i 4.4), stad
¾
jEdk j < 1,
jExw
k j < 1,
vardk < 1
varxw
k < 1
(4.17)
dla kaz· dego w = 0; 1; :::; W . Maja¾ one równiez· w szczególności skończone momenty czwartego
rzedu
¾
¯ 4w ¯
¯ 4¯
¯Exk ¯ < 1
¯Edk ¯ < 1,
(4.18)
co bedzie
zasadnicza¾ w÷asnościa¾ w dalszych rozwaz· aniach. Na mocy za÷oz· enia 4.1 xk i xk+¿
¾
staja¾ sie¾ asymptotycznie (przy j¿ j ! 1) niezalez· ne, a wiec
¾ funkcja autokowariancji procesu
w
fxk g dla kaz· dego w = 0; 1; :::; W posiada w÷asność
w
w
w
rxw (¿ ) = Exw
k xk+¿ ¡ Exk Exk+¿ ! 0,
gdy j¿ j ! 1
(4.19)
Wprost z (4.8) oraz za÷oz· eń 4.1, 4.3 i 4.4 wynika tez· , z· e
rd (¿ ) ! 0,
gdy j¿ j ! 1
(4.20)
Korzystajac
¾ z w÷asności (4.17) i (4.19) na podstawie twierdzenia B.4 (str. 109), wnioskujemy,
z· e
2
6
6
!6
6
4
N
1 T
1 X
© ©N =
Á(xk )Á(xk )T !
N N
N k=1
3
m2
m3
::::: mW +1 m1
m3
m4
::::: mW +2 m2 7
7
T
:::::
::::: ::::: :::::
: 7
7 = EÁ(x1 )Á(x1 )
mW +1 mW +2 ::::: m2W mW 5
m1
m2
::::: mW
1
(4.21)
69
z prawdopodobieństwem 1 gdy N ! 1, gdzie mw , Exw . Natomiast na podstawie w÷asności
(4.18), (4.19) i (4.20), korzystajac
¾ z twierdzenia B.5 (str. 109) otrzymujemy
2
3
Exd
6 Ex2 d 7
N
6
7
1 T
1 X
7 = EÁ(x1 )d1
::::
(4.22)
©N DN =
Á(xk )dk ! 6
7
6
N
N k=1
W
4 Ex d 5
0
z prawdopodobieństwem 1, gdy N ! 1. Korzystajac
¾ dalej z w÷asności, z· e procesy ARMA sa¾
sygna÷ami silnie ustawicznie pobudzajacymi
dowolnych
skończonych rzedów
(patrz de…nicja
¾
¾
B.6 (str. 108) oraz [103], str. 156, w÷asność 3, lub lemat B.6 (str. 108) oraz za÷oz· enie
4.1) wnioskujemy, z· e dla N ! 1 graniczna macierz we wzorze (4.21) jest nieosobliwa,
a zatem estymator najmniejszych kwadratów jest asymptotycznie dobrze określony. Jez· eli
fxk g jest w szczególności bia÷ym szumem, wtedy xk i dk sa¾ statystycznie niezalez· ne i wówczas
Exw
k dk = 0 bowiem Edk = 0 (patrz wzór (4.13)). Jednak w ogólnym przypadku, gdy xk jest
skorelowane (patrz za÷oz· enie 4.1), metoda najmniejszych kwadratów daje asymptotycznie
obcia¾z· ony estymator
¡
¢¡1
= p + EÁ(x1 )Á(x1 )T
EÁ(x1 )d1
pb(LS)
1
ze wzgledu
w wektorze Á(xk )); a wartościa¾
xk (wystepuj
¾ na skorelowanie pomiedzy
¾
¾ acym
¾
dk = zk + » k (xk¡1 ; xk¡2 ; :::):
4.3
Algorytm 2ESW (dwu-etapowy, dla systemów nieliniowych ze skorelowanym wejściem)
Za÷óz· my, z· e posiadamy dodatkowa¾ macierz ªN = (Ã 1 ; :::; Ã N )T (macierz zmiennych
instrumentalnych), gdzie Ã k , (Ã k;1 ; :::; Ã k;W ; 1)T ; która spe÷nia nastepuj
¾ ace
¾ warunki (dla
przejrzystości przyjmujemy oznaczenie Ák , Á(xk )):
(C1) istnieje P limN!1( N1 ªTN ©N ) = EÃ k ÁTk i jest macierza¾ nieosobliwa¾ detfEÃ k ÁTk g 6= 0
(por. (1.35)–(1.37) w rozdziale 1)
(C2) P limN !1 ( N1 ªTN DN ) = EÃ k dk oraz EÃ k dk = 0
i rozwaz· my estymator IV postaci
(IV )
pbN
=
µ
1 T
ª ©N
N N
¶¡1
1 T
ª YN
N N
(4.23)
Wstawiajac
¾ równanie (4.12) do (4.23) w prosty sposób otrzymujemy odpowiadajacy
¾ temu
estymatorowi b÷ad
¾ estymacji
µ
¶¡1
1 T
1 T
(IV )
(IV )
(4.24)
ªN ©N
ª DN
¢N = pbN ¡ p =
N
N N
Korzystajac
¾ z twierdzenia S÷uckiego (np. [13], patrz tez· . Dodatek B.5) mamy
µ
µ
¶¡1
¶
1 T
1 T
(IV )
P lim ¢N = P lim
P lim
ª ©N
ª DN
N N
N N
70
Z w÷asności
¡ 1 T ciag÷ości
¡ 1 odwracania
¢¾¡1 ¡ operacji
¢¢¡1 macierzy wnioskujemy, iz· pierwszy czynnik
T
oraz na podstawie (C1) jest on dobrze określony.
P lim N ªN ©N
= P lim N ªN ©N
Korzystajac
¾ z w÷asności (C2) mamy
(IV )
P lim ¢N
(4.25)
=0
Zatem przy spe÷nieniu warunków (C1);(C2) estymator IV dany wzorem (4.23) jest zbiez· ny
(IV )
pbN ! p wed÷ug prawdopodobieństwa gdy N ! 1, niezalez· nie od budowy korelacyjnej
wejścia.
Powstaje praktyczny problem, jak uzyskać instrumenty, które spe÷nia÷yby postulaty
(C1);(C2), tj. by÷yby asymptotycznie skorelowane z wejściami xk (patrz (C1)) i jednocześnie asymptotycznie nieskorelowane z zak÷óceniami dk (patrz (C2)), które zalez· a¾ od
wejść w chwilach poprzednich. Przyk÷adowe sposoby generacji macierzy ªN zapewniajace
¾
spe÷nienie warunków (C1) i (C2) dla kilku waz· nych z praktycznego punktu widzenia przypadków szczególnych padane zostana¾ w punkcie 4.3.1. Problemem otwartym pozostaje analiza szybkości zbiez· ności w (4.25), i opracowanie takich metod generacji macierzy ªN ; które
zapewnia¾ najlepsza¾ efektywność estymatora (4.23).
4.3.1
Metody generacji macierzy zmiennych instrumentalnych ªN
W niniejszym punkcie rozpatruje sie¾ dwie sytuacje szczególne. W pierwszym przypadku
zak÷ada sie,
¾ z· e wejście systemu jest pobudzane przez wyjście nieznanego …ltru liniowego, o
bia÷ym sygnale wejściowym, którego wartości moz· na mierzyć (por. za÷oz· enie 4.1). W drugim
przypadku zak÷ada sie¾ jedynie parametryczna¾ wiedze¾ o strukturze korelacyjnej wejścia systemu – AR(n). W obu przypadkach jest oczywiście moz· liwy pomiar wartości wejścia i wyjścia
systemu, który identy…kujemy.
4.3.2
Przypadek 1 – dodatkowe moz· liwości pomiarowe
Rozpatruje sie¾ sytuacje¾ przedstawiona¾ na rys. 4.5, gdy sygna÷ fuk g jest dostepny
dla
¾
1
pomiarów, ale elementy odpowiedzi impulsowej fgi gi=0 (por. za÷oz· enie 4.1) liniowego …ltru
formujacego
wejście fxk g nie sa¾ znane.
¾
uk
Filtr liniowy
(asymptotycznie stabilny)
xk
{ g i }i∞= 0
Identyfikowany
nieliniowy system
dynamiczny
yk
Rysunek 4.5 Wejście systemu jako wyjście …ltru liniowego.
Zde…niujmy nastepuj
¾ ace
¾ funkcje regresji
Rw (u) = E fxw
k juk = ug ,
w = 1; 2; :::; W
i zapiszmy
xw
k = Rw (uk ) + ± w;k
(4.26)
71
gdzie
± w;k , xw
k ¡ Rw (uk )
(1)
Twierdzenie 4.1 Macierz zmiennych instrumentalnych ªN generowana wed÷ug przepisu
(1)
(1)
(1)
(1)
ªN = (Ã 1 ; Ã 2 ; :::; Ã N )T
gdzie
(1)
Ã k = (R1 (uk ); R2 (uk ); :::; RW (uk ); 1)T
(4.27)
spe÷nia warunki (C1) i (C2).
´¡1
³
(IV )(1)
(1)T
1 (1)T
Estymator pbN
= N1 ªN ©N
ª YN jest wiec
¾ na podstawie twierdzenia 4.1
N N
zgodnym estymatorem wektora parametrów p systemu. Jego zastosowanie wymaga jednak znajomości funkcji regresji Rw (u) zade…niowanych wzorem (4.26). Przy pe÷nej wiedzy
o rozk÷adzie sygna÷u wejściowego fuk g i odpowiedzi impulsowej fgi g1
i=0 liniowego …ltru formujacego
moz· liwe by÷oby analityczne wyznaczenie funkcji Rw (u). W naszym przypadku
¾
moz· na zastosować technike¾ plug-in (”estymator w estymatorze”) szacujac
¾ najpierw (na podstawie M pomiarów f(ui ; xi )gM
)
wartości
funkcji
(w
) w poszczególnych
R
(u)
=
1;
2;
:::;
W
w
i=1
punktach uk (k = 1; 2; :::; N ). W tym celu moz· na wykorzystać np. estymator jadrowy
¾
³
³
´´
PM
u¡ui
1
w
i=1 xi K h(M)
M
bw;M (u) =
´
³
(4.28)
R
PM
u¡ui
1
K
i=1
M
h(M)
gdzie K() jest funkcja¾ jadra,
a h(M ) – parametrem wyg÷adzania spe÷niajacym
warunki (3.10).
¾
¾
´¡1
³
(IV )(1)
(1)T
(1)T
1 b
b
Zbiez· ność estymatora pb
= 1ª
©N
ª
YN (gdzie
N;M
N
N;M
N
N;M
b (1)
Ã
k;M
b1;M (uk ); R
b2;M (uk ); :::; R
bW;M (uk ); 1)T ) do wektora prawdziwych parametrów p sys= (R
temu wed÷ug prawdopodobieństwa, gdy M ! 1 i N ! 1, moz· na próbować udowonić
postepuj
¾ ac
¾ podobnie jak w przypadku twierdzenia 2.7 ze str. 50.
Przyjmujemy, z· e zachodzi dodatkowy warunek:
¡
¢T
(2)
T
2
W
Za÷oz· enie 4.6 detfEÃ (2)
k Ák g 6= 0 dla Ã k = (¯uk ); (¯uk ) ; :::; (¯uk ) ; 1 , gdzie ¯ 6=0:
proces fxk g oraz od sygna÷u
Spe÷nienie za÷oz· enia 4.6 zalez· y od …ltru fgi g1
¾
i=0 formujacego
wejściowego fuk g. W ogólnym przypadku trudne jest wyznaczenie warunków bardziej el(2)
ementarnych, dotyczacych
z· e detfEÃ k ÁTk g 6= 0.
fgi g1
¾
¾
i=0 i wejścia fuk g gwarantujacych,
Moz· na podać jedynie pewne ogólne przes÷anki, np.:
1) gdy g0 6= 0 i gi = 0 dla i > 0 (przypadek bia÷ego wejścia fxk g) to warunek w za÷oz· eniu
4.6 wynika bezpośrednio z silnej ustawiczności pobudzania (dowolnych skończonych rzedów)
¾
procesu fuk g (typu iid);
2) gdy g0 = 0 to niezalez· nie od elementów fgi g1
· eniu 4.6 nie jest spe÷niony.
i=1 warunek w za÷oz
(2)
(2)
Na podstawie niezalez· ności pomiedzy
uk i xk otrzymujemy EÃ k ÁTk = EÃ k EÁTk i dalej
¾
(2)
detfEÃ k EÁTk g = 0;
3) przy duz· ej wiedzy wstepnej
wery…kacja za÷oz· enia 4.6 moz· e być moz· liwa w sposób anali¾
tyczny;
4) w bardziej skomplikowanej sytuacji wery…kacji za÷oz· enia moz· na dokonać empirycznie.
72
(2)
Twierdzenie 4.2 Przy za÷oz·eniu 4.6 macierz zmiennych instrumentalnych ªN generowana
wed÷ug przepisu
(2)
(2)
(2)
(2)
ªN = (Ã 1 ; Ã 2 ; :::; Ã N )T
gdzie
¡
¢T
(2)
Ã k = (¯uk ); (¯uk )2 ; :::; (¯uk )W ; 1
(4.29)
spe÷nia warunki (C1) i (C2) dla ¯ 6=0.
Zatem przy pozytywnym zwery…kowaniu za÷oz· enia 4.6 sygna÷ fuk g moz· e być zastosowany
do generacji zmiennych instrumentalnych. Jest on skorelowany z fxk g poprzez …ltr liniowy
(Rys. 4.5), zaś dla ustalonego k – wartości uk i zak÷ócenia zastepczego
dk sa¾ wzajemnie
¾
niezalez· ne (patrz za÷oz· enia 4.3 i 4.5) oraz Edk = 0 (wzór (4.13)). Stad
¾ zachodzi postulat
(C2). Twierdzenia 4.1 i 4.2 moga¾ być przydatne jako przes÷anka do konstruowania algorytmów identy…kacji systemów zbudowanych z ÷ańcuchów kaskadowych po÷aczeń
systemów
¾
nieliniowych o strukturze blokowej. Odpowiedni przyk÷ad podany jest w punkcie 4.4.
4.3.3
Przypadek 2 – wejście typu AR(n)
W przeciwieństwie do przypadku 1 rozpatruje sie¾ sytuacje,
¾ w której sygna÷ fuk g na rys.
4.5 nie jest dostepny
dla pomiarów (Rys. 4.6). Niemoz· liwe jest zatem w szczególności
¾
zastosowanie estymatora jadrowego
danego wzorem (4.28).
¾
xk
Identyfikowany
nieliniowy system
dynamiczny
yk
Rysunek 4.6 Przypadek bez znajomości wartości wejść …ltru kolorujacego
sygna÷ wejściowy.
¾
Teraz zak÷ada sie¾ jednak dodatkowo, z· e wejście fxk g jest stacjonarnym procesem autoregresji
rzedu
¾ n; tzn. z· e moz· na je przedstawić w postaci
xk = ®1 xk¡1 + ®2 xk¡2 + ::: + ®n xk¡n + uk
(4.30)
gdzie fuk g jest jak w za÷oz· eniu 4.1, tj. typu iid oraz Euk = 0, a wspó÷czynniki ®1 ; :::; ®n sa¾
nieznane. De…niujac
¾ nastepuj
¾ ace
¾ wektory i macierze
xk
®
XM
XM
UM
=
=
=
=
=
(xk¡1 ; xk¡2 ; :::; xk¡n )T
(®1 ; ®2 ; :::; ®n )T
(x1 ; x2 ; :::; xM )T
(x1 ; x2 ; :::; xM )T
(u1 ; u2 ; :::; uM )T
(4.31)
równanie (4.30) moz· na zapisać w postaci
xk = xk T ® + uk
(4.32)
73
skad
¾ dla k = 1; :::; M otrzymuje sie¾
XM = XM ® + UM
Przypominajac,
¾ z· e dla ustalonego k wartość uk jest statystycznie niezalez· na od sk÷adowych
wektora xk i jednocześnie skorelowana z wartościa¾ xk oraz Euk = 0 nasuwa sie¾ pomys÷, aby na
dla pomiaru wartości sygpodstawie pomiarów wartości wejścia fxk g estymować niedostepne
¾
na÷u fuk g poprzez estymacje¾ wektora parametrów ® metoda¾ najmniejszych kwadratów (por.
wzór (4.32)), a nastepnie
uzyskane oszacowania uz· yć do generacji Ãk na mocy twierdzenia
¾
4.2. Prowadzi to do nastepuj
¾ acej
¾ dwuetapowej procedury generacji zmiennych instrumentalnych.
Etap 1. Na bazie M + n pomiarów sygna÷u wejściowego xk ; wyestymować wektor ® (patrz
(4.30), (4.31) i (4.32)) metoda¾ najmniejszych kwadratów
³
´¡1
T
T
(4.33)
®
b M = XM XM
XM XM
Etap 2. Wygenerować zmienne instrumentalne wed÷ug przepisu analogicznego do wzoru
(4.29), tj.
¡
¢T
b (2) = (¯b
Ã
uk;M ); (¯b
uk;M )2 ; :::; (¯b
uk;M )W ; 1
k;M
gdzie
(4.34)
u
bk;M = xk ¡ xk T ®
bM
(4.35)
b (2) ; Ã
b (2) ; :::; Ã
b (2) )T .
b (2) = (Ã
(dla k = 1; :::; N) i utworzyć macierz ª
1;M
2;M
N;M
N;M
Zachodzi nastepuj
¾ ace
¾ twierdzenie
Twierdzenie 4.3 Przy za÷oz·eniu 4.6 estymator
µ
¶¡1
1 b (2)T
1 b (2)T
(IV )(2)
ªN;M ©N
ª
YN
pbN;M =
N
N N;M
(4.36)
jest przy M ! 1 i N ! 1 zbiez·ny wed÷ug prawdopodobieństwa do prawdziwego wektora
parametrów p systemu.
(schemat dowodu – patrz Dodatek A.10)
4.4
Zastosowanie algorytmu 2ESW do identy…kacji systemów kaskadowych (Hammersteina-Hammersteina)
Rozpatrzmy po÷aczenie
dwóch systemów Hammersteina (Rys. 4.7)
¾
z1, k
u1, k
µ 1(
)
w1,k
{γ 1,i }in 0
=
v1, k
z 2,k
y1, k = x k
µ2(
Rysunek 4.7 System Hammersteina-Hammersteina.
)
w2 , k
{γ 2,i }in 0
=
v2,k
y 2 ,k
74
pobudzanego sygna÷em fu1;k g typu iid, gdzie na podstawie zbioru trójek pomiarów {(u1;k ; xk ; y2;k )}N
k=1
nalez· y wyznaczyć parametry charakterystyk nieliniowych ¹1 () i ¹2 () o postaciach danych
wzorem (4.2). Do estymacji nieliniowości ¹1 () moz· na wykorzystać np. algorytm 2E opisany
w rozdziale 3 (wzory (3.8) i (3.9)). Estymacja ¹2 () jest trudniejsza ze wzgledu
na sko¾
relowanie procesu fxk g. System z rys. 4.7 odpowiada przypadkowi z rys. 4.5, poniewaz· …ltr
f° 1;i gni=0 formujacy
¾ skorelowany proces wejściowy fxk g drugiego systemu Hammersteina jest
pobudzany procesem iid o postaci w1;k = ¹1 (u1;k ). Pozostaje jeszcze dodatkowe wymaganie,
aby proces fw1;k g (niedostepny
dla pomiarów) spe÷nia÷ warunki za÷oz· enia 4.1 (tzn. sfor¾
mu÷owane w odniesieniu do pobudzenia fuk g …ltru kolorujacego).
Moz· na wtedy próbować
¾
zastosować algorytm 2ESW dany wzorem (4.23) stosujac
¾ (na mocy twierdzenia 4.2) zmienne
instrumentalne (por. wzór 4.34)
(HH1 )
Ãk
¡
¢T
= (¯ w
b1;kM ); (¯ w
b1;kM )2 ; :::; (¯ w
b1;kM )W ; 1
gdzie ¯ 6= 0, a oszacowania w
b1;kM sygna÷u w1;k (k = 1; 2; :::; N) pochodza¾ z algorytmu 2E
zastosowanego dla pierwszego systemu Hammersteina. Wygodniej jest jednak generować
zmienne instrumentalne bezpośrednio na podstawie pomiarów wartości procesu wejściowego
fu1;k g
(HH2 )
Ãk
(HH2 )
Dowód spe÷nienia przez Ã k
do dowodu twierdzenia 4.2.
4.5
4.5.1
¡
¢T
= (¯u1;k ); (¯u1;k )2 ; :::; (¯u1;k )W ; 1
warunków (C1) i (C2) przy za÷oz· eniu 4.6 jest analogiczny
Eksperyment 1 – Algorytm najmniejszych kwadratów przy
skorelowanym wejściu
Symulowano dzia÷anie systemu Hammersteina z nastepuj
ustawieniami (por. wzory
¾ acymi
¾
(3.1) i (4.2)): W = 5, p0 = 0, pw = 1 (w = 1:::W ), ° i = 2¡i (i = 1; 2; :::). Dla
zilustrowania wad metody najmniejszych kwadratów, prezentujemy rezultaty eksperymentu
przeprowadzonego dla estymatora (4.15) zastosowanego do identy…kacji systemu w przyskorelowanym
padku pobudzenia bed
bia÷ym (typu iid – xk » U [¡2; 2]), a nastepnie
¾
¾ acego
¾
1
AR(1) (xk = 2 xk¡1 + uk , uk » U [¡1; 1]) sygna÷em. Zak÷ócenie zk generowano wed÷ug wzoru
1 1
zk = 12 zk¡1 + "k , gdzie f"k g oznacza sekwencje¾ iid, "k » U [¡ 10
; 10 ]. Obliczano nastepu¾
P
(LS)
(LS)
W
2
jacy
pw;N ¡ pw ) . Wyniki eksperymentu
¾ zagregowany b÷ad
¾ estymacji: AEEN = w=1 (b
przedstawia rys. 4.8.
75
AEE
90 N
80
70
wejœcie skorelowane
60
50
40
30
20
wejœcie typu iid
10
N
0
100
1000
10000
Rysunek 4.8 Rezultaty eksperymentów z metoda¾ najmniejszych kwadratów.
Jak widać, w sytuacjach praktycznych popularny estymator LS moz· e być bardzo nieefektywny.
4.5.2
Eksperyment 2 – Porównanie algorytmu 2ESW z algorytmem najmniejszych kwadratów
Powtórzono symulacje¾ systemu opisana¾ w punkcie 4.5.1 dla skorelowanego sygna÷u wejściowego, a nastepnie
porównano
¾
–algorytm najmniejszych kwadratów (4.15);
–algorytm 2ESW dla przypadku 1 (zmienne instrumentalne generowane wed÷ug wzoru
(4.29));
–algorytm 2ESW dla przypadku 2 (zmienne instrumentalne generowane wed÷ug wzoru (4.34)
oraz M = N).
Rezultaty zaprezentowano na rys. 4.9.
AEEN
180
160
140
2ESW-przypadek1
120
2ESW-przypadek2
100
LS
80
60
40
20
0
100
1000
10000
Rysunek 4.9 Porównanie metod zmiennych instrumentalnych z metoda¾ najmniejszych kwadratów.
76
Eksperyment pokazuje zbiez· ność zaproponowanego estymatora (2ESW) do prawdziwego
wektora parametrów systemu, a takz· e uz· yteczność zaproponowanych procedur generacji in(2)
b (2)
strumentów. B÷edy
¾ estymacji za pomoca¾ algorytmów 2ESW z macierzami ªN i ª
N;M
sa¾ porównywalne (róz· nica wynika jedynie z konieczności dodatkowej estymacji parametrów
b (2) ).
…ltru generujacego
skorelowane wejścia w przypadku ª
¾
N;M
4.5.3
Eksperyment 3 – Wp÷yw wielkości skorelowania wejścia na
b÷ad
¾ identy…kacji za pomoca¾ algorytmu 2ESW
W stosunku do symulacji opisanej w punkcie 4.5.1 zmieniono sposób generacji sygna÷u
wejściowego xk
xk = ®1 xk¡1 + uk , gdzie
· q
¸
q
uk ~U ¡ 3(1 ¡ ®21 ); 3(1 ¡ ®21 )
Zapewniono w ten sposób niezalez· ność wariancji sygna÷u fxk g od wartości wspó÷czynnika
autoregresji ®1 (tzn. zagwarantowano sta÷a¾ wartość wariancji varxk = 1). Wspó÷czynnik ®1
ustawiano na róz· ne wartości, kolejno 0, 14 ; 12 i 34 . Przyk÷adowo, ustawienie ®1 = 0 oznacza
p p
wejście typu iid, tj. xk = uk oraz uk ~U (¡ 3; 3). Dla kaz· dej wartości ®1 wyznaczano
PW
(IV )
(IV )
numerycznie zalez· ność b÷edu
pw;N ¡ pw )2 za pomoca¾ algo¾ identy…kacji AEEN = w=1 (b
rytmu 2ESW od ilości pomiarów (zmienne instrumentalne generowano wed÷ug wzoru (4.34)
przyjmujac
¾ M = N ). Na rys. 4.10 przedstawiono uzyskane wyniki.
180
160
140
120
AE E
100
80
60
40
0 ,7 5
0 ,5
20
0 ,2 5 w s p .
0
100
300
0
1000
3000
ilo ś ć p o m ia ró w
10000
a u to re g re s ji
w e jś c ia
Rysunek 4.10 Wp÷yw si÷y skorelowania procesu wejściowego na efektywność algorytmu 2ESW.
(IV )
Zaobserwowano niewielki wzrost b÷edu
skorelowaniu procesu wejś¾ AEEN przy rosnacym
¾
ciowego fxk g (zwiekszaniu
wartości wspó÷czynnika ®1 ) dla kaz· dego ustalonego N .
¾
4.6
77
Podsumowanie
Dla klasy nieliniowych systemów dynamicznych o ogólnym opisie (4.1)–(4.4) skonstruowano
zgodny (wed÷ug prawdopodobieństwa) estymator parametrów nieliniowej cześci
¾ statycznej
w przypadku skorelowanego sygna÷u wejściowego, wykorzystujacy
¾ technike¾ zmiennych instrumentlnych. Podano przyk÷adowe sposoby generacji odpowiednich macierzy zmiennych
instrumentalnych w pewnych szczególnych przypadkach. Oprócz odporności na skorelowanie
procesu wejściowego algorytm 2ESW jest takz· e odporny na skorelowanie zak÷óceń. Zaproponowana metoda jest prosta w implementacji komputerowej (estymator jadrowy
+ proce¾
dura najmniejszych kwadratów/zmiennych instrumentalnych).
Ograniczono sie¾ do nieliniowości o postaci wielomianowej. Otwartym problemem jest uogólnienie zaproponowanego podejścia na systemy zawierajace
¾ charakterystyki nie bed
¾ ace
¾ wielomianami. Uzyskane rezultaty moga¾ być przydatne do identy…kacji systemów o bardziej skomplikowanej strukturze, nie zawierajacych
sprze¾z· enia zwrotnego (np. o strukturze ”sandwich”
¾
lub strukturze kaskadowej, co omówiono na przyk÷adzie w punkcie 4.4).
Rozdzia÷ 5
Identy…kacja systemów Wienera
metoda¾ zmiennych instrumentalnych
(algorytm IVW)
5.1
Identy…kacja systemów Wienera (Rys. 5.1) jest problemem czesto
rozpatrywanym w
¾
literaturze, gdyz· znajduje szerokie zastosowanie w róz· nych dziedzinach nauki i techniki
[3][32][36][37][45][55]. W pracach [3],[8],[55] i [56], gdzie zaproponowano podejście parametryczne nie zaprezentowano analizy w÷asności asymptotycznych proponowanych algorytmów.
Okazuje sie,
¾ z· e klasyczny estymator najmniejszych kwadratów zastosowany do estymacji
parametrów nieliniowej charakterystyki w systemie Wienera jest w ogólności obcia¾z· ony.
Istnieja¾ równiez· nieparametryczne algorytmy identy…kacji systemów Wienera (patrz np.
artyku÷y [31], [32],[34],[38]). W pracach tych identy…kuje sie¾ funkcje¾ odwrotna¾ do nieliniowej
charakterystyki systemu. Dla prezentowanych algorytmów wykazano zbiez· ność punktowa¾ z
1
szybkościa¾ rzedu
¾ O(N ¡ 3 ) wed÷ug prawdopodobieństwa. W niniejszym rozdziale rozpatruje
sie¾ stosowalność metody zmiennych instrumentalnych do identy…kacji parametrów odwrotności nieliniowej charakterystyki w systemie o strukturze Wienera.
5.1.1
Badany system
System Wienera sk÷ada sie¾ z liniowego obiektu dynamicznego po÷aczonego
kaskadowo
¾
ze statyczna¾ nieliniowościa¾ (Rys. 5.1)
εk
{ω i }i = 0
∞
uk
{λ }
∞
j
zk x
k
j=0
Rysunek 5.1 System Wienera.
78
µ(
)
yk
ALGORYTM IVW IDENTYFIKACJI SYSTEMÓW WIENERA
79
i moz· na go opisać nastepuj
¾ aco
¾ (por. rys. 1.4 i wzory (1.5))
yk = ¹ (xk )
1
X
xk =
¸j uk¡j + zk
zk =
j=0
1
X
(5.1)
! i "k¡i
i=0
Oprócz za÷oz· eń ogólnych 1.1–1.6 (str. 30) przyjmujemy dodatkowo (por. [83]), z· e:
Za÷oz· enie 5.1 (por. [32]) Nieliniowość ¹() jest odwracalna, a ponadto jej funkcje¾ odwrotna¾
moz·na przedstawić w postaci parametrycznej
xk = ¹¡1 (yk ) =
S
X
ai fi (yk ) = ÁT (yk )a
(5.2)
i=1
gdzie f1 (); :::; fS () stanowia¾ uk÷ad znanych, liniowo niezalez·nych funkcji, spe÷niajacych
warunek
¾
(1.47) i takich, z·e (5.2) jest funkcja¾ odwracalna,¾ Á(yk ) = (f1 (yk ); f2 (yk ); :::; fS (yk ))T , zaś
a = (a1 ; :::; aS )T oznacza wektor nieznanych prawdziwych parametrów charakterystyki odwrotnej.
Za÷oz· enie 5.2 O procesie wejściowym fuk g zak÷adamy dodatkowo (patrz za÷oz·enie 1.3, str.
30), z·e Euk = 0.
Za÷oz· enie 5.3 Dla uproszczenia prezentacji przyjmujemy ¸0 = 1.
Za÷oz· enie 5.4 System jest asymptotycznie stabilny i pracuje w stanie ustalonym.
5.1.2
Zadanie identy…kacji
Zadanie identy…kacji polega na wyznaczeniu oszacowania b
aN = (b
a1;N ; :::; b
aS;N )T wektora
¡1
T
prawdziwych parametrów a = (a1 ; :::; aS ) charakterystyki odwrotnej ¹ () na podstawie
zbioru N pomiarów wejścia i wyjścia systemu f(uk ; yk )gN
k=1 uzyskanych w eksperymencie.
5.1.3
Komentarze do za÷oz· eń i przyk÷ady
Zauwaz· my, z· e przy za÷oz· eniu 5.1 – na podstawie wartości estymatora b
aN (wyniku identy…kacji) otrzymuje sie¾ w postaci zamknietego
wzoru jedynie oszacowanie charakterystyki
¾
odwrotnej
T
x
b(N) = ¹
b¡1
aN
N (y) = Á (y)b
(5.3)
gdzie Á(y) = (f1 (y); f2 (y); :::; fS (y))T
a nie oryginalnej nieliniowości ¹(x) w systemie Wienera. W ogólnym przypadku majac
¾ wektor b
aN nie moz· na wyznaczyć odpowiadajacej
¾ mu formu÷y analitycznej opisujacej
¾ oszacowanie
80
¹
b(), a jedyna¾ droga¾ (w przypadku takiej potrzeby) moz· e być numeryczne odwrócenie funkcji
równania
¹
b¡1
¾
N (y), tj. rozwiazanie
ÁT (b
y )b
aN = x
wzgledem
yb (por. [34]). W pewnych sytuacjach szczególnych (tj. dla pewnych wartości S i
¾
pewnych postaci funkcji f1 (); :::; fS () we wzorze (5.2)) moz· liwe jest jednak stosunkowo ÷atwe
uzyskanie z zalez· ności (5.2) oryginalnej charakterystyki y = ¹(x) w postaci analitycznej i
w konsekwencji wyznaczenie analitycznego wzoru określajacego
¹
bN (x): Celem poniz· szych
¾
przyk÷adów jest pokazanie, z· e zde…niowana w za÷oz· eniu 5.1 klasa nieliniowości jest niepusta.
Przyk÷ad 1 – jednosk÷adnikowe odwracalne charakterystyki ¹(x)
p
Niech przyk÷adowo y = ¹(x) = b1 3 x. Wtedy odwrotność nieliniowości ¹(x) ma postać
(por. (5.2))
x = ¹¡1 (y) = a1 y 3
(5.4)
gdzie a1 = b13 . Za÷oz· enie 5.1 zachodzi dla S = 1 oraz f1 (y) = y 3 . Na podstawie wzoru (5.4)
1
÷atwo jest uzyskać oryginalna¾ charakterystyke¾ ¹(x).
Przyk÷ad 2 – sklejane charakterystyki ¹(x)
Niech nieliniowość ¹(x) systemu bedzie
postaci
¾
½
b1 x dla x · 0
y = ¹(x) =
b2 x2 dla x > 0
(5.5)
gdzie b1 ,b2 > 0. Charakterystyka ta jest odwracalna i jej odwrotność moz· na przedstawić
nastepuj
¾ aco
¾
½
a1 y dla y · 0
¡1
p
(5.6)
x = ¹ (y) =
a2 y dla y > 0
gdzie a1 = b11 , a2 = p1b2 . Za÷oz· enie 5.1 jest zatem spe÷nione (por. (5.2)) dla S = 2 oraz
½
½
y dla y · 0
0 dla y · 0
p
, f2 (y) =
f1 (y) =
: Na podstawie (5.6) ÷atwo jest tez·
0 dla y > 0
y dla y > 0
odtworzyć nieliniowa¾ charakterystyke¾ (5.5).
Przypadkiem szczególnym funkcji sklejanych sa¾ ściśle monotoniczne funkcje odcinkami liniowe (krzywe ÷amane) (por. eksperyment w punkcie 5.5.3).
5.2
5.2.1
Algorytm identy…kacji systemu Wienera
Analiza problemu
Korzystajac
¾ z za÷oz· enia 5.1 równanie (5.1) moz· na przedstawić w postaci
xk = ¹¡1 (yk ) =
1
X
j=0
¸j uk¡j + zk
81
a stad,
¾ na podstawie za÷oz· enia 5.3, otrzymujemy
¡1
uk = ¹ (yk ) ¡
1
X
j=1
¸j uk¡j ¡ zk
Traktujac
¾ wartość
dk = ¡
1
X
j=1
(5.7)
¸j uk¡j ¡ zk
jako ”zak÷ócenie”, zauwaz· amy, z· e postawione wcześniej zadanie identy…kacji (patrz punkt
5.1.2) jest równowaz· ne zadaniu zastepczemu
polegajacemu
na identy…kacji nieliniowego
¾
¾
obiektu statycznego o wejściu yk ; wyjściu uk oraz nieliniowej charakterystyce ¹¡1 (yk ) danej
wzorem (5.2) (patrz równanie (5.8) i Rys. 5.2)
uk = ¹¡1 (yk ) + dk
= ÁTk a + dk
(5.8)
gdzie przez Ák dla uproszczenia oznaczamy wektor Á(yk ).
dk
yk
µ
−1
(⋅ )
uk
Rysunek 5.2 System zastepczy
(nieliniowy system statyczny).
¾
Nie jest to jednak zadanie typowe. Decyduja¾ o tym nastepuj
¾ ace
¾ szczególne w÷asności:
jest procesem skorelowanym, ogólniej zalez· nym
(W1) wejście {yk g systemu zastepczego
¾
(jako wyjście systemu Wienera) (por. [32]);
(W2) zak÷ócenie {dk g jest procesem skorelowanym o zerowej wartości oczekiwanej, tj. Edk =
0 (patrz równanie (5.7) oraz za÷oz· enia 1.3, 5.2 i 1.4);
skorelowanie pomiedzy
zak÷óceniem {dk g, a
(W3) w ogólnym przypadku moz· e wystepować
¾
¾
wejściem zastepczym
{y
g;
¾
k
Dowód. Zauwaz· my, z· e suma ¹¡1 (yk ) + dk jest bia÷ym szumem – patrz (5.8) i za÷oz· enie 1.3
na str. 30. Oznaczmy %k = ¹¡1 (yk ) i wyliczmy kowariancje¾ pomiedzy
%k i dk , korzystajac
¾
¾ z
faktu, iz· Edk = 0 (w÷asność (W2)) oraz E%k = Euk ¡ Edk = 0 (patrz za÷oz· enie 5.2)
r%;d (¿ ) = E%k+¿ dk = E(¡dk+¿ + uk+¿ )dk = ¡rd (¿ )
Poniewaz· proces fdk g jest skorelowany, to dla pewnego ¿ 0 jego autokowariancja rd (¿ 0 ) 6= 0,
wtedy takz· e r%;d (¿ 0 ) 6= 0. Jez· eli np. funkcja ¹(x) (i równiez· ¹¡1 (y)) jest liniowa (nie sta÷a),
wtedy ry;d (¿ ) = cr%;d (¿ ) (c – niezerowa sta÷a) i ry;d (¿ 0 ) 6= 0.
typu iid (za÷oz· enie 1.3 na str. 30);
(W4) wyjście {uk g jest ciagiem
¾
wartościami uk , a dk w tej samej chwili k
(W5) nie ma statystycznej zalez· ności pomiedzy
¾
(patrz (5.7) oraz za÷oz· enia 1.3 i 1.4 na str. 30);
82
zalez· ność pomiedzy
wartościami uk , a yk w tej samej chwili k, co jest ogólna¾
(W6) wystepuje
¾
¾
cecha¾ obiektów statycznych.
Ze wzgledu
¾ na powyz· sze w÷asności niecelowe jest stosowanie dla systemu (5.8) algorytmu
identy…kacji 2ESW opisanego w rozdziale 4 (por. za÷oz· enia 4.1–4.4 oraz eksperyment 2 na
str. 89). W÷asność (W3) powoduje, z· e takz· e zastosowanie metody najmniejszych kwadratów
prowadzić moz· e do estymatorów asymptotycznie obcia¾z· onych. Stad,
¾ przez analogie¾ do identy…kacji liniowych systemów dynamicznych, nasuwa sie¾ pomys÷ zastosowania metody zmiennych intstrumentalnych dla zneutralizowania moz· liwego skorelowania pomiedzy
fdk g oraz
¾
fyk g. Ze wzgledu
¾ na w÷asności (W5) i (W6) oraz ogólne postulaty odnośnie zmiennych instrumentalnych (zob. str. 26), do ich generacji proponuje sie¾ wykorzystanie wartości sygna÷u
fuk g.
5.2.2
Opis macierzowy
Wprowadzajac
¾ wektor wyjść systemu statycznego ze wzoru (5.8)
UN = (u1 ; u2 ; :::; uN )T
(5.9)
©N = (Á1 ; Á2 ; :::; ÁN )T
Ák = Á(yk ) = (f1 (yk ); f2 (yk ); :::; fS (yk ))T
(5.10)
uogólniona¾ macierz wejść
oraz wektor uogólnionych zak÷óceń
DN = (d1 ; d2 ; :::; dN )T
(5.11)
równanie pomiarów moz· na zapisać w postaci
UN = ©N a + DN
(5.12)
gdzie a jest wektorem prawdziwych parametrów (por. wzór (5.2)), który nalez· y wyznaczyć
a = (a1 ; a2 ; :::; aS )T
5.3
(5.13)
Estymator IVW (zmiennych instrumentalnych dla
systemu Wienera)
Postepuj
¾ ac
¾ analogicznie jak w przypadku identy…kacji liniowych systemów dynamicznych
zak÷adamy, z· e jesteśmy w stanie na podstawie uzyskanego zbioru pomiarów f(uk ; yk )gN
k=1 wygenerować
T
dodatkowa¾ macierz ªN = (Ã 1 ; :::; Ã N ) (macierz zmiennych instrumentalnych) spe÷niajac
¾ a¾
nastepuj
¾ ace
¾ warunki:
(C1) dim ªN = dim ©N = N £ S
(C2) istnieje granica P limN!1( N1 ªTN ©N ) = EÃ k ÁTk i jest macierza¾ nieosobliwa¾ detfEÃ k ÁTk g 6=
0
(C3) P limN !1 ( N1 ªTN DN ) = EÃ k dk oraz EÃ k dk = 0 (tzn. cov(Ã k ; dk ) = 0 bowiem Edk =
0).
83
Problem generacji takiej macierzy bedzie
omówiony w punkcie 5.4.
¾
Odpowiedni estymator zmiennych instrumentalnych ma postać:
¶¡1 µ
¶
µ
1 T
1 T
(IV )
aN =
ª ©N
ª UN
N N
N N
(5.14)
a jego b÷ad
¾ estymacji wynosi
(IV )
¢N
=a¡
(IV )
aN
=
µ
1 T
ª ©N
N N
¶¡1 µ
1 T
ª DN
N N
¶
(5.15)
Zak÷adajac
¾ w÷asności (C1)¥(C3) i postepuj
¾ ac
¾ podobnie jak dla systemów liniowych moz· na
wykazać zbiez· ność estymatora (5.14) wed÷ug prawdopodobieństwa do prawdziwego wektora
wspó÷czynników odwrotnej charakterystyki nieliniowej systemu ¹¡1 (y) oraz określić asymptotyczny rzad
¾ szybkości zbiez· ności, charakterystyczny dla metod parametrycznych, tj.:
(IV )
aN
! a, wed÷ug prawdopodobieństwa
(5.16)
oraz
(IV )
¢N
=O
µ
1
p
N
¶
, wed÷ug prawdopodobieństwa
gdy N ! 1:
T
W konsekwencji, wyestymowana charakterystyka ¹
b¡1
aN jest na mocy za÷oz· enia
N (y) = Á (y)b
5.1 asymptotycznie (przy N ! 1) funkcja¾ odwracalna,
¾ jednak dla skończonej liczby po¡1
miarów ¹
bN (y) moz· e nie być odwracalna. Szczegó÷owa¾ dyskusje¾ tego problemu traktuje sie¾
jako zagadnienie otwarte i pomija w pracy.
5.4
Generacja zmiennych instrumentalnych
Kluczowym zagadnieniem jest odpowiedni sposób generacji macierzy ªN majacy
¾ na
celu zapewnienie warunków (C1)¥(C3) i w konsekwencji w÷asności (5.16). Proponuje sie¾
nastepuj
¾ acy
¾ sposób generacji:
´T
³
#
#
#
(5.17)
ª#
=
Ã
;
Ã
;
:::;
Ã
1
2
N
N
¢T
¡
Ã#
= uk + r1 ; u2k + r2 ; :::; uSk + rS
k
gdzie r1 ; r2 ; :::; rS oznaczaja¾ pewne zmienne sterujace,
¾ do wyboru przez uz· ytkownika. Wykaz· emy,
#
z· e macierz ªN określona wzorem (5.17) spe÷nia warunki (C1) i (C3). Wery…kacja warunku
(C2) jest trudniejsza i wymaga dodatkowej wiedzy a priori o systemie. Zapewnienie warunku
(C2) moz· e w pewnych szczególnych przypadkach u÷atwić zastosowanie odpowiednich wartości
sterujacych
r1 ; r2 ; :::; rS (patrz Przyk÷ad 2 w punkcie 5.4.1).
¾
Dowód w÷asności (C1):
Oczywiste jest, iz·
dim ª#
N = N £S
84
Dowód w÷asności (C3):
Przyjmijmy oznaczenie
{k = Ã #
k dk
oraz dla poszczególnych sk÷adowych
{k;j = Ã #
k;j dk
j
gdzie Ã #
Ã#
¾ na wzajemna¾ niezalez· ność pomiedzy
¾
k;j = uk + rj . Ze wzgledu
k;j i dk (w÷asność
(W5)) oraz w÷asność (W2) procesy f{k;j g maja¾ zerowe wartości oczekiwane
(5.18)
E{k;j = 0
Funkcja autokowariancji zak÷ócenia fdk g
!Ã 1
!)
(Ã 1
X
X
=
rd (¿ ) = E fdk+¿ dk g = E
¸i uk+¿ ¡i + zk+¿
¸i uk¡i + zk
= E
Ã1
X
i=0
i=0
¸i uk+¿ ¡i
1
X
i=0
¸i uk¡i
!
i=0
1
X
+ rz (¿ ) = varu
¸i ¸i+¿ + var"
i=0
1
X
! i ! i+¿
i=0
spe÷nia warunek
rd (¿ ) ! 0 dla j¿ j ! 1
poniewaz·
¯1
¯
1
1
1
¯X
¯
X
X
X
¯
¯
¸i ¸i+¿ ¯ ·
j¸i j j¸i+¿ j · max j¸j j
j¸i j oraz lim max j¸j j
j¸i j = 0
¯
¿ !1 j¸¿
j¸¿
¯
¯
i=0
i=0
i=0
i=0
¯1
¯
1
1
1
¯
¯X
X
X
X
¯
¯
! i ! i+¿ ¯ ·
j! i j j! i+¿ j · max j! j j
j! i j oraz lim max j! j j
j! i j = 0
¯
¿ !1 j¸¿
j¸¿
¯
¯
i=0
i=0
i=0
i=0
varu < 1 i var" < 1. Na podstawie wzoru (5.18) otrzymujemy
#
r{k;j (¿ ) = E{k;j {k+¿ ;j = EÃ #
k;j dk Ã k+¿ ;j dk+¿
(5.19)
#
#
#
#
Elementy Ã #
k;j i Ã k+¿ ;j wektorów Ã k i Ã k+¿ sa¾ bia÷ymi szumami. Oczywiście Ã k+¿ ;j dla ¿ > 0
jest statystycznie niezalez· ne od trzech pozosta÷ych czynników w (5.19), a zatem
#
r{k;j (¿ ) = EÃ #
k+¿ ;j EÃ k;j dk dk+¿
#
Wystepuje
takz· e niezalez· ność pomiedzy
Ã#
¾
¾
k;j = Ã k;j (uk ), a dk = dk (zk ; uk¡1 ; uk¡2 ; :::), jednak
Ã#
· ne. Staja¾ sie¾ one
k;j i dk+¿ = dk+¿ (zk+¿ ; uk+¿ ¡1 ; :::; uk ; :::) sa¾ w ogólności wzajemnie zalez
jednak niezalez· ne asymptotycznie, poniewaz·
dk+¿
oraz
= ¡¸¿ uk ¡
1
X
i=1;i6=¿
¸¿ ! 0 gdy ¿ ! 1
¸i uk+¿ ¡i ¡ zk
85
W konsekwencji
lim r{k;j (¿ ) =
¿ !1
#
lim EÃ #
k+¿ ;j EÃ k;j Edk dk+¿ =
¿ !1
= cj lim rd (¿ ) = 0
¿ !1
³
´2
¡
¢2
j
sa¾ skończonymi sta÷ymi 0· cj < 1 (j = 1; 2; :::; S):
gdzie cj = EÃ #
=
E(u
+
r
)
j
k;j
k
Poniewaz· funkcja autokorelacji jest parzysta, to r{k;j (¿ ) ! 0 gdy j¿ j ! 1. Na podstawie
lematu B.4 w dodatku B.8 oraz wzoru (5.18) otrzymujemy
1 #T
ª DN
N N
=
N
N
1 X #
1 X
Ã dk =
{k !
N k=1 k
N k=1
! E{k = 0
z prawdopodobieństwem 1 (stad
¾ takz· e wed÷ug prawdopodobieństwa), gdy N ! 1:
Wery…kacja warunku (C2):
W ogólnym przypadku pokaz· emy jedynie, z· e macierz zmiennych instrumentalnych ªN =
dana
wzorem (5.17) spe÷nia przy r1 = ::: = rS = 0 nastepuj
ª#
¾ acy
¾ warunek konieczny:
N
Lemat 5.1 Warunkiem koniecznym dla spe÷nienia (C2) (asymptotycznie dobrego określenia
algorytmu) jest aby
det EÃ k Ã Tk 6= 0
(5.20)
(dowód – identyczny z dowodem lematu A.2 w dodatku A.2)
#
Aby pokazać, z· e elementy macierzy ª#
N spe÷niaja¾ warunek (5.20) oznaczmy Ã k = uk gdzie
¡
¢
T
uk = uk ; u2k ; :::; uSk
i zapiszmy
#T
= Euk uTk
EÃ #
k Ãk
(5.21)
stad
¾
#T
rankEÃ #
= rankEuk uTk
k Ãk
i na mocy lematu B.6 (str. 108)
#T
det EÃ #
6= 0
k Ãk
#
T
Na podstawie za÷oz· eń 1.3, 5.1 elementy wektorów Ã #
k i Á (yk ) sa¾ ograniczone. Procesy fÃ k;j g
sa¾ typu iid, zaś autokorelacja procesu fyk g jako wyjścia systemu asymptotycznie stabilnego
posiada w÷asność ry (¿ ) ! 0, gdy j¿ j ! 1, stad
¾ takz· e rfs (y) (¿ ) ! 0, gdy j¿ j ! 1. Na
podstawie twierdzenia B.5 z dodatku B.8 otrzymujemy
1 #T
T
ªN ©N ! EÃ #
k Á (yk ) =
N
2
3
E(uk + r1 )f1 (yk ) :: E(uk + r1 )fS (yk )
5
:
:
:
=4
S
S
E(uk + rS )f1 (yk ) :: E(uk + rS )fS (yk )
(5.22)
86
z prawdopodobieństwem 1, gdy N ! 1. Graniczna macierz w (5.22) zalez· y od rozk÷adu
prawdopodobieństwa wejścia, postaci funkcji f1 (); :::; fS (), od zmiennych sterujacych
r1 ; :::; rS
¾
oraz od liniowego podsystemu w systemie Wienera (poprzez yk ). Warunki nieosobliwości
wartości granicznej macierzy N1 ª#T
· na zatem sformu÷ować jedynie w pewnych sytuN ©N moz
acjach szczególnych (patrz poniz· sze przyk÷ady).
5.4.1
Przypadki szczególne
Przypadek 1
Korzystajac
¾ z postaci wartości granicznej we wzorze (5.22) dla systemu Wienera z nieliniowościa¾ ¹() z Przyk÷adu 1 w punkcie 5.1.3 w prosty sposób uzyskujemy (dla r1 = 0)
( Ã1
!)
X
Euk f1 (yk ) = Euk b31 xk = b31 E uk
¸i uk¡i + zk
= b31 ¸0 varu
i=0
a poniewaz· jak ¸0 = 1 (za÷oz· enie 5.3)
½
µ
¶¾
1 T
det P lim
ª ©N
= b31 varu 6= 0
N N
Przypadek 2
Niech nieliniowość ¹() bedzie
postaci
¾
½
b1 x + b0 dla x ¸ 0
¹(x) =
b2 x + b0 dla x < 0
(5.23)
gdzie b0 jest znane, b1 ,b2 > 0, a wejście systemu Wienera fuk g ma rozk÷ad jednostajny (c > 0
– znane):
uk ~U[¡c; c]
(5.24)
Funkcja odwrotna do ¹(x) (wzór (5.23)) jest nastepuj
¾ aca
¾
½
a1 (y ¡ b0 ) dla y ¸ b0
¡1
¹ (y) =
a2 (y ¡ b0 ) dla y < b0
i moz· na ja¾ przedstawić w postaci
¹¡1 (y) = a1 f1 (y) + a2 f2 (y), gdzie
½
y ¡ b0 dla y ¸ b0
f1 (y) =
dla y < b0
0
½
dla y ¸ b0
0
f2 (y) =
y ¡ b0 dla y < b0
(5.25)
Stosujemy zmienne instrumentalne o zerowej wartości oczekiwanej, tj. EÃ #
k = 0 (przez
j
ustawienie rj = ¡Euk , j = 1; :::; S), tzn.
·
¸
uk
#
(5.26)
Ãk =
2
u2k ¡ c3
87
Zde…niujmy nastepuj
¾ ace
¾ z÷oz· enia funkcji
gj () ´ fj ± ¹()
i zapiszmy
fj (y) = fj (¹(x)) = gj (x)
dla funkcji ¹(), f1 () i f2 () opisanych wzorami (5.23) i (5.25) otrzymujemy
½
b1 x dla x ¸ 0
g1 (x) =
0 dla x < 0
½
0 dla x ¸ 0
g2 (x) =
b2 x dla x < 0
W prosty sposób moz· na wyznaczyć elementy macierzy granicznej we wzorze (5.22) np.
!)
( Ã1
X
b1
b1
=
Euk f1 (yk ) = Euk g1 (xk ) = Euk xk = E uk
¸i uk¡i + zk
2
2
i=0
=
b1 ¸0
b1 c2
varu =
2
6
w analogiczny sposób moz· na pokazać, z· e
1
P lim( ª#T
©N ) =
N N
·
b1 c2
6
b1 c3
24
b2 c2
6
3
¡ b224c
¸
stad
¾
detfP lim(
5.5
5.5.1
b1 b2 c5
1 #T
ªN ©N )g = ¡
6= 0
N
72
Eksperyment 1 – Porównanie algorytmu IVW z metoda¾ najmniejszych kwadratów
Symulowano dzia÷anie nastepuj
systemu Wienera:
¾ acego
¾
² sygna÷ wejściowy: uk ~U [¡10; 10]
² cześć
¾ dynamiczna: ¸i = 0:7i , i = 0; 1; 2; :::; M
² zak÷ócenia: "k ~U [¡1; 1], ! i = 0:7i , i = 0; 1; 2; :::; M
² element nieliniowy: ¹(x) = arctg(x), S = 1, ¹¡1 (y) = f1 (y) = tg(y)
² poszukiwany parametr: a = 1
88
Identy…kacje¾ przeprowadzono dla N = 10; 20; 100 i 200 obserwacji: Kaz· dy eksperyment powtarzano R=20000/N razy i uśredniano wyniki identy…kacji. Estymator (5.14) z macierza¾
zmiennych instrumentalnych (5.17) dla rj = 0; porównano z klasycznym estymatorem najmniejszych kwadratów postaci:
µ
¶¡1 µ
¶ PN
1 T
1 T
uk tgyk
(LS)
(5.27)
aN =
©N ©N
©N UN = Pk=1
N
2
N
N
k=1 tg yk
Wyliczano średnie kwadratowe b÷edy
¾ estymacji:
´2
1 X ³ (IV )
=
a
¡a
R r=1 N;r
R
(IV )
±N
(5.28)
´2
1 X ³ (LS)
=
¡a
a
R r=1 N;r
R
(LS)
±N
(IV )
(LS)
gdzie aN;r i aN;r oznaczaja¾ odpowiednio wartość estymatora zmiennych instrumentalnych
(IVW) i najmniejszych kwadratów dla N pomiarów w r-tym powtórzeniu eksperymentu.
Wyniki przedstawiono w tabeli 5.1 i na wykresie 5.3
(IV )
N ± N ¢ 103
10
19.6
20
1.2
100
0.2
200
0.0
(LS)
± N ¢ 103
144.4
202.5
230.4
231.0
Tabela 5.1 B÷edy
¾ algorytmu najmniejszych kwadratów i algorytmu IVW.
250
200
metoda najmniejszych kwadratów
150
100
50
0
10
algorytm IVW
100
N
Rysunek 5.3 Porównanie algorytmu IVW z metoda¾ najmniejszych kwadratów.
Jak widać na rys. 5.3 estymator IVW jest zgodny i daje znacznie lepsze rezultaty niz·
metoda najmniejszych kwadratów nawet przy ma÷ej liczbie pomiarów.
89
5.5.2
Eksperyment 2 – Próba zastosowania algorytmu 2ESW do
identy…kacji ”odwróconego” systemu Wienera
Symulowano dzia÷anie nastepuj
systemu Wienera:
¾ acego
¾
– sygna÷ wejściowy: uk ~U [¡10; 10]
– cześć
¾ dynamiczna: ¸i = 0:7i , i = 0; 1; 2; :::; M
– zak÷ócenia: "k ~U [¡1; 1], ! i = 0:7i , i = 0; 1; 2; :::; M
p
– element nieliniowy: ¹(x) = 3 x, S = 1, ¹¡1 (y) = f1 (y) = y 3
– poszukiwany parametr: a = 1
Ze wzgledu
(odwróconym systemie Wienera
¾ na fakt skorelowania wejść w systemie zastepczym
¾
- (Rys. 5.2)) zastosowano algorytm identy…kacji 2ESW przedstawiony w rozdziale 4, pomimo
niespe÷nienia sformu÷owanych tam za÷oz· eń odnośnie stosowalności metody. W szczególności:
– struktura korelacyjna wejścia systemu zastepczego
fyk g nie ma charakteru liniowego jak
¾
ma to miejsce w za÷oz· eniu 4.1 na str. 65 (poniewaz· w rzeczywistości fyk g stanowi wyjście
charakterystyki nieliniowej w systemie Wienera);
– nie jest spe÷nione za÷oz· enie o niezalez· ności zak÷óceń dk od wejść yk systemu zastepczego
¾
(porównaj za÷oz· enie 1.4 na str. 30 oraz 4.1, 4.4 i 4.5 na str. 65).
Zbadano estymator dany wzorami (4.33), (4.34) i (4.35) zak÷adajac
¾ (niezgodnie z rzeczywistościa),
fyk g jest procesem autoregresji rzedu
¾ z· e wejście systemu zastepczego
¾
¾ n = 10 i
porównano go z klasycznym estymatorem najmniejszych kwadratów (patrz Tab. 5.2 i Rys.
5.4). Wyniki przedstawiono w tabeli
N ± (2ESW)
¢ 103
N
10
70.6
20
53.9
100
47.3
200
47.1
± (LS)
¢ 103
N
144.4
202.5
230.4
231.0
Tabela 5.2 B÷edy
¾ algorytmu najmniejszych kwadratów i algorytmu 2ESW.
250
200
metoda najmniejszych kwadratów
150
100
algorytm 2ESW
50
0
10
100
N
Rysunek 5.4 Porównanie algorytmów 2ESW i najmniejszych kwadratów w identy…kacji
systemu Wienera.
90
Wyniki badań eksperymentalnych potwierdzi÷y ma÷a¾ uz· yteczność algorytmu 2ESW z rozdzia÷u 4 do identy…kacji systemów Wienera pomimo pewnej przewagi nad klasycznym estymatorem najmniejszych kwadratów. Dzieje sie¾ tak ze wzgledu
¾ na jego nieprzynalez· ność do
klasy zde…niowanej wzorem (4.1). Zademonstrowano zatem korzyść p÷ynac
¾ a¾ ze stosowania
algorytmu IVW w parametrycznej identy…kacji systemów Wienera.
5.5.3
Eksperyment 3 – Charakterystyka odcinkami liniowa; wp÷yw
wariancji zak÷óceń na efektywność algorytmu IVW
W systemie Wienera symulowanym w punkcie 5.5.1 zmieniono element nieliniowy na
inny, o charakterystyce odcinkami liniowej postaci (patrz wykres na rys. 5.5)
Wykres charakterystyki
elementu nieliniowego
5
4
3
2
y
1
0
-1
-2
-3
-4
-5
-5
-4
-3
-2
-1
0
1
2
3
4
5
x
Rysunek 5.5 Wykres funkcji odcinkami liniowej, opisanej wzorem (5.29).
y = ¹(x) =
8
<
:
1
x
2
1
x
2
x
+
¡
1
2
1
2
gdy x 2 [¡1; 1]
gdy x 2 (1; 1)
gdy x 2 (¡1; ¡1)
Funkcja odwrotna do ¹(x) (wzór (5.29)) ma postać
8
gdy y 2 [¡1; 1]
y
<
gdy y 2 (1; 1)
2y ¡ 1
x = ¹¡1 (y) =
:
2y + 1 gdy y 2 (¡1; ¡1)
i moz· na ja¾ przedstawić w formie wzoru (5.2) przyjmujac
¾
f1 (yk ) = 1(yk + 1) ¡ 1(yk ¡ 1);
f2 (yk ) = (1(yk + 1) ¡ 1(yk ¡ 1))yk ;
f3 (yk ) = 1(yk ¡ 1);
f4 (yk ) = 1(yk ¡ 1)yk ;
f5 (yk ) = 1(yk + 1) ¡ 1;
f6 (yk ) = (1(yk + 1) ¡ 1)yk ;
a1
a2
a3
a4
a5
a6
=0
=1
= ¡1
=2
=1
= ¡2
(5.29)
91
gdzie funkcja 1() jest skokiem jednostkowym. Identy…kacje¾ systemu przeprowadzono dla
róz· nych wariancji var"k procesu f"k g o rozk÷adzie jednostajnym, formujacego
zak÷ócenia
¾
fzk g. Wyliczano nastepuj
¾ acy
¾ b÷ad
¾
(IV )
±N
R
°
1 X°
° (IV )
°
=
°aN;r ¡ a°
R r=1
2
wzorem (5.28), a wyniki przedstawiono na rys. 5.6.
120
100
80
δ
N
60
40
5
20
3
0
10
30
N
var ε
k
1
50
1 00
Rysunek 5.6 Wp÷yw wariancji zak÷óceń na efektywność metody IVW.
W przeprowadzonym doświadczeniu b÷ad
¾ identy…kacji rośnie w przybliz· eniu liniowo ze wzrostem
wariancji zak÷óceń dla kaz· dej liczby pomiarów N.
5.6
Podsumowanie
Dla systemu Wienera o odwracalnej charakterystyce nieliniowej zaprojektowano prosty i
intuicyjny estymator parametrów charakterystyki odwrotnej dla pewnej klasy funkcji nieliniowych, posiadajacy
¾ w przeciwieństwie do estymatora najmniejszych kwadratów w÷asność
zgodności. Algorytm charakteryzuje sie¾ szybka¾ zbiez· nościa,¾ a podstawowa¾ jego zaleta¾ jest
uniwersalność warunków zbiez· ności wynikajaca
¾ z zastosowania techniki zmiennych instrumentalnych. Otwartymi problemami badawczymi sa¾ opracowanie metod generacji ªN przy
skorelowanym sygnale wejściowym oraz opracowanie zgodnego, parametrycznego algorytmu
identy…kacji nieliniowej charakterystyki systemu Wienera w przypadku, gdy nie jest ona
funkcja¾ odwracalna.¾
Zaproponowana metoda jest prosta w implementacji komputerowej (standardowa procedura
o parametrycznej
IV ). Wada¾ algorytmu jest natomiast wymaganie bogatej wiedzy wstepnej
¾
postaci odwrotności charakterystyki nieliniowej.
Rozdzia÷ 6
Uwagi końcowe
6.1
Oryginalne wyniki naukowe pracy
W pracy uzyskano nastepuj
¾ ace
¾ wyniki:
z identy…kacja¾
² dokonano klasy…kacji problemów i wydzielono klasy zadań zwiazanych
¾
nieliniowych systemów dynamicznych o strukturze blokowej;
² zaprojektowano szereg zgodnych algorytmów identy…kacji systemów nieliniowych w
warunkach skorelowanego zak÷ócenia i/lub wejścia; w szczególności sa¾ to:
1) trzyetapowy (parametryczno-nieparametryczny) algorytm 3E do identy…kacji systemów
o strukturze NARMAX ze skorelowanym zak÷óceniem na wyjściu;
2) dwuetapowy (parametryczno-nieparametryczny) algorytm 2E do identy…kacji systemów
Hammersteina w obecności skorelowanych zak÷óceń;
3) dwuetapowy (parametryczny) algorytm 2ESW do identy…kacji klasy systemów nieliniowych bez sprze¾z· enia zwrotnego z nieliniowościami wielomianowymi, pobudzanych skorelowanym sygna÷em wejściowym i/lub w obecności skorelowanych zak÷óceń;
4) algorytm IVW do identy…kacji systemów Wienera metoda¾ zmiennych instrumentalnych;
² udowodniono ich zbiez· ność wed÷ug prawdopodobieństwa do prawdziwych wektorów
parametrów systemu;
² dla poszczególnych algorytmów dokonano badań eksperymentalnych zalez· ności b÷edu
¾
identy…kacji od ilości obserwacji i wariancji zak÷óceń, dokonano takz· e porównań dzia÷ania róz· nych algorytmów w przyk÷adowych, specy…cznych zadaniach identy…kacji;
² przeanalizowano szybkość zbiez· ności zaproponowanych algorytmów (3E, 2E), dla algorytmu 3E dokonano jej optymalizacji;
² zastosowano nieparametryczne algorytmy estymacji funkcji regresji (oparte o estymator jadrowy)
do wspomagania metod parametrycznych (estymacja sygna÷ów interak¾
cyjnych, lub generacja optymalnych zmiennych instrumentalnych);
² uzyskano procedury hybrydowe (parametryczno-nieparametryczne) ÷acz
¾ ace
¾ zalety metod
parametrycznych i nieparametrycznych;
² uogólniono zastosowania metody zmiennych instrumentalnych w podwójnym sensie:
92
ROZDZIA× 6. UWAGI KOŃCOWE
93
– na przypadek identy…kacji systemów nieliniowych;
– do rozwiazywania
problemów ze skorelowanym wejściem (algorytm 2ESW), lub przypadku
¾
wzajemnej zalez· ności zak÷ócenia od wejścia (algorytm IVW – system zastepczy);
¾
² opracowano i zaimplementowano odpowiednie algorytmy komputerowe identy…kacji
(udostepniono
je w sieci; patrz Dodatek C) oraz wykonano przyk÷adowe eksperymenty
¾
na symulowanych danych;
moz· e być przydatna zaproponowana
² wskazano problemy otwarte, do których rozwiazania
¾
w pracy metodologia (punkt 6.3).
6.2
Uwagi praktyczne
Zalety metod parametryczno-nieparametrycznych
Zasadnicza¾ zaleta¾ metod parametryczno-nieparametrycznych jest moz· liwość wykorzystania parametrycznej wiedzy wstepnej
o systemie w maksymalnym zakresie, pomimo ograniczeń
¾
wystepuj
w dostepności
pomiarowej sygna÷ów. Nie uwzglednienie
jej przybliz· a nas do
¾ acych
¾
¾
¾
algorytmów nieparametrycznych, natomiast jej pe÷ne wykorzystanie powoduje ”wyg÷adzenie” rezultatów estymacji nieparametrycznej. Druga¾ zaleta¾ zaproponowanych metod hybrydowych jest oparcie ich na technice zmiennych instrumentalnych, która nalez· y (pomimo
wraz· liwości na zastosowane instrumenty) do najbardziej uniwersalnych.
Z÷oz· oność obliczeniowa algorytmów
Generalnie, problem obliczeniowy jest istotna¾ sk÷adowa¾ praktyczna¾ zadania identy…kacji.
Proponowane w pracy algorytmy sk÷adaja¾ sie¾ z etapów wymagajacych
w ogólnym przypadku
¾
realizacji nastepuj
rodzajów przetwarzania danych: 1) wyliczenia wartości estyma¾ acych
¾
tora jadrowego,
2) realizacji procedury zmiennych instrumentalnych (ew. najmniejszych
¾
kwadratów), 3) przeprowadzenia dekompozycji SVD. Sa¾ to zadania standardowe i szeroko
omówione w literaturze, dlatego poniz· ej zostana¾ jedynie krótko scharakteryzowane pod
katem
z÷oz· oności obliczeniowej:
¾
² estymator jadrowy
¾
Wyliczenie wartości estymatora jadrowego
(por. (3.8))
¾
¶ X
¶
M µ
M µ
X
u
u
¡
u
¡
u
k
i
k
i
bM (uk ) =
yi K(
) =
K(
)
R
h(M )
h(M )
i=1
i=1
w wybranym punkcie uk na podstawie M pomiarów wymaga dwukrotnego wykonania sumomnoz· eń M elementów. Biorac
¾ pod uwage¾ fakt, iz· estymator nalez· y wyliczyć w N punktach –
zadanie ma z÷oz· oność obliczeniowa¾ O(N M ): Istnieje równiez· rekurencyjna wersja estymatora
jadrowego
(patrz np. [64]).
¾
² procedury najmniejszych kwadratów (lub zmiennych instrumentalnych)
Odpowiedni etap ma na celu obliczenie wartości estymatora wektora parametrów postaci
(por. (2.7))
¡
¢¡1 T
(LS)
(6.1)
pN = ©TN ©N
© N YN
94
gdzie ©N = (Á1 ; :::; ÁN )T oraz YN = (y1 ; :::; yN )T lub (por. (2.17))
(IV )
pN
= (ªTN ©N )¡1 ªTN YN
(6.2)
gdzie ªN = (Ã 1 ; Ã 2 ; :::; Ã N )T . Polega on zatem w ogólności na mnoz· eniu i odwracaniu macierzy. W praktyce stosuje sie¾ róz· ne techniki opierajace
¾ sie¾ na przekszta÷ceniach liniowych macierzy, jak np. eliminacja Gaussa, rozk÷ad trójkatny
macierzy,
¾
obroty Givensa, odbicia Householdera. Zadania identy…kacji oparte na metodzie najmniejszych kwadratów prowadza¾ czesto
do uk÷adów równań s÷abo uwarunkowanych,
¾
powszechnie stosuje sie¾ wiec
¾ rozk÷ad SV D (patrz [60] oraz dodatek B.1) macierzy
T
©N ©N w celu wyznaczenia jej pseudoodwrotności. Praktyczne algorytmy obliczeniowe
najmniejszych kwadratów sa¾ powszechnie znane i dostepne
w literaturze (np. [60]).
¾
Sa¾ one takz· e dostepne
w postaci zoptymalizowanych, gotowych do uz· ycia procedur
¾
numerycznych w wiekszości
popularnych dziś pakietów oprogramowania (tab. 6.1)
¾
Nazwa i wersja programu Procedura realizujaca
¾ rozk÷ad SVD
Matlab 5.2
[U,S,V] = SVD(A)
Statistica 5.1
MatrixSingularValuesDecomp(A, S, U,V)
Mathcad 7.0
SVD(A)
Tabela 6.1 Przyk÷adowe programy komputerowe realizujace
¾ rozk÷ad SV D macierzy.
W przypadkach gdy dane pomiarowe nap÷ywaja¾ sekwencyjnie, lub tez· chcemy ominać
¾ procedure¾ odwracania macierzy (np. przy duz· ym wymiarze wektorów Ák i Ã k ) celowe jest
zastosowanie wersji rekurencyjnych (on-line) algorytmów (6.1) i (6.2), odpowiednio:
(LS)
pk
(IV )
pk
(LS)
(LS)
= pk¡1 + Pk
=
(IV )
pk¡1
(LS)
Ák (yk ¡ ÁTk pk¡1 )
+
(IV )
Pk Ã k (yk
1+
(LS)
ÁTk Pk¡1
Ák
¡
(6.3)
(IV )
ÁTk pk¡1 )
z macierzami wagowymi postaci
(LS)
Pk
(IV )
Pk
1
(LS)
= Pk¡1 ¡
1
(IV )
= Pk¡1 ¡
1+
(IV )
ÁTk Pk¡1 Ã k
(LS)
(LS)
(IV )
(IV )
Pk¡1 Ák ÁTk Pk¡1
(6.4)
Pk¡1 Ã k ÁTk Pk¡1
Warunki poczatkowe
dla identy…kacji on-line nalez· y dobrać wed÷ug jednej ze standardowych
¾
regu÷:
1) na podstawie niewielkiej liczby pomiarów N0 klasyczna¾ metoda¾ (wzór (6.1) lub (6.2))
obliczyć startowa¾ wartość estymatora parametrów (wzór (6.3)); lub tez·
2) przyjać
¾ p0 = 0 oraz P0 = diag[103 ¥ 105 ] ([72]).
6.3
Problemy otwarte
Na zakończenie przedstawiamy kilka problemów otwartych, których rozwiazanie
wydaje
¾
sie¾ być moz· liwe przy wykorzystaniu zastosowanej w pracy metodologii, tj. algorytmów hybrydowych (parametryczno-nieparametrycznych).
95
6.3.1
Identy…kacja systemów Wienera pobudzanych skorelowanym
sygna÷em wejściowym
Zaprezentowany w rozdziale 5 algorytm generacji zmiennych instrumentalnych w metodzie
iid, co
IVW (dla systemu Wienera) bazuje na za÷oz· eniu, z· e wejście uk systemu jest ciagiem
¾
moz· e nie zachodzić w praktyce. Dlatego celowe wydaja¾ sie¾ być próby rozbudowy algorytmu
IVW na przypadek skorelowanego wejścia. W szczególności nalez· a÷oby opracować opowiedni
algorytm generacji zmiennych instrumentalnych polegajacy
¾ (podobnie jak w algorytmie 3E)
na …ltracji wybielajacej
¾ sygna÷u wejściowego.
6.3.2
Identy…kacja struktur ze sprze¾z· eniami zwrotnymi
W pracy [75] uda÷o sie¾ z powodzeniem zastosować metode¾ zmiennych instrumentalnych do identy…kacji liniowych systemów statycznych, posiadajacych
skomplikowana¾ struk¾
ture¾ blokowa.
obcia¾z· eniem estymatora
¾ Zauwaz· ono tam formalne podobieństwo pomiedzy
¾
najmniejszych kwadratów stosowanego do identy…kacji prostego, liniowego obiektu dynamicznego ze skorelowanym zak÷óceniem i z÷oz· onego, liniowego systemu statycznego, w którym
wystepowa÷o
skorelowanie wejść interakcyjnych (poprzez sprze¾z· enie zwrotne) z zak÷óceni¾
ami dzia÷ajacymi
na wyjściu systemu. Opracowanie algorytmu 3E dla systemu NARMAX
¾
(rozdzia÷ 2) stanowić moz· e punkt wyjścia do rozwiazania
problemu identy…kacji nastepu¾
¾
jacego
systemu (Rys. 6.1).
¾
u
u1
u
j
n
S1
y1
S
x1
x
y
j
S
j
yn
n
j
xn
H
Rysunek 6.1 Nieliniowy system MIMO ze sprze¾z·eniem zwrotnym.
System posiada n wejść i n wyjść (ang. MIMO – multi input, multi output). Na jego
strukture¾ sk÷ada sie¾ n po÷aczonych
ze soba¾ nieliniowych elementów dynamicznych Sj (j =
¾
1; 2; :::; n) o strukturze (patrz Rys. 6.2) przypominajacej
¾ badany w pracy system NARMAX
(por. rys. 1.5).
96
uj
uj
µ
j
( )
η
j
( )
wj
{γ i( j ) }i 0
∞
zj
vj
yj
=
w' j
{λ (i j ) }i o
∞
yj
Sj
v' j
=
xj
xj
Rysunek 6.2 Struktura wewnetrzna
pojedynczego elementu Sj systemu MIMO.
¾
Blok H reprezentuje strukture¾ po÷aczeń
systemu (znana¾ a priori). Kaz· dy element Sj posiada
¾
wejście i wyjście zewnetrzne
(odpowiednio uj i yj ), które moz· na mierzyć oraz niedostepne
dla
¾
¾
pomiarów wejście interakcyjne xj , które moz· na wyliczyć ze wzgledu
na
znajomość
struktury
¾
po÷acze
¾ ń H. Zadanie identy…kacji polega na estymacji wszystkich parametrów nieliniowych
charakterystyk systemu ¹j () i ´ j () (j = 1; 2; :::; n), opisanych wzorami (1.46) oraz odpowiedzi
(j)
(j) 1
systemu.
impulsowych f° i g1
¾
i=0 i f¸i gi=0 na podstawie pomiarów wejść i wyjść zewnetrzych
6.3.3
Zalez· ność pomiedzy
zak÷óceniem i wejściem
¾
W ca÷ej pracy zak÷ada sie¾ niezalez· ność procesu zak÷ócajacego
od pobudzenia (za÷oz· enie
¾
1.4, str. 30). Na tym za÷oz· eniu opieraja¾ sie¾ dowody zbiez· ności proponowanych algorytmów. W praktyce moz· e wystapić
zjawisko zalez· ności zak÷óceń od wejść, poniewaz· sygna÷
¾
wejściowy moz· e mieć pewien wp÷yw na wartość oczekiwana,¾ wariancje,
¾ lub inne w÷aściwości
zak÷ócenia. Wp÷yw ten moz· na próbować modelować za pomoca¾ pewnej struktury blokowej
np. struktury Hammersteina. Wtedy w przypadku systemu Hammersteina model procesu
ma strukture¾ równoleg÷a¾ (Rys. 6.3). Celem identy…kacji pozostaje estymacja parametrów
funkcji nieliniowej ¹(); a nie toru zak÷óceń ·().
z
κ
( )
w'
{λ i }∞i = 0
v'
z
u
µ(
)
w
{γ i }i = 0
∞
v
y
Rysunek 6.3 System równoleg÷o-szeregowy do modelownia przenikania wejść do zak÷óceń w
systemie Hammersteina.
Celowe jest określenie warunków dotyczacych
postaci parametrycznych funkcji ¹() i ·(),
¾
przy których moz· liwa jest estymacja charakterystyki ¹() oraz opracowanie odpowiedniego
algorytmu identy…kacji.
Dodatek A
Za÷aczniki
i dowody twierdzeń
¾
A.1
Zmody…kowany opis systemu Hammersteina
Lemat A.1 System addytywny NARMAX (por. wzory (1.6)) z liniowa¾ funkcja¾ ´(yk ) postaci
´(yk ) = dyk jest równowaz·ny systemowi Hammersteina.
Dowód. Opis systemu NARMAX
yk =
p
X
aj ´(yk¡j ) +
j=1
n
X
bi ¹(uk¡i ) + vk
i=0
dla ´(yk ) = dyk oraz
n
X
xk ,
bi ¹(uk¡i ) + vk
(A.1)
i=0
przybiera postać opisu liniowego obiektu dynamicznego
yk =
p
X
aj dyk¡j + xk
j=1
który z kolei moz· na przedstawić w ekwiwalentnej postaci ([43])
yk =
1
X
rl xk¡l
(A.2)
l=0
Wstawiajac
¾ (A.1) do (A.2) otrzymujemy
Ã n
!
1
X
X
yk =
rl
bi ¹(uk¡i¡l ) + vk¡l
l=0
i=0
i dalej
yk =
1
X
° q ¹(uk¡q ) + zk
(A.3)
q=0
P
P1 Pn
gdzie zk = 1
l=0 rl vk¡l , ° q =
l=0
i=0 rl bi ±(l + i ¡ q), a ±() jest delta¾ Kronekera. Wzór
(A.3) opisuje system Hammersteina z nieskończona¾ odpowiedzia¾ impulsowa¾ (por. wzory
(1.4)).
97
98
DODATEK A. ZA×ACZNIKI
I DOWODY TWIERDZEŃ
¾
A.2
Warunek konieczny dobrej określoności algorytmu
3E dla systemu NARMAX
Lemat A.2 Za÷oz·enia:
(1) dane sa¾ macierze A; B 2 R®£¯
(2) elementy macierzy A i B sa¾ skończone
(3) det(BT A) 6= 0
Teza: det(AT A) 6= 0
Dowód. Niech det(AT A) = 0, tj. rank(AT A) < ¯. Z w÷asności
rank(AT A) = rank(A)
wynika, z· e istnieje wtedy taki niezerowy wektor » 2 R¯ , z· e A» = 0. Mnoz· ac
¾ lewostronnie
T
T
powyz· sze rówananie przez B i korzystajac
¾
¾ z za÷oz· enia (2) otrzymujemy B A» = 0. Stad
T
det(B A) = 0; co przeczy za÷oz· eniu (3).
Na mocy powyz· szego lematu, podstawiajac
¾ A := p1N ©N i B := p1N ªN wnioskujemy, z· e
warunkiem koniecznym, aby dla dowolnego N ¸ m(n + 1) + pq macierz N1 ªTN ©N by÷a
nieosobliwa jest aby det( N1 ©TN ©N ) 6= 0.
A.3
Dowód twierdzenia 2.1
Dowód. Na podstawie twierdzenia S÷uckiego (por. [13] i Dodatek B.5) moz· na napisać:
P
(IV )
lim (¢N )
N!1
=
µ
P lim
N!1
µ
1 T
ª ©N
N N
¶¶¡1
P lim
N!1
Bezpośrednio z warunków (C2) i (C3) wynika zatem, z· e
³
´
(IV )
P lim ¢N
=0
N!1
A.4
µ
1 T
ª ZN
N N
¶
(A.4)
Dowód. Zde…niujmy skalarna¾ zmienna¾ losowa¾
° °
°
°
° (IV ) ° °b(IV )
°
» N = °¢N ° = °µN ¡ µ °
gdzie k k oznacza dowolna¾ norme.
¾ Nalez· y wykazać, z· e
¾
½
»N
> " ! 0, gdy N ! 1
P rN
aN
dla kaz· dego " > 0, kaz· dego rN ! 0 oraz aN = p1N (patrz de…nicja B.4 na str. 107). Korzystajac
¾ z lematu B.3 (str. 107) dla udowodnienia, iz· » N = O( p1N ) wed÷ug prawdopodobieństwa
99
¾
wystarczy pokazać, z· e » N = O( N1 ) wed÷ug średniej z kwadratem. Przyjmujac
¾ nastepuj
¾ ace
¾
oznaczenia
AN
BN
N
1 T
1 X
=
ªN ©N =
Ã k ÁTk
N
N k=1
N
1 T
1 X
=
ª ZN =
Ã zk
N N
N k=1 k
otrzymujemy
(IV )
¢N
= A¡1
N BN
(A.5)
Na podstawie za÷oz· eń 1.1–1.6 (str. 30) wnioskujemy, z· e wyjście systemu yk jest ograniczone,
tzn. jyk j < ymax < 1. Na podstawie tych samych za÷oz· eń oraz warunku (C1) (str. 37)
zachodzi dalej
¯ i;j ¯
¯A ¯ · Ã max pmax < 1
N
dla j = 1; 2; :::; m(n + 1) oraz takz· e
¯ i;j ¯
¯A ¯ · Ã max pmax < 1
N
dla j = m(n + 1) + 1; :::; m(n + 1) + pq, a zatem kaz· dy element macierzy AN jest ograniczony. Stad
¾ ograniczone elementy ma takz· e macierz A¡1
· eń
N . Na podstawie tych samych za÷oz
(IV )
ograniczone sa¾ takz· e elementy wektora BN . Wielkość ¢N we wzorze (A.5) jest zatem
estymatorem ilorazowym, gdzie elementy licznika i mianownika sa¾ skończone. Moz· na wiec
¾
zapisać
°
°
°
¶¡1 µ
¶°
¶¡1 °
°
° °µ
°°
° °µ 1
°
1 T
1
° (IV ) ° ° 1 T
°°
° °
T
T
°·
ªN ©N
ªN ZN ° · °
ªN ©N
ª
» N = °¢N ° = °
Z
°°
N
N
°
° N
° °N
° ° N
N
°
°
°
°
N
°1 X
°
°
°1 T
°
°
°
°
Ã k zk °
· c ° ªN ZN ° = c °
°N
°
N
k=1
gdzie c jest pewna¾ nieujemna¾ sta÷a.¾ Korzystajac
¾ z równowaz· ności norm, moz· na znaleźć takie
® ¸ 0, z· e
°
¯!
°
Ã ¯ N
dim Ã k
N
°1 X
°
¯
X
1 ¯¯X
°
°
¯
c°
Ã k zk ° · ®c
Ã k;i zk ¯
¯
°N
°
¯
N ¯ k=1
i=1
k=1
Stad,
¾ korzystajac
¾ dodatkowo z nierówności Cauchy’ego, otrzymujemy
» 2N
¯!#2
"dim Ã Ã ¯ N
¯
Xk 1 ¯¯X
¯
Ã k;i zk ¯
·
¯
¯
¯
N
i=1
k=1
¯!2
Ã ¯N
ÃN
!2
dim Ãk
dim Ãk
¯
¯
X
X
X 1 X
1
¯
¯
· ®2 c2 dim Ã k
Ã k;i zk ¯ = ®2 c2 dim Ã k
Ã zk
¯
¯
¯
N
N 2 k=1 k;i
i=1
i=1
k=1
°
°
° (IV ) °2
= °¢N ° · ®2 c2
100
¾
Z kolei, ze wzgledu
¾ na nieskorelowanie procesów fÃ k g i fzk g (patrz warunek (C3) na str.
37)
ÃN
!2
dim Ã k
X 1
X
E» 2N · ®2 c2 dim Ã k
E
Ã k;i zk
=
2
N
i=1
k=1
#
" N N
dim Ã k
X 1
XX
= ®2 c2 dim Ã k
E
Ã k1 ;i Ã k2 ;i zk1 zk2 ·
N2
i=1
k =1 k =1
1
dim Ã k
N
X
X
2
N
X
¯ £
¤¯
1
¯E Ã k ;i Ã k ;i ¯ jE [zk1 zk2 ]j ·
1
2
N 2 k =1 k =1
i=1
1
2
"
#
1
N ³
´
2
X
¿
Ã
CX
2 max
2 2
· ® c (dim Ã k )
jrz (0)j + 2
1¡
jrz (¿ )j ·
jrz (¿ )j
N
N
N ¿ =0
¿ =1
· ®2 c2 dim Ã k
gdzie
rz (¿ ) = var"
1
X
! i ! i+¿
i=0
2 2
C = 2® c (dim Ã k )2 Ã 2max
a poniewaz·
¯
¯
1 X
1 X
1
1
1
1
¯
¯
X
X
X
X
¯
¯
! i ! i+¿ ¯ · var"
j! i j j! i+¿ j · var"
j! i j
j! i+¿ j < 1
¯var"
¯
¯
¿ =0 i=0
¿ =0 i=0
i=0
i=0
to
gdzie sta÷a D = Cvar" j
A.5
P1 P1
¿ =0
i=0
E» 2N · D
1
N
! i ! i+¿ j.
ac
Dowód. Dla przejrzystości dowodu przyjeto
¾ zmax = 1. Uwzgledniaj
¾
¾ równanie (2.49) na
str. 45 otrzymujemy:
°2
°
°
° (IV )
(IV )T
(IV )
¤
T
°¢N (ªN )° = ¢N (ªN )¢N (ªN ) = Z¤T
N ¡N ¡N ZN
Maksymalna wartość skumulowanego b÷edu
¾ estymacji wynosi:
³
´

®
(IV )T
(IV )
Q(ªN ) = max ¢N (ªN )¢N (ªN ) = max Z¤N ; ¡TN ¡N Z¤N =
kZ¤N k·1
kZ¤N k·1
¡
¢
= k¡N k2 = ¸max ¡TN ¡N
gdzie k k2 oznacza kwadrat normy spektralnej macierzy indukowanej przez norme¾ euklidesowa¾ wektora, natomiast ¸max () – najwieksz
¾ a¾ wartość w÷asna¾ macierzy. W pracach [98],[125]
udowodniono, z· e:
¡
¢
¡
¢
¸max ¡TN ¡N = ¸max ¡N ¡TN
101
¾
Uwzgledniaj
ac
¾
¾ ten fakt oraz de…nicje¾ macierzy ¡N na str. 45 wnioskujemy, z· e
³
´

®
(IV )T
(IV )
max ¢N (ªN )¢N (ªN ) = max ³; ¡N ¡TN ³ =
k³k·1
kZ¤N k·1
* µ
¶¡1 µ
¶µ
¶¡1 +
1 T
1 T
1 T
ª ©N
ª ªN
© ªN
= max ³;
³
k³k·1
N N
N N
N N
Na podstawie (2.48) dla N ! 1 (tj. asymptotycznie) zachodzi
* µ
¶¡1 µ
¶µ
¶¡1 +
³
´
1
1
1
(IV )T
(IV )
ªTN ©#
ªTN ªN
©#T
max ¢N (ªN )¢N (ªN ) = max ³;
³
N
N ªN
¤
k³k·1
N
N
N
kZN k·1
z prawdopodobieństwem 1, gdzie ©N oraz ©#
N sa¾ zde…niowane wzorami (2.5) oraz (2.47).
p1
Wykorzystujac
¾ powyz· sza¾ równość oraz lemat B.1 (str. 107) dla M1 = p1N ©#
N , M2 = N ªN
otrzymujemy (asymptotycznie, z prawdopodobieństwem 1):
µ
¶¡1
1 #T #
T
T
T
© ©
³ ¡N ¡N ³ ¸ ³
³
N N N
dla kaz· dego wektora ³. Stad
¾ zachodzi:
¢
¡
Q (ªN ) = max ³ T ¡N ¡TN ³ ¸ max
k³k·1
k³k·1
Ã
³T
µ
1 #T #
© ©
N N N
¶¡1 !
³
Poniewaz· dla ªN = ©#
· szej nierówności, zatem dla takiego
N zachodzi równość w powyz
wyboru macierzy ªN nasza funkcja kryterialna Q (ªN ) osiaga
¾ swój kres dolny. Wybór
jest
wi
ec
zmiennych instrumentalnych wed÷ug regu÷y ªN = ©#
¾ asymptotycznie optymalny
N
w sensie przyjetego
kryterium.
¾
A.6
Dowód. B÷ad
¾ estymatora (2.63) moz· na zapisać w postaci
¤(IV )
¤(IV )
¤(IV )
¢N;M = b
µN;M ¡ µ = b
µN;M ¡ b
µN
(IV )
¤(IV )
+b
µN
¡µ
¡
¢¡1 ¤T
¤(IV )
gdzie b
µN
= ª¤T
ªN YN , zaś ª¤N jest zde…niowane wzorami (2.51) i (2.47). Dla
N ©N
dowolnej normy k k, z nierówności trójkata
¾ zachodzi
°
° ° ¤(IV )
° ° ¤(IV )
°
¤(IV ) °
° (IV ) ° °b
°b
°
b
(A.6)
¡ µ°
°¢N;M ° · °µ N;M ¡ µN ° + °µN
Na podstawie twierdzenia 2.1 (str. 38)
°
° ¤(IV )
°
°b
¡ µ° ! 0 wed÷ug prawdopodobieństwa
°µN
gdy N ! 1. Do
¾ zbadać zachowanie sie¾ sk÷adnika
°
° udowodnienia twierdzenia 2.7 nalez· y wiec
°b¤(IV ) b¤(IV ) °
°µN;M ¡ µN ° we wzorze (A.6) i pokazać, z· e przy ustalonym (dowolnym) N da¾z· y on do
zera wed÷ug prawdopodobieństwa, gdy M ! 1. Oznaczmy (por. [47], str. 116-117)
1
°
"N , °
1
¤T
° ª ©N ° (N – ustalone)
N
N
¾
102
Z w÷asności (2.61) wynika, z· e
°µ
¶ µ
¶°
° 1 ¤T
°
1
¤T
°
°
b
° N ªN;M ©N ¡ N ªN ©N ° ! 0 wed÷ug prawdopodobieństwa
gdy M ! 1, a w szczególności
½°µ
¶ µ
¶°
¾
° 1 ¤T
°
1 ¤T
°
°
b
lim P °
©N ¡
ª
ª ©N ° < "N = 1
M!1
N N;M
N N
Oznaczajac
¾ dalej
rM
°³
´ ¡
¢°
° 1 b ¤T
°
1 ¤T
° N ªN;M ©N ¡ N ªN ©N °
°³
³
´ ¡
´
,
¢°
°
° 1 b ¤T
1 ¤T
"N "N ¡ ° N ªN;M ©N ¡ N ªN ©N °
na podstawie twierdzenia Banacha o oszacowaniu normy operacji odwrotnej (patrz [65], tw.
5.8., str. 106) otrzymujemy
(°µ
)
¶¡1 µ
¶¡1 °
° 1
°
1
°
°
b ¤T ©
¡
lim P °
ª
ª¤T
° · rM = 1
N ©N
M!1
° N N;M N
°
N
Poniewaz· rM ! 0 wed÷ug prawdopodobieństwa przy M ! 1, to ostatecznie wnioskujemy,
z· e
° ¤(IV )
°
¤(IV ) °
°b
µN ° ! 0 wed÷ug prawdopodobieństwa
°µN;M ¡ b
gdy M ! 1 dla kaz· dego N.
A.7
Dowód twierdzeń 3.1 – 3.3
Zapiszmy prawdziwy wektor parametrów systemu (por. (3.5)) i jego estymator (3.9) w
nastepuj
¾ acej
¾ postaci
c = AN0 WN0
c N0 ;M
b
cN0 ;M = AN0 W
gdzie
¢¡1 T
¡
AN0 = ©TN0 ©N0
©N0
jest macierza¾ losowa¾ o ustalonych wymiarach i ograniczonych elementach. Dowolna¾ norme¾
(ozn. k k) macierzy AN0 moz· na zatem oszacować od góry, tzn. istnieje sta÷a 0 < C < 1
taka, z· e
kAN0 k · C
Stad
¾ zachodzi
°
°³
³
´°
´°
°
°
° c
c N0 ;M ¡ WN0 °
kb
cN0 ;M ¡ ck = °AN0 W
¡
W
° · kAN0 k ° W
N0 ;M
N0 ° ·
°³
´°
° c
°
· C ° WN0 ;M ¡ WN0 °
103
¾
Z kolei na podstawie równowaz· ności norm istnieje takie 0 < ® < 1, z· e
°³
°³
´°
´°
° c
°
° c
°
° WN0 ;M ¡ WN0 ° · ® ° WN0 ;M ¡ WN0 °
1
gdzie kxk1 ,
Pdim x
i=1
jx[i]j. Stad
¾ otrzymujemy
kb
cN0 ;M ¡ ck · ®C
= ®C
· ®C
N0
X
jb
¹M (uk ) ¡ ¹(uk )j = ®C
k=1
N0 ¯
X
N0 ¯
¯
X
¯ b
bM (0)) ¡ (R(uk ) ¡ R(0))¯¯ =
¯(RM (uk ) ¡ R
k=1
¯
¯
¯ b
b
¯(RM (uk ) ¡ R(uk )) + (R(0) ¡ RM (0))¯ ·
k=1
N0 ³¯
X
k=1
¯ ¯
¯´
¯b
¯ ¯ b
¯
¯RM (uk ) ¡ R(uk )¯ + ¯(RM (0) ¡ R(0))¯
(A.7)
Jak pokazano w pracach [28] i [29], przy warunkach (3.10) dotyczacych
h(M ) oraz M ! 1
¾
zachodzi zbiez· ność
¯
¯
¯b
¯
¯RM (uk ) ¡ R(uk )¯ ! 0 wed÷ug prawdopodobieństwa
1
Ponadto jeśli h(M) = O(M ¡ 5 ) to przy za÷oz· eniu 3.2 (str. 58)
¯
¯
2
¯
¯b
¯RM (uk ) ¡ R(uk )¯ = O(M ¡ 5 ) wed÷ug prawdopodobieństwa
(A.8)
Korzystajac
¾ z faktu, iz· N0 jest ustalone (skończone), na podstawie w÷asności (A.7) i (A.8)
otrzymujemy przy M ! 1 zbiez· ność
kb
cN0 ;M ¡ ck ! 0
1
oraz przy h(M ) = O(M ¡ 5 )
2
kb
cN0 ;M ¡ ck = O(M ¡ 5 )
A.8
o
n
(1)
Zarówno procesy Ã k;w = Rw (uk ) (ograniczone bia÷e szumy), jak i procesy fxik g (patrz
wzory (4.17) i (4.19)) spe÷niaja¾ za÷oz· enia twierdzenia B.5 na str. 109. Zachodzi wiec
¾
nastepuj
aca
zbie
z
ność
z
prawdopodobieństwem
1
(równie
z
wed÷ug
prawdopodobieństwa)
gdy
¾
¾
·
·
N !1
N
1 X i (1)
(1)
xk Ã k;w ! Exik Ã k;w
N k=1
(A.9)
gdzie
Exik Ã (1)
k;w = E(Ri (uk ) + ± i;k )Rw (uk ) = ERi (uk )Rw (uk ) + E± i;k Rw (uk ) =
= Exi+w
+ Eu E f(± i;k Rw (uk ))juk = ug = Exi+w
+ Eu fRw (u)E (± i;k juk = u)g =
k
k
i+w
i+w
= Exk + Eu fRw (u) (Rw (u) ¡ Rw (u))g = Exk
104
¾
a zatem
(1)
(1)
EÃ k ÁTk = EÃ k ÁTk
(A.10)
Na mocy (A.10), w÷asności (4.21) i lematu B.6 (str. 108) otrzymujemy
(1)
det(EÃ k ÁTk ) 6= 0
co ÷acznie
z (A.9) daje warunek (C1). W analogiczny sposób (patrz w÷asności (4.17) i (4.20))
¾
wnioskujemy, z· e
N
1 X
(1)
(1)
dk Ã k;w ! Edk Ã k;w
N k=1
(A.11)
z prawdopodobieństwem 1, gdy N ! 1 oraz na podstawie (4.8) i (4.13)
(1)
(1)
(A.12)
Edk Ã k;w = Edk EÃ k;w = 0
czyli postulat (C2) jest równiez· spe÷niony.
A.9
(2)
Ze wzgledu
¾ na w÷asności (4.20) i (4.18) oraz fakt, iz· elementy Ã k;w = (¯uk )w sa¾ ograniczonymi
bia÷ymi szumami, na podstawie twierdzenia B.5 (str. 109) otrzymujemy
N
1 X (2) T
(2)
Ã k Ák ! EÃ k ÁTk
N
k=1
z prawdopodobieństwem 1 (równiez· wg prawdopodobieństwa) gdy N ! 1. Przy za÷oz· eniu
4.6 (str. 71)
(2)
detfEÃ k ÁTk g 6= 0
czyli postulat (C1) jest spe÷niony. Podobnie (patrz w÷asności (4.17) i (4.20)) wnioskujemy,
z· e
3
2
E(¯u)d
6 E(¯u)2 d 7
N
7
6
1 X
(2)
(2)
7
::::
dk Ã k ! Edk Ã k = 6
7
6
N k=1
W
4 E(¯u) d 5
Ed
z prawdopodobieństwem 1, gdy N ! 1 oraz na podstawie (4.8) i (4.13)
(2)
Edk Ã (2)
k = Edk EÃ k = 0
czyli postulat (C2) jest równiez· spe÷niony.
105
¾
A.10
Schemat dowodu twierdzenia 4.3
Zapiszmy b÷ad
¾ estymacji estymatora (4.36) w postaci
(IV )(2)
¢N;M
(IV )(2)
gdzie pbN
=
³
, pbN;M
1 (2)T
ª ©N
N N
(IV )(2)
´¡1
(IV )(2)
¢N;M
(IV )(2)
¡ p = pbN;M
1 (2)T
ª YN
N N
(IV )(2)
¡ pbN
(IV )(2)
+ pbN
¡p
(patrz (4.29)). Dla dowolnej normy k k mamy
° °
°
°
° (IV )(2)
° (IV )(2)
°
(IV )(2) °
· °pbN;M ¡ pbN
¡ p°
° + °pbN
Na podstawie twierdzenia 4.2
°
°
°
° (IV )(2)
¡ p° ! 1,
°pbN
wg prawdopodobieństwa
gdy N ! 1. Aby udowodnić twierdzenie 4.3 wystarczy zatem pokazać, z· e przy ustalonym
N iM !1
(IV )(2)
pbN;M
(IV )(2)
! pbN
,
Technika dowodzenia – jak w dodatku A.6.
wg prawdopodobieństwa
Dodatek B
Podstawowe fakty z algebry i
statystyki matematycznej zastosowane
w pracy
B.1
Rozk÷ad SVD macierzy
Twierdzenie B.1 [60] Dla kaz·dej macierzy A 2 Rm;n istnieja¾ takie macierze ortogonalne
U 2 Rm;m , V 2 Rn;n , z·e
UT AV = § = diag(¾ 1 ; :::; ¾ l )
(B.1)
gdzie l = min(m; n), oraz przy r = rank(A)
¾ 1 ¸ ¾ 2 ¸ ::: ¸ ¾ r > 0
¾ r+1 = ::: = ¾ l = 0
Liczby ¾ 1 ; :::; ¾ l sa¾ określone przez A jednoznacznie i nazywaja¾ sie¾ wartościami szczególnymi
macierzy A. Rozwiazuj
A, otrzymujemy równość
¾ ac
¾ równanie (B.1) wzgledem
¾
T
A = U§V =
r
X
ui ¾ i viT
i=1
=
r
X
¾ i ui viT
(B.2)
i=1
gdzie ui i vi oznaczaja¾ i-te kolumny odpowiednio macierzy U i V. Rozk÷ad SV D macierzy
A dany wzorem (B.2) jest jednoznaczny [60].
B.2
Faktoryzacja macierzy
Twierdzenie B.2 [98] Kaz·da¾ dodatnio określona¾ i symetryczna¾ macierz M moz·na przedstawić w postaci
M = PPT
gdzie P jest macierza¾ nieosobliwa¾ (nazywana¾ pierwiastkiem macierzy M).
106
PODSTAWOWE FAKTY Z ALGEBRY I STATYSTYKI MATEMATYCZNEJ
B.3
107
Lemat o dwóch macierzach
Lemat B.1 (dowód – patrz [125]) Niech M1 i M2 bed
a macierzami o takich samych wymi¡ T
¢¡1 ¡ T ¾ ¾ ¢¡1
¡
¢¡1
arach. Jez·eli istnieja¾ odwrotności: M1 M1 , M1 M2
oraz MT2 M1 , to macierz
¡
¢¡1 T
¡
¢¡1 ¡ T
¢¡1
M2 M2 MT1 M2
¡ M1 M1
DN = MT2 M1
jest dodatnio pó÷określona tzn. dla kaz·dego wektora ³ zachodzi:
³ T DN ³ ¸ 0
B.4
Zbiez· ność z prawdopodobieństwem 1, zbiez· ność
wed÷ug prawdopodobieństwa i zbiez· ność wed÷ug
średniej z kwadratem
De…nicja B.1 [13] Ciag
¾ zmiennych losowych f{k g jest przy k ! 1 zbiez·ny z prawdopodobieństwem 1 (mocno) do { ¤ jeśli zachodzi
P ( lim {k = { ¤ ) = 1
k!1
¾ zmiennych losowych f{k g jest przy k ! 1 zbiez·ny wed÷ug prawdopodobieństwa (s÷abo) do { # jeśli dla kaz·dego " > 0 zachodzi
¯
¯
lim P (¯{k ¡ { # ¯ > ") = 0
k!1
Wartość { # nazywamy granica¾ stochastyczna¾ ciagu
¾ f{k g i zapisujemy
P lim {k = { #
k!1
(B.3)
Zapis P limN !1 XN = X dla sekwencji wektorów losowych fXN g, oznacza, z· e XN ! X
wed÷ug prawdopodobieństwa, gdy N ! 1.
Lemat B.2 Ze zbiez·ności z prawdopodobieństwem 1 wynika zbiez·ność wed÷ug prawdopodobieństwa.
¾ zmiennych losowych f{k g jest przy k ! 1 zbiez·ny wed÷ug średniej z kwadratem do { ¤ jeśli zachodzi
lim E({k ¡ { ¤ )2 = 0
k!1
¾ zmiennych losowych f{k g ma szybkość zbiez· ności rzedu
¾ O(ek )
wed÷ug prawdopodobieństwa przy k ! 1 (tj. asymptotycznie), gdzie fek g jest ciagiem
¾
liczb dodatnich zbiez·nym do zera, tzn.
{k = O(ek ) wed÷ug prawdopodobieństwa
o
wtedy i tylko wtedy, gdy {ekk Âk jest zbiez·ny wed÷ug prawdopodobieństwa do zera dla kaz·dego
ciagu
¾ liczbowego fÂk g, takiego z·e limk!1 Âk = 0.
n
¾ zmiennych losowych f{k g ma szybkość zbiez· ności rzedu
¾ O(ek )
wed÷ug średniej z kwadratem przy k ! 1 jez·eli sta÷a 0 · c < 1, taka, z·e
E{k2 · cek
p
Lemat B.3 [27] Jez·eli {k = O(ek ) wed÷ug średniej z kwadratem, to {k = O( ek ) wed÷ug
prawdopodobieństwa.
B.5
108
Twierdzenie S÷uckiego
Twierdzenie B.3 ([98], [72] str. 397) Jez·eli P limk!1 {k = { # to dla kaz·dej funkcji
ciag÷ej
g() zachodzi
¾
P lim g({k ) = g({ # )
k!1
B.6
Nierówność Czebyszewa
Lemat B.4 ([13], str. 106) Dla dowolnej sta÷ej c, zmiennej losowej X i dowolnego " > 0
zachodzi
1
P fjX ¡ cj > "g · 2 E (X ¡ c)2
"
W szczególności dla c = EX
P fjX ¡ EXj > "g ·
B.7
1
varX
"2
Ustawiczność pobudzania
De…nicja B.6 ([107]) Proces stacjonarny f®k g nazywamy silnie ustawicznie pobudzajacym
¾
rzedów
n £ m, (ozn. SP E(n; m) – ang. strongly persistently exciting) jez·eli macierz
¾
2
32
3T
{k
{k
54
5
:
:
R{ (n; m) = E 4
{k¡n+1
{k¡n+1
£
¤T
gdzie {k = ®k ®2k :: ®m
, jest pe÷nego rzedu:
¾
k
Lemat B.5 ([107]) Proces f®k g typu iid jest silnie ustawicznie pobudzajacy
¾ dla dowolnych
rzedów
n i m.
¾
Lemat B.6 ([107]) Za÷óz·my, z·e xk = H(q¡1 )uk , gdzie H(q ¡1 ) oznacza asymptotycznie stabilny …ltr, zaś fuk g jest sekwencja¾ liczb losowych o skończonej wariancji. Jeśli funkcja
gestości
widmowej procesu fuk g jest dodatnia w przynajmniej m + 1 róz·nych punktach, wtedy
¾
fxk g jest SP E(n; m) dla dowolnego n.
B.8
Procesy ergodyczne
De…nicja B.7 ([103], str. 605) Ściśle stacjonarny proces stochastyczny f{k g nazywamy
ergodycznym wzgledem
momentów pierwszego i drugiego rzedu,
jeśli
¾
¾
N
1 X
{k ! E{k
N k=1
N
1 X
{k {k+¿ ! E{k {k+¿
N k=1
z prawdopodobieństwem 1 dla N ! 1.
109
Twierdzenie B.4 (patrz [86], lub [103] str. 606) Za÷óz·my, z·e f{k g jest dyskretnym procesem stacjonarnym o skończonej wariancji. Jeśli funkcja kowariancji r{ (¿ ) ! 0 dla j¿ j ! 1,
to
N
1 X
{k ! E{
N k=1
(B.4)
z prawopodobieństwem 1, gdy N ! 1:
Twierdzenie B.5 (por. [86], lub [103] str. 607) Jez·eli losowe procesy f{1;k g i f{2;k g
maja¾ skończone momenty czwartego rzedu
¾ oraz ich funkcje autokowariancji r{1 (¿ ) ! 0 i
r{ 2 (¿ ) ! 0 dla j¿ j ! 1 wtedy
N
1 X
{1;k {2;k ! E{1;k {2;k
N k=1
z prawdopodobieństwem 1, gdy N ¡! 1.
B.9
Zmody…kowana nierówność trójkata
¾
Lemat
B.7¤ [13] Je
£
£ z·eli X i ¤Y sa¾ k-wymiarowymi wektorami losowymi, wtedy P [kX + Y k > "] 6
P kXk > 2" + P kY k > 2" dla dowolnej normy wektora k²k i kaz·dego " > 0:
Dowód. Zde…niujmy nastepuj
¾ ace
¾ zdarzenia losowe:
A: kX + Y k > "
B: kXk + kY k > "
C: kXk > 2"
D: kY k > 2" .
Z klasycznej nierówności trójkata,
dla dowolnej normy mamy A =) B. Oczywiste jest,
¾
z· e B =) (C ` D): Zatem A ½ B ½ (C ` D) oraz P (A) 6 P (B) 6 P (C ` D) 6
P (C) + P (D).
Dodatek C
Informacja o adresie WWW kodów
źród÷owych programów
Kody źród÷owe wybranych programów komputerowych (skrypty programu STATISTICA) wraz z odpowiednimi instrukcjami umieszczono na stronie internetowej
http://strony.wp.pl/wp/grmz
Pod adresem tym znaleźć moz· na takz· e niniejsza¾ rozprawe¾ w postaci elektronicznej (format PDF ) oraz dotychczasowe publikacje autora.
110
Literatura
[1] H. Akaike, ”A new look at the statistical model identi…cation”, IEEE Transactions on
Automatic Control, vol. AC-19, No. 6, pp.716-723, 1974.
[2] A. Antoniadis, G. Oppenheim, Wavelets and Statistics, Lecture Notes in Statistics,
vol. 103, New York, Springer-Verlag, 1995.
[3] S.A. Billings, S.Y. Fakhouri, ”Identi…cation of nonlinear systems using the Wiener
model”, Automatica, vol. 13, pp. 502-504, 1977.
[4] S.A. Billings, S.Y. Fakhouri, ”Theory of separable processes with application to the
identi…cation of nonlinear systems”, IEEE Proceedings, vol. 125, No. 9, pp. 1051-1058,
1978.
[5] S.A. Billings, S.Y. Fakhouri, ”Identi…cation of a class of nonlinear systems using correlation analysis”, IEEE Proceedings, 125, pp. 691-697, 1978.
[6] S.A. Billings, ”Identi…cation of nonlinear systems - a survey”, IEEE Proceedings, vol.
127, No. 6, pp. 272-285, 1980.
[7] S.A. Billings, S.Y. Fakhouri, ”Identi…cation of nonlinear systems using correlation
analysis and pseudorandom inputs”, International Journal of System Science, vol. 11,
pp. 261-265, 1980.
[8] S.A. Billings, S.Y. Fakhouri, ”Identi…cation of systems containing linear dynamic and
static nonlinear elements”, Automatica, vol. 18, No. 1, pp. 15-26, 1982.
[9] S.A. Billings, ”Structure detection and model validity tests in the identi…cation of
nonlinear systems”, IEEE Proceedings, vol. 130, No. 4, pp. 193-200, 1983.
[10] M. Boutayeb, M. Darouach, ”Recursive identi…cation method for MISO WienerHammerstein Model”, IEEE Transactions on Automatic Control, vol. 40, No. 2, pp.
287-291, 1995.
[11] F. H. I. Chang, R. Luus, ”A non-iterative method for identi…cation using Hammerstein
model”, IEEE Transactions on Automatic Control, vol. AC-16, pp. 464-468, 1971.
[12] S. Chen, S.A. Billings, ”Representations of non-linear systems: the NARMAX model”,
International Journal of Control, vol. 49, No. 3, pp. 1013-1032, 1989.
[13] Y. S. Chow, H. Teicher, Probability theory, Springer-Verlag, New York, 1997.
[14] M. J. Coker, D. M. Simkins, ”A nonlinear adaptive noise canceler”, Proceedings of
ICASSP’80, pp. 470-473, Denver, 1980.
111
LITERATURA
112
[15] J. A. Cristobal, P. F. Roca, W. G. Manteiga, ”A class of linear regression parameter
estimators constructed by nonparametric estimation”, The Annals of Statistics, vol.
15, No. 2, pp. 603-609, 1987.
[16] I. Daubechies, Ten Lectures on Wavelets, Philadelphia, SIAM, 1992.
[17] P. Eykho¤, ”Some fundamental aspects of process parameter estimation”, IEEE Transactions on Automatic Control, vol. AC-18, pp. 347-357, 1963.
[18] H. Fan, T. Söderström, M. Mossberg, B. Carlsson, Y. Zou, ”Estimation of continuoustime AR process parameters from discrete-time data”, IEEE Transactions on Signal
Processing, vol. 47, No. 5, pp. 1232-1244, 1999.
[19] W. Findeisen, Analiza systemowa, podstawy i metodologia, PWN, Warszawa, 1985.
[20] T. Furuya, M. Soeda, ”Practical methods for identi…cation of nonlinear process dynamics with examles of bilinear systems”, Proceedings of the 7th International Conference
2001.
MMAR 2001, pp. 959-965, Miedzyzdroje,
¾
[21] P. G. Gallman, K. S. Nerendra, ”An iterative method for the identi…cation of nonlinear
systems using the Hammerstein model”, IEEE Transactions on Automatic Control, vol.
AC-11, pp. 546-550, 1966.
[22] G. B. Giannakis, E. Serpendin, ”A bibliography on nonlinear system identi…cation”,
Signal Processing, vol. 81, pp. 533-580, 2001.
[23] G. Giunta, G. Jacovitti, A. Neri, ”Bandpass nonlinear system identi…cation by higher
cross correlation”, IEEE Transactions on Signal Processing, vol. 29, pp. 2092-2095,
1991.
[24] R. Glavina, S. Cucchi, G. L. Sicuranza, ”Nonlinear interpolation of TV image sequences”, Electron. Lett., vol. 23 (15), pp. 778-780, 1987.
[25] J. C. Gomez, M. Basualdo, Nonlinear model identi…cation of batch distillation process,
ADCHEM 2000 Pisa, Italy, 2000.
[26] W. Greblicki, A. Krzyz· ak, M. Pawlak, ”Distribution-free pointwise consistency of kernel regression estimate”, The Annals of Statistics, vol. 12, No. 4, pp. 1570-1575, 1984.
[27] W. Greblicki, M. Pawlak, ”Fourier and Hermite series estimates of regression function”,
Annals of The Institute of Statistical Mathematics, vol.37, pp. 443-455, 1985.
[28] W. Greblicki, M. Pawlak, ”Identi…cation of discrete Hammerstein systems using kernel
regression estimates”, IEEE Transactions on Automatic Control, vol.31, pp. 74-77,
1986.
[29] W. Greblicki, M. Pawlak, ”Hammerstein system identi…cation by non-parametric regression estimation”, International Journal of Control, vol. 45, No. 1, pp. 343-354,
1987.
[30] W. Greblicki, M. Pawlak, ”Nonparametric identi…cation of Hammerstein systems”,
IEEE Transactions on Information Theory, vol. 35, No. 2, pp. 409-418, 1989.
[31] W. Greblicki, ”Nieparametryczna identy…kacja systemów”, Archiwum Automatyki i
Robotyki, tom XXXVI, zeszyt 2, strony 277-290, 1991.
LITERATURA
113
[32] W. Greblicki, ”Nonparametric identi…cation of Wiener systems”, IEEE Transactions
on Information Theory, vol. 38, No. 5, pp.1487-1493, 1992.
[33] W. Greblicki, M. Pawlak, ”Cascade non-linear system identi…cation by a nonparametric method”, International Journal of System Science, vol. 25, No. 1, pp.
129-153, 1994.
[34] W. Greblicki, ”Nonparametric identi…cation of Wiener systems by orthogonal series”,
IEEE Transactions on Automatic Control, vol. 10, pp. 2077-2086, 1994.
[35] W. Greblicki, ”Nonlinearity estimation in Hammerstein systems based on ordered observations”, IEEE Transactions on Signal Processing, vol. 44, No. 5, pp. 1224-1233,
1996.
[36] W. Greblicki, ”Nonparametric approach to Wiener system identi…cation”, IEEE Transactions on Circuits and Systems - I: Fundamental Theory and Applications, vol. 44,
No. 6, pp. 538-545, June 1997.
[37] W. Greblicki, ”Continuous-time Wiener system identi…cation”, IEEE Transactions on
Automatic Control, vol. 43, No. 10, pp. 1488-1493, October 1998.
[38] W. Greblicki, Z. Hasiewicz, ”Wavelet identi…cation of Wiener systems”, Proceedings
pp. 323-328, 1997.
of the 5th International Conference MMAR 1997, Miedzyzdroje,
¾
[39] T. Gustafsson, ”Instrumental variable subspace tracking using projection approximation”, IEEE Transactions on Signal Processing, vol. 46, No. 3, pp. 669-681, 1998.
[40] R. Haber, P. Zeirfuss, ”Identi…cation of an electrically heated heat exchanger by several
nonlinear models using di¤erent structures and parameter estimation methods”, Reports – Institute of Machine and Process Automation, Technical University of Vienna,
Austria, 1988.
[41] R. Haber, ”Structural identi…cation of block oriented models on the estimated Volterra
kernels”, International Journal of System Science, vol.20, pp. 1355-1380, 1989.
[42] R. Hakvoort, P. Van den Hof, ”Identi…cation of probabilistic system uncertainty regions
by explicit evaluation of bias and variance errors”, IEEE Transactions on Automatic
Control, vol. 42, No. 11, pp. 1516-1528, 1997.
[43] E. J. Hannan, M. Deistler, The statistical theory of linear systems, J. Wiley & Sons,
New York, 1998.
[44] Z. Hasiewicz , ”Identi…ability of large-scale interconnected linear zero-memory systems.”, International Journal of System Science, vol.18, No.4, pp. 649-664, 1987.
[45] Z. Hasiewicz , ”Identi…cation of a linear system observed through zero-memory nonlinearity”, International Journal of System Science, vol.18, pp. 1595-1607, 1987.
[46] Z. Hasiewicz, ”Applicability of least-squares to the parameter estimation of largescale no-memory linear composite systems.”, International Journal of System Science,
vol.20, No. 12, pp. 2427-2449, 1989.
[47] Z. Hasiewicz, ”Identy…kacja sterowanych systemów o z÷oz· onej strukturze”, Prace
Naukowe Instytutu Cybernetyki Technicznej Politechniki Wroc÷awskiej, Seria: Monogra…e, Nr 22, Wroc÷aw, 1993.
LITERATURA
114
[48] Z. Hasiewicz , ”Informacja wstepna
o systemie, a metody identy…kacji. (dyskusja
¾
i porównanie metod)” , Raport Instytutu Cybernetyki Technicznej Politechniki
Wroc÷awskiej, 1994.
[49] Z. Hasiewicz, ”Hammerstein system identi…cation by the Haar multiresolution approximation”, Internat. J. Adapt. Control Signal Process., vol. 13, No. 8, pp. 691-717, 1999.
[50] Z. Hasiewicz, ”Non-parametric estimation of non-linearity in a cascade time-series
system by multiscale approximation”, Signal Processing, vol. 81. pp. 791-807, 2001.
[51] Z. Hasiewicz, M. Pawlak, ”Nonlinearity recovering by multiresolution analysis”, Proceedings XVIII National Conference on Circuit Theory and Electronic Networks,
Polana Zgorzelisko-Zakopane, vol. 1, pp. 47-52, 1995.
[52] S. S. Haykin, Adaptive …lter theory, Prentice-Hall, 1996.
[53] P. J. Huber, ”Projection pursuit”, The Annals of Statistics, vol. 13, No. 2, pp. 435-475,
1985.
·
[54] Identy…kacja procesu emisji SO 2 kocio÷ OF-450 w EC Zerań,
dokument HTML,
http://www.tt.com.pl/advcon/fuzzyapp.html.
[55] A. Janczak, ”Identy…kacja modeli Wienera metoda¾ najmniejszych kwadratów”, XIII
Krajowa Konferencja Automatyki, t. 1, str. 233-237, Opole, 1999.
[56] A. Janczak, ”Least squares identi…cation of Wiener systems”, Proceedings of the 6th
1998.
International Conference MMAR 2000, pp. 933-939, Miedzyzdroje,
¾
[57] W. Jang , G. Kim, ”Identi…cation of loudspeaker nonlinearities using the NARMAX
modelling technique”, Journal of Audio Engineering Society, vol. 42, No. 1/2, pp.
50-59, 1994.
[58] W. Ka÷asznikow, N. Buslenko, I. Kowalenko, Teoria systemów z÷oz·onych, PWN,
Warszwa, 1979.
[59] E. Karlsson, T. Söderström, P. Stoica, ”The Cramer-Rao lower bound for noisy inputoutput systems”, IEEE Transactions on Signal Processing, vol. 80, pp. 2421-2447,
2000.
[60] A. Kie÷basiński, H. Schwetlick, Numeryczna algebra liniowa, WNT, Warszawa, 1992.
[61] M. J. Korenberg, W. Hunter, ”The identi…cation of nonlinear biological systems:
Wiener and Hammerstein cascade models”, Biol. Cybernet., vol. 55, pp. 125-134, 1986.
[62] Z. Kowalczuk, J. Koz÷owski, ”Integration- and observation-based approaches to identi…cation of continuos-time systems”, Proceedings of the 5th International Conference
1998.
¾
[63] Z. Kowalczuk, J. Koz÷owski, ”Identy…kacja ciag÷ych
modeli obiektów sterowania w
¾
dziedzinie operatora delta”, XIII Krajowa Konferencja Automatyki, t. 1, str. 265-269,
Opole, 1999.
[64] A. Krzyz· ak, ”Global convergence of the recursive kernel regression estimates with
applications in classi…cation and nonlinear system estimation”, IEEE Transactions on
Information Theory, vol. 38 (4), pp. 1323-1338, 1992.
LITERATURA
115
[65] J. Kudrewicz, Analiza funkcjonalna dla automatyków i elektroników, PWN, Warszawa,
1976.
[66] R. Kulikowski, Sterowanie w wielkich systemach, WNT, Warszwa, 1970.
[67] J. Lee, V. J. Mathews, ”A fast recursive least squares adaptive second-order Volterra
…lter and its performance analysis”, IEEE Transactions on Signal Processing, vol. 41
(3), pp. 1087-1102, 1993.
[68] L. Ljung, System identi…cation: theory for user, Prentice Hall, Englewood Cli¤s, 1987.
[69] L. Ljung, U. Forssell, ”An alternative motivation for the indirect approach to closedloop identi…cation”, IEEE Transactions on Automatic Control, vol. 44, No. 11, pp.
2206-2209, 1999.
[70] M. ×awryńczuk, J. Pu÷aczewski, ”Sterowanie kolumny destylacyjnej w oparciu o model
Wienera”, XIII Krajowa Konferencja Automatyki, t. 2, str. 35-41, Opole, 1999.
[71] K. Mańczak, Metody identy…kacji wielowymiarowych obiektów sterowania, WNT,
Warszawa, 1979.
[72] K. Mańczak, Z. Nahorski, Komputerowa identy…kacja obiektów dynamicznych, PWN
Warszawa, 1983.
[73] P. Z. Marmarelis, U. I. Naha, ”Identi…cation of biological systems”, IEEE Transactions
on Biomedical Engineering, BME-21, pp. 88-101, 1974.
[74] G. Mzyk, Analiza porównawcza algorytmów identy…kacji systemów o z÷oz·onej strukturze, Praca Magisterska, Instytut Cybernetyki Technicznej Politechniki Wroc÷awskiej,
Wroc÷aw, 1998.
[75] G. Mzyk, ”Zastosowanie metody zmiennej pomocniczej do identy…kacji systemów o
z÷oz· onej strukturze”, XIII Krajowa Konferencja Automatyki, t. 1, str. 253-257, Opole,
1999.
[76] G.Mzyk, Identy…kacja systemów o z÷oz·onej strukturze (przeglad
¾ zadań i metod), Raport serii: Sprawozdania nr 13/99, Instytut Cybernetyki Technicznej Politechniki
Wroc÷awskiej, Wroc÷aw, 1999.
[77] G. Mzyk, ”Application of instrumental variable method to the identi…cation of
Hammerstein-Wiener systems”, Proceedings of the 6th International Conference
2000.
¾
[78] G. Mzyk, ”Hammerstein system identi…cation by a semi-parametric method”, Proceedings of the ICSES’2000, Ustroń, 2000.
[79] G. Mzyk, ”Zastosowanie metody zmiennych instrumentalnych do identy…kacji systemów Hammersteina-Wienera”, Pomiary Automatyka Kontrola, Nr 7/8, str. 35-40,
2001.
[80] G. Mzyk, ”Identi…cation of nonlinear systems with correlated input”, Proceedings of
pp. 993-998, 2001.
the 7th IEEE International Conference MMAR 2001, Miedzyzdroje,
¾
[81] G. Mzyk, ”Kernel-based instrumental variables for NARMAX system identi…cation”,
Proceedings of the ICSES’2001, pp. 469-475, ×ódź, 2001.
LITERATURA
116
[82] G. Mzyk, Z. Hasiewicz, ”Parametryczno-nieparametryczna identy…kacja systemów
nieliniowych o strukturze blokowej”, XIV Krajowa Konferencja Automatyki, t. 1, str.
371-376, Zielona Góra, 2002.
[83] G. Mzyk, ”Instrumental variables in Wiener system identi…cation”, Proceedings of the
8th IEEE International Conference MMAR 2002, Szczecin (przyjete
¾ do publikacji).
[84] D. Nesic, G. Bastin, ”Stabilizability and dead-beat controllers for two classes of WienerHammerstein models”, IEEE Transactions on Automatic Control, vol. 44, No. 11, pp.
2068-2071, 1999.
[85] A. Niederliński, Systemy komputerowe automatyki przemys÷owej t.2, WNT, Warszwa,
1985.
[86] B. Ninness, ”Strong laws of large numbers under weak assumptions with application”,
IEEE Transactions on Automatic Control, vol. 45, No. 11, pp.2117-2122, 2000.
[87] K. Nitka-Styczeń, Optymalne sterowanie okresowe procesów z opóźnieniami, Prace
Naukowe Instytutu Cybernetyki Technicznej Politechniki Wroc÷awskiej, Seria: Monogra…e, Nr 100/26, Wroc÷aw, 1999.
[88] S. Osowski, Sieci neuronowe w ujeciu
¾ algorytmicznym, WNT, Warszawa, 1996.
[89] R.K. Otnes, L. Enochson, Analiza numeryczna szeregów czasowych, WNT, Warszawa,
1978.
[90] M. Ouladsine, A. Hajjaji, A. Rachid, ”Identi…cation of interconnected multiple-input
multiple-output systems: application to a multiple-input multiple-output thermal process”, International Journal of System Science, vol. 30, No. 7, pp. 779-785, 1999.
[91] A. Owen, ”Assessing linearity in high dimensions”, The Annals of Statistics, vol. 28,
No. 1, pp. 1-19, 2000.
[92] M. Pawlak, Z. Hasiewicz, ”Nonlinear system identi…cation by the Haar multiresolution
analysis”, IEEE Transactions on Circuits and Systems, vol. 45, No. 9, pp. 945-961,
1998.
[93] P. Phillips, V. Solo, ”Asymptotics for linear processes”, The Annals of Statistics, vol.
20, No. 2, pp. 971-1001, 1992.
[94] E. Rafaj÷owicz, ”Optimal input signals for parameter estimation in linear distributed parameter systems”, International Journal of Sysystem Science, vol. 13, pp 799 - 808,
1982.
[95] E. Rafaj÷owicz, E. Skubalska-Rafaj÷owicz, ”FFT in calculating nonparametric regression estimate based on trigonometric series”, Applied Mathematics and Computer Science, vol. 25, No 11, pp. 2031-2038, 1994.
[96] E. Rafaj÷owicz, Algorytmy planowania eksperymentu z implementacjami w środowisku
Mathematica, Akademicka O…cyna Wydawnicza PLJ, Warszawa, 1996.
[97] J. Ragot, D. Mielcarek, ”Recursive identi…cation of multi-variable interconnected systems”, International Journal of System Science, vol. 23, No. 6, pp. 987-1000, 1992.
[98] C. R. Rao, Modele liniowe statystyki matematycznej, PWN, Warszawa, 1982.
LITERATURA
117
[99] R. F. Sengel, S. S. Mulgund, ”Optimal nonlinear estimation for aircraft ‡ight control
in wind shear”, Automatica, vol. 32, No. 1, pp. 3-14, 1996.
[100] T. Söderström, H. Fan, B. Carlsson, S. Bigi, ”Least squares parameter estimation of
continuous-time ARX models from discrete-time data”, IEEE Transactions on Automatic Control, vol. 42, No. 5, pp. 659-673, 1997.
[101] T. Söderström, P. Stoica, ”Comparison of some instrumental variable methods – consistency and accuracy aspects”, Automatica, vol. 17, pp. 101-115, 1981.
[102] T. Söderström, P. Stoica, Instrumental variable methods for system identi…cation, Lecture Notes in Control and Information Sciences, 57, Springer Verlag, Berlin, 1983.
[103] T. Söderström, P. Stoica, Identy…kacja systemów, WNT Warszwa, 1997.
[104] T. Söderström, P. Stoica, ”Instrumental variable methods for system identi…cation”,
Circuits Systems Signal Processing, vol. 21, No. 1, pp. 1-9, 2002.
[105] T. Söderström, W. Zheng, P. Stoica, ”Comments on least-squares-based algorithm for
identi…cation of stochastic linear systems”, IEEE Transactions on Signal Processing,
vol. 47, No. 5, pp. 1395-1396, 1999.
[106] P. Stoica, T. Söderström, ”Bias correction in least-squares identi…cation”, International
Journal of Control, vol. 35, No. 3, pp. 449-457, 1982.
[107] P. Stoica, T. Söderström, ”Instrumental variable methods for identi…cation of Hammerstein systems”, International Journal of Control, vol. 35, No. 3, pp. 459-476, 1982.
[108] P. Stoica, ”On the convergence of an iterative algorithm used for Hammerstein system
identi…cation”, IEEE Transactions on Automatic Control, vol. 26, pp. 967-969, 1989.
[109] P. Śliwiński, Algorytmy identy…kacji systemów nieliniowych za pomoca¾ falek,
(Rozprawa doktorska), Instytut Cybernetyki Technicznej Politechniki Wroc÷awskiej,
Raport serii: PREPRINTY nr 82/2000, Wroc÷aw, 2000.
[110] E. J. Thomas, ”Some considerations on the application of the Volterra representation
of nonlinear networks to adaptive echo cancelers”, Bell Systems Tech. Journal, vol. 50,
pp. 2797-2805, 1971.
[111] A. Tiano, A. Zirilli, ”Non linear identi…cation of a brushless motor”, Proceedings of
the 7th International Conference MMAR 2001, pp. 977-981, Miedzyzdroje, 2001.
[112] D. Uciński, ”Optimal location of scanning sensors for parameter identi…cation of distributed systems from noisy experimental data ”, System - Modelling - Control : 9th
International Symposium, (CD-ROM). Zakopane, Polska, 1998.
[113] D. Uciński, ”Odporne planowanie po÷oz· eń czujników pomiarowych w estymacji
parametrów uk÷adów z czasoprzestrzenna¾ dynamika”,
¾ XIII Krajowa Konferencja Automatyki : Materia÷y konferencyjne. O…cyna Wydaw. Politechniki Opolskiej - T. 1, s.
289–292, Opole, 1999.
[114] D. Uciński, Measurement optimization for parameter estimation in distributed systems,
Zielona Góra : Technical University Press (Monogra…e), 1999.
LITERATURA
118
[115] D. Uciński, ”Optimal sensor location for parameter estimation of distributed processes
”, International Journal of Control, vol. 73, No. 13, pp. 1235–1248, 2000.
[116] P. Van den Hof, P. Heuberger, J. Bokor, ”System identi…cation with generalized orthonormal basis functions”, Automatica, vol. 31, No. 12, pp. 1821-1834, 1995.
[117] G. Vandersteen, J. Schoukens, ”Measurement and identi…cation of nonlinear systems
consisting of linear dynamic blocks and one static nonlinearity”, IEEE Transactions
on Automatic Control, vol. 44, No. 6, pp. 1266-1271, 1999.
[118] J. Vörös, ”Iterative algorithm for parameter identi…cation of Hammerstein systems
with two-segment nonlinearities”, IEEE Transactions on Automatic Control, vol. 44,
No. 11, pp. 2145-2149, 1999.
[119] Q.-G. Wang, T.-H. Lee, J.-B. He, ”Internal stability of interconnected systems”, IEEE
Transactions on Automatic Control, vol. 44, No. 3, pp. 593-596, 1999.
[120] E. Wei-Bai, ”An optimal two-stage identi…cation algorithm for Hammerstein-Wiener
nonlinear systems”, Automatica, vol.34, No.3, pp. 333-338, 1998.
[121] E. Wei-Bai, Y. Ye, ”Constrained logarithmic least squares in parameter estimation”,
IEEE Transactions on Automatic Control, vol. 44, No. 1, pp. 182-186, 1999.
[122] A. D. Wentzell, Wyk÷ady z teorii procesów stochastycznych, PWN, Warszawa, 1980.
[123] E. Weyer, R. Williamson, I. Mareels, ”On the relationship between behavioural and
standard methods for system identi…cation”, Automatica, vol. 34, No. 6, pp. 801-804,
1998.
[124] P. Wojtaszczyk, A mathematical introduction to wavelets, Cambridge University Press,
1997.
[125] K. Wong, E. Polak, ”Identi…cation of linear discrete time systems using the instrumental variable method”, IEEE Transactions on Automatic Control, vol. AC-12, No.
6, pp. 707-718, 1967.
[126] M.-W. Zhao, Y.-Z. Lu, ”Parameter identi…cation and convergence analysis based on the
least-squares method for a class of nonlinear systems Part 1. SISO case”, International
Journal of System Science, vol. 22, No. 1, pp. 33-48, 1991.
[127] Y. K. Zhang, E. Wei-Bai, ”Simulation of spring discharge from a limestone aquifer in
Iowa”, Hydrogeology Journal, No. 4, pp. 41-54, 1996.
[128] W.-X. Zheng, C.-B. Feng, ”Identi…cation of stochastic time lag systems in the presence
of colored noise”, Automatica, vol. 26, No. 4, pp. 769-779, 1990.
[129] W.-X. Zheng, ”On a least-squares-based algorithm for identi…cation of stochastic linear
systems”, IEEE Transactions on Signal Processing, vol. 46, No. 6, pp. 1631-1638, 1998.

PARAMETRYCZNA IDENTYFIKACJA SYSTEMÓW O Z×O ·ZONEJ

Transkrypt

Podobne dokumenty

Hipoteza Uzasadniania - PFK

Adaptacje ludzkiego umysłu do „wojny” informacyjnej - PFK

Seks, cudzołóstwo i rozwód (2012)

Szkice Humanistyczne - Olsztyńska Szkoła Wyższa im. Józefa