ZAJĘCIA VI Estymator LS - własności i implementacje

Komputerowa identyfikacja obiektów
ZAJĘCIA VI
Estymator LS - własności i implementacje
• Dokładność wyników identyfikacji (jakość estymatora)
• Dokładność estymatora LS
• Iteracyjne obliczenia estymat LS
• Obliczenia dla obiektów o zmiennych parametrach
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
DOKŁADNOŚĆ ESTYMATORA – OBCIĄŻENIE I ROZRZUT (WARIANCJA)
W pojedynczych przypadkach oszacowania parametru θ za pomocą estymatora θ̂ są obarczone błędem
przypadkowym δ, czyli:
θ̂ = θ + δ
Parametry losowe błędu δ określają jakość estymatora.
Estymator nazywamy nieobciążonym jeśli wartość oczekiwana oszacowań jest równa θ, tzn.:
E ⎡⎣θˆ ⎤⎦ = E [θ + δ ] = θ + E [δ ] = θ
Jeżeli E ⎡⎣θˆ ⎤⎦ ≠ θ , to mamy do czynienia z estymatorem obciążonym, a wielkość
b = E [δ ] = E ⎡⎣θˆ ⎤⎦ − θ
jest nazywana obciążeniem estymatora.
Estymator nieobciążony nazywamy efektywnym, jeśli posiada on najmniejszą macierz kowariancji estymat
parametrów ze wszystkich estymatorów nieobciążonych tej samej wielkości operujących na tych samych danych.
Ćwiczenie: Obciążenie i wariancja estymatora.
Który z estymatorów (sądząc ze zbioru estymat ‘ο’ parametru o wartości ‘•’) jest obciążony lub nieobciążony, ma
większą lub mniejszą wariancję?
1
Katedra Metrologii AGH
2
3
Kraków 2006
Komputerowa identyfikacja obiektów
OPIS DOKŁADNOŚCI WIELOWYMIAROWEGO WYNIKU ESTYMACJI (WEKTORA PARAMETRÓW)
Pomiar wielowymiarowy, kiedy wynikiem pomiaru jest zestaw wartości kilku wielkości mierzonych jednocześnie,
wymaga rozszerzenia opisu błędów i miar tych błędów. Jeśli przedstawimy wynik pomiaru w postaci wektora
wartości poszczególnych wielkości mierzonych, to opis błędu będzie miał postać macierzową uwzględniającą
wektor błędów systematycznych b oraz rozrzut poszczególnych elementów wektora wyników i współzależność
losową elementów wektora wyniku opisane macierzą kowariancji Σ.
b = E [δ ]
Σ = E ⎡( δ − b )( δ − b ) ⎤
⎣
⎦
Odpowiednikiem przedziału rozrzutu wartości jest w przypadku wielowymiarowym ograniczony przez pewną
δ = θˆ − θ
hiperpowierzchnię obszar, którego punkty spełniają nierówność:
T
(δ − b)
T
Σ −1 ( δ − b ) < 1
W przypadku dwuwymiarowym hiperpowierzchnią ograniczającą jest elipsa, której wymiary i położenie są określone
przez wektor błędu systematycznego b i macierz kowariancyjną Σ wyników pomiaru.
^
θ
θ^ 2
2
σ1
_
_
(θ 1,θ 2)
σ2
⎯
√λ 1
⎯
b1 b2 √ λ 2
θ2
^
(θ 1,θ 2)
θ1
θ1
Przykładowa elipsa rozrzutu przy dokładnej wartości wektora parametrów
( θ ,θ ) , wartości oczekiwanej ( θ ,θ ) i pewnej macierzy kowariancji.
1
2
Katedra Metrologii AGH
1
2
θ^ 1
Przykładowy obszar rozrzutu dla wyników pomiarów
(elipsa) i zbiór wyników pomiarów (punkty).
Kraków 2006
Komputerowa identyfikacja obiektów
WŁASNOŚCI ESTYMATORA NAJMNIEJSZEJ SUMY KWADRATÓW
Policzmy obciążenie i macierz kowariancyjną estymatora LS dla modelu pomiarów Y = Uθ + ε , gdzie ε jest
zakłóceniem pomiarowym niezależnym w każdym pomiarze, o zerowej wartości oczekiwanej i stałej wariancji σ 2
we wszystkich pomiarach.
(
E ⎡θˆ ⎤ = E ⎡ UT U
⎣ ⎦
⎣⎢
)
−1
(
UT Y ⎤ = UT U
⎦⎥
)
−1
(
UT E [Uθ + ε ] = UT U
)
−1
UT Uθ = θ
Obciążenie jest więc równe zeru, a sam estymator LS (w założonych warunkach) jest nieobciążony.
Zauważmy z powyższych obliczeń, co będzie przydatne w następnym wyprowadzeniu, że odchyłka δ estymaty
(
może być wyrażona w funkcji zakłóceń ε, tj. δ = θˆ − θ = UT U
)
−1
UT ε .
Kowariancja estymat wynosi:
(
)(
((
)
T
⎡
⎡
⎤
cov ⎡⎣θˆ ⎤⎦ = E ⎢ θˆ − E ⎡⎣θˆ ⎤⎦ θˆ − E ⎡⎣θˆ ⎤⎦ ⎥ = E ⎢ UT U
⎣
⎦
⎣
)
−1
UT ε
) ((
UT U
)
−1
)
T
⎤
UT ε ⎥ = E ⎡ UT U
⎢⎣
⎦
(
)
−1
(
UT εεT U UT U
)
−1
⎤,
⎥⎦
ale
ponieważ
zakładamy identyczny i niezależny rozkład zakłóceń o zerowej wartości oczekiwanej i wariancji σ2 w
poszczególnych pomiarach:
⎡σ 2
⎢
E ⎣⎡εεT ⎦⎤ = cov [ε ] = ⎢
⎢0
⎣
0⎤
⎥
2
⎥ = Iσ (macierz NxN)
σ 2 ⎥⎦
to macierz kowariancyjna estymatora LS (w załóżonych warunkach) ma wartość:
(
cov ⎡⎣θˆ ⎤⎦ = σ 2 UT U
Katedra Metrologii AGH
)
−1
(
UT IU UT U
)
−1
(
= σ 2 UT U
)
−1
(uwaga: niezależna od Y !)
Kraków 2006
Komputerowa identyfikacja obiektów
PODSUMOWANIE WŁASNOŚCI ESTYMATORA LS
Estymator najmniejszej sumy kwadratów LS :
- jest estymatorem nieobciążonym
(
- ma macierz kowariancji estymat cov ⎡⎣θˆ ⎤⎦ = σ 2 UT U
)
−1
,
wtedy, gdy zakłócenia ε pomiarów Y są wzajemnie niezależne, o zerowej wartości oczekiwanej i o tej samej
wariancji i rozkładzie (ang. independent identically distributed, i.i.d.).
Przykład:
Rejestrujemy miernikiem cyfrowym napięcie nierównowagi mostka tensometrycznego w zakresie od 0 do 10[mV] z
precyzją 1% wartości zakresowej. Wielkościami zadawanymi są siła i odchyłka temperatury o wartościach:
F [kN]:
1
2
3
4
5
∆T [K]:
0.5
2
5
1
1.2
Jaką precyzję będą miały estymaty parametrów modelu liniowego ur = k F F + kT ∆T + u0 + ε ?
Konstruujemy macierz U, szacujemy wariancję zakłóceń pomiaru jako σ2=(3*0.01*10[mV])2=9e-8[mV2], liczymy Σ.
>> F=[1
2
3
4
>> dT=[0.5 2
5
1
>> U=[F, dT, ones(size(F))];
>> S=1e-8*inv(U'*U)
S=
1.0e-007 *
0.0100 -0.0003 -0.0294
-0.0003 0.0078 -0.0142
-0.0294 -0.0142 0.1358
5 ]';
1.2]';
Czy to dużo, czy mało ? Zależy od wartości parametrów. Te z kolei wpływają na wartości wyjścia. Lepszy pomiar
wyjścia – lepsze estymaty. Czy z wyliczonej macierzy wynika że estymaty będą skorelowane ?
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
ZASADA ORTOGONALNOŚCI
Estymacja LS spełnia zasadę ortogonalności reszt względem wyjścia modelu:
(
eYˆ = Y − Yˆ
)
T
Yˆ = 0
bo
(
)
(
T
Y − Uθˆ Uθˆ = YT Uθˆ − θˆ T UT Uθˆ = YT Uθˆ − YT U UT U
)
−1
UT Uθˆ = YT Uθˆ − YT Uθˆ = 0
Zauważmy, że ta zależność nie ma charakteru statystycznego. Zawsze wektor reszt będzie prostopadły
(ortogonalny) do przestrzeni rozpinanej przez wektory macierzy wejść ( Uθˆ to liniowa kombinacja tych wektorów z
mnożnikami równymi estymatom parametrów).
Dla
przykładu
rozważmy
trzy
pomiary
obiektu
dwuwejściowego
i
interpretację
geometryczną
układu
Y, Yˆ = Uθˆ , e = Y − Yˆ .
Y
⎡u1(1) u1( 2) ⎤
⎡ y1 ⎤
⎢ (1)
⎥
( 2)
U = ⎢u2 u2 ⎥ , Y = ⎢⎢ y 2 ⎥⎥
⎢ (1)
( 2) ⎥
⎢⎣ y 3 ⎥⎦
u
u
⎢⎣ 3
3 ⎥
⎦
e
u
( 2)
u(1)
Ŷ
Wektor odchyłek jest prostopadły do płaszczyzny rozpinanej przez wektory poszczególnych wejść, na której leży
wektor wyjścia modelu. Suma geometryczna wektora wyjścia modelu i wektora odchyłek daje wektor zmierzonego
wyjścia.
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
IMPLEMENTACJE ESTYMATORA LS
Rozwiązanie układu normalnego (to już było)
(
Obliczenia estymatora LS wg wzoru θˆ = UT U
)
−1
UT Y nie są stosowane w praktyce. Rozwiązanie nadokreślonego
sprzecznego układu równań, jakim jest Uθˆ = Y możliwe jest w sensie najmniejszej sumy kwadratów algorytmem
dekompozycji QR. Wyniki są identyczne jak w przypadku wzoru zamkniętego, a dodatkowo bardziej odporne na
niedokładną reprezentację liczb w komputerze. Samego algorytmu rozwiązania nie będziemy omawiać, bo to
wykracza poza zakres przedmiotu. W Matlabie układ normalny jest rozwiązywany przez dzielenie lewostronne, tj.:
θˆ = U \ Y
co jest zalecanym sposobem rozwiązywania zadania estymacji LS na pełnych macierzach.
Wersja iteracyjna
Rozwiązywanie układu normalnego jest kłopotliwe w systemach komputerowych z małym rozmiarem pamięci (jak
np. systemy sterowania oparte na kontrolerach). Przeszkodą jest tutaj rozmiar macierzy pomiarów U i Y. W celu
obejścia tej trudności opracowano algorytm obliczeń estymatora LS z aktualizacją estymat przy każdym nowym
pomiarze wielkości wejściowych i wyjściowej. Dodatkową jego zaletą jest łatwa modyfikacja w celu identyfikacji
obiektów o zmiennych parametrach, co zobaczymy w dalszej części. Niestety algorytm iteracyjny ma gorszą
dokładność obliczeń numerycznych.
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
WYPROWADZENIE ESTYMATORA LS W POSTACI ITERACYJNEJ
W wyprowadzeniu iteracyjnej postaci estymatora będziemy używać następujących oznaczeń:
Model pomiarów:
Y = Uθ + ε
Wektor wejść w chwili i:
1
n
ui = ⎡ui( ) … ui( ) ⎤
⎣
⎦
Wyjście w chwili i:
y i = y ( i ) (obarczone zakłóceniami)
Klasyczny estymator LS:
(
θˆ = UT U
)
−1
UT Y
Macierze wejść i wyjść w chwilach od 1 do i:
⎡u1(1) u1( 2) … u1( n ) ⎤ ⎡ u ⎤
⎢ (1)
⎥ ⎢ 1⎥
( 2)
(n )
u2 … u2 ⎥ ⎢u2 ⎥
⎢u
Ui = ⎢ 2
⎥ = ⎢ ⎥,
⎢
⎥ ⎢ ⎥
⎢u (1) u ( 2) … u ( n ) ⎥ ⎣ ui ⎦
⎣ i
i
i ⎦
⎡ y1 ⎤
⎢y ⎥
Yi = ⎢ 2 ⎥
⎢ ⎥
⎢ ⎥
⎣ yi ⎦
Macierz wejść w chwilach od 1 do i+1:
⎡u1(1)
⎢ (1)
⎢ u2
⎢
Ui +1 = ⎢
⎢u (1)
⎢ i
⎢⎣ui(+11)
u1(
2)
u2( )
2
ui(
2)
ui(+1)
2
n
… u1( ) ⎤
⎥
(n)
… u2 ⎥
⎥ = ⎡ Ui ⎤
⎥ ⎢u ⎥
( n ) ⎥ ⎣ i +1 ⎦
… ui
⎥
(n) ⎥
… ui +1 ⎦
θ̂ - estymata wektora parametrów θ
n – ilość wejść (estymowanych parametrów)
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
WYPROWADZENIE ESTYMATORA LS W POSTACI ITERACYJNEJ C.D.
Definiujemy podstawową macierz estymatora LS jako :
Pi −1 = Ui T Ui
i wyliczamy postać tej macierzy przy rozszerzeniu macierzy wejść o następny pomiar:
Pi +1−1 = Ui +1T Ui +1 = Pi −1 + ui +1T ui +1
Ze względu na obliczenia estymatora interesuje nas odwrotność macierzy Ui +1T Ui +1 . Korzystając ze wzoru rachunku
macierzowego:
−1
−1
⎡⎣ A + BT B ⎤⎦ = A −1 − A −1BT ⎡⎣1 + BA −1BT ⎤⎦ BA −1
gdzie w naszym przypadku: A = Pi −1 ,
B = ui +1
otrzymujemy:
−1
T
T
⎡
⎤
Pi +1 = Pi − Pu
i i +1 ⎣1 + ui +1Pu
i i +1 ⎦ ui +1Pi
( )
T
Pi +1 = Pi − ηi +1Pu
i i +1 ui +1Pi
*
gdzie wyrażenie
T
⎤
ηi +1 = ⎡⎣1 + ui +1Pu
i i +1 ⎦
−1
jest skalarem.
(
Równanie estymatora LS θˆ = UT U
)
−1
UT Y dla i oraz i+1 próbek możemy zapisać w postaci:
T
θˆ i = PU
i i Yi
θˆ i +1 = Pi +1Ui +1T Yi +1 = Pi +1 ⎡⎣Ui T Yi + ui +1T y i +1 ⎤⎦
Katedra Metrologii AGH
(
**)
Kraków 2006
Komputerowa identyfikacja obiektów
WYPROWADZENIE ESTYMATORA LS W POSTACI ITERACYJNEJ C.D.
Podstawiając równanie (*) do równania (**) otrzymujemy:
T
T
T
T
⎡ T
⎤
θˆ i +1 = PU
i i Yi + Pu
i i +1 y i +1 − ηi +1Pu
i i +1 ui +1Pi ⎣Ui Yi + ui +1 y i +1 ⎦
T
Uwzględniając zależność θˆ i = PU
i i Yi powyższą postać estymatora możemy zapisać w postaci:
θˆ i +1 = θˆ i + Pi +1ui +1T ⎡⎣ y i +1 − ui +1θˆ i ⎤⎦
Po wykorzystaniu nowych obserwacji ui +1 i y i +1 nowa estymata parametrów równa się estymacie poprzedniej
zaktualizowanej o człon poprawkowy. Wyrażenie ⎡⎣ y i +1 − ui +1θˆ i ⎤⎦ jest błędem predykcji nowej obserwacji sygnału
wyjściowego na podstawie ostatniej estymaty parametrów. Nie ma tu potrzeby odwracania macierzy i do
wyznaczenia nowej oceny korzystamy tylko ze „starej wiedzy” zawartej w macierzy Pi i z nowych obserwacji.
Algorytm obliczeń iteracyjnej wersji estymatora LS w kolejnym kroku na podstawie wartości P i θ̂ z
poprzedniego kroku i nowego pomiaru ( u , y ) ma ostatecznie postać:
η = ⎡⎣1 + uPuT ⎤⎦
−1
(skalar)
P = P − ηPuT uP
(macierz nxn)
θˆ = θˆ + PuT ⎡⎣ y − uθˆ ⎤⎦
(wektor nx1)
Początkowa wartość macierzy P może być diagonalna o dużych wartościach na przekątnej lub może być wyliczona
z n początkowych pomiarów. Początkowa wartość wektora θ̂ estymat parametrów może być zerowa.
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
ALGORYTMY OBLICZENIOWE ESTYMATORA LS DLA OBIEKTÓW O ZMIENNYCH PARAMETRACH
LS z przesuwanym oknem
Jeśli parametry identyfikowanego obiektu są zmienne z czasem to rozsądne wydaje się stosowanie klasycznego
(
algorytmu LS θˆ = UT U
)
−1
UT Y do kolejnych porcji N pomiarów. Czyni się więc założenie, że w czasie pomiaru N
próbek parametry nie zmieniają się w sposób istotny. Na takiej zasadzie działa algorytm z przesuwanym oknem,
który wydaje się na tyle prosty, że jego zapis pozostawiamy jako zadanie a przedstawimy tylko schemat działania.
wejścia i wyjście
bufor N próbek
pozycja 1
pozycja 2
pozycja 3
Algorytm LS
(
θˆ = UT U
)
−1
UT Y
estymaty parametrów nr 1
estymaty parametrów nr 2
estymaty parametrów nr 3
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
Algorytm iteracyjny LS z wykładniczym zapominaniem
Jak wspomniano wcześniej, dla obiektów o zmiennych z czasem parametrach (np. rezystancja uzwojeń silnika pod
wpływem temperatury) można stosować iteracyjny estymator LS o zmodyfikowanej postaci. Modyfikacja ma na celu
powolne „zapominanie” przeszłych pomiarów na korzyść pomiarów najnowszych. Osiąga się to przez mnożenie
przeszłych pomiarów przez współczynnik wagowy o malejącej wartości. Zmodyfikowane kryterium najmniejszej
sumy kwadratów ma wtedy postać:
N
T
J = ∑ ⎡ Y − Uθˆ ⎤ W ⎡ Y − Uθˆ ⎤
⎣
⎦
⎣
⎦
i =1
⎡λ N −1
⎢
λ N −2
⎢
gdzie macierz wag W ma postać: W =
⎢
⎢
⎣ 0
0⎤
⎥
⎥
⎥
⎥
λ0 ⎦
gdzie rosnąca potęga współczynnika 0<λ<1 maleje do zera, co daje opisany wyżej efekt ważenia. Sprowadzenie
wynikowego estymatora do postaci iteracyjnej daje algorytm obliczeniowy, tzw. LS z wykładniczym zapominaniem:
η = ⎡⎣ λ + uPuT ⎤⎦
P=
−1
1
⎡⎣P − ηPuT uP ⎤⎦
λ
θˆ = θˆ + PuT ⎡⎣ y − uθˆ ⎤⎦
(skalar)
(macierz nxn)
(wektor nx1)
Zauważmy, jakie zmiany niesie ten algorytm w porównaniu ze zwykłym algorytmem iteracyjnym.
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
ZADANIA
Zadanie 1
Dla rejestracji wejść i wyjścia zawartych w pliku (dane6-1.mat, rozdany na zajęciach) przyjmij model liniowy i oblicz
wg zależności teoretycznej macierz kowariancji estymat parametrów przy estymacji z pierwszych 40 pomiarów.
Wariancję zakłóceń oszacuj z reszt dopasowania. Oszacuj metodą statystyczną macierz kowariancji estymat
parametrów z wyników estymacji z kolejnych porcji 40 pomiarów. Porównaj zawartość obydwu macierzy
kowariancyjnych.
Zadanie 2
Dla rejestracji wejść i wyjścia zawartych w pliku (dane6-2.mat) przyjmij model liniowy i zastosuj wersję estymatora
LS z iteracyjnym zapominaniem. Przedstaw na rysunku wartości estymat parametrów w funkcji numeru iteracji.
Przetestuj różne wartości współczynnika zapominania.
Zadanie 3
Dopasuj algorytm z poprzedniego zadania do estymacji on-line parametrów modelu y = au + b dzielnika
rezystancyjnego o zmiennym stosunku podziału. Kolejne pomiary będą pochodzić z funkcji [u,y]=pomiar()
odwołującej się do karty PCL818 mierzącej napięcie wejściowe u i wyjściowe y dzielnika. W trakcie estymacji
prezentuj na wykresie trajektorię zmian wartości estymat z numerem iteracji. Przetestuj swoją implementację na
dostarczonych danych.
Katedra Metrologii AGH
Kraków 2006
Komputerowa identyfikacja obiektów
LITERATURA
Sydenham P.H., Podręcznik Metrologii, WKiŁ Warszawa 1988 (rozdział 8 pt. Estymacja parametru)
de Larminat P., Thomas Y., Automatyka – układy liniowe, tom 2 Identyfikacja, WNT Warszawa 1983
Mańczak K., Nahorski Z., Komputerowa identyfikacja obiektów dynamicznych, PWN, Warszawa 1983
Bubnicki Z., Identyfikacja obiektów sterowania, PWN, Warszawa 1974
Eykhoff P., Identyfikacja w układach dynamicznych, PWN, Warszawa1980
Zimmer A., Identyfikacja obiektów i sygnałów, Politechnika Krakowska 1998
Katedra Metrologii AGH
Kraków 2006