ZAJĘCIA IX Granice dokładności identyfikacji

Transkrypt

Komputerowa identyfikacja obiektów
ZAJĘCIA IX
Granice dokładności identyfikacji
• Macierz informacyjna Fishera
• Ograniczenie Rao-Craméra
• Dokładność funkcją parametrów
• Elipsoida niepewności estymatora (ufności estymat)
Katedra Metrologii AGH
Kraków 2006
WPROWADZENIE
Decydujące o użyteczności dowolnego estymatora są jego parametry statystyczne – obciążenie i macierz
kowariancyjna. Obciążenie jest systematyczną odchyłką estymat od prawdziwej wartości parametrów, a macierz
kowariancyjna określa rozrzut estymat w poszczególnych eksperymentach identyfikacyjnych. To, który z
parametrów statystycznych ma większe znaczenie zależy od zastosowania wyników identyfikacji. W dziedzinie
automatyki przyjęło się uznawać za dobry taki estymator, który jest nieobciążony i ma możliwie małą wariancję.
Testowanie eksperymentalne własności statystycznych estymatorów jest niepraktyczne, ponieważ nie daje
pewności, że nie istnieje estymator o lepszych własnościach. Stąd wielkie znaczenie mają oszacowania
teoretyczne precyzji estymatorów. Jedno z takich oszacowań, które określa minimalną wariancję (ang. minimum
variance bound, w skrócie MVB) dowolnego estymatora nieobciążonego operującego na określonym zestawie
danych, stanowi nierówność Rao-Craméra. Nie umożliwia ona co prawda oszacowania macierzy kowariancyjnej
estymatora danego w postaci konkretnego algorytmu obliczeniowego, daje jednak informację o własnościach
statystycznych możliwych do uzyskania przy estymacji na posiadanym zbiorze danych.
Podstawą określenia MVB jest znajomość funkcji gęstości prawdopodobieństwa mierzonych próbek sygnałów
obiektu identyfikacji. Sens wyprowadzonych poniżej zależności sprowadza się do określania wrażliwości funkcji
gęstości na zmiany estymowanych parametrów. Estymator, którego macierz kowariancyjna jest równa MVB (tzn.
osiąga najmniejszą możliwą wartość dla posiadanych danych) jest nazywany efektywnym.
Kraków 2006
PRZYKŁAD: Co to znaczy dobry estymator i jak zależy od przyjętego kryterium „dobroci” ?
Zadaniem projektowym jest skonstruowanie optymalnego estymatora wartości oczekiwanej zmiennej losowej x w
postaci średniej z N wartości zmiennej losowej x. Współczynnik a jest parametrem projektowym, który ma być
dobrany dla zapewnienia minimalnej wartości wybranego wskaźnika jakości. Założono, że zmienna losowa x ma
rozkład o parametrach µ i σ2 i niesprecyzowanej postaci.
µˆ =
a N
∑ xi
N i =1
- postać estymatora
b = E [µˆ ] − µ = µ ( a − 1)
- obciążenie
2
⎡1 N ⎤
2σ
var [µˆ ] = a var ⎢ ∑ x i ⎥ = a
N
⎣ N i =1 ⎦
- wariancja
2
Obliczając względem parametru a minimum błędu średniokwadratowego estymacji średniej, otrzymujemy:
σ
2
J = E ⎡( µˆ − µ ) ⎤ = var [ µˆ ] + b 2 = a 2 (
+ µ 2 ) − 2aµ 2 + µ 2
⎣
⎦
N
2
⎛σ 2
⎞
∂J
= 2a⎜⎜
+ µ 2 ⎟⎟ − 2µ 2 = 0
∂a
⎝ N
⎠
a0 =
N
σ
2
µ2 + N
Optymalna wartość a jest zależna od wartości oczekiwanej µ (ta ma być dopiero wyznaczona przez estymację) i
wariancji σ2 zmiennej x. To duża wada tego rozwiązania.
Oczywiście wartość zaprojektowana według wskaźnika jakości zakładającego brak obciążenia (to już wymusza
wartość a0) i zależnego tylko od wariancji estymat wynosi a0=1. Jest to wartość niezależna od µ i σ.
Kraków 2006
MINIMALNA WARIANCJA ESTYMATORA NIEOBCIĄŻONEGO I MACIERZ INFORMACYJNA FISHERA
Okazuje się, że po narzuceniu braku obciążenia estymatora jego wariancja nie może być dowolnie mała dla
określonego zbioru danych pomiarowych. Jest ograniczona od dołu wielkością zależną od macierzy informacyjnej
Fishera i obowiązującą dla każdego estymatora nieobciążonego (o czym później). Macierz informacyjna M jest
zdefiniowana dla funkcji gęstości prawdopodobieństwa L = p ( y; θ ) , gdzie y jest wektorem zmiennych losowych
próbek sygnałów (danych identyfikacyjnych), a θ jest wektorem estymowanych parametrów, od których zależy
funkcja gęstości. Funkcja L określa więc zależność losową między obserwowanymi wartościami sygnałów a
poszukiwanymi parametrami.
Przykład:
Przy stałym napięciu na wejściu wzmacniacza wartość obserwowana na jego wyjściu (zakłócona addytywnym
szumem pomiarowym) będzie miała wartość oczekiwaną zależną od wzmocnienia, ale rozrzut stały, zależny tylko
od wariancji zakłóceń. Funkcja gęstości L będzie więc miała stały kształt i położenie zależne od wzmocnienia.
Macierz informacyjna M występująca w ograniczeniu wariancji jest obliczana z zależności:
⎡⎛ ∂ ln L ⎞T ⎛ ∂ ln L ⎞ ⎤
M = E ⎢⎜
⎟ ⎜
⎟⎥
⎢⎣⎝ ∂ θ ⎠ ⎝ ∂ θ ⎠ ⎥⎦
lub z postaci równoważnej czasem łatwiejszej do obliczeń:
⎡ ∂ 2 lnL ⎤
M = −E ⎢
2 ⎥
⎣ ∂θ ⎦
Kraków 2006
NIERÓWNOŚĆ RAO-CRAMÉRA
Nierówność Rao-Craméra określa dolne ograniczenie MVB macierzy kowariancji dowolnego nieobciążonego
estymatora parametrów θ (wyprowadzenie można znaleźć na przykład w [Kay 1993], lub w [Brandt 1999]):
cov ( θ ) ≥ M−1
Nierówność Rao-Craméra w przypadku więcej niż jednego estymowanego parametru ma charakter macierzowy.
Należy ją wtedy interpretować w sensie nieujemnej określoności różnicy macierzy występujących w nierówności.
MACIERZ INFORMACYJNA - OBLICZENIA
Definicja macierzy informacyjnej jest ogólna. Obowiązuje dla dowolnego rozkładu losowego danych pomiarowych.
Jednak konkretne wnioski o dokładności estymacji można wyciągnąć dopiero po założeniu klasy tego rozkładu.
Dlatego teraz zajmiemy się przypadkami szczególnymi.
Kraków 2006
Przypadek szczególny - zakłócenia o rozkładzie normalnym (gaussowskim)
Załóżmy ogólny model nieliniowy zależności wyjścia obiektu od wejścia, parametrów i zakłóceń:
y = g (u, θ ) + ε
Przyjmijmy model zakłóceń ε w postaci szumu addytywnego o rozkładzie normalnym N(0, V), gdzie V jest macierzą
kowariancji zakłóceń o wymiarach NxN (N jest ilością zakłóconych pomiarów). Łączna (N-wymiarowa) gęstość
prawdopodobieństwa danych pomiarowych jest dla zakłóceń gaussowskich opisana wzorem:
L = p( y; θ ) =
1
( 2π )
N
T
⎛ 1
⎞
exp ⎜ − ⎡⎣ y − g ( u, θ ) ⎤⎦ V −1 ⎡⎣ y − g ( u, θ ) ⎤⎦ ⎟
⎝ 2
⎠
V
gdzie g jest wektorem wartości odpowiedzi modelu g w punktach obserwacji.
Logarytmujemy, zgodnie z definicją macierzy informacyjnej:
ln L = −
T
N
1
1
ln ( 2π ) − ln ( V ) − ⎡⎣ y − g ( u, θ ) ⎤⎦ V −1 ⎡⎣ y − g ( u, θ ) ⎤⎦
2
2
2
Po podwójnym zróżniczkowaniu powyższej zależności względem wektora estymowanych parametrów i
wyznaczeniu wartości oczekiwanej uzyskujemy (szczegóły np. w [Kay 1993]):
T
⎛ ∂g ⎞
⎛ ∂g ⎞
M = ⎜ ⎟ V −1 ⎜ ⎟
⎝ ∂θ ⎠
⎝ ∂θ ⎠
Odwrotność tej wielkości macierzowej jest, zgodnie z nierównością Rao-Craméra najmniejszą możliwą macierzą
kowariancji estymat parametrów.
Kraków 2006
Przypadek szczególny – zakłócenia gaussowskie i model liniowy
Do wyprowadzonej w poprzednim punkcie zależności podstawmy model obiektu statycznego wielowejściowego i
zakłóceń wyjściowych ε nieskorelowanych (o diagonalnej macierzy kowariancyjnej) o rozkładzie normalnym N(0,σ2)
g (u, θ ) = uθ
Zatem, wprowadzone zmiany to uszczegółowienie modelu i przyjęcie diagonalnej macierzy V.
Po zróżniczkowaniu otrzymujemy macierz informacyjną o postaci:
M = σ −2UT U
Zgodnie z nierównością Rao-Cramera dolne ograniczenie macierzy kowariancyjnej wynosi:
(
Σ ≥ σ 2 UT U
)
−1
Identyczne wyrażenie na macierz kowariancji estymat (ale z równością) uzyskaliśmy dla estymacji klasycznym
algorytmem najmniejszej sumy kwadratów. Wnioskujemy, że przy podanych założeniach estymator LS jest
efektywny (wiemy że jest nieobciążony), tzn. osiąga największą możliwą w zadanych warunkach precyzję.
Przykład: Algorytm średniej ruchomej
Jak to już kiedyś liczyliśmy, algorytm średniej ruchomej można przedstawić w sformułowaniu LS przyjmując jako
wejście jedynkę (czyli macierz U będzie wektorem jedynek) i średnią traktując jako parametr skalujący. Wtedy:
1 N
µˆ = ∑ xi
N i =1
⎡1 N ⎤ σ2
var [ µˆ ] = var ⎢ ∑ xi ⎥ =
⎣ N i =1 ⎦ N
Wniosek: klasyczny estymator średniej ruchomej jest bardzo dobry (po kątem wariancji), bo osiąga MVB.
Kraków 2006
JESZCZE O MACIERZY INFORMACYJNEJ FISHERA
Macierz Fishera stanowiąca podstawę MVB jest macierzą kwadratową nieujemnie określoną. Wykażemy teraz, że
dla zakłóceń nieskorelowanych macierze informacyjne dla poszczególnych próbek sygnału y(t) sumują się, co
wynika z własności mnożenia rozkładów niezależnych zmiennych losowych.
Nasze N danych pomiarowych tworzy wektor y = [ y1, y 2 ,…, y N ] . Ponieważ łączny rozkład danych pomiarowych jest
równy
N
p ( y; θ ) = p ( y1; θ ) ⋅ p ( y 2 ; θ ) … p ( y N −1; θ ) ⋅ p ( y N ; θ ) = ∏ p ( y i ; θ )
i =1
to po zlogarytmowaniu uzyskujemy zależność
N
ln p ( y; θ ) = ∑ ln p ( y i ; θ )
i =1
Różniczkowanie powyższego wyrażenia zachowuje postać sumacyjną, więc
⎡ ∂ 2 ln p ( y; θ ) ⎤ N ⎡ ∂ 2 ln p ( y i ; θ ) ⎤ N
M=E⎢
⎥ = ∑E ⎢
⎥ = ∑ Mi
2
2
θ
θ
∂
∂
1
i
=
⎣
⎦
⎣
⎦ i =1
Pewne kłopoty w obliczeniach może sprawiać konieczność liczenia wartości oczekiwanej z wyrażenia pozostałego
po zróżniczkowaniu logarytmicznej funkcji gęstości. Po policzeniu wartości oczekiwanej macierz informacyjna nie
jest już zależna od wektora losowego y, jak pokazano wcześniej dla często używanego rozkładu normalnego
danych pomiarowych.
Kraków 2006
Przykład: Inercja z jednym parametrem τ
Przeprowadźmy przykładowe obliczenia tej macierzy dla prostego przypadku obiektu dynamicznego. Obiektem
identyfikacji jest układ inercyjny pierwszego rzędu o transmitancji G ( s ) =
1
, z estymowanym parametrem τ.
1+ τ s
Sygnał pobudzający jest skokiem jednostkowym u(t)=1(t). Addytywne zakłócenia pomiarowe na wyjściu obiektu
mają rozkład normalny N(0,σ2), a więc mają charakter i.i.d. Próbki pomiarowe odpowiedzi tego obiektu są
zmiennymi losowymi wyrażonymi wzorem
−
ti
yi = 1− e ,
i = 1,…, N
τ
Macierz informacyjna zgodnie ze wzorem dla zakłóceń o rozkładzie normalnym i zasadą sumowania macierzy
informacyjnych dla poszczególnych próbek ma w tym przypadku postać skalarną (jeden estymowany parametr)
M=σ τ
−2 −4
N
∑t
i =1
2
i
e
−2
ti
τ
Przy założeniu, że próbkowanie jest prowadzone ze stałym okresem próbkowania Tp, tj. po podstawieniu za i-ty
moment próbkowania ti = i ⋅Tp, i=1,...,N, macierz informacyjna ma postać:
⎛T ⎞
M = σ −2 ⎜ p2 ⎟
⎝τ ⎠
2
N
∑i e
2
−2
iTp
τ
.
i =1
Na wykresie widać (zobacz na następnej stronie), że macierz informacyjna (w tym przypadku skalar) w funkcji Tp
ma maksimum. To oznacza, że dokładność estymacji zależy od doboru częstotliwości próbkowania względem
stałej czasowej. Mieliśmy okazję stwierdzić to eksperymentalnie metodą Monte Carlo na poprzednich zajęciach.
Kraków 2006
Sprawdźmy zgodność wyniku eksperymentalnego z teoretycznym:
Tu policzyć przebieg dokładności estymacji τ w funkcji Tp metodą Monte Carlo.
A tu mamy obliczenia analityczne:
% obliczenia macierzy informacyjnej dla inercji
% z jednym parametrem estymowanym
s=0.01;
tau=1;
TpV=0.01:0.01:1;
for k=1:length(TpV)
Tp=TpV(k);
i=(1:10);
M(k)=s^-2*(Tp/tau^2)^2*sum(i.^2.*exp(-2*i*Tp/tau));
end
plot(TpV,1./M)
-3
3.5
x 10
3
2.5
2
1.5
1
0.5
0
0
0.2
0.4
0.6
0.8
1
Kraków 2006
Przykład: Inercja z dwoma parametrami K i τ
Wprowadzenie dodatkowego identyfikowanego parametru K do transmitancji G ( s ) =
K
, tj. rozszerzenie wektora
1+ τ s
parametrów estymowanych do postaci θ = [τ , K ] , zmienia macierz informacyjną do postaci
T
⎡ KiTp − i *Tp ⎤ ⎡ KiTp − i *Tp ⎤
T
N
N ⎢−
e τ ⎥ ⎢− 2 e τ ⎥
⎡ ∂ y (i * Tp ) ⎤ ⎡ ∂ y (i * Tp ) ⎤
2
−2
−2
τ
M =σ ∑⎢
⎥⎢ τ
⎥ .
⎥⎢ ∂θ
⎥ = σ ∑⎢
i
T
i *Tp
*
∂
θ
p
i =1 ⎣
i =1 ⎢
⎦⎣
⎦
⎥
⎢
⎥
−
−
τ
τ
⎣⎢ 1 − e
⎦⎥ ⎣⎢ 1 − e
⎦⎥
Zauważmy znowu, że macierz informacyjna jest funkcją okresu próbkowania Tp, który może być dobrany tak, aby
maksymalizować M (w sensie np. wyznacznika tej macierzy).
Na ćwiczeniach wykreślimy tę zależność graficznie.
Jest to przykład możliwości planowania eksperymentu identyfikacyjnego dla osiągnięcia wyników identyfikacji o
najmniejszym rozrzucie. W zadaniu planowania celem jest określenie takich warunków prowadzenia eksperymentu,
dzięki którym dane pomiarowe będą zawierały największą ilość informacji o wartościach estymowanych
parametrów. Więcej informacji na ten temat, tutaj tylko zasygnalizowany, można znaleźć w książkach [Sydenham
1988], [Goodwin, Payne 1979], [Bard 1974].
Kraków 2006
ELIPSOIDA UFNOŚCI ESTYMAT PARAMETRÓW (ALBO NIEPEWNOŚCI ESTYMATORA)
Popularną metodą graficznego przedstawiania niepewności wyników procesu estymacji (nieobciążonej) jest
rysowanie obrazu figury geometrycznej zdefiniowanej przez formę kwadratową na macierzy kowariancyjnej Σ przy
∆θ = θˆ − θ0 .
∆θT Σ−1∆θ = 1
Metoda wywodzi się ze stosowanego w statystyce sposobu przedstawiania obszaru ufności wielowymiarowych
zmiennych losowych o rozkładzie normalnym. Zdefiniowana w ten sposób elipsoida w n - wymiarowej przestrzeni
zmiennych losowych jest obszarem, w którym całka z wielowymiarowej funkcji gęstości prawdopodobieństwa
osiąga wartość odpowiadającą pewnemu poziomowi ufności (zależną od charakteru rozkładu).
Ze względu na trudności prezentacji graficznej niepewności w przestrzeni więcej niż dwóch parametrów, prezentuje
się ją dla dwóch wybranych parametrów na płaszczyźnie, a powstająca figura to elipsa. Przykładową elipsę
niepewności z zaznaczonymi podstawowymi wymiarami przedstawiono na poniższym rysunku.
^
θ2
σ1
__
√λ1
(
__
0
0
θ1 , θ2 ) √ λ 2
σ2
^
θ1
Rys. 1 Elipsa niepewności estymacji
Kraków 2006
Poszczególne elementy macierzy kowariancyjnej określają wybrane wymiary elipsy niepewności. Szerokość elipsy
wzdłuż poszczególnych osi współrzędnych jest określona przez wariancję σi2 estymat odpowiednich parametrów,
czyli przez elementy diagonalne macierzy Σ. Spłaszczenie elipsy zależy od współczynnika korelacji estymat, tj.
stosunku odpowiednich elementów pozadiagonalnych do diagonalnych macierzy kowariancyjnej Σ. Wartości
własne λi macierzy Σ określają długości poszczególnych osi elipsy. Kwadrat pola powierzchni elipsy jest
proporcjonalny do wyznacznika macierzy kowariancyjnej, który jest również iloczynem wartości własnych tej
macierzy.
∧
θ2
0
θ2
0
θ1
∧
θ1
Rys. 2 Obszar ufności estymat (elipsa niepewności) i zbiór wyników estymacji (punkty).
Znaczenie obszaru ufności jest wyjaśnione na powyższym rysunku, który przedstawia obszar ufności estymat
pewnego estymatora w postaci elipsy i zbiór estymat uzyskanych z użyciem tego estymatora. Widoczne jest
obciążenie estymatora, ponieważ środek elipsy (wartość oczekiwana estymat) jest przesunięty względem wartości
prawdziwych θ0. Określony procent estymat leży wewnątrz elipsy niepewności.
Kraków 2006
ZADANIA
Zadanie 1
Zmodyfikuj poniższą funkcję Matlaba generującą punkty elipsy do postaci funkcji rysującej obszar ufności (elipsę
niepewności) dla zadanej wartości oczekiwanej i macierzy kowariancji estymat.
function [x,y] = elipsa(P,r,n)
% Zwraca n punktow elipsy wg równania v'*inv(P)*v = r.
% v jest wektorem [x y]’, P jest macierzą 2X2 symetryczną i dod.określ.,
% r określa rozmiar elipsy. Elipsę narysujesz przez plot(x,y)
[v,e] = eig(P);
v = v*sqrt(r*e);
ray = linspace(0,2*pi,n);
x = v(1,1)*cos(ray)+v(1,2)*sin(ray);
y = v(2,1)*cos(ray)+v(2,2)*sin(ray);
Następnie użyj tej funkcji do przedstawienia obszaru ufności estymatora o wybranej macierzy kowariancji i
wektorze obciążenia
Zadanie 2
Wyznacz macierz informacyjną i MVB dla identyfikacji obiektu inercyjnego pierwszego rzędu z dwoma parametrami
( θ = [τ , K ] , wybierz wartości parametrów) na podstawie odpowiedzi na skok jednostkowy zarejestrowanej w 10
punktach z okresem próbkowania Tp=0.2. Następnie uzmiennij okres próbkowania Tp w zakresie 0.01 - 1 i wyrysuj
przebieg MVB w funkcji Tp. Z użyciem funkcji opracowanej w poprzednim punkcie narysuj obszar ufności estymat
dla najgorszej i najlepszej wartości Tp.
Kraków 2006
Zadanie 3
Metodą symulacyjnej analizy Monte Carlo (wielokrotne powtarzanie identyfikacji dla różnej realizacji zakłóceń)
wyznacz zbiór 1000 wyników estymacji parametrów obiektu identyfikowanego jak w poprzednim zadaniu. Wyrysuj
poszczególne estymaty (znana nam chmurka punktów) we wspólnym układzie współrzędnych z elipsą z
poprzedniego zadania. Czy teoretyczny obszar rozrzutu zgadza się z wyznaczonym eksperymentalnie ?
LITERATURA
Bard Y., Nonlinear Parameter Estimation, Academic Press 1974
Brandt , Analiza danych, PWN 1999
Kay S.M., Fundamentals of statistical signal processing - estimation theory, Prentice Hall 1993
Sydenham P.H., Podręcznik Metrologii, WKiŁ Warszawa 1988 (rozdział 8 pt. Estymacja parametru, paragraf 8.2)
Kraków 2006

ZAJĘCIA IX Granice dokładności identyfikacji

Transkrypt

Podobne dokumenty

Laboratorium 3 - Model regresji wielokrotnej 3.1 Plik realest.txt

Pobierz wersję pdf

Tomasz Odrzygóźdż, Zad. D3. Jak słusznie zauważył Pan Wojciech

ZAJĘCIA VI Estymator LS - własności i implementacje

Wybrane zagadnienia algebry liniowej teoria i algorytmy numeryczne

Odwracanie macierzy

Studia niestacjonarne I rok: lista 3

Arkusz 2. Macierz odwrotna. Rz¡d macierzy

Zadanie 1. Zadanie 2. Zadanie 3. Zadanie 4. Zadanie 5.

CWICZENIA Z ALGEBRY LINIOWEJ I GEOMETRII ANALITYCZNEJ

Wierszyki matematyczne