sterowanie stochastyczne w czasie dyskretnym

Program przedmiotu:
STEROWANIE STOCHASTYCZNE W CZASIE DYSKRETNYM
30 godzin wykładu
Opis tematyki: Typowym problemem sterowania stochastycznego jest
znalezienie strategii, która maksymalizuje (minimalizuje) średni zysk
(koszt). Wykład poświęcony jest modelom w czasie dyskretnym. Tak więc
w tej typowej sytuacji proces stanów X jest zadany rekurencyjnie
X(n+1) = F(X(n), u(n), ξ(n)),
X(0)=x,
gdzie (ξ(n)) jest ciągiem niezależnych zmiennych losowych o tym samym
rozkładzie (dyskretny biały szum). Celem jest znalezienie sterowania u,
które dla zadanych T, g i G maksymalizuje (lub minimalizuje)
J(x,u)=E g(X(n),u(n)) + G(X(T)).
Cele przedmiotu: Poznanie podstawowych twierdzeń i technik teorii
sterowania stochastycznego w czasie dyskretnym (programowanie
dynamiczne, optymalne stopowanie, problemy liniowo-kwadratowe,
sterowanie z ergodycznym funkcjonałem kosztu lub zysku, filtr Kalmana).
Zaznajomienie z konkretnymi zastosowaniami: problemy inwestora,
problemy wyboru (problem sekretarki), problem optymalizacji kosztów na
jednostkę czasu (problem wymiany samochodu Howarda), problem
rozregulowania.
Zawartość programowa:
1. Pojęcia wstępne (2 godziny). Przykłady wprowadzające (problem
inwestora, sekretarki, problem wymiany samochodu). Markowskie modele
decyzyjne. Problem optymalnego sterowania na skończonym odcinku
czasowym.
2. Programowanie dynamiczne (8 godzin). Twierdzenie Bellmana dla
problemów sterowania na skończonym i nieskończonym odcinku
czasowym. Rozwiązanie problemu Samuelsona optymalnej konsumpcji i
inwestycji. Rozwiązanie problemu liniowo-kwadratowego (liniowa
dynamika stanów i kwadratowy funkcjonał kosztu).
3. Optymalne stopowanie (8 godzin). Twierdzenie Bellmana dla problemu
optymalnego stopowania na skończonym i nieskończonym przedziale
czasowym. Zastosowania do problemu wyboru (sekretarki, wynajmu
apartamentu). Problem liniowo-kwadratowy.
4. Sterowanie z ergodycznym funkcjonałem kosztów (8 godzin). Równania
Bellmana-Howarda. Zastosowanie do problemu Howarda (minimalizacji
kosztów utrzymania na jednostkę czasu).
5. Filtracja i sterowanie z niepełną informacją (6 godzin). Filtr Kalmana.
Sprowadzenie problemu z niepełną informacja do problemu z pełną
informacją. Zasada separacji. Problemy rozregulowania.
Literatura:
1. D.P. Bertsekas, S.E. Shreve, Stochastic optimal control: the discrete
time case, Academic Press, New York 1978.
2. H. Kushner, Introduction to stochastic control, New York 1971.
3. J.R. Norris, Markov Chains, Cambridge Univ. Press 1997.
4. S. Peszat, J. Zabczyk, Wst eo teorii sterowania stochastycznego w
czasie dyskretnym, manuskrypt.
5. J. Zabczyk, Chance and decision, stochastic control in discrete ime.
Quaderni SNS, Pisa 1996.