Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce
Ćwiczenia – lista zadań nr 1
autorzy: A. Gonczarek, J.M. Tomczak
Wstęp
Zad. 1
Pokazać, że następujące tożsamości są prawdziwe:
a) xT x =
X
x2i
d) AAT =
i
T
b) x Ax =
ai aT
i
i
XX
i
X
aij xi xj
e) ∇x xT Ax = (A + AT )x
j
c) tr AT X =
XX
i
f ) ∇x xT Ax = 2Ax,
aij xij
gdzie A – macierz symetryczna
j
Pojęcie normy i iloczynu skalarnego
Zad. 2
Pokazać z definicji, że następujące funkcje są normami (A – macierz symetryczna i dodatnio
określona):
a) kxk2 =
X
D
2
|xd |
1
2
d=1
b) kxk1 =
D
X
e) kf k2 =
|xd |
f ) kf k1 =
d=1
c) kxk∞ = max |xd |
Z
Z
2
|f (x)| dx
|f (x)|dx
g) kf k∞ = sup |f (x)|
d
x
√
d) kxkA = xT Ax
Zad. 3
Pokazać z definicji, że następujące funkcje są iloczynami skalarnymi:
a) hx, yi = xT y
1
1
2
b) hx, yi = xT Ay,
A – macierz symetryczna i dodatnio określona
c) hf, gi =
Z
f (x)g(x)dx
Jakie normy są generowane przez powyższe iloczyny skalarne?
Liniowe zadanie najmniejszych kwadratów
Zad. 4
Dany jest model
y = φ(x)T w,
gdzie w = (w0 w1 . . . wM −1 )T jest wektorem parametrów, a φ(x) = (φ0 (x) φ1 (x) . . . φM −1 (x))T jest
wektorem funkcji bazowych. Dysponujemy następującymi obserwacjami y = (y1 y2 . . . yN )T oraz
X = [x1 x2 . . . xN ]. Oznaczmy przez Φ = [φ(x1 ) φ(x2 ) . . . φ(xN )]T . Zakładając, że rząd r(Φ) = M ,
wyznaczyć w minimalizujące następujące kryterium:
1
Q(w) = ky − Φwk22 .
2
Dla jakich warunków istnieje dokładnie jedno rozwiązanie, a dla jakich wiele rozwiązań zadania
najmniejszych kwadratów? Czy możliwa jest sytuacja, że nie istnieje rozwiązanie zadania najmniejszych kwadratów?
Zad. 5
Pewien producent laptopów zainteresowany jest jak najlepszym gospodarowaniem zapasami w
magazynie. W tym celu proponowany jest model, który wyraża łączny koszt magazynowania y na
podstawie liczby laptopów x dostarczonych detaliście. Postać modelu: y = w0 φ0 (x) + w1 φ1 (x) +
w2 φ2 (x), gdzie φ(x) = (φ0 (x) φ1 (x) φ2 (x))T = (1 x x2 )T . Producent posiada obserwacje z trzech
ostatnich lat:
x
20
10
50
y
880
1040
880
Wyznaczyć parametry modelu korzystając z kryterium kwadratowego. Przewidzieć koszt magazynowania dla x = 30. Znaleźć wartość x, dla której koszt magazynowania będzie najmniejszy.
2
Liniowe zadanie najmniejszych kwadratów z regularyzacją Tichonowa
Zad. 7
Dany jest model
y = φ(x)T w,
gdzie w = (w0 w1 . . . wM −1 )T jest wektorem parametrów, a φ(x) = (φ0 (x) φ1 (x) . . . φM −1 (x))T jest
wektorem funkcji bazowych. Dysponujemy następującymi obserwacjami y = (y1 y2 . . . yN )T oraz
X = [x1 x2 . . . xN ]. Oznaczmy przez Φ = [φ(x1 ) φ(x2 ) . . . φ(xN )]T . Wyznaczyć w minimalizujące
następujące kryterium:
λ
1
Q(w) = ky − Φwk22 + kwk22 ,
2
2
gdzie λ > 0.
Zad. 8
Klient pewnego baru przy pierwszej wizycie wypił x litrów piwa, natomiast przy następnej – y
litrów piwa. Zebrano następujące dane dotyczące trzech klientów:
x
1
2
3
y
1
1
3
Dopasować model o następujących funkcjach bazowych φ(x) = (1 x x2 )T , korzystając z kryterium
kwadratowego i kryterium kwadratowego z regularyzacją Tichonowa. Przyjąć λ = 1. Korzystając
z obu uzyskanych modeli oszacować ile przy następnej wizycie wypije klient, który ostatnim razem
wypił 5 litrów piwa. Który model lepiej odzwierciedla zjawisko?
3
DODATEK
Definicja normy. Normą k · k : X → R+ nazywamy funkcję spełniającą następujące warunki:
1. kxk = 0 ⇔ x = 0,
2. kαxk = |α|kxk, gdzie α ∈ R,
3. kx + yk ¬ kxk + kyk.
Definicja iloczynu skalarnego. Iloczynem skalarnym h·, ·i : X × X → R nazywamy funkcję
spełniającą następujące warunki:
1. hx, xi ­ 0,
2. hx, yi = hy, xi,
3. hαx, yi = αhx, yi,
4. hx + z, yi = hx, yi + hz, yi.
Wybrane własności normy i iloczynu skalarnego:
ˆ hx, xi = kxk2 ,
ˆ |hx, yi| ¬ kxkkyk (dla wektora w RD hx, yi = kxkkyk cos θ),
ˆ kx + yk2 = kxk2 + 2hx, yi + kyk2 .
ˆ kx − yk2 = kxk2 − 2hx, yi + kyk2 .
Wybrane własności wektorów:
T
φ(x) w = w0 φ0 (x) + w1 φ1 (x) + . . . + wM −1 φM −1 (x) =
M
−1
X
wm φm (x),
m=0
gdzie w = (w0 w1 . . . wM −1 )T , φ(x) = (φ0 (x) φ1 (x) . . . φM −1 (x))T
Wektory ortogonalne i ortonormalne. Wektory x i y nazywamy wektorami ortogonalnymi,
jeżeli hx, yi = 0. Dodatkowo jeśli kxk = kyk = 1, to wektory te nazywamy ortonormalnymi.
4
Wybrane własności macierzy:
ˆ (AB)−1 = B−1 A−1
ˆ (AB)T = BT AT
ˆ Macierz A jest dodatnio określona ⇔ dla każdego wektora x 6= 0 zachodzi następująca
własność xT Ax > 0
ˆ ∇x xT x = 2x
1
ˆ ∇x kW 2 (b − Ax)k22 = −2AT W(b − Ax), gdzie W jest macierzą symetryczną
Wyrażenia dla macierzy odwrotnych:

a b
A−1 = 

−1




a b c
A−1 = d e f 


g h k
−1

c d


d −b
1


=
ad − bc −c a

(ek − f h) (ch − bk) (bf − ce)
=


1 


(f g − dk) (ak − cg) (cd − af )

det A 
(dh − eg) (bg − ah) (ae − bd)
5