Zadania z teorii informacji Entropia

Olsztyn, dn. 2.12.2014 r.
Zadania z teorii informacji
Entropia
Zad 1.
Rozpatrzmy zdarzenie polegaj¡ce na dwukrotnym rzucie monet¡.
Zmienn¡
X
niech b¦dzie wynik pierwszego rzutu monet¡, a zmienn¡
Y
liczba
wyrzuconych orªów. Wyznaczy¢:
a) ª¡czn¡ entropi¦
H(X, Y ) oraz entropie H(X), H(Y ) poszczególnych zmien-
nych (czy s¡ to zmienne niezale»ne?);
b) entropie warunkowe
i = 1, 2,
zmiennej
a nast¦pnie entropi¦ warunkow¡
c) informacj¦ wzajemn¡
na zamian¦
Zad 2.
H(Y |X = xi )
Y
przy danych
X = xi ,
H(Y |X);
I(Y, X) oraz sprawdzi¢ jej symetryczno±¢ ze wzgl¦du
X ↔Y.
Mamy sze±cienn¡ kostk¦, która z równym prawdopodobie«stwem
mo»e by¢ prawdziwa jak i faªszywa mie¢ na ka»dej ±cianie jedno oczko.
Ile informacji na temat prawdziwo±ci kostki otrzymujemy rzucaj¡c jeden raz
t¡ kostk¡?
Zad 3.
Mamy kostk¦ w ksztaªcie czworo±cianu foremnego, która z rów-
nym prawdopodobie«stwem mo»e by¢ prawdziwa (mie¢ na ró»nych ±ciankach
jedno, dwa, trzy i cztery oczka) jak i faªszywa (mie¢ na ka»dej ±cianie jedno
oczko). Ile informacji na temat prawdziwo±ci kostki otrzymujemy rzucaj¡c
dwa razy t¡ kostk¡?