skrypt, cz. 1.

Komentarze

Transkrypt

skrypt, cz. 1.
Entropia w układach dynamicznych
Środowiskowe Studia Doktoranckie z Nauk Matematycznych
Uniwersytet Jagielloński, Kraków, marzec-kwiecień 2013
Tomasz Downarowicz
Instytut Matematyki i Informatyki
Politechniki Wrocławskiej
Cz˛eść I: Entropia w teorii ergodycznej i Twierdzenie
Shannona–McMillana–Breimana
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
1 / 26
Literatura podstawowa:
ENTROPY IN DYNAMICAL SYSTEMS
New Mathematical Monographs: 18
Cambridge University Press 2011
PART I: Entropy in Ergodic Theory
PART II: Entropy in Topological Dynamics
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
2 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
3 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
3 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
3 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
3 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
3 / 26
Co to jest informacja?
Ile to było informacji?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
4 / 26
Co to jest informacja?
Ile to było informacji?
jedna z dwóch możliwości = JEDEN BIT
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
4 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
jedna z czterech możliwości = DWA BITY
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
jedna z trzech możliwości = PÓŁTORA BITU
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
NIE – NIE WSZYTSKIE WIELKOŚCI NA TYM ŚWIECIE SA˛
LINIOWE!!!
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
5 / 26
Co to jest informacja?
0 BITÓW = 1 możliwość
1 BIT
= 2 możliwości
2 BITY = 4 możliwości
3 BITY = 8 możliwości
itd.
# BITÓW = log2 (# możliwości)
3 możliwości = log2 (3) BITÓW ≈ 1.585 BITÓW
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
6 / 26
Co to jest informacja?
CZY WYGRAŁEM? (TAK/NIE)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
7 / 26
Co to jest informacja?
NIE - 999999 z miliona możliwości
TO BYŁO DO PRZEWIDZENIA...
(była prawie na pewno tylko ta jedna możliwość – prawie niczego
nowego nie dowiedzieliśmy sie)
˛
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Co to jest informacja?
TAK - możliwość jedna na milion
HURRRA!!! (duża ilość informacji)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Co to jest informacja?
TAK - możliwość jedna na milion
HURRRA!!! (duża ilość informacji)
# BITÓW = log2 (1000000) ≈ 19, 9 BITÓW
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Co to jest informacja?
NIE - 999999 z miliona możliwości
TO BYŁO DO PRZEWIDZENIA...
(była prawie na pewno tylko ta jedna możliwość – prawie niczego
nowego nie dowiedzieliśmy sie)
˛
# BITÓW = ???
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Co to jest informacja?
TAK - możliwość jedna na milion
HURRRA!!! (duża ilość informacji)
# BITÓW = log2 (1000000) ≈ 19, 9 BITÓW
1
)=
log2 (1000000) = − log2 ( 1000000
− log2 (prawdopodobieństwo wygranej)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Co to jest informacja?
NIE - 999999 z miliona możliwości
TO BYŁO DO PRZEWIDZENIA...
(była prawie na pewno tylko ta jedna możliwość – prawie niczego
nowego nie dowiedzieliśmy sie)
˛
999999
# BITS = − log2 (prawdopodobieństwo przegranej) = − log2 ( 1000000
)≈
0, 0000014 BITÓW
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
8 / 26
Funkcja informacji Shannona
DEFINICJA 1
Jeśli Ω jest przeliczalna˛ przestrzenia˛ probabilistyczna˛ o atomach
x1 , x2 , . . . o prawdopodobieństwach P(xi ), (i = 1, 2, . . . ), to
stowarzyszona funkcja informacji na Ω jest zdefiniowana jako
I(xi ) = − log2 (P(xi )).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
9 / 26
Funkcja informacji Shannona
DEFINICJA 1
Jeśli Ω jest przeliczalna˛ przestrzenia˛ probabilistyczna˛ o atomach
x1 , x2 , . . . o prawdopodobieństwach P(xi ), (i = 1, 2, . . . ), to
stowarzyszona funkcja informacji na Ω jest zdefiniowana jako
I(xi ) = − log2 (P(xi )).
Jeśli Ω jest skończona i ma n elementów o jednakowych
prawdopodobieństwach n1 to funkcja informacji jest stała i równa
log2 (n).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
9 / 26
Funkcja informacji Shannona
DEFINICJA 2
Jeśli (Ω, Σ, µ) jest (być może bezatomowa)
˛ przestrzenia˛
probabilistyczna,
˛ P = {P1 , P2 , . . . } jest przeliczalnym (lub
skończonym) rozbiciem mierzalnym Ω, to stowarzyszona funkcja
informacji na Ω jest zadana wzorem
IP (x) = − log2 (µ(Px )),
gdzie Px oznacza jedyny element rozbicia P zawierajacy
˛ x.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
10 / 26
Funkcja informacji Shannona
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Funkcja informacji Shannona
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Funkcja informacji Shannona
Where are you?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Funkcja informacji Shannona
Where are you?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Funkcja informacji Shannona
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Funkcja informacji Shannona
x ∈ B,
Tomasz Downarowicz (Poland)
IP (x) = − log µ(B)
Entropia w układach dynamicznych
semestr letni, 2013
11 / 26
Entropia Shannona rozbicia
DEFINICJA 3
Jeśli (Ω, Σ, µ) jest (być może bezatomowa)
˛ przestrzenia˛
probabilistyczna,
˛ P = {P1 , P2 , . . . } jest przeliczalnym (lub
skończonym) rozbiciem mierzalnym Ω, to entropia˛ Shannona rozbicia
P nazywamy wartość oczekiwana˛ funkcji entropii:
H(P) =
Z
IP dµ = −
X
µ(Pi ) log2 µ(Pi )
i
(Jest to średna po przestrzeni ilość informacji dostarczona przez
rozbicie.)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
12 / 26
PRZYKŁAD
Rozważmy nastepuj
˛ ace
˛ dwie bitmapy
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
13 / 26
PRZYKŁAD
Rozważmy nastepuj
˛ ace
˛ dwie bitmapy
Maja˛ one te samy rozmiary (a nawet te˛ sama˛ proporcje˛ piksli czarnych
do białych). Zatem każda z nich niesie tyle samo informacji w sensie
Shannona, równa˛ liczbie piksli. A jednak...
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
13 / 26
PRZYKŁAD
Rozważmy nastepuj
˛ ace
˛ dwie bitmapy
Dowolny program pakujacy
˛ (np. Winzip albo RAR) skompresuje
bitmape˛ po lewej mniej wiecej
˛
5 razy bardziej niż te˛ po prawej.
Dlaczego?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
13 / 26
PRZYKŁAD
Rozważmy nastepuj
˛ ace
˛ dwie bitmapy
Wyobraźmy sobie, że chcemy przez telefon wytłumaczyć komuś jak
wyglada
˛ bitmapa, tak aby odbiorca mógł ja˛ precyzyjnie odtworzyć... Ile
INFORMACJI musimy przekazać dla każdej z nich?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
13 / 26
Co powoduje, że te dwie bitmapy tak bardzo sie˛ różnia˛ zawartościa˛
informacyjna,
˛ skoro obie zawieraja˛ tyle samo informacji w sensie
Shannona?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
14 / 26
Co powoduje, że te dwie bitmapy tak bardzo sie˛ różnia˛ zawartościa˛
informacyjna,
˛ skoro obie zawieraja˛ tyle samo informacji w sensie
Shannona?
Odpowiedzi dostarcza tzw. entropia dynamiczna i Twierdzenie
Shannona–McMillana–Breimana.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
14 / 26
Układy dynamiczne
Teraz bedziemy
˛
zakładać, że na naszej przestrzeni probabilistycznej
(Ω, Σ, µ) mamy określona˛ transformacje˛ mierzalna˛ T : Ω → Ω
zachowujac
˛ a˛ miare˛ µ, tzn. taka,
˛ że µ(T −1 (A)) = µ(A) dla każdego
zbioru mierzalnego A ∈ Σ.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
15 / 26
Układy dynamiczne
Teraz bedziemy
˛
zakładać, że na naszej przestrzeni probabilistycznej
(Ω, Σ, µ) mamy określona˛ transformacje˛ mierzalna˛ T : Ω → Ω
zachowujac
˛ a˛ miare˛ µ, tzn. taka,
˛ że µ(T −1 (A)) = µ(A) dla każdego
zbioru mierzalnego A ∈ Σ.
PRZYKŁAD
Niech Ω = {0, 1}N , T = „przesuniecie”
˛
(T (x1 , x2 , . . . ) = (x2 , x3 , . . . )) i
niech µ bedzie
˛
pewna˛ miara˛ niezmiennicza˛ na przesuniecie
˛
T . Każda
taka miara jest zadana przez swoje wartości na cylindrach
C = [c1 , c2 , . . . , cn ].
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
15 / 26
Przepływ informacji w układzie dynamicznym
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Where are you?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Where are you?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
x ∈ B,
Tomasz Downarowicz (Poland)
IP (x) = − log µ(B)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Where are you going?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Where are you going?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Where are you going?
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Przepływ informacji w układzie dynamicznym
x ∈ B ∩ T −1 (A),
Tomasz Downarowicz (Poland)
IP 2 (x) = − log µ(B ∩ T −1 (B))
Entropia w układach dynamicznych
semestr letni, 2013
16 / 26
Ciag
˛ funkcji informacji Shannona w układzie
dynamicznym
DEFINICJA 4
Niech (Ω, Σ, µ) bedzie
˛
przestrzenia˛ probabilistyczna˛ i niech T : Ω → Ω
bedzie
˛
mierzalna˛ transformacja˛ zachowujac
˛ a˛ miare.
˛ Niech
P = {P1 , P2 , . . . } bedzie
˛
przeliczalnym rozbiciem mierzalnym
przestrzeni Ω. Wtedy funkcja informacji po n krokach na Ω jest
zdefiniowana jako
IP n (x) = − log2 (µ(Pxn )),
gdzie
Pxn = Px ∩ T −1 (PTx ) ∩ T −2 (PT 2 x ) ∩ · · · ∩ T −n+1 (PT n−1 x )
(jest to jedyny element rozbicia P n :=
nazywa sie˛ on n-cylindrem wokół x).
Tomasz Downarowicz (Poland)
Wn−1
i=0
T −i (P) zawierajacy
˛ xi
Entropia w układach dynamicznych
semestr letni, 2013
17 / 26
PRZYKŁAD
x ∈ [0, 1]
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Z każda˛ cyfra˛ zyskujemy ilość informacji równa˛ log2 (10) BITÓW.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Z każda˛ cyfra˛ zyskujemy ilość informacji równa˛ log2 (10) BITÓW.
Odpowiada to przepływowi informacji w nastepuj
˛ acym
˛
ukł. dyn.:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Z każda˛ cyfra˛ zyskujemy ilość informacji równa˛ log2 (10) BITÓW.
Odpowiada to przepływowi informacji w nastepuj
˛ acym
˛
ukł. dyn.:
T : [0, 1] → [0, 1],
T (x) = 10x mod 1,
gdzie µ jest miara˛ Lebesgue’a
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Z każda˛ cyfra˛ zyskujemy ilość informacji równa˛ log2 (10) BITÓW.
Odpowiada to przepływowi informacji w nastepuj
˛ acym
˛
ukł. dyn.:
T : [0, 1] → [0, 1],
T (x) = 10x mod 1,
gdzie µ jest miara˛ Lebesgue’a
T (0.765900862...) = 0.65900862...,
2
T (0.765900862...) = T (0.65900862...) = 0.5900862...
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
PRZYKŁAD
x ∈ [0, 1]
x = 0.765900862...
Aby z cała˛ precyzja˛ zidentyfikować punkt x potrzebujemy
nieskończonej ilości informacji.
Z każda˛ cyfra˛ zyskujemy ilość informacji równa˛ log2 (10) BITÓW.
Odpowiada to przepływowi informacji w nastepuj
˛ acym
˛
ukł. dyn.:
T : [0, 1] → [0, 1],
T (x) = 10x mod 1,
gdzie µ jest miara˛ Lebesgue’a
T (0.765900862...) = 0.65900862...,
2
T (0.765900862...) = T (0.65900862...) = 0.5900862...
P = {[0, 0.1), [0.1, 0.2), . . . , [0.9, 1]}
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
18 / 26
Entropia dynamiczna rozbicia
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
Entropia dynamiczna rozbicia
P n (x) =
{punkty, które daja˛ te same odpowiedzi co x przez n kroków}
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
Entropia dynamiczna rozbicia
P n (x) =
{punkty, które daja˛ te same odpowiedzi co x przez n kroków}
IP n (x) = − log µ(P n (x))
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
Entropia dynamiczna rozbicia
P n (x) =
{punkty, które daja˛ te same odpowiedzi co x przez n kroków}
IP n (x) = − log µ(P n (x))
H(P n ) :=
krokach)
R
IP n dµ
Tomasz Downarowicz (Poland)
(średnia po przestrzeni ilość informacji w n
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
Entropia dynamiczna rozbicia
P n (x) =
{punkty, które daja˛ te same odpowiedzi co x przez n kroków}
IP n (x) = − log µ(P n (x))
H(P n ) :=
krokach)
R
IP n dµ
(średnia po przestrzeni ilość informacji w n
DEFINICJA 5
Entropia dynamiczna rozbicia P jest zdefiniowana jako
h(T , P) := lim n1 H(P n ).
n
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
Entropia dynamiczna rozbicia
P n (x) =
{punkty, które daja˛ te same odpowiedzi co x przez n kroków}
IP n (x) = − log µ(P n (x))
H(P n ) :=
krokach)
R
IP n dµ
(średnia po przestrzeni ilość informacji w n
DEFINICJA 5
Entropia dynamiczna rozbicia P jest zdefiniowana jako
h(T , P) := lim n1 H(P n ).
n
Entropie˛ dynamiczna˛ interpretujemy jako średni po przestrzeni i po
czasie przyrost informacji w jednym kroku.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
19 / 26
PRZYKŁAD
Zacznijmy od podziału kwadratu na równe zbiory.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Zacznijmy od podziału kwadratu na równe zbiory.
h(P) = log 4
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Niech T −1 (P) wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Niech T −1 (P) wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
h(P 2 ) = log 16 = 2 log 4
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
h(P 2 ) = log 16 = 2 log 4
w tym kroku przybyło DUŻO entropii (log 4)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
A teraz wróćmy do poczatku.
˛
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Niech tym razem T −1 (P) wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Niech tym razem T −1 (P) wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
h(P 2 ) = log 8 = log 4 + log 2
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
PRZYKŁAD
Wtedy P 2 wyglada
˛ tak:
h(P 2 ) = log 8 = log 4 + log 2
w tym kroku przybyło ZNACZNIE MNIEJ entropii (log 2)
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
20 / 26
WNIOSEK
Entropia dynamiczna jest duża, jeśli kolejne przeciwobrazy rozbicia sa˛
wzajemnie niezależne (lub bliskie niezależności). Oznacza to, że
kolejne symbole w reprezentacji typowego punktu pojawiaja˛ sie˛
losowo.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
21 / 26
WNIOSEK
Entropia dynamiczna jest duża, jeśli kolejne przeciwobrazy rozbicia sa˛
wzajemnie niezależne (lub bliskie niezależności). Oznacza to, że
kolejne symbole w reprezentacji typowego punktu pojawiaja˛ sie˛
losowo.
Mała entropia dynamiczna oznacza, że kolejne symbole sa˛ zależne (z
dużym prawdopodobieństwem przewidywalne na podstawie
poprzednich symboli). Oznacza to wysoka˛ „organizacje”
˛ (niska˛
losowość) układu.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
21 / 26
Twierdzenie Shannona–McMillana–Breimana
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
22 / 26
Twierdzenie Shannona–McMillana–Breimana
TWIERDZENIE 1
Jeśli µ jest ergodyczna, to
1 n
n IP (x)
Tomasz Downarowicz (Poland)
µ−a.e.
−→
n→∞
h(T , P)
Entropia w układach dynamicznych
semestr letni, 2013
22 / 26
Twierdzenie Shannona–McMillana–Breimana
TWIERDZENIE 1
Jeśli µ jest ergodyczna, to
1 n
n IP (x)
µ−a.e.
−→
n→∞
h(T , P)
To znaczy, średni przyrost informacji w jednym kroku nie zależy od
punktu poczatkowego
˛
(nie trzeba uśredniać po przestrzeni).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
22 / 26
PRZYKŁAD
Niech Ω = {0, 1}N , T = „przesuniecie”
˛
i niech µ bedzie
˛
ergodyczna˛
miara˛ niezmiennicza˛ na przesuniecie
˛
T . Wtedy dla µ-prawie każdego
punktu x = (x1 , x2 , . . . ) miara długiego cylindra wokół x,
x[1, n] := [x1 , x2 , . . . , xn ], wynosi w przybliżeniu 2−nh(T ,P) , gdzie P jest
dwu-elementowym rozbiciem {[0], [1]}.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
23 / 26
PRZYKŁAD
Niech Ω = {0, 1}N , T = „przesuniecie”
˛
i niech µ bedzie
˛
ergodyczna˛
miara˛ niezmiennicza˛ na przesuniecie
˛
T . Wtedy dla µ-prawie każdego
punktu x = (x1 , x2 , . . . ) miara długiego cylindra wokół x,
x[1, n] := [x1 , x2 , . . . , xn ], wynosi w przybliżeniu 2−nh(T ,P) , gdzie P jest
dwu-elementowym rozbiciem {[0], [1]}.
Znaczenie „w przybliżeniu” jest bardzo zgrubne, gdyż oznacza jedynie,
że − n1 log2 µ(x[1, n]) ≈ h(T , P).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
23 / 26
PRZYKŁAD
Wróćmy do naszego przykładu z dwiema bitmapami:
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
24 / 26
Z grubsza rzecz biorac,
˛ bitmapy możemy traktować jako długie
fragmenty orbit punktów w układzie dynamicznym {0, 1}N z
„przesunieciem”,
˛
„typowych” dla dwóch różnych miar ergodycznych,
odpowiednio µ1 i µ2 o różnych entropiach h(µ1 ) i h(µ2 ).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
25 / 26
Z grubsza rzecz biorac,
˛ bitmapy możemy traktować jako długie
fragmenty orbit punktów w układzie dynamicznym {0, 1}N z
„przesunieciem”,
˛
„typowych” dla dwóch różnych miar ergodycznych,
odpowiednio µ1 i µ2 o różnych entropiach h(µ1 ) i h(µ2 ).
Pierwsza bitmapa jest „wysoce uporzadkowana”,
˛
zatem reprezentuje
miare˛ o małej entropii. Druga bitmapa jest „losowa”, zatem
reprezentuje miare˛ o dużej entropii, czyli mamy h(µ1 ) << h(µ2 ).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
25 / 26
Z grubsza rzecz biorac,
˛ bitmapy możemy traktować jako długie
fragmenty orbit punktów w układzie dynamicznym {0, 1}N z
„przesunieciem”,
˛
„typowych” dla dwóch różnych miar ergodycznych,
odpowiednio µ1 i µ2 o różnych entropiach h(µ1 ) i h(µ2 ).
Pierwsza bitmapa jest „wysoce uporzadkowana”,
˛
zatem reprezentuje
miare˛ o małej entropii. Druga bitmapa jest „losowa”, zatem
reprezentuje miare˛ o dużej entropii, czyli mamy h(µ1 ) << h(µ2 ).
Entropie te, to średnie ilości informacji po przestrzeni i czasie w
jednym kroku przesuniecia.
˛
Dzieki
˛ twierdzeniu S–M–B, nie musimy
uśredniać po przestrzeni; te same średnie po czasie sa˛ realizowane
już w naszych indywidualych orbitach (czyli w bitmapach).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
25 / 26
Z grubsza rzecz biorac,
˛ bitmapy możemy traktować jako długie
fragmenty orbit punktów w układzie dynamicznym {0, 1}N z
„przesunieciem”,
˛
„typowych” dla dwóch różnych miar ergodycznych,
odpowiednio µ1 i µ2 o różnych entropiach h(µ1 ) i h(µ2 ).
Pierwsza bitmapa jest „wysoce uporzadkowana”,
˛
zatem reprezentuje
miare˛ o małej entropii. Druga bitmapa jest „losowa”, zatem
reprezentuje miare˛ o dużej entropii, czyli mamy h(µ1 ) << h(µ2 ).
Entropie te, to średnie ilości informacji po przestrzeni i czasie w
jednym kroku przesuniecia.
˛
Dzieki
˛ twierdzeniu S–M–B, nie musimy
uśredniać po przestrzeni; te same średnie po czasie sa˛ realizowane
już w naszych indywidualych orbitach (czyli w bitmapach).
Jeden krok przesuniecia
˛
odpowiada jednemu symbolowi (pikslowi) w
bitmapie. Zatem efektywna ilość informacji zawartej w każdej z bitmap
jest równa liczbie piksli razy średnia ilość inofrmacji na piksel (czyli
razy odpowiednio h(µ1 ) lub h(µ2 )). Ilość piksli jest ta sama, stad
˛ w
pierwszej bitmapie jest o wiele mniej informacji niż w drugiej.
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
25 / 26
Wszystko to, co zostało powiedziane bedzie
˛
opisane w ścisły
szczegółowy sposób w dalszej cz˛eści kursu...
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
26 / 26
Wszystko to, co zostało powiedziane bedzie
˛
opisane w ścisły
szczegółowy sposób w dalszej cz˛eści kursu...
przy zastosowaniu bardziej tradycyjnych mediów, czyli tablicy i kredy
(lub, nie daj Boże, markerów).
Tomasz Downarowicz (Poland)
Entropia w układach dynamicznych
semestr letni, 2013
26 / 26

Podobne dokumenty