Entropia, demon Maxwella i maszyna Turinga

Entropia, demon Maxwella i maszyna Turinga
P. F. Góra
http://th-www.if.uj.edu.pl/zfs/gora/
14 lutego 2013
Pojecia
˛
z dwu różnych dyscyplin
Fizyka
Demon Maxwella
Informatyka
Maszyna Turinga
podstawy termodynamiki
podstawy teorii obliczalności
przetwarza informacje˛ o czastkach
˛
przetwarza informacje˛ o symbolach
przetwarzaja˛ informacje˛
c 2013 P. F. Góra
Copyright 2
Pojecie
˛
entropii
Niech pewien układ fizyczny może znajdować sie˛ w jednym z N stanów
tych stanów może być przubrany z prawdopodobieńst{ωi}N
i=1 . Każdy z P
wem pi = P (ωi). i pi = 1.
Kiedy mamy pełna˛ informacje˛ o układzie? Kiedy wiemy, że układ
z cała˛ pewnościa˛ znajduje sie˛ w konkretnym, znanym nam stanie ωi0 :
pi0 = 1, pi6=i0 = 0.
Kiedy mamy najmniejsza˛ informacje˛ o układzie? Gdy każdy stan układu
jest obsadzony z jednakowym prawdopodobieństwem: p1 = p1 = · · · =
pN ( = 1/N ).
c 2013 P. F. Góra
Copyright 3
Im mniej prawdopodobny jest stan, którym znajduje sie˛
układ, tym bardziej uporzadkowany
˛
nam sie˛ wydaje.
Uwaga!
Cz˛esto to my określamy, co jest mniej, co zaś bardziej prawdopodobne,
zestawiajac
˛ ze soba˛ wiele “podobnych” stanów układu. W jezyku
˛
fizyki
statystycznej mówimy, że makrostanowi “uporzadkowanemu”
˛
odpowiada
mało mikrostanów (niskie prawdopodobieństwo), makrostanowi
“nieuporzadkowanemu”
˛
— wiele mikrostanów (duże
prawdopodobieństwo).
c 2013 P. F. Góra
Copyright 4
Miara informacji
Przykład: w urnie jest sto ponumerowanych kul. Kule o numerach 1,2 sa˛
czerwone. Kule o numerach 3,4,. . . ,100 sa˛ niebieskie. Ktoś wylosował
jedna˛ kule˛ i mówi nam
• Wylosowałem kule˛ czerwona˛
• Wylosowałem kule˛ niebieska˛
W którym przypadku dowiemy sie˛ wiecej
˛
o wyniku losowania?
Dowiemy sie˛ wiecej,
˛
gdy uzyskany wynik bedzie
˛
mniej prawdopodobny.
c 2013 P. F. Góra
Copyright 5
Miara informacji powinna być
1. Ciagł
˛ a˛ funkcja˛ prawdopodobieństwa zajścia zdarzenia,
2. Musi być tym wieksza,
˛
im prawdopodobieństwo jest mniejsze,
3. Jeżeli zdarzenie jest suma˛ dwu zdarzeć niezależnych, miara informacyjna zdarzenia łacznego
˛
musi być równa sumie miar zdarzeń składowych.
Funkcja,
˛ która spełnia te wymagania, jest
I(ωi) = log2
c 2013 P. F. Góra
Copyright 1
P (ωi)
!
= − log2 P (ωi)
6
Entropia Gibbsa-Shannona
Claude Shannon, 1948: Entropia informacyjna jest średnia˛ miara˛ informacji zawartej w danym rozkładzie.
S=−
N
X
pi log2 pi
i=1
(Uwaga, gdyby w warunku 3 na poprzedniej stronie zastapić
˛ “równa” przez
“niemniejsza”, dostaniemy tak zwane entropie nieekstensywne.)
c 2013 P. F. Góra
Copyright 7
Okazuje sie,
˛ że powyższy wzór jest identyczny (z dokładnościa˛ do jednostek) z wyprowadzonym przez Josiaha Willarda Gibbsa jeszcze w XIX
wieku:
S = −kB
N
X
pi ln pi
i=1
c 2013 P. F. Góra
Copyright 8
Przypadki ekstremalne:
1. Pełna wiedza o systemie S = 0.
2. Najmniejsza wiedza o systemie — wszystkie mikrostany sa˛ równoważne
N
P
1
1
1 = k ln N .
— ∀i : pi = 1/N : S = −kB
ln
=
−k
ln
B
B
N
N
N
i=1
Można pokazać, że jest to najwieksza
˛
możliwa wartość entropii.
Jest to entropia Boltzmanna: Jeżeli wszystkie mikrostany sa˛ jednakowo
prawdopodobne, entropia układu jest proporcjonalna do logarytmu z liczby
dostepnych
˛
stanów.
c 2013 P. F. Góra
Copyright 9
II zasada termodynamiki
We wszystkich procesach zachodzacych
˛
spontanicznie,
entropia nie może maleć.
• II zasade˛ umiemy udowodnić tylko dla stanów równowagowych i pozostajacych
˛
blisko równowagi. Dla stanów dalekich od równowagi II
zasada termodynamiki jest postulatem.
• Procesy, w których entropia rośnie, nazywamy nieodwracalnymi.
• Układy daż
˛ a˛ od stanów mniej prawdopodobnych do bardziej prawdopodobnych.
• Jeśli jest wymiana ciepła, to entropia rośnie, ale moga˛ także zachodzić
procesy nieodwracalne bez wymiany ciepła.
• Moga˛ zachodzić procesy, w których entropia jakiegoś podukładu
spada kosztem wzrostu entropii otoczenia.
c 2013 P. F. Góra
Copyright 10
Perpetuum mobile II rodzaju
Perpetuum mobile — niemożliwe urzadzenie
˛
wytwarzajace
˛
prace˛
“z niczego”; łamie zasade˛ zachowania energii.
Perpetuum mobile II rodzaju — niemożliwe urzadzenie
˛
wytwarzajace
˛
prace˛ korzystajac
˛ z jednego zbiornika ciepła; łamie II zasade˛ termodynamiki. Co roku powstaje wiele “projektów” perpetuum mobile II rodzaju,
niektóre sa˛ bardzo pomysłowe.
c 2013 P. F. Góra
Copyright 11
Strzałka czasu
Zgodnie z obecnym stanem wiedzy, na pozimie mikroskopowym równania
ruchu sa˛ symetryczne wzgledem
˛
odbicia czasu.
Na poziomie makroskopowym istnieja˛ dwa rodzaje procesów łamiacych
˛
symetrie˛ odbicia w czasie:
ekspansja Wszechświata
procesy nieodwracalne
kosmologiczna strzałka czasu termodynamiczna strzałka czasu
Czy istnieje zwiazek
˛
pomiedzy
˛
nimi?
II zasada termodynamiki zabrania podróży w czasie
c 2013 P. F. Góra
Copyright 12
Demon Maxwella
• Demon przepuszcza szybkie czastki
˛
“na prawo”, wolne “na lewo”
• II zasada termodynamiki złamana?!
• Nie! Demon, badajac
˛ czastki,
˛
sam rozprasza ciepło oraz gromadzi
informacje.
˛
c 2013 P. F. Góra
Copyright 13
Silnik Szilarda — jak zmusić demona do wykonania pracy?
Cała trudność polega na tym, żeby wiedzieć, w której cz˛eści znajduje sie˛
czastka
˛
— trzeba uzyskać jeden bit informacji.
c 2013 P. F. Góra
Copyright 14
Zasada Landauera
Rolf Landauer, 1961: Usuniecie
˛
jednego bitu informacji w temperaturze T
zwieksza
˛
entropie˛ o co najmniej kB ln 2.
Nawet gdyby demon Maxwella nie rozpraszał ciepła pracujac,
˛ musi kiedyś
pozbyć sie˛ informacji o uprzednio zarejestrowanych czastkach,
˛
to zaś
w sposób konieczny zwieksza
˛
entropie.
˛
c 2013 P. F. Góra
Copyright 15
Ile waży informacja?
500 GB — wyczyszczenie wyprodukuje co najmniej E = 500 × 10243 ×
8 × ln 2 × kB T ciepła. kB = 4.31 × 10−23 J/K. W temperaturze 25◦ C,
E ' 1.56 × 10−9 J, co odpowiada masie (E = mc2) m ' 0.175 ×
10−25 kg, czyli mniej wiecej
˛
masie 10 protonów.
Faktyczne wyczyszczenie dysku wymaga o wiele wiekszej
˛
energii —
mówimy tu o samej informacji wyrażonej w jednostkach masy.
c 2013 P. F. Góra
Copyright 16
Entropia gwiazd
I Proces powstawania gwiazdy z gazu galaktycznego odpowiada
wzrostowi entropii: Zimny obłok gazu ma mało dostepnych
˛
stanów ze
wzgledu
˛ na predkość,
˛
wiec
˛ jest bardziej uporzadkowany
˛
(!), niż goraca
˛
gwiazda, która ma o wiele wiecej
˛
dostepnych
˛
stanów ze wzgledu
˛
na
predkość
˛
czastek.
˛
II Czarne dziury
– Materia bezpowrotnie wpada do czarnej dziury i informacja jest tracona?
– W wypadku czarnych dziur, role˛ entropii odgrywa powierzchnia horyzontu, która nie może maleć.
c 2013 P. F. Góra
Copyright 17
Zebatka
˛
brownowska
• Wariant demona Maxwella, wymyślony przez
Mariana Smoluchowskiego:
• Przypadkowy ruch cieplny zostaje zamieniony
na ukierunkowany ruch z˛ebatki
• Spreżyna
˛
także fluktuuje, zwalniajac
˛ z˛ebatk˛e!
• Urzadzenie
˛
takie może wykonać dowolnie wielka˛ prace,
˛ ale. . .
• . . . ponieważ czas oczekiwania na odpowiednio wielka˛ fluktuacje˛
gwałtownie rośnie, moc takiego urzadzenia
˛
daży
˛ do zera.
c 2013 P. F. Góra
Copyright 18
Model Jarzyńskiego
Co robi demon Maxwella? Otwiera lub zamyka drzwiczki w zależności od
tego, czy nadlatuje czastka
˛
“szybka” czy “wolna” — jest to decyzja zerojedynkowa. W jezyku
˛
z˛ebatek można powiedzieć, że z˛ebatka przeskakuje
o jedna˛ pozycje˛ w zależności od tego, w która˛ strone˛ został uderzony wiatraczek.
Minimalistyczny model demona Maxwella jako trójstanowego automatu,
zdolnego także działać jak “niszczarka Landauera”:
Dybiendu Mandal, Christopher Jarzynski, Work and information processing in a solvable model of Maxwell’s demon, PNAS 109, 11641–11645 (17
lipca 2012).
c 2013 P. F. Góra
Copyright 19
Trzy stany — żeby możliwe było rozróżnienie ruchu “zgodnego” i “przeciwnego” do ruchu wskazówek zegara.
Możliwe losowe przejścia A ↔ B ↔ C bez zmiany bitu.
Możliwe przejście C → A z jednoczesnym obróceniem bitu 0 → 1 oraz
A → C z jednoczesnym obróceniem bitu z 1 → 2.
Mandal i Jarzynski udowodnili, że taki model ściśle odpowiada demonowi
Maxwella.
c 2013 P. F. Góra
Copyright 20
Maszyna Turinga
Teoretyczny model komputera (dowolnej maszyny obliczajacej):
˛
1. Taśma (potencjalnie nieskończona), podzielona na komórki. W każdej
komórce zapisany jest jeden symbol ze skończonego alfabetu, obejmujacego
˛
symbol pusty.
2. Głowica czytajaca
˛ i zapisujaca
˛ symbole na taśmie.
3. Rejestr zapamietuj
˛ acy
˛
aktualny (jeden ze skończenie wielu) stan
maszyny.
c 2013 P. F. Góra
Copyright 21
4. Funkcja przejścia, która mówi, co maszyna ma zrobić w zależności od
swojego stanu i symbolu na taśmie — wymazać lub zapisać symbol,
przesunać
˛ taśme˛ w lewo lub w prawo, przejść do nowego stanu lub
pozostać w dotychczasowym.
c 2013 P. F. Góra
Copyright 22
Zasada Churcha:
Wszystko, co da sie˛ obliczyć na dowolnym realnym
komputerze, da sie˛ obliczyć na maszynie Turinga.
Turing wymyślił swoja˛ maszyne˛ aby udowodnić prawdziwość jednego
z postulatów Hilberta: moga˛ istnieć dobrze zdefiniowane funkcje matematyczne, których nie da sie˛ obliczyć w skończonym czasie.
Obecnie maszyna Turinga jest podstawowym narz˛edziem myślowym w informatyce teoretycznej.
c 2013 P. F. Góra
Copyright 23
Model Jarzynskiego demona Maxwella wydaje sie˛ być równoważny
maszynie Turinga.
Daje to teoretyczne podstawy do narzucania termodynamicznych
ograniczeń na możliwe obliczenia, a także konceptualnie łaczy
˛
podstawy
fizyki statystycznej i teorii obliczalności.
Jest to zwieńczenie długiego procesu, zapoczatkowanego
˛
przez Richarda
Langa w 1973, a w pewnym sensie już przez Landauera w 1961.
Nieco inne, ale podobne podejście: Marco Frasca http://arxiv.org/
abs/1206.0207 — równoważność probabilistycznej maszyny Turinga
i dynamiki modelu Isinga.
c 2013 P. F. Góra
Copyright 24