Wyklad 3 \(Teoria informacji\)

dwoma jednakowo prawdopodobnymi, ale wzajemnie
wykluczającymi się zdarzeniami
• Bit to ilość informacji koniecznej do dokonania wyboru między
• Informacja wiąże się
1
z prawdopodobieństwem wyboru sygnału: I = - log2 2
z dokonaniem wyboru, czyli ze
zlikwidowaniem stanu niepewności
Kierunki
Teoretyczny
Biologiczny
Techniczny
S3
Ekonomiczny
S1, S2, S3,
Medyczny
S4, S5, S6,
Fizjologia cybernetyczna
S7, S8
Neurocybernetyka
Cybernetyka
psychologiczna
Przesłanie sygnału wiąże się
Bionika
Cybernetyka - wprowadzenie
Zmiana entropii jako funkcji
prawdopodobieństwa wystąpienia
dwóch możliwych, ale wzajemnie
wykluczających się stanów układu
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
0,0
1
16
1,2
P=
0,1
0,3
0,4
0,5
0,6
0,7
0,8
1
=4
16
Prawdopodobieństwo
0,2
I =- log2
0,9
Prawdopodobieństwo zlokalizowania pionka
Ilościowe ujęcie informacji
Entropia
1,0
Pojemność informacyjna układu:
N = mn
Pojemność informacyjna pamięci: Q = n logam
Informacja jest miarą nieokreśloności, a entropia miarą
nieuporządkowania (gdy zjawisko jest pewne ( P = 1) to zdarzenie
przyjmie jedyną postać, a entropia ma wartość równą 0
Zmiana entropii zbioru zdarzeń
S = -P1 log2P1 – P2 log2P2 … -Pn logPn
W zdarzeniach niejednakowo prawdopodobnych, ilość informacji
przypadająca na sygnał:
I = -P1 log2P1 – P2 log2P2 … -Pn logPn (bitów/sygnał)
W rzeczywistości tylko niektóre z kombinacji symboli są dopuszczalne (mają sens)
Kod składa się z m wyrazów, a wiadomość może być przesłana przez n sygnałów
Definicje pojęć z teorii informacji - I
Nadmiar informacji (Redundancja):
D=
0
1
S0
=1–h
S1 – wartość entropii dla danej wiadomości
S0 – wartość maksymalna entropii
Odwrotność entropii względnej podaje ile razy można zmniejszyć
pojemność informacyjną układu potrzebną do zakodowania wiadomości
o entropii S1, jeśli przy takich samych wyrazach kodu, użyć kodu
optymalnego
S –S
Względna entropia:
S0 = 5 bitów/znak
S1 = 4 bity/znak (Po uwzględnieniu częstości występowania liter
Nadmiar informacji w tym przypadku – 20%
Ciągły
Ziarnisty (dyskretny)
Kod informacyjny
Jest to stopień niewykorzystanej pojemności informacyjnej
Przykładem – alfabet (32 litery – wyrazy kodu mowy)
S1
h=
S0
Definicje pojęć - II
Układ B
0001
0010
0100
1000
Pojemność pamięci ukłądów: QA = QB
Q = n log2m = 4 log22 = 4 bity
P0B
=
P1B,
W układzie A:
W układzie B:
1
4
P0B = 3
P0A = P1A = 4 = 2
2
P0A, P1B – prawdopodobieństwa wystąpienia 0 i 1
2
P1B = 1
Dopuszczalne wiadomości o stanie obu układów
Układ A
0011
0101
1001
0110
1010
1100
Kodowanie informacji kodem dwójkowym
Pojęcie kodu optymalnego
log2
SA1
=
SA0
DA = 0
hA
=1
SB1
=
SB0
DB = 0.189
hB
= 0.811
3
) = 0.811 bita/sygnał
4
1
) = 1 bit/sygnał
2
3
4
log2
SA0 = SB0 = Log2m = Log22 = 1 bit/sygnał
Dla Entropia względna i nadmiar informacji
układu A
Dla układu B
1
1
Log2
+
4
4
1
2
Entropia Maksymalna dla obu układów
SB1 = -(
Układu B
1
1
Log2
+
2
2
SA1 = -(
Entropia dla wiadomości o stanie
Układu A
Kod optymalny - II
Kod dwójkowy
Kod amplitud
A
A
t
t
A
Kod częstości
A
Kod przedziałów
Kodowanie informacji
t
t
C
Szumy
Czytanie
Pisanie
Wyliczanie
– 45 bitóws
– 16 bitów/s
– 3 bity/s
S(X) – S(X/Y)
t
D
Y
[Bit]
[s]
S(X) – entropia bezwarunkowa źródła
S(X/Y) – entropia warunkowa źródła
V=
Kanał łączności
Prędkość przesyłania informacji:
X
S(X) > S(Y)
Przepływ informacji
Kodowanie i przepływ informacji w
organizmie
cAMP, Ca2+, NO
• analogowo-cyfrowe
Wartość potencjału
generującego receptora jest
wprost proporcjonalna do
logarytmu siły działającego
bodźca
Informacja o sile bodźca
• cyfrowe
Sygnał ciągły po przekroczeniu
wartości progowej generuje
serię następnych sygnałów
nic”
• analogowe „wszystko albo
Przetwarzanie informacji
Funkcja przenoszenia
Zależność między wejściem i wyjściem układu
Sterowanie a regulacja
•
dodatnie – reakcje kaskadowe
• ujemne – stabilizuje układ
Sprzężenie zwrotne
Elementy pętli sprzężenia zwrotnego
Układy takie mają oprócz współczynnika tłumienia
także częstość oscylacji (ω = 2π/T)
W układach
inercyjnych sygnały
wejściowe x są
transformowane na inne
y kosztem energii
układu.
W układach
oscylacyjnych elementy
nie tylko wytracają
energię ale mogą też
chwilowo ją
magazynować jako
energię potencjalną
Układy oscylacyjne
Funkcja przenoszenia o charakterystyce
dynamicznej- układ inercyjny I rzędu,
zmiana w reakcji na bodziec = y = yo(1- e-(t/A)
A = stała czasowa - określa czas narastania
wielkości do wartości yo = Gxo
Połączenie szeregowe dwóch układów daje układ inercyjny II rzędu,
a n układów - n rzędu
• Funkcja przenoszenia y = f(x)
o charakterystyce statycznej
• Wzmocnienie lub tłumienie
układu: tgα = G
Równowaga
Funkcje przenoszenia statyczne i
dynamiczne
Energia
X
+/-
Komparator
Receptor
wyjście
Y
Wzorzec
Pamięć
∆Y/∆
∆X – wzmocnienie G pętli
1/(1+G) – współczynnik niwelacji
X’
Obiekt regulowany
Wzmacniacz
Efektor
Wejście
X’’
Zakłócenie
Układ samoczynnie regulujący się
Schemat krzepnięcia krwi jako przykład
układu z wieloma pętlami sprzężenia
zwrotnego
Informację można
przekształcić w
entropię i odwrotnie
Gdy powiększamy
wiedzę o układzie,
entropia układu lub
otoczenia rośnie
Entropia a informacja
Demon Maxwella
34 [J/0K]
S = 0,9522x10-23 [J/0K] x I
S = 1,38x10-34 [J/0K] x I
k = 1,38x10
gdy I = 1 bit to S = 0,95x10—23 [J/0K]
[S] = [J/0K]
Ponieważ
I = -log2Z
S = k x 2,9 x 0,3 x log2Z
S = k x 2,3 x 0,3 x I
S = k x 2,9 x Log10Z
S = k x lnZ
Entropia a informacja