docteorii informacji
download 
Reklamacja Transkrypt
teorii informacji
Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Artur Machlarz 13 marca 2012 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Plan wykładu 1 Uwagi historyczne o teorii informacji Shannona Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley 2 Matematyczna Teoria Informacji Claude’a E. Shannona Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia 3 Pojęcie entropii w fizyce Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona 4 Podsumowanie Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Najogólniejsza charakterystyka interesującego nas problemu: podać kryterium oceny różnych systemów komunikacyjnych pod względem ich zdolności do przesyłania informacji. Uwaga: nie będzie nas dziś interesowała treść komunikatu. Informacja będzie traktowana jak własność fizyczna. Claude E. Shannon - którego teorią zajmować się będziemy na wykładzie - w pracy A Mathematical Theory of Communication (w: “The Bell System Technical Journal”, Vol. 27, pp. 379–423, 623–656, July, October, 1948.) powołuje się na dokonania Nyquista i Hartleya, jako podstawowe dla jego teorii. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Harry Nyquist - Idealny przekaźnik Nyquist uważa, że dwa czynniki mają podstawowe znaczenie dla efektywnej transmisji sygnału w fizycznie idealnym przekaźniku (tzn. takim, który nie zawiera żadnych fizycznych ograniczeń prędkości): kształt sygnału oraz reprezentujący przekazywaną wiadomość kod (kod idealny to będzie taki, który przy optymalnym kształcie sygnału i braku fizycznych ograniczeń przekaźnika określa prędkość transmisji). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Prędkość transmisji Według Nyquista prędkość transmisji przy idealnym kodzie i optymalnym kształcie sygnału jest proporcjonalna do logarytmu ilości znaków, które mogą być użyte do zakodowania wiadomości. Nyquist wprowadza do teorii informacji funkcję logarytmiczną. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Ralph Hartley - Model przekazu informacji System komunikacyjny składa się z trzech elementów: Zbioru fizycznych symboli, Nadawcy wybierającego jeden z elementów tego zbioru, Odbiorcy, który identyfikuje symbol i kieruje swoją uwagę na intencję nadawcy. Efektywność systemu polega na tym, że odbiorca ma szansę na odkrycie, jakiego wyboru dokonał nadawca (a jednocześnie, jakie elementy wyeliminował). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica I zasada: dwa identyczne fizyczne ciągi symboli nie dają żadnych podstaw do zróżnicowania znaczenia. Ciąg symboli A jest identyczny z ciągiem symboli B: a zatem A i B pełniące tą samą funkcję nie mogą efektywnie służyć wskazaniu dwóch różnych rzeczy (nie mogą być nośnikami informacji o dwóch różnych rzeczach). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - przykład Jeśli w katalogu bibliotecznym mielibyśmy do czynienia z kilkoma pozycjami książkowymi oznaczonymi tą samą sygnaturą, to wskazanie wyłacznie sygnatury nie wskazywałoby jednoznacznie pozycji książki. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - kolejny przykład Osoba A w odpowiedzi na pytanie Q odpowiada zawsze: już niedługo. Pewnego dnia odpowiada: jutro. W obu przypadkach mamy naturalnie do czynienia z zamkniętą ilością możliwych ciągów symboli do wyboru. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - wnioski Wnioski Ralpha Hartleya (1928): różnice między fizycznymi ciągami symboli są podstawowym czynnikiem wpływającym na wartość informacyjną ciągu, bierzemy zatem zbiór ciągów symboli a nie pojedyncze symbole, żeby ustalić wartość informacyjną symbolu oraz traktujemy informację jako wskazanie przez fizyczny ciąg symboli na coś innego niż on sam. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - wnioski Wnioski Ralpha Hartleya (1928): w pracach Hartleya pojawia się zatem idea powiązania wartości informacyjnej ze stopniem prawdopodobieństwa wystąpienia jakiegoś stanu rzeczy (fizycznego ciągu symboli) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka problemu Harry Nyquist Ralph Hartley Informacja a różnica - wnioski Wnioski Ralpha Hartleya (1928): w pracach Hartleya pojawia się zatem idea powiązania wartości informacyjnej ze stopniem prawdopodobieństwa wystąpienia jakiegoś stanu rzeczy (fizycznego ciągu symboli) oraz - co równie ważne - wartość informacyjna jest w jego teorii odwrotnie proporcjonalna do stopnia prawdopodobieństwa. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Charakterystyka teorii Shannona Rysunek: Claude E. Shannon - twórca podstaw współczesnej teorii komunikacji i informacji; wprowadził do nauki pojęcie informacji; jego najważniejsza praca (“A Mathematical Theory of Communication.“) powstała w czasie pracy w Bell Laboratories, gdzie zapoznał się z pracami Nyquista i Hartleya. Artykuł ten został wydany w 1948 roku. Shannon jest również znany jako wynalazca, jest m.in. twórcą ”The Ultimate Machine“: http://youtu.be/cZ34RDn34Ws Filmowy krótki przegląd innych dokonań Shannona: http://youtu.be/Tr1sDgIFE40 . Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Charakterystyka teorii Shannona Deklarowanym celem Shannona było: (...) rozważyć pewne ogólne problemy związane z systemami komunikacyjnymi. Fundamentalnym problemem komunikacji jest problem reprodukcji w jednym miejscu albo dokładnie albo przynajmniej w zbliżony sposób wiadomości wybranej w innym miejscu. (...) Istotnym aspektem jest to, że pewna wiadomość jest jedną wybraną ze zbioru możliwych wiadomości. System musi być zaprojektowany tak, żeby działać dla każdego możliwego wyboru, nie tylko dla tego, który faktycznie został dokonany, choćby dlatego, że ten wybór nie jest znany w momencie projektowania systemu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny; Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Semantyka? Komunikat ma zawsze pewną treść - dla Shannona problem treści znaczenia komunikatu - jest jednak irrelewantny. Dlaczego? wg Shannona dla inżynieryjnych problemów związanych z projektowaniem efektywnych systemów transmisji informacji ten problem wydaje się nieistotny; w czasach Shannona badania semantyczne uznawane były za nienaukowe również przez całą rzeszę amerykańskich lingwistów (np. Bloomfelda i dystrybucjonistów amerykańskich). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona Rysunek: Model Shannona Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W Modelu Shannona mamy następujące elementy: nadawca/źródło informacji, przekaźnik, sygnał nadany, kanał transmisji (tutaj może wystąpić szum), sygnał odebrany, odbiornik, odbiorca. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze; Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Model Shannona W modelu Shannona przyjmujemy następujące założenia: w źródle informacji i u odbiorcy przyjmujemy ”wiedzę aprioryczną“ znajomość zbioru zdarzeń, z których mogą być wybrane konkretne wydarzenia (np. ciągi symboli); informowany i informujący znają rozkład prawdopodobieństwa w tym zbiorze; informowany nie wie przed otrzymaniem sygnału, jaki element zbiory został/zostanie wybrany przez źródło informacji. Otrzymany sygnał redukuje zatem jego niepewność odnośnie tego, jaki element zbioru będzie wybrany. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 1 Osoba A mówi do osoby B: ”zrób coś z tym koszmarnym hałasem¡‘. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 1 Osoba A mówi do osoby B: ”zrób coś z tym koszmarnym hałasem¡‘. Interpretacja w modelu: osoba A (a raczej jej umysł, kora mózgowa itp.) - źródło informacji organy mowy A wytwarzają falę dźwiękową - przekaźnik fala dźwiękowa - sygnał powietrze - kanał transmisji (niestety hałas, o którego likwidację prosi A, zniekształca w tym miejscu sygnał - pojawia się szum) organy słuchu B - odbiornik osoba B (umysł, kora mózgowa itp.) - odbiorca informacji. Dokładna treść informacji w tym modelu jest nieistotna. Treść komunikatu i reakcja B nie ma znaczenia. Znaczenie ma to, czy szumy zniekształciły sygnał w sposób uniemożliwiający poprawnie zdekodowanie wiadomości, czy też nie. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Realizacja modelu - przykład 2 Lampka nad wejściem do gabinetu jest włączona: Proszę podać interpretację w modelu Shannona; proszę znaleźć inny przykład, który da się zinterpretować w tym modelu. Teoria Shannona jest b. abstrakcyjna i ogólna. Obejmuje zarówno alfabet, zbiory biblioteczne, kule w jakiejś puli itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Szum Uwaga: proszę nie mylić szumu w teorii Shannona z niejasnym pojęciem szumu informacyjnego. Szum jest zawsze zjawiskiem niepożądanym. Oznacza zakłócenia w transmisji sygnału pochodzące ze źródeł zewnętrznych. Szum powoduje np. zakłócenia polegające na zagłuszeniu części sygnału. 1 Przykład szumu: muzyka zakłócająca komunikat ustny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+5-ilość). Ten nadmiar może być zarówno pożądany jak i niepożądany. Przykłady: 1 Redundancja pożądana: suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu .iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Redundancja (Ekwiwokacja) Redundancja jest nadmiarem informacji względem pożądanej ilości (np. do przesłania komunikatu potrzebnych jest n-ilość bitów, natomiast wysyłany sygnał zawiera n+5-ilość). Ten nadmiar może być zarówno pożądany jak i niepożądany. Przykłady: 1 Redundancja pożądana: suma kontrolna md5sum w plikach (pozwala skontrolować poprawność np. pobranego obrazu .iso w dużym rozmiarze); metainformacje w dokumentach elektronicznych itp. 2 Redundancja niepożądana: zbędne elementy w kodzie strony internetowej wynikające np. z użycia aplikacji typu WYSIWYG (brak widocznego efektu, poza spowolnieniem działania przeglądarki) itp. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? prawdopodobieństwo: P (X) - prawdopodobieństwo zdarzenia X. Jest określone w stosunku do całego zbioru możliwości. Jeśli zbiór A jest 2-elementowy, to przy równym rozkładzie prawdopodobieństwa - x, y, należące do A, mają prawdopodobieństwo równe 12 . P(X |Y ) - prawdopodobieństwo warunkowe zdarzenia X ze względu na Y (prawdopodobieństwo, że wystąpi zjawisko X pod warunkiem ∩Y ) wystąpienia Y). Y ogranicza zbiór możliwości: P(X |Y ) = P(X P(Y ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? logarytm: logn - funkcja oznaczająca potęgę, do której trzeba podnieść liczbę n, żeby otrzymać określony wynik (np. logn 8 = 3, ponieważ 2 podniesione do trzeciej potęgi daje 8.) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Przydatne pojęcia matematyczne Jakie pojęcia matematyczne będą nam potrzebne? P sumowanie: - operacja uogólnionego dodawania składników pewnego szeregu. Jeśli nad tym symbolem pojawia się określona wartość n, oznacza ona, że sumujemy elementy skończonego n P szeregu. Indeks dolny, oznacza pierwszy element szeregu ( ). i=1 Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - miara informacji Entropia: H= n P pi log2 i=1 1 pi Objaśnienie symboli: H - ilość informacji mierzona w bitach, n P - operacja sumowania n-elementów skończonego zbioru i=1 n-elementowego. pi - prawdopodobieństwo i-elementu. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A1 = 21 , A2 = 14 , A3 = 18 , A4 = 18 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - przykład Weźmy zbiór 4-elementowy. Rozkład prawdopodobieństw wygląda tak: A = (A1 = 21 , A2 = 14 , A3 = 18 , A4 = 18 ) Wartość entropii: 4 P H= pi log2 p1i = pA 1log2 pA11 + ... = 21 log2 11 + 41 log2 11 + 2 4 i=1 1 1 1 1 1 1 1 1 + 8 log2 1 = 2 log2 2 + 4 log2 4 + 8 log2 8 + 8 log2 8 = 1 8 log2 1 2 8 ∗1+ 1 4 ∗2+ 1 8 8 ∗3+ 1 8 ∗3= 1 2 + Artur Machlarz 1 2 + 3 8 + 3 8 = 1, 75 Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Ogólne wyrażenie entropii - komentarz Komentarz: Entropia nie jest wyrazem zawartości informacyjnej pojedynczego elementu zbioru ani całości zbioru. Entropia wyraża przeciętną informatywność elementów zbioru określoną a priori przez rozkład prawdopodobieństwa w zbiorze możliwości. Entropia może być zinterpretowana jako wartość określająca przeciętną niepewność w danym zbiorze możliwych sygnałów (aczkolwiek bez skojarzeń psychologicznych). W definicji entropii pojawia się funkcja logarytmiczna o podstawie 2, ze względu na warunki techniczne: interesuje nas kod binarny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A1 = 1 16 , A2 = 34 , A3 = 18 , A4 = Artur Machlarz 3 16 ) Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń odmiennie prawdopodobnych Pytanie kontrolne - oblicz wartość entropii dla: A = (A1 = 1 16 , A2 = 34 , A3 = 18 , A4 = 3 16 ) Dla osób, które nie zapamiętały wzoru: H= n P i=1 Artur Machlarz pi log2 1 pi Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A1 = 41 , A2 = 14 , A3 = 14 , A4 = 14 ) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne: oblicz wartość entropii dla: A = (A1 = 41 , A2 = 14 , A3 = 14 , A4 = 14 ) Dla osób, które nie zapamiętały wzoru: H= n P i=1 Artur Machlarz pi log2 1 pi Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Pytanie kontrolne - wynik: 2. WNIOSEK: entropia będzie osiągała wartość maksymalną dla zbioru zdarzeń równoprawdopodobnych. Jest to własność bardzo intuicyjna: równy rozkład prawdopodobieństw wiąże się z najwyższym stopniem niepewności odnośnie tego, jaki element zbioru zostanie wybrany. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Entropia dla zbioru zdarzeń równoprawdopodobnych Obliczenie wartości entropii dla takiego zbioru może być oparte na (bardzo) uproszczonej formule: ilość informacji dla każdego symbolu będzie równa log2 (N), gdzie N = ilość symboli w zbiorze. Dla 4 równowartościowych symboli: log2 (4) = 2 4 P pi log2 p1i = pA 1log2 pA11 + ... = H= i=1 1 1 log + 41 log2 11 + 14 log2 11 + 41 log2 11 = 41 log2 4+ 14 log2 4+ 1 2 4 4 1 1 4 log2 4 + 4 log2 4 4 = 1 4 ∗2+ 1 4 4 ∗2+ Artur Machlarz 1 4 ∗2+ 1 4 4 ∗2 = 1 2 + 1 2 + 1 2 + 1 2 =2 Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Pozostałe własności entropii Własności entropii: maksymalną wartość uzyskuje dla zbioru wydarzeń równoprawdopodobnych; minimalną wartość uzyskuje dla zbioru, w którym jeden element ma prawdopodobieństwo równe 1 (system nie jest obarczony wtedy żadną niepewnością, a otrzymana wiadomość nie jest dla informowanego żadnym zaskoczeniem - nie niesie niczego nowego...). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Sens pojęcia entropii Znany wzór na entropię jest wyrazem średniej informatywności dowolnego symbolu ze skończonego zbioru oraz przeciętnej ilości deficytu danych, które informowany posiada przed otrzymaniem komunikatu. Informowany przed otrzymaniem komunikatu nie wie, jaki symbol otrzyma (jeśli wie, to H = 0). Ma pewne oczekiwania, ponieważ wie, z jakiego zbioru będzie dokonywany wybór i zna rozkład prawdopodobieństw w tym zbiorze. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Ogólna charakterystyka teorii Shannona Ogólny model przepływu informacji Własności źródła informacji - Entropia Podsumowanie teorii informacji Shannona Teoria informacji Shannona - podsumowanie: Podstawowe pojęcia - elementy modelu, entropia, szum i redundancja. Informacja jest traktowana jako własność fizyczna. Abstrahujemy od wszelkiego rodzaju aspektów psychologicznych i semantycznych. Ograniczamy się jedynie do zbiorów skończonych (tzn. takich, którego elementy możemy policzyć - takie zbiory nazywa się zbiorami dyskretnymi). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Sens pojęcia entropii w fizyce Przejście od układu uporządkowanego do nieuporządkowanego jest procesem nieodwracalnym. Rośnie ilość nieuporządkowanych ruchów molekuł a wraz z tym wzrostem spada ilość energii. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Drugie prawo termodynamiki Zgodnie z drugim prawem termodynamiki wzrost entropii (czyli od porządku do nieuporządkowania) całego uniwersum jest równoznaczny ze spadkiem dostępnej energii. Nie jest zaś możliwa zamiana wzrostu entropii na energię. Zgodnie z tym prawem także, jeśli mamy dwa ciała, które nie dopuszczają wymiany ciepła, to nie jest możliwe, żeby - jeśli te ciała mają tą samą temperaturę - powstawały różnice w temperaturze między nimi. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Demon Maxwella Eksperyment myślowy: Co mówi nam ten eksperyment? - że wbrew II zasadzie termodynamiki spadek entropii jest możliwy, więc zasada ta ma co najwyżej charakter statystyczny. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Demon Maxwella - możliwe rozwiązanie Leo Szilard (rozwiązanie z odniesieniem do fizycznej teorii informacji): demon musi posiadać informację o położeniu i prędkości molekuł. Fizyczna realizacja przetwarzania informacji przez demona przeważałaby nad spadkiem entropii. Negentropia jest zatem nadal niemożliwa. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Pewne własności (matematyczne) są takie same: np. wysoki poziom entropii oznacza niższy poziom energii. W teorii Shannona - wysoka wartość entropii oznacza wyższą aprioryczną wartość niepewności u odbiorcy komunikatu. W obu przypadkach maksymalna wartość entropii oznacza równy rozkład wartości w zbiorze (ciepła lub prawdopodobieństwa). Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona Dlaczego właściwie Shannon użył pojęcia entropii, zamiast ”informacji“, ”niepewności“ itp.? Moje najgłębsze zatroskanie budziła nazwa. Myślałem o nazwie ”informacja“, ale to słowo jest nadużywane, więc zdecydowałem się na nazwę ”niepewność“. Gdy omawiałem tą sprawę z Johnem von Neumannem, wpadł on na lepszy pomysł. Von Neumann powiedział mi: ”powinieneś to nazwać entropią z dwóch powodów. Po pierwsze, twoja funkcja niepewności jest używana w statystycznej mechanice pod tą nazwą, więc ona ma już nazwę. Po drugie zaś, co zresztą jest ważniejsze, nikt właściwie nie wie, czym tak naprawdę jest entropia, więc zawsze będziesz miał przewagę w dyskusji.“‘ (wypowiedź Shannona, cyt. za Francois Bavaud, Information Theory, Relative Entropy and Statistics, w: Formal Theories of Information Giovanni Sommaruga (Editor), s. 54.) Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Drugie prawo termodynamiki i demon Maxwella Entropia w fizyce a entropia Shannona Entropia w fizyce a entropia Shannona - Carnap i Bar-Hillel Wg von Neumanna podobieństwo tych pojęć sprawia, że teoria informacji może być wręcz postrzegana jako podstawa termodynamiki. Bar-Hillel zwraca uwagę na fakt, że to podobieństwo jest jedynie formalne entropia w termodynamice ma charakter empiryczny, natomiast w teorii informacji (semantycznej) jest pojęciem logicznym. Bar-Hillel zwraca też uwagę na fakt, że w termodynamice wartość entropii nie jest wyznaczona w tak precyzyjny sposób jak w teorii informacji. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Podsumowanie Idee Shannona, które są istotne dla całej przyszłej filozofii informacji: probabilistyczne ujęcie - a priori określona wartość p dla każdego elementu zbioru, znajomość zbioru zdarzeń i rozkładu prawdopodobieństw przez odbiorcę; wartość informacyjna jest odwrotnie proporcjonalna do prawdopodobieństwa sygnału (intuicja, że im bardziej prawdopodobne zdarzenie, tym mniejszą wartość dla informowanego ma sygnał informujący o tym zdarzeniu); całościowe ujęcie całego zbioru symboli; abstrahowanie od semantyki - problem do rozwiązania. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Literatura Duża część tego wykładu oparta jest na: Manuel Bremer, Daniel Cohnitz, Information and Information Flow. An Introduction., Frankfurt 2004, ss. 14-45. Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona. Uwagi historyczne o teorii informacji Shannona Matematyczna Teoria Informacji Claude’a E. Shannona Pojęcie entropii w fizyce Podsumowanie Dziękuję za uwagę i zapraszam do stawiania pytań! Artur Machlarz e-mail: [email protected] www: http://www.uni.opole.pl/∼machlarz Artur Machlarz Filozofia Informacji, Wykład II - Teoria informacji C. E. Shannona.
