SYSTEMY MULTIMEDIALNE

mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 1.
SYSTEMY MULTIMEDIALNE
Co to jest system multimedialny? ● Elementy systemu multimedialnego ●
Nośniki danych i ich wpływ na kodowanie ● Cele i sposoby kodowania ●
Kompresja bezstratna ● Kompresja stratna ● Stratna kompresja dźwięku ●
Stratna kompresja obrazów ● Stratna kompresja video
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 2.
Co to jest system multimedialny?
Czy na przykład klasyczna analogowa telewizja, to system multimedialny?
Owszem, jak najbardziej, ale to analogowy system
multimedialny. Nas natomiast będą interesowały cyfrowe
systemy multimedialne, elementy niektórych z nich
podziwiać można poniżej.
?
W słowie „multimedialny” tkwi mały haczyk, bo
„multi” zakłada wielość mediów w takim systemie
(np. obraz i dźwięk). Jednak systemy dostarczające
tylko jedno medium (np. tylko dźwięk), również
można podciągnąć pod systemy multimedialne, bo
słowo „medialny” znaczy w naszym języku coś
zupełnie innego.
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 3.
Elementy systemu multimedialnego.
kodowanie
źródła
nośniki danych
dekodowanie
urządzenia końcowe
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 4.
Nośniki danych i ich wpływ na kodowanie.
Transmisja radiowa
Szerokość pasma – średnia i duża. Poziom zakłóceń – wysoki. Ilość jednoczesnych
odbiorców – nieograniczona. Dostęp swobodny – brak. Kanał zwrotny - brak.
Transmisja kablowa
Szerokość pasma – duża. Poziom zakłóceń – niski. Ilość jednoczesnych odbiorców –
średnia i duża. Dostęp swobodny – brak. Kanał zwrotny – najczęściej brak.
Pamięci masowe
Szerokość pasma – duża i bardzo duża. Poziom zakłóceń – żaden. Ilość
jednoczesnych odbiorców – 1. Dostęp swobodny – jest. Kanał zwrotny – brak.
Ograniczona pojemność.
Internet
Szerokość pasma – mała lub średnia. Poziom zakłóceń – niski lub bardzo niski. Ilość
jednoczesnych odbiorców – umiarkowana. Dostęp swobodny – może być
zapewniony. Kanał zwrotny – bez problemu.
Nośnik danych systemu multimedialnego ma zasadniczy wpływ na rodzaj wybranego kodowania.
Różnorodność kanałów transmisyjnych powoduje różnorodność standardów kodowania, choć daje się
zaobserwować pewien trend do tworzenia systemów uniwersalnych (np. MPEG-4). Warto też
pamiętać o tym, że często kanał transmisyjny składa się z kilku różnych części, np. media
transmitowane przez Internet są składowane po stronie nadawczej (a często i odbiorczej) w pamięci
masowej.
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 5.
Cele i sposoby kodowania
Kodowanie danych ma różne cele, w zależności od rodzaju kanału transmisyjnego,
czy modelu biznesowego nadawcy. Możemy wyróżnić trzy najważniejsze cele
kodowania:
Korekcja błędów
Ma na celu oczywiście zapobieżeniu uszkodzeniom transmitowanych mediów
wywołanych zakłóceniami. We współczesnych systemach multimedialych korekcja
błędów odbywa się najczęściej w warstwie transmisji jak najbliższej sprzętu (np.
sumy kontrolne ramek Ethernet, kody korekcyjne na dyskach CD/DVD).
Kompresja danych
Jest szczególnie istotna w kanałach o ograniczonej pojemności, a więc w Internecie
i pamięciach masowych. Dane multimedialne mogą być kompresowane bezstratnie
(z wykorzystaniem redundancji informacyjnej), lub też stratnie (z wykorzystaniem
redundancji percepcyjnej). Kompresja stratna i bezstratna najczęściej są
wykorzystywane jednocześnie.
Szyfrowanie
Celem szyfrowania może być zarówno zapewnienie poufności przekazu (np. w
systemach łączności radiowej czy wideofonicznej), zapewnienie, że przekaz trafi
wyłącznie do zaufanych odbiorców, bądź też zabezpieczenie praw autorskich
(utrudnienie kopiowania).
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 6.
Kompresja bezstratna
Kompresja bezstratna wykorzystuje redundancję (nadmiarowość) informacyjną (dowolnego)
strumienia danych. Jej cechą charakterystyczną jest identyczność bitowa strumienia
zdekompresowanego ze sttumieniem źródłowym. Dzięki temu kompresja bezstratna może być
wykorzystana do dowolnego formatu danych, niekoniecznie mediów. Oto różnego rodzaju algorytmy
kompresji bezstratnej:
Algorytmy bez analizy danych:
 ByteRun – IFF ILBM.
 Run Length Encoding – BMP.
 Lempel Ziv Welsh (LZW) – GIF.
Algorytmy z analizą danych:
 Algorytm Huffmana – ZLIB, ZIP.
 Kompresja arytmetyczna.
Przykład redundancji informacyjnej
dane źródłowe
AAABBBAAAAAABBBBCCCCCBBBBBAAAAAAA
prosta kompresja typu „byte run”
3A3B6A4B5C5B7A
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 7.
Kompresja stratna
Kompresja stratna jest charakterystyczna dla danych medialnych, ponieważ wykorzystuje
redundancję percepcyjną. Opiera się ona na tym, że ludzkie zmysły i mózg nie analizują całej
informacji zawartej w strumieniu multimedialnym. W związku z tym część danych może zostać z
tego strumienia usunięta, podczas gdy percepcja tego strumienia pozostanie niezmieniona, lub
(częściej) strata jakości percepcji jest w danych warunkach akceptowalna. Pewnym problemem jest
tu indywidualność percepcji. Autorzy kompresorów konstruują uśrednione modele percepcji w
oparciu o wyniki eksperymentów (np. model psychoakustyczny MPEG Audio). Trzeba się liczyć z
tym, że indywidualne osoby mogą mieć percepcję inną niż uśredniony model. Na przykład większość
ludzi kopmresję MPEG 1 Audio warstwę 3 (popularne MP3) o przepływności 192 kbit/s traktuje jako
„jakość CD”, podczas gdy są osoby, które odczuwają stratę jakości nawet przy 256 kbit/s.
Większość algorytmów kompresji stratnej na koniec pakuje przetransformowane dane dodatkowo
algorytmem bezstratnym.
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 8.
Kompresja stratna dźwięku
Najprostszą kompresją stratną dźwięku jest nieliniowe kwantowanie
próbek, stosowane między innymi w formatach A-law i µ-law. Osiąga się
kompresję 2:1 przy nieznacznym pogorszeniu stosunku sygnału do szumu.
Kolejnym stopniem jest wykorzystanie korelacji międzypróbkowej –
ADPCM z predyktorami różnego stopnia. Są to jednakże metody
przestarzałe, powszechnie obecnie jest stosowana transformata w
dziedzinę częstotliwości, następnie przy pomocy modelu psychoakustycznego usuwa się składowe percepcyjnie nieistotne, dzięki zjawisku
maskowania tonalnego i szumowego. Korzystając z tego samego zjawiska
można zamaskować szum kwantyzacji współczynników transformaty (noise
shaping). Prostą metodą stosowaną przy dźwięku wielokanałowym jest
wykorzystanie wysokiej korelacji między kanałami (najczęściej stosowana
wraz z innymi metodami). Skuteczną metodą poprawienia stopnia
kompresji jest kompresja z dynamicznym bitrate (VBR). Najnowsze
standardy (AAC+) wykorzystują też sztuczki z powieleniem dolnej połowy
widma w górną (spectral band replication).
Odrębną gałęzią jest kompresja sygnałów mowy. Tu podstawowym
kryterium jest raczej zrozumiałość mowy niż wierne odtworzenie.
Powszechnie stosowaną techniką jest dynamiczne modelowanie układu
głosowego człowieka i przesyłanie parametrów modelu, oraz pobudzenia
szczątkowego (szum + ton). Na technicej tej opiera się np. standard
kompresji telefonii komórkowej GSM.
kwantowanie
nieliniowe
t
korelacja
międzypróbkowa
f
maskowanie
tonalne i szumowe
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 9.
.
Kompresja stratna obrazów nieruchomych
Wzrok człowieka oszukać trudniej niż słuch, stąd wiele formatów obrazu
pozostaje przy kompresji bezstratnej (GIF, BMP), ewentualnie
wspomagając się usuwaniem korelacji między sąsiednimi pikselami (PNG).
Kompresja stratna sprawdza się w przypadku obrazów naturalnych
(zdjęcia). Najbardziej rozpowszechnionym formatem jest JPEG, który
opiera się na transformacie obrazu w dziedzinę częstotliwości (DCT), a
następnie stratnym kwantowaniu współczynników transformaty. Nowsze
formaty (JPEG2000, DjVu) wykorzystują transformatę falkową, która lepiej
dopasowana jest do sposobu przetwarzania obrazu przez mózg (przy tej
samej kompresji, artefakty są mniej widoczne). Ważną techniką jest też
zmniejszanie pasma przenoszenia chrominancji (formaty YUV).
7,1 kB
3,6 kB
Warto tu wspomnieć, że w przypadku rysunków wygenerowanych
sztucznie, zawierających głównie linie i jednobarwne figury, bardzo
skutecznym rodzajem „kompresji” jest zapis w formacie wektorowym (np.
SVG, czy nawet PostScript i PDF).
95,7 kB
3,9 kB
2,0 kB
mgr inż. Grzegorz Kraszewski – SYSTEMY MULTIMEDIALNE – wykład 1, strona 10.
Kompresja stratna video
O ile rozdzielczość percepcyjna obrazów nieruchomych u człowieka jest
niezła, o tyle w przypadku video możliwości oszustwa jest więcej.
Większość ludzi odbiera ruch pokazany z prędkością powyżej 25 klatek na
sekundę jako płynny. To podstawa ograniczenia strumienia danych.
Oczywiście do każdej klatki dają się zastosować techniki stosowane przy
obrazach niesuchomych, przede wszystkim format YUV i skwantowane
transformaty częstotliwościowe.
Oprócz tego dochodzi wiele nowych technik wykorzystujących korelację
międzyklatkową: predykcja i interpolacja klatek, predykcja ruchu bloków
obrazu.
predykcja i interpolacja ramek
kompensacja ruchu