Audio i video

Audio i video
R. Robert Gajewski
omklnx.il.pw.edu.pl/~rgajewski
[email protected]
Fale dźwiękowe
Dźwięk jest drganiem powietrza rozchodzącym
się w postaci fali.
Fala ma określoną amplitudę i częstotliwość.
Rzeczywiste dźwięki są sumą wielu różnych
nakładających się na siebie fal.
© R. Robert Gajewski
Konwersja fali dźwiękowej
do postaci cyfrowej
Aby przekształcić fale dźwiękowa do postaci
cyfrowej musimy zmierzyć amplitudę w
określonych odstępach czasowych.
Każda zmierzona wartość amplitudy nazywana
jest próbką (sample).
Proces przekształcania dźwięku do postaci
cyfrowej nazywany jest próbowaniem (sampling).
Liczba próbek pobierana w ciągu sekundy zwana
jest częstotliwością próbkowania (sample rate).
Najpopularniejsze obecnie częstotliwości
próbkowania to: 11025KHz, 22050KHz i
44100KHz.
© R. Robert Gajewski
Rozdzielczość próbkowania
Rozdzielczość próbkowania (sample resolution) to
rozmiar próbkowania.
Rozróżniamy dwie rozdzielczości 8 i 16 bitów
Możemy ją sobie wyobrazić jako liczbę
poziomych odcinków na jakie dzielimy amplitudę.
8 bitow
probki
16 bitow
© R. Robert Gajewski
Próbkowanie
Przy pobieraniu dźwięku rzeczywista wielkość
zmierzonej amplitudy zaokrąglana jest do
najbliższej "cyfrowej" wartości.
W żargonie określane jest to jako kwantowanie
(quantizing).
Różnica między oryginalną wartością a zapisanym
zaokrąglonym wynikiem pomiaru to błąd
kwantowania (quantization error).
© R. Robert Gajewski
Błąd próbkowania
skwantowana
wartosc amplitudy
jednostka
pomiaru
fala
dzwiekowa
rzeczywista
wartosc amplitudy
moment
probkowania
© R. Robert Gajewski
Odtwarzanie dźwięku
Ponieważ dźwięk jest zapisany w sposób "zębaty",
będzie brzmieć on nieco sztucznie.
W celu eliminacji tego zjawiska stosuje się
specjalne filtry analogowe, które wygładzają
kształt fali dźwiękowej.
© R. Robert Gajewski
Format µ-law
Wykorzystywany jako standard zapisu
dźwięku w systemach Sun i NEXT.
(rozszerzenie .au)
Monofoniczny, 8-bitowy o częstotliwości
8KHz. Ze względu na specyficzny sposób
kodowania ma dobra dynamikę.
© R. Robert Gajewski
Formaty AIFF/AIFC i WAVE
AIFF - Audio Interchange File Format,
opracowany przez firmę Apple, zaakceptowany
później przez firmę SGI. AIFC ma wbudowana
kompresję.
Format WAVE został opracowany przez
Microsoft. Ma wiele wspólnego z AIIFF. Istnieje
możliwość zapisu z różną rozdzielczością,
częstotliwością i liczba kanałów.
© R. Robert Gajewski
Format Real Audio
Wymagają odtwarzacza RealAudio.
Format 14.4 nadaje się do odtwarzania przy
pomocy modemu 14.4K a 28.8 przy
pomocy szybszego, 28.8K.
Oba formaty wyposażone są w skuteczne
algorytmy kompresji.
© R. Robert Gajewski
Cyfrowy obraz wideo
Analogowe wideo to płynny strumień informacji.
Karta wideo dokonuje próbkowania dostarczonego
obrazu filmowego w regularnych odstępach czasu.
Każdy obraz jest następnie kodowany i powstaje
ujęcie (frame).
Prędkość odtwarzania (frame rate) to liczba ujęć
wyświetlanych w ciągu sekundy, zaś wielkość
ujęcia (frame size) to rozmiary pojedynczego
ujęcia wyrażone w pikselach.
Na standardowym odtwarzaczu prędkość to 30 fps
– frames per second - (full motion video).
© R. Robert Gajewski
Format QuickTime
Format utworzony przez firmę Apple na
użytek komputerów Macintosh.
Format QuickTime pozwala wykorzystać
wiele różnych algorytmów kompresji, a w
szczególności CinePak oraz Indeo.
Pliki maja rozszerzenie .qt lub .mov.
© R. Robert Gajewski
Format Video for Windows
Format ten został opracowany przez
Microsoft i stanowi standard w edycji
wideo na PC.
Pliki te są zwane także plikami AVI z
powodu rozszerzenia .avi (Auto/Video
Interleave)
© R. Robert Gajewski
Format MPEG wideo
MPEG jest zarówno formatem pliku jak i
algorytmem kompresji.
Format ten zapewnia doskonałą jakość obrazu,
lecz proces dekompresji jest dosyć powolny dlatego wiele dekoderów plików MPEG jest
wspomaganych sprzętowo.
Jeżeli korzystamy z dekodera programowego
musimy dysponować komputerem o dużej mocy
obliczeniowej.
Duże są koszty kodowania obrazu w pliku MPEG
- potrzebny jest do tego sprzętowy kompresor.
© R. Robert Gajewski
Kompresja obrazu wideo
Algorytm stosowany do kompresji i dekompresji
cyfrowego obrazu wideo określany jest terminem
codec - (skrót od Compression/DECompression).
Algorytmy te, inaczej niż algorytmy stosowane do
kompresji obrazów, nie są powiązane ściśle z
formatem pliku w którym zapisujemy obraz
wideo.
Kodowanie symetryczne to takie, w którym czas
kompresji obrazu wideo jest równy czasowi jego
dekompresji.
Kodowanie asymetryczne to takie, dla którego
czas kompresji i dekompresji jest niejednakowy.
© R. Robert Gajewski
Kodowanie symetryczne i
asymetryczne
Kodowanie
symetryczne
Oryginalny
obraz wideo
Plik z cyfrowym
obrazem wideo
Czas
kompresji
Odtwarzanie
Czas
dekompresji
Kodowanie
asymetryczne
Oryginalny
obraz wideo
Plik z cyfrowym
obrazem wideo
Czas
kompresji
Odtwarzanie
Czas
dekompresji
© R. Robert Gajewski
Kodowanie symetryczne i
asymetryczne
Przy kodowaniu symetrycznym kompresja
filmowego obrazu zajmuje tyle samo co jego
późniejsza dekompresja.
Wpływa to pozytywnie na sprawność tworzenia plików
wideo, ale nie koniecznie na ich odtwarzanie.
Przy kodowaniu asymetrycznym proces
kompresowania obrazu wideo trwa długo, za to
czas odtwarzania przy dekompresji jest krótki.
Im krótszy jest czas dekompresji tym większa możemy
osiągnąć prędkość odtwarzania.
© R. Robert Gajewski
Porównywanie ujęć (1)
3-2
3
2-1
2
1
1
© R. Robert Gajewski
Porównywanie ujęć (2)
Są dwie podstawowe metody kompresji
obrazów wideo:
Każde kolejne ujecie może być kompresowane
jak zwykły pojedynczy obraz, a następnie
dekompresowane przy odtwarzaniu.
Druga metoda polega na tzw. porównywaniu
ujęć (frame differencing) - nie jest to system
kodowania, ale technika pracy, z której mogą
korzystać różne systemy kodowania.
© R. Robert Gajewski
Porównywanie ujęć (3)
Ujęcie z pliku dla którego użyto tej metody
zawiera o wiele mniej informacji niż ujęcie ze
zwykłego pliku wideo.
Nie znajdziemy w nim bowiem całego obrazu, a
jedynie te jego części, które uległy zmianie w
stosunku do ujęcia poprzedniego.
Zmieniona część obrazu jest zwykle mniejsza od
jego całej powierzchni.
Metoda ta sprawdza się najlepiej w statycznych
scenach typu "gadające głowy", gdzie tło
pozostaje nieruchome, jedynie niewielkie obiekty
na pierwszym planie wykazują jakieś ruchy.
© R. Robert Gajewski
Ujęcia kluczowe (1)
4-3
5
3-2
2-1
1
© R. Robert Gajewski
Ujęcia kluczowe (2)
W tym przypadku porównywanie zasadza się na
istnieniu tzw. ujęć kluczowych (key frames).
Ujęcia te zapisywane są w całości; służą one za
wzorce, na podstawie których określa się różnice,
jakie trzeba zapisać dla ujęć pośrednich.
Im dalej znajdziemy się od ujęcia kluczowego,
tym więcej będzie zmienionych miejsc i tym
więcej informacji do przeliczenia.
Rośnie wtedy prawdopodobieństwo powstania
opóźnień i zmniejszenia prędkości odtwarzania.
© R. Robert Gajewski
Systemy kodowania
algorytm JPEG
Przy kodowaniu obrazów ruchomych algorytm
ten nazywany jest Motion JPEG.
Korzystanie z tego algorytmu jako systemu
kodowania obrazu wideo ma dwie wady:
Nie jest przeprowadzane porównywanie ujęć (frame
differencing),
Dekompresja obrazu przy wyświetlaniu jest powolna.
Każde ujęcie jest kompresowane osobno bez
porównywania z innymi. Przy odtwarzaniu każde
ujęcie jest osobno dekompresowane i wyświetlane
jedno po drugim.
© R. Robert Gajewski