kodowanie d™wi†ku i obrazu

KODOWANIE D™WI†KU I OBRAZU
‚wiczenie 1
KWANTYZACJA -D™WI†K
Uwagi ogólne
• Program symulacyjny nosi nazwe "kwant.exe". Lokalizacja: M:/dymarski/kwant/kwant.exe
• Sygnaªem wej±ciowym jest fraza mowy (nale»y wybra¢ okre±lona fraz¦ i nie zmienia¢ jej w trakcie
¢wiczenia) lub sygnaª sinusoidalny spróbkowany z cz¦stotliwo±ci¡ 8kHz.
• Sygnaª jest podzielony na ramki, które mo»na obserwowa¢ na ekranie. Przy ka»dej ramce podany jest
SN R[dB] - stosunek energii sygnaªu w ramce do energii bª¦du kwantowania w dB.
• Wynikami symulacji s¡: SN R - stosunek energii sygnaªu w caªej przetwarzanej frazie do energii bª¦du
kwantyzacji, oraz SN Rseg - tzw. segmentowy SNR - warto±¢ ±rednia SN R[dB] liczonych osobno w
ka»dej ramce. Wynikiem symulacji jest te» fraza sygnaªu skwantowanego - gotowa do odsªuchu.
Zadania do wykonania
1. W kwantyzatorze równomiernym ustaw zakres pracy 1,0 (wykorzystujemy wówczas caªy zakres pracy
przetwornika C/A), oraz tªumienie sygnaªu wej±ciowego 0dB. Dla sygnaªu mowy zanotuj SN R w funkcji
liczby poziomów kwantyzacji (2, 4, 8, 16, 32, 64, 128, 256 poziomów). Odsªuchaj skwantowane frazy
mowy.
2. Ustaw zakres pracy kwantyzatora równy 1,0, liczb¦ poziomów kwantyzacji =16, tªumienie sygnaªu
wej±ciowego =0dB. Zanotuj SN R dla sygnaªu mowy skwantowanego przy u»yciu kwantyzatora
• równomiernego,
• nierównomiernego z kompresj¡ logarytmiczn¡,
• adaptacyjnego .
3. Ustaw tªumienie sygnaªu =20dB i powtórz badania kwantyzatorów wymienionych w punkcie 2. Jaki
algorytm kwantyzacji daje najlepsze wyniki?
‚wiczenie 2
KWANTYZACJA -OBRAZ
Uwagi ogólne
• Program symulacyjny jest uruchamiany komend¡ "cviptools.bat" (C:/CVIPTOOLS/bin/CVIPtools.bat).
Po wej±ciu do programu nale»y wybra¢ obraz, najlepiej niekolorowy, zawieraj¡cy wiele odcieni szaro±ci
• Przetwarzane obrazy zawieraj¡ najcz¦±ciej 256 na 256 pikseli, ka»dy w 256 odcieniach szaro±ci (obrazy
kolorowe skªadaj¡ sie z 3 obrazów skªadowych R,G,B)
• Kwantyzacj¦ skalarn¡ mo»na wykona¢ zaznaczaj¡c obraz w gªównym oknie programu (prosz¦ sprawdzi¢,
czy zaznaczono wªa±ciwy obraz!), nast¦pnie przechodz¡c do compression - preprocessing - gray
level quantization.
• Obraz skwantowany mo»na porówna¢ z oryginaªem. Nale»y wybra¢ utilities - misc - compare two
images. Najlepiej wykorzysta¢ SNR (wynik jest w decybelach). Oczywi±cie skwantowany obraz nale»y
te» obejrze¢.
Zadanie do wykonania
Przeprowad¹ kwantyzacj¦ wybranego obrazu ustawiaj¡c liczb¦ poziomów kwantyzacji =2, 4, 8, 16...
Zako«cz cykl symulacji po otrzymaniu obrazu o dobrej jako±ci (prawie nie ró»ni¡cego si¦ od oryginaªu).
Zanotuj warto±¢ SNR [dB] w funkcji rozdzielczo±ci (w bitach na piksel). Jaka rozdzielczo±¢ gwarantuje dobr¡
jako±¢ obrazu?
‚wiczenie 3
KWANTYZACJA WEKTOROWA
Uwagi ogólne
• Lokalizacja programu M:/dymarski/vq/wektor.exe.
• Badane s¡ kwantyzatory przetwarzaj¡ce wektory o wymiarach od 1 do 8 (gdy wymiar wektora =1,
kwantowanie wektorowe przechodzi w kwantowanie skalarne) o sªowniku optymalizowanym dla przetwarzanej frazy. Projektowanie sªownika odbywa si¦ iteracyjnie, przy u»yciu algorytmu Lloyda lub
LBG.
• Program umo»liwia (w przypadku wybrania wektorów 2-wymiarowych) obserwacj¦ procesu projektowania sªownika kwantyzatora wektorowego.
• Sygnaªem wej±ciowym jest fraza mowy. Sygnaª posiada próbki o warto±ciach nie wykraczaj¡cych poza
< −1, +1 >.
• Sygnaª jest podzielony na ramki, które mo»na obserwowa¢ na ekranie (w ramce mie±ci si¦ caªkowita
liczba wektorów). Przy ka»dej ramce podawany jest SN R[dB] - stosunek energii sygnaªu w ramce do
energii bª¦du kwantowania, wyra»ony w dB.
• Wynikami symulacji s¡: SN R - stosunek energii sygnaªu w caªej przetwarzanej frazie do energii bª¦du
kwantyzacji, oraz SN Rseg - tzw. segmentowy SNR - warto±¢ ±rednia SN R[dB] liczonych osobno w
ka»dej ramce. Wynikiem symulacji jest te» fraza sygnaªu skwantowanego - gotowa do odsªuchu.
Zadania do wykonania
1. Badanie algorytmów projektowania sªowników kwantyzatorów wektorowych
Zaobserwuj przedstawiony na ekranie zbiór wektorów M = 2-wymiarowych pobranych z sygnaªu mowy.
Co ±wiadczy o wyst¦powaniu korelacji s¡siednich próbek?
Przeprowad¹ projektowanie sªownika licz¡cego 128 wektorów 2-wymiarowych. Sªownik pocz¡tkowy
otrzymaj metod¡ losowania wektorów z frazy. Nast¦pnie zaprojektuj sªownik metod¡ LBG i porównaj
wyniki.
2. Badanie jako±ci skwantowanego sygnaªu w funkcji wymiaru wektora
Przeprowad¹ ró»nymi metodami kwantyzacj¦ frazy mowy z rozdzielczo±ci¡ b = 1bit /próbk¦ (8kbit/s).
Wykorzystaj kwantyzator skalarny o 2 poziomach kwantyzacji (podstaw wymiar wektora =1), kwantyzator wektorów 2-wymiarowych (4 wektory w sªowniku), kwantyzator wektorów 3-wymiarowych (8
wektorów w sªowniku), itd a» do kwantowania wektorów 8-wymiarowych (256 wektorów w sªowniku).
Wykre±l SNR w funkcji wymiaru wektora. Czym wyja±ni¢ przewag¦ kwantyzatorów wektorowych nad
skalarnym?
‚wiczenie 4
KODOWANIE MOWY W TELEFONII KOMÓRKOWEJ - GSM-AMR
Uwagi ogólne
• Lokalizacja programu M:/dymarski/celp/AMRCelp.exe.
• Obsªug¦ programu wyja±ni prowadz¡cy
Zadania do wykonania
1. Obserwacja sygnaªów w koderze GSM-AMR. Uruchom symulator AMR-CELP. Dla wybranej
ramki mowy d¹wi¦cznej porównaj widmo sygnaªu wej±ciowego S(f) i charakterystyk¦ cz¦stotliwo±ciow¡
ltru syntezy H(f). Jaki jest zwi¡zek H(f) i S(f)? Zaobserwuj sygnaª pobudzaj¡cy u(n) i jego skªadniki:
pobudzenie adaptacyjne v(n) i algebraiczne c(n). Jaka jest rola pobudzenia adaptacyjnego w kodowaniu
mowy d¹wi¦cznej?
2. Badanie jako±ci sygnaªu mowy w funkcji przepªywno±ci kodera. Dla wybranej frazy mowy
przeprowad¹ symulacje kodera AMR CELP wykorzystuj¡c dost¦pne przepªywno±ci binarne. Notuj SNR
i SNRseg [dB] oraz odsªuchuj frazy poddane kompresji. Powy»ej jakiej przepªywno±ci jako±¢ mowy
mo»na uzna¢ za wystarczaj¡c¡ dla rozmowy telefonicznej?
‚wiczenie 5
KOMPRESJA SYGNAŠÓW FONICZNYCH: MPEG1 - Audio
Uwagi ogólne
• Lokalizacja programu M:/dymarski/mpeg/koder.exe.
• Sygnaªem wej±ciowym jest sygnaª muzyczny (monofoniczny) spróbkowany z cz¦stotliwa±ci¡ 44.1kHz.
Jest zapisany w pliku z rozszerzeniem .pcm (raw pcm data). Format zapisu jest 2-bajtowy (16-bitowy)
tzw. format Intel (najpierw LSB potem MSB).
• Symulator kodera MPEG wytwarza pliki zgodne z formatem MPEG Audio. Mog¡ by¢ one odtworzone
przez dowolny dekoder MPEG, np. dekoder wchodz¡cy w skªad edytora d¹wi¦ku COOL.
Technika wykonywania symulacji
• Otwórz koder MPEG i wybierz plik wej±ciowy - zaªó»my »e nosi on nazw¦ plik.pcm
• Wybierz przepªywno±¢ binarn¡
• Wybierz "podgl¡d" - po obejrzeniu kilku ramek b¦dzie mo»na go wyª¡czy¢.
• Inne ustawienia (cz¦stotliwo±¢ próbkowania itp) pozostaw bez zmian
• Uruchom koder (kliknij "Start"). Plikiem wyj±ciowym b¦dzie plik.mpg
• Uruchom dekoder MPEG - zamieni on plik.mpg na plik_.pcm
• Posªuguj¡c si¦ programem COOL wczytaj plik.mpg (lub plik_.pcm) i oryginaª: plik.pcm. Porównaj
oba pliki odsluchuj¡c je. Porównaj widma (opcja "Frequency analysis").
• Uruchom opcj¦ wyznaczania SNR (tj. porównanie plik.pcm i plik_.pcm) i odczytaj wynik.
Zadania do wykonania
W funkcji przepªywno±ci binarnej (np. 32, 64, 128, 256kbit/s) zbadaj jako±¢ sygnaªu (odsªuchy) i SNR.
Co jest przyczyn¡ pogorszenia jako±ci sygnaªu przy du»ej kompresji? Powy»ej jakiej przepªywno±ci binarnej
znieksztaªcenia staj¡ si¦ niezauwa»alne?
‚wiczenie 6
KOMPRESJA OBRAZU: JPEG, MPEG
Uwagi ogólne
• Wykorzystuje si¦ oprogramowanie CVIP Scotta E.Umbaugh'a, opisane w ksia»ce "Computer Vision
and Image Processing". Szczegóªy dziaªania programu wyja±ni prowadz¡cy ¢wiczenie.
• Obrazów ¹ródªowych nale»y poszukiwa¢ w katalogu cviptools/images.
• Obrazy po kompresji znajduj¡ si¦ w katalogu roboczym windows/temp/cvip_temp. W wyniku kompresji w tym katalogu umieszczane s¡ 2 pliki: wej±ciowy jpg_*.ras i po kompresji jpg_*.ras_jpg. Gwiazdka
(*) oznacza nazwe wybranego pliku, do nazwy program dopisuje nr wersji. Porównuj¡c wielko±ci plików
przed i po kompresji mo»na okre±li¢ wielko±¢ (stopie«) kompresji.
Zadania do wykonania:
1. Wybierz obraz zawieraj¡cy kraw¦dzie i du»e obszary o jednostajnej barwie (np. buty.ras). Dokonuj
kompresji posªuguj¡c si¦ algorytmem JPEG (opcja: compression - lossy). Wielko±¢ kompresji mo»na
regulowa¢ parametrem "quality". Zmniejszaj¡c warto±¢ tego parametru (a» do rz¦du kilku) obserwuj
znieksztaªcenia i notuj wielko±¢ kompresji. Jaka wielko±¢ kompresji zapewnia jako±¢ obrazu, trudn¡ do
odró»nienia od oryginaªu? Dlaczego przy du»ym stopniu kompresji obserwuje si¦ plamy o prostopadªych
kraw¦dziach?
2. Zaobserwuj znieksztaªcenia powstaj¡ce skutkiem kompresji obrazu ruchomego (MPEG-4) i jego transmisji (UMTS) - prezentacji sekwencji wideo dokona prowadz¡cy.