Obraz przestrzenny - Aktualności KEiT PAN

Komitet Elektroniki i Telekomunikacji PAN
Osiągnięcie naukowe o duŜym znaczeniu praktycznym:
Technologia kompresji obrazu ruchomego trójwymiarowego
W roku 2011 grupa MPEG (oficjalnie ISO/IEC SC29/WG11) działająca w ramach Międzynarodowej
Organizacji Normalizacyjnej ISO ogłosiła zaproszenie do składania propozycji nowej technologii
kompresji ruchomych obrazów trójwymiarowych. Celem konkursu było wyłonienie technologii, która
byłaby podstawą opracowania nowej międzynarodowej normy efektywnej kompresji sekwencji
wizyjnych trójwymiarowych. NaleŜy podkreślić, Ŝe przez obraz trójwymiarowy rozumie się tutaj nie
popularne obrazy stereoskopowe, ale bogatszą informację wizyjną, z której otrzymuje się wiele
obrazów pozwalających na przykład na wytwarzanie wraŜenia przesuwania się wzajemnego planów
obrazu przestrzennego podczas przemieszczania się widza przed ekranem. Jednym z potencjalnych
obszarów zastosowań nowej technologii będzie kompresja obrazów dostarczanych do monitorów
autostereoskopowych, które wyświetlają równocześnie kilkadziesiąt widoków sceny. UmoŜliwia to
jednoczesne oglądanie obrazów stereoskopowych przez wielu widzów, którzy w tym celu nie muszą
uŜywać Ŝadnych specjalnych okularów.
Testy technologii kompresji musiały być poprzedzone przygotowaniem specjalnych obrazów
ruchomych uzyskanych przez wiele zsynchronizowanych kamer. Wykorzystuje się obrazy dostarczone
przez kilka ośrodków, jednak 25% oficjalnego zbioru testowego pochodzi z Politechniki Poznańskiej.
Takie testowe obrazy ruchome jak Poznan_Hall (wnętrze budynku Wydziału Elektroniki
i Telekomunikacji) lub Poznan_Street (widok z tego budynku na ulicę) są juŜ znane na całym świecie.
Te i inne obrazy testowe uzyskano za pomocą specjalnego systemu wielokamerowego
skonstruowanego w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki
Poznańskiej.
Testy dotyczyły kompresji wspomnianych obrazów wraz z towarzyszącymi im mapami głębi. Dlatego
wcześniej badano róŜne techniki generacji map głębi. Ostatecznie dla potrzeb grupy MPEG
opracowano technikę wyznaczania map głębi, w której wykorzystuje się między innymi oryginalne
narzędzia opracowane na Politechnice Poznańskiej. Wspólne modelowe oprogramowanie DERS
(Depth Estimation Reference Software) wraz modułami przygotowanymi na Politechnice Poznańskiej
jest utrzymywane przez Uniwersytet w Nagoji w Japonii.
W odpowiedzi na zaproszenie grupy MPEG wpłynęły 23 propozycje w dwóch kategoriach. W
pierwszej kategorii kaŜda technologia musiała gwarantować moŜliwość zdekodowania pary
stereoskopowej widoków przez klasyczny dekoder stereoskopowy MPEG-4 AVC, jakiego uŜywa się
między innymi w najnowszych odtwarzaczach BluRay. PoniewaŜ w wyniku postępu naukowego
technologia MPEG-4 nie jest juŜ najbardziej efektywną, takie załoŜenie stanowiło istotne
ograniczenie. Dlatego część ośrodków przygotowała propozycje bardziej rozwojowych technologii,
które dla kompresji pojedynczego widoku wykorzystują znajdującą się w końcowej fazie
optymalizacji technologię HEVC (High Efficiency Video Coding). W tej kategorii oprócz Politechniki
Poznańskiej wystartowały centra badawcze firm Samsung, Sony, LG i Ericsson, a takŜe Politechnika
(RWTH) w Akwizgranie, instytut badawczy ETRI z Korei współpracujący z Uniwersytetem
Kwangwoon oraz Instytut Fraunhofera - Instytut Telekomunikacji H. Hertza z Berlina, który swoje
propozycje przygotował częściowo w kooperacji z firmą Disney Research.
Przygotowanie propozycji wymagało wykonania wielkiej pracy (opracowanie technologii
wykorzystującej wyniki dotychczasowych naszych badań, przygotowanie oprogramowania liczącego
wiele dziesiątków tysięcy linii kodu, opracowanie materiału testowego liczącego wiele gigabajtów
danych i przesłanie całego materiału do koordynatora testów). KaŜdy opracowany kodek był badany
przez 2 wylosowane laboratoria. Przypisanie propozycji do laboratoriów testujących było całkowicie
utajnione. Łącznie w testowaniu wszystkich propozycji w róŜnych miejscach świata brało udział
ponad 600 osób.
Podczas spotkania grupy MPEG w Genewie w końcu listopada 2011r. ujawniono wyniki testów i
uznano, Ŝe najlepszymi propozycjami w drugiej kategorii były propozycje opracowane przez Instytut
Fraunhofera - Instytut Telekomunikacji H. Hertza z Berlina (3 warianty) oraz przez Politechnikę
Poznańską. Wyniki wszystkich pomiarów wskazywały, Ŝe pozostałe zaproponowane technologie są
wyraźnie mniej efektywne. Osiągnięcie zespołu z Politechniki Poznańskiej kierowanego przez prof.
Marka Domańskiego zostało uzyskane w ramach trwających juŜ 6 lat badań dotyczących techniki
obrazu przestrzennego.
Dzięki technologii opracowanej w Katedrze Telekomunikacji Multimedialnej i Mikroelektroniki
Politechniki Poznańskiej przesyłanie nawet 3 widoków będących obrazami ruchomymi wysokiej
jakości (formatu HD) i skojarzonych z nimi 3 map głębi będzie moŜliwe z prędkością bitową zaledwie
około 6 Mb/s. Dla porównania, obecnie przesyłanie jednego tylko obrazu ruchomego HDTV w
standardzie MPEG-4 AVC wymaga prędkości bitowej rzędu 8 Mb/s. Takie rozwiązanie jest bardzo
cenne dla dalszego rozwoju telewizji trójwymiarowej wykorzystującej monitory autostereoskopowe
oraz interaktywnej telewizji, w której widz będzie mógł samodzielnie wybierać punkt i kierunek
widzenia.
Podstawą dalszych prac dotyczących technologii kompresji obrazów trójwymiarowych ma być
oprogramowanie Instytutu Fraunhofera z wbudowanymi narzędziami Politechniki Poznańskiej. Prace
badawcze mają teraz być prowadzone we współpracy ośrodków badawczych i uniwersytetów z całego
świata. W tej współpracy Politechnice Poznańskiej przypisano istotne role dotyczące na przykład
koordynacji wspólnych eksperymentów. Celem badań jest opracowanie ostatecznej wersji technologii
kompresji, która stanie się podstawą nowej międzynarodowej normy MPEG-H.