docTechniki wyznaczania map głębi stereoskopowej w
download 
Reklamacja Transkrypt
Techniki wyznaczania map głębi stereoskopowej w
Olgierd Jerzy Stankiewicz Politechnika Poznańska Wydział Elektroniki i Telekomunikacji Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Stypendysta projektu pt. „Wsparcie stypendialne dla doktorantów na kierunkach uznanych za strategiczne z punktu widzenia rozwoju Wielkopolski”, Poddziałanie 8.2.2 Programu Operacyjnego Kapitał Ludzki Techniki wyznaczania map głębi stereoskopowej w systemach telewizji wielowidokowej Tematyka pracy mieści się w obszarze związanym z nową generacją telewizji trójwymiarowej oraz telewizji ze swobodną nawigacją w scenie. Telewizja trójwymiarowa jest to telewizja rozwijająca istniejącą już telewizję stereoskopową (nazywana potocznie telewizją "3D") poprzez zwiększenie intensywności wrażeń przestrzennych oraz wyeliminowanie konieczności noszenia specjalnych okularów, np. dzięki wykorzystaniu specjalnych monitorów auto-stereoskopowych (Rys. 1a). Monitory te prezentują widzowi jednocześnie kilkadziesiąt widoków (pochodzących z kamer rzeczywistych lub wirtualnych), z których widz obserwuje konkretne dwa, zależne od położenia swoich oczu. Kamera Scena trójwymiarowa Kamery wirtualne Scena trójwymiarowa Wyświetlacz swobodnego punktu widzenia Kamery wirtualne Wyświetlacz auto-stereoskopowy Kamera Kamery wirtualne Kamery widz może swobodnie nawigować po scenie z pomocą myszki lub innego manipulatora Widz Kamera a) b) Rys 1. a) Schemat koncepcyjny telewizji trójwymiarowej oraz b) schemat koncepcyjny telewizji swobodnego punktu widzenia. Telewizja swobodnego punktu widzenia umożliwia użytkownikowi na wybór punktu z którego obserwuje scenę (Rys. 1b). Widz dokonuje wyboru za pomocą myszki lub innego manipulatora. Przykładowo, umożliwiać to może aktywniejsze uczestniczenie w audycjach rozgrywek sportowych, bez ograniczania punktu obserwacji do konkretnych kamer, wybieranych uprzednio przez operatora. Oba te rodzaje telewizji nowej generacji łączy jedna techniczna cecha - konieczność wytworzenia widoku sceny z miejsca z którego nie została ona fizycznie zarejestrowana Praca doktorska współfinansowana ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego (np. przez istniejącą kamerę). Do realizacji tego celu, wykorzystuje się tzw. mapy głębi, których wyznaczanie jest głównym tematem przygotowywanej pracy doktorskiej (Rys. 2). Rys. 2. Przykładowe obrazy z wielowidokowej sekwencji testowej „Poznan Carpark” (widoki z dwóch różnych kamer) oraz mapa głębi stereoskopowej tej samej sceny. Im większa jasność punktu na mapie głębi, tym mniejsza odległość od kamery. Wyznaczanie map głębi jest jednym z tematów pracy doktorskiej. Autor: Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechniki Poznańskiej. Reżyser sekwencji: Olgierd Stankiewicz. Najbardziej atrakcyjną metodą wyznaczania map głębi, rozwijaną w pracy doktorskiej, jest ich algorytmiczna estymacja. Odpowiednie wartości głębi (składające się razem na mapę głębi) są wyliczane z tzw. rozbieżności między dwoma obrazami, każdym uzyskanym z innej kamery (Rys. 2). Mimo tego, iż ogólne ramy opisujące algorytmy estymacji głębi są już znane od dawna, to współczesny poziom wiedzy jest nadal niezadowalający z punktu widzenia zastosowania w telewizji 3D nowych generacji. W ramach rozprawy opracowano nowe, oryginalne techniki wyznaczania map głębi stereoskopowej przeznaczone do zastosowania w systemach telewizji trójwymiarowej. Techniki te opracowano w oparciu o przeprowadzone wcześniej studium literaturowe i oryginalne rozważania teoretyczne, które umożliwiły sformułowanie nowego podejścia do tematu estymacji map głębi. Podejście to bazuje na statystycznej analizie szumu występującego w sekwencjach trójwymiarowych i wykorzystaniu wyników tej analizy dla uzyskania lepszych jakościowo map głębi. Równolegle, przeprowadzono badania nad sposobami reprezentacji map głębi. W wyniku rozważań teoretycznych, opracowano i dokonano implementacji narzędzi umożliwiających na kodowanie i dekodowanie map głębi z wykorzystaniem zaproponowanej nieliniowej reprezentacji wartości map głębi, bazującej na krzywej ekspotencjalnej. Po dokonaniu sformułowań teoretycznych i implementacji zaproponowanych rozwiązań, przeprowadzono ich weryfikację eksperymentalną, która potwierdziła przydatność praktyczną, zarówno względem jakości uzyskiwanych estymowanych map głębi, wydajności ich kompresji i wierności uzyskiwanej rekonstrukcji tych map po zdekodowaniu. Weryfikacji dokonano zarówno w sposób obiektywny, wykorzystujący powszechnie używanej miary PSNR (ang. Peak Signal-to-Noise Ratio) jak i subiektywny, poprzez prezentację badanego materiału wizyjnego grupie obserwatorów, .uzyskując uśrednioną miarę MOS (ang. Mean Opinion Score). Wyniki prac badawczych prowadzonych w ramach pracy doktorskiej, wpływają na tworzenie nowych norm i standardów w dziedzinie telewizji trójwymiarowej, dzięki Praca doktorska współfinansowana ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego aktywnemu udziałowi autora w pracach grupy ekspertów MPEG Międzynarodowej Organizacji Standaryzacyjnej Normalizacyjnej ISO, odpowiedzialnej za tworzenie standardów w dziedzinie telewizji. Przewiduje się, że w przeciągu kilku lat nowo powstająca generacja telewizji trójwymiarowej będzie ogólnodostępna na całym świecie. W tym czasie, opracowywana technologia przejdzie z fazy badań do fazy wdrożenia, później komercjalizacji i wreszcie - trafi do domów użytkowników. Badania przeprowadzone w doktoracie, wpisują się więc w model rozwoju gospodarki w oparciu o innowacje. Ze względu na długoterminowy charakter podejmowanego tematu, można spodziewać się, że wysunięcie się na techniczne prowadzenie przez przedsiębiorstwa z Wielkopolski mogłoby mieć wymiar długoterminowy. Innowacje, zwłaszcza przełomowe, w dziedzinach takich jak będąca tematem pracy telewizja trójwymiarowa, wskazują skłonność do koncentracji - jedne odkrycia prowadzą do następnych co lawinowo zwiększa innowacyjność ośrodka. Podjęcie badań objętych tematyką pracy doktorskiej, w centrum wielkopolski, na poznańskiej uczelni, wzmacnia rozwój regionu jako silnego centrum innowacji na świecie. Komercjalizację z pewnością ułatwić mogą zgłoszenia patentowe, z których niektóre zostały już wypracowane w ramach realizacji mojej pracy doktorskiej (około 10). W dziedzinie elektroniki i telekomunikacji, patenty są podstawowym narzędziem konkurencji na rynku przy rywalizacji przedsiębiorstw np. podczas tzw. wojen patentowych, a jednocześnie umożliwiają szybką komercjalizację wyników badań. Podsumowując, realizacja Pracy wzmocni potencjał naukowy regionu, zaś dzięki temu, że zakres badań odpowiada potrzebom licznych przedsiębiorstw z regionu wielkopolski, zwiększy się przewaga konkurencyjna Wielkopolski. Praca doktorska współfinansowana ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
