wersja cz.-b. - Katedra Systemów Multimedialnych

Katedra Systemów Multimedialnych
Wydział Elektroniki,Telekomunikacji i Informatyki
Technologie multimedialne
wykład
Stereoskopia i holografia
Opracowanie:
dr inż. Bartosz Kunka
dr inż. Piotr Odya
Wprowadzenie

Stereoskopia jest techniką obrazowania, która
pozwala człowiekowi za pomocą specjalnych technik
obserwacji percypować obraz przestrzenny, powstały
w wyniku złożenia dwóch dwuwymiarowych obrazów
widzianych z perspektywy lewego i prawego oka

Te dwa obrazy – zwane stereoparą – reprezentują
obiekt z dwóch punktów widzenia, oddalonych tak jak
oczy obserwatora (65 mm – średnia odległość
ludzkich oczu)

Mózg scala obrazy z dwojga oczu, dostarczając naszej
świadomości jeden trójwymiarowy obraz (tzw. fuzja)

W odczucie głębi przekształcone zostają rozbieżności
między obrazami z lewego i prawego oka
1
Wprowadzenie

Analizując położenie obiektów obserwowanych
przez jedno i drugie oko, mózg dostarcza informacji
o odległości obiektów między nimi i odległości, jaka
dzieli je od obserwatora
Percepcja
trzeciego
wymiaru

Ze względu na sposób łączenia obrazów stereopary
i metody ich oglądania, wyróżnia się wiele technik
obrazowania stereoskopowego
3
Paralaksa stereoskopowa

Paralaksa to efekt niezgodności obrazów tej samej
sceny obserwowanej z różnych punktów widzenia
◦ w dużej mierze decyduje o postrzeganiu głębi (lewe oko
widzi świat trochę inaczej niż prawe)
◦ rodzaj paralaksy wpływa na rozsunięcie lewej składowej
obrazu stereoskopowego względem prawej składowej
 paralaksa zerowa – obraz 2D
 paralaksa pozytywna – wrażenie głębi „za ekranem”
 paralaksa negatywna – wrażenie głębi „przed ekranem” –
efekt pop-out

Na paralaksę wpływają:
◦ szerokość stereobazy (odległość między środkami
obiektywów)
◦ relacje geometryczne (położenie)
filmowanych/fotografowanych obiektów
4
2
Paralaksa – perspektywa widza
paralaksa zerowa
płaszczyzna
ekranu
L
R
5
Paralaksa – perspektywa widza
R
L
płaszczyzna
ekranu
L
paralaksa negatywna
(ujemna)
R
6
3
Paralaksa – perspektywa widza
paralaksa
pozytywna
(dodatnia)
L
R
płaszczyzna
ekranu
L
R
7
Strefa komfortowego oglądania

ang. comfort zone (na rysunku – CVR)
9
4
Akomodacja a zbieżność

W przypadku obrazu 3D (negatywna lub pozytywna
paralaksa) mamy do czynienia z niezgodnością
akomodacji i zbieżności wzroku

niezgodność akomodacji i zbieżności
wzroku nie jest naturalna dla
ludzkiego wzroku, więc mózg musi
podjąć się dodatkowego wysiłku –
męczące dla widza
10
Rejestracja obrazu stereoskopowego
Rejestracja obrazu w większości technik
stereoskopowych polega na zastosowaniu:
◦ 2 identycznych kamer
- kamery umieszczone na specjalnym rigu
- metoda najczęściej stosowana
◦ kamery dwuobiektywowej
- stosowana w profesjonalnych, a ostatnio
coraz częściej w amatorskich produkcjach
◦ specjalnego adaptera (nasadki
na obiektyw)
- rozwiązanie głównie amatorskie
11
5
Konwersja 2D do 3D


Możliwa jest konwersja obrazu
2D do obrazu 3D
Obecnie nawet telewizory
zapewniają konwersję 2D -> 3D
w czasie rzeczywistym
Przykład filmu:

„Titanic 3D” reż. J. Cameron:
zaangażowanie 300 osób, 60 tygodni, koszt: 18 mln $
12
Podział technik stereoskopowych

Techniki stereoskopowe można podzielić
w zależności od stosowanego filtru
◦ kolor (technika anaglifowa, Dolby 3D),
◦ polaryzacja (techniki polaryzacyjne)
◦ czas (techniki migawkowe)
◦ przestrzeń (kaski wirtualne, wyświetlacze
autostereoskopowe)
13
6
Technika anaglifowa


oparta na filtrach kolorów,
wymaga stosowania okularów anaglifowych, w których
szkiełko (filtr) na oku lewym jest koloru czerwonego, a
szkiełko na oku prawym zależy od oglądanego obrazu:

zielone: najlepsze do patrzenia na anaglify
monochromatyczne (najbardziej
rozpowszechnione kilkadziesiąt lat temu);

niebieskie: używane do oglądania kolorowych
anaglifów, jego wadą jest usuwanie kolorów w
ciemniejszych obrazach;

cyjanowe: do anaglifów kolorowych, lepsza
separacja składowych obrazu
stereoskopowego; pozostawia jaśniejsze i
bardziej nasycone kolory obrazu niż szkło
niebieskie
14
Technika anaglifowa

obraz anaglifowy charakteryzuje się podwójnymi
krawędziami większości obiektów prezentowanej sceny
– wynik połączenia dwóch obrazów:
◦ lewy obraz stereopary (z dominującym komponentem
czerwonym)
◦ prawy obraz stereopary (z dominującym komponentem
niebieskim/cyjanowym)

komponenty: czerwony i cyjanowy
leżą po przeciwnych stronach palety
barw (model HSV),
◦
filtr czerwony stosunkowo dobrze
filtruje składową czerwoną z obrazu
anaglifowego – nie przepuszcza
składowej cyjanowej (analogicznie filtr
cyjanowy)
15
7
Technika Dolby 3D



wynaleziona w 2007 roku,
ulepszona wersja techniki anaglifowej,
do lewego i prawego oka trafia światło o nieco innym
odcieniu: osobne "zestawy" barwne, które różnią się
między sobą tonalnie,
16
Technika Dolby 3D

w celu wyświetlenia obrazu stereoskopowego stosuje
się specjalny filtr krążkowy, umieszczony między lampą a
projektorem,

projektor odtwarza film z
prędkością 144 klatek na
sekundę (tripple flash), na każde
oko przypadają 72 klatki, czyli 3
razy więcej niż film kinowy (24)
– dzięki temu film 3D nie
wywołuje nudności i zmęczenia
oczu (można oglądać filmy
pełnometrażowe),
kontroler filtru
17
8
Technika Dolby 3D
wymaga stosowania specjalnych okularów,
których szkła składają się z 50 warstw (bardzo
zaawansowane optycznie)
 filtry w okularach zapewniają precyzyjne
odseparowanie poszczególnych komponentów
koloru w każdym zestawie RGB (dla oka lewego
i prawego)

18
Technika Dolby 3D





możliwość zastosowania w każdym kinie, posiadającym
cyfrowy projektor,
niepotrzebny specjalny ekran (ale: stosunkowo duża
utrata światła - trudność stosowania na dużych
ekranach),
wysoka jakość 3D z każdego miejsca sali,
bardzo dobre odwzorowanie barw,
przykładowe filmy prezentowane w Dolby 3D:
19
9
Technika polaryzacyjna
oparta na filtrach polaryzacyjnych,
 wymaga stosowania okularów
polaryzacyjnych, których szkiełka
(filtry)

◦ w przypadku pol. liniowej – są
spolaryzowane w przeciwfazie, tzn.
różnica między polaryzacją jednego i
drugiego filtra powinna wynosić 90o)
L
R
◦ w przypadku polaryzacji kołowej
(częściej spotykanej) – są
spolaryzowane w przeciwnych
kierunkach (lewo- i prawoskrętnie)
R
L
20
Technika polaryzacyjna

Implementacje techniki polaryzacyjnej:
IMAX 3D
◦ specjalna kamera jednocześnie zapisuje
obraz lewej i prawej składowej
(stereopary) na dwóch 70mm taśmach
filmowych
◦ klatka filmowa (70mm, 15 perforacji): 10
razy większa od tradycyjnej taśmy
filmowej (35mm, 4 perforacje)
◦ technologia IMAX jest wdrażana powoli
ze względu na bardzo wysokie koszty
wyposażenia sal projekcyjnych
21
10
Technika polaryzacyjna

Implementacje techniki polaryzacyjnej:
IMAX 3D – c.d.
◦ ekran kina IMAX: 24m szerokości, 18m wysokości,
płaski z rysującą się złożoną krzywizną, rozciągającą
się poza krawędź peryferyjnego pola widzenia
Porównanie ekranu kina IMAX z
ekranem w kinie tradycyjnym
Sala kina IMAX
22
Technika polaryzacyjna

Implementacje techniki polaryzacyjnej:
RealD 3D
◦ oparta na polaryzacji kołowej,
◦ w kinie:
 wymagany tylko 1 projektor (wyświetla 144 klatki
na sek., bezpośrednio przy soczewce projektora
znajduje się modulator (Z-Screen) zmieniający
polaryzację światła),
 konieczność wymiany ekranu na srebrny,
◦ w domu: wymagany telewizor 3D,
◦ znikoma cena okularów (można je traktować
jako jednorazowe)
23
11
Technika polaryzacyjna

Problem z rozdzielczością w TV
każdy obraz ma 1920x1080
transmisja odbywa się w trybie SBS
(Side-by-Side), obraz ma 1920x1080,
ale dla jednego oka jest 960x1080
Linie w telewizorze są
spolaryzowane naprzemiennie, co
ogranicza maksymalną rozdzielczość
do 1920x540.
Ale dla materiału SBS otrzymuje się
960x540!
Rozwiązanie: telewizor 4k – ma rozdzielczość
3840x1080 dla każdego z oczu.
Technika migawkowa
oparta na „filtrze czasu”,
 zasada działania (wykorzystanie

bezwładności ludzkiego oka):
24
gdy wyświetlany
jest obraz dla oka
lewego, zasłonięte
zostaje oko prawe,
dla oka prawego analogicznie
25
12
Technika migawkowa



wyświetlanie obrazów dla lewego i prawego oka na
przemian (z równoczesnym przysłanianiem oka dla
którego obraz nie jest przeznaczony),
częstotliwość wyświetlania obrazów: zazwyczaj 100
klatek na sekundę (im więcej, tym mniejsze zmęczenie
wzroku),
okulary migawkowe zamiast soczewek mają
powierzchnie pokryte ciekłymi kryształami (ang. LCD
shutter glasses),
26
Technika migawkowa

okulary migawkowe zawsze są aktywne
(zasilane: przewodowo lub bezprzewodowo),

wymagana jest synchronizacja z wyświetlaczem,
tak by w odpowiedniej chwili do
odpowiedniego oka trafiał odpowiedni obraz,

najczęściej stosowana w grach komputerowych
3D i animacji, ale również w systemach kina
domowego 3D
27
13
Porównanie technik
Technika
stereoskopowa
Technika
anaglifowa
Dolby 3D
Zalety
Wady
- obraz anaglifowy łatwo
można uzyskać,
- utrata części kolorów,
- łatwość wyświetlania - - stosunkowo słaby efekt
dowolny wyświetlacz,
3D,
- tanie, łatwo dostępne
- szybko męczy wzrok
okulary
- nie męczy wzroku,
- bardzo dobry efekt 3D,
- pełna informacja o
- stosunkowo drogie
kolorach,
okulary,
- możliwa do
- obecnie stosowana
zastosowania w
głównie w kinach
każdym kinie,
posiadającym cyfrowy
projektor
28
Porównanie technik
Technika
stereoskopowa
Zalety
Wady
Technika
polaryzacyjna
- wyświetla wszystkie
kolory,
- efekt 3d
zdecydowanie lepszy
niż w technice
anaglifowej
- problemy z wyświetlaniem:
- 2 rzutniki z filtrami +
ekran dobrze odbijający
światło,
- specjalny telewizor ,
- męczy wzrok
Technika
migawkowa
- dobry efekt 3D,
- stosowana w
domowych warunkach
(gry komputerowych,
telewizory 3D),
- łatwa dostępność
- okulary aktywne,
- częstotliwość odświeżania
wyświetlacza – co najmniej
100 Hz,
- męczy wzrok przy dłuższym
oglądaniu
29
14
Kaski wirtualne HMD
oparte na ’filtrze przestrzeni’
 ang. Head-Mounted Display
 przed każdym okiem umieszczony jest
niezależny ekran

Najczęstsze zastosowania:




symulacje wojskowe,
szkolenia personelu specjalistycznego (pilotów,
kosmonautów)
terapie polisensoryczne
systemy rzeczywistości wirtualnej (głównie gry
komputerowe)
30
Wyświetlacze autostereoskopowe
Autostereoskopia:
Technika oglądania obrazów stereoskopowych bez
użycia specjalnych okularów i bez stosowania
specjalnych technik patrzenia
Technologie najczęściej stosowane w autostereoskopii:
-
raster cylindryczny (soczewki lentikularne),
blokada paralaksy,
holografia (na etapie badań).
31
15
Wyświetlacze autostereoskopowe
Raster cylindryczny (układ soczewek)


dwa obrazy stereopary są wyświetlane jednocześnie w
dwóch kolumnach pikseli (jedna dla oka lewego, druga –
oka prawego) za rastrem,
dla każdego oka tworzy się główna strefa widzenia (w
kształcie diamentu), z optymalną separacją stereo.
32
Wyświetlacze autostereoskopowe
Bariera paralaksy

jednoczesne wyświetlanie
dwóch obrazów stereopary,
których piksele ułożone są w
poziomie (L1,1-R1,1-L1,2-R1,2…)
w celu „ukierunkowania” promieni stosuje
się barierę (nazywaną również blokadą
paralaksy),
 bariera paralaksy zbudowana jest z
elektrycznie przełączalnego LCD,
 wady:




efekt występuje w bardzo wąskim przedziale
kątów patrzenia
przyciemnienie obrazu
konieczność stosowania monitorów o dużej
rozdzielczości w poziomie
33
16
Wyświetlacze autostereoskopowe
Panoramogram
standardowy stereogram (klatka obrazu powstała w wyniku
złożenia dwóch obrazów – dla lewego i prawego oka) umożliwia
ujrzenie efektu 3D tylko naprzeciwko ekranu
 w celu zwiększenia obszaru w którym oglądany obraz jest
rzeczywiście trójwymiarowy stosuje się panoramogramy, w
skład których wchodzi znacznie większa ilość obrazów
bazowych (stereogramów)
 firma Sunny Ocean Studio, zaprezentowała na targach CeBIT w
2010 r., 27-calowy monitor umożliwiający oglądanie
trójwymiarowego obrazu aż w 64 punktach przed ekranem

◦ problem – odpowiednie przygotowanie materiału, gdyż konieczne jest
renderowanie w tym samym czasie 64 odmiennych klatek obrazu

panoramogramy mogą (i powinny) być stosowane w
wyświetlaczach opartych na rastrze cylindrycznym i na barierze
paralaksy
34
Wyświetlacze autostereoskopowe
Wyświetlacz holograficzny
•
•
•
wykorzystuje technikę elektroholografii
wąskim gardłem rozwoju wyświetlaczy
holograficznych jest rozdzielczość przestrzenna
od końca lat osiemdziesiątych XX w. laboratorium
MIT Media Lab rozwija generowanie hologramów
przez komputer
35
17
Zastosowania stereoskopii



Film, telewizja,
Gry komputerowe,
Robotyka:
◦
◦
◦
◦
ludzki wzrok zostaje skutecznie zastąpiony przez 2 kamery,
operator za pomocą komputera steruje elementem wykonawczym,
obraz wyświetlany: anaglifowy lub migawkowy,
wykorzystanie np. w miejscach zagrożonych wpływem substancji
radioaktywnych lub chemicznych
36
Zastosowania stereoskopii
•
Medycyna:
• zdalne operacje chirurgiczne lub wsparcie chirurga na
sali operacyjnej
• w edukacji przyszłych lekarzy: filmy 3D z operacji
medycznych
37
18
Zastosowania stereoskopii
•
Pomoc ‘nawigacyjna’ dla niewidomych
• przetwarzanie informacji zawartej w obrazie
trójwymiarowym:
• wielkość i lokalizacja obiektu w przestrzeni
przekazana za pomocą specjalnie kodowanych
dźwięków,
• informacja o odległości – za pomocą komunikatów
słownych
•
Projektowanie architektoniczne
• podgląd trójwymiarowego modelu projektowanego
obiektu na monitorze 3D
38
Holografia

jest jedyną ‘prawdziwą techniką’ obrazowania 3D,

zobrazowane obiekty są perspektywiczne (można je oglądać z
dowolnej perspektywy),

teoretycznie obiekt i jego obraz powinny być nierozróżnialne,

wady (najważniejsze):
◦ rejestracja obrazu obiektu musi
być wykonywana w ciemnym
pomieszczeniu
◦ rejestracja i rekonstrukcja obrazu
wymaga specjalistycznych urządzeń
◦ światło lasera jest niebezpieczne
dla ludzkiego wzroku
◦ rejestracja obrazu większych obiektów
nie jest praktyczna, ponieważ wymagane
są lasery dużych mocy (bardzo ciężkie)

ciągle rozwijana.
39
19
Holografia
•
•
w tworzeniu obrazów 3D wykorzystuje falowe właściwości światła
(modulację amplitudy (jak w fotografii) i dodatkowo – zmiany fazy fali
świetlnej)
rejestracja – polega na zapisie interferencji fali rozproszonej przez przedmiot
z falą niezaburzoną (tzw. wiązką odniesienia)
wiązka lasera jest dzielona na dwie przez płytkę szklaną (ang. beam splitter);
pierwsza (wiązka przedmiotowa) oświetla przedmiot, po odbiciu którego pada na kliszę
fotograficzną (ang. photographic plate), natomiast druga (wiązka odniesienia) pada na kliszę
bezpośrednio lub po odbiciu od płaskiego zwierciadła kierującego ją na kliszę;
w ten sposób otrzymuje się kliszę zwaną hologramem
40
Holografia
•
rekonstrukcja – oparta na dyfrakcji;
w przypadku rekonstrukcji hologram stanowi siatkę dyfrakcyjną
aby uzyskać obraz 3D należy oświetlić kliszę spójnym światłem
laserowym,
światło to interferując na hologramie odtworzy w polu za siatką
konfigurację przestrzenną światła odbitego od obiektu
41
20
Przyszłość holografii (?)
•
•
•
teleobecność podczas wideokonferencji
interakcja z treścią przestrzenną wyświetlaną przez
smartfon, tablet…
inne…
42
Dziękuję za uwagę!
43
21