Mobilne Aplikacje Multimedialne

Mobilne Aplikacje Multimedialne
Technologie rozszerzonej rzeczywistości
Krzysztof Bruniecki
Rozszerzona rzeczywistość
• W odróżnieniu od rzeczywistości wirtualnej
użytkownik NIE jest całkowicie zanurzony w
pełne wirtualne środowisko
• Podstawowe cechy:
– połączenie wirtualnego i realnego
– interakcja w czasie rzeczywistym (w odróżnieniu
od efektów specjalnych w filmach)
– możliwość uwzględnienia trójwymiarowości
autor: Krzysztof Bruniecki
2
Rozszerzona rzeczywistość w
technologii 3D
stół uzupełniony o obiekty
wirtualne
gra z wirtualnymi
obiektami
autor: Krzysztof Bruniecki
3
Przykłady zastosowania rozszerzonej
rzeczywistości
• Mapa nieba
• Zaznaczanie obiektów w
terenie
• Ustawianie mebli
(zastosowanie markerów)
• Tłumaczenie obrazu
(Trans Lens)
• Wzbogacenie dźwięku
autor: Krzysztof Bruniecki
4
Technologie wyświetlania
• Można wyróżnić następujące technologie
wyświetlania w AR
– użycie monitora
– użycie tzw. optical see-through
– użycie tzw. video see-through
autor: Krzysztof Bruniecki
5
Monitor (1)
Koncepcja rozszerzonej rzeczywistości z użyciem monitora
(również wyświetlacza urządzenia mobilnego)
autor: Krzysztof Bruniecki
6
Monitor (2)
Koncepcja użycia monitora z opcjonalnymi
okularami stereoskopowymi
autor: Krzysztof Bruniecki
7
Head Mounted Display (1)
koncepcja systemu HMD typu optical see-through
autor: Krzysztof Bruniecki
8
Head Mounted Display (2)
koncepcja systemu HMD typu video see-through
autor: Krzysztof Bruniecki
9
Head Mounted Display (3)
Realizacje systemów HMD
autor: Krzysztof Bruniecki
10
Zalety i wady koncepcji optical i video
• Zalety optical nad video
–
–
–
–
prostota (przetwarzanie tylko jednego strumienia)
rozdzielczość strumienia ze świata rzeczywistego
bezpieczeństwo (w przypadku zaniku zasilania nadal widzimy)
brak przesunięcia pomiędzy okiem a kamerą
• Zalety video nad optical
– większe możliwości sterowania kompozycją (możliwość
całkowitego zasłonięcia obiektów rzeczywistych)
– szerokie pole widzenia (możliwość usunięcia dystorsji, która
zwiększa się wraz z odległością od osi optycznej)
– opóźnienia strumieni mogą być dostosowane
– dodatkowe możliwości analiz obrazu w celu określania orientacji
i tym samym przestrzennego dopasowania strumieni
autor: Krzysztof Bruniecki
11
Ostrość (ang. focus)
• Video
– wyświetlenie obrazu następuje w pewnej określonej odległości
– wszystkie renderowane obiekty mogą być ostre
– kamera rejestrująca obraz rzeczywisty może zmieniać ostrość
• Optical
– użytkownik decyduje o ostrości w obszarze świata rzeczywistego
(akomodacja oka)
– wyświetlenie (projekcja) obiektów wirtualnych powinna być zgodna ze
strumieniem rzeczywistym (jest to trudne)
• jak stwierdzić gdzie (jak daleko) użytkownik patrzy
• projektory mają najczęściej na sztywno ustawioną odległość projekcji
autor: Krzysztof Bruniecki
12
Problem rejestracji obrazu
• ang. Image registration
• przenoszenie różnych obrazów do jednego układu
współrzędnych
• Zastosowania
– widzenie komputerowe (ang. computer vision, np.
AR),
– obrazowanie medyczne,
– automatyczne wykrywanie celu,
– przetwarzanie i analiza zobrazowań lotniczych i
satelitarnych
autor: Krzysztof Bruniecki
13
Błędy rejestracji obrazów w AR
• statyczne (bez ruchu)
– dystorsja optyczna
– błędy określania lokalizacji
– rozbieżności mechaniczne
– błędy wyświetlania związane z perspektywą
(translacja, rotacja, kalibracja)
• dynamiczne (obiekty lub obserwator w ruchu)
autor: Krzysztof Bruniecki
14
Zadania laboratoryjne
Zadanie 1
Utworzyć projekt umożliwiający rysowanie na podglądzie z kamery (należy skorzystać
ze źródeł w projekcie KameraAugmented).
Zadanie 2
Na podglądzie z zadania 2 rysować prostokąt dynamicznie wskazujący Warszawę
z tolerancją +-10 stopni.
Założyć że w Samsungu Galaxy S (dostępnym na zajęciach laboratoryjnych):
Obszar widoczności kamery szerokość/wysokość [stopnie]
51,2x39,4
Zadanie 3
Na podglądzie z zadania 2 rysować prostokąty dynamicznie wskazujące obiekty
dodane do bazy (skorzystać z interfejsu użytkownika z poprzednich laboratoriów, w
razie braku bazę można „zahardkodować” na 0,5 pkt).
autor: Krzysztof Bruniecki
15
body frame -> ekran
• Skrajne punkty ekranu odpowiadają
następującym wektorom w układzie body
frame
51,2
B
– czerwony romb
– niebieski trójkąt
0 tg(
B
tg(
)
1
39,4
) 0
2
1
2
XB
YB
autor: Krzysztof Bruniecki
16
Kolokwium
• Pytania testowe
• Pytania opisowe
• Pytania obliczeniowe
autor: Krzysztof Bruniecki
17
Literatura
[1] Azuma, R.T.; A Survey of Augmented Reality
autor: Krzysztof Bruniecki
18