Image Based Lighting Image Based Lighting Image Based Lighting
Transkrypt
Image Based Lighting Image Based Lighting Image Based Lighting
Image Based Lighting Image Based Lighting Image Based Lighting Wykorzystanie obrazów HDR jako $róde# !wiat#a, które o!wietlaj" syntezowan" scen%. Image Based Lighting Obliczanie o!wietlenia bazuj"ce na wykorzystaniu obrazów Rados#aw Mantiuk [email protected] Image Based Lighting Zastosowania IBL: • w metodach syntezy obrazów uwzgl!dniaj"cych o#wietlenie globalne, • do $"czenia obiektów syntezowanych z rzeczywistymi fotografiami, • do o#wietlania obiektów naturalnych (aktorów graj"cych w bluebox'ach) • w technikach mapowania #rodowiska (ang. environment mapping). Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Przyk$ady Light Probes IBL: Tworzenie light probe (1) Wykonanie serii zdj!% LDR lustrzanej kuli. Utworzenie obrazu HDR na podstawie zdj!% LDR. Eucalyptus Grove Funston Beach • Obrazy HDR stosowane w metodach IBL musz! rejestrowa" #wiat$o docieraj!ce do punktu ze wszystkich kierunków (ang. omnidirectional light). • Obrazy HDR rejestruj! bezwgl%dn! warto#" #wiat$a mo&na wi%c stosowa" zaawansowane modele o#wietlenia. Uffizi Gallery Lighting Environments from the Light Probe Image Gallery: http://www.debevec.org/Probes/ Grace Cathedral Image Based Lighting Image Based Lighting IBL: Tworzenie light probe (2) IBL: Synteza obrazów Tworzenie light probe. Etapy: Fotografowanie lustrzanej kuli: • musi by% zachowana odpowiednia odleg$o#% aparatu od kuli (obiektyw o d$ugiej ogniskowej), aby unikn"% zniekszta$ce& geometrii, • nale'y zwróci% uwag! na obszary, w których informacja jest niepe$na (obszar zas$oni!ty przez fotografa, brzeg fotografowanej kuli), rozwi"zaniem problemu jest wykonanie czterech zdj!% co 90 stopni, • odbijalno#% kuli powinna by% skalibrowana (kula odbija w przybli'eniu po$ow! energii, która w ni" trafia), • kula nie jest idealnie odbijaj"ca, trzeba wzi"% pod uwag! wyst!powanie sk$adowych diffuse i specular (kula nie mo'e by% porysowana i mokra), • na kuli wyst!puje efekt Fresnal a wywo$any polaryzacj" padaj"cego na ni" #wiat$a, • fotografia musi mie% dostateczn" rozdzielczo#%. 1. 2. 3. 4. 5. 6. Utworzenie light probe (próbka #wiat$a). Modelowanie geometrii i w$asno#ci powierzchni. Mapowanie light probe na powierzchni! otaczaj"c" scen! (o w$asno#ciach emisyjnych). Renderowanie sceny (#ledzenie fotonów). Postprocesing. Kompresja luminancji otrzymanego obrazu (TMO). Inne sposoby tworzenia obrazów !rodowiska: • ("czenie wielu obrazów w panoram! (ang. tiled photographs). • Zastosowanie obiektywu fish-eye (wad" jest silne winietowanie tego typu obiektywów. • Zastosowanie kamer do fotografowania panoram (np. firmy Spheron). Image Based Lighting Image Based Lighting IBL - Mapowanie light probe IBL - Rendering metod" #ledzenia fotonów Mapowanie light probe na powierzchnie otaczaj"ce scen%. Obliczanie o!wietlenia globalnego z uwzgl%dnieniem light probe. Wykorzystany zosta$ do tego celu sze#cian zawieraj"cy obiekty sceny. Light probe mapowany jest na wewn!trzne #ciany sze#cianu. Wn!trzne sfery traktowane jest jak zbiór obiektów zawieraj"cy rownie' )ród$a #wiat$a. Image Based Lighting Image Based Lighting IBL - Rendering metod" #ledzenia fotonów Obliczanie o!wietlenia globalnego z uwzgl%dnieniem light probe. IBL - Optymalizacja rendering Jasne obszary na light probe zast!powane s" powierzchniowymi )ród$ami #wiat$a o charakterystyce obliczanej na podstawie light probe (kolor, rozmiary, po$o'enie). Identyfikacja $róde# !wiat#a. Dla ka'dego piksela obrazu, dla którego promie& trafia w obiekt trzeba wygenerowa% du'" liczb! promieni wtórnych próbkuj"cych light probe. Dla light probe o du'ej wariancji pojawiaj" si! problemy z dok$adno#ci" próbkowania. Je'eli wys$ana zosta$a zbyt ma$a liczba promieni i który# z tych promieni trafi$ w jasny obszar na light probe (np. s$o&ce) to wp$yw tego obszaru na kolor piksela jest bardzo du'y (piksel jest zbyt jasny). Renderowane s" dwa obrazy: jeden z uwzgl!dnieniem light probe bez )ród$a #wiat$a (s$o&ce zamalowane jest na czarno), drugi tylko z uwzgl!dnieniem )ród$a #wiat$a. Obrazy s" sk$adane. Zabieg taki pozwala na generowanie poprawnych obrazów przy ma$ej liczbie próbek na piksel. + = Identyczna liczba próbek jak w przyk$adzie z poprzedniego slajdu. Image Based Lighting Image Based Lighting IBL w czasie rzeczywistym IBL - Cienie i odbicia Zamiana light probe na zestaw punktowych b"d$ powierzchniowych $róde# !wiat#a. Obraz mo'na wygenerowa% za pomoc" metod o#wietlenia globalnego. Dobre efekty uzyskuje si! równie' wykorzystuj"c algorytmy uwzgl!dniaj"ce wy$"cznie #wiat$o kierunkowe. Wp#yw sztucznych obiektów na light probe. Obiekty rzucaj" cie& na otoczenie oraz zmieniaj" kolor otoczenia wskutek odbijania #wiat$a (np. w pobli'u sztucznej czerwonej kuli otoczenie (pod$o'e) powinno by% lekko czerwone). Identyfikacja po!o"enia #róde! $wiat!a w obrazie HDR. Generowanie cieni polega na przygotowaniu modelu 3D fragmentu #rodowiska, na który maj" pada% cienie. Image Based Lighting IBL - Rezultaty Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting IBL - Rezultaty Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Image Based Lighting - Rezultaty syntezy obrazów Image Based Lighting Referencje: • Debevec Paul, Image-Based Lighting, ACM SIGGRAPH 2006 Courses. • Debevec Paul, Rendering synthetic objects into real scenes: bridging traditional and image-based graphics with global illumination and high dynamic range photography, ACM SIGGRAPH 2008 classes. • Paul Debevec homepage, http://ict.debevec.org/~debevec/ Image Based Lighting Image Based Lighting IBL - O#wietlanie rzeczywistych obiektów O!wietlanie obrazem HDR rzeczywistych obiektów (np. ludzkiej twarzy). O!wietlenie mo&na sumowa', tzn. dodawa' do siebie obrazy przedstawiaj"ce obiekty o!wietlone pojedynczymi $ród#ami !wiat#a w celu uzyskania o!wietlenia z#o&onego (wieloma $ród#ami !wiat#a). Obraz HDR otaczaj"cy obiekt Image Based Lighting O#wietlanie rzeczywistych obiektów + 2. Szukanie )róde$ #wiat$a na obrazie HDR 1. Zdj!cie przedstawiaj"ce np. ludzk" twarz 3. Sumowanie obrazów z bazy danych. Wybór obrazów z bazy zale"y od znalezionego po!o"enia #róde! $wiat!a. Image Based Lighting IBL - Rejestracja modelu twarzy w bazie danych Image Based Lighting IBL - Rejestracja modelu twarzy Urz"dzenie Light Stage wykonanie serii zdj!% z o#wietleniem z ró'nych kierunków. Przygotowanie modelu o#wietlenia rzeczywistego obiektu (serii zdj!% wykonanych przy o#wietleniu pojedynczym )ród$em #wiat$a z ró'nych kierunków) Urz"dzenie Light Stage - wykonanie serii zdj!% z o#wietleniem z ró'nych kierunków. Image Based Lighting IBL - Rejestracja modelu Image Based Lighting IBL - Przyk$adowe fotografie z bazy danych Image Based Lighting IBL - Rejestracja modelu Light Stage 6 Image Based Lighting IBL: Funkcja odbicia Dla ka'dego piksela obrazu, który chcemy o#wietli%, tworzona jest funkcja odbicia (ang. reflectance function). Funkcja odbicia definiuje wp#yw poszczególnych $róde# !wiat#a na dany piksel. Przyk$adowe fotografie modelu i odpowiadaj"ce im po$o'enie )ród$a #wiat$a. Funkcja odbicia sk$ada si! z tylu warto#ci, ile po$o'e& )ród$a #wiat$a zosta$o zarejestrowane podczas przygotowania modelu o#wietlenia obiektu. Image Based Lighting IBL - Algorytm sumowania obrazów Image Based Lighting IBL - Rezultaty O!wietlanie obrazem HDR ludzkiej twarzy. Kolor piksela obrazu wynikowego powstaje poprzez wymno'enie HDRa (light map) i funkcji odbicia piksela, a nast!pnie zsumowanie wszystkich punktów w próbce. HDR z map" otoczenia zmniejszany jest do wielko#ci odpowiadaj"cej liczbie punktów w próbce (liczbie po$o'e& )ród$a #wiat$a w czasie akwizycji modelu). Image Based Lighting Zmiana o#wietlenia (ang. image based relighting) wykonywana jest w czasie rzeczywistym. Mo'liwe jest wykonywanie oblicze& na obrazach skompresowanych (w dziedzinie cz!stotliwo#ci). Technologia stosowana w grach komputerowych i do produkcji efektów specjalnych w filamach. Image Based Lighting IBL - Rezultaty IBL - Rezultaty O!wietlanie obrazem HDR ludzkiej twarzy. Analiza obrazów, wyodr%binienie kana#ów. Image Based Lighting Literatura 1. 2. 3. P.E. Debevec and J. Malik. Recovering high dynamic range radiance maps from photographs. In Proceedings of SIGGRAPH 97, Computer Graphics Proceedings, Annual Conference Series, pages 369-378, August 1997. Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec. High Dynamic Range Imaging. Morgan Kaufman, Elsevier, 2005. Paul Debevec, Tim Hawkins, Chris Tchou, Haarm-Pieter Duiker, Westley Sarokin and Mark Sagar. Acquiring the Reflectance Field of a Human Face. SIGGRAPH 2000 Conference Proceedings.