wieloobrazowe dopasowanie zdjęć bliskiego zasięgu do

wieloobrazowe dopasowanie zdjęć bliskiego zasięgu do

P R A C E N A U K O W E P O L I T E C H N I K I WA R S Z AW S K I E J
z. 50
Geodezja
2013
Dorota Zawieska
Wydział Geodezji i Kartografii
Zakład Fotogrametrii, Teledetekcji i Systemów Informacji Przestrzennej
WIELOOBRAZOWE DOPASOWANIE
ZDJĘĆ BLISKIEGO ZASIĘGU
DO AUTOMATYCZNEJ REKONSTRUKCJI
FOTOREALISTYCZNYCH MODELI 3D
Rękopis dostarczono 1.02.2013 r.
Modelowanie obiektu, wykorzystujące obrazy cyfrowe, zostało zdefiniowane jako kompletny
proces rozpoczynający się pozyskaniem obrazów, a kończący utworzeniem interaktywnego, wirtualnego modelu 3D.
Teza, jaką przyjęto w niniejszej rozprawie, opiera się na założeniu, że przez dobór odpowiednich algorytmów przetwarzania obrazów cyfrowych, wykorzystywanych w środowisku fotogrametrycznym i widzeniu maszynowym (CV), umożliwia wieloobrazowe, automatyczne dopasowanie
obrazów cyfrowych bliskiego zasięgu, w celu wykonania automatycznej rekonstrukcji fotorealistycznych modeli 3D wybranych obiektów.
Na podstawie przeglądu literatury krajowej i zagranicznej przeprowadzono analizę rozwiązań istniejących systemów pomiarowych, wykorzystywanych do modelowania 3D w fotogrametrii bliskiego zasięgu. W analizie uwzględniono takie czynniki, jak stopień automatyzacji pomiarów,
liczbę, geometrię oraz jakość wykorzystywanych obrazów cyfrowych. Dokonano studium literaturowego dotyczącego charakterystyki przetwarzania obrazów, w szczególności obejmującego problematykę automatycznej detekcji narożników (punktów charakterystycznych) oraz modelowania
3D obiektów bliskiego zasięgu. Na podstawie przeprowadzonych analiz, wyodrębniono operatory, które mogą być wykorzystane dla automatycznego wykrywania punktów charakterystycznych
obiektu, odwzorowanego na obrazach cyfrowych: Moraveca, Harrisa, Trajkovica, SUSAN (ang.
Smallest Univalue Segment Assimilating Nucleus), SIFT (ang. Scale Invariant Feature Transform).
Dokonano przeglądu algorytmów automatycznego dopasowywania obrazów, ze szczególnym
uwzględnieniem metody ABM (ang. Area Base Matching), zintegrowanej z algorytmami stosowanymi w widzeniu maszynowym (ang. Computer Vision).
Jako wynik szerokich analiz teoretycznych i eksperymentalnych, do automatycznego generowania przestrzennej chmury punktów zaproponowano ostatecznie następujący pakiet algorytmów:
do wykrywania punktów charakterystycznych na obrazach cyfrowych – operator SUSAN; do do-
6
Wprowadzenie
pasowywania obrazów cyfrowych – metodę ABM/Image Distance (opcjonalnie, w zależności od
liczby wykrytych punktów na obrazie cyfrowym), ABM/CC, ABM/LSM; do obliczania tensora, na
podstawie dopasowanych punktów charakterystycznych – algorytm RANSAC (ang. Random Simple Consensus).
Przeprowadzone analizy i eksperymenty pozwoliły zdefiniować warunki dotyczące geometrii zdjęć, oświetlenia, jakości tekstury obiektu oraz rozdzielczości i formatu obrazu cyfrowego do
opracowania autorskiego pakietu algorytmów do automatycznego generowania modeli 3D wybranych obiektów bliskiego zasięgu. Zaprojektowano modułową strukturę prototypu oprogramowania,
z których każdy realizuje inny etap generowania modelu 3D. Udowodniono, że dobierając algorytmy wieloobrazowego przetwarzania obrazów cyfrowych, stosowane w środowisku fotogrametrycznym i widzeniu maszynowym, można automatycznie generować powierzchnie wybranych modeli 3D bliskiego zasięgu.
Słowa kluczowe: detekcja narożników, automatyczne dopasowanie obrazów, ABM, tensor trójogniskowy, RANSAC, modelowanie 3D
1. WPROWADZENIE
Rekonstrukcja trójwymiarowych realistycznych modeli obiektów z wykorzystaniem obrazów cyfrowych jest od długiego czasu tematem badań w fotogrametrii i widzeniu komputerowym. Tradycyjnie w robotyce, widzeniu maszynowym
czy w zastosowaniach inżynierskich głównym celem jest dokładność rekonstrukcji kształtu modelu 3D obiektu. Obecnie jednak coraz większą uwagę poświęca się multimediom i społecznościom związanym z grafiką komputerową. Ewolucja komputerów jest tak duża, że nawet komputery klasy PC mogą wyświetlać
skomplikowane modele 3D. Wiele gier komputerowych mieści się w obszernym
świecie 3D. Zastosowanie modeli 3D oraz ich środowiska (otoczenia) w Internecie staje się powszechną praktyką. Jednakże ta ewolucja jest spowolniona z powodu trudności, jakie powoduje tworzenie modeli 3D. Pomimo że proste modele
3D można łatwo utworzyć, to bardziej złożone wymagają wiele wysiłku i często
wyniki nie spełniają oczekiwań.
Do analizy metod tworzenia realistycznych modeli 3D obiektów konieczne
jest dokładne określenie tego pojęcia. W literaturze można spotkać kilkadziesiąt
sposobów określenia tego produktu. Wśród nich pojawiają się m.in. teksturowany
model 3D (ang. textured, texture-mapped, photo-textured), realistyczny model 3D,
wirtualny model, wirtualna rekonstrukcja oraz wiele innych podobnych sformułowań. Najtrafniejsze wydaje się sformułowanie Bernardiniego i Rushmeiera, którzy
przez pojęcie model 3D rozumieją „numeryczny opis obiektu, który może zostać
wykorzystany do przedstawienia jego obrazów widzianych z dowolnego miejsca
i przy dowolnych warunkach oświetleniowych” (Rushmeier i Bernardini, 2002).
Summary
95
Zheng Z., Wang H. (1999) Analysis of Gray Level Corner Detection. Pattern Recognition Letters,
vol. 20, pp. 149-162.
Ziou D., Tabbone S. (1998). Edge Detection Techniques- An Overview. Journal of Pattern Recognition and Image Analysis, vol. 8, pp. 537-559.
MULTI-IMAGE MATCHING OF CLOSE RANGE PHOTOGRAPHS
FOR PHOTOREALISTIC 3D MODELS RECONSTRUCTION
Summary
Modelling objects using digital images has been defined as a complete process which starts from
image acquisition and is completed by creation of a virtual 3D model.
The thesis which has been assumed for the present work is based on the assumption that by using
specially selected algorithms applied in photogrammetry and in computer vision (CV), it is possible
to perform multi-image, automatic, digital matching of close range images, in order to automatically
reconstruct photorealistic 3D models of selected objects.
Basing on reviews of Polish and foreign publications, an analysis of existing measuring systems
has been performed, which are applied for 3D modelling in close range photogrammetry. The performed analyses considered such factors as: measurement automation level, the number, geometry
and quality of applied digital images. The study of publications concerning image processing characteristics, with particular attention paid to automatic detection of corners (characteristic points), as
well as 3D modelling of close range objects, has been performed. The analyses allow to select the
following algorithms which might be applied for automatic detection of characteristic points of an
object, visible on digital images: Moravec, Harris, Trajkovic, SUSAN (Smallest Univalue Segment
Assimilating Nucleus), SIFT (Scale Invariant Feature Transform). Algorithms for automatic image
matching, with particular consideration of the ABM (Area Base Matching) method, integrated with
algorithms applied in computer vision, have also been reviewed.
As a result of comprehensive theoretical and experimental analyses, the following package of algorithms has been finally proposed for automatic generation of a spatial point cloud: for detection
of characteristic points on digital images - SUSAN algorithm; for digital image matching - successive utilisation of the ABM/Image Distance method (as an option, depending on the number
of points detected in the digital image), the ABM/CC, ABM/LSM method; for tensor calculations
basing on matched characteristic points it is proposed to apply the RANSAC (Random Simple Consensus) algorithm.
The performed analyses and experiments allow to define conditions related to image geometry,
illumination, texture quality, as well as resolution and formats of digital images with respect to development of the author’s package of algorithms for automatic generation of 3D models of selected
close range objects. A modular structure of prototype software has been designed, in which every
module performs successive stages of the 3D model generation. It was also proved that - after selection of appropriate algorithms of multi-image digital image processing, applied in photogrammetry
and computer vision - it is possible to automatically generate surfaces of selected 3D close range
models.
Keywords: detection of corners, automatic image matching, ABM method, three-focal tensor,
RANSAC algorithm, 3D modelling.