pobierz plik referatu

Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
Rozdział 47
w
Wyszukiwanie obiektów o kształtach zgodnych
ze wzorcem w multimedialnych bazach danych
w
1 Wstęp
da
.b
w
Streszczenie. Praca podejmuje problem wyszukiwania informacji w postaci
kształtu poszukiwanego elementu. Omawia istniejące rozwiązania bazodanowe, m.in. technologię QBIC oraz nową propozycję zastosowania współczynników kształtu oraz wieloetapowego wyszukiwania kształtów zgodnych z zadanym wzorcem w multimedialnych bazach danych.
2 Mechanizmy wyszukiwania kształtów
pl
s.
Rozwój technologiczny spowodował poszerzenie możliwości użytkowania wysoko wydajnych systemów informatycznych do składowania i analizy obrazów. Pamięci masowe obsługują obecnie zbiory multimedialne o pojemnościach liczonych w TB. Systemy multimedialnych baz danych umożliwiają składowanie informacji z zapewnieniem ich bezpieczeństwa i wysokiej dostępności [1]. Systemy te są szeroko stosowane do wspomagania rejestracji obrazów, m.in. z diagnostycznej aparatury medycznej oraz do wspomagania diagnozowania w służbie zdrowia. Istnieją jednak trudności w wyszukiwaniu właściwych informacji na podstawie cech związanych nie tyle z opisem alfanumerycznym danych ile wyszukaniem informacji [2] np. na zdjęciach RTG i MRI.
Referat przedstawia możliwości zastosowania technik analizy obrazu do zbudowania
aparatu wyszukiwania w dwuwymiarowych obiektach graficznych kształtów zgodnych ze
wzorcem do zastosowania w multimedialnych bazach danych.
Systemy zarządzania multimedialnymi bazami danych (MMDBMS) budowane są najczęściej z relacyjno-obiektowych DBMS-ów [2] takich jak Oracle Database oraz IBM DB2
UDB wykorzystujących właściwe dla producenta rozszerzenia multimedialne. Powód stosowania relacyjno-obiektowych systemów klasy Enterprise, a nie specjalizowanych systemów tworzonych „od zera” nie jest przypadkowy. Liczba plików graficznych składowanych w takich systemach może sięgać kilkudziesięciu milionów [1]. Biorąc pod uwagę wyszukiwanie jedynie informacji alfanumerycznych w takich zbiorach, możliwości wydajnościowe przytaczanych DBMS-ów są wystarczające.
Leszek Wojnar, Dariusz Karpisz: Politechnika Krakowska, Instytut Informatyki
Stosowanej, al. Jana Pawła II 37, 31-864 Kraków, Polska
email: [email protected], [email protected]
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
L. Wojnar, D. Karpisz
w
Dużym problemem w użytkowaniu multimedialnych zbiorów danych jest charakter informacji. W tym referacie będziemy się odnosić jedynie do dwuwymiarowych plików graficznych oraz wyszukiwania kształtów. Istnieją oczywiście standardowe atrybuty opisujące
pliki graficzne takie jak: rozdzielczość, paleta barw, rozmiar i nazwa pliku.
Te atrybuty nie mówią jednak nic o zawartości pliku graficznego.
Próba budowy aparatu wyszukiwania informacji na podstawie kształtu będącego wzorcem wyszukiwania wiąże się z wieloma trudnościami natury technicznej i pojęciowej [3],
m.in.:
− kształtu w przeciwieństwie do wielkości (rozmiarów), nie da się opisać za pomocą
jednej liczby,
− w ogólnym przypadku, do opisu dowolnego kształtu o złożonej geometrii należałoby
użyć nieskończenie wielkiej liczby,
− obserwujemy niejednoznaczność w próbach oddzielenia kształtu obiektu od jego
rozmiaru,
− dostęp do plików graficznych może być czasochłonny,
− ilość plików graficznych i ich wielkość determinuje czas wyszukiwania zapisanych
w nich obiektów.
w
w
2.1 Istniejące rozwiązania
da
.b
Producenci systemów DBMS zauważyli rosnące potrzeby rynku w zakresie obsługi danych
multimedialnych, co zaowocowało wprowadzeniem rozszerzeń multimedialnych funkcjonujących w systemach relacyjno-obiektowych na podobnych warunkach, jak np. rozszerzenia GIS.
System Oracle Database umożliwia rozszerzenie funkcjonalności dla danych graficznych
przy zastosowaniu rozszerzeń Oracle InterMedia [5] oraz typu danych ORDImage. Kontenery ORDImage umożliwiają zapisanie podstawowych atrybutów pliku graficznego, takich
jak rozmiar i rozdzielczość, a zawartość pliku zapisywana jest jako obiekt binarny (BLOB)
lub kontener wskazuje miejsce, gdzie zapisano plik graficzny (typ BFILE). Oracle udostępnia również cały mechanizm do obsługi operacji na atrybutach alfanumerycznych. Próba
zbudowania aparatu do przeszukiwania treści graficznej obiektu ORDImage wiąże się z koniecznością budowy odpowiednich programów w języku C lub Java.
System IBM DB2 UDB oferuje rozszerzenia TAIV Extenders (Text, Audio, Image and
Video). Rozszerzenie Image Extenders [6] wykracza poza atrybuty oferowane przez typ
ORDImage i oferuje dla obrazów rastrowych zapis takich wielkości jak średni kolor pliku
graficznego, histogram (dla 64 odcieni), kolor dla predefiniowanych stref na obrazie graficznym, informacje o powtarzających się elementach obrazu (teksturach). Programowanie
rozszerzeń odbywa się za pomocą odwołań do utworzonych wraz z rozszerzeniami TAIV
typów użytkownika (UDT) oraz gotowych funkcji (UDF) w języku C. Możliwy jest również dostęp z poziomu języka Java. Rozszerzenia TAIV wydają się szczególnie przydatne
do wyszukiwania kształtów ze względu na koncepcję Query by Image Content (QBIC) czyli próbę wyszukiwania informacji na podstawie zawartości zapisanych w systemie bazodanowym plików graficznych.
pl
s.
2.2 QBIC – pierwsze przybliżenie do wyszukiwania informacji w plikach graficznych
Rozszerzenia IBM TAIV Extenders oraz mechanizm QBIC jest niewątpliwie dużym
wkładem w rozwój rozszerzeń multimedialnych dla systemów bazodanowych. Umożliwiają
bowiem przeszukiwanie plików graficzny pod kątem ich zawartości, np.:
464
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
Nowe podejście do wyszukiwania kształtów zgodnych ze wzorcem w multimedialnych bazach danych
− odszukanie obrazów rastrowych z dominacją określonego koloru w określonej strefie
obrazu (np. znalezienie wszystkich plików graficznych z żółtym słońcem w górnym,
lewym rogu obrazu),
− odszukanie obrazów rastrowych z dominacją określonego koloru (np. znalezienie
plików przedstawiających ceglane elewacje budynków).
Mechanizmy QBIC nie dają jednak żadnych narzędzi do wyszukiwania określonego, złożonego kształtu obiektu w zapisanych w systemie obrazach.
w
2.3 Współczynniki kształtu
da
.b
w
w
Prawdopodobnie jedynym z powodów dla których QBIC nie oferuje dopasowania na podstawie kształtu jest brak jakichkolwiek norm co do opisu kształtów obiektów oraz trudność
znalezienia narzędzia do wyszukiwania kształtów w zadawalającym czasie.
pl
s.
Rys. 1. Trzy rodziny kształtów otrzymane w wyniku przekształcenia koła: a) elipsa
o różnym wydłużeniu, b) pofałdowanie obwodu koła, c) nałożenie operacji wydłużania
i fałdowania
Budując system wyszukiwania możliwy jest wybór różnych współczynników kształtu oraz
różnorodnych wzorców. Najprostszym wzorcem jest kula odwzorowana w przestrzeni 2D
w postaci koła. Pożądany kształt możemy uzyskać stosując rozciąganie i marszczenie
powierzchni (rys. 1).
Ciekawe podejście do określania kształtów obiektów przyjęto w stereologii. Stosuje się
tu tzw. współczynniki kształtu [3], [4]. Współczynniki kształtu charakteryzują następujące
cechy:
465
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
L. Wojnar, D. Karpisz
− bezwymiarowy charakter (mają taką samą wartość dla obiektów o tym samym kształcie, ale innych wymiarach, co z punktu MMDBMS może wyeliminować konieczność
stosowania algorytmów skalowania obrazów),
− prosta geometrycznie interpretacja (pozwala określić jak dany kształt odbiega od
zadanego modelu lub teoretycznego kształtu odniesienia),
− wrażliwość na specyficzne zmiany geometryczne kształtu od przyjętego wzorca.
w
da
.b
w
w
Rys. 2. Podstawowe pomiary używane do oszacowania współczynników kształtu obiektów, gdzie: (a), (b) – długość i szerokość najmniejszego kwadratu opisanego na obiekcie
lub max średnica Fereta i średnica do niej prostopadła; (A) – pole powierzchni analizowanego obiektu; (L) – obwód; (d1), (d2) – średnice koła wpisanego i opisanego na obiekcie
f1 = a / b
f 2 = L2 / 4πA
f 3 = d 2 / d1
pl
s.
Za pomocą pokazanych na Rys. 2. wielkości pomiarowych można zdefiniować m.in.
następujące współczynniki:
(1)
(2)
(3)
Współczynnik f1 (wzór 1) obrazuje stopień wydłużenia obiektu w stosunku do wzorcowego
koła. Współczynnik przyjmuje wartość 1 dla koła oraz kwadratu i ma wyższe wartości dla
kształtów wydłużonych.
Współczynnik f2 (wzór 2) obrazuje stopień pofałdowania pofałdowania linii brzegowej
obiektu w stosunku do idealnego koła. Jego minimalna wartość równa się 1 dla koła
i osiąga większe wartości dla wszystkich innych kształtów. Jest mało wrażliwy na wydłużenie cząstek.
466
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
Nowe podejście do wyszukiwania kształtów zgodnych ze wzorcem w multimedialnych bazach danych
Współczynnik f3 (wzór 3) obrazuje zarówno stopień wydłużenia jak i pofałdowania linii
brzegowej badanego kształtu. Przykład użycia tego współczynnika kształtu przedstawia
rys. 3.
Używając parametrów f1 i f2 możemy odróżnić pofałdowanie linii brzegowej od
wydłużenia obiektu graficznego.
w
da
.b
w
w
Rys. 3. Ocena zgodności kształtów z wzorcem kołowym na podstawie współczynnika f3
Budowa aparatu wyszukiwania na podstawie współczynników kształtu może wymagać
wprowadzenia innych współczynników kształtu bazujących np. na wzorcu w postaci prostokąta (rys. 4).
pl
s.
Rys. 4. Pomiary używane do oszacowania współczynników kształtu bazujących na prostokątnym oknie pomiarowym, gdzie: (x), (y) – maksymalna szerokość i wysokość obiektu
w oknie; (A) – pole powierzchni analizowanego obiektu; (L) – obwód
467
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
L. Wojnar, D. Karpisz
Do identyfikacji kształtów przez system wyszukiwania MMDBMS można zastosować
następujące współczynniki wyznaczane z wartości charakterystycznych:
f 4 = A / xy
(4)
f 5 = A / L2
(5)
w
Współczynnik f4 (wzór 4) jest współczynnikiem charakteryzującym stosunek pola powierzchni ograniczonego krzywą kształtu i wymiarami okna pomiarowego, a więc odzwierciedla wypełnienie okna, natomiast f5 (wzór 5) to stosunek pola powierzchni ograniczonego
krzywą badanego obiektu i kwadratu długości linii brzegowej, a więc odzwierciedla stopień
skomplikowania kształtu.
Oprócz przedstawionych współczynników możliwe jest zastosowanie znacznie prostszych, ale w niektórych zastosowaniach przydatnych wielkości takich jak względna szerokość oraz względna wysokość obiektu (w odniesieniu do wybranej, mierzalnej wielkości).
Zastosowanie przedstawionych współczynników jest nową propozycją autorów niniejszego rozdziału. Niewątpliwą zaletą współczynników kształtu jest opis cech kształtu takich
jak stopień odstępstwa od wzorca (stopień wypełnienia) czy stopień skomplikowania linii
brzegowej za pomocą wartości liczbowych. Jak pokazuje rys. 3, zastosowanie współczynników kształtów może w znacznym stopniu ograniczyć zbiór przeszukiwania obiektów binarnych. Należy również zauważyć, że współczynniki kształtu powinny być określone na etapie zapisu nowych obrazów w systemie informacyjnym, a otrzymane wartości współczynników zapisane w relacyjnych tabelach bazodanowych.
da
.b
w
w
2.4 Wielostopniowe wyszukiwanie kształtów
pl
s.
Przeszukanie bazy danych pod kątem znalezienia w niej kształtu podobnego do wprowadzonego jako wzorzec, może być bardzo czasochłonne dla MMDBMS w przypadku gdy
w systemie zapisano dużą liczbę materiału obrazowego. Dzieje się tak np. w aplikacjach
medycznych, gdzie dziennie może być wprowadzane do bazy kilkaset obrazów rastrowych
wraz z opisem tekstowym. Przeszukanie bazy danych, w której znajduje się milion obrazów
w klasyczny sposób tzn. otworzenie każdego pliku graficznego i próba dopasowania kształtu za pomocą metod komputerowej analizy obrazów jest nieefektywne. Dlatego też należy
stosować przeszukiwanie wielostopniowe.
Koncepcję systemu z wyszukiwaniem kształtów zgodnych ze wzorcem pokazano na
rys. 5. Funkcjonowanie systemu opiera się na odpowiednim przygotowaniu danych multimedialnych na potrzeby archiwizacji oraz wykorzystaniu automatycznych mechanizmów
do określenia pożądanych współczynników.
Wprowadzanie danych może wyglądać następująco (rys. 5):
1) Operator aplikacji bazodanowej wprowadza dane alfanumeryczne (nazwa, opis tekstowy, numer inwentarzowy, itd.),
2) Operator dokonuje korekt na wprowadzanym pliku graficznym (np. wskazuje obszar
do analizy, obszar konkretnego okna pomiarowego, w którym będą badane kształty),
3) MMDBMS odczytuje dane o pliku graficznym za pomocą stosownych rozszerzeń
(Image Extenders) oraz zapisuje,
4) Programy komputerowej analizy obrazu w zakresie okna pomiarowego dokonują
obliczeń wybranych współczynników kształtu oraz zapisują je w bazie.
Należy zauważyć, że proces wprowadzania pliku graficznego do bazy danych nie ma narzuconych ograniczeń czasowych.
468
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
Nowe podejście do wyszukiwania kształtów zgodnych ze wzorcem w multimedialnych bazach danych
w
da
.b
w
w
Rys. 5. Koncepcja systemu bazodanowego do wielostopniowego wyszukiwania zgodności
kształtów ze wzorcem
pl
s.
Odpowiednio spreparowane dane o pliku graficznym oraz jego zawartości mogą służyć do
budowy skutecznego aparatu wyszukiwania dla systemów MMDBMS. Aby osiągnąć pożądane wyniki (w zakresie krótkiego czasu wykonania zapytania o dopasowanie kształtu)
można zbudować następującą procedurę wyszukiwania:
1) operator aplikacji bazodanowej wprowadza dane alfanumeryczne o obrazie jeśli jest
taka możliwość,
2) operator dokonuje korekt na wprowadzanym wzorcowym pliku graficznym (np.
wskazuje obszar do analizy, obszar konkretnego okna pomiarowego, w którym będą
badane kształty),
3) MMDBMS odczytuje dane o wzorcowym pliku graficznym za pomocą stosownych
rozszerzeń (Image Extenders) oraz zapisuje je w tabelach pomocniczych
4) programy komputerowej analizy obrazu w zakresie okna pomiarowego dokonują
obliczeń wybranych współczynników kształtu oraz zapisują je w tabelach pomocniczych,
5) wykonywane jest zapytanie o dane alfanumeryczne w ramach atrybutów pobranych
przez oprogramowanie rozszerzeń TAIV,
6) uzyskany podzbiór obrazów poddawany jest serii zapytań dopasowujących kolejne
współczynniki kształtu w zadanych granicach,
7) dla zbioru wynikowego są dokonywane dokładane dopasowania kształtu wzorca
z kształtami na wyselekcjonowanych obrazach,
8) system MMDBMS wybiera podzbiór najlepiej dopasowanych kształtów.
Powyższa metoda przeszukiwania pod względem zgodności ze wzorcem powinna dawać
możliwość wglądu dla użytkownika systemu w kolejne podzbiory będące wynikiem zapytań cząstkowych. Końcowe etapy wyszukiwania (np. pkt 7) mogą wykorzystywać bardziej
469
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006
Rozdział monografii: 'Bazy Danych: Struktury, Algorytmy, Metody', Kozielski S., Małysiak B., Kasprowski P., Mrozek D. (red.), WKŁ 2006
L. Wojnar, D. Karpisz
złożone metody porównywania obiektów, niż zaprezentowano to w niniejszym opracowaniu. Metody takie cechuje zwykle znaczna złożoność obliczeniowa, ale nie stanowi to istotnego problemu w sytuacji, gdy do oceny pozostaje stosunkowo niewielka liczba wstępnie
przefiltrowanych obiektów.
3 Podsumowanie
w
Literatura
1.
2.
3.
4.
5.
6.
da
.b
w
w
Proponowana metodologia przeszukiwania multimedialnych baz danych umożliwia znaczne skrócenie czasu wyszukiwania kształtów stosunku do metod stosujących dopasowanie
do każdego pliku graficznego zapisanego w bazie.
Autorzy pracują nad zastosowaniem rozszerzeń QBIC do wyszukiwania kształtów na
podstawie oferowanych przez TAIV wielkości oraz nad stosowaniem współczynników
kształtu jako kwalifikatorów wyszukiwania dla systemów MMDBMS. Przedstawione propozycje mogą być stosowane w systemach archiwizacji obrazów na potrzeby służby
zdrowia, ochrony dziedzictwa kulturowego, firmach z branży rozrywkowej oraz w innych
dziedzinach.
Karpisz D.: Zarządzanie i archiwizacja danych multimedialnych przy wymaganiach wysokiej
dostępności na przykładzie diagnostycznych danych obrazowych w jednostkach służby zdrowia.
Komputerowo Zintegrowane Zarządzanie, Wydawnictwa Naukowo-Techniczne 2005.
Ullman J.D.: Podstawowy wykład z systemów baz danych. Wydawnictwa Naukowo-Techniczne
2000.
Wojnar L., Kurzydłowski K.J., Szala J.: Praktyka analizy obrazu. Polskie Towarzystwo
Stereologiczne, Kraków, 2002.
Russ J.C.: The Image Processing Handbook Fourth Edition. CRC Press, Boca Raton, 2002.
Oracle Corp.: interMedia User's Guide and Reference. A88786-01, Oracle 2001.
IBM Corp.: DB2 Image, Audio, and Video Extenders Administration and Programming.
SH12-6747-00, ITSO IBM 2003.
pl
s.
470
(c) Copyright by Politechnika Śląska, Instytut Informatyki, Gliwice 2006