Podejście klasyczne

2015-06-04
Metody rozpoznawania obrazów
Istnieje teoria, że podczas ludzkiej percepcji wzrokowej
poszczególne cechy obrazu pobudzają oddzielne ośrodki w mózgu
Podejście klasyczne:
metody minimalno-odległościowe
metody wzorców
metody aproksymacyjne
metody probabilistyczne
Podejście nieklasyczne:
metody strukturalne
Robot ogląda
rozpoznawany obiekt
Rozpoznawanie musi być niezależne od pozycji
rozpoznawanego obiektu
Rozpoznawanie silnie zależy od tego, jakich cech
użyto do scharakteryzowania obiektu
Kolor nakazuje
zaliczyć obiekt
do tej klasy
Kształt nakazuje
zaliczyć obiekt
do tej klasy
Zmniejszenie
liczby klas
znacząco
polepsza
warunki
działania
klasyfikatora:
1
2015-06-04
oczy blisko - daleko
Zbiorowość
rozpoznawanych
obiektów
Obiekt
oczy blisko - daleko
Przestrzeń cech i sposób jej tworzenia
Punkt w przestrzeni
cech reprezentuje
obiekt
twarz wąska - szeroka
twarz wąska - szeroka
Obrazy reprezentowane przez
punkty w przestrzeni cech
Przykładowa struktura przestrzeni cech dla
rozpoznawania: przypadek cech ilościowych
Przykładowa struktura przestrzeni cech dla rozpoznawania:
przypadek cech jakościowych binarnych
Przykładowa struktura przestrzeni cech dla rozpoznawania:
przypadek cech jakościowych wielowartościowych
2
2015-06-04
Przykłady skupisk wzorców w przestrzeni cech oraz
sposób klasyfikacji nowego elementu
Wyniki identyfikacji podatności i łącznego oporu układu
oddechowego w grupie osób zdrowych i ze stwierdzonym
schorzeniem układu oddechowego
W dobrze zdefiniowanej przestrzeni cech
obiekty się grupują
Niektóre ze składowych wektora
cech mogą być czasem nieznane
Bywa to jednak ryzykowne!
Zazwyczaj takie brakujące dane uzupełnia się wstawiając wartości
średnie
Zależnie od sposobu rozmieszczenia
w przestrzeni cech punktów reprezentujących
obiekty należące do różnych klas rozpoznawanie
może być łatwiejsze lub trudniejsze
Przykład zadania, w którym pewne
klasy rozpoznaje się łatwo, a inne
trudno (Zbiór Iris w rzucie
dwuwymiarowym cechy 3 i 4)
3
2015-06-04
Problem reprezentatywności
zbioru uczącego
Dwie klasy w przestrzeni cech. A) liniowo separowane,
B) klasy nieseparowalne liniowo
Inny przykład zbioru uczącego
i pełnej populacji
Czasem jednoznaczne rozpoznanie
części obiektów jest wręcz niemożliwe
Zwykle taki obszar „wymieszanych” obiektów
rozpoznawanych klas jest raczej niewielki
Komórki barwione
metodą Papanicolaou
Do skutecznego
rozpoznawania
dobrze jest
używać
przestrzeni
o dużej liczbie
wymiarów
4
2015-06-04
Reguła podejmowania decyzji w przypadku algorytmu NN zakłada,
że nieznany obiekt zostanie zaklasyfikowany do tej klasy, do której
należy obiekt ciągu uczącego, położony najbliżej niego
w przestrzeni cech
Decyzję
o przynależności
nowego
Przy
dobrze
dobranym zbiorze
cech
(nieznanego)
obiektu
jednej ztworzą
wcześniej
poszczególne
klasy do
obiektów
w
znanych
klas...zbiory.
przestrzeni
cech (zapamiętanych)
wyraźnie wyróżnialne
... po wyznaczeniu jego cech ...
można podjąć na
podstawie tożsamości
najbliższego znanego
obiektu
?
Typowanie najbliższych sąsiadów dla punktu
podlegającego rozpoznawaniu
Prosta metoda rozpoznawania na podstawie
„najbliższego sąsiada” może się okazać zawodna.
Uzupełnianie danych generowanych
w trakcie uczenia
O rozpoznaniu nie decyduje jeden
sąsiad (nawet najbliższy), ale pewna
zbiorowość
5
2015-06-04
Stabilniejsze rozpoznawanie zapewniają
metody odwołujące się do wielu sąsiadów.
Reguła -NN z sumą rang ( = 6).
Przykład użycia reguły -NN dla
=3
Poszerzenie liczby najbliższych sąsiadów
może prowadzić do zmiany decyzji!
Obiekt x zostanie przypisany do klasy „czerwonej”
Wybór wartości  musi być wynikiem kompromisu
Przykłady konkretnych wyników rozpoznawania w zależności od parametru 
(na osi poziomej) w zadaniu rozpoznawania fonemów – dla różnych metryk.
6
2015-06-04
Ten sam problem (optymalnej liczby sąsiadów)
dla zadań, w których mierzona jest dokładność
rozpoznawania, a nie błąd (jak poprzednio)
Punkty wzajemnie najbliższe
Wyznaczenie punktów wzajemnie najbliższych pozwala
wyodrębnić obszary, w których wiarygodność decyzji jest mała
Niech y będzie najbliższym sąsiadem punktu
x z dowolnej klasy innej niż klasa punktu x.
Miara pozycyjna punktu x jest równa liczbie
punktów należących do tej samej klasy, co
punkt x, których odległość od punktu y jest
mniejsza niż odległość pomiędzy x a y.
Zależność wiarygodności decyzji
od stopnia separowalności klas
Miara pozycyjna
punktu x będzie w tym
przypadku wynosiła 4,
ponieważ cztery
obiekty z klasy
„czerwonej” znajdują
się bliżej punktu y niż
punkt x.
Odległość punktów w przestrzeni
można bardzo różnie definiować
Problem miary odległości
7
2015-06-04
Miary odległości jako czynnik determinujący sposób
działania minimalnoodległościowych metod
rozpoznawania obrazów
Inną popularną miarą odległości jest miara Mahalanobisa:
Modelowa miara odległości to metryka Minkowskiego
Gdy Σ jest macierzą kowariancji zbiorowości wektorów X i Y , to miara ta
wyznacza odległości we współrzędnych uzyskanych metodą składowych
głównych. Nie jest to jednak jedyna możliwa interpretacja tej metryki.
W charakterze miary można użyć bardziej ogólnej formy kwadratowej z dowolną
dodatnio określoną macierzą Q ustaloną na podstawie kryteriów merytorycznych
specjalnie dla danego problemu:
Miara euklidesowa i metryka „miejska” (znana również jako „Manhattan” są
oczywiście specjalnymi przypadkami miary Minkowskiego odpowiednio dla
α = 2 i α = 1.
Odległość Mahalanobisa punktu zielonego i punktu czerwonego od grupy
punktów niebieskich będzie taka sama, podczas gdy odległość Euklidesa
tych punktów od średniego położenia grupy (czarny punkt),
bez uwzględnienia jej kształtu, będzie znacząco inna.
W niektórych zastosowaniach najkorzystniejsza jest miara Czebyszewa:
W innych przypadkach użyteczna okazuje się funkcja Canberra:
czy też odległość χ2:
gdzie sumi jest sumą wszystkich wartości cechy i ze zbioru trenującego, a sizex
i sizey są sumami wszystkich wartości wektorów x i y. Należy zapewnić aby
wartości sumi, sizex i sizey były różne od zera.
Różnego rodzaju czynniki korelacyjne są również pożądane jako
„półfabrykat” do stworzenia przydatnej miary odległości (która
jest jednak wtedy odwrotnie proporcjonalna do korelacji).
Najpopularniejsza jest „klasyczna” korelacja Pearsona:
W przypadku cech rozpoznawanych obiektów o charakterze danych
jakościowych (nominalnych) popularność zyskała miara VDM
(ang. Value Difference Metrice)
Odległość VDM pomiędzy dwoma N wymiarowymi wektorami x, y ze składowymi
(cechami) o wartościach dyskretnych, opisywanych nazwami symbolicznymi,
przyjmującymi wartości ze zbioru C dyskretnych identyfikatorów (nie koniecznie
uszeregowanych według jakiegoś porządku) wyraża się wzorem:
Z kolei funkcję korelacyjną rangową Kendalla definiuje poniższe wyrażenie:
We wzorze tym Ni (xj) oznacza liczbę wystąpień i-tej dyskretnej wartości cechy j-tej
w wektorze X, a N(xj) oznacza liczbę wystąpień j-tej cechy w wektorze X.
Analogiczne oznaczenia dotyczą także wektora Y.
8
2015-06-04
Miary odległości wektorów binarnych
Rozważane są odległości wektorów binarnych n - elementowych:
X , Y  0,1
n
Typowym narzędziem wykorzystywanym do mierzenia odległości
takich wektorów jest metryka Hamminga
n
d H    X i  Yi 
Uogólniona metryka Hamminga
Jeśli wektory cech opisujących obiekty mają postać atrybutów (nie
koniecznie numerycznych):
to uogólniona metryka Hamminga zlicza liczbę przypadków, kiedy te
same atrybuty w jednym obiekcie są inne niż w drugim obiekcie
i 1
Uogólniona metryka Hamminga
może być także zastosowana do
wektorów, w których atrybuty
mają wartości numeryczne
Metryka Hamminga nie zawsze
wystarcza, dlatego rozważane są także
inne miary odległości
Przy wyznaczaniu potrzebnych miar odległości przydatne będą pomocnicze wartości:
n
n
1, X i  Yi  1 b   ,   1, X i  1, Yi  0


i
i
a   i ,  i  
i 1
 0, otherwise.
i 1
0, otherwise.
n
n
1, X i  0, Yi  1 d   ,   1, X i  Yi  0


c   i ,  i  
i
i
i

1
0
,
otherwise
.
0, otherwise.
i 1

Łatwo zauważyć, że a, b, c i d są w istocie zliczeniami liczby zgodnych i niezgodnych
bitów w obu łańcuchach.
Na podstawie wartości a, b, c i d można
wyznaczyć miary odległości:
Sokal and Michener:
f 
ad
ad

abcd
n
Russel and Rao:
f 
a
a

abcd n
Jaccard and Needham:
f 
a
abc
Kulzinski:
f 
a
b  c 1
Rogers and Tanimoto:
f 
ad
a  d  2(b  c)
Yule:
f 
ad  bc
ad  bc
9
2015-06-04
Jeśli znamy definicję odległości punktu x od punktu y oznaczoną
jako d(x,y) i jeśli A i B są zwartymi zbiorami punktów, to
odległość punktu x od zbioru B dana jest wzorem:
W przypadku, kiedy zarówno
rozpoznawany obiekt,
jak i wzorzec, z którym się go
porównuje, nie są pojedynczymi
punktami w przestrzeni cech,
możliwe jest zastosowanie
(do oceny odległości zbioru od
zbioru) - metryki Hausdorffa.
d ( x, B)  min d ( x, y)
yB
Rozważmy dwa oznaczenia pomocnicze
d ( A, B)  max d ( x, B) oraz
xA
h( A, B)  max{d ( A, B), d ( B, A)}
Przykłady binarnych wektorów
używanych do testowania metryk
Formowanie binarnych wzorców klas,
pozwalających na rozpoznanie obrazów liter
(także zdeformowanych) za pomocą metod
minimalnoodległościowych
C
D
E
F
G
I
L
yB
Metryka Hausdorffa określona jest następującym wzorem:
Interpretacja geometryczna odległości Hausdorffa
A
d ( B, A)  max d ( y, A)
P
Obraz uzyskanej jakości rozpoznawania
R
10
2015-06-04
Prawidłową decyzję przy rozpoznawaniu można często
oprzeć na ocenie odległości od pojedynczego wzorca klasy,
a nie od wszystkich obiektów uczących.
Niekiedy można wymagać, żeby dla prawidłowego
rozpoznawania następowało pokrycie punktów
badanego obrazu oraz punktów uczących (wzorca)
Decyzja jest
tu oczywista!
W innych przypadkach przydatne jest stworzenie
wzorca wokół punktów uczących otoczeń kulistych,
których suma może być użyta w charakterze wzorca
Przykład rozpoznawania metodą wzorców i otoczeń kulistych
11