5. Zagadnienia klasyfikacji

Andrzej Pacut
SNUP
sem. letni 2003/2004
5. Zagadnienia klasyfikacji
5-1 Obiekty i obrazy
5-2 Cechy
5-3 Klasyfikacja obrazów
5-4 Funkcje decyzyjne
5-5 *Klasyfikacja obiektów a klasyfikacja obrazów
5-6 *Problem niejednoznaczności obserwacji
5-7 *Niejednoznaczne dziedziczenie klas
5-8 *Dziedziczenie probabilistyczne
5-9 Klasyfikacja binarna a funkcje logiczne
5-10 Klasyfikacja liniowa
5-11 Najprostsze klasyfikacje nieliniowe
5-12 Liczba klasyfikacji liniowych N obrazów w Rn
5-13 Liczba klasyfikacji liniowych - przykład
19 maja 2004
5. Zagadnienia klasyfikacji
5-0
Andrzej Pacut
SNUP
sem. letni 2003/2004
5-14 Liczba binarnych klasyfikacji liniowych
5-15 Klasyfikatory liniowe
5-16 Liniowe klasyfikatory binarne
5-17 *Kontekst probabilistyczny
5-18 Budowa klasyfikatorów — dostępna informacja
19 maja 2004
5. Zagadnienia klasyfikacji
5-0
Andrzej Pacut
SNUP
sem. letni 2003/2004
Obiekty i obrazy
• zbiór obiektów
S
• funkcja obserwacji
• zbiór obrazów U
ϕ : S 7→ U
• zwykle U ⊂ Rn
n – liczba czujników, liczba punktów obrazu
• obraz u = [u1 · · · un ]T ∈ U
• obraz binarny, obraz czarno-biały
ui ∈ {L, H}; (zwykle {0, 1})
19 maja 2004
5. Zagadnienia klasyfikacji
5-1
Andrzej Pacut
SNUP
sem. letni 2003/2004
Cechy
• zbiór wektorów cech
U ∗ ⊂ Rn∗
• funkcja cech ϕ∗ : U 7→ U ∗
• zmodyfikowana funkcja obserwacji ϕ∗ ϕ : S 7→ U ∗
19 maja 2004
5. Zagadnienia klasyfikacji
5-2
Andrzej Pacut
SNUP
sem. letni 2003/2004
Klasyfikacja obrazów
• funkcja klasyfikująca
ℓ(u) = k ⇐⇒ u ∈ Uk
• funkcje przynależności
do klasy Uk , k = 1, . . . , c
χk (u) = 1 ⇐⇒ u ∈ Uk
χk (u) = 0 ⇐⇒ u ∈
/ Uk
• zbiór decyzyjny
P
D = k ∂ Uk
19 maja 2004
5. Zagadnienia klasyfikacji
5-3
Andrzej Pacut
SNUP
sem. letni 2003/2004
Funkcje decyzyjne
• funkcja klasyfikująca ℓ
• funkcje decyzyjne
ℓ(u) = k ⇐⇒ dk (u) > dj (u) dla j 6= k
• funkcje przynależności χk są funkcjami decyzyjnymi
19 maja 2004
5. Zagadnienia klasyfikacji
5-4
Andrzej Pacut
sem. letni 2003/2004
SNUP
*Klasyfikacja obiektów a klasyfikacja obrazów
• klasy obiektów Si
• dziedziczone klasy obrazów Ui = ϕ(Si )
• dziedziczenie jednoznaczne Ui ∩ Uj = ∅ for i 6= j
• klasyfikacja obrazów a klasyfikacja obiektów:
19 maja 2004
u ∈ Uk
5. Zagadnienia klasyfikacji
⇐⇒
s ∈ Sk
5-5
Andrzej Pacut
SNUP
sem. letni 2003/2004
*Problem niejednoznaczności obserwacji
• obraz u
• funkcja obserwacji może nie być odwracalna: niejednoznaczności obserwacji
• przeciwobraz ϕ−1 (u) obrazu u: zbiór obiektów mających ten sam obraz u
s ∈ ϕ−1 (u) ⇐⇒ ϕ(s) = u
• klasy dziedziczone rozłączne: obiekty mające ten sam obraz należą do tej samej
klasy
• klasy dziedziczone mogą nie być rozłączne
19 maja 2004
5. Zagadnienia klasyfikacji
5-6
Andrzej Pacut
SNUP
sem. letni 2003/2004
*Niejednoznaczne dziedziczenie klas
• niejednoznaczność, jeżeli Ui ∩ Uj 6= ∅
• χ przyjmuje wartości z (niezerowych) wierzchołków kostki jednostkowej
19 maja 2004
5. Zagadnienia klasyfikacji
5-7
Andrzej Pacut
SNUP
sem. letni 2003/2004
*Dziedziczenie probabilistyczne
• rozkład obiektów P
• funkcja przynależności w U:
χk (u) = P{s ∈ Sk }
• χ przyjmuje wartości z kostki jednostkowej
19 maja 2004
5. Zagadnienia klasyfikacji
5-8
Andrzej Pacut
sem. letni 2003/2004
SNUP
Klasyfikacja binarna a funkcje logiczne
• N =4
(4 obrazy)
• U ⊂ R2
(obrazy złożone z 2 punktów)
• c=2
(klasyfikacje binarne)
6−
e
+
u
6+
u
+
u
+
6
u
−
e
+
6
u
−
e
−
e
−
e-
−
e
+
u-
+
u
−
e-
−
e
+
u-
u1 AND u2
19 maja 2004
u1 OR u2
NOT u1
5. Zagadnienia klasyfikacji
u1 XOR u2
5-9
Andrzej Pacut
SNUP
sem. letni 2003/2004
Klasyfikacja liniowa
• hiperpłaszczyzna H(w, b) = {u ∈ Rn : wT u + b = 0}
w – wektor normalny, b — przesunięcie
• podprzestrzeń dodatnia U+ (w, b) = {u ∈ Rn : wT u + b > 0} względem
hiperpłaszczyzny H(w, b)
podprzestrzeń ujemna U− (w, b)
• klasyfikacja liniowa: dowolne dwie klasy można rozdzielić hiperpłaszczyzną
19 maja 2004
5. Zagadnienia klasyfikacji
5-10
Andrzej Pacut
sem. letni 2003/2004
SNUP
Najprostsze klasyfikacje nieliniowe
3 obrazy w R, 2 klasy
+ − +
u
e
u-
− + −
e
u
e-
4 obrazy binarne w R2 , 2 klasy
19 maja 2004
6+
u
−
e
−
6
e
+
u
−
e
+
u-
+
u
−
e-
5. Zagadnienia klasyfikacji
5-11
Andrzej Pacut
sem. letni 2003/2004
SNUP
Liczba klasyfikacji liniowych N obrazów w Rn
• liczba klasyfikacji liniowych ≤ L(N, n) (< dla szczególnych usytuowań obrazów)

2N
for N ≤ n + 1 (“mało obrazów”)
L(N, n) =
N −1
2 Pn
for N ≥ n + 1
i=0
i
• liczba klasyfikacji liniowych / liczba klasyfikacji binarnych ≤

N
1
≤1
dla n+1
L(N, n)
r(N, n) =
=
P
N −1
21−N n
B(N )
dla N ≥ 1
i=0
i
n+1
r(N,n)
1
64
0.9
4
256
16
n=1
0.8
0.7
0.6
n = 1, 4, 16, 64, 256
0.5
0.4
0.3
0.2
polowa klasyfikacji
liniowa
0.1
0
0
1
2
3
4
N / (n+1)
• dla co najwyżej N0 = n + 1 obrazów w Rn wszystkie klasyfikacje mogą być liniowe
• dla Nv = 2(n + 1) obrazów w Rn co najwyżej połowa klasyfikacji jest liniowa
Nv : pojemność klasyfikacji liniowych w Rn
19 maja 2004
5. Zagadnienia klasyfikacji
5-12
Andrzej Pacut
sem. letni 2003/2004
SNUP
Liczba klasyfikacji liniowych - przykład
N =
2
N =
3
N =
4
N =
5
N =
6
N =
7
N =
8
wszystkie liniowe
pojemność
••
•••
• • ••
••••
•
••••
••
••••
•••
••••
• • ••
B(N )
4
8
16
32
64
128
256
R1
*4
6
•8
10
12
14
16
2
4
R2
4
*8
14
22
•32
44
58
3
6
R3
4
8
*16
30
52
84
•128
4
8
R4
4
8
16
*32
62
114
198
5
10
R5
4
8
16
32
*64
126
240
6
12
lewa + górna lewa
L(N, n) = L(N − 1, n) + L(N − 1, n − 1)
19 maja 2004
5. Zagadnienia klasyfikacji
5-13
Andrzej Pacut
sem. letni 2003/2004
SNUP
Liczba binarnych klasyfikacji liniowych
19 maja 2004
liczba
max. liczba
liczba
liczba
ułamek
punktów
obrazów
klasyfikacji
klasyfikacji
klasyfikacji
obrazu
binarnych
binarnych
liniowych
liniowych
n
N = 2n
B(N ) = 2N
L(N, n)
r = L/B
2
4
16
14
0.875
3
8
256
128
0.500
4
16
65536
3882
0.059
5
32
4.3 109
412736
9.6 10-5
8
256
1077
1015
10-63
16
65536
1019728
1064
10-19664
5. Zagadnienia klasyfikacji
5-14
Andrzej Pacut
SNUP
sem. letni 2003/2004
Klasyfikatory liniowe
• afiniczne funkcje decyzyjne dk (u) = bk + wkT u, k = 1, . . . , c


b1 + w1T u


..


d(u) = 
 = b + W u = Wu
.


T
bc + wc u
• afiniczne funkcje decyzyjne ⇒ klasy liniowo rozdzielne
klasy liniowo rozdzielne ⇒ istnieją afiniczne funkcje decyzyjne
• funkcje decyzyjne są porównywane parami (liczbę wierszy W można zmniejszyć o
jeden)
bi + wiT u > bj + wjT u
⇔
b + wT u > 0
gdzie w = wi − wj , b = bi − bj
19 maja 2004
5. Zagadnienia klasyfikacji
5-15
Andrzej Pacut
sem. letni 2003/2004
SNUP
Liniowe klasyfikatory binarne

T
b+ + w+
u


• binarny klasyfikator liniowy d(u) = 
T
b− + w− u

−1
ℓ(u) =
1
jeśli wT u + b < 0
jeśli wT u + b > 0
gdzie w = w+ − w− , b = b+ − b−
• zmodyfikowana funkcja decyzyjna – porównywana z zerem
d(u) = b + wT u
• hiperpłaszczyzna klasyfikująca H(w, b) = {u : d(u) = 0}
19 maja 2004
5. Zagadnienia klasyfikacji
5-16
Andrzej Pacut
SNUP
sem. letni 2003/2004
*Kontekst probabilistyczny
• jeśli ϕ(Si ) ∩ ϕ(Sj ) 6= ∅ to klasyfikacja nie jest jednoznaczna.
• dodatkowo znana miara probabilistyczne P na S
– rozkład obrazów w ramach każdej klasy (ciągły)
fu | k (z) dz = P(z ≤ u ≤ z + dz | s ∈ Sk )
– rozkład a priori klas {πk , k = 1, . . . , c}, gdzie πk = P{s ∈ Sk }
• znany obraz u; rozkład a posteriori klas
πk | u = P{s ∈ Sk | u}
(reguła Bayesa) =
πk fu | k (u)
πk fu | k (u)
= Pc
fu (u)
i=1 πi fu | i (u)
• klasyfikacja w zbiorze obrazów
– funkcja decyzyjna: dk (u) = πk | u klasyfikator bayesowski
– równoważna f.d: dk (u) = πk fu | k (u)
• dla dyskretnego rozkładu obrazów: pj | k = P(u = j | s ∈ Sk )
πk pj | k
πk p j | k
= Pc
πk | j =
pj
i=1 πi pj | i
19 maja 2004
5. Zagadnienia klasyfikacji
5-17
Andrzej Pacut
sem. letni 2003/2004
SNUP
Budowa klasyfikatorów — dostępna
informacja
19 maja 2004
• liczba klas c znana
• liczba klas c znana lub nie
• przykład uczący (ui , ℓ(ui ))
• przykład uczący ui (klasa nieznana)
• zbiór uczący (zbiór trenujący)
UL = ui , ℓ(ui ) , i = 1, . . . , N
• zbiór uczący
UL = {ui , i = 1, . . . , N }
5. Zagadnienia klasyfikacji
5-18