Dodatek A2. Klasyfikator K – najbli szych sąsiadów. ∫

Dodatek A2. Klasyfikator K – najbliższych sąsiadów.
Rozważmy pewien region R w przestrzeni cech, prawdopodobieństwo, że wektor cech
a należy do tego wynosi:
P = ∫ p(a)da ≈ p(a)V
(3.1)
R
gdzie: V – objętość regionu R
Przy założeniu, że mamy m próbek wektora cech i k z nich należy do regionu R,
prawdopodobieństwo P może być estymowane przez k/m, stąd:
pˆ (a ) =
k /m
V
(3.2)
Jedyną rzeczą o jakiej musimy tu zadecydować jest wielkość objętości V. Oczywistym jest, że
wielkość ta nie może być zbyt duża, gdyż doprowadzi to do „rozmycia” klasyfikacji, nie
może być również zbyt mała, gdyż to z kolei, spowoduje wzrost wariacji estymacji.
M
Przyjmijmy, że zbiór treningowy składa się ze wszystkich N = ∑ N i próbek wektorów cech,
i =1
gdzie Ni jest liczbą próbek należących do klasy C(i). Klasyfikacji sygnału a polega na
wyznaczeniu objętości Vm wokół a , zawierającej km próbek treningowych. Zbiór wybranych
km próbek, można podzielić na M podzbiorów, każdy o liczebności ki, zawierających próbki
należące do poszczególnych klas C(i). Estymator warunkowego prawdopodobieństwa można
zapisać w następujący sposób:
pˆ (a | C (i ) ) =
ki / N i
V
natomiast estymator prawdopodobieństwa P(C(i)) jest równy:
(3.3)
N
Pˆ (C ( i ) ) = i
N
(3.4)
Postępując według reguły Bayesa (dodatek A1) i wykorzystując równanie 3.4, regułę
decyzyjną możemy przedstawić w następujący sposób: wektor a jest przypisywany do klasy
C(i) jeśli:
Nj
Ni
pˆ (a | C ( j ) ) dla wszystkich j
pˆ (a | C ( i ) ) >
N
N
(3.5)
k i > k j dla wszystkich j
(3.6)
k i = max{k1 , k 2 ,..., k M } => a ∈ C (i )
(3.7)
co można zapisać:
lub
Reguła ta nie wymaga znajomości własności statystycznych cech i jest relatywnie łatwa w
użyciu. Rys A3.1 przedstawia zasadę działania klasyfikatora k-NN w przestrzeni
dwuwymiarowej. Klasyfikowany sygnał jest reprezentowany przez wektor a, i w zależności
od wielkości otoczenia jest klasyfikowany do klasy C(1) lub C(2).
Rys. A3.1 Zasada działania klasyfikatora k-NN
Błąd klasyfikacji przy użyciu metody k-NN (k-Nearest Neighbor) εNN, jest związany z
błędem klasyfikatora Bayesa εB przez nierówność:
ε NN ≤ 2ε B (1 − ε B )
Jeśli założymy εB<<1 to możemy określić górną granicę błędu klasyfikatora k-NN, która jest
w przybliżeniu dwa razy większa niż w przypadku klasyfikatora Bayesa.