Przetwarzanie i Kompresja Obrazów. Filtracja

Przetwarzanie i Kompresja Obrazów. Filtracja
Aleksander Denisiuk ([email protected])
Polsko-Japońska Akademia Technik Komputerowych
Wydział Informatyki w Gdańsku
ul. Brzegi 55, 80-045 Gdańsk
17 kwietnia 2016
1 / 33
Filtracja
Modele filtracji
Wygładzanie
obrazu
Najnowsza wersja tego dokumentu dostępna jest pod adresem
http://users.pja.edu.pl/~denisjuk/
Wzmocnienie
obrazu
Odzyskanie
obrazu
2 / 33
Modele filtracji
Czarna skrzynka
Filtry liniowe
Filtry splotowe
Wygładzanie
obrazu
Wzmocnienie
obrazu
Odzyskanie
obrazu
Modele filtracji
3 / 33
Model czarnej skrzynki
Modele filtracji
Czarna skrzynka
Filtry liniowe
Filtry splotowe
Wygładzanie
obrazu
Wzmocnienie
obrazu
Odzyskanie
obrazu
f (x, y) 7→ g(x, y) = Pf (x, y)
Typowe zastosowania:
f (x,y)
/P
g(x,y)
/
odszumowanie
wygładzanie
wyostrzanie
uwypuklenie detali
krawędziowanie
filtry artystyczne
4 / 33
Filtry liniowe
Modele filtracji
Czarna skrzynka
Filtry liniowe
Filtry splotowe
Filtr P nazywa się liniowym, jeżeli
P(αf1 + βf2 ) = αP(f1 ) + βP(f2 )
Inne filtry nazywają się nieliniowymi
Wygładzanie
obrazu
Wzmocnienie
obrazu
Odzyskanie
obrazu
5 / 33
Filtry splotowe
Modele filtracji
Czarna skrzynka
Filtry liniowe
Filtry splotowe
Wygładzanie
obrazu
Wzmocnienie
obrazu
Filtr P nazywa się translacyjnie-niezmienniczym, jeżeli
P f (x − u, y − v) = Pf (x − u, y − v)
Filtr liniowy i translacyjnie-niezmienniczy nazywa się
splotowym
Odzyskanie
obrazu
Pf (x, y) = f ∗h(x, y) =
R∞ R∞
f (x−u, y−v)h(u, v) dudv,
−∞ −∞
gdzie h(u, v) jest jądrem splotowym (funkcją odpowiedzi
impulsowej)
g = f ∗ h ⇐⇒ G = F · H, gdzie G, F i H są
transformacjami Fouriera odpowiednio g, f oraz h,
H(u, v) nazywa się funkcją transmisji
g(i, j) = f (i, j) ∗ h(i, j) =
m−1
P
P n−1
h(k, l)f (k + i, l + j)
k=0 l=0
h jest zazwyczaj symetryczną macierzą
6 / 33
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Wygładzanie obrazu
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
7 / 33
Zagadnienie
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Odzyskanie
obrazu
liniowe
uśrednienie z sąsiedztwem
rozmycie Gaussa
nieliniowe
Filtr
Butterwortha
Wzmocnienie
obrazu
Redukcja szumu
Uśrednienie
Metody przestrzenne
uśrednienie poprzez mediany
Metody widmowe
filtry dolnoprzepustowe
8 / 33
Uśrednienie z sąsiedztwem
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Wzmocnienie
obrazu
Wybiera się okno 3 × 3 albo 5 × 5, zawierające dany piksel

0
1
4
0
1
4
1
8
0
4-sąsiednie średnie:  41
0
0
8-sąsiednie średnie:
0

1
 19
9
1
9

1
9
1
9
1
9
1
9
1
9
1
9

1
 18
8
1
8

1
8

1
4
1
8
1
8
1
8

— także 8-sąsiednie średnie
Odzyskanie
obrazu
9 / 33
Progowanie
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Wybiera się próg τ > 0
Oblicza się średnią: a
Jeżeli stara wartość różni się od średniej mniej, niż próg,
zostawia się starą wartość
dla 4-sąsiednich średnich:
a=
1
4
f (x−1, y)+f (x, y−1)+f (x, y+1)+f (x+1, y)
g(x, y) =
(
a,
|f (x, y) − a| > τ,
f (x, y), |f (x, y) − a| ¬ τ.
Wzmocnienie
obrazu
Odzyskanie
obrazu
10 / 33
Rozmycie Gaussa
Modele filtracji
Wygładzanie
obrazu
Jądro splotowe Gaussa h(x, y) =
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
1
2πσ 2 e
−x
2 +y 2
2σ 2
jest rozdzielczym
jest symetrycznym względem rotacji
ma takie same wygładzanie w każdym kierunku
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
11 / 33
√
Okno 7 × 7 dla σ = 2
Modele filtracji

Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
1
4π
0.011

0.039

0.082

0.105

0.082


0.039
0.011
0.039
0.135
0.287
0.368
0.287
0.135
0.039
0.082
0.287
0.606
0.779
0.606
0.287
0.082
0.105
0.368
0.779
1.000
0.779
0.368
0.105
0.082
0.287
0.606
0.779
0.606
0.287
0.082
0.039
0.135
0.287
0.368
0.287
0.135
0.039

0.011

0.039

0.082

0.105

0.082


0.039
0.011
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
12 / 33
√
Okno 7 × 7 dla σ = 2, liczby całkowite
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny

1

4

7

1 
1115 10
7


4
1
4
12
26
33
26
12
4
7
26
55
71
55
26
7
10
33
71
91
71
33
10
7
26
55
71
55
26
7

4 1

12 4 

26 7 

33 10

26 7 


12 4 
4 1
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
13 / 33
Uśrednienie medianami
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Wybieramy piksele z sąsiedztwa
Dany piksel jest zastąpiony przez medianę
uporządkować wartości rosnąco
wybrać tę, która będzie pośrodku
Okno 3 × 3 albo 5 × 5
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
14 / 33
Przykład
Modele filtracji

Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
200
202


205

205
Obraz: 
217


212

210
208
201
203
210
210
214
214
212
208

202 202 203 202 200 198
205 204 204 202 200 197


211 212 210 209 208 205

208 212 215 213 218 212

219 210 211 220 218 208

218 220 220 219 218 218


213 215 216 216 210 212
210 211 212 214 210 210


203 205 204


3 × 3 sąsiedztwo 210 211 212
210 208 212
Wartości uporządkowane:
203 204 205 208 210 211 212 212 213
Mediana (i nowa wartość): 210
15 / 33
Mediany z wagami
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Wzmocnienie
obrazu
Powiększamy krotność pikseli
Przykładowo:
dla okna 3 × 3


f (i − 1, j + 1) f (i, j + 1) f (i + 1, j + 1)


f (i, j)
f (i + 1, j) 
 f (i − 1, j)
f (i − 1, j − 1) f (i, j − 1) f (i + 1, j − 1)


1 2 1


możliwe wagi są: 2 3 2
1 2 1
w poprzednim przykładzie:
Odzyskanie
obrazu
wartości uporządkowane:
203 204 205 205 208 210 210 211
211 211 212 212 212 213 213
mediana (i nowa wartość): 211
16 / 33
Idealny dolnoprzepustowy filtr
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
(
1, D(u, v) < D0 ,
Funkcja transmisji H(u, v) =
gdzie D0
0, D(u, v) ­ D0 ,
√
to jest częstotliwość graniczna, D(u, v) = u2 + v 2
skok w domenie widmowej powoduje artefakty
w domenie fizycznej (rozmazanie, pierścienie, etc)
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
17 / 33
Trapezoidalny dolnoprzepustowy filtr
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
H(u, v) =



1,
D(u,v)−D1
 D0 −D1

0,
gdzie D0 < D1 .
D(u, v) ¬ D0 ,
D0 < D(u, v) < D1 ,
D(u, v) ­ D1 ,
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
18 / 33
Filtr Butterwortha
Modele filtracji
Wygładzanie
obrazu
Zagadnienie
1
H(u, v) =
gdzie n jest rządem filtru, D0 jest częstotliwością graniczną.
1+
h
D(u,v)
D0
in ,
Uśrednienie
z sąsiedztwem
Rozmycie
Gaussa
Uśrednienie
medianami
Idealny dolnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Wzmocnienie
obrazu
Odzyskanie
obrazu
19 / 33
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
Wzmocnienie obrazu
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
20 / 33
Zagadnienie
Modele filtracji
Wygładzanie
obrazu
Wyostrzanie zdjęcia
Wzmocnienie fragmentu, np. krawędzi
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
21 / 33
Gradient
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Niech dana będzie funkcja f (x, y)!
Wektor gradient ∇f (x, y) =
∂f
∂x
∂f
∂y
pokazuje kierunek
i stopień wzrastania funkcji
Długość gradientu można obliczyć według trzech
podstawowch norm
euklidesowa: k∇f k2 =
r
∂f 2
∂x
+
∂f ℓ1 : k∇f k1 = ∂f
∂y ∂x + n
o
∂f ℓ∞ : k∇f k∞ = max ∂f
∂x , ∂y ∂f 2
∂y
Odzyskanie
obrazu
22 / 33
Obraz gradientowy
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Obraz zastąpiony przez gradient w każdym punkcie:
g(x, y) = ∇f (x, y)
Wyostrzenie
( granic:
bh ,
jeżeli k∇f (x, y)k > τ,
g(x, y) =
f (x, y) inaczej
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
τ jest wartością graniczną
bh jest wartością bliską białego koloru
Tylko granice: g(x, y) =
(
bh ,
bl
jeżeli k∇f (x, y)k > τ,
inaczej
τ jest wartością graniczną
bh jest wartością bliską białego koloru
bl jest wartością bliską czarnego koloru, bl < bh
23 / 33
Dyskretyzacja gradientu
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
∂f (x,y)
∂f (x,y)
≈
f
(x
+
1,
y)
−
f
(x,
y),
≈
∂x
∂y
∂f (x,y)
1
≈
∂x
2 (f (x + 1, y) − f (x − 1, y)),
∂f (x,y)
1
≈
∂y
2 (f (x, y + 1) − f (x, y − 1))
∂f
∂f
=
h
∗
f
,
x
∂x
∂y = hy ∗ f , gdzie
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
1
hx = 1 −1 , hy =
−1
albo hx =
1
2
f (x, y + 1) − f (x, y)
!


1
 
1 0 −1 , hy = 12  0 
−1
Filtr
Butterwortha
Odzyskanie
obrazu
24 / 33
Krzyż Robertsa
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
!
!
+1 0
0 +1
, hy =
0 −1
−1 0
k∇f (i, j)k1 = |f (i+1, j +1)−f (i, j)|+|f (i, j +1)−f (i+1, j)|
hx =
Gradient
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
25 / 33
Operator Prewitta
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient

−1

hx = 61 −1
−1
Wykorzystanie



0 +1
+1 +1 +1



0 +1, hy = 16  0
0
0
0 +1
−1 −1 −1
normy euklidesowej k∇f k2
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
26 / 33
Operator Sobela
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient

−1

hx = 81 −2
−1
Wykorzystanie



0 +1
+1 +2 +1



0 +2, hy = 18  0
0
0
0 +1
−1 −2 −1
normy euklidesowej k∇f k2
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
27 / 33
Operator Laplace’a
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
∇2
∂2f
∂x2
∂2f
∂y 2
=
+
Bezpośrednio
pokazuje
prędkość zmiany gradientu


0 1 0


∇2 1 −4 1
0 1 0
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
28 / 33
Idealny górnoprzepustowy filtr
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
(
0, D(u, v) < D0 ,
Funkcja transmisji H(u, v) =
gdzie D0
1, D(u, v) ­ D0 ,
√
to jest częstotliwość graniczna, D(u, v) = u2 + v 2
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
skok w domenie widmowej powoduje artefakty
w domenie fizycznej (rozmazanie, pierścienie, etc)
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
29 / 33
Trapezoidalny górnoprzepustowy filtr
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Zagadnienie
Gradient
Krzyż Robertsa
H(u, v) =



0,
D(u,v)−D1
 D0 −D1

1,
gdzie D1 < D0 .
D(u, v) ¬ D1 ,
D1 < D(u, v) < D0 ,
D(u, v) ­ D0 ,
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
30 / 33
Filtr Butterwortha (górnoprzepustowy)
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
1
H(u, v) =
gdzie n jest rządem filtru, D0 jest częstotliwością graniczną.
1+
,
n
D0
D(u,v)
Zagadnienie
Gradient
Krzyż Robertsa
Operator
Prewitta
Operator Sobela
Operator
Laplace’a
Idealny górnoprzepustowy
filtr
Filtr
trapezoidalny
Filtr
Butterwortha
Odzyskanie
obrazu
31 / 33
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Odzyskanie
obrazu
Degradacja
obrazu
Odzyskanie obrazu
32 / 33
Degradacja obrazu
Modele filtracji
Wygładzanie
obrazu
Wzmocnienie
obrazu
Podobno do filtracji: f (x, y) 7→ g(x, y) = Pf (x, y)
Szum: f (x, y) 7→ g(x, y) = Pf (x, y) + n(x, y)
Odzyskanie
obrazu
Degradacja
obrazu
(z−µ)2
−
2σ 2
Gasussa: pG (z) = σ√12π e
dychotomiczny
(telegraficzny):



pa z = a
pI (z) = pb z = b


0
w innych przypadkach
Odzyskanie obrazu: odwrócenie przekształcenia degradacji
33 / 33