POBR Kolos 2 + kilka pyt. z egzaminu 1. Podstawowe

POBR
Kolos 2 + kilka pyt. z egzaminu
1. Podstawowe metody akwizycji obrazów.
Akwizycja obrazów cyfrowych:
● kiedyś - lampa analizująca: przetwornik optoelektroniczny
zapewniający dyskretyzację dziedziny w jednym wymiarze na
linie obrazu TV, które muszą zostać dale spróbkowane, a próbki
podane kwantyzacji za pomocą przetworników AC.
● układy CCD/CMOS, automatyczna dyskretyzacja dziedziny,
kwantyzacja za pomocą przetworników AC; w praktyce problem
może stanowić rzeczywista rozdzielczość przetwornika.
● skaner: bardzo wysoka rozdzielczość, możliwość wprowadzania
przygotowanych wcześniej obrazów, długi czas przetwarzania (to w
sumie też przetwornik CCD/CMOS!)
● manualne tworzenie obrazu przy pomocy programu graficznego:
wysoka pracochłonność, uproszczenie modelowanego świata
Problemy przy akwizycji obrazów cyfrowych:
● rzeczywista rozdzielczość przetwornika,
● specyficzna akwizycja obrazów barwnych,
● przeplot stosowany w wyświetlanym obrazie telewizyjnym
(interlace),
● stosowanie filtrów Bayera.
2. Operatory używane do wyostrzania obrazów w cyfrowym przetwarzaniu
obrazów.
Do wyostrzania używa się operatora lokalnego gradientu (I pochodna), bądź
laplasjanu (II pochodna). Częściej stosowany jest algorytm z laplasjanem. Do
wyostrzania można również użyć operatora filtracji górnoprzepustowej, bądź
algorytmu UnSharp Mask (USM) (
to obraz oryginalny, a
, gdzie
to obraz rozmyty filtracją dolnoprzepustową).
Tu można dodać obrazek jak to ujemny laplasjan na krawędzi ją wzmacnia ;-)
3. Wyjaśnij podobieństwa i różnice pomiędzy transformatą Fouriera,
dyskretną transformatą Fouriera, szybką transformatą Fouriera.
● DFT i FFT są dyskretną wersją ciągłej transformaty Fouriera
● FFT działa w czasie n log n , DFT działa w czasie n^2
●
●
●
DFT i FFT mają własność rozdzielności - dwuwymiarową transformatę
można policzyć za pomocą dwóch jednowymiarowych.
FFT działa na obrazie, którego rozmiary są potęgą 2 - DFT działa na
każdym obrazie
FFT jest zoptymalizowaną wersją DFT (z ograniczeniem dot. wielkości
obrazka).
4. Opisz i wyjaśnij sposób obliczenia transformaty falkowej dla obrazów
cyfrowych.
Notatki z wykładu:
● (Wavelet transform) Stosowana np. w formacie JPG2000 (.jp2).
● Kodowanie subpasmowe z hierarchicznym podziałem widma.
● Nie ma wzoru dającego dyskretną transformatę falkową. Przybliża się
trasformaty falkowe do funkcji dyskretnych.
Kodowanie subpasmowe:
Stosuje się 1-wymiarowe filtry konwolucyjne oraz decymatory:
● H0 - Filtr dolnoprzepustowy na wyjściu otrzymujemy uśrednionąwygładzoną informację o sygnale wejściowym,
● H1 - Filtr górno przepustowy na wyjściu otrzymujemy szczegóły
sygnału wejściowego.
● decymator wyrzuca co drugi element w kolumnie, bądź wierszu (w
zależności od etapu).
Mamy obraz NxN.
Poddajemy go ww filtrom oraz operacjom decymacji w ten sposób otrzymujemy
odpowiednio blok:
a) Gałąź H0 + decymator = uśredniony/wygładzony obraz N/2 x N
b) Gałąź H1 + decymator = krawędzie pionowe z obrazu o rozmiarze N/2 x N
Hierarchiczny podział widma:
Każdą gałąź poddajemy znów w ten sam sposób rozbijając na coraz mniejsze
obrazy. Przykładowo obrazy otrzymane na wyjściu filtracji dwóch bloków, będą
wyglądały następująco:
● 2x H0 da nam ten sam obraz wejściowy, ale o rozmiarze N/2 x N/2
● H0H1 da nam poziome krawędzie obrazu N/2 x N/2
● H1H0 da nam pionowe krawedzie obrazu N/2 x N/2
● 2x H1 da nam szczegóły na przecięciu krawędzi pionowych i poziomych
obrazu N/2 x N/2
Obrazy zapisuje się w postaci obrazka N X N mającego wydzielone części wg
stopinia podziału widma. Dla przykładowych 2 bloków otrzymamy 4 ćwiartki:
H0H0 H1H0
H0H1 H1H1
Jeśli damy 4 bloki, to proszę sobie wyobrazić, że H0H0 traktujemy jako obraz
wejściowy i tam znów będą 4 ćwiartki.
Z tych informacji jesteśmy w stanie odtworzyć (skomponować obraz pierwotny).
5. Kodowanie entropijne i jego zastosowanie w cyfrowym przetwarzaniu
obrazów.
Rodzaje:
A. optymalne kodowanie binarne - algorytm Huffmana
B. kodowanie arytmetyczne: model abstrakcyjny i całkowitoliczbowy
C. kodowanie słownikowe LZ77, LZ78, LZW
Entropia jest to ilość informacji zawarta w źródle danych. Entropia jest podstawą
niektórych algorytmów kompresji.
Algorytmy entropijne są to algorytmy bazujące na entropi np. algorytm Huffmana
bazuje na entropi w celu wyznaczenia słownika.
Efektywność kodu określa przeciętną ilość bitów na kodowane słowo lub piksel.
Efektywność kodu przydaje się do weryfikacji algorytmów, z jej pomocą można
zweryfikować czy dane kodowanie jest optymalne.
Entropia określa wartość średnią ilości informacji niezbędnej do
zakodowania(zapoamiętania). Entropia stanowi dolne ograniczenie efektywniści
kodu możliwej dla danego kodowania zbioru wartości
6. Co ma wspólnego splot funkcji z transformatą Fourier'a, i co w praktyce
z tego wynika.
Mając transformatę funkcji splotu można wykonać splot w
zamiast
operacji:
1.
2.
Gdzie F jest widmem filtra.
3.
Przydatne przy filtrowaniu w przypadku dużych operatorów lokalnych, gdy bardziej
opłaca się policzyć transformatę, wymnożyć i wykonać transformatę odwrotną niż
robić splot z operatorem lokalnym.
7. Znieksztalcenia radiometryczne i jak je naprawiać.
Zniekształcenia radiometryczne mogą być spowodowane nierównomiernością
oświetlenia i błędami konwersji oświetlenia.
Zniekształcenia radiometryczne można podzielić na sumacyjne oraz iloczynowe i są
one związane ze sposobem oddziaływania czynnika wywołującego zakłócenie na
obraz.
Przy zniekształceniach sumacyjnych wartości jasności pikseli macierzy obrazu
zostają zwiększone o wartość czynnika fałszującego. Przyczyną zniekształceń
sumacyjnych jest prąd ciemny.
Przy zniekształceniach iloczynowych wartość jasności pikseli macierzy obrazu
zależy od iloczynu wartości jasności obrazu i lokalnej wartości parametru
fałszującego, którego nierównomierna wartość na całej powierzchni obrazu jest
przyczyną zniekształcenia, np. nierównomierna czułość przetwornika
optoelektrycznego.
Do korekcji takich zniekształceń wyznacza się macierz współczynników
korekcyjnych, które w korekcji sumacyjnej odejmuje się od obrazu jasności, a przy
korekcji iloczynowej otrzymany obraz jasności mnoży się przez macierz
współczynników korekcyjnych, tak, aby wyrównać poziomy jasności w stosunku do
całego obrazu.
8. Opisz metode kompresji JPEG.
- Konwersja na YUV
- Obliczenie DCT dla każdej barwy oddzielnie w kwadratowych blokach
- Kwantyzacja współczynników DCT
- Zakodowanie uzyskanych współczynników algorytmem RLE
Tu było jeszcze takie śmieszne ułożenie współczynników DCT, żeby było łatwiej
kompresować.
DCT - Discrete Cosine Transform
9. Wymień i opisz podstawowe kroki typowo wykonywane w algorytmach
rozpoznawania obrazu (przy założeniu, że na wejściu mamy obraz
wysokiej jakości).
1. segmentacja: podział pikseli na piksele tła i należące do obiektu
2. analiza cech ( indeksacja obiektów ): przypisanie do wszystkich pikseli
identyfikatorów, wskazujących do którego obiektu piksel należy. Dzięki
indeksacji możliwe są wszystkie inne pomiary na indywidualnych
obiektach
3. identyfikacja: rozpoznawanie obiektów porównując je do szukanego
wzorca
10. Wyjaśnij od strony teoretycznej i praktycznej na czym polega operacja
ustawiania balansu bieli oraz jakie są jej konsekwencje przy akwizycji
obrazów.
Proces kompensacji barw obrazu zarejestrowanego przez matrycę dla temperatury
barwowej oświetlenia, jakie towarzyszyło wykonaniu fotografii.
Automatyczny balans bieli oznacza, iż aparat sam ustawi barwy. Znajduje on
najjaśniejszy punkt na zdjęciu, i zakłada, iż powinien mieć on kolor biały. Do niego
porównuje wszystkie elementy kadru, ponieważ nie wie on jak wygląda kolor biały,
ale wie jak wygląda kolor czerwony i niebieski, względem koloru białego.
Gdy najjaśniejszy punkt zdjęcia nie jest biały, automatyka nie pomoże. W takim
układzie musimy ręcznie pokazać jak wygląda kolor biały i aparat względem tego
koloru będzie reprodukował resztę barw. Im lepszy biały kolor pokażemy, tym
wierniejsze barwy na zdjęciu.
W praktyce wykorzystuje się np. kartkę białego papieru jako wzorzec bieli, co daje
pozytywny efekt bez względu na światło zastane. W efekcie urządzenie przyjmując
za źródło biel kartki dostosuje pozostałą paletę barw do zastanego wzorca,
korygując inne barwy.
11. Opisz i wyjaśnij działania podstawowych algorytmów redukcji szumu
stosowanych w ramach cyfrowych metod poprawy jakości obrazów.
Do wygładzania obrazów stosuje się filtry konwolucyjne, które dzielą się na filtry
rankingowe i filtry arytmetyczne.
Filtr rankingowy sortuje wszystkie piksele z danego otoczenia i wybiera, w
zależności od metody, jeden piksel.
Do wygładzania obrazów często stosuje się filtr medianowy, który z posortowanych
pikseli danego otoczenia wybiera piksel środkowy.
12. Podaj i opisz metody segmentacji
● Segmentacja przez progowanie - Wybieranie tych pikseli których
wartość jest większa niż wartość progowa. Stosuje się też progowanie
na podstawie histogramu gdzie wartość progową ustala się w minimum
histogramu.
● Segmentacja krawędziowa - Wyodrębnienie krawędzi z obrazu a
następnie znalezienie obiektów ograniczanych przez te krawędzie.
● Segmentacja metodą rozrostu obszarów - Wybiera się piksel a
następnie sprawdza się czy jego sąsiedztwo spełnia warunek
jednorodności (kryterium rozrostu), jeśli tak to odpowiednie piksele
dołącza się do obszaru. Potem iteracyjnie sprawdza się sąsiedztwo
coraz większych obszarów.
● Segmentacja metodą “dziel i łącz” - “wpisanie” obrazka w drzewo,
gdzie w każdym liściu jest jednorodny obszar.
Najczęściej dzieli się obraz na ćwiartki i sprawdza ich jednorodność z
pomocą wcześniej wybranego kryterium. Każdą niejednorodną
ćwiartkę ponownie dzielimy na 4, tworząc kolejny poziom drzewa. Krok
powtarzamy aż do uzyskania drzewa, gdzie wszystkie liście są
jednorodne. Następnie korzystając z sąsiedztwa (na obrazku) liści
łączymy je w większe, jednorodne obszary.
● Segmentacja metodą klasyfikacji punktów - uogólnienie metody
progowania na większą liczbę parametrów.
13. Opisz na czym polega i do czego stosowana jest operacja
wyrównywania histogramu. W jakich sytuacjach wyrównywanie
histogramu może spowodować pogorszenie jakości obrazu?
Wyrównywanie histogramu polega na takiej zmianie wartości punktów obrazu aby w
równych przedziałach histogramu ilość punktów obrazu była w przybliżeniu taka
sama. Operacja ta pozwala na uwypuklenie mało kontrastowych szczegółów w
obrazie.
Pogorszyć możemy obraz, w którym dominują jakieś składowe. Z własnego
doświadczenia wiem, że często kiedy prześwietlam/niedoświetlam zdjęcia, taka
operacja się przydaje. Prześwietlony obraz ma więcej jasnych wartości (więcej z
prawej na histogramie), niedoświetlony obraz ma więcej ciemnych wartości ( więcej
z prawej na histogramie). Wyrównanie histogramu balansuje nam jasność
obrazka/zdjęcia tak, że wygląda to lepiej. Jednak jest jeden warunek: Gdy na
zdjęciu dominują nam jakieś kolory np. mając takie zdjęcie błękitnego nieba, po
wyrównaniu histogramu, nasz błękit staje się nieco podkolorowany i przez to jest
nienaturalny. Zapytałem o to prof. Rokitę na wykładzie. Podpowiedział, że przed
wyrównaniem takiego histogramu, należy wykonać przejście z RGB na HSV, dzięki
czemu otrzymamy możliwość wyrównania po jasności.
14. Wymień i opisz podstawowe zastosowania transformat.
Transformatę Fouriera stosujemy do filtracji (dolno-, górnoprzepustowej, Laplace’a
itd.), do przyśpieszenia operacji splotu. Transformata falkowa umożliwia
progresywny zapis obrazu. Transformaty przydają się do kompresji danych.
15. (egzamin) Wyjaśnij na czym polega i jakie daje efekty zastosowanie
wyrażeń różnicowych przy kompresji obrazu.
Wyrażenie różnicowe polega na przedstawieniu obrazu za pomocą różnic pomiędzy
pikselami. Powoduje znaczne zwiększenie skupienia wartości pojawiających się w
obrazie a co za tym idzie lepszą skuteczność kompresji w algorytmach entropijnych.
16. Jak obliczyć dwuwymiarową FFT za pomocą algorytmu
jednowymiarowej FFT
FFT jest rozdzielna dzięki temu można policzyć jednowymiarową FFT z wierszy, a
następnie z kolumn obrazka widm jednowymiarowych, który otrzymaliśmy.
17. Opisz na czym polega i do czego stosowana jest operacja rozciągania
histogramu. W jakich sytuacjach rozciągnięcie histogramu może
spowodować pogorszenie jakości obrazu?
Rozciąganie histogramu wykonywane jest wtedy, gdy wartości jasności obrazu nie
obejmują pełnego zakresu możliwych wartości. W przypadku reprezentacji
ośmiobitowej, rozciąganie obrazu ma zastosowanie w sytuacji, gdy wszystkie
wartości na obrazie mieszczą się w przedziale mniejszym niż 0 ÷255.
Aby dokonać operacji rozciągania histogramu wyznacza się minimalną oraz
maksymalną wartość jaką przyjmuje obraz. Kolejną czynnością jest wyznaczenie
nowych wartości obrazu zgodnie z zależnością:
18. Transformata Walsha-Hadamarda (WHT)
Działa na prostej zasadzie, czytaj najprostsza transformata. Najpierw wymyślił ją
nie kto inny jak Pan Walsh. Potem Pan Hadamard uprościł ją, poprzez zmianę
indeksu i tak powstała transformata tych dwóch Panów.
Działanie opiera się na takim oto spostrzeżeniu:
Żółtym kolorem oznaczono najniższą możliwą do uzyskania częstotliwość,
czerwonym najwyższą (na 8miu bitach). Wartości funkcji-próbek zostają
wymnożone wiersz, po wierszu przez wartości odpowiadających elementów tablicy
wartości jądra transformaty, a następnie zsumowane.
Tablica wartości jądra transformaty (Warunek dla N=2^n, gdzie n to liczba
indeksów):
N=8, n=3
0
1
2
3
4
5
6
7
0
+
+
+
+
+
+
+
+
1
+
+
+
+
-
-
-
-
2
+
+
-
-
+
+
-
-
3
+
+
-
-
-
-
+
+
4
+
-
+
-
+
-
+
-
5
+
-
+
-
-
+
-
+
6
+
-
-
+
+
-
-
+
7
+
-
-
+
-
+
+
-
Spostrzezenie polega na tym ze taka tabela zawiera wszystkie mozliwe do
uzyskania na 8miu bitach czestotliwosci sygnału impulsu Dirac’a.