Lokalizacja komórek biologicznych w obrazach mikroskopii fazowo

Lokalizacja komórek biologicznych w obrazach mikroskopii fazowo

POLITECHNIKA BIAŁOSTOCKA
Wydział Informatyki
mgr inż. Marcin Skoczylas
Lokalizacja komórek biologicznych
w obrazach mikroskopii fazowo-kontrastowej
STRESZCZENIE
ROZPRAWY DOKTORSKIEJ
Promotor
dr hab. inż. Waldemar Rakowski
prof. Politechniki Białostockiej
Białystok 2011
Podziękowanie
Praca, której efektem jest niniejsza rozprawa doktorska powstała przy
wsparciu finansowym:
• CELLION project MRTN-CT-2003-503923
• EURONS contract number 506065
• Politechnika Białostocka, Wydział Informatyki, praca S/WI/4/2008
• grant promotorski N N519 434139
Autor zwraca się z uprzejmą prośbą, by jego serdeczne podziękowanie
zechciały przyjąć wymienione niżej osoby:
• prof. Roberto Cherubini (INFN-LNL) za umożliwienie wykorzystania danych
użytych w tej pracy oraz pomoc merytoryczną
• dr Silvia Gerardi (INFN-LNL) za umożliwienie użycia narzędzia do akwizycji
obrazów i napromieniowania komórek niebarwionych
• mgr Viviana de Nadal (INFN-LNL) oraz dr Denis Guryev (CELLION) za przygotowanie materiału biologicznego do eksperymentów oraz analizy
• prof. Michael Mackey (University of Iowa, USA) za gościnę na wydziale Biomedical
Engineering Dept. oraz za udostępnienie obrazów komórek
• prof. Zbigniew Stachura oraz dr Janusz Lekki (Instytut Fizyki Jądrowej PAN
w Krakowie), koordynatorzy projektu CELLION, za wspaniałą współpracę
2
Spis treści
Spis treści
3
1 Wprowadzenie
1.0.1 Cele pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.0.2 Teza pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
5
5
2 Natura obrazów komórek biologicznych
2.1 Obrazy komórek jako specyficzna klasa obrazów cyfrowych
2.2 Analiza . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Detekcja i rozpoznawanie ciała komórki . . . . . . . . . . .
2.3.1 Wstępna filtracja obrazu . . . . . . . . . . . . . . .
2.3.2 Detekcja głównego obszaru zainteresowania . . . . .
2.3.3 Cechy teksturalne . . . . . . . . . . . . . . . . . . .
2.3.4 Klasyfikacja tekstur . . . . . . . . . . . . . . . . . .
2.3.5 Segmentacja obiektów . . . . . . . . . . . . . . . .
2.4 Rozpoznawanie komórki . . . . . . . . . . . . . . . . . . .
2.4.1 Cechy kształtu . . . . . . . . . . . . . . . . . . . .
2.4.2 Rozpoznawanie i łączenie segmentów . . . . . . . .
2.4.3 Współrzędne do radiacji . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
6
7
7
7
9
10
11
11
14
14
15
17
3 Podsumowanie
18
Bibliografia
20
3
Rozdział 1.
Wprowadzenie
Współczesny człowiek jest stale narażony na działanie różnych źródeł promieniowania
jonizującego, które zagrażają ludności w sposób zasadniczy. Precyzyjne napromieniowanie żywych komórek biologicznych z użyciem znanej liczby jonów (z dokładnością
do pojedynczej cząstki) pozwala na badanie efektów napromieniowania niską dawką
oraz dostarcza unikalnych danych służących do oceny ryzyka wystąpienia choroby
nowotworowej jako konsekwencji ekspozycji na niskie dawki promieniowania jonizującego.
Przez ostatnie parę lat udoskonalenie akceleratorów i mikrowiązek jako narzędzi do
badania promieniowania za pomocą niskich dawek spotkał się z dużym zainteresowaniem
w środowisku naukowym [1][2]. Najczęściej stosowanym rozwiązaniem jest sztuczne
zabarwienie białek komórki oraz rozpoznawanie ich przy użyciu mikroskopu fluorescencyjnego [3]. Uzyskany w ten sposób obraz ułatwia znacznie detekcję poszczególnych
komórek z zastosowaniem współczesnych algorytmów. Należy jednak zwrócić uwagę, że
używając sztucznego barwienia ingerujemy w strukturę wewnętrzną komórki, ponieważ
zmieniamy jednocześnie jej zachowanie pod wpływem radiacji. Przy wykonywaniu badań
dotyczących wytrzymałości komórek na bodźce zewnętrzne i napromieniowanie ciężkimi
jonami należy zniwelować jakiekolwiek interakcje z wewnętrzną strukturą komórki, by nie
wprowadzać niepożądanych zmian w uzyskanych wynikach. W związku z tym od niedawna
zaczęto stosować metodę radiacji bez sztucznych barwników z użyciem mikroskopii
fazowo-kontrastowej.
W laboratoriach biologicznych Istituto Nazionale di Fisica Nucleare, Laboratori
Nazionali di Legnaro, Włochy (INFN-LNL) system do wizualizacji komórek oparty jest
na wykorzystaniu mikroskopii fazowo-kontrastowej, bez użycia dodatkowych barwników.
Horyzontalna mikrowiązka do napromieniowania pojedynczymi jonami pojedynczych
komórek była zaprojektowana oraz zainstalowana w akceleratorze INFN-LNL, 7MV
CN Van de Graaff [4]. Wizualizacja komórek oraz system pozycjonujący jest oparty
na optycznym mikroskopie fazowo-kontrastowym, czarno-białej kamerze oraz szalce
poruszanej w kierunkach X-Y z podmikrometrową precyzją ustawienia. Dodatkową zaletą
jest to, że rozpoznawanie komórek odbywa się bez użycia barwienia fluorescencyjnego oraz
bez światła UV.
Komórki ssaka (dokładniej chomika chińskiego, komórki V79) hodowane są w
jednej warstwie na powierzchni folii mylar, użytej jako dolna część specjalnie do tego
4
celu zaprojektowanej szalki Petriego, posiadającej jako przykrycie kolejną, wierzchnią
warstwę folii mylar, co umożliwia komórkom przebywanie w sterylnym otoczeniu — ale
jednocześnie w sposób znaczący zmienia obraz z mikroskopu. Przed wykonaniem radiacji,
próbka jest automatycznie skanowana pod mikroskopem, a komórki są identyfikowane
przez operatora za pomocą oczu. Kiedy wszystkie komórki do napromieniowania są
zdetektowane i zaznaczone, ich koordynaty są zapisywane, próbka jest przesunięta spod
mikroskopu na wiązkę akceleratora i następnie wszystkie komórki, albo tylko część z nich,
w zależności od potrzeb eksperymentu, są po kolei napromieniowane. Zaimplementowane
przez dr Silvia Gerardi (INFN-LNL) oprogramowanie CELLView [5] pozwala zdalnie
kontrolować protokół radiacji.
Grupa radiobiologów ma dostęp do akceleratora ciężkich jonów przez stosunkowo
krótki czas. Z tego powodu efektywność badań radiobiologicznych zależy w dużym
stopniu od szybkości lokalizowania komórek. W praktyce, wykonanie eksperymentów
radiobiologicznych jest możliwe przez zaledwie kilka dni w roku. Utrzymanie akceleratora
w stanie rozruchu niesie za sobą ogromne koszty, dodatkowo co parę miesięcy wymagana
jest długotrwała konserwacja urządzenia. Przeciętny eksperyment trwa 24 godziny,
odejmując czas potrzebny na skomplikowaną procedurę kalibracji wiązki.
Ręczne rozpoznawanie komórek niebarwionych w obrazach uzyskanych mikroskopem
fazowo-kontrastowym jest procedurą bardzo czasochłonną, ponieważ obszar do zeskanowania jest duży i w niektórych przypadkach (gdy gęstość populacji komórek jest duża)
okazuje się, że wykonanie takiego eksperymentu jest niepraktyczne. Stąd potrzeba
opracowania skutecznego i dającego wyniki w jak najkrótszym czasie algorytmu.
1.0.1
Cele pracy
• zaprojektowanie i zaimplementowanie systemu rozpoznającego komórki w obrazach,
wykonującego działania w czasie od paru do kilku sekund z użyciem dostępnego
sprzętu jakim są klastry obliczeniowe, przy założeniu, że krytycznym czynnikiem
jest czas obliczeń, a nie prawdopodobieństwo zlokalizowania komórki
• opracowanie nowych cech teksturalnych oraz cech kształtu
• sprawdzenie sprawności i wybór klasyfikatorów przy zastosowaniu różnych metod
ekstrakcji cech teksturalnych oraz cech kształtu
• stworzenie większego zbioru danych ucząco-testujących przy udziale biologów
1.0.2
Teza pracy
Klasyfikacja cech teksturalnych i geometrycznych w metodologii podziału i scalania jest
efektywnym narzędziem lokalizowania niebarwionych komórek biologicznych w obrazach
mikroskopii fazowo-kontrastowej. Ma to decydujące znaczenie w warunkach eksperymentów napromieniowania za pomocą akceleratora ciężkich jonów z wykorzystaniem folii
mylar.
5
Rozdział 2.
Natura obrazów komórek biologicznych
2.1
Obrazy komórek jako specyficzna klasa obrazów
cyfrowych
Specyficzną klasą obrazów są obrazy przedstawiające żywe komórki obserwowane
przy użyciu mikroskopii fazowo-kontrastowej. W obrazach tych znajdują się obszary
zainteresowania (komórki), niejednolite tło oraz obiekty przeszkadzające (brud), które
znajdują się nad interesującymi obszarami i pod nimi. Skupisko uznawane za brud
przypomina często wyglądem komórki. Niektóre właściwości obrazu, na przykład
intensywność światła oraz ostrość mogą się w czasie akwizycji zmieniać, a zmiana zastosowanego mikroskopu, obiektywów oraz rodzaju podłoża i typu komórek są dodatkowym
utrudnieniem wizualizacji. Ponadto komórki mają niejednolite kształty, w związku z czym
trudno je poprawnie sklasyfikować i odizolować obiekty fałszywe. Takie obrazy interesują
biologów, ponieważ rozpoznawanie pozycji komórek jest istotnym zadaniem podczas
wykonywania eksperymentu biologicznego z użyciem akceleratora do napromieniowania
pojedynczymi jonami.
Na specjalnie do tego celu skonstruowanej szalce Petriego niebarwione komórki
namnażane są pomiędzy dwiema foliami mylar, które w sposób znaczący zmieniają obraz
z mikroskopu. Wskutek tego obiekty obserwowane na obrazach zawierają dodatkowe
elementy oraz niejednolite tło w postaci artefaktów pochodzących z folii mylar.
Do tej pory tak skomplikowana detekcja (oraz rozpoznawanie) była wykonywana
przez operatora - eksperta, który w związku z nieczytelnością obrazu czasem przy
porównaniu wyników z drugim ekspertem nie był w stanie uzyskać takiej samej trafności
w separacji obiektów. Jednocześnie procedura ta jest bardzo powolna i często, gdy liczba
komórek do napromieniowania pojedynczymi jonami jest duża, ręczna analiza obrazu jest
niepraktyczna.
Głównym problemem przy próbie zaimplementowania automatycznego algorytmu
wykonującego detekcję jest to, że obrazy z różnych eksperymentów znacznie się różnią.
Zmienia się typ zastosowanych komórek, środowisko, optyka mikroskopu oraz rodzaj
podłoża. W związku z tym klasyczne, geometryczne algorytmy do detekcji komórek
6
generują błędne wyniki. Na rysunkach 2.1 przedstawiono przykładowe obrazy, na których
należy poprawnie znaleźć pozycje radiacji.
O ile natężenie światła, ostrość, rozdzielczość kamery, czy zastosowany obiektyw
(tj. powiększenie) nie wpływają zbytnio na dostosowanie techniki automatycznej detekcji,
o tyle zmiana podłoża (plastik, folia mylar) oraz różnice w wyglądzie komórek stanowią
istotny problem. Narzędzie powinno w szybki sposób generować wyniki, bez względu na
zastosowane parametry obrazu, oraz powinno być w prosty sposób konfigurowalne, tak
aby także niedoświadczony biolog mógł bez większych trudności skalibrować narzędzie
do nowych kryteriów i wykonać poprawną detekcję (lub rozpoznawanie) komórek.
Te zapotrzebowania stawiają przed algorytmem wymagania, których nie da się ominąć
w sposób klasyczny.
2.2
Analiza
Przyjrzyjmy się dokładniej obrazom, o których mowa w tej rozprawie. Rysunek 2.2
przedstawia przykładowe zdjęcie z mikroskopu: komórki znajdujące się pomiędzy dwiema
foliami mylar. Zastosowano mikroskop fazowo-kontrastowy z laboratoriów INFN-LNL
oraz kamerę JVC TK-C1481BEG z rozdzielczością obrazu 544x500 pikseli z przeplotem
oraz 8-bitową rozdzielczością odcieni szarości.
Jest to typowe zdjęcie, na którym widać charakterystyczne elementy obrazu: komórki
oraz małe elementy (w stosunku do wielkości komórek), przypominające wyglądem
ciemne, szare lub białe okręgi i plamy – powstały one w efekcie podgrzania folii mylar
w inkubatorze i w rzeczywistości są to wybrzuszenia folii, znajdujące się pod komórkami
i nad komórkami.
Dodatkowo na obrazie mogą znajdować się stałe obszary, które są charakterystyczne
dla określonego układu optycznego oraz konstrukcji systemu do namierzania wiązki
akceleratora. Na przykładowym obrazie 2.2 w lewym, górnym rogu znajduje się czarny
obszar – jest to region poza szalką Petriego (która ma kształt okręgu). Innymi typami
obszarów, z którymi algorytm detekcji powinien dać sobie radę są wszelakie przebarwienia
cechujące się zmniejszoną lub zwiększoną jasnością w określonym miejscu, niedokładne
oświetlenie obiektów oraz stałe uszkodzenia optyki mikroskopu. Ponadto ostrość obrazu
(fokus) często nie jest równomiernie rozłożona, jest to spowodowane różnym i niezbyt
dokładnym naprężeniem folii mylar na szalce Petriego. Kolejne obrazy podczas akwizycji
mogą mieć zmienione niektóre parametry, między innymi fokus i natężenie światła, oraz
brudy, nie zmieniają się natomiast powiększenie czy zastosowana optyka i kamera.
2.3
2.3.1
Detekcja i rozpoznawanie ciała komórki
Wstępna filtracja obrazu
Przed wykonaniem zadania detekcji i rozpoznawania komórek w warunkach doświadczalnych, z mikroskopu przechwycono obrazy uczące. Zanim algorytm zostanie rozpoczęty,
7
Rysunek 2.1: Różnice w obrazach komórek: inny rodzaj komórek, powiększenie, natężenie
światła, zastosowane podłoże oraz optyka mikroskopu i jej uszkodzenia. Obrazy pochodzą
ze zbiorów autora (wykonane w INFN-LNL), Instytutu Fizyki Jądrowej PAN w Krakowie
(dr O. Veselov) oraz Department of Biological Engineering, Iowa University (prof. Michael
Mackey), użyte za zgodą autorów.
8
Rysunek 2.2: Przykładowy obraz komórek pomiędzy dwiema foliami mylar.
dane poddawane są wstępnej filtracji. W przypadku obrazów komórek, pochodzących
ze starszych wersji mikroskopów fazowo-kontrastowych, w większości przypadków takim
filtrem jest filtr usuwania przeplotu. Po tej operacji obraz jest uśredniony, ponieważ do
wygenerowania jednej poziomej linii używana jest informacja z dwóch sąsiadujących ze
sobą linii. Takie uśrednianie wstępnie usuwa także drobny szum pochodzący z kamery.
2.3.2
Detekcja głównego obszaru zainteresowania
Obraz, uzyskany z mikroskopu zawiera często dodatkowe, niepotrzebne informacje
i wymaga poprawnego kadrowania. Taki przypadek występuje zwykle przy analizie
biologicznej. Przy obserwacji komórek na obrazach widoczne mogą być np. krawędzie
szalki Petriego, fragment ciemnej części obiektywu albo obszaru znajdującego się poza
interesującym biologa medium. W tym wypadku należy znaleźć obszar zainteresowania,
by ograniczyć obliczenia do części obrazu przedstawiającej tylko szalkę Petriego. W
obrazach wykonanych przy mniejszym powiększeniu, obszar zainteresowania zajmuje
czasem tylko pewien procent całego obrazu. W celu przyspieszenia detekcji obiektów
należy zdefiniować ten obszar tak, aby zniwelować niepotrzebne obliczenia w miejscach,
gdzie interesujące biologa obiekty na pewno nie występują. Krok odpowiedzialny
za detekcję takiego obszaru powinien być wykonany jako jeden z pierwszych i zależy
od indywidualnego charakteru badanego obrazu. Znając podstawowe cechy fragmentów
obrazu, które nie powinny być objęte analizą, można jednak wydedukować algorytm,
który określi główny obszar zainteresowania.
9
2.3.3
Cechy teksturalne
~ = {k1 , k2 , k3 , ..., kN } będzie
Dany jest obraz I, składający się z N pikseli. Niech K
zbiorem wartości pikseli tego obrazu, gdzie k1 = I1,1 , k2 = I2,1 , k3 = I3,1 , ..., kn = Ix,y ,
~ = {1, ..., lM } jako zbiór etykiet oraz zbiór
..., kN = Iw,h , kn ∈ R. Zdefiniujmy L
X = {Xk |k ∈ K} jako zmienne reprezentujące wynik klasyfikacji otoczenia R(x, y)
piksela obrazu Ix,y . Aby wykonać segmentację obrazu I na lM grup, każdemu pikselowi
~ tak, że ∀k ∈ K, Xk ∈ L.
~
przyporządkowuje się jedną z etykiet L,
Na wstępnie przefiltrowanych obrazach definiowane są trzy klasy etykiet: tło, krawędź
komórki oraz wewnętrzna część ciała komórki. Charakterystyczne miejsca dla tych trzech
klas w kształcie kwadratu bądź okręgu zostały wybrane przez biologa-eksperta, ręcznie
wyodrębnione na wystarczającej liczbie obrazów uczących, a następnie sklasyfikowane
(patrz rys. 2.3).
Rysunek 2.3: Przykład przedstawia komórkę hodowaną na podłożu z plastiku oraz obszary
zainteresowania wyznaczone ręcznie z przeznaczeniem do nadzorowanego uczenia: część
wewnętrzna komórki (kolor zielony), brzeg komórki (kolor czerwony) oraz tło (kolor
niebieski).
W każdym z wyodrębnionych miejsc x, y w obrazie uczącym I obliczone zostały
cechy teksturalne otoczenia R(x, y) piksela Ix,y , które były użyte jako wektor wejściowy
vR(x,y)
~
= {v1 , v2 , ..., vn } do przeprowadzenia nadzorowanego szkolenia klasyfikatora
tekstur Ψ. Oczekiwana wartość wyniku na wyjściu klasyfikatora definiowana jest
przez odpowiadającą klasę ustaloną przez biologa-eksperta dla każdego wyodrębnionego
miejsca z obrazu I. Nadzorowane szkolenie klasyfikatora było przeprowadzone na
wcześniej przygotowanym przez biologa zestawie danych. Wiele algorytmów analizy
wielowymiarowej przetestowano w celu znalezienia najlepszej dokładności w separacji
komórek i tekstury tła.
W niektórych badaniach dokładności, podczas konstruowania wektora cech, wraz
z innymi funkcjami generującymi cechy teksturalne, używany był wektor jasności pikseli
rozpatrywanej tekstury. Konkretniej, wektor cech uzupełniany był o kolejne wartości
pikseli Rt,k (x, y) obszaru odpowiadającego pikselowi Ix,y .
10
Przed przekazywaniem skonstruowanych wektorów cech do nadzorowanego uczenia,
w ostatnim etapie wykonywana jest liniowa normalizacja. Od wszystkich elementów
odejmowana jest średnia wartość elementów ze wszystkich wektorów na danym indeksie,
a następnie wartości te są skalowane liniowo do przedziału < −1, 1 > lub < 0, 1 >.
Tak przygotowany zbiór uczący jest używany do nadzorowanego uczenia klasyfikatora
tekstur Ψ. Po wcześniejszym wykonaniu nadzorowanego uczenia, mając dane cechy
tekstury nowego fragmentu obrazu przedstawiającego wnętrze komórki, klasyfikator Ψ
określa klasę reprezentującą wnętrze komórki na omawianych obrazach. Analogicznie,
cechy tekstury nowego fragmentu reprezentującego tło lub brud, są charakteryzowane
przez klasyfikator Ψ jako odpowiadająca im klasa.
2.3.4
Klasyfikacja tekstur
Procedura wykrywania ciała komórki (rys. 2.4) rozpoczyna się od wstępnej klasyfikacji
nachodzących na siebie obszarów R(x, y), których współrzędne x, y generowane są
przesuwając nad przechwyconym obrazem w skali szarości zdefiniowane okno z ustalonym
krokiem i, tak że xt = xt−1 + i, analogicznie yk = yk−1 + i. Nowy obraz P
(rys. 2.5), posiadający mniejszą rozdzielczość, uzyskuje się w taki sposób, że dla każdego
automatycznie uzyskanego obszaru zainteresowania R(x, y) z obrazu oryginalnego I,
obliczane są cechy teksturalne, konstruowany jest wektor cech vR(x,y)
~ , a następnie jest on
prezentowany wcześniej nauczonemu klasyfikatorowi tekstur Ψ. Wyjście z klasyfikatora
jest badane pod względem wszystkich zdefiniowanych klas: wnętrza komórki, krawędzi
komórki oraz tła. Nowa wartość intensywności piksela w obrazie P zależy od wyniku
klasyfikacji i każdy piksel w na nowo uzyskanym obrazie w mniejszej rozdzielczości
jednoznacznie odpowiada jednemu obszarowi R(x, y) z obrazu oryginalnego I, tj. ∀t, k ∈
P, Pt,k = Ψ(vR(x,y) ), gdzie x = t ∗ i, y = k ∗ i. Ten nowy obraz można interpretować
jako reprezentację obrazu oryginalnego, ale szerokość, wysokość oraz intensywność może
być zmniejszona, i co ważniejsze, pewne ilości szumów oraz brudu tła są eliminowane
poprzez klasyfikator tekstur Ψ. Paralelizację analizy teksturalnej obrazu I można
wykonać w bardzo łatwy sposób, poprzez rozdzielenie zadania klasyfikacji obszarów
R(x, y) pomiędzy węzły obliczeniowe. Zwracając uwagę na to, że każda klasyfikacja może
wykonywać się różnym tempem, zamiast rozdzielać zadania po równo, należy wykonać
kolejkowanie i rozsyłać zadania do węzłów, które chwilowo nie wykonują obliczeń.
2.3.5
Segmentacja obiektów
Wstępnie sklasyfikowany obraz jest modyfikowany w celu wyznaczenia znaczników do segmentacji, reprezentujących wnętrze komórki oraz tło. Dla sieci neuronowej wynikiem
klasyfikacji są współczynniki określające stopień, w jakim określony obszar należy do
każdej z klas. W przeciwieństwie do tego klasyfikatora, maszyna wektorów nośnych
(ang. Support Vector Machine, SVM) generuje w wyniku sprecyzowaną informację,
~ zatem po
określającą przynależność wejściowego wektora cech vR(x,y)
~ do którejś z klas z L,
11
Rysunek 2.4: Obraz przedstawia pojedynczą komórkę na podłożu wykonanym z plastiku.
Rysunek 2.5: Krok detekcji ciała komórki z rys. 2.4 po klasyfikacji obszarów za pomocą
sieci neuronowej (niebieskim kolorem oznaczono wynik reprezentujący tło, czerwonym
krawędzie komórki, zielonym wnętrze ciała komórki).
wykonaniu algorytmu z rozdz. 2.3.4 można otrzymać obraz o dwóch intensywnościach (binarny): wartości klasyfikujące obszar jako wnętrze komórki i pozostałe. Inne klasyfikatory
w różny sposób generują wynik i w związku z tym, jeżeli wygenerowany obraz o mniejszej
rozdzielczości nie jest binarny, należy wykonać binaryzację z automatycznym dobieraniem
progu, opisaną w rozdziale 2.3.2. W zależności od jakości klasyfikacji (a co za tym idzie
także od natężenia brudów pochodzących np. z folii mylar) zestaw procedur, które
powinny być wykonane na wstępnie sklasyfikowanym obrazie, może się nieznacznie
różnić. Podczas wykonywania eksperymentów „on-line” z użyciem akceleratora ciężkich
jonów okazywało się, że można założyć, iż wstępnie sklasyfikowany obraz wystarczy
przefiltrować używając filtrów morfologicznych w skali szarości, a następnie – finalnie,
wykonać binaryzację z automatycznym dobieraniem progu. Zadaniem tej kalibracji
12
jest także dobranie zestawu filtrów, aby w rezultacie otrzymać odseparowane zalążki
najlepiej reprezentujące odpowiadającą klasę, tj. wnętrze komórki oraz tło, i jednocześnie
możliwie jak najmniej odosobnionych, małych grup pikseli w stosunku do wielkości
znalezionych obiektów. Dosyć dobre rezultaty można osiągnąć po filtracji za pomocą
filtru medianowego, a następnie po erozji i zamknięciu, gdzie jądro używane do splotu
jest generowane z funkcji gaussowskiej.
Na tak przefiltrowanym obrazie, po wstępnej klasyfikacji tekstur, wykonywana
jest binaryzacja z automatycznym doborem progu.
W tym przypadku najlepiej
pracującym algorytmem okazał się algorytm oparty na błędzie minimalnym. W wyniku
powyższych operacji z obrazu wejściowego I, po przeanalizowaniu otoczenia R(x, y)
piksela Ix,y , a następnie po modyfikacji zbioru wyników klasyfikacji P za pomocą filtrów
morfologicznych otrzymuje się zbiór S, reprezentujący zalążki do segmentacji (rys. 2.6).
Rysunek 2.6: Obraz z rys. 2.5 został przetworzony za pomocą filtrów morfologicznych
i reprezentuje zalążki do segmentacji. Niebieskim kolorem oznaczono znaczniki dla tła,
natomiast zielonym znaczniki dla wnętrza komórki.
Segmentację takiego obrazu wykonuje algorytm oparty na powiększaniu obszarów
ze znalezionych zalążków w poprzednim kroku algorytmu. Oryginalny obraz jest
przetwarzany filtrem gradientowym i na takim obrazie wykonywana jest segmentacja
polegająca na wzrastaniu obszarów do pewnego kryterium. I tak z tej klasy algorytmów
można wybrać np. segmentację wododziałową ze znacznikami [6]. Obszary rozpoznane
jako „wnętrza komórki” i obszary tła rozrastają się w tym samym czasie i w większości
przypadków spotykają się w miejscach połączenia dwóch przylegających do siebie komórek
oraz na granicy tła i komórki. Najlepiej, gdy znacznikami do takiej segmentacji
są pojedyncze obiekty jednoznacznie określające miejsce gdzie znajduje się komórka
oraz tło. Rozpoznana krawędź komórki może być użyta jako dodatkowy znacznik przy
segmentacji, dzięki czemu możliwe jest rozdzielenie kilku komórek połączonych ze sobą
w kolonię (o ile detekcja krawędzi przez klasyfikator tekstur Ψ okaże się wystarczająco
poprawna).
13
W rzeczywistości, przy dużym zabrudzeniu próbki, nie da się, niestety, uzyskać wyniku
poprawnego i takie podejście może powodować nadmierną segmentację.
2.4
2.4.1
Rozpoznawanie komórki
Cechy kształtu
Gdy obszar ciała komórki zostaje podzielony na oddzielne podobszary, to potrzebna jest
dodatkowa analiza oraz łączenie nadmiernie wysegmentowanych podobszarów w większe
obiekty. Analogicznie, może zdarzyć się, że kolonia komórkowa zostanie zaznaczona jako
jeden obiekt. W związku z tym główną cechą algorytmu segmentacji, prezentowanego
w niniejszej rozprawie, jest użycie rozwiązania w metodologii podziału i scalania
(ang. split and merge [7]). W skrócie, metodologia ta polega na tym, że obraz jest
w pierwszym kroku segmentowany w nadmierny sposób tak, by w następnym kroku
przy użyciu dodatkowego kryterium dokonać scalania segmentów w większe obszary,
reprezentujące interesujące obiekty (komórki). Algorytm segmentacji w tej metodologii,
wykorzystujący podobieństwo kolorów, zaprezentowany jest w pracy [8].
Na obrazach uczących, z których wcześniej wygenerowano wektory cech teksturalnych
reprezentujące tło, wnętrze komórki oraz krawędź, wykonywana jest segmentacja według
algorytmu omawianego w poprzednim punkcie. W wyniku generowany jest pewien zbiór
segmentów Q. Aby automatycznie wygenerować ze zbioru Q zbiór Θ, reprezentujący
komórki znajdujące się na obrazie, definiuje się kolejny klasyfikator, klasyfikator obiektów
(obszarów)1 Φ. Za pomocą tego klasyfikatora segmenty łączone są w obszary, reprezentujące komórki w zbiorze Θ. W szczególnym przypadku obszar reprezentujący komórkę może
składać się z jednego segmentu. Zanim zostanie wykonana automatyczna klasyfikacja
połączonych w obszary segmentów na nowych obrazach, wcześniej wykonywane jest drugie
pobieranie zestawu uczącego dla tego klasyfikatora. Zaznaczane są przez operatora
obiekty reprezentujące komórkę oraz brud na drugim zestawie danych (zbiorze Q).
Jeżeli zachodzi taka potrzeba, nadmiernie wysegmentowane obiekty są ręcznie łączone
w kompletną strukturę. Celem tego zabiegu jest wygenerowanie kolejnego uczącego
zestawu danych: w tym wypadku są to połączone segmenty jednoznacznie reprezentujące
interesujące biologa komórki (różne klasy mogą odpowiadać różnym typom komórek) oraz
obiekty fałszywe (brud). Aby wykonać nadzorowane szkolenie klasyfikatora obiektów Φ,
zidentyfikowane obszary pochodzące z obrazów uczących są wyodrębniane z obrazu I,
a następnie obliczane są ich cechy kształtu i tekstury.
Wektor cech kształtu i tekstury u~Qi = {u1 , u2 , ...} i-tego obiektu ze zbioru Q (czyli
obszaru Qi ) jest konstruowany poprzez obliczanie wpierw prostych cech kształtu, takich
jak wysokość oraz szerokość prostokąta okalającego dany obszar, obwód zewnętrzny
tj. liczba pikseli znajdujących się na granicy obszaru z tłem, oraz objętość, to znaczy
liczba pikseli znajdujących się wewnątrz obszaru, długość osi głównej obszaru (odległość
1
założenie: obszary składają się z segmentów i reprezentują obiekty (różne klasy komórek
oraz „nie-komórki”).
14
pomiędzy dwoma punktami najdłuższej linii biegnącej przez obszar), długość mniejszej
osi obszaru (odległość pomiędzy dwoma punktami najdłuższej linii biegnącej przez obszar
i równocześnie prostopadłej do osi głównej) oraz stosunek przedstawiający „okrągłość”
obszaru , gdzie w tym wypadku O oznacza obwód zewnętrzny, a p pole powierzchni
obszaru).
Tak obliczone wektory cech kształtu i tekstury obiektów, wraz z informacją, do której
klasy należą, tj. typ komórki oraz „nie komórka”, są przekazywane do klasyfikatora
obiektów Φ w celu wykonania nadzorowanego uczenia (patrz rys. 2.7).
Rysunek 2.7: Obszary uzyskane po segmentacji za pomocą informacji o znacznikach
z rys. 2.6. Widać na czym polega problem nadmiernej segmentacji.
2.4.2
Rozpoznawanie i łączenie segmentów
Podczas wykonywania procedury rozpoznawania komórek obliczane są cechy kształtu
obszarów reprezentowanych przez wszystkie niepuste podzbiory zbioru segmentów
w wykrytych odosobnionych, ciągłych obszarach Γ, które spełniają warunek, że wszystkie
segmenty w tym podzbiorze tworzą jeden ciągły obszar (zatem jest to suma kombinacji
bez powtórzeń 1-elementowych, 2-elementowych, ..., segmentów, z których można
stworzyć jeden ciągły obszar). Ciągły obszar można zdefiniować jako podzbiory
jednoelementowe segmentów zbioru Γ, albo wieloelementowe, których segmenty zawsze
łączą się z sąsiednimi segmentami, to znaczy nie zawierają segmentów odosobnionych.
W dalszej części rozprawy takie podzbiory dla uproszczenia nazywane będą „dozwolonym
podzbiorem” lub po prostu „dozwoloną kombinacją” segmentów.
Uzyskane połączenie segmentów jest uznawane za komórkę, gdy nowy obszar zbudowany ze wszystkich segmentów tego dozwolonego podzbioru będzie sklasyfikowany przez
klasyfikator Φ jako „ciało komórki” oraz gdy sumaryczna powierzchnia zajmowana przez
te segmenty jest większa od wszystkich innych podzbiorów sklasyfikowanych pozytywnie
w tym odosobnionym, ciągłym obszarze Γ. W takim przypadku wszystkie segmenty,
które konstruują obszar tego podzbioru są usuwane z ciągłego obszaru Γ do którego należą;
15
ten podzbiór jest zaznaczany jako „wykryta komórka” (połączony z segmentów należących
do tego podzbioru obszar dołączany jest do wynikowego zbioru Θ), a iteracja algorytmu
jest powtarzana dla pozostałych dozwolonych podzbiorów. Algorytm zatrzymuje działanie
w momencie, gdy wszystkie pozostałe dozwolone podzbiory zostaną sklasyfikowane jako
„nie-ciało komórki”, lub gdy wszystkie segmenty w danym ciągłym obszarze Γ zostaną
usunięte. Pojedynczy segment, niepołączony z innymi obiektami, jest uważany za jeden
ciągły obszar Γ.
Ze względów praktycznych nie wszystkie dozwolone podzbiory są brane pod uwagę
przy łączeniu segmentów w jeden obszar. Zanim jakiekolwiek obliczenia cech kształtu
i tekstury będą wykonane, stosowane są pewne kryteria do usunięcia obiektów i połączeń,
które na pewno nie są komórkami (na przykład poprzez odrzucanie obszarów o zbyt dużej
lub zbyt małej objętości).
Takie podejście do problemu nadmiernej segmentacji wydaje się bardziej właściwe w algorytmie detekcji komórek, opisywanym w niniejszej rozprawie, niż w ogólnie stosowanych
rozwiązaniach, np. polegających na obliczaniu współczynnika podobieństwa segmentów
w celu ustalenia decyzji o ich połączeniu, ze względu na obecność (w omawianym
tu przypadku) zanieczyszczeń pochodzących z pożywki oraz folii mylar, które mogą
znajdować się również na ciele komórki, przez co znacznie zmienia się współczynnik
podobieństwa dwóch segmentów oraz decyzja o wykonaniu połączenia. Zadanie wyboru
segmentów, które mają być połączone zależy w prezentowanym algorytmie od dokładności
klasyfikatora obiektów Φ oraz właściwego rozpoznania przez niego faworyzowanego
kształtu oraz tekstury. Klasyfikator pomaga w detekcji komórek, tj. selekcji segmentów
należących do ciał komórek, równocześnie rozpoznając typ wykrytej komórki.
Algorytm ten został przekształcony do wersji rozproszonej w celu przyspieszenia
obliczeń. Głównym problemem tej zmiany jest umiejętne rozłożenie na węzły obliczeniowe
zadań uzyskania wektora cech każdego dozwolonego podzbioru segmentów, spełniającego
kryterium oraz klasyfikacji tego wektora.
Jednocześnie trzeba pamiętać o tym,
że po pozytywnej klasyfikacji podzbioru należy usunąć z puli te podzbiory segmentów,
które zawierają jakiekolwiek segmenty zawarte także w podzbiorze sklasyfikowanym
pozytywnie. Sprawa komplikuje się znacznie, gdy założymy (poprawnie), że każdy węzeł
wykonuje obliczenia w innym tempie. Przy modyfikacji algorytmu łączenia segmentów,
w wersji rozproszonej, autor dopuszcza sytuację, gdy węzeł obliczeniowy o wykonuje
klasyfikację obszaru posiadającego segmenty innego podzbioru, który być może za chwilę,
albo nawet w tym samym momencie, na innym węźle będzie zakwalifikowany jako
komórka. To węzeł zarządzający zdecyduje o tym, czy obliczony przez węzeł o wynik
będzie użyty, na podstawie porównania wyników innych węzłów oraz objętości obszarów,
których dotyczyły obliczenia. W przypadku wykrycia komórki może się zdarzyć, że część
węzłów wykonała niepotrzebne obliczenia, analizując podzbiory, które zawierały także
segmenty z obszaru sklasyfikowanego jako komórka na innym węźle. Gdy tylko taki
obszar będzie znaleziony, nowe zlecenia dla węzłów nie będą już dotyczyły segmentów,
które są odrzucone w momencie, gdy węzeł zarządzający skompletuje wystarczającą do
tego celu ilość informacji. Reasumując powyższe, można przyjąć, że zadaniem węzłów
obliczeniowych jest oczekiwanie na informację o zakończeniu obliczeń albo wykonywanie
16
zleceń i zwracanie wyników do węzła zarządzającego, a zadaniem węzła zarządzającego
jest rozdzielanie zadań, analizowanie wyników i modyfikowanie zbioru pozostałych do
sprawdzenia dozwolonych kombinacji segmentów. W rezultacie algorytm generuje zbiór
obszarów Θ, które zostały zakwalifikowane i rozpoznane jako komórki.
2.4.3
Współrzędne do radiacji
Dla każdego obszaru (składającego się z połączonych segmentów) ze zbioru Θ,
rozpoznanego jako komórka sklasyfikowana do radiacji, obliczany jest największy wpisany
okrąg za pomocą diagramu Woronoja.
Diagram Woronoja [9] dzieli płaszczyznę z N zdefiniowanymi punktami na wypukłe
wielokąty, takie, że każdy wielokąt zawiera dokładnie jeden określony punkt i każdy
punkt w danym wielokącie znajduje się bliżej od innych niż ten określony punkt.
W celu przyspieszenia obliczeń kształt komórki jest aproksymowany za pomocą mniejszej
liczby punktów należących do obwodu kształtu i następnie znajdowane są środki
okręgów na skrzyżowaniach krawędzi diagramu Woronoja. Algorytm porównuje wszystkie
te punkty (prawdopodobne środki okręgów) tak, by znaleźć okrąg o maksymalnym
promieniu.
Rysunek 2.8: Największy wpisany okrąg jest obliczany za pomocą diagramu Woronoja
(komórka namnażana na podłożu plastikowym).
Punkty (X, Y), w odniesieniu do odpowiedniego znacznika na szalce Petriego,
w których należy przeprowadzić napromieniowanie są zdefiniowane przez środki tych
okręgów.
Wydaje się, że centrum największego wpisanego okręgu sprawuje się dużo lepiej niż
powszechnie stosowane przecięcie osi głównych albo środek geometryczny (centroid), który
w najgorszym przypadku może znajdować się nawet na zewnątrz komórki. Do tej pory
nie rozwiązywano w ten sposób problemu znalezienia środka komórki (i miejsc radiacji),
zatem propozycja autora niniejszej rozprawy jest nowatorska [10].
17
Rozdział 3.
Podsumowanie
Punkty określające współrzędne do napromieniowania są przekazywane do narzędzia
napisanego w języku LabVIEW, za pomocą którego sterowane jest urządzenie. Szalka
Petriego przesuwana jest automatycznie z poziomego położenia pod mikroskopem
do miejsca, gdzie znajduje się końcówka akceleratora. Od tego momentu wykonywane
jest napromieniowanie po kolei każdej z rozpoznanych komórek (lub tylko ich części,
w zależności od potrzeb eksperymentatora). W celu napromieniowania pojedynczej
komórki szalka Petriego poruszana jest w kierunkach X/Y do zaznaczonych pozycji, tak
aby ustawić strumień ciężkich jonów akceleratora nad rozpoznaną komórką. Uruchamiana
jest procedura napromieniowania z ustaloną wcześniej liczbą cząstek. Po wykonaniu
napromieniowania wszystkich żądanych komórek przez akcelerator ciężkich jonów, płytka
wraz z materiałem biologicznym powraca do pierwotnego położenia pod mikroskopem
i może być wymieniona przez biologa, po czym cała procedura jest powtórzona
od początku.
Przykładowy wynik etapów rozpoznawania znajduje się na rysunku 3.1. Obraz
był wykonany w trakcie eksperymentu biologiczno-fizycznego z użyciem akceleratora
ciężkich jonów 7MV CN Van de Graaff za pomocą aparatury INFN-LNL. Rozpoznawanie
pozycji radiacji komórek było wykonane „on-line” przez proponowany algorytm na
klastrze INFN-LNL, a czas obliczeń wyniósł około 12 sekund na pojedynczy obraz. Dla
porównania, na rys. 3.2 pokazano obraz oryginalny z zaznaczonymi przez eksperta-biologa
komórkami.
Pozycje żywych komórek niebarwionych bardzo ciężko automatycznie rozpoznawać
przy użyciu komputerów, w szczególności wtedy, gdy dodatkowe obiekty oraz silne
zabrudzenia występują na obrazach przechwyconych z mikroskopu. Nadzorowane
uczenie klasyfikatora tekstur pomaga przy analizie małych fragmentów nowych obrazów,
dzięki czemu dostarczane są dodatkowe informacje do algorytmu segmentacji. Dzięki
wykorzystaniu metodologii podziału i scalania, dodatkowy klasyfikator kształtów jest
w stanie wyodrębnić i odróżnić interesujące biologa obiekty w zadowalający sposób.
18
Rysunek 3.1: Obraz oryginalny (górny lewy pod-obraz); obraz ze znacznikami do
segmentacji otrzymanymi po klasyfikacji tekstur oraz obróbce filtrami morfologicznymi
(górny prawy); obraz z wysegmentowanymi obiektami za pomocą opracowanego
algorytmu (lewy dolny); obraz finalny z zaznaczonymi miejscami napromieniowania
komórek (prawy dolny).
Rysunek 3.2: Obraz oryginalny z zaznaczonymi przez eksperta-biologa komórkami.
19
Bibliografia
[1] S. Gerardi. A comparative review of the charged particle microbeam facilities.
Radiation Protection Dosimetry, 122(1-4):316–319, 2006.
[2] S. Gerardi. Ionizing radiation microbeam facilities for radiobiological studies in
Europe. Journal Of Radiation Research, 50 Suppl A:A13–A20, 2009.
[3] L. Wu, G. Randers-Pehrson, A. Xu, C. A. Waldren, C. R. Geard, Z. Yu, and T. K.
Hei. Targeted cytoplasmic irradiation with alpha particles induces mutations in
mammalian cells. Proc. Natl. Acad. Sci. USA, 96, 1999.
[4] S. Gerardi, G. Galeazzi, and R. Cherubini.
A microcollimated ion beam
facility for investigations of the effects of low-dose radiation. Radiation Research,
164(4):586–590, 2005 (and references therein).
[5] S. Gerardi and E. Tonini. CELLView: a software control system for sample
movement, single-cell visualization and micropositioning at the LNL horizontal
single-ion microbeam facility. LNL Annual Report 2002, page 65, 2003.
[6] S. Beucher and F. Meyer. Mathematical Morphology in Image Processing, chapter 12,
pages 433–481. Marcel Dekker, 1993.
[7] A. Koschan W. Skarbek. Color image segmentation–a survey, technical report 94-32.
Institute for Technical Informatics, Technical University of Berlin, Berlin, Germany,
October 1994.
[8] R. Schettini. A segmentation algorithm for color images. Pattern Recognition Letters,
pages 499–506, 1993.
[9] G. Woronoj. Nouvelles applications des paramètres continus à la théorie des formes
quadratiques. Journal für die Reine und Angewandte Mathematik, pages 97–178,
1907.
[10] M. Skoczylas, R. Cherubini, and S. Gerardi. Automatic unstained cells recognition for
single-cell irradiations. In Proceedings of the XIII International Congress of Radiation
Research, San Francisco, USA, 2007.
20