Algorytmy przetwarzania wstępnego obrazów mikroskopowych w

XIII Konferencja „Sieci i Systemy Informatyczne”
Łódź, październik 2005
DOMINIK WÓJCICKI
WOJCIECH BIENIECKI
SZYMON GRABOWSKI
Katedra Informatyki Stosowanej Politechniki Łódzkiej
KATARZYNA KOŚCIELSKA-KASPRZAK
Katedra i Klinika Nefrologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu
ALGORYTMY PRZETWARZANIA WSTĘPNEGO OBRAZÓW MIKROSKOPOWYCH
W BADANIU AKTYWNOŚCI WYDZIELNICZEJ LIMFOCYTÓW
Streszczenie
W artykule opisano algorytm wykrywania obszaru zainteresowania dla mikroskopowych obrazów biomedycznych uzyskiwanych w badaniu odpowiedzi układu
odpornościowego metodą ELISPOT. W celu zminimalizowania interakcji ze strony
użytkownika programu zastosowano automatyzację tego etapu przetwarzania. Przy
wykorzystaniu specyfiki nieprzetworzonych obrazów badana jest funkcja jasności
obrazu i na podstawie analizy rozkładu jasności identyfikowany jest brzeg studzienki w kształcie koła.
1. Wprowadzenie
W systemach przetwarzania i analizy obrazu pierwszym etapem przetwarzania zapisanego obrazu cyfrowego jest zwykle wyznaczanie obszaru zainteresowania (ang. region of interest – ROI),
czyli określenie fragmentu obrazu poddawanego dalszej analizie. Proces ten z reguły wymaga
interakcji użytkownika systemu, jednak pokazano, że w pewnych przypadkach możliwe jest wprowadzenie jego automatyzacji. Opisany w artykule algorytm wyznaczania ROI znalazł zastosowanie w projektowanym w ramach współpracy Katedry Informatyki Stosowanej PŁ i Katedry i Kliniki Nefrologii i Medycyny Transplantacyjnej AM we Wrocławiu (grant MNiI) diagnostycznym
systemie informatycznym. Idea badania ELISPOT (ang. enzyme-linked immunospot assay) wykorzystywanego do opracowania nowej prognozowania stanu nerki po przeszczepie została opisana
we wcześniejszych pracach autorów artykułu [2, 3] oraz w literaturze medycznej [4, 5, 6, 7, 9, 13,
14]. Pomimo istniejących rozwiązań komercyjnych [1, 8, 10, 11, 12, 15] zdecydowano się na
zaprojektowanie własnego systemu przetwarzania i analizy obrazów, który nazwano SpotView.
Potrzeba taka wynikała z faktu, iż oprogramowanie komercyjne nie realizowało wszystkich zadań
niezbędnych dla przeprowadzenia badania ELISPOT w zakresie niezbędnym dla opracowania
naukowego [3].
2. Charakterystyka badanego obrazu
Badane obrazy uzyskuje się poprzez fotografowanie obiektu aparatem cyfrowym wyposażonym w optykę pozwalającą na uzyskanie powiększenia ok. 20x. Obrazy barwne zapisywane są w
D. Wójcicki, Sz. Grabowski, W. Bieniecki, K. Kościelska-Kasprzak
Algorytmy przetwarzania wstępnego obrazów mikroskopowych w badaniu aktywności wydzielniczej limfocytów
formacie JPEG. Program nie zawiera interfejsu do komunikacji z aparatem, w związku z tym
zdjęcia przygotowywane są off-line.
Dostarczone do analizy obrazy mają rozdzielczość 2272 x 1704 lub 1600 x 1200 (Rys. 1) i są
obrazami w przestrzeni barw RGB, jednak informacja o kolorze w procesie wstępnej analizy nie
jest wykorzystywana.
Rys.1. Obraz uzyskany metodą ELISPOT
Obserwowany obszar zainteresowania ma kształt koła o stałej średnicy 6 mm. Utrudnieniem
podczas analizy obrazu jest nierównomierne oświetlenie obrazu – przy brzegach obszaru obraz
jest ciemniejszy niż w centrum.
3. Proponowany algorytm przetwarzania wstępnego
W niniejszym artykule opisana jest wyłącznie część przetwarzania obrazu dotycząca przygotowania obrazu do segmentacji i identyfikacji obiektów. Wykorzystując specyfikę nieprzetworzonych obrazów rozpoznawany jest brzeg studzienki. Obszarem zainteresowania dla obrazu:
I =
jest podzbiór:
ROI
=
{( x , y ) : ( x , y ) ∈ [0 , M ]× [0 , N ]}
{(x , y )∈
I : (x 0 − x
)2
+
(y 0
− y
)2
(1)
≤ R
2
}
(2)
czyli kolisty fragment obrazu (Rys. 1), wewnątrz którego widać tylko membranę z widniejącymi
na niej plamami. Aby wyznaczyć ten obszar, należy znaleźć wektor (x0, y0, R).
3.1. Wykrywanie punktów brzegu studzienki obszaru zainteresowania
Zaproponowany algorytm rozpoczyna pracę od znalezienia pewnych punktów należących do
lewego oraz do prawego brzegu obszaru zainteresowania (Rys. 2). Analizowana jest wartość ja-
XIII Konferencja „Sieci i Systemy Informatyczne”
Łódź, październik 2005
sności w linii poziomej. Przyjmujemy, że piksel stanowiący początek linii należy do tła, a koniec
linii należy do ROI. Ze względu na fakt, że tło jest ciemniejsze niż ROI (Rys. 2) wykrycie ciemnych pikseli nie jest poddawane dalszej analizie. Po wykryciu wzrostu jasności o 20% zaczyna
działać algorytm poszukujący lokalnego minimum funkcji rozkładu jasności w obrazie.
yR1
yLn
yR2
yLn-1
yR3
yL4
yR4
yL3
yRn-1
yL2
yRn
yL1
Rys. 2. Algorytm wykrywania linii brzegowej ROI
Funkcja jasności ma tendencję wzrostową do miejsca wystąpienia lokalnego minimum oznaczającego wystąpienie brzegu probówki (Rys. 2 i 3), następnie funkcja jasności ponownie wzrasta
do poziomu średniego dla całego obszaru ROI. Przeglądając punkty w kierunku rosnących wartości x szukamy punktu minimum lokalnego występującego zaraz za maksimum lokalnym. Detekcja
kończy się sukcesem, jeżeli różnica pomiędzy znalezionymi maksimum i minimum jest większa
niż 20% całego zakresu jasności. Brzeg ROI nie zostaje wykryty w każdym przebiegu algorytmu
(ze względu na złe uwarunkowanie obrazu) jednak liczba wykrytych punktów jest zazwyczaj
wystarczająca do dalszych obliczeń dla wybranego zbioru linii poziomych (wystarczy około 20
linii równomiernie rozłożonych na całej wysokości obrazu) o współrzędnych y L1 , y L 2 ,K, y Ln
(Rys. 2).
Dodatkowo zastosowano warunek odpowiedniej szerokości minimum lokalnego, ze względu
na ziarnistość obrazu. Szerokość minimum musi wynosić 0,5% szerokości całego obrazu. Dla
badanych obrazów było to 8 – 11 pikseli. Dla małych obrazów przyjęto minimalną szerokość na 2
piksele.
D. Wójcicki, Sz. Grabowski, W. Bieniecki, K. Kościelska-Kasprzak
Algorytmy przetwarzania wstępnego obrazów mikroskopowych w badaniu aktywności wydzielniczej limfocytów
Rys. 3. Rozkład jasności obrazu dla współrzędnej y = 300
Analogiczną operację należy wykonać dla prawej strony obrazu.
Działanie algorytmu wykrywania punktów brzegowych ilustruje Rys. 4. Widoczne jest, że poza prawidłowymi punktami brzegowymi studzienki wykryte zostają dwa rodzaje punktów. Po
pierwsze są to lokalne minima, zanim zostanie osiągnięty brzeg studzienki. Drugim rodzajem
błędnie wykrytych punktów brzegowych są punkty plam wewnątrz ROI, jest to wynikiem słabo
wyróżniającego się na zdjęciu brzegu studzienki lub zbyt małego kontrastu w miejscu przewidywanym dla punktów brzegowych. W celu ograniczenia złożoności obliczeniowej błędnie wykryte
punkty nie są usuwane na tym etapie wykrywania ROI.
Rys. 4. Obraz po wykryciu punktów brzegowych
XIII Konferencja „Sieci i Systemy Informatyczne”
Łódź, październik 2005
3.2. Wyznaczenie obszaru zainteresowania
Punkty wyznaczone przez poprzedni algorytm łączymy w pary tak, aby para zawierała jeden
punkt z lewej krawędzi i jeden punkt z prawej krawędzi (Rys. 5).
pR1
pLn
pR2
pLn-1
pR3
pL4
Sn
pL3
Sn-1
pR4
S1
S2
S4 S3
pRn-1
pL2
pL1
pRn
Rys. 5. Wyznaczanie środka okręgu ROI
Dla odcinków łączących te punkty (oznaczonych białą linią przerywaną) wyznacza się symetralne S1, S2 … Sn (czarne linie ciągłe) i oznacza punkty przecięcia symetralnych, przy czym wyznacza się punkt przecięcia symetralnej S1 z symetralną Sn, następnie Sn z S2 itd. Wartość średnia
(po usunięciu błędów grubych) z obliczonych punktów przecięcia symetralnych jest szukaną wartością (x0, y0), a średnia odległość pomiędzy tym punktem a znalezionymi punktami p krawędzi
jest wartością R. Dla zwiększenia dokładności wyznaczania brzegu studzienki usuwa się ze zbioru
punktów brzegowych te elementy, które odbiegają od wyliczonego promienia o więcej niż 4%
wielkości obrazu. Wyniki obliczania okręgu ROI po dwóch przebiegach algorytmu, z usunięciem
punktów błędnie przyjętych jako brzeg przedstawiono na Rys. 6. Białymi punktami oznaczono
znalezione punkty krawędzi obszaru, a okręgiem zaznaczono znaleziony obszar.
D. Wójcicki, Sz. Grabowski, W. Bieniecki, K. Kościelska-Kasprzak
Algorytmy przetwarzania wstępnego obrazów mikroskopowych w badaniu aktywności wydzielniczej limfocytów
Rys. 6. Wynik działania algorytmu wykrywającego ROI dla dwóch obrazów testowych
Podsumowanie
Precyzyjne wyznaczenie obszaru zainteresowania (zwłaszcza średnicy okręgu) jest ważnym
etapem przetwarzania wstępnego obrazu w systemie SpotView. Na podstawie średnicy ROI wyrażonej w pikselach obliczana jest bowiem odpowiednia skala dla pomiarów morfometrycznych
obrazu.
Wcześniejsze wersje programu SpotView umożliwiały wyznaczanie obszaru zainteresowania
jedynie przez użytkownika systemu. Automatyzacja tego etapu pozwala na przyspieszenie procesu
przetwarzania obrazu. Jednocześnie pozostawiono użytkownikowi możliwość korekcji wyznaczonego automatycznie obszaru. Podczas użytkowania systemu okazało się, że korekcja taka była
potrzebna jedynie w jednym przypadku na 30 analizowanych zdjęć, co potwierdza skuteczność
opracowanego algorytmu.
Literatura
[1] AID Autoimmun Diagnostika GmbH, Germany. http://www.elispot.com/ (link sprawdzony
18.07.2005)
[2] Bieniecki W., Sankowski D., Kościelska-Kasprzak K.: System analizy obrazów uzyskiwanych
w immunoenzymatycznej wizualizacji aktywności wydzielniczej limfocytów metodą ELISPOT.
Automatyka, t. 8. z. 3. Uczelniane Wydawnictwa Naukowo-Dydaktyczne, Kraków 2004, str.
63–71.
[3] Bieniecki W., Grabowski Sz., Sankowski D., Kościelska-Kasprzak K., Bernat B., Klinger M.:
An Efficient Processing and Analysis Algorithm for Images Obtained from Immunoenzymatic
Visualization of Secretory Activity. Proceedings of the 8th International IEEE Conference
CADSM 2005, Lviv-Polyana, Ukraine 2005, pp. 458–460.
[4] Gebauer B. S., Hricik D. E., Atallah A., Bryan K., Riley J., Tary-Lehmann M., Greenspan N.
S., Dejelo C., Boehm B. O., Hering B. J., Heeger P. S.: Evolution of the enzyme-linked immu-
XIII Konferencja „Sieci i Systemy Informatyczne”
Łódź, październik 2005
nosorbent spot assay for post-transplant alloreactivity as a potentially useful immune monitoring tool. Am J Transplant. vol. 2, pp. 857–866, 2002.
[5] Heeger P. S. T-cell allorecognition and transplant rejection: a summary and update. Am J
Transplant. vol. 3, pp. 525–533, 2003.
[6] Hesse, M. D., A.Y. Karulin, B.O. Boehm, P.V. Lehmann, and M. Tary-Lehmann 2001. A T
cell clone's avidity is a function of its activation state. J. Immunol. 167: 1353–1361.
[7] Hricik D. E., Rodriguez V., Riley J., Bryan K., Tary-Lehmann M, Greenspan N, Dejelo C,
Schulak JA, Heeger PS.: Enzyme linked immunosorbent spot (ELISPOT) assay for interferongamma independently predicts renal function in kidney transplant recipients. Am J Transplant. 2003 Jul;3(7):878–84.
[8] Immunospot http://www.immunospot.com (link sprawdzony 18.07.2005)
[9] Karulin, A.Y., M.D. Hesse, M. Tary-Lehmann, and P.V. Lehmann. 2000: Single-cytokineproducing CD4 memory cells prevail in vivo, in type 1/type 2 immunity. J. Immunol.
164:1862–1872.
[10] Perceptive Instruments Ltd. http://www.perceptive.co.uk/colonycounter (link sprawdzony
18.07.2005)
[11] ScanAnalytics http://www.scananalytics.com (link sprawdzony 18.07.2005)
[12] Software Alpha Innotech Corporation http://www.adpsa.co.za/Alpha/ (link sprawdzony
18.07.2005)
[13] Tary-Lehmann M., Hricik D. E., Justice AC, Potter NS, Heeger PS: Enzyme-linked immunosorbent assay spot detection of interferon-gamma and interleukin 5-producing cells as a
predictive marker for renal allograft failure. Transplantation. 1998 Jul 27;66(2):219–224.
[14] Versteegen J. M., Logtenberg T., Ballieux R. E.: Enumeration of IFN-gamma-producing
human lymphocytes by spot-ELISA. A method to detect lymphokine-producing lymphocytes at
the single-cell level. J Immunol Methods. 1988 Jun 28;111(1):25–29.
[15] Zeiss KS Elispot http://www.zeiss.de/elispot/ (link sprawdzony 18.07.2005)
Afiliacje
DOMINIK WÓJCICKI
Dyplomant w Katedrze Informatyki Stosowanej Politechniki Łódzkiej
al. Politechniki 11, 90-924 Łódź, tel. (42) 631 2753
[email protected]
MGR INŻ. WOJCIECH BIENIECKI
Katedra Informatyki Stosowanej Politechniki Łódzkiej
al. Politechniki 11, 90-924 Łódź, tel. (42) 631 2753
[email protected]
DR SZYMON GRABOWSKI
Katedra Informatyki Stosowanej Politechniki Łódzkiej
D. Wójcicki, Sz. Grabowski, W. Bieniecki, K. Kościelska-Kasprzak
Algorytmy przetwarzania wstępnego obrazów mikroskopowych w badaniu aktywności wydzielniczej limfocytów
al. Politechniki 11, 90-924 Łódź, tel. (42) 631 2753
[email protected]
DR KATARZYNA KOŚCIELSKA-KASPRZAK
Akademia Medyczna im. Piastów Śląskich we Wrocławiu, Wydział Lekarski Kształcenia Podyplomowego, Katedra i Klinika Nefrologii i Medycyny Transplantacyjnej
ul. Traugutta 57/59, 50-417 Wrocław
tel. (071)-3700261, fax (071)-3418308
[email protected]
Badania naukowe realizowane są w ramach grantu Ministerstwa Nauki i Informatyzacji nr
3T11E02929: „Opracowanie systemu analizy obrazów uzyskiwanych w immunoenzymatycznej
wizualizacji aktywności wydzielniczej limfocytów metodą ELISPOT”.