Show publication content!

Prof. dr hab. inż. Marek Kurzyński
Politechnika Wrocławska
Wydział Elektroniki
Katedra Systemów i Sieci Komputerowych
Wrocław, 30.11.2013
RECENZJA
rozprawy doktorskiej Pani mgr inż. Aleksandry ŚWIETLICKIEJ
pt. Stochastyczny model biologicznej sieci neuronowej oparty na kinetycznych schematach
Markowa
1.
Zakres tematyczny rozprawy
Modelowanie działania neuronów biologicznych i złożonych z nich sieci neuronowych
jest przedmiotem intensywnych badań od połowy ubiegłego wieku, co wynika z dwóch
okoliczności. Z jednej strony jest to aspekt poznawczy związany z dążeniem do jak
najlepszego zrozumienia działania układu nerwowego zarówno w makroskali dotyczącej
funkcjonowania poszczególnych struktur anatomicznych układu (np. interakcje pomiędzy
neuronami, transmisja synaptyczna, procesy psychofizjologiczne), jaki i mikroskali, na
poziomie elementarnych zjawisk chemicznych i elektrycznych zachodzących w
poszczególnych komórkach (np. mechanizmy generowania impulsów, propagacja impulsu).
Korzystając z modelu matematycznego można np. symulować procesy i zdarzenia trudne lub
niemożliwe do wykonania w warunkach rzeczywistych, można weryfikować
neurofizjologiczne hipotezy badawcze, czy identyfikować ewentualne braki w materiale
doświadczalnym podczas badań eksperymentalnych. Drugi aspekt ma charakter praktyczny i
wiąże się ze znaną i szeroko wykorzystywaną inspiracją dyscyplin biologicznych do
tworzenia metod i procedur (struktur, systemów) obliczeniowych, które – poprzez wynikające
z tych inspiracji rozwiązania analityczne i/lub heurystyki – prowadzą do efektywnych
formalnych narzędzi do rozwiązywania trudnych problemów decyzyjnych w szerokim
zakresie różnorodnych zastosowań. Przykładami takich działań mogą być sztuczne sieci
neuronowe, algorytmy ewolucyjne, czy metody rojowe.
Recenzowana rozprawa dotyczy właśnie problematyki modelowania biologicznych
neuronów i sieci neuronowej oraz zastosowania opracowanych modeli do analizy
technicznych obiektów dynamicznych oraz w zadaniu aproksymacji funkcji. Autorka skupiła
się na modelach stochastycznych, które w sposób naturalny opisują nieprzewidywalną naturę
oraz statystyczną różnorodność komórek nerwowych, i dodatkowo prowadzą do prostszej
implementacji w porównaniu z modelami deterministycznymi.
Tematykę rozprawy uważam za w pełni uzasadnioną, interesującą i aktualną dla
współczesnych prac z zakresu matematycznego modelowania procesów i obiektów
biomedycznych i zastosowania takich modeli do budowy komputerowych systemów
obliczeniowych i podejmowania decyzji.
2. Zawartość rozprawy
Opiniowana praca składa się z 8 rozdziałów, zestawienia symboli i skrótów oraz spisu
literatury zawierającego 64 pozycje i obejmuje 120 stron maszynopisu. We wstępie
przedstawiono motywację podjęcia tematu rozprawy, określono zakres pracy oraz na szeroko
nakreślonym tle literaturowym sformułowana została teza i cele pracy. Przedstawiono tutaj
także strukturę rozprawy i zawartość poszczególnych rozdziałów. Rozdział 2 obejmuje
przykłady zastosowań impulsowych sieci neuronowych opartych na modelu neuronu
integrate-and-fire lub resonate-and-fire. Przykłady te dotyczą różnych aspektów robotyki i
automatyki (sterowanie manipulatorem robota, widzenie maszynowe, realizacja regulatora
PID, układ sterowania serwomechanizmem) i demonstrują szerokie możliwości wybranych
modeli biologicznych komórek i sieci neuronowych w zastosowaniach technicznych.
Rozdział 3 poświęcony został modelom matematycznym pojedynczej komórki nerwowej.
W pierwszej kolejności przedstawiony został klasyczny model Hodgkina-Huxleya, który –
choć zaproponowany ponad 60 lat temu – ciągle jest wykorzystywany wraz z różnymi swoimi
wariantami do konstrukcji mniej lub bardziej realistycznych modeli komórek nerwowych,
stanowiąc tym samym jeden z ważnych paradygmatów neurobiologii obliczeniowej.
Następnie przedstawiono wariant stochastyczny modelu HH uzyskany przez wprowadzenie
zakłócenia umożliwiającego modelowanie stochastycznego zachowania kanałów jonowych.
Kolejne rozszerzenie modelu to wprowadzenie tzw. kinetycznych schematów Markowa, które
poprzez pojęcie stanu wraz z charakterystykami probabilistycznymi pozwalają opisać
prawdopodobieństwa znalezienia się kanału jonowego w określonym stanie oraz
prawdopodobieństwa przejścia pomiędzy stanami. Kinetyczny model HH został dalej
przedstawiony w dwóch wariantach (deterministyczny i stochastyczny model kinetyczny),
które stanowią punkt wyjścia do przedstawionego w rozdziale oryginalnego wariantu modelu
HH zwanego kinetycznym modelem komórki nerwowej z rozszerzonym schematem
Markowa, również w wersji deterministycznej i stochastycznej. Autorski model został
zilustrowany bogatymi wynikami badan symulacyjnych.
W rozdziale 4 przedstawione zostały metody uczenia modelu komórki nerwowej
pozwalających przystosować go do zadanego potencjału wzorcowego. Na tle opisu metody
gradientu prostego i jej wykorzystania w podstawowym modelu HH przedstawione zostało
autorskie rozszerzenie metody uczenia na przypadek stochastycznego modelu kinetycznego
neuronu zilustrowane dodatkowo wynikami badań eksperymentalnych.
Dwa kolejne rozdziały stanowią naturalne rozbudowanie modeli i metod uczenia z
rozdziałów 3 i 4 na przypadek struktur neuronów biologicznych tworzących sieć neuronową. I
tak, w rozdziale 5 opisano model Hodgkina-Huxleya sieci neuronowej o strukturze
drzewiastej oraz jego autorskie rozszerzenie na deterministyczny i stochastyczny model
kinetyczny sieci neuronowej. Wszystkie przedstawione modele zostały eksperymentalnie
zweryfikowane badaniami symulacyjnymi dla różnych struktur sieci neuronowej. Z kolei
rozdział 6 zawiera prezentację algorytmów uczenia biologicznych sieci neuronowych
opisanych stochastycznym modelem kinetycznym, w których parametry modelu są strojone
poprzez łączne zastosowanie metody mnożników Lagrange’a i metody gradientu prostego.
Proces uczenia został zilustrowany przykładowymi wynikami.
W rozdziale 7 przedstawione zostały przykłady zastosowania opracowanych modeli
biologicznych komórek neuronowych w wybranych problemach obliczeniowych i
decyzyjnych. Jest to zadanie aproksymacji funkcji prostokątnej oraz problem lokalizacji w
przestrzeni obiektu na podstawie pomiaru przyspieszeń liniowych i kątowych oraz zwrotu i
siły ziemskiego pola magnetycznego. Zademonstrowano tu dodatkowo sposób przygotowania
modelu pod implementację równoległą z wykorzystaniem kart graficznych.
Pracę podsumowuje rozdział 8, w którym przedstawiono syntetyczne wnioski wynikające
z realizacji rozprawy oraz sugestie dalszych prac.
2
Przedstawiona rozprawa prezentuje najważniejsze rezultaty objęte jej tematyką w
logicznym układzie oraz w szerokim kontekście aktualnego stanu wiedzy w zakresie
modelowania biologicznych komórek nerwowych i ich struktur w postaci sieci neuronowych,
a także procesów uczenia komórek i ich struktur. Na szczególnie pozytywne podkreślenie
zasługuje dbałość autorki o wysoki poziom edytorski oraz bogata i staranna strona graficzna
obejmująca liczne ilustracje przedstawiające w wygodnej formie wyniki badań
eksperymentalnych oraz przeprowadzonych symulacji. Chociaż ogólnie zakres pracy i sposób
ujęcia materiału oceniam pozytywnie, to należy tu wnieść uwagę krytyczną dotyczącą zbyt
słabego rozróżnienia pomiędzy treściami zaczerpniętymi z literatury, a oryginalnym wkładem
autorskim. Ponieważ oryginalny zestaw wyników nie budzi wątpliwości, dlatego – zdaniem
recenzenta – zasługuje on na wyraźne podkreślenie, dokładne wyszczególnienie i
odpowiednie wyeksponowanie, zarówno w trakcie prowadzonych wywodów, jak i w formie
syntetycznej np. we wstępie lub w podsumowaniu.
3. Uzyskane wyniki
Celem pracy było wykazanie następujących tez (cyt.):
1. Możliwe jest efektywne sterowanie w czasie rzeczywistym obiektami automatyki i robotyki
z wykorzystaniem sztucznej inteligencji, bazującym na impulsowym modelu neuronu
wynikającym z odpowiednio zmodyfikowanego opisu neuronu Hodgkina-Huxleya;
2. Z uwagi na dużą złożoność obliczeniową istniejących modeli biologicznych komórek
neuronowych, możliwe jest zbudowanie takich modeli, w których wierność procesów
odtwarzania będzie większa od dotychczasowych przy jednoczesnym obniżeniu nakładów
niezbędnych do obliczeń;
3. Wykorzystanie w zagadnieniach aproksymacji – można skonstruować matematyczny
model neuronu biologicznego, który zdolny jest aproksymować wybraną funkcję
nieliniową jednej zmiennej z dowolną dokładnością aproksymacji.
Wykazanie prawdziwości tez wymagało od doktorantki opracowania oryginalnych modeli
biologicznych komórek nerwowych i sieci neuronowych o określonej strukturze, opracowanie
algorytmów uczenia zamodelowanych komórek i sieci oraz zastosowanie opracowanych
modeli i procesów uczenia do określonych problemów sterowania i aproksymacji funkcji, a
także porównania uzyskanych wyników z metodami istniejącymi. Tak więc, realizacja
sformułowanego celu doprowadziła do szeregu szczegółowych i konkretnych osiągnięć, które
można ująć w następujące punkty:
1. Zaproponowanie poszerzonego kinetycznego modelu Hodgkina-Huxleya biologicznej
komórki nerwowej. Opracowany model, który wykorzystuje rozbudowany kinetyczny
schemat Markowa przedstawiający możliwe stany kanałów jonowych pozwala na
pełniejszy opis komórek nerwowych i na budowę modelu biologicznej sieci nerwowej z
różniącymi się modelami poszczególnych komórek. Model kinetyczny bazuje na
diagramach stanów, w których prawdopodobieństwa wystąpienia określonego stanu
opisane są schematem Markowa. Zaproponowany model występuje w dwóch wersjach.
Pierwszą stanowi model deterministyczny, w którym oddzielnie rozpatrywane są
poszczególne kanały jonowe, drugą natomiast model stochastyczny, gdzie analizuje się
średnią liczbę kanałów zmieniających stan przyjmując, iż jest to zmienna losowa o
rozkładzie dwumianowym. Przykładowe wyniki implementacji modelu pokazały jego
zgodność z innymi modelami zbudowanymi na bazie modelu HH (regularne skoki
potencjału o częstotliwości rosnącej ze wzrostem prądu wymuszającego) oraz umożliwiły
demonstrację różnicy pomiędzy przebiegiem potencjału dla modelu stochastycznego i
deterministycznego.
3
2. Opracowanie modelu sieci neuronowych opartego na podstawowym modelu HodgkinaHuxleya oraz na koncepcji rozszerzenia kinetycznego schematu Markowa. W
zaproponowanym modelu, w odróżnieniu od modelu sieci neuronowej HH, funkcja
konduktancji ma postać wynikającą ze schematu kinetycznego Markowa z odpowiednią
liczba stanów dla kanałów jonowych sodu i potasu opisujących procesy przepuszczania
lub nieprzepuszczania tych jonów przez błonę komórkową. Model posiada również dwa
warianty (deterministyczny i stochastyczny), których różnica jest analogiczna, jak dla
kinetycznego modelu pojedynczej komórki nerwowej. Ponieważ istotą modelu sieci
neuronowej jest traktowanie jej jako struktury rozłożonej przestrzennie (komórka
nerwowa jest elementem punktowym), dlatego model ujmuje potencjał na błonie komórki
o określonym kształcie. Przyjmuje się tutaj kształt drzewiasty wynikający z dendrytowej
budowy neuronu. W przeprowadzonych badaniach eksperymentalnych rozpatrywano
prostą sieć zbudowaną z jednego odcinka oraz drzewa binarne o pięciu i siedmiu
gałęziach. Analiza modelu wiąże się z dyskretyzacją i podziałem struktury sieci (punkty
początkowe, rozgałęzienia sieci i końcowe) oraz z wyznaczeniem zmian wartości
potencjałów w poszczególnych dyskretnych taktach czasu dla zadanych warunków
początkowych. Rozwiązywane równania mają postać wektorowo-macierzową z tzw.
macierzą systemową zawierającą parametry geometrii poszczególnych gałęzi sieci i z
macierzą diagonalną związaną z punktami rozgałęzień struktury drzewa. Opracowany
model został poddany badaniom dla 3 wymienionych typów struktury sieci. Uzyskane
wyniki symulacji przebiegu potencjału w wybranych punktach struktury sieci
odpowiadają przebiegom rzeczywistym i pokazują, iż modele stochastyczny i
deterministyczny dają porównywalne wyniki, co – wobec prostszej implementacji modelu
stochastycznego – pozwala go rekomendować do praktycznych zastosowań.
3. Zaproponowanie algorytmów uczenia dla stochastycznego modelu kinetycznego neuronu
oraz dla kinetycznego modelu biologicznej sieci neuronowej. W rozpatrywanych
zadaniach, uczenie polega na takim doborze określonych parametrów modeli neuronów,
aby uzyskać zadany przebieg potencjału na błonie komórkowej, zgodny z potencjałem
wzorcowym. W przypadku stochastycznego modelu kinetycznego, proces uczenia oparty
jest na minimalizacji błędu średniokwadratowego z iteracyjnym algorytmem
gradientowym, a różnica w porównaniu z podstawowym modelem HH wynika ze
specyfiki modelu stochastycznego, w którym reprezentacja przepływu jonów przez błonę
komórkową wyznaczana jest w procesie losowym. Przykładowe porównanie procesu
uczenia modelu HH i kinetycznego modelu stochastycznego pokazuje, iż czas trenowania
(czas pojedynczej iteracji) dla modelu kinetycznego jest znacznie krótszy przy
porównywalnych wynikach dopasowania do przebiegu wzorcowego. W zadaniu uczenia
modelu kinetycznego biologicznych sieci neuronowych do aktualizacji parametrów
modelu zastosowana została metoda gradientowa w połączeniu z metodą mnożników
Lagrange’a. Wynika to z faktu, iż minimalizacji podlega – jak poprzednio – błąd
średniokwadratowy dla wybranych punktów struktury, ale dodatkowo, przy
ograniczeniach związanych z opisem potencjału na błonie komórkowej w tych punktach.
4. Zastosowanie opracowanych modeli biologicznych komórek i sieci neuronowych w
wybranych zadaniach praktycznych. Zgodnie ze sformułowanymi tezami, przedstawione
zostały dwa przykłady ilustrujące możliwości modelu kinematycznego biologicznej
komórki nerwowej uczonej przy pomocy gradientowej metody optymalizacji. Pierwszy
przykład dotyczy zadania aproksymacji funkcji prostokątnej przy pomocy pojedynczej
komórki nerwowej z kinetycznym modelem stochastycznym. W zadaniu tym, jako
wielkości wejściowe (w modelu jest to prąd wymuszający) zadawane są wartości
argumentu funkcji, a odpowiedzi modelu (wartości potencjału na błonie komórkowej)
stanowią wartości aproksymowanej funkcji. Przeprowadzona symulacja pokazuje krótki
4
czas nauki (niecałe 6 sek.) oraz bardzo dobre dopasowanie funkcji aproksymującej do
oryginału (maksymalny błąd rzędu 10-5). Drugi przykład wiąże się z systemem AHRS
(Attitude and Heading Reference System) umożliwiającym wyznaczenie orientacji obiektu
w przestrzeni na podstawie danych pochodzących z akcelerometru, żyroskopu i
magnetometru. Wynikiem działania systemu są tzw. kąty Eulera określające położenie
obiektu wzg. 3 prostopadłych osi obrotu. Ponieważ algorytm wyznaczania kątów Eulera w
systemie AHRS jest złożony obliczeniowo (duża liczba operacji macierzowych), dlatego
zaproponowano i przebadano eksperymentalnie alternatywne rozwiązanie, w którym
zastosowano sztuczną sieć neuronową Elmana w połączeniu z modelami biologicznych
komórek nerwowych. Trzy wyjścia sieci Elmana (kąty Eulera względem 3 osi) podane
zostały na 3 neurony biologiczne, których zadaniem było wygładzenie (uzyskanie wyniku
o większej precyzji) wartości uzyskanych na wyjściu sztucznej sieci neuronowej.
Przeprowadzone badania eksperymentalne dowodzą, iż zastosowanie modeli neuronów
biologicznych pozwoliło na znaczące zmniejszenie błędu w wyznaczeniu katów Eulera
względem wartości referencyjnych.
4. Uwagi szczegółowe
W recenzowanej rozprawie dostrzega się usterki, które można ująć w następujące punkty:
1. Wśród przykładów praktycznych zastosowań zabrakło takiego, który wprost odnosiłby
się do zadania sterowania, a więc bezpośrednio potwierdzałby pierwszą tezę rozprawy. W
konsekwencji, pierwsza teza została wykazana poprzez przytoczony w rozdziale 2
przegląd literaturowy oraz poprzez zastosowanie opracowanego modelu w zadaniu
lokalizacji obiektu dynamicznego, które – jak się wydaje – może być ważnym etapem w
zadaniu sterowania tym obiektem. Należało jednak – zdaniem recenzenta – ten fakt
wyraźnie podkreślić i przeanalizować układ sterowania quadrocopterem umieszczając w
jego strukturze blok odpowiedzialny za lokalizację przestrzenną sterowanego obiektu.
2. Z punktu widzenia sformułowanych tez oraz przeprowadzonych porównawczych badań
symulacyjnych modeli ważne jest jednoznaczne określenie różnic uzyskanych wyników.
W wielu przypadkach autorka stosuje słowne określenia (np. wyniki o podobnej precyzji),
które są efektem subiektywnego odczucia przy oglądaniu graficznej prezentacji
odpowiedzi modeli na identyczne pobudzenie. Można by takiej niejednoznaczności
uniknąć, gdyby przeprowadzić statystyczną analizę wyników, np. poprzez weryfikację
hipotezy o braku statystycznie istotnej różnicy (na przyjętym poziomie istotności)
pomiędzy wynikami porównywanych metod.
3. W zadaniu aproksymacji funkcji prostokątnej autorka podkreśla, iż zastosowanie do tego
zadania sztucznej sieci neuronowej wymagałoby sieci z jedną warstwą ukrytą, natomiast
w przypadku modelu biologicznego wystarczy pojedynczy neuron. Takie stwierdzenie
wcale nie musi oznaczać, iż sztuczna sieć neuronowa będzie prowadziła do gorszych
wyników (dłuższy czas lub/i gorsza jakość aproksymacji). Należało również dokonać
aproksymacji z wykorzystaniem sztucznej sieci neuronowej i uzyskane liczbowe wyniki
dla obu zastosowanych metod porównać.
4. Brak opisu diagramów stanu (3.21) i (3.22) ((3.21) i (3.22) nie są – jak napisano –
równaniami), w szczególności brak komentarza dotyczącego różnic pomiędzy modelem
kinetycznym (3.14) –(3.17), a autorskim kinetycznym modelem rozszerzonym (3.21) –
(3.24). Komentarza wymagałyby również wyniki symulacji (np. porównanie przebiegów
potencjału na błonie komórkowej dla kinetycznego modelu podstawowego (rys. 3.6 i 3.7)
i dla kinetycznego modelu rozszerzonego (rys. 3.11 – 3.14) w wersji deterministycznej i
stochastycznej.
5. W badaniach symulacyjnych kinetycznego modelu rozszerzonego podkreśla się, że
można dla niego (cyt.) zaobserwować te same cechy modelu, charakterystyczne dla
5
wszystkich modeli Ę Hąsy, otaz że poptzez
one symulacje (cyt.) wylwzały,
że model ten z podobnq precyzjq opisuje procesy zachodzqce na Nonie kłmórkowej.
Powstaje zatęm pytanie, jaki był §en§ opracowania nowego, bardziej ńożonego modelu
oraz jak wyelądety badania" które pozwoliły rła wyciągnięcie wniosku o podobnej
6.
7.
8.
precyzji porównywanyclł rnetod (rrie zostĄ one opisane w pracy}.
Brak dyskusji związanej z porównaniem wyników symulacji dla dwóch modeli sieci
neuronowych (rys. 5.2,5.4 i 5.6 oraz rys. 5.7, 5.8 i 5.9)
Usterki językowe -np. biologiczne modele kłmórek (str.8)" ...najlepiej odwzorowuje ...
w najlepszy sposób (str. 41), pruszajqc się wgłqb {69).
Wszystkie wzory i formuły matematyczne naleĘ traktować jako fragmenty zdań, w
kontekście których się pojawiły. amacza to, że w wzorarh powinny wyĘpić
odpowiednieznaki interpunkcyjne (np. przecinekprzeó słowem gdzie, kropka, gdy wzór
kończy zdanie)"
5. Podsumowanie recenzji
-
ocen& rozprawy
Reasumując stwierdzam, D Pani mgr inZ. Aleksandra Świetlicka wykazał się duzą wiedą
z zakresu matematycznego modelowania biologicznych komórek nerwowych i ich struktur
oraz komputerowej implementacji Ęch modeli i prowadzeniabadań synrulacyjnych, a także
opanowaniem i właściwymposfugiwaniem się odpowiednim wusńatem bńawcrym.
Przedstawiona praca zavłiera poprawnie sformułowany i ramłiązany problem badawczy araz
stanowi wartościolvy wkład w óńędzinę kornputerowego modelowania obiektów i procesów
biologioznych i jego technicznych zastosowań- 7avłarte w niej rezultaty obejmujące modele
biologicznych komórek i ioh strukfur, algorytmy uczenia, badania synłulacyjrre ataz
przykłady zastosowań, są oryginalne i zostały pruedstawione w logicznym układzie i na
wysokim poziomie matemaĘcznych formalizmów. {Jwazam, że praca doktorska Pani mgr
inż. Aleksandry Świetlickiej speŁria wymogi stawiane pracom doktorskim przez odpowiednią
Ustawę i wnioskuję o dopuszczenie jej do publicznej obrony.
h,ŁF
6