Alternatywne modele neuronów i wªa±ciwo±ci ich sieci

Uniwersytet Marii Curie-Skªodowskiej
w Lublinie
Wydziaª Matematyki, Fizyki i Informatyki
Beata Joanna Grzyb
Alternatywne modele neuronów
i wªa±ciwo±ci ich sieci
(Alternative neuron models
and properties of their networks)
Praca magisterska wykonana
w Zakªadzie Ukªadów Zªo»onych
i Neurodynamiki
pod kierunkiem naukowym
Prof. dr hab. Wiesªawa A. Kami«skiego
Lublin 2007
Spis tre±ci
Spis rysunków
4
Spis tablic
6
Wst¦p
7
1 Neuron biologiczny i jego wªa±ciwo±ci
10
1.1
Rodzaje neuronów
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
1.2
Ogólna budowa neuronu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
1.3
Potencjaª spoczynkowy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
1.4
Potencjaª czynno±ciowy
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
1.5
Budowa i rodzaje synaps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
1.6
Szybkie przeka¹nictwo synaptyczne . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
1.7
Neuronalna reprezentacja informacji
16
1.8
Najwa»niejsze cechy i charakterystyki neuronu
. . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . .
2 Modele neuronów biologicznych
17
21
2.1
Klasykacja modeli neuronów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
2.2
Model Integrate-and-re . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
2.3
Model Resonate-and-Fire
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
2.4
Model Hodgkina-Huxleya
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
2.5
Model FitzHugh-Nagumo
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.6
Model Morrisa-Lecara
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
2.7
Model Hindmarsha-Rose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
2.8
Model Izhikevicha
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
2.9
Model FC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
2.10 Porównanie wªa±ciwo±ci modeli neuronów
2
. . . . . . . . . . . . . . . . . . . . . . .
42
3 Sieci neuronów biologicznych
44
3.1
Sieci neuronów impulsowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
44
3.2
Koncepcja oblicze« pªynowych
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
3.3
Budowa maszyny pªynowej
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
50
3.4
Biologiczne przesªanki maszyny pªynowej
3.5
Wªa±ciwo±ci maszyny pªynowej
3.6
. . . . . . . . . . . . . . . . . . . . . . .
52
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
53
Maszyna pªynowa a maszyna echowa . . . . . . . . . . . . . . . . . . . . . . . . . .
54
4 Wªa±ciwo±ci maszyny pªynowej dla ró»nych modeli neuronów
4.1
Model maszyny pªynowej
4.2
Metody bada«
4.3
56
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
57
Wyniki bada« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
59
4.3.1
Aktywno±¢ neuronów w czasie symulacji . . . . . . . . . . . . . . . . . . . .
60
4.3.2
Odlegªo±¢ euklidesowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
61
4.3.3
Indywidualna i globalna entropia informacyjna
65
. . . . . . . . . . . . . . . .
5 Rozpoznawanie ekspresji twarzy przy u»yciu maszyny pªynowej
67
5.1
Systemy rozpoznawania ekspresji twarzy . . . . . . . . . . . . . . . . . . . . . . . .
67
5.2
Zbiór danych i ich reprezentacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
69
5.3
Architektura systemu
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
71
5.4
Wyniki bada« . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73
Podsumowanie
79
Bibliograa
81
3
Spis rysunków
1.1
Zró»nicowana struktura przestrzenna komórek nerwowych . . . . . . . . . . . . . .
10
1.2
Uproszczony wygl¡d neuronu i jego cz¦±ci skªadowe . . . . . . . . . . . . . . . . . .
11
1.3
Powstawanie potencjaªu spoczynkowego
12
1.4
Rejestracja potencjaªu czynno±ciowego w komórce
. . . . . . . . . . . . . . . . . .
14
1.5
Schematyczny przekrój synapsy . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
1.6
Podsumowanie najwa»niejszych wªa±ciwo±ci biologicznych neuronów
. . . . . . . .
19
2.1
Schematyczny wykres modelu
. . . . . . . . . . . . . . . . . . . .
23
2.2
Przykªadowe odpowiedzi modeli
resonate-and-re
2.3
Porównanie odpowiedzi modelu
integrate-and-re
2.4
Pomocniczy schemat dla modelu Hodgkina-Huxleya.
2.5
Wykresy funkcji dla
2.6
Przebieg
m(t)
2.7
Przebieg
n(t) + h(t).
2.8
Schemat modelu Morrisa-Lecara
2.9
Przykªadowe odpowiedzi modelu Morrisa-Lecara
oraz
. . . . . . . . . . . . . . . . . . . . . . . .
integrate-and-re
. . . . . . . . . . . . . . . . . . .
oraz
resonate-and-re
25
. . . . . .
26
. . . . . . . . . . . . . . . . .
27
m∞ (V ), n∞ (V ), h∞ (V ), τm (V ), τn (V ), τh (V )
. . . . . . . . . .
29
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
m∞ (V (t))
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
2.10 Ró»ne wzorce odpowiedzi modeli Hindmarsha-Rose.
. . . . . . . . . . . . . . . . .
2.11 Porównanie odpowiedzi neuronów kory ruchowej szczura i modelu Izhikevicha.
32
33
35
. .
37
2.12 Graczna interpretacja parametrów modelu Izhikevicha. . . . . . . . . . . . . . . .
38
2.13 Budowa modelu FC.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
2.14 Przekrój synapsy w modelu FC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
2.15 Schemat dziaªania modelu FC.
41
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.16 Porównanie wªa±ciwo±ci modeli neuronów
. . . . . . . . . . . . . . . . . . . . . . .
43
3.1
Wielowarstwowy perceptron.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
3.2
Rekurencyjna sie¢ neuronowa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
46
3.3
Impulsowa sie¢ neuronowa.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
3.4
Schemat dla reguªy Hebba.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
48
3.5
Sprz¦towa implementacja maszyny pªynowej.
4
. . . . . . . . . . . . . . . . . . . . .
49
3.6
Typowe wzory fal dla problemu XOR . . . . . . . . . . . . . . . . . . . . . . . . . .
50
3.7
Architektura maszyny pªynowej oraz jej neuronowa implementacja. . . . . . . . . .
51
3.8
Wªa±ciwo±¢ separowalno±ci losowo wygenerowanej maszyny LSM. . . . . . . . . . .
53
4.1
Model maszyny pªynowej.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
57
4.2
Ci¡gi impulsów podawane na siatkówk¦. Wzorzec W1. . . . . . . . . . . . . . . . .
58
4.3
Ci¡gi impulsów podawane na siatkówk¦. Wzorzec W2. . . . . . . . . . . . . . . . .
58
4.4
Odpowiedzi maszyny pªynowej zªo»onej z ró»nych modeli neuronów.
60
4.5
Odlegªo±ci euklidesowe stanów maszyny pªynowej zªo»enej z ró»nych modeli neuronów. 62
4.6
Odlegªo±¢ euklidesowa stanów maszyny pªynowej dla ró»nych modeli neuronów. . .
64
4.7
Entropia lokalna dla maszyny pªynowej zªo»enej z ró»nych modeli neuronów.
. . .
65
4.8
Entropia globalna dla maszyny pªynowej zªo»enej z ró»nych modeli neuronów. . . .
66
5.1
Przykªadowe zdj¦cia z bazy expresji twarzy JAFFE.
. . . . . . . . . . . . . . . . .
70
5.2
Reprezentacja gaborowska twarzy.
. . . . . . . . . . . . . . . . . . . . . . . . . .
70
5.3
Binarna reprezentacja cz¦±ci obrazu.
. . . . . . . . . . . . . . . . . . . . . . . . . .
71
5.4
Archiktektura maszyny pªynowej z zaznaczonymi poª¡czeniami wchodz¡cymi oraz
. . . . . . . .
wychodz¡cymi dla wybranego neuronu z warstwy ±rodkowej. . . . . . . . . . . . . .
5
71
Spis tablic
2.1
Oryginalne warto±ci równa« Hodgkina-Huxleya. . . . . . . . . . . . . . . . . . . . .
28
5.1
Porównanie algorytmów rozpoznawania ekspresji twarzy. . . . . . . . . . . . . . . .
69
5.2
Przykªady poprawnego rozpoznania emocji przez sie¢.
. . . . . . . . . . . . . . . .
74
5.3
Przykªady bª¦dnego rozpoznania emocji przez sie¢. . . . . . . . . . . . . . . . . . .
74
5.4
Porównanie wyników rozpoznania ekspresji obu reprezentacji twarzy. . . . . . . . .
75
5.5
Porównanie wyników rozpoznania ekspresji w poszczególnych grupach testowych dla
ró»nych modeli neuronów. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
76
5.6
Porównanie wyników rozpoznania ekspresji twarzy dla ró»nych modeli neuronów. .
77
5.7
Wyniki rozpoznania ekspresji przez badan¡ grup¦ osób.
78
6
. . . . . . . . . . . . . . .
Wst¦p
Pierwotn¡ inspiracj¦ sztucznej sieci neuronowej stanowiªa budowa naturalnych ukªadów nerwowych, a w szczególno±ci mózgu. Badania nad modelowaniem sztucznych sieci neuronowych zostaªy
1
zapocz¡tkowane wraz z wydaniem w 1943 roku historycznej pracy McCullocha i Pittsa , w której
przedstawiono matematyczny opis komórki nerwowej oraz powi¡zano go z problemem przetwarzania danych.
Perceptron
byª pierwszym praktycznie zastosowanym modelem sieci neuronowej. Zbudowany
zostaª w 1957 roku przez Rosenblatta i Wightmana jako system do rozpoznawania znaków alfanumerycznych z uczeniem jako metod¡ programowania. Dziaªanie perceptronu nie byªo zadowalaj¡ce
z punktu widzenia zasadniczego celu bada«.
Chocia» ukªad uczyª si¦ rozpoznawania, to nie ra-
dziª sobie z bardziej zªo»onymi znakami wykazuj¡c wra»liwo±¢ na zmian¦ skali rozpoznawanych
obiektów, ich poªo»enia w polu widzenia oraz zmiany ksztaªtu. W trakcie bada« zauwa»ono wa»n¡
zalet¡ perceptronu, a mianowicie jego zdolno±¢ do zachowywania poprawnego dziaªania nawet po
uszkodzeniu pewnej cz¦±ci jego elementów.
Pierwszym komercyjnym neurokomputerem byªa stworzona w 1960 roku przez Widrowa i Hoa
sie¢
Madaline
2
skªadaj¡ca si¦ z adaptacyjnych neuronów liniowych, zwanych równie» adalinami .
Sie¢ ta posiadaªa zdolno±¢ do adaptacyjnego przetwarzania sygnaªów i wykorzystywana byªa w radarach, sonarach oraz w telekomunikacji.
Rok 1969 byª rokiem upadku idei sztucznych sieci neuronowych. Ukazaªa si¦ wówczas ksi¡»ka
3
Minsky'ego oraz Paperta , w której skrytykowano ide¦ perceptronu pokazuj¡c na wielu przykªadach jego ograniczenia. Spowodowaªo to w rezultacie przerwanie bada« w tym kierunku w wielu
o±rodkach i wieloletni zastój w badaniach nad sieciami neuronowymi.
Nie oznacza to jednak,
»e w latach 70tych nie byªo »adnych osi¡gnie¢ w dziedzinie sieci neuronowych, z których warto
wymieni¢: stworzenie przez Werbosa nowego schematu uczenia sieci, badania nad pami¦ci¡ asocjacyjn¡ prowadzone przez Kohonena i Andersona, opracowanie przez Kohonena ucz¡cej si¦ bez
nauczyciela sieci neuronowej oraz wprowadzenie teorii adaptacyjnych sieci rezonansowych przez
Grossberga i Carpentera.
1 ang.
2 ang.
3 ang.
A logical calculus of the ideas immanent in nervous activity
ADAptive LInear NEuron
An introduction on computational geometry
7
Kolejne o»ywienie spowodowaªo opublikowanie w 1986 roku dwutomowej monograi opracowanej przez McClellanda i Rumelharta na temat równolegªego przetwarzania rozproszonego. Publikacja ta otworzyªa now¡ er¦ dla kiedy± niedocenionych mo»liwo±ci sieci warstwowych. Od poªowy
lat 80tych ubiegªego wieku zacz¡ª si¦ prawdziwy wy±cig, którego uczestnikami obok laboratoriów
badawczych s¡ tak»e rmy produkuj¡ce ukªady elektroniczne.
Przez caªe lata za podstawow¡ jednostk¦ obliczeniow¡ w mózgu uwa»ano komórke nerwow¡.
Ostatnie badania wykazaªy jednak, »e w ukªadach biologicznych pojedynczy neuron nie jest w stanie przetwarza¢ wszystkich docieraj¡cych do niego informacji. Rol¦ podstawowej jednostki obliczeniowej speªniaj¡ ukªady neuronów tworz¡ce mikroobwody. Do badania mikroobwodów stosuje si¦
obecnie gªównie symulacje komputerowe, których analiz¦ uwa»a si¦ za równowa»n¡ obserwacjom
biologicznym.
4
wych .
Nowatorskim podej±ciem do symulacji mikroobwodów jest teoria maszyn pªyno-
Wedªug niej fragmenty mózgu traktuje si¦ jako ukªady posiadaj¡ce okre±lone zdolno±ci
obliczeniowe. Model maszyny pªynowej nie wymaga szczegóªowej analizy zachowania poszczególnych neuronów czy te» poª¡cze« pomi¦dzy nimi. Podej±cie to jest poprawne biologicznie i umo»liwia
na znaczne skrócenie czasu symulacji. Do tej pory w badaniach wªa±ciwo±ci maszyn pªynowych
u»ywane byªy najprostsze impulsowe modele neuronów typu
integrate-and-re
oraz te najbardziej
zªo»one modele Hodgkina-Huxleya.
Celem niniejszej pracy jest zastosowanie alternatywnych modeli neuronów do maszyny pªynowej
i zbadanie podstawowych jej wªa±ciwo±ci w zale»no±ci od u»ytych modeli neuronów oraz stworzenie
w oparciu o teori¦ maszyn pªynowych systemu rozpoznaj¡cego ekspresje twarzy.
Praca skªada si¦ z pi¦ciu rozdziaªów. Celem rozdziaªu 1 jest wprowadzenie do podstawowych
zaªo»e« neurobiologii. Omówiona zostaªa budowa i funkcje poszczególnych cz¦±ci typowej komórki
nerwowej oraz sposób dziaªania i rola synaps w przekazywaniu informacji.
Opisane zostaªo zja-
wisko okre±lane jako potencjaª czynno±ciowy oraz wytªumaczone towarzysz¡ce mu poj¦cia takie
jak: bezwzgl¦dny i wzgl¦dny okres refrakcji oraz próg pobudzenia.
W podsumowaniu rozdziaªu
zamieszczono najwa»niejsze cechy i charakterystyki neuronu z punktu widzenia modelowania.
Rozdziaª 2 zawiera przegl¡d najwa»niejszch modeli neuronów. Omówione zostaªy biologiczne
modele neuronów takie jak:
integrate-and-re, resonate-and-re,
Nagumo, Hindmarsha-Rose, Izhikevicha oraz
Hodgkina-Huxleya, FitzHugh-
FC. W rozdziale uj¦to tak»e taberyczne porównanie
najistotniejszych wªa±ciwo±ci zaprezentowanych modeli.
W rozdziale 3 omówiona zostaªa ogólna koncepcja impulsowych sieci neuronowych oraz ich wady
i zalety na tle konwencjonalnych sztucznych sieci neuronowych.
Ponadto przedstawiona zostaªa
ogólna teoria maszyny pªynowej oraz jej biologiczne przesªanki.
Przedmiotem zainteresowania rozdziaªu 4 jest zastosowanie alternatywnych modeli neuronów
do maszyny pªynowej oraz zbadanie jej podstawowych wªa±ciwo±ci w zale»no±ci od u»ytych modeli
4 ang.
Liquid State Machine (LSM)
8
neuronów. Zbudowana w celu zbadania wªa±ciwo±ci maszyny pªynowej architektura opiera si¦ na
uproszczonym modelu ukªadu wzrokowego. Zamieszczone w rozdziale graczne przebiegi stanów
aktywno±ci neuronów maszyny pªynowej pozwoliªy na zobrazowanie ró»nic w dynamice poszczególnych modeli neuronów.
Do scharakteryzowania przepªywu informacji w maszynie pªynowej
posªu»ono si¦ miar¡ entropii indywidualnej i globalnej.
Natomiast do okre±lenia i porównania
zdolno±ci asocjacyjnych maszyn pªynowych wykorzystano analiz¦ odlegªo±ci euklidesowej.
Caªkowicie nowe podej±cie do zagadnienia rozpoznawania ekspresji twarzy oparte na modelu
maszyny pªynowej zostaªo przedstawione w rozdziale 5.
Skonfrontowane zostaªy dwa sposoby
przetwarzania informacji z obrazu twarzy oraz ich wpªyw na wynik rozpoznania poszczególnych
emocji. Ponadto porównane zostaªy wyniki prawidªowego rozpoznania ekspresji dla ró»nych modeli
neuronów u»ytych w warstwie pªynowej opracowanego systemu.
Niniejsza praca zostaªa oparta gªównie na materiaªach i opracowaniach dost¦pnych w sieci Internet. Wszystkie symulacje omawiane w pracy przeprowadzone zostaªy przy u»yciu symulatora
ukªadów neuronowych
CSim
w ±rodowisku programistycznym
Matlab.
Do bada« systemu rozpo-
znaj¡cego emocje wykorzystano baz¦ zdj¦¢ ekspresji twarzy JAFFE.
W pracy gªówn¡ metod¡ badawcz¡ jest metoda opisowa.
Charakteryzuje ona dane zjawisko
w sposób ilo±ciowy i jako±ciowy, czyli opis sªowny przeplata si¦ z informacjami liczbowymi dotycz¡cymi badanego zjawiska.
Du»y nacisk poªo»ono na aktualno±¢ informacji i danych, tak aby
w jak najwi¦kszym stopniu odzwierciedlaªy one procesy zachodz¡ce w badaniach nad sztucznymi
sieciami neuronowymi na ‘wiecie.
Autorka chciaªaby serdecznie podzi¦kowa¢ Panu Profesorowi Wiesªawowi A. Kami«skiemu
i Panu Doktorowi Grzegorzowi M. Wójcikowi za po±wi¦cenie swojego czasu, okazan¡ »yczliwo±¢
oraz liczne wnikliwe uwagi i pomocne sugestie przekazane w trakcie przygotowywania niniejszej
pracy. Oddzielne, serdeczne podzi¦kowania skªada Panu Doktorowi Jackowi Biaªow¡sowi za wiele
cennych wskazówek oraz owocn¡ wspóªprac¦ przy tworzeniu modelu neuronu
9
FC.
Rozdziaª 1
Neuron biologiczny i jego wªa±ciwo±ci
Pierwowzorem sztucznych sieci neuronowych jest ludzki mózg, uznawany wspóªcze±nie za najbardziej zªo»ony obiekt we wszech±wiecie. Komórki, stanowi¡ce podstawow¡ jednostk¦ strukturaln¡
i czynno±ciow¡ mózgu nazywane s¡ komórkami nerwowymi, w skrócie neuronami.
1.1 Rodzaje neuronów
Neurony ró»ni¡ si¦ znacznie ksztaªtami i rozmiarami, liczb¡ tworzonych synaps, czy te» rodzajem wydzielanych zwi¡zków chemicznych [1]. Dlatego te» nie mo»emy mówi¢ o czym± takim jak
typowy neuron. Rysunek 1.1 przedstawia neurony zró»nicowane pod wzgl¦dem struktury przestrzennej.
Rysunek 1.1: Zró»nicowana struktura przestrzenna komórek nerwowych.
™ródªo: http://www.mind.ilstu.edu/curriculum/neuronsintro/neuronsintro.php
10
Neurony mo»emy klasykowa¢ na podstawie cech strukturalnych, tj. np.: rozmiaru i liczby posiadanych neurytów, czyli elementów odpowiedzialnych za przekazywanie informacji z ciaªa komórki
do kolejnych neuronów lub innych komórek. Komórki z jednym, dwoma lub wi¦cej neurytami nazywane s¡ odpowiednio jedno-, dwu- i wielobiegunowymi. Dendryt, czyli element neuronu b¦d¡cy
zazwyczaj rozgaª¦zion¡ struktur¡ przenosz¡c¡ sygnaªy otrzymywane z innych neuronów lub komórek do ciaªa neuronu, równie» mo»e stanowi¢ podstaw¦ klasykacji neuronów. Bior¡c pod uwag¦
ksztaªt drzewka dendrytycznego mo»emy wyró»ni¢, np.: komórki piramidalne, komórki gwie¹dziste
czy te» komórki Purkinjego [1].
Dªugo±¢ aksonów równie» mo»e stanowi¢ podstaw¦ ich klasykacji. Neurony wyposa»one w dªugi
akson nale»¡ do grupy Golgi I (np. komórki piramidalne, komórki Purkinjego), za± neurony gwia¹dziste, gdzie akson ma dªugo±¢ nie wi¦ksz¡ ni» dendryty, tworz¡ grup¦ Golgi II [2]. Analiza poª¡cze«
jakie tworz¡ neurony, pozwala na ich klasykacj¦ ze wzgl¦du na peªnione funkcje. Mo»emy tu wyªoni¢ neurony aferentne (czuciowe lub zmysªowe) przewodz¡ce impulsy od receptorów czuciowych,
neurony eferentne (ruchowe lub motoneuronowe) przewodz¡ce impulsy do efektorów (mi¦±nie, gruczoªy) oraz neurony po±rednicz¡ce (kojarzeniowe, asocjacyjne) transmituj¡ce impulsy od neuronów
czuciowych do ruchowych [1].
1.2 Ogólna budowa neuronu
Uproszczony wygl¡d komórki nerwowej zostaª przedstawiony na rysunku 1.2. Neuron skªada si¦
z bªony komórkowej otaczaj¡cej cytoplazm¦, centralny jego element stanowi perikarion czyli ciaªo
komórki.
Z tej cz¦±ci neuronu wyrastaj¡ neuryty, dªugie cylindryczne wypustki dwojakiego ro-
dzaju, dendryty i aksony. Dendryty s¡ silnie rozgaª¦zionymi przedªu»eniami ciaªa komórki, na nie
przypada na ogóª najwi¦ksza cze±¢ (ponad 90%) obszaru zajmowanego przez neuron [2].
Rysunek 1.2: Uproszczony wygl¡d neuronu i jego cz¦±ci skªadowe.™ródªo: http://pl.wikipedia.org/wiki/Neuron
11
Czynno±ciowo dendryty i ciaªo komórki tworz¡ jedn¡ caªo±¢ odbieraj¡c¡ sygnaªy docieraj¡ce tu
z receptorów lub innych neuronów. Komórki nerwowe zwykle maj¡ tylko jeden akson, który przewa»nie wychodzi z ciaªa komórki. Poprzez akson i jego liczne odgaª¦zienia sygnaª jest wysyªany
z neuronu do s¡siednich neuronów lub do narz¡dów wykonawczych. Akson odpowiada zatem za
cz¦±¢ nadawcz¡ neuronu. Oprócz bªony pokrywaj¡cej caªy neuron, akson mo»e mie¢ dodatkowo
jedn¡ lub dwie osªonki. Bli»sza aksonu, osªonka mielinowa, przypomina ponacinan¡ izolacj¦ na kablu elektrycznym. Zbudowana jest z wysokooporowej elektrycznie substancji tªuszczowo-biaªkowej
zwanej mielin¡, a jej segmenty poprzedzielane s¡ fragmentami nieosªoni¦tymi, zwanymi przew¦»eniami Ranviera.
wzdªu» aksonu.
Osªonka ta ma podstawowe znaczenie dla pr¦dko±ci przewodzenia impulsów
Druga osªonka, zwana osªonk¡ Schwanna wyst¦puje na niektórych, przewa»nie
najcie«szych wªóknach, w grubszych natomiast pokrywa osªonk¦ mielinow¡ na zewn¡trz [2].
1.3 Potencjaª spoczynkowy
Mi¦dzy obu stronami bªony plazmatycznej istnieje okre±lona ró»nica potencjaªu elektrycznego.
Komórki nerwowe, które w wyniku odpowiednio silnego pobudzenia s¡ w stanie wytworzy¢ potencjaª czynno±ciowy nazwane s¡ pobudliwymi.
Potencjaª spoczynkowy natomiast deniowany
jest jako ró»nica mi¦dzy obu stronami nie pobudzonej komórki pobudliwej.
Wszystkie napi¦cia
na bªonie komórkowej wyra»ane s¡ jako stosunek potencjaªu wn¦trza komórki do potencjaªu po
stronie zewn¦trznej. Warto±ci potencjaªu spoczynkowego w komórkach nerwowych wahaj¡ si¦ mi¦dzy
−65 mV
a
−90 mV
[1].
Powstawanie potencjaªu spoczynkowego zostaªo zilustrowane na
rysunku 1.3.
Rysunek 1.3: Powstawanie potencjaªu spoczynkowego.
™ródªo: http://www.ucl.ac.uk/ sjjgsca/NerveRestingPot.html
Jak mo»na zauwa»y¢ na rysunku 1.3 istnieje du»a ró»nica st¦»e« jonów potasu oraz jonów sodu
mi¦dzy wn¦trzem a ±rodowiskiem zewn¦trznym komórki.
12
Bªon¦ komórkow¡ cechuje odmienna
przepuszczalno±¢ dla ró»nych jonów. Przepuszczalno±¢ dla jonów sodu, gdy neuron znajduje si¦
w stanie niepobudzonym jest niewielka.
Inaczej jest w przypadku jonów potasu.
I to przede
wszystkim dzi¦ki tendencji jonów potasu do przepªywania zgodnie z gradientem st¦»e«, czyli z wewn¡trz na zewn¡trz komórki, powstaje potencjaª spoczynkowy. Wypªywanie jonów potasowych na
zewn¡trz powoduje powstanie niewielkiego nadmiaru ªadunków ujemnych po wewn¦trznej stronie
bªony, a tym samym wytwarza ró»nic¦ potencjaªów po obu stronach bªony. Powstaªa ró»nica potencjaªów oznacza istnienie siªy elektrostatycznej, której zadaniem jest przeciwdziaªanie dalszemu
wypªywowi jonów potasu.
Siªa elektrochemiczna jest ró»nic¡ pomi¦dzy potencjaªem spoczynko-
wym a potencjaªem równowagi dla danego jonu. Potencjaª równowagi, zwany równie» potencjaªem
Nernsta, deniujemy jako stan, w którym wypªywanie jonów z komórki jest równowa»one ich napªywaniem do wn¦trza, przepªyw jonów netto wi¦c jest równy zero [1]. Potencjaª równowagi
Ek
mo»na obliczy¢, stosuj¡c równanie Nernsta [2]:
Ek =
RT
[C]z
∗ ln(
),
ZF
[C]w
(1.1)
gdzie T oznacza temperatur¦, R staª¡ gazow¡, a F staª¡ Faradaya.
Natomiast
[C]z
oraz
[C]w
przedstawia st¦»enie danego jonu odpowiednio w pªynie tkankowym i neuroplazmie.
W przypadku systemu, w którym wyst¦puje tylko jeden typ jonu warto±¢ potencjaªu równo-
1
wagi jest taka sama jak warto±¢ tzw. potencjaªu odwrócenia . Chocia» te dwa terminy odnosz¡
si¦ do ró»nych aspektów tego samego zjawiska, to ró»nica mi¦dzy nimi jest bardzo subtelna. Na
przykªad, dla jonów sodu w stanie równowagi ró»nica w koncentracji jonów powoduje powstanie
potencjaªu Nernsta
EN a o warto±ci okoªo +50 mV .
Zatem w stanie równowagi wn¦trze komórki ma
potencjaª dodatni w stosunku do otoczenia. Je»eli ró»nica napi¦cia
∆u
jest mniejsza ni» warto±¢
potencjaªu Nernsta, to wi¦cej jonów Na+ wpªynie do komórki zmniejszaj¡c ró»nic¦ w koncentracji. Natomiast je±li napi¦cie jest wi¦ksze ni» potencjaª równowagi, to wówczas jony wypªywaj¡ na
zewn¡trz z komórki. Zatem kierunek pr¡du jest odwrócony gdy napi¦cie
EN a .
St¡d
EN a
∆u
przekracza warto±¢
nazywa si¦ te» potencjaªem odwrócenia [3]. Warto±¢ potencjaªu odwrócenia mo»e
zosta¢ okre±lona empirycznie na podstawie przeprowadzonego do±wiadczenia, np.
metody
voltage clamping.
przy pomocy
Potencjaª, przy którym nie obserwuje si¦ przepªywu pr¡du jest poten-
cjaªem odwrócenia. Natomiast potencjaª równowagi to czysto teoretyczna warto±¢ i chocia» mo»na
wyznaczy¢ jej warto±¢ stosuj¡c równanie Nernsta, to nie mo»na jej wyznaczy¢ empirycznie.
1.4 Potencjaª czynno±ciowy
Zasadnicz¡ rol¡ neuronu jest odbieranie impulsów przez jego dendryty i ciaªo komórki oraz nast¦pnie przekazywanie ich do zako«cze« aksonu. W tym procesie gªówny udziaª przypada bªonie
neuronu. Gdy na bªon¦ pobudliwej komórki zadziaªa bodziec o intensywno±ci wystarczaj¡cej do
1 ang.
reversal potential
13
zdepolaryzowania neuronu powy»ej okre±lonej warto±ci progowej, w skrócie nazwanej bod¹cem
progowym, jej przewodno±¢ nagle wzrasta.
wet 500-krotnie.
W przeci¡gu 0,5
ms
Przepuszczalno±¢ bªony dla jonów sodu wzrasta na-
jony sodu wpªywaj¡ lawinowo do wn¦trza powoduj¡c nie
tylko depolaryzacje, ale nawet miejscowe odwrócenie polaryzacji bªony (tzw. nadstrzaª). Równie»
i kanaªy potasowe zostaj¡ otwarte, powoduj¡c wypªywanie jonów potasu z komórki. Otwarcie kanaªów sodowych i potasowych jest asynchroniczne, co przeciwdziaªa jednoczesnej zmianie st¦»e«
po obu stronach bªony.
Po upªywie okoªo 0,5
ms
kanaªy sodowe zamykaj¡ si¦, natomiast jony
potasu masowo wychodz¡ z komórki na zewn¡trz, powoduj¡c jej repolaryzacj¦.
Po nast¦pnych
dwóch niewielkich wahaniach potencjaªu, tzw. ujemnym i dodatnim potencjaªem nast¦pczym mechanizmy bªonowe wracaj¡ do stanu równowagi, i s¡ gotowe do reakcji na nast¦pny bodziec [2].
Opisane zjawisko, okre±lane jako potencjaª czynno±ciowy lub impuls nerwowy, zostaªo zobrazowane
na rysunku 1.4.
Rysunek 1.4: Rejestracja potencjaªu czynno±ciowego w komórce.™ródªo: http://gargoyle.arcadia.edu
W czasie trwania potencjaªu czynno±ciowego komórka staje si¦ niepobudliwa, za± w czasie wyst¦powania hiperpolaryzuj¡cego potencjaªu nast¦pczego jej pobudliwo±¢ jest zmniejszona. Zjawiska
te okre±lane s¡ odpowiednio jako refrakcja bezwzgl¦dna i wzgl¦dna[1]. Pojawienie si¦ potencjaªu
czynno±ciowego jest mo»liwe tylko wtedy, gdy bodziec speªnia nast¦puj¡ce warunki:
•
posiada siª¦ konieczn¡ do pobudzenia danego wªókna;
•
musi dziaªa¢ przez minimalny czas, zwany czasem u»ytecznym;
•
musi narasta¢ dostatecznie szybko do warto±ci progowej.
Bod¹ce, które nie speªniaj¡ powy»szych warunków, tzw. bod¹ce podprogowe, mog¡ si¦ sumowa¢ [2].
14
1.5 Budowa i rodzaje synaps
‘cisªe poª¡czenia mi¦dzyneuronalne lub poª¡czenia mi¦dzy neuronami i efektorami nazywane s¡
poª¡czeniami synaptycznymi, lub krótko synapsami. W ukªadzie nerwowym wspóªistniej¡ dwa typy
synaps: elektryczne i chemiczne.
Przewa»aj¡ca cz¦±¢ synaps ma charakter chemiczny.
Synapsa
chemiczna skªada si¦ z nast¦puj¡cych elementów [4]:
•
bªony presynaptycznej pokrywaj¡cej zako«czenie aksonu;
•
szczeliny synaptycznej o szeroko±ci okoªo 20
•
bªony postsynaptycznej.
nm;
Synapsy mog¡ by¢ tworzone w ka»dym miejscu na komórce odbieraj¡cej sygnaª. Lokalizacja na
neuronie postsynaptycznym stanowi kryterium klasykacji synaps. Mo»emy wyró»ni¢ tu synapsy
akso-dendrytyczne, synapsy akso-aksonalne oraz charakteryzuj¡ce si¦ wyj¡tkowo silnym przeka¹nictwem synapsy akso-somatyczne [1].
Rysunek 1.5: Schematyczny przekrój synapsy.
™ródªo: http://www.txtwriter.com/backgrounders/Drugaddiction/drugs1.html
Schematyczny przekrój synapsy zostaª przedstawiony na rysunku 1.5. Cecha charakterystyczn¡
struktury presynaptycznej jest obecno±¢ po wewn¦trznej stronie bªony licznych drobnych p¦cherzyków zawieraj¡cych we wn¦trzu przeka¹nik.
Przekazywanie informacji przez synaps¦ odbywa
si¦ nast¦puj¡co. Impuls, który dotarª do zako«czenia aksonu powoduje wydzielenie z bªony presynaptycznej porcji neuroprzeka¹nika.
Substancja ta dyfunduje przez szczelin¦ synaptyczn¡ do
bªony postsynaptycznej. Od strony dendrytu znajduj¡ si¦ czuªe na obecno±¢ neuroprzeka¹ników
kanaªy jonowe.
Otwarcie ich powoduje silne wnikanie jonów sodu do dendrytu i zapocz¡tkowa-
nie poruszania si¦ potencjaªu czynno±ciowego w dendrycie neuronu postsynaptycznego. Potencjaª
w pojedynczej synapsie rzadko ma warto±¢ progow¡, dlatego te» z reguªy maªe potencjaªy synaptyczne musz¡ si¦ sumowa¢ a» do osi¡gni¦cia warto±ci progowej. Mówimy wówczas o zjawisku
15
sumowania czasowego w pojedynczej synapsie oraz o zjawisku sumowania przestrzennego mi¦dzy
wieloma synapsami rozproszonymi po caªej przestrzeni odbiorczej neuronu [2].
1.6 Szybkie przeka¹nictwo synaptyczne
Neuroprzeka¹niki wydzielane do szczeliny synaptycznej w trakcie przekazywania pobudzenia przez
synaps¦ mog¡ by¢ dwojakiego rodzaju.
W zale»no±ci od wpªywu na polaryzacj¦ bªony, wyró»-
niamy neuroprzeka¹niki pobudzaj¡ce, które obni»aj¡ próg pobudzenia lub te» hamuj¡ce, które go
podwy»szaj¡. Pobudzaj¡ce potencjaªy postsynaptyczne
2 przybli»aj¡ potencjaª bªony do progu ge-
neracji potencjaªów czynno±ciowych. Pobudzaj¡ce potencjaªy synaptyczne cechuje kilka istotnych
wªa±ciwo±ci [1]:
•
rejestrowane z ciaªa neuronu jako przej±ciowa depolaryzacja bªony powstaj¡ w wyniku aktywacji kilku synaps;
•
pomi¦dzy pobudzeniem wªókien aferentnych, tj. wªókien przenosz¡cych sygnaªy sensoryczne
(czuciowe) ze skóry, mi¦±ni szkieletowych, stawów, oczu, uszu, itp. do o±rodkowego ukªadu
nerwowego, a powstaniem EPSP wyst¦puje krótkie opó¹nienie zwane opó¹nieniem synaptycznym wynosz¡ce okoªo 0,5 1
•
ms;
EPSP s¡ niewielkie, od dziesi¡tych cz¦±ci
mV
do okoªo 8
mV , ich amplituda jest uzale»niona
od liczby pobudzonych wªókien aferentnych;
•
EPSP powstaj¡ w wyniku dziaªania kwasu glutaminowego zanikaj¡c wykªadniczo w czasie
10 20
ms.
3
Pod wpªywem receptoru GABA powstaj¡ hamuj¡ce potencjaªy postsynaptyczne , które oddalaj¡
potencjaª bªony komórkowej od progu generacji potencjaªów czynno±ciowych. IPSP maj¡ podobne
wªa±ciwo±ci jak EPSP, z wyj¡tkiem tego, »e maj¡ charakter hamuj¡cy [1].
1.7 Neuronalna reprezentacja informacji
Komórki nerwowe koduj¡ informacj¦ na dwa sposoby.
Po pierwsze, cz¦sto±¢ przesyªania poten-
cjaªów czynno±ciowych przekazuje informacj¦ o czasie trwania bod¹ca oraz o jego intensywno±ci
i zmianie tej intensywno±ci w czasie. Na przykªad, cz¦sto±¢ potencjaªów czynno±ciowych w neuronie ruchowym niesie informacj¦ o czasie i sile skurczu wªókien mi¦±niowych.
Po drugie, ogóª
poª¡cze« wej±ciowych i wyj±ciowych neuronu aferentnego (tzw. adres neuronu) koduje informacj¦
o przestrzennej lokalizacji bod¹ca oraz o jego naturze jako±ciowej, czyli modalno±ci. W ukªadach
2 ang.
3 ang.
excitatory postsynaptic potential, EPSP
inhibitory postsynaptic potential, IPSP
16
ruchowych i czuciowych dokªadne zakodowanie okre±lonej wªa±ciwo±ci zazwyczaj jest uzale»nione
od aktywno±ci du»ego zespoªu komórek (tzw. kodowanie populacyjne). Precyzja kodowania czuciowego i ruchowego jest uwarunkowana wierno±ci¡ przenoszenia informacji przez potencjaªy czynno±ciowe. Wierno±¢ przenoszenia umo»liwiaj¡ nast¦puj¡ce czynniki [1]:
1. Binarny charakter potencjaªów czynno±ciowych. W danej chwili akson albo przewodzi potencjaª czynno±ciowy, albo nie. Takie dwójkowe kodowanie jest mniej podatne na bª¦dy, które
mog¡ powsta¢ w efekcie znieksztaªcenia sygnaªu przez szumy.
2. Modulacja cz¦sto±ci generowania potencjaªów czynno±ciowych. Przypadkowy brak albo dodanie pojedynczego potencjaªu czynno±ciowego nie wpªywa w istotny sposób na ±redni¡ cz¦sto±¢
serii potencjaªów, je±li nie jest ona zbyt krótka.
3. Redundancja informacji. Sygnaª ruchowy wytwarzany jest przez du»e populacje neuronów
dziaªaj¡ce w skoordynowany sposób. Bª¦dna aktywno±¢ kilku komórek kompensowana zostaje przez prawidªow¡ aktywno±¢ wi¦kszo±ci z nich.
1.8 Najwa»niejsze cechy i charakterystyki neuronu
Celem tego podrozdziaªu jest zilustrowanie bogactwa i zªo»ono±ci reakcji neuronów w odpowiedzi
na pojedyncze impulsy elektryczne. Izhikevich wyodr¦bniª 20 najbardziej znacz¡cych cech biologicznych neuronów [5], a mianowicie:
4
A. Wzmacniaj¡ce pulsowanie . Neuron generuje ci¡g impulsów tak dªugo a» podawane s¡ na
wej±cie impulsy elektryczne (rys. 1.6.A)
5
B. Fazowe pulsowanie . Neuron wystrzela tylko pojedynczy impuls w reakcji na impulsy wej±ciowe. Takie zachowanie neuronów jest po»yteczne przy wykrywaniu pocz¡tku stymulacji
(rys. 1.6.B)
6
C. Wzmacniaj¡ce wybuchanie . Neuron wysyªa seri¦ impulsów podczas stymulacji. Takim zachowaniem cechuj¡ si¦ neurony kory mózgowej u kota.
Cz¦stotliwo±¢ wystrzaªów neuronu
mo»e wynosi¢ okoªo 50 Hz, dlatego te» uwa»a si¦ »e te neurony przyczyniaj¡ si¦ do oscylacji
fal gamma w mózgu (rys. 1.6.C)
7
D. Fazowe wybuchanie . Podobne do neuronów charakteryzuj¡cych si¦ fazowym pulsowaniem.
Przy wykryciu pocz¡tku stymulacji wypuszczana jest seria impulsów (rys. 1.6.D)
8
E. Model mieszany . Najpierw pojawia si¦ seria impulsów tak jak w poprzednim przypadku,
4 ang.
5 ang.
6 ang.
7 ang.
8 ang.
Tonic Spiking
Phasic Spiking
Tonic Bursting
Phasic Bursting
Mixed Model
17
a nast¦pnie neuron przeª¡cza si¦ w fazowe pulsowanie. Takie zachowanie jest widoczne w pobudzaj¡cych neuronach w korze mózgowej ssaków (rys. 1.6.E)
9
F. Adaptacja cz¦stotliwo±ci impulsów .
Jeden z najbardziej powszechnych typów neuronów
pobudzaj¡cych w korze mózgowej ssaków.
Generuje wzmacniaj¡ce pulsowanie z malej¡c¡
cz¦stotliwo±ci¡ impulsów (rys. 1.6.F)
G. Pobudliwo±¢ pierwszo-klasowa
10 . W tej klasie neuronów cz¦stotliwo±¢ wzmacniaj¡cego pul-
sowania zale»y od siªy pobudzenia i warto±¢ jej mo»e waha¢ si¦ w granicach od 2 Hz do 200
Hz, lub wi¦cej. Reaguj¡ bardzo nisk¡ cz¦stotliwo±ci¡ wystrzaªów nawet na bardzo sªabe pobudzenie. Neurony tej grupy mog¡ zakodowa¢ siª¦ pobudzenia na cz¦stotliwo±¢ generowania
impulsów (rys. 1.6.G)
H. Pobudliwo±¢ drugo-klasowa
11 . Neurony tej klasy zachowuj¡ si¦ podobnie do neuronów grupy
I, ale nie reaguj¡ na sªabe pobudzenia, charakteryzuj¡ si¦ relatywnie wy»sz¡ cz¦stotliwo±ci¡
generowania impulsów (od 40 Hz) (rys. 1.6.H)
I. Utajenie impulsu
12 . Neuron generuje impuls z opó¹nieniem, którego warto±¢ zale»y od siªy
stymulacji. Neurony w korze mózgowej ssaków mog¡ mie¢ opó¹nienie dziesi¡tek milisekund
(rys. 1.6.I)
J. Podprogowe oscylacje
13 . Ta klasa neuronów posiada zdolno±¢ do oscylacji (rys. 1.6.J)
K. Wyró»niona cz¦stotliwo±¢ i rezonans
14 . Dzi¦ki zjawisku rezonansu, neuron posiadaj¡cy po-
tencjaª oscylacyjny mo»e odpowiada¢ selektywnie na pobudzenie z podobn¡ cz¦stotliwo±ci¡
do podprogowych oscylacji. Te neurony zostaªy nazwane rezonatorami (rys. 1.6.K)
15 .
L. Integracja i wykrywanie zgodno±ci
Neurony nie posiadaj¡ce zdolno±ci do oscylacji za-
chowuj¡ si¦ jak integratory. Im wy»sza cz¦stotliwo±¢ tym wi¦ksze prawdopodobie«stwo, »e
neuron wygeneruje impuls (rys. 1.6.L)
M. Odbity impuls
16 . Neurony odbijaj¡ impuls, który do nich dociera i jest on uwalniany z ha-
muj¡cego wej±cia (rys. 1.6.M)
9 ang.
10 ang.
11 ang.
12 ang.
13 ang.
14 ang.
15 ang.
16 ang.
Spike Frequency Adaptation
Class 1 Excitability
Class 2 Excitability
Spike Latency
Subthreshold Oscillations
Frequency Preference and Resonance
Integration and Coincidence Detection
Rebound Spike
18
Rysunek 1.6: Podsumowanie najwa»niejszych wªa±ciwo±ci biologicznych neuronów. ™ródªo: [5]
19
17 . Podobnie do powy»szych z t¡ ró»nic¡, »e odbijana jest seria impulsów, a nie
N. Odbita seria
pojedynczy impuls. Uwa»a si¦, »e tej klasy neurony przyczyniaj¡ si¦ do oscylacji fal w korze
mózgowej w fazie snu (rys. 1.6.N)
18 . Grupa neuronów biologicznych posiadaj¡cych zmienn¡ warto±¢ progu po-
O. Zmienny próg
budzenia, która zale»y od ich wcze±niejszej aktywacji (rys. 1.6.O)
19 . Neuron prezentuje dwa stabilne tryby dziaªania: spoczynek i wzmacnia-
P. Dwumodalno±¢
j¡ce wzbudzanie. Tryby s¡ przeª¡czane przez pobudzaj¡ce lub hamuj¡ce impulsy (rys. 1.6.P)
Q. Depolaryzacja po impulsie
20 .
Po wystrzale impulsu potencjaª membrany mo»e okazywa¢
21 lub te» przedªu»on¡ depolaryzacj¦22 . W obu przypadkach,
przedªu»on¡ hiperpolaryzacj¦
taki neuron ma skrócony czas refrakcji i staje si¦ niezwykle podatny na impulsy (rys. 1.6.Q)
R. Przystosowanie
23 . Neuron traci swoj¡ wra»liwo±¢ na siln¡, lecz wolno narastaj¡c¡ stymulacj¦
i nie wytwarza impulsu. Chocia» mo»e wystrzeli¢ impuls w odpowiedzi na sªabsze, ale szybciej
wzmacniaj¡ce si¦ pobudzenie (rys. 1.6.R)
S. Pobudzane hamowaniem pulsowanie
24 . Neuron pozostaje cichy tak dªugo, a» nie ma »adnego
impulsu wej±ciowego, generuje impuls na wyj±ciu w momencie hiperpolaryzacji lub wstrzykni¦tego z zewn¡trz pr¡du (rys. 1.6.S)
T. Pobudzane hamowaniem wybuchanie
25 . Podobnie do poprzedniej klasy neuronów, z tym »e
neurony generuj¡ seri¦ impulsów w odpowiedzi na ci¡gª¡ hiperpolaryzacj¦ (rys. 1.6.T)
17 ang.
18 ang.
19 ang.
20 ang.
21 ang.
22 ang.
23 ang.
24 ang.
25 ang.
Rebound Burst
Threshold Variability
Bistability of Resting and Spiking States
Depolarizing After-Potentials
prolonged after-hyperpolarization AHP
prolonged depolarized after-potential
Accommodation
Inhibition-Induced Spiking
Inhibition-Induced Bursting
20
Rozdziaª 2
Modele neuronów biologicznych
Mechanizm funkcjonowania neuronu mo»e by¢ odzwierciedlony na wielu poziomach abstrakcji.
Niniejszy rozdziaª stanowi¢ b¦dzie przegl¡d modeli neuronów.
Zaprezentowane zostan¡ modele
bardzo szczegóªowo odwzorowuj¡ce wªa±ciwo±ci i funkcje ich biologicznych protoplastów, a tak»e
takie, które odwzorowuj¡ tylko ich najbardziej podstawowe funkcje. Przy omówieniu wi¦kszo±ci
modeli podany zostanie koszt oblicze« numerycznych.
model zapisany jako system dynamiczny
ẋ = f (x),
Eulera pierwszego rz¦du o staªym kroku
τ,
W celu wyznaczenia tego kosztu, ka»dy
zostaª zaimplementowany przy u»yciu metody
danej wzorem
x(t + τ ) = x(t) + τ f (x(t)).
2.1 Klasykacja modeli neuronów
Modele neuronów mog¡ by¢ klasykowane na wiele ró»nych kategorii w zale»no±ci od zastosowanego kryterium.
J. Malmivuo wyodr¦bniª cztery przykªadowe kryteria oraz odpowiadaj¡ce im
klasykacje modeli neuronów[6]:
1. Opis struktury modelu mo»e by¢ wyra»ony przez:
•
równania matematyczne (np. równania Hodgkina-Huxleya);
•
opart¡ na prawach zyki abstrakcyjn¡ konstrukcj¦ (np. model Ecclesa);
•
konstrukcj¦ analogiczn¡, ale ró»ni¡c¡ si¦ od oryginalnego zjawiska (np.
elektroniczny
model neuronu).
2. Modele mog¡ opisywa¢ zjawisko w ró»nych koncepcyjnych wymiarach. Aspekty modeli mog¡
obejmowa¢:
•
struktur¦ (przewa»nie pokazywane na mechanicznym modelu);
•
funkcj¦ (przewa»nie przedstawiane za pomoc¡ elektronicznego, matematycznego lub
komputerowego modelu);
21
•
ewolucj¦;
•
pozycj¦ w hierarchii.
3. Klasykacja wedªug zjologicznego poziomu zjawiska:
•
poziom wewn¡trz neuronowy (potencjaª spoczynkowy w bªonie, mechanizm generowania
impulsów, propagacja impulsu wzdªu» aksonu);
•
funkcje pobudzenia i odpowiedzi pojedynczego neuronu;
•
transmisja synaptyczna;
•
interakcje pomi¦dzy neuronami i grupami neuronów, sieci neuronowe;
•
psychozjologiczny poziom.
4. Klasykacja wedªug parametrów modelu:
•
parametry bezczynno±ci (spoczynkowe);
•
parametry pobudzenia;
•
parametry regeneracji;
•
parametry adaptacji.
2.2 Model Integrate-and-re
Model
leaky integrate-and-re
jest prawdopodobnie najbardziej znanym i najszerzej stosowanym
modelem neuronu impulsowego. Wynika to gªównie z cech takich jak: przejrzysto±¢ reguª kodowania, mo»liwo±¢ matematycznego analizowania dynamiki sieci oraz wysoka efektywno±¢ symulacji
du»ych sieci zªo»onych z tych neuronów.
Szczegóªowy opis modelu zostaª przedstawiony przez
Gerstnera [3].
Jak widzimy na rysunku 2.1 podstawowy ukªad modelu
satora
C
poª¡czonego równolegle z opornikiem
dzieli si¦ na dwie cz¦±ci, tj.
przez liniowy opornik
R.
I(t) = IR +IC .
C = q/u,
gdzie
q
IC
RC
skªada si¦ z konden-
zasilany jest pr¡dem
Pierwsza cz¦±¢ to rezystancyjny pr¡d
IR
I(t),
który
przepªywaj¡cy
IR = u/R, gdzie u jest napi¦ciem na
zasila kondensator. Z denicji pojemno±ci kondensatora
jest ªadunkiem a
mo»emy wyznaczy¢ pr¡d kondensatora
I(t) =
Caªy ukªad
Jego warto±¢ z prawa Ohma, wynosi
oporniku. Druga cz¦±¢ pr¡du, tj. pr¡d
mamy, »e
R.
integrate-and-re
u
napi¦ciem na ko«cach kondensatora.
IC = Cdu/dt.
u(t)
du
+C .
R
dt
St¡d te»,
Zatem otrzymujemy [3]:
(2.1)
22
integrate-and-re.
Rysunek 2.1: Schematyczny wykres modelu
™ródªo: http://diwww.ep.ch/ gerstner/SPNM/node26.html.
Po pomno»eniu równania (2.1) przez
τm
R
i wprowadzeniu staªej
τm = RC ,
dostajemy:
du
= −u(t) + RI(t),
dt
(2.2)
gdzie potencjaª bªony komórkowej oznaczony zostaª jako
W modelach
u,
a staªa czasowa bªony jako
τm .
integrate-and-re forma potencjaªu czynno±ciowego nie jest jasno opisana.
s¡ zdarzeniami charakteryzowanymi przez czas wystrzaªu
t
(f )
[3]:
t(f ) : u(t(f ) ) = ν.
Innymi sªowy, warto±¢ napi¦cia
ti (f ) ,
t(f )
(2.3)
u(t) jest porównywana z warto±ci¡ progu ν .
to wówczas na wyj±ciu generowany jest impuls
δ(t − ti (f ) ).
warto±¢ potencjaªu bªony przyjmuje warto±¢ pocz¡tkow¡
lim
t→t(f ) ,t>t(f )
Je»eli
t > t(f )
Impulsy
u(t) = uR .
Je»eli
u(t) = ν
w czasie
Niezwªocznie po czasie wystrzaªu
ur < ν
(2.4)
wówczas dynamika jest ponownie liczona ze wzoru (2.2) a» do nast¦pnego zrównania
potencjaªu bªony z warto±ci¡ progow¡.
W ogólnej postaci nieliniowego modelu
τm
integrate-and-re
du
= F (u) + G(u)I.
dt
równanie (2.2) zamienia si¦ na [3]:
(2.5)
Podobnie jak w przypadku liniowego modelu w momencie przekroczenia progu pobudzenia na
wyj±ciu generowany jest impuls, a warto±¢ potencjaªu bªony ustawiana zostaje na warto±¢ pocz¡tkow¡. Porównanie równa« (2.2) i (2.5) pokazuje, »e
G(u)
mo»e by¢ interpretowane jako zale»ny
−F (u)
napi¦ciowo opór na wej±ciu ukªadu, a
(u−urest ) odpowiada napi¦ciowo zale»nej staªej rozpadu [3, 5].
23
Opisane powy»ej modele neuronu stymulowane byªy zewn¦trznym pr¡dem
rzeczywistych warunkach, model
integrate-and-re
I(t).
W bardziej
stanowi cz¦±¢ wi¦kszej sieci i pr¡d wej±ciowy
jest generowany poprzez aktywno±¢ neuronów presynaptycznych. Je±li presynaptyczny neuron
(f )
wystrzeli impuls w czasie tj
czasowym
δ(t − tj
(f )
)
, to neuron postsynaptyczny
[3]. Ogólnie model
n
X
y˙i = ai + bi yi +
integrate-and-re
i
j
odbiera impuls zgodnie z przebiegiem
mo»na opisa¢ nast¦puj¡co [5]:
sij δ(t − tj ∗ ),
(2.6)
j=1
gdzie
sij
jest miar¡ efektywno±ci poª¡czenia mi¦dzy j-tym a i-tym neuronem.
Jak mo»emy zauwa»y¢ w lewej cz¦±ci rysunku 2.1 presynaptyczny impuls jest ltrowany w synapsie i tworzy wej±ciowy impuls
α(t − tj (f ) ).
Caªkowita warto±¢ wej±ciowego pr¡du do neuronu
i
jest wa»on¡ sum¡ wszystkich impulsów, czyli:
Ii (t) =
X
wij
X
j
gdzie
wij
α(t − tj (f ) ),
(2.7)
f
jest miar¡ efektywno±ci poª¡czenia mi¦dzy j-tym a i-tym neuronem.
Chocia» równanie (2.6) do±¢ dobrze modeluje poª¡czenie synaptyczne, w rzeczywisto±ci proces
ten jest znacznie bardziej zªo»ony.
warto±ci potencjaªu bªony
ui .
Amplituda postsynaptycznego impulsu zale»y od aktualnej
Ka»dy presynaptyczny potencjaª czynno±ciowy powoduje zmian¦
w warto±ci potencjaªu postsynaptycznego zgodnie ze wzorem czasowym
warto±¢ postsynaptycznego pr¡du generowanego przez impuls w czasie
g(t − tj (f ) ).
tj (f )
Wówczas
jest nast¦puj¡ca [3]:
α(t − tj (f ) ) = −g(t − tj (f ) )[ui (t) − Esyn ],
gdzie parametr
Esyn
(2.8)
oznacza warto±¢ potencjaªu odwrócenia
1 w synapsie. Warto±¢ tego poten-
Esyn
jest znacznie wi¦ksza od potencjaªu
cjaªu zale»y od typu synapsy. Dla synaps pobudzaj¡cych
spoczynkowego, natomiast dla synaps hamuj¡cych jest zbli»ony do warto±ci potencjaªu spoczynkowego [3].
Model
integrate-and-re
przyjmiemy krok
τ
równy 1
2
nale»y do grupy modeli zwanej pobudliwo±¢ pierwszoklasowa . Gdy
ms, to model integrate-and-re
staje si¦ modelem najprostszym do za-
implementowania. Obliczenie warto±ci potencjaªu bªony w ka»dym kroku wymaga zaledwie 5 operacji zmiennoprzecinkowych (dodawania, mno»enia itp.).
re
Poniewa» jednak model
integrate-and-
posiada tylko jedn¡ zmienn¡, nie mo»e prezentowa¢ zachowa«, takich jak: fazowe pulsowanie,
wszelkiego rodzaju wybuchanie, odbijaj¡ce odpowiedzi, zmienna warto±¢ progu, dwumodalno±¢ czy
samoistna dynamika chaotyczna. Z powodu staªej warto±ci progu impulsy nie mog¡ by¢ utajnione.
Inaczej zachowuje si¦ nieliniowy model
integrate-and-re.
Symulowanie 1 ms pracy tego modelu
neuronu wymaga wykonania 7 operacji zmiennoprzecinkowych.
utajnienia impulsu, zmiennego progu oraz dwumodalno±ci [5].
1 ang.
2 ang.
reversal potential
Class 1 excitable
24
Model ten posiada wªa±ciwo±¢
2.3 Model Resonate-and-Fire
Model
resonate-and-re,
podobny pod wieloma wzgl¦dami do modelu
integrate-and-re,
jest naj-
prostszym mo»liwym modelem posiadaj¡cym wªa±ciwo±¢ tªumienia drga« potencjaªu bªony. Symulacja 1
ms
pracy neuronu zajmuje tylko 10 operacji zmiennoprzecinkowych [5].
Model ten
powstaª poprzez zlinearyzowanie nieliniowych równa« modelu neuronu prezentuj¡cego tªumienie
drga« potencjaªu bªony. Powstaªy ukªad równa« liniowych:
ẋ = bx − ωy
ẏ = ωx + by
mo»e zosta¢ zapisany w równowa»nej zespolonej formie:
ż = (b + iω)z,
(2.9)
w której oscyluj¡c¡ aktywno±¢ neuronu reprezentuje zmienna zespolona
rzeczywista
x,
(b + iω) ∈ C
przypomina zmienn¡ pr¡dow¡, natomiast cz¦±¢ urojona
jest parametrem, gdzie
spoczynkowego, za±
ω>0
b < 0
y
Cz¦±¢
zmienn¡ napi¦ciow¡.
to szybko±¢ przyci¡gania do warto±ci potencjaªu
cz¦sto±ci¡ drga« [7].
Rysunek 2.2: Przykªadowe odpowiedzi modeli
resonate-and-re.
Mówimy, »e neuron generuje potencjaª czynno±ciowy, gdy zmienna
to±¢ progu pobudzenia
z = x + iy ∈ C.
y = athresh .
™ródªo: [7].
y = Imz
przekroczy war-
Na rysunku 2.2 na pªaszczy¹nie zespolonej warto±¢ progu
25
y = 1
zostaªa oznaczona poziom¡ przerywan¡ lini¡, która przechodzi przez punkt
neuron wystrzeliª impuls
szar na pªaszczy¹nie.
z
i ∈ C.
musi zosta¢ wypchni¦te poza biaªy, otoczony pogrubion¡ krzyw¡, ob-
i ∈ C.
Krzywa ta jest cz¦±ci¡ rozwi¡zania, które przechodzi przez punkt
Ka»de rozwi¡zanie startuj¡ce z tego biaªego obszaru b¦dzie zbie»ne do stanu spoczynku
przekraczania progu.
By
z=0
bez
Natomiast ka»de rozwi¡zanie startuj¡ce spoza obszaru biaªego przekroczy
warto±¢ progu przed osi¡gni¦ciem stanu spoczynku [7].
Model
resonate-and-re
mo»e by¢ opisany w formie:
z˙i = (bi + iωi )zi +
n
X
cij δ(t − tj ∗ ),
(2.10)
j=1
gdzie
z∈C
opisuje stan i-tego neuronu,
wag¡ poª¡czenia synaptycznego,
δ
(b + iω) ∈ C
delt¡ Diraca,
tj
∗
jest jego wewn¦trznym parametrem,
cij ∈ C
czasem, w którym j-ty neuron wygenerowaª
ostatni impuls czynno±ciowy [7]. Jak widzimy ka»dy wygenerowany przez neuron impuls powoduje
zmian¦ aktywno±ci neuronów poª¡czonych z nim o zespolon¡ staª¡ warto±¢
cjaªu czynno±ciowego warto±¢
jest to warto±¢
i ∈ C.
zi
cij .
Po wystrzale poten-
przyjmuje warto±¢ pocz¡tkow¡. W przedstawionym przykªadzie
Chocia» równania 2.6 i 2.10 wygl¡daj¡ podobnie, maj¡ caªkowicie odmienna
dynamik¦, co zostaªo przedstawione na rysunku 2.3.
Rysunek 2.3: Porównanie odpowiedzi modelu
integrate-and-re
26
oraz
resonate-and-re.
™ródªo: [7].
2.4 Model Hodgkina-Huxleya
Model odwzorowuj¡cy rzeczywiste zachowanie neuronu biologicznego zostaª opisany w 1952 r.
przez Hodgkina i Huxleya [8], którzy za to wybitne osi¡gni¦cie zostali nagrodzeni nagrod¡ Nobla
w dziedzinie medycyny. Pomocniczy schemat modelu Hodgkina-Huxleya zostaª przedstawiony na
rysunku 2.4.
Rysunek 2.4: Pomocniczy schemat dla modelu Hodgkina-Huxleya. ™ródªo:
http://diwww.ep.ch/ gerstner/SPNM/node14.html
Cz¦±ciowo przepuszczalna bªona komórkowa oddziela wn¦trze komórki od pªynu zewn¡trzkomórkowego dziaªaj¡c jak kondensator.
Oprócz kondensatora na schemacie znajduj¡ si¦ równie»
trzy oporniki, po jednym dla ka»dego kanaªu jonowego rozwa»anego w modelu.
Kanaªy potasu
I(t),
mo»e on dodat-
i sodu s¡ napi¦ciowo zale»ne. Je»eli do komórki zostanie wstrzykni¦ty pr¡d
kowo zasili¢ kondensator lub te» wypªyn¡¢ przez kanaªy w bªonie komórki. Z powodu aktywnego
transportu jonów przez bªon¦ komórkow¡, koncentracja jonów wewn¡trz komórki ró»ni si¦ od koncentracji jonów w pªynie zewn¡trzkomórkowym. Potencjaª Nernsta wygenerowany przez t¦ ró»nic¦
w koncentracji jest reprezentowany przez ¹ródªa pr¡du. Poniewa» caªkowita warto±¢ pr¡du musi
by¢ równa sumie pr¡dów poszczególnych gaª¦zi, otrzymujemy [3]:
I(t) = IC (t) +
X
Ik (t),
(2.11)
k
gdzie suma przebiega po wszystkich kanaªach jonowych. Standardowo w modelu Hodgkina-Huxleya
s¡ tylko trzy typy kanaªów: kanaª sodowy z indeksem
okre±lony kanaª upªywowy z oporem
jest ªadunkiem, za±
IC = C du
dt .
C
u
R.
N a,
kanaª potasowy z indeksem
Z denicji pojemno±ci kondensatora
K
C = q/u,
i nie-
gdzie
q
napi¦ciem na ko«cach kondensatora, mo»emy wyznaczy¢ zasilaj¡cy pr¡d
Zatem z 2.11 mamy
X
du
=−
Ik (t) + I(t).
dt
(2.12)
k
Jak ju» wspomniano, model Hodgkina-Huxleya opisuje trzy typy kanaªów. Wszystkie kanaªy
mog¡ by¢ charakteryzowane przez ich opór, b¡d¹ przez ich przewodno±¢. Kanaª upªywowy okre±lany jest przez napi¦ciowo niezale»n¡ przewodno±¢
27
gL = 1/R.
Przewodno±¢ pozostaªych kanaªów
jonowych zale»y zarówno od napi¦cia, jak i czasu. Je»eli wszystkie kanaªy s¡ otwarte, to przewodz¡ one pr¡d z maksymaln¡ przewodno±ci¡, odpowiednio
kanaªów jest zablokowana.
m, n ,
zmienne
n
dziaªanie
oraz
h.
na bramki
K
lub
gK .
Przewa»nie jednak cz¦±¢
Prawdopodobie«stwo tego, »e kanaª jest otwarty opisuj¡ dodatkowe
Poª¡czenie dziaªania zmiennych
+
gN a
.
mih
wpªywa na kanaªy
N a+ ,
natomiast
Wykorzystuj¡c te zmienne mo»emy wyznaczy¢ warto±¢ sumaryczn¡
pr¡du w poszczególnych gaª¦ziach [3]:
X
Ik = gN a m3 h(u − EN a ) + gK n4 (u − EK ) + gL (u − EL ).
(2.13)
k
Parametry
EN a , EK
oraz
EL
oznaczaj¡ potencjaªy odwrócenia, a warto±ci potencjaªów oraz prze-
wodno±ci s¡ wielko±ciami wyznaczonymi do±wiadczalnie.
Tablica 2.1: Oryginalne warto±ci równa« Hodgkina-Huxleya. ™ródªo: [3].
x
Ex
gx
Na
115mV
120mS/cm2
x
αx (u/mV )
βx (u/mV )
n
(0.1 − 0.01u)/[exp(1 − 0.1u) − 1]
0.125exp(−u/80)
2
m
(2.5 − 0.1u)/[exp(2.5 − 0.1u) − 1]
4exp(−u/18)
h
0.07exp(−u/20)
1/[exp(3 − 0.1u) + 1]
K
−12mV
36mS/cm
L
10.6mV
0.3mS/cm2
W tabeli 2.1 zostaªy przestawione oryginalne warto±ci wyznaczone do±wiadczalnie przez Hodgkina i Huxleya.
wynosi zero.
o
−65 mV .
a potasu
C
Zmienne
Wielko±ci te opieraj¡ si¦ na skali, w której warto±¢ potencjaªu spoczynkowego
W celu otrzymania warto±ci akceptowanych obecnie nale»aªoby przesun¡¢ skal¦
Na przykªad, prawidªowe warto±ci potencjaªu odwrócenia sodu to
EK = −77 mV .
Wstawiaj¡c (2.13) do (2.12) dostajemy:
du
= −[gN a m3 h(u − EN a ) + gK n4 (u − EK ) + gL (u − EL )] + I(t)
dt
m, n ,
oraz
h
EN a = 50 mV ,
(2.14)
mo»na wyznaczy¢ z nast¦puj¡cych równa«:
dm
= αm (u)(1 − m) − βm (u)m,
dt
dn
= αn (u)(1 − n) − βn (u)n,
dt
dh
= αh (u)(1 − h) − βh (u)h,
dt
gdzie funkcje
αiβ
s¡ empirycznie wyznaczonymi funkcjami napi¦cia, dobranymi przez Hodgkina
i Huxleya tak, aby pasowaªy do danych aksonu kaªamarnicy [3].
Równania Hodgkina-Huxleya
w nowej konwencji zapisu przyjmuj¡ nast¦puj¡c¡ posta¢ [9]:
dV
= [I − gN a m3 h(V − VN a ) − gK n4 (V − VK ) + gL (V − VL )]/C,
dt
dm
= αm (V )(1 − m) − βm (V )m,
dt
28
(2.15)
dn
= αn (V )(1 − n) − βn (V )n,
dt
dh
= αh (V )(1 − h) − βh (V )h,
dt
gdzie:
αn (V ) =
0.01(V +55)
1−exp[−(V +55)/10] ,
αm (V ) =
0.1(V +40)
1−exp[−(V +40)/10] ,
αh (V ) = 0.07exp[−(V + 65)/20],
βn (V ) = 0.125exp[−(V + 65)/80], βm (V ) = 4exp[−(V + 65)/18], βh (V ) =
V
oznacza potencjaª bªony komórkowej,
peraturze
6, 30 C
wynosz¡:
I
1
1+exp[−(V +35)/10] ,
pr¡d wstrzykni¦ty do neuronu. Warto±ci staªych w tem-
gN a = 120 mmho/cm2 , gK = 36 mmho/cm2 , gL = 0, 3 mmho/cm2 ,
VN a = 50 mV , VK = −77 mV , VL = −54, 4 mV , C = 1 µF/cm2 .
Model Hodgkina-Huxleya jest niezwykle kosztowny w implementacji. Potrzebuje 120 operacji
zmiennoprzecinkowych do symulacji 0,1
ms, zatem a» 1200 opearacji/1 ms.
Z tego powodu nadaje
si¦ gªównie do symulowania niewielkiej ilo±ci neuronów lub w przypadku kiedy czas symulacji nie
odgrywa znacz¡cej roli [5].
2.5 Model FitzHugh-Nagumo
Omówiony powy»ej model Hodgkina-Huxleya najwierniej odtwarza biologiczne wªa±ciwo±ci neuronu, jednak»e posiada te» ogromn¡ wad¦, du»¡ zªo»ono±¢ obliczeniow¡.
FitzHugh pokazaª, »e
równania tego modelu mog¡ by¢ zredukowane do dwuwymiarowego ukªadu równa«, których dynamika jest bardzo bliska dynamice peªnego czterowymiarowego modelu [10].
Rysunek 2.5: Wykresy funkcji dla
m∞ (V ), n∞ (V ), h∞ (V ), τm (V ), τn (V ), τh (V ).
29
™ródªo: [9].
Przyjmuj¡c
m(0) = 0,
V
jako staª¡ warto±¢, mo»emy rozwi¡za¢ równania 2.15. Na przykªad, zakªadaj¡c
otrzymujemy:
m(t) = m∞ (V )(1 − e−t/τm (V ) ),
m∞ (V ) ≡
gdzie
αm
αm +βm , τm (V
(2.16)
1
αm +βm Dla zmiennych
)≡
Rysunek 2.5 przedstawia wykresy funkcji
Jak widzimy staªa czasowa
±ci
V.
τm
to±ci
V
dn/dt,
m∞ (V ), n∞ (V ), h∞ (V ), τm (V ), τn (V ), τh (V ).
jest znacznie mniejsza ni» staªe
Zatem mo»emy wnioskowa¢, »e zmienna
To sugeruje, »e mo»emy zamieni¢
do wyliczenia
oraz
dh/dt
m∞ ,
n i h otrzymujemy podobne rozwi¡zania.
m
τn
i
τh
dla wszystkich warto-
ewoluuje znacznie szybciej od zmiennych
n i h.
m(t) w modelu Hodgkina-Huxleya na m∞ (V (t)), czyli u»y¢ war-
a nast¦pnie u»y¢ tej warto±ci jako
m
po prawej stronie równa«
dV /dt,
[9]. Poprawno±¢ tego przybli»enia zostaªa ukazana na rysunku 2.6. FitzHugh
zaobserwowaª, »e je»eli równania Hodgkina-Huxleya generuj¡ okresowe potencjaªy czynno±ciowe,
zachodzi nast¦puj¡ce przybli»enie:
n(t) + h(t) ≈ 0.8
[9].
Po uproszczeniach dostajemy nast¦puj¡cy dwuwymiarowy ukªad równa«:
dV
= [I − gN a [m∞ (V )]3 (0.8 − n)(V − VN a ) − gK n4 (V − VK ) + gL (V − VL )]/C,
dt
dn
= αn (V )(1 − n) − βn (V )n.
dt
(2.17)
Jako±ciowy model, który odwzorowuje zachowanie modelu Hodgkina-Huxleya dany jest nastepuj¡cymi równaniami FitzHugh-Nagumo [9]:
dv
= F (v) − w + I,
dt
dw
= v − γw,
dt
gdzie:
F (v) = v(1 − v)(v + a), 1
(2.18)
oraz
a, γ
s¡ staªymi.
Równania FitzHugh-Nagumo w po-
równaniu z równaniami (2.17) operuj¡ na znacznie prostszych funkcjach. Przy symulacji trwaj¡cej
0,25
ms
potrzeba 18 operacji zmiennoprzecinkowych, co daje 72 operacje w ci¡gu 1
ms
symula-
cji. Poniewa» model jest dwuwymiarowym systemem bez resetu, nie mo»e prezentowa¢ samoistnej
dynamiki chaotycznej lub wybuchania [5].
30
Rysunek 2.6: Niebieska linia odpowiada
m(t)
liczonej z peªnego modelu HH, czerwona
Rysunek 2.7: Przebieg
n(t) + h(t).
31
™ródªo: [9].
m∞ (V (t)).
™ródªo: [9].
2.6 Model Morrisa-Lecara
Morris i Lecar zaproponowali prosty dwuwymiarowy model opisuj¡cy dziaªanie komórki mi¦±niowej
w¡sonoga. Schematyczny obraz modelu Morrisa-Lecara (ML) przedstawiony zostaª na rysunku 2.8.
Podobnie jak w przypadku modelu Hodgkina-Huxleya, model Morrisa-Lecara charakteryzuj¡ dwie
Rysunek 2.8: Schemat modelu Morrisa-Lecara. ™ródªo: [11].
szybkie przewodno±ci
wych.
(gCa , gK ),
które przyczyniaj¡ si¦ do powstawania potencjaªów czynno±cio-
Jednak»e w modelu ML do wn¦trza skierowany jest pr¡d wapniowy, a nie sodowy jak
w przypadku modelu Hodgkina-Huxleya. Dodatkowo, by model ML mógª generowa¢ seri¦ impulsów
3 w odpowiedzi na pobudzenie, zostaª wyposa»ony w wewn¦trzny zbiornik z wapniem oraz
wapniowo zale»n¡ przewodno±¢ potasu.
Model Morrisa-Lecara deniuj¡ przedstawione poni»ej
równania [11]:
Cm
dVm
= Istim − gCa m∞ (Vm − ECa ) − gK n(Vm − EK ) − gL (Vm − EL )−
dt
[Ca]
(Vm − EK ),
− gK(Ca)
[Ca] + K
d[n]
n∞ − n
,
=
dt
τn
d[Ca]
= k1 ICa − k2 [Ca].
dt
(2.19)
Równania 2.19 dla potencjaªu bªony
Vm
niuj¡cych model Hodgkina-Huxleya.
potasowego
[Ca]
IK(Ca) .
Aktywacj¦
gK(Ca)
oraz dla aktywacji potasu n s¡ podobne do tych de-
Nowo±ci¡ jest dodanie wapniowo aktywizowanego pr¡du
determinuje funkcja koncentracji wapnia
opisuje równanie, w którym pr¡d wapniowy
(k1 ICa )
w wewn¦trznym zbiorniku wapniowym, natomiast pr¡d
3 tj.
bursting
32
[Ca]
[Ca]+K , gdzie
przyczynia si¦ do zwi¦kszenia wapna
(−k2 ICa )
do jego zmniejszenia [11].
Rysunek 2.9: Przykªadowe odpowiedzi modelu Morrisa-Lecara. ™ródªo: [11].
Gdy wewn¦trzny zbiornik z wapniem oraz wapniowo aktywizowana przewodno±¢ nie zostanie
wª¡czona do równa«, model Morrisa-Lecara b¦dzie zachowywa¢ si¦ podobnie do modelu HodgkinaHuxleya, generuj¡c pojedyncze impulsy w odpowiedzi na pobudzenie.
modelu Morrisa-Lecara uwzgl¦dnione zostaªy tylko dwie zmienne, tj.
Poniewa» w zubo»onym
potencjaª bªony (V) oraz
aktywno±¢ potasu, model ten jest znacznie prostszy od modelu Hodgkina-Huxleya.
Równania
opisuj¡ce model dane s¡ nast¦puj¡co [5]:
dV
= I − gL (V − VL ) − gCa m∞ (V − VCa ) − gK n(V − VK ),
dt
dn
= λ(V )(n∞ (V ) − n),
dt
C
(2.20)
gdzie:
m∞ (V ) =
1
(V − V1 )
]},
{1 + tanh[
2
V2
(V − V3 )
1
{1 + tanh[
]},
2
V4
(V − V3 )
].
λ(V ) = λcosh[
(2V4 )
n∞ (V ) =
Parametry modelu u»ywane w symulacjach:
C = 20 µF/cm2 , gL = 2 mmho/cm2 , VL = −50 mV , gCa = 4 mmho/cm2 , VCa = 100 mV ,
gK = 8 mmho/cm2 , VK = −70 mV , V1 = 0 mV , V2 = 15 mV , V3 = 10 mV , V4 = 10 mV ,
λ = 0, 1 s−1 , I(µA/cm2 ).
Model prezentuje ró»ne typy pulsowania.
Jednak»e zachowanie typu fazowe wychuchanie
4
zachodzi tylko wtedy, kiedy dodane zostanie dodatkowe równanie opisuj¡ce dezaktywacj¦ pr¡du
wapniowego. Przy warto±ci kroku
do symulacji 1
4 tonic
ms
τ = 0, 1 ms
potrzeba okoªo 600 operacji zmiennoprzecinkowych
pracy neuronu [5].
bursting
33
2.7 Model Hindmarsha-Rose
Hindmarsh i Rose zaproponowali kilka modeli neuronów, z których najwi¦ksz¡ popularno±¢ zyskaª
model charakteryzuj¡cy si¦ wybuchowym generowaniem impulsów. Podstaw¦ tego modelu stanowi zmodykowany model FitzHugh-Nagumo.
Model ten mo»e generowa¢ oscylacje z dªugimi
przerwami mi¦dzy impulsami. Stanowi najprostsz¡ matematyczn¡ reprezentacj¦ fenomenu uwalniania wybuchowych oscylacji jakie wyst¦puj¡ w biologicznych komórkach neuronowych [12, 13].
Symulacja 1
ms
pracy neuronu wymaga 120 operacji zmiennoprzecinkowych [5].
Pocz¡tkowo model Hindmarsha-Rose (HR) posiadaª dwie zmienne, jedn¡ dla potencjaªu bªony
oraz drug¡ odpowiedzialn¡ za przystosowanie w kanaªach jonowych. Ogólne równania dla modelu
HR s¡ nast¦puj¡ce [12]:
dV
= α(βr − f (V ) + I),
dt
dW
= γ(g(V ) − δr)
dt
gdzie
I
(2.21)
oznacza dostarczony pr¡d,
natomiast
g(V )
α, β, γ
oraz
δ s¡ staªymi propagacji, f (V ) jest funkcj¡ sze±cienn¡,
funkcj¡ nieliniow¡.
Wstawiaj¡c za zmienne
zmiennymi, gdzie:
x
V
i
W
w równaniu 2.21 zmienne
oznacza potencjaª bªony,
y
xiy
dochodzimy do modelu z trzema
wewn¦trzny pr¡d, a
z
powolny pr¡d adaptacyjny.
Równania przyjmuj¡ nast¦puj¡c¡ posta¢ [14]:
dx
= y − f (x) − z + I,
dt
dy
= g(x) − y,
dt
dz
= (h(x) − z),
dt
gdzie
I
(2.22)
reprezentuje zaaplikowany pr¡d,
f (x) i g(x)
s¡ funkcjami dobranymi eksperymentalnie:
f (x) = ax3 − bx2 ,
g(x) = c − dx2 ,
(2.23)
jest skal¡ czasow¡ powolnego pr¡du adaptacyjnego, za± h(x) jest skal¡ wpªywu powolnej dynamiki,
która determinuje sposób w jaki neuron odpowie na pobudzenie czy b¦dzie to pojedynczy impuls
czy te» seria impulsów w tzw. trybie wybuchowym.
Na rysunku 2.10 A pokazano ró»ne wzorce odpowiedzi neuronu. Jak wida¢, dla ró»nych warto±ci doprowadzanego pr¡du
I,
model Hindmarsha-Rose wytwarza krótkie, dªugie lub nieregularne
(chaotyczne) serie impulsów. Rysunek 2.10 B przedstawia przykªad serii impulsów generowanych
przez dwa powi¡zane ze sob¡ hamuj¡ce neurony.
34
Rysunek 2.10: Ró»ne wzorce odpowiedzi modeli Hindmarsha-Rose. ™ródªo: [12].
Pierwszy trójwymiarowy model zostaª zaproponowany przez Hindmarsha i Rose w 1984 r.
Równania opisuj¡ce model w zasadzie s¡ takie same jak równania (2.23), z tym »e
h(x)
zostaªa
zdeniowane jako funkcja liniowa postaci [14, 13]:
h(x) = s(x − x∗ ),
gdzie
(x∗ , y ∗ )
s¡ wspóªrz¦dnymi punktu równowagi poªo»onego najbardziej na lewo w modelu 2.22
bez adaptacji (I
= 0).
Model Hindmarsha-Rose'84 deniowany jest równaniami [14]:
dx
= y − ax3 + bx2 − z + I,
dt
dy
= c − dx2 − y,
dt
dz
= (s(x − x∗ ) − z).
dt
(2.24)
Parametry u»ywane do symulacji s¡ nast¦puj¡ce:
x∗ =
√
−1− 5
,
2
I = 3, 25.
35
a = 1, b = 3, c = 1, d = 5, = 0, 005, s = 4,
Drugi trójwymiarowy model Hindmarsha-Rose zostaª zaproponowany w 1985 r. I tutaj równie»
jedyn¡ ró»nic¡ w stosunku do modelu 2.22 jest funkcja
h(x) = K
gdzie
K
oraz
µ
poprzez zmian¦
h(x)
postaci [14]:
µ(x+1+k) − 1
,
µ(1+2k)−1
(2.25)
s¡ staªymi. Funkcja ta zostaªa dobrana tak, aby jej spadek mógª by¢ zmieniany
µ
bez przenoszenia punktu równowagi oraz by:
h(−1 − k) = 0.
Model Hindmarsha-Rose'85 opisuj¡ nast¦puj¡ce równania [14]:
dx
= y − ax3 + bx2 − z + I,
dt
dy
= c − dx2 − y,
dt
(2.26)
µ(x+1+k) − 1
dz
= (K (1+2k)−1 − z).
dt
µ
Parametry modelu u»ywane w symulacjach:
K = 2, k =
√
−1+ 5
,
2
a = 1, b = 3, c = 1, d = 1, 077, = 0, 005, µ = 4, 3,
I = 4, 5.
2.8 Model Izhikevicha
Izhikevich zaproponowaª model neuronu, ª¡cz¡cy w sobie biologiczne prawdopodobie«stwo do modelu Hodgkina-Huxleya z numeryczn¡ efektywno±ci¡ modelu
integrate-and-re
[15]. W zale»no±ci
od czterech parametrów model generuje impulsowe lub wybuchowe zachowanie wyst¦puj¡ce w neuronach kory. Na rysunku 2.11 przedstawiono porównanie zachowania komórki neuronowej w korze
ruchowej szczura oraz zachowanie modelu Izhikevicha.
Model Izhikevicha deniuj¡ nast¦puj¡ce równania [15]:
dv
= 0.04v 2 + 5v + 140 − u + I,
dt
du
= a(bv − u)
dt
(2.27)
wraz z pomocniczymi wzorami resetowania modelu po wygenerowaniu impulsu:
je±li
v ≥ 30mV,
wtedy
W powy»szych równaniach
v ← c, u ← u + d,
a, b, c
oraz
d
(2.28)
s¡ parametrami, zmienna
tycznego lub wstrzykni¦tego bezpo±rednio do modelu.
bªony neuronu, a zmienna
I
to wielko±¢ pr¡du synap-
Natomiast zmienna
v
oznacza potencjaª
u reprezentuje powrót bªony do stanu równowagi, co wynika z aktywacji
pr¡du potasowego oraz inaktywacji pr¡du sodowego. W momencie, gdy potencjaª czynno±ciowy
osi¡gnie szczyt (+30
mV ),
warto±ci zmiennych resetowane s¡ zgodnie z równaniami (2.28). Na-
le»y z naciskiem podkre±li¢, »e warto±¢ +30
mV
nie powinna by¢ kojarzona z warto±ci¡ progow¡
neuronu [15].
36
Rysunek 2.11: Porównanie odpowiedzi neuronów kory ruchowej szczura i modelu Izhikevicha. ™ródªo: [15].
Cz¦±¢
0.04v 2 + 5v + 140
równania (2.27) zostaªa otrzymania przez dopasowywanie dynamiki
pocz¡tkowania impulsów w komórce nerwowej kory tak, aby potencjaª bªony wyra»aª si¦ w
a czas w
ms.
Potencjaª spoczynkowy modelu znajduje si¦ pomi¦dzy warto±ciami -70 a -60
w zale»no±ci od warto±ci parametru
b.
mV ,
mV ,
Tak jak wi¦kszo±¢ rzeczywistych modeli, model ten nie
posiada staªego progu. W zale»no±ci od historii potencjaªów bªony przed impulsem, próg potencjaªu
mo»e przyjmowa¢ zarówno warto±ci okoªo -55
mV
lub -40
mV
[15].
Na rysunku 2.12 gracznie zaznaczono parametry modelu Izhikevicha. Parametr
a oznacza czas
jaki potrzebny jest by neuron powróciª do stanu spoczynku. Mniejsze warto±ci powoduj¡ wolniejsze
dochodzenie modelu do warto±ci spoczynkowej. Najcz¦±ciej
b
opisuje wra»liwo±¢ zmiennej
mocniej wi¡»e zmienne
v
i
u
u
to -65
mV .
v.
Wi¦ksza warto±¢
powoduj¡c pojawianie si¦ podprogowych oscylacji oraz generowanie
Typowa warto±¢ tego parametru to 0,2.
stanowi warto±¢, na któr¡ ustawiany zostaje potencjaª bªony
c
przyjmuje warto±¢ 0,02. Parametr
na podprogowe wahania potencjaªu bªony
impulsów przy obni»onej warto±ci progu.
warto±¢ dla
a
Ostatni parametr
d
v
37
c
po wypuszczeniu impulsu. Typowa
modeluje zmian¦ zmiennej
potencjaªu czynno±ciowego. Przewa»nie przyjmuje warto±¢ 2.
Parametr
u
po wygenerowaniu
Rysunek 2.12: Graczna interpretacja parametrów modelu Izhikevicha. ™ródªo: [15].
Model Izhikevicha mo»e odwzorowywa¢, przy odpowiednim doborze parametrów
a, b, c, d,
wszystkie znane typy neuronów kory. Potrzeba tylko 13 operacji zmiennoprzecinkowych do symulacji 1
ms.
Przy ustawieniach danych nast¦puj¡co:
(a, b, c, d) = (0.2, 2, −56, −16) i I = −99
model
wykazuje zachowanie chaotyczne [5].
2.9 Model FC
5
Model FC , którego jestem wspóªautork¡, jest kompromisem pomi¦dzy biologiczn¡ poprawno±ci¡ a obliczeniow¡ efektywno±ci¡, stworzonym z my±l¡ o symulowaniu przebiegu impulsów »ywej
komórki nerwowej. FC obejmuje zjawiska takie jak: osªabianie wra»liwo±ci na zewn¦trzne pobudzanie, opó¹nianie i osªabianie potencjaªów postsynaptycznych, modykacj¦ wewn¦trznych wag
wynikaj¡c¡ z propagacji potencjaªów postsynaptycznych wzdªu» dendrytu, modykacj¦ wªa±ciwo-
6
±ci pami¦ci dla ka»dego wej±cia zgodnie ze wzorem dªugotrwaªego wzmocnienia synaptycznego ,
generowanie impulsu kiedy suma potencjaªów wszystkich wej±¢ przekroczy próg oraz refrakcj¦ [16].
Przy modelowaniu neuronów, ich podobie«stwo do biologicznych odpowiedników oraz efektywno±¢ obliczeniowa s¡ przeciwstawnymi celami. Dlatego te», tylko najistotniejsze cechy biologicznych neuronów powinny zosta¢ wzi¦te pod uwag¦, tak aby nie zwi¦ksza¢ zªo»ono±ci obliczeniowej
modelu ponad konieczno±¢ [17]. St¡d te» przyj¦li±my, »e dla pojedynczego neuronu przynajmniej
nast¦puj¡ce zjawiska neurozjologiczne powinny zosta¢ uwzgl¦dnione:
1. Ka»dy sygnaª wej±ciowy powoduje zmian¦ pobudzaj¡cego
nego potencjaªu.
Istniej¡ typowe wzory ich wzmacniania lub osªabiania.
ceptowane s¡ neurozjologiczne dane, takie jak:
5 ang.
6 ang.
7 ang.
8 ang.
7 lub hamuj¡cego8 postsynaptycz-
Firing Cell
long term potentiation (LTP)
excitatory postsynaptic potential, EPSP
inhibitory postsynaptic potential, IPSP
38
Powszechnie ak-
przebiegi czasowe, amplitudy potencjaªu
czynno±ciowego, oraz próg pobudzenia powoduj¡cy potencjaª czynno±ciowy oraz odblokowywanie kanaªów NMDA [18, 19, 20].
2. Je»eli skumulowany lokalny potencjaª postsynaptyczny przekroczy warto±¢ lokalnego progu
(okoªo -70mV), receptor NMDA powoduje otwarcie zablokowanych kanaªów wapniowych
i tym samym zachodzi fenomen dªugotrwaªego wzmocnienia synaptycznego (LTP) i aktywacji dªugotrwaªej pami¦ci zwi¡zanej z danym wej±ciem [20, 21].
3. Zmiana wag w wyniku propagacji potencjaªu postsynaptycznego wzdªu» dendrytu oraz nieliniowa kumulacja potencjaªu dla funkcji progowej [22].
Model FC mo»e wyst¦powa¢ w trzech wersjach: jako neuron pobudzaj¡cy, hamuj¡cy lub receptor. Na rysunku 2.13 zostaªa przedstawiona ogólna budowa modelu. Jak mo»na zauwa»y¢, model
skªada si¦ z dendrytu, ciaªa komórki oraz aksonu. Dendryt zªo»ony jest z ci¡gu kompartmentów,
z których ka»dy posiada wej±cie synaptyczne, pobudzaj¡ce lub hamuj¡ce, stanowi¡ce substytut
wielu synaps biologicznych.
Rysunek 2.13: Budowa modelu FC. ™ródªo: Opracowanie Jacek Biaªow¡s.
Model FC wyposa»ony jest w trzy rejestry, po jednym dla wej±¢ pobudzaj¡cych (E ), wej±¢
hamuj¡cych (I ) oraz stanu pami¦ci (M ). Rejestry skªadaj¡ si¦ z tabel danych odpowiednio powi¡zanych z wej±ciami neuronu. Pierwsza warto±¢ w ka»dej tabeli zarezerwowana jest na aktualn¡
warto±¢ aktywacji odpowiedniego wej±cia.
Po wykryciu potencjaªu czynno±ciowego w synapsie,
warto±ci odpowiedniej tabeli w rejestrze s¡ zmieniane zgodnie z staªymi czasowymi dla EPSP
i IPSP. Uaktualnienie rejestrów dla i-tego kompartmentu zachodzi wedªug wzoru:
Ei,k (t + 1) = Ei,k (t) + A(i)M (i)PE (k),
Ii,k (t + 1) = Ii,k (t) + PI (k),
(2.29)
Mi,k (t + 1) = Mi,k (t) + PM (k),
gdy
Si (t) ≥ CaM T.
W powy»szych zale»no±ciach
PE (k), PM (k) (PI (k))
k-tej komórki w przedziale.
Si (t)
funkcj¦ pami¦ci, natomiast
CaM T
oznaczaj¡ staª¡ wielko±¢ EPSP (IPSP) dla
stanowi sumaryczny potencjaª,
A(i)
próg otwarcia kanaªu wapniowego.
39
funkcj¦ adaptacji,
M (i)
Rysunek 2.14: Przekrój synapsy w modelu FC. ™ródªo: Opracowanie Jacek Biaªow¡s.
Na rysunku 2.14 przedstawiony zostaª przekrój synapsy w modelu Firing Cell. Uruchomienie
9 wymaga zbiegni¦cia si¦ w czasie sygnaªu pobudzaj¡-
zjawiska dªugotrwaªej pami¦ci synaptycznej
cego i otwarcia kanaªu wapniowego. W dendrycie uwzgl¦dniono funkcj¦ adaptacji
A(i),
która dla
i-tego przedziaªu przyjmuje posta¢:
A(i) =
gdzie
Rep
(ReP − Rsp) − (ReP − Si (t))
,
(ReP − Rsp)
oraz
Rsp
s¡ parametrami, za±
Si (t+1) = ReP +
NE
X
Si (t)
(2.30)
sumarycznym potencjaªem:
(Em,0 (t)−ReP )Inf (m, i)+
gdzie
N , N I, N E
oraz
1−LSW
(N −1)
4
N (a
LSW
(Im,0 (t)−ReP )Inf (m+N E, i)
(2.31)
m=1
m=1



1−



Inf (a, b) = 1 −




0,
NI
X
(b − a),
− b),
gdy
b ≥ a,
gdy
(a − b) N
4,
(2.32)
poza.
to parametry, za±
Ei,0
oraz
Ii,0
cjaªów pobudzaj¡cych i hamuj¡cych dla i-tego przedziaªu.
warto±ci aktualne w rejestrze poten-
M (i)
oznacza funkcj¦ pami¦ci w i-tym
przedziale, liczon¡ ze wzoru:
M (i) = 1 + ln
(Ci (t) + 1)
,
6clog
(2.33)
Ci (t + 1) = Ci (t) + exp(10(Mi,0 (t) − ReP )) − 1,
z dodatkowym warunkiem: je±li
Ci (t + 1) > F Q
wtedy
(2.34)
Ci (t + 1) ← Ci (t + 1) − F Q. C(i)
tutaj ªadunek pami¦ci wapniowej dla i-tego przedziaªu,
clong , F Q, ReP
oznacza
s¡ parametrami, a
Mi,0
aktualn¡ warto±ci¡ pami¦ci wapniowej w rejestrze.
10 ,
Ogólny schemat dziaªania modelu zostaª zaprezentowany na rysunku 2.15. W ka»dym kroku
je»eli neuron nie znajduje si¦ w stanie refrakcji, sprawdzane s¡ warto±ci w synapsach i dalej we-
9 ang. long term potentiation
10 1 krok = 0,5 msec
40
Rysunek 2.15: Schemat dziaªania modelu FC. ™ródªo: Opracowanie Jacek Biaªow¡s.
dªug wzorów 2.29 odpowiednio uaktualniane warto±ci w rejestrach. Nast¦pnie zostaj¡ wyznaczone
warto±ci wa»onej sumy wszystkich potencjaªów synaptycznych ze wzoru:
P SP (t + 1) = ReP +
NE
X
W (i)(Em,0 (t) − ReP ) +
parametry,
a
W (i)
Em,0
Im,0
(2.35)
P SP < KEP
wtedy
P SP ← KEP . ReP , KEP
oznaczaj¡
aktualne warto±ci w rejestrze potencjaªów pobudzaj¡cych i hamuj¡cych,
waga dla i-tego kompartmentu:
W (i) =
gdzie
i
je±li
(Im,0 (t) − ReP )
m=1
m=1
z dodatkowym warunkiem:
NI
X
1 − LSW
(i − N E) + 1,
NE − 1
LSW , N E
s¡ parametrami.
przekracza warto±¢ progu (-50
(2.36)
Je»eli warto±¢ skumulowanego potencjaªu postsynaptycznego
mV ),
to neuron generuje impuls na wyj±ciu aksonu, za± warto±ci
wszystkich rejestrów ustawiane s¡ na warto±¢ pocz¡tkow¡, a neuron wchodzi w stan refrakcji na
1,5
msec.
W przeciwnym razie warto±ci w rejestrach s¡ przesuwane, co odzwierciedla upªyw czasu.
41
Warto±ci w rejestrach zmieniaj¡ si¦ zgodnie z nast¦puj¡cymi formuªami:
Ei,k (t + 1) =


Ei,k+1 ,
gdy

ReP ,
poza;
Mi,k (t + 1) =
ReP , thresh
(2.37)


Mi,k+1 ,
gdy

ReP ,
poza;



Ii,k+1 ,



Ii,k (t + 1) = Ii,k+1 ,




I (t),
i,k
gdzie
P SP < thresh,
P SP < thresh,
(2.38)
gdy
(P SP ≥ ReP )
gdy
(P SP < ReP ) i (Di (t) 0) i (Li (t) = sleepC),
lub
(P SP < ReP ) i (Di (t) > 0),
(2.39)
poza,
s¡ parametrami,
P SP
suma wszystkich potencjaªów w neuronie,
Di i Li
funk-
cjami opó¹niania i osªabiania wpªywu potencjaªów hamuj¡cych.


6,



Di (t + 1) = Di (t) − 1,




D (t),
i



Li (t) + 1,



Li (t + 1) = 0,




L (t),
i
gdzie
P SP
gdy
InInh(i) = 1,
gdy
(P SP < ReP ) i (Di (t) > 0),
(2.40)
poza;
gdy
Di (t) 0 i P SP < ReP,
gdy
Li (t) = sleepC,
(2.41)
poza,
jest potencjaªem sumarycznym w neuronie,
ReP
oraz
sleepC s¡ parametrami, a InInh(i)
hamuj¡cym impulsem wej±ciowym w i-tej synapsie.
2.10 Porównanie wªa±ciwo±ci modeli neuronów
Omówione powy»ej modele w wi¦kszo±ci nale»¡ do najpowszechniej u»ywanych modeli neuronów
impulsowych oraz wybuchowych
11 . Porównanie tych modeli zostaªo przedstawione na rysunku 2.16.
Przy porównaniu wzi¦to pod uwag¦ najwa»niejsze cechy i charakterystyki neuronu opisane w rozdziale 1 (patrz 1.8).
Uwzgl¦dniono równie» cechy takie jak: znaczenie biozyczne, mierzalno±¢
parametrów modelu, zdolno±¢ do prezentowania przez model samoistnych zachowa« chaotycznych.
Jak mo»emy zauwa»y¢ na rysunku 2.16 model Hodgkina-Huxleya prezentuje wszystkie z rozwa»anych cech i wªa±ciwo±ci modeli neuronów, jednak»e jest modelem najbardziej kosztownym
obliczeniowo. Z kolei najmniej kosztownym modelem jest
integrate-and-re, który prezentuje zale-
dwie najbardziej fundamentalne wªa±ciwo±ci impulsowych neuronów kory. Jedyn¡ du»¡ zalet¡ tego
11 ang.
bursting
42
Rysunek 2.16: Porównanie wªa±ciwo±ci modeli neuronów. ™ródªo: [5].
modelu jest jego liniowo±¢, przez co nadaje si¦ on do wszelkich analiz matematycznych.
tic integrate-and-re
Quadra-
jest praktycznie tak efektywny jak jego liniowy odpowiednik, przewa»aj¡c
prezentacj¡ wielu wa»nych wªa±ciwo±ci biologicznych neuronów, takich jak: ukryte impulsy oraz
bistabilno±¢. Z powodu jednowymiarowo±ci niestety nie przedstawia wybuchania czy te» adaptacji
cz¦stotliwo±ci impulsów. Model Izhikevicha prezentuje wszystkie porównywane cechy z wyj¡tkiem
znaczenia biozycznego i plasuje si¦ na najwy»szym miejscu w±ród modeli, je»eli pod uwag¦ we¹miemy stosunek biologicznego podobie«stwa do kosztów implementacji.
43
Rozdziaª 3
Sieci neuronów biologicznych
Modele neuronów impulsowych z wi¦ksz¡ ni» tradycyjne modele dokªadno±ci¡ próbuj¡ uchwyci¢
bogat¡ dynamik¦ rzeczywistych struktur neuronowych. Przykªadowo, tak jak w przypadku prawdziwych neuronów, komunikacja mi¦dzy nimi zachodzi za pomoc¡ impulsów.
W rozdziale tym
zostanie przedstawiona ogólna koncepcja impulsowych sieci neuronowych oraz ich wady i zalety
na tle konwencjonalnych sztucznych sieci neuronowych. Zaprezentowana zostanie równie» ogólna
teoria oblicze« pªynowych oraz maszyn pªynowych zbudowanych z neuronów impulsowych.
3.1 Sieci neuronów impulsowych
Oryginaln¡ inspiracj¡ sztucznej sieci neuronowej byªa budowa naturalnych ukªadów nerwowych,
a w szczególno±ci mózgu.
Tradycyjnie wierzono, »e neurony komunikuj¡ si¦ ze sob¡ u»ywaj¡c
1
w tym celu ±redniej warto±ci szybko±ci wysyªania impulsów . Innymi sªowy, twierdzono »e neuron
odbiera informacj¦ od innego neuronu poprzez zliczanie ilo±ci impulsów otrzymanych od tego neuronu w trakcie relatywnie dªugiego okresu czasu oraz okre±lenie ±redniego odst¦pu czasu pomi¦dzy
impulsami.
Ten typ kodowania informacji znany jest jako
kodowanie szybko±ciowe 2 .
Wi¦kszo±¢
sztucznych sieci neuronowych u»ywa tego typu kodowania w formie rzeczywistych warto±ci reprezentuj¡cych poziom aktywacji [23].
Ostatnie odkrycia w neurozjologii zach¦ciªy poszukiwania alternatywnych schematów kodowania w sztucznych sieciach neuronowych. W mózgu naczelnych odkryto neurony, które wybiórczo
odpowiadaªy na zªo»one wizualne pobudzenie ju» w czasie 100-150
ms
po prezentacji pobudzenia.
Informacja ta przetwarzana byªa ±rednio przez 10 warstw pomi¦dzy pocz¡tkowym a ko«cowym etapem rozpoznania bod¹ca. Maj¡c te dane ªatwo mo»na wyznaczy¢, »e na ka»dy etap przetwarzania
przypadaªo zaledwie 10
1 ang.
2 ang.
ms,
co w istocie wyklucza kodowanie szybko±ciowe jako metody przekazy-
mean ring rate
rate coding
44
wania informacji, a dowodzi istnienia w mózgu innego sposóbu kodowania informacji. Najbardziej
3
obiecuj¡c¡ alternatyw¡ wydaje si¦ tu kodowanie czasowe , które umo»liwia transmisj¦ ogromnej
ilo±ci danych przy pomocy zaledwie kilku impulsów, to znaczy jednego czy te» »adnego dla ka»dego
neuronu wª¡czonego w przetwarzanie tego specycznego zadania [23].
Wolfgang Maass w [24] wyró»niª trzy generacje sieci neuronowych. Pierwsz¡ generacj¦ stanowi¡
sieci, które jako podstawowych jednostek strukturalnych u»ywaj¡ modelu neuronu McCullochaPittsa.
W tej klasie mo»emy wyró»ni¢ sieci neuronowe, takie jak: wielowarstwowe perceptrony,
sieci Hopelda oraz maszyny Boltzmanna. Przykªadowa sie¢ wielowarstwowa, zªo»ona z perceptronów zostaªa przedstawiona na rysunku 3.1. Charakterystyczn¡ cech¡ modeli modeli pierwszej
generacji jest to, »e mog¡ one dawa¢ tylko cyfrowe wyj±cie. Stanowi¡ uniwersalne narz¦dzie do oblicze« z cyfrowym wej±ciem i wyj±ciem, a ka»da funkcja logiczna mo»e by¢ obliczona przy pomocy
wielowarstwowego perceptronu z jedn¡ warstw¡ ukryt¡.
Rysunek 3.1: Wielowarstwowy perceptron. ™ródªo: http://wiki.isir.is/wiki/.
Druga generacja sieci neuronowych opiera si¦ na neuronach z funkcj¡ aktywacji z ci¡gªym
zbiorem mo»liwych warto±ci odpowiedzi na wa»on¡ sum¦ wej±cia. Typowe przykªady to sieci sigmoidalne ze sprz¦»eniami zwrotnymi (patrz rysunek 3.2) lub bez sprz¦»e« zwrotnych.
Zostaªo
dowiedzione, »e sieci neuronowe drugiej generacji potra¡ oblicza¢ pewne funkcje logiczne z mniejsz¡ ilo±ci¡ bramek ni» sieci neuronowe pierwszej generacji.
Dodatkowo, sieci drugiej generacji
potra¡ wyznacza¢ funkcj¦ z analogowym wej±ciem i wyj±ciem.
W istocie sieci te z jedn¡ tylko
warstw¡ ukryt¡, z do±¢ dobr¡ dokªadno±ci¡ aproksymuj¡ ka»d¡ ci¡gª¡ funkcj¦.
Kolejn¡ wa»n¡
cech¡ charakterystyczn¡ tej generacji sieci neuronowych jest to, »e umo»liwiaj¡ one u»ycie gra-
4
dientowych metod uczenia, takich jak metoda uczenia ze wsteczn¡ propagacj¡ bª¦du .
Sieci tej
generacji maj¡ równie» interpretacje biologiczn¡, bowiem wyj±cie sigmoidalnego neuronu mo»e by¢
traktowane jako cz¦sto±¢ emitowania impulsów biologicznego neuronu. Poniewa» biologiczne neurony, zwªaszcza w wy»szych obszarach kory, znane s¡ z wypuszczania impulsów w ró»nych ±rednich
3 ang.
4 ang.
temporal coding
backpropagation method
45
Rysunek 3.2: Rekurencyjna sie¢ neuronowa. ™ródªo: http://www.science.uva.nl.
cz¦stotliwo±ciach, pomi¦dzy ich minimaln¡ i maksymaln¡ cz¦stotliwo±ci¡, sieci drugiej generacji,
z uwagi na ich interpretacje s¡ bardziej biologicznie realistyczne ni» sieci pierwszej generacji.
Trzecia generacja modeli sieci neuronowych u»ywa neuronów impulsowych jako podstawowych
jednostek strukturalnych.
Typowa impulsowa sie¢ neuronowa wraz z przedstawionym wej±ciem
i wyj±ciem sieci zostaªa przedstawiona na rysunku 3.3. Modele nale»¡ce do trzeciej generacji tak»e
nie dostarczaj¡ kompletnego opisu wyj¡tkowo zªo»onych funkcji biologicznego neuronu i podobnie
jak poprzednie generacje s¡ uproszczonymi modelami obejmuj¡cymi zaledwie kilka aspektów biologicznego neuronu. Jednak»e w porównaniu do poprzednich dwóch generacji s¡ znacznie bardziej
realistyczne. W szczególno±ci du»o lepiej opisuj¡ rzeczywiste wyj±cie biologicznego neuronu.
Podczas gdy czasowo±¢ kroków obliczeniowych jest zazwyczaj bagatelizowana w modelach poprzednich generacji, czasowo±¢ pojedynczych kroków obliczeniowych odgrywa znacz¡c¡ rol¦ w obliczeniach w sieci neuronów impulsowych. W istocie, odpowied¹ neuronu impulsowego
ze zbioru
Fv ⊆ R +
(gdzie
R+ = {x ∈ R : x ≥ 0})
punktów w czasie kiedy
v
v
skªada si¦
wypuszcza impuls.
Sieci tej generacji, tak jak sieci drugiej generacji, aproksymuj¡ ci¡gªe funkcje caªkiem dobrze, lecz
przy u»yciu czasowo zakodowanego wej±cia i wyj±cia. Warto tu doda¢, »e istniej¡ funkcje, do aproksymacji których w sieciach impulsowych wymagana jest mniejsza ilo±¢ neuronów ni» w przypadku
sieci drugiej generacji.
Formalnie impulsowa sie¢ neuronow¡
wych wraz z funkcj¡ progow¡
synaps wraz z wag¡
(gdzie
5 skªada si¦ ze sko«czonego zbioru
Θv : R+ → R+
dla ka»dego neuronu
neuronów impulso-
oraz zbioru
E ⊆V ×V
+
wu,v ≥ 0 oraz funkcj¡ odpowiedzi εu,v : R → R dla ka»dej synapsy hu, vi ∈ E
R+ = {x ∈ R : x ≥ 0}).
Dla wybranego podzbioru
6
zakªada si¦, »e ci¡g czasowy odpowiedzi neuronu
Fu
Vinput ⊆ V
dla neuronu
Natomiast na wyj±cie sieci skªadaj¡ si¦ ci¡gi czasowe odpowiedzi
wyznaczonego zbioru neuronów wyj±ciowych
5 ang.
6 ang.
v ∈V,
V
Voutput ⊆ V .
Spiking Neuron Network (SNN)
spiketrain
46
neuronów wej±ciowych
u ∈ Vinput
Fv
jest dany z zewn¡trz.
dla neuronów
v
nale»¡cych do
Rysunek 3.3: Impulsowa sie¢ neuronowa. ™ródªo: http://www.science.uva.nl/.
Wi¦kszo±¢ bada« nad algorytmami uczenia dla impulsowych sieci neuronowych skupia si¦ na
metodach nienadzorowanych.
Celem tych algorytmów jest umo»liwienie sieci samoorganizacji
i ostatecznego rozró»nienia pomi¦dzy wej±ciowymi wzorami bez jawnej identykacji tych wzorów.
Samoorganizuj¡ce si¦ mapy tradycyjnie stosowane byªy w sieciach neuronowych drugiej generacji.
Ruf i Schmitt zaproponowali podobny mechanizm do nienadzorowanego uczenia w impulsowych
sieciach neuronowych.
Model ten jest kolejnym krokiem w kierunku biologicznej rzeczywisto±ci
ªacz¡c w sobie impulsowe modele neuronów z biologicznie poprawn¡ samoorganizacj¡.
W±ród tradycyjnych nadzorowanych metod uczenia sieci neuronowych z jedn¡ warstw¡ mo»emy
wymieni¢ uczenie wedªug Hebba, uczenie perceptronowe czy te» reguª¦ delta.
Uczenie wedªug
reguªy Hebba polega na zwi¦kszaniu wagi pomi¦dzy neuronami w momencie, gdy oba neurony s¡
jednocze±nie aktywne. Ta metoda nauki nale»y do jedej z najprostszych metod i oryginalnie opiera
si¦ na zaªo»eniach biologicznych, gdzie ten typ wzmacniania wagi poª¡cze« uwa»a si¦ za dominuj¡cy.
W rozszerzonej wersji reguªy Hebba tak»e wzmacniane s¡ poª¡czenia pomi¦dzy neuronami, gdy te
jednocze±nie s¡ w stanie nieaktywnym. Ze wzgl¦du na swoje biologiczne korzenie metoda Hebba
staªa si¦ naturalnym kandydatem do zaadoptowania w impulsowych sieciach neuronowych. Taka
adaptacja reguªy Hebba zaproponowana zostaªa przez Ruf i Schmitta, i tu zmiana wagi
pomi¦dzy presynaptycznym neuronem
u
a postsynaptycznym neuronem
v,
dana jest wzorem:
∆wu,v = η(tv − t0 ),
gdzie
tv
(3.1)
jest czasem wypuszczenia impulsu przez neuron postsynaptyczny, a
t0
impulsu neuronu presynaptycznego (tu jest czasiem pierwszego impulsu neuronu
szybko±ci uczenia. Je±li drugi impuls neuronu
czyli (tv −t0
> 0) wówczas waga wu,v
wu,v
u
czasem drugiego
u), η
wska¹nikiem
zostanie wypuszczony przed impulsem neuronu
v,
pomi¦dzy nimi zostaje wzmocniona, natomiast w przeciwnym
przypadku, waga zostaje osªabiona.
47
Rysunek 3.4: Schemat dla reguªy Hebba. ™ródªo: [23].
Na podstawie powy»ej zaprezentowanych informacji o impulsowych sieciach neuronowych mo»emy pokrótce przedstawi¢ nast¦puj¡ce ich zalety:
1.
Pr¦dko±¢.
Sieci zbudowane z impulsowych neuronów s¡ w stanie przesyªa¢ i odbiera¢ znacz¡c¡
ilo±¢ danych przy wykorzystaniu relatywnie niewielkiej ilo±ci impulsów. To daje mo»liwo±¢
stworzenia bardzo szybkiej i efektywnej implementacji.
2.
Dziaªanie w czasie rzeczywistym.
Impulsowe sieci zaprojektowane zostaªy do u»ycia czaso-
wych informacji, dlatego te» mog¡ by¢ z ªatwo±ci¡ przystosowane do rzeczywistego dynamicznego ±rodowiska.
3.
Zªo»ono±¢.
Impulsowe sieci mog¡ oblicza¢ ka»d¡ funkcj¦, któr¡ potra tak»e liczy¢ sie¢ drugiej
generacji, przy czym z reguªy wykorzystuj¡ do tego mniej neuronów.
4.
Biologiczna wierno±¢.
Poniewa» impulsowe sieci stosuj¡ si¦ bli»ej do tego co wªa±nie zostaªo
odkryte o biologicznych sieciach neuronowych, bez trudu mog¡ czerpa¢ korzy±ci z szybko
rosn¡cej wiedzy w dziedzinie neurozjologii.[23]
Mimo szeregu zalet impulsowe sieci neuronowe nie s¡ pozbawione wad, z których najistotniejsz¡
stanowi du»a moc obliczeniowa potrzebna do ich symulacji.
By nieco zmniejszy¢ te wymagania
w sieciach tego typu przewa»nie stosuje si¦ mniej zªo»one neurony impulsowe, takie jak na przykªad
model
integrate-and-re.
48
3.2 Koncepcja oblicze« pªynowych
Obliczenia pªynowe stanowi¡ stosunkowo now¡ technik¦ dostarczaj¡c¡ teoretycznych podwalin dla
sieci neuronowych, które s¡ w stanie przetwarza¢ sygnaªy z czasow¡ zale»no±ci¡.
Ogólnie sys-
tem skªada si¦ z dwóch komponentów: pªynu oraz warstwy odczytuj¡cej. Pªyn odgrywa tu rol¦
zanikaj¡cej pami¦ci, natomiast warstwa odczytuj¡ca gªównej jednostki rozpoznaj¡cej wzorce.
Powy»sza koncepcja brzmi bardzo abstrakcyjnie i najlepiej mo»na j¡ zilustrowa¢ przy pomocy
nast¦puj¡cej metafory o kubku z kaw¡. Idealnie gªadk¡ powierzchni¦ kawy okre±li¢ mo»emy jako
stan podstawowy.
Stan ten mo»e zosta¢ zaburzony, gdy do kawy wrzucimy kostk¦ cukru b¡d¹
te» zamieszamy kaw¦ ªy»eczk¡, co b¦dzie równoznaczne z czasowym strumieniem wej±ciowym.
W odpowiedzi na zaburzenie, na powierzchni kawy powstaj¡ wypryski i formuj¡ si¦ ró»ne fale.
Jak widzimy w rzeczywisto±ci kawa zachowuje informacj¦ o ostatnich zdarzeniach i gdyby±my
potrali czyta¢ z jej powierzchni, to mogliby±my wydoby¢ informacje o ostatnich wydarzeniach
z ni¡ zwi¡zanych. Po upªywie pewnego czasu od chwili zaburzenia powierzchnia kawy wraca do
stanu pocz¡tkowego i jest gotowa na przyj¦cie nowych wzorów [25].
Fernando i Sojakka w [26] wzi¦li koncepcj¦ oblicze« pªynowych na powa»nie pokazuj¡c jak
prawdziwa woda mo»e zosta¢ u»yta do rozwi¡zania problemu XOR oraz do rozpoznawania wypowiadanych cyfr zero i jeden. Przeprowadzenie tej symulacji byªo obliczeniowo efektywne, gdy»
woda transformuje nisko wymiarowy sygnaª wej±ciowy od silników stymuluj¡cych jej powierzchni¦
na wy»ej wymiarow¡ przestrze« fal. Na rysunku 3.5 przedstawiono architektur¦ maszyny pªynowej
u»ytej do tych eksperymentów.
Rysunek 3.5: Sprz¦towa implementacja maszyny pªynowej. ™ródªo: [26].
Do skonstruowania pªynowego mózgu wykorzystano szklany pojemnik z wod¡ umieszczony na
projektorze. Do ka»dej ±ciany pojemnika zostaªy przyczepione silniczki podª¡czone do komputera.
Powstaªe, po zaburzeniu stanu wody dziaªaniem silniczków, wzory rzutowane byªy na antyodblaskowy karton i nagrywane przy u»yciu standardowej internetowej kamery. Nagrane wzory fal po
49
przej±ciu przez ltr Sobela stanowiªy wej±cie do sieci neuronowej zªo»onej z 50 perceptronów, do
których uczenia u»ywana byªa reguªa p-delta.
W celu odtworzenia problemu XOR przy pomocy pªynu dwa silniczki zostaªy ustawione po
przeciwnych stronach naczynia. Pojedyncze silniki pracuj¡ce ze staª¡ cz¦stotliwo±ci¡ po lewej lub
prawej stronie zbiornika odpowiadaªy przypadkom [1 0] oraz [0 1]. Natomiast w przypadku [1 1]
oba silniki byªy aktywne w tym samym czasie.
Rysunek 3.6 pokazuje fale, które reprezentuj¡
wej±cia w zadaniu XOR. Zbie»no±¢ do optymalnego rozwi¡zania otrzymano po 200 epokach. Po
procesie uczenia 85% obrazów byªa poprawnie klasykowana.
Rysunek 3.6: Typowe wzory fal dla problemu XOR. Z lewej góry: [0 1](prawy silnik wªaczony), z prawej góry:
[1 0] (lewy silnik wª¡czony), z lewego doªu: [1 1] (oba silniki wª¡czone), z prawego doªu: [0 0] (nieruchoma woda).
Po prawej strony obrazy po przej±ciu przez ltr Sobela. ™ródªo: [26].
3.3 Budowa maszyny pªynowej
7 zaproponowana zostaªa przez Maassa i Markrama jako
Architektura maszyny pªynowej (LSM)
propozycja uniwersalnej maszyny do oblicze« w czasie rzeczywistym. Ogólna architektura maszyny
LSM zostaªa przedstawiona na rysunku 3.7.
Maszyna LSM skªada si¦ z trzech cz¦±ci: moduªu wprowadzaj¡cego, kolumny cieczowej oraz
warstwy odczytuj¡cej. Moduª wprowadzaj¡cy stanowi warstwa neuronów wej±ciowych, na które
podawany jest sygnaª zewn¦trzny.
Sygnaª dalej przekazywany zostaje do wybranych neuronów
kolumny cieczowej, w której dokonywane s¡ obliczenia neuronowe. Przetworzony przez kolumn¦
±rodkow¡ sygnaª nast¦pnie kierowany jest do neuronów moduªu odczytuj¡cego, gdzie nast¦puje
analiza i interpretacja oblicze« wykonanych w poprzedniej warstwie.
U»ywaj¡c zapisu matematycznego stan maszyny pªynowej jest bie»¡cym wynikiem dziaªania
pewnego operatora lub ltra
LM ,
który odwzorowuje funkcj¦ wej±cia
xM (t) = (LM u)(t).
7 ang.
u(·)
na funkcj¦ stanu
xM (t):
(3.2)
liquid state machine
50
Rysunek 3.7: Architektura maszyny pªynowej oraz jej neuronowa implementacja. ™ródªo:
http://www.lsm.tugraz.at/learning/framework.html
Nast¦pnie stan maszyny pªynowej
fM
xM (t) trasformowany zostaje przy pomocy odczytuj¡cej warstwy
na wyj±cie systemu:
y(t) = f M (xM (t)).
(3.3)
W przeciwie«stwie do ltru pªynowego
nów, struktura mapy odczytuj¡ca
f
M
LM
skªadaj¡cego si¦ z losowo poª¡czonych ze sob¡ neuro-
dostosowywana jest do konkretnego zadania jakie zostaªo
postawione maszynie pªynowej. Poniewa» warstwa odczytuj¡ca nie zostaªa wyposa»ona w pami¦¢,
wszystkie niezb¦dne informacje o sygnaªe wej±ciowym
docelowego wyj±cia maszyny
M
x (t)
y(t)
w czasie
t
u(s),
gdzie
s≤t
niezb¦dne do wytworzenia
musz¡ zosta¢ zachowane w stanie kolumny cieczowej
[27].
Dokªadna struktura warstwy odczytuj¡cej nie jest jasno sprecyzowana. W rzeczywisto±ci mo»e
ni¡ by¢ ka»da metoda analizy statystycznej czy te» rozpoznawania wzorców. Mo»liwe funkcje odczytuj¡ce obejmuj¡: liniowy rzut, dyskryminacje Fishera, perceptron, wielowarstwowy perceptron
8
uczony metod¡ wstecznej propagacji bª¦du, a nawet metod¦ wektorów wspieraj¡cych . Warto tu
zaznaczy¢, »e kolumna pªynowa nie podlega uczeniu. Tylko i wyª¡cznie warstwa odczytuj¡ca jest
trenowana, tak aby maszyna LSM optymalnie realizowaªa postawione jej zadanie [28].
Podziaª pomi¦dzy warstw¡ pªynu a warstw¡ odczytuj¡c¡ sprawia, »e koncepcja maszyny pªy-
9
nowej ma znaczn¡ przewag¦ nad zwykªymi rekurencyjnymi sieciami neuronowymi . Po pierwsze,
proces uczenia warstwy odczytuj¡cej zazwyczaj trwa du»o krócej, ni» proces uczenia caªej sieci
rekurencyjnej.
8 ang.
9 ang.
Co wi¦cej, do tej samej kolumny pªynowej mo»e by¢ podª¡czonych jednocze±nie
Support Vector Machines (SVN)
Recurrent Neural Networks (RNN)
51
kilka map odczytuj¡cych, a ka»da z tych map mo»e by¢ przeznaczona do realizowania zupeªnie
ró»nych zada«.
To oznacza, »e obliczenia w warstwie pªynowej mog¡ by¢ przeprowadzone tylko
raz, co daje maszynie LSM wrodzone zdolno±ci oblicze« równolegªych nie wymagaj¡c przy tym
wiele dodatkowej mocy obliczeniowej [28].
3.4 Biologiczne przesªanki maszyny pªynowej
Kora nowa, wspieraj¡c pojawianie si¦ wysoce zªo»onych funkcji poznawczych, umo»liwia ssakom
adaptacj¦ do szybko zmieniaj¡cego si¦ ±rodowiska. Wy»sze funkcje poznawcze zale»¡ w du»ej mierze od zdolno±ci systemu do przewidywania przyszªych zdarze« w celu wygenerowania wªa±ciwych
odpowiedzi w zmiennym ±rodowisku. Równolegle, w czasie rzeczywistym kora nowa transformuje
bod¹ce sensoryczne na wielowymiarow¡ odpowied¹ wykorzystuj¡c w tym procesie równie» informacje przetworzone i zapami¦tane w przeszªo±ci.
Sygnaª odbierany poprzez narz¡dy sensoryczne zostaje dokªadnie odwzorowany nie tylko w korze nowej, lecz tak»e w rejonie podkory oraz narz¡dów ruchowych.
W obr¦bie kory informacja
ta jest powielana w celu utrzymania spójnego i peªnego obrazu. Topograczne mapy kory nowej
dokªadnie precyzuj¡ podstawow¡ funkcj¦ ka»dego regionu kory oraz pokazuj¡, »e wszystkie funkcje
kory s¡ wewn¦trznie poª¡czone. To wªa±nie sposób, w jaki te funkcje s¡ powi¡zane formuje architektur¦ poznawcz¡, która pozwala korze na tworzenie zintegrowanych wielowymiarowych modeli
sensoryczno-ruchowych do symulacji i przewidywania przyszªych zdarze«.
W obr¦bie warstw kory nowej neurony w zawiªy sposób odwzorowuj¡ si¦ wzajemnie. Tu anatomiczne i zjologiczne wªa±ciwo±ci, jak równie» prawdopodobie«stwo poª¡czenia pomi¦dzy neuronami s¡ unikalne dla ka»dego poª¡czenia synaptycznego. Przewaga obliczeniowa tego specycznie
uªo»onego rekurencyjnego ukªadu jest ogromna w porównaniu do zwykªej losowej rekurencyjnej
sieci.
Wielu wczesnych anatomów zaproponowaªo, »e neurony kory nowej mog¡ by¢ zgrupowane w kolumny o ±rednicy rozpi¦to±ci podstawowego aksonu i dendrytu neuronu piramidalnego (okoªo 500
µm).
Rzeczywi±cie ponad 80% synaps neuronów po±rednicz¡cych kory nowej przeznaczona jest do
ª¡czenia neuronów neuronów w obr¦bie 500
µm.
Eksperymenty w pó¹nych latach 50-tych i wcze-
snych 60-tych pokazuj¡, »e pªat kory mo»e równie» by¢ postrzegany funkcjonalnie jako kompozycja
maªych powtarzaj¡cych si¦ kolumn zªo»onych z kilku tysi¦cy komórek o ±rednicy okoªo 500
µm.
Takie funkcjonalne moduªy zostaªy obecnie zaobserwowane w wielu obszarach kory u przedstawicieli ró»nych gatunków. Jednak»e niedawne odkrycia ujawniªy, »e istnieje wiele le»¡cych na sobie
funkcjonalnych kolumn, co sugerowaªoby, »e idea kolumny korowej jako zbioru anatomicznych jednostek nie jest poprawna. Funkcjonalne moduªy pokrywaj¡ si¦ w taki sposób, »e grupa neuronów
wspóªpracuj¡cych ze sob¡ w trakcie jednej operacji nie koniecznie wspóªpracuje w trakcie innej [27].
52
Odkrycia mikroobwodów neuronowych w ró»nych cz¦±ciach mózgu czªowieka, czy mózgu przedstawicieli innych gatunków sugeruj¡, i» takie heterogeniczne kolumny neuronów s¡ nieukierunkowane zadaniowo i przez to mog¡ posiada¢ potencjalnie uniwersalne zdolno±ci obliczeniowe. Maszyna
pªynowa mo»e przypomina¢ uproszczony model kory mózgowej, w której pojedyncze neurony uªo»one s¡ w kolumny. Kolumny te, podobne do siebie anatomicznie i zjologicznie, mog¡ przetwarza¢
wiele zªo»onych zada« równolegle.
3.5 Wªa±ciwo±ci maszyny pªynowej
Najistotniejsz¡ wªa±ciwo±ci¡ maszyny pªynowej jest jej zdolno±¢ do generowania ró»nych reakcji
w odpowiedzi na ró»ne dane wej±ciowe.
maszyny nazwana zostaªa
Wielko±¢ odlegªo±ci pomi¦dzy ró»nymi odpowiedziami
wªasno±ci¡ separowalno±ci
pªynu (SP)
10 . Wska¹nik ten odzwierciedla
Rysunek 3.8: Wªa±ciwo±¢ separowalno±ci losowo wygenerowanej maszyny LSM. ™ródªo:
http://www.lsm.tugraz.at/learning/framework.html.
zdolno±ci pªynu do tworzenia ró»nych trajektorii stanów wewn¦trznych systemu wywoªanych przez
dwa ró»ne strumienie wej±ciowe. Zdolno±¢ jednostek odczytuj¡cych do rozró»niania tych trajektorii, uogólniania i powi¡zania ich z po»¡danym wyj±ciem systemu nazwana zostaªa
aproksymacji
zdolno±ci¡
11
(AP) . Wªasno±¢ ta zale»y w du»ej mierze od zdolno±ci adaptacyjnej wybranych
jednostek w warstwie odczytuj¡cej, podczas gdy SP opiera si¦ bezpo±rednio na zªo»ono±ci pªynu.
Identykacja ró»nicy pomi¦dzy dwoma ró»nymi stanami pªynu, czy te» ró»nica w odpowiedziach
na dwa strumienie danych jest w istocie zadaniem trudnym. Nie istniej¡ »adne ostateczne miary
odlegªo±ci pomi¦dzy stanami pªynu, czy te» dla czasowych strumieni wej±ciowych. Poniewa» stany
pªynu s¡ z natury wysoce dynamiczne i nieliniowe, ªatwo zauwa»y¢, »e proste odwzorowanie jeden
10 ang.
11 ang.
separation property of the liquid
approximation property
53
na jeden pomi¦dzy dwoma stanami nie jest mo»liwe. Nawet maªa ró»nica w wej±ciowych strumieniach mo»e powodowa¢ widocz¡ ró»nic¦ w odpowiedziach pªynu. Jednak»e proste porównywanie
mo»e dostarczy¢ nam wskazówek na temat odlegªo±ci pomi¦dzy trajektoriami pªynów dla dwóch
strumieni wej±ciowych.
W tym celu mo»emy posªu»y¢ si¦ ±redni¡ norm¡ euklidesow¡ prostych
odlegªo±ci pomi¦dzy stanami dwóch sieci dla wszystkich nagranych kroków czasowych. Formalnie
mo»emy to zapisa¢ jako
t
kXuM (t) − XvM (t)k,
dla strumieni wej±ciowych
u
oraz
gdzie
XuM (t) i XvM (t)
oznaczaj¡ stany pªynu w czasie
v.
Maass zauwa»yª, »e u»ycie bardziej realistycznych dynamicznych synaps zamiast staªych poª¡cze« synaptycznych znacznie poprawia zachowanie maszyn LSM zbudowanych z impulsowych
sieci neuronowych. Synapsy dynamiczne umo»liwiaj¡ zmniejszenie i przyzwyczajenie do sygnaªu
wej±ciowego, a tym samym zwi¦kszaj¡ nieliniowo±¢ interakcji w sieci.
Odkrycie, »e bardziej dy-
namiczne poª¡czenia zwi¦kszaj¡ moc obliczeniow¡ modelu nie s¡ zaskakuj¡ce, je±li u±wiadomimy
sobie, »e u»ycie u»ycie tych neuronów i synaps znacz¡co wzmacnia czasow¡ dynamik¦ o±rodka powoduj¡c, »e wej±ciowe trajektorie s¡ bardziej unikalne, a tym samym ªatwiejsze do rozró»nienia.
W odniesieniu do wªasno±ci separacji warto zaznaczy¢, »e istnieje silna korelacja pomi¦dzy siª¡
obliczeniow¡ caªego systemu a nieliniowo±ci¡ sieci pªynowej [29].
3.6 Maszyna pªynowa a maszyna echowa
Jaeger niezale»nie od bada« Maassa opracowaª bardzo podobn¡ do maszyny pªynowej koncepcj¦
12 . Obie struktury umo»liwiaj¡ uniwersalne obliczenia w czasie rzeczywi-
maszyny echowej (ESM)
stym bez staªych stanów czy atraktorów u»ywaj¡c do tego celu rekurencyjnych sieci neuronowych.
Cho¢ maszyna ESM wydaje si¦ by¢ prawie identyczna z maszyn¡ LSM, istniej¡ mi¦dzy nimi pewne
ró»nice [30]:
•
LSM u»ywane s¡ gªównie do modelowania dynamiki i przedstawiania zjawisk wyst¦puj¡cych
w biologicznych sieciach neuronowych, podczas gdy ESN wykorzystywane s¡ do bardziej
in»ynieryjnych zastosowa«.
•
Kolumna pªynowa w LSM typowo bazuje na impulsowych modelach neuronów, podczas gdy
baseny
•
13 ESN przewa»nie zbudowane s¡ z prostych sigmoidalnych neuronów.
Architektura LSM dopuscza u»ycie ró»norodnych mechanizmów warstwy odczytuj¡cej, wª¡czaj¡c w to uczone wielowarstwowe sieci neuronowe, natomiast ESN ogranicza si¦ tylko do
u»ycia pojedynczej warstwy jednostek odczytuj¡cych stan basenu.
12 ang.
13 ang.
Echo State Machine
reservoirs
54
Jaeger zauwa»yª, »e zastosowanie rekurencyjnej sieci zªo»onej z neuronów typu
re
integrate-and-
zamiast standardowej sigmoidalnej rekurencyjnej sieci znacznie poprawia zachowanie maszyny
echowej. Gªówn¡ ró»nic¡ mi¦dzy tymi dwoma rodzajami sieci jest zdolno±¢ tej pierwszej do reagowania w sposób bardziej nieliniowy na czasowe wej±cie, co mocno odbija si¦ na wzro±cie nieliniowej
dynamiki maszyn ESM [31].
55
Rozdziaª 4
Wªa±ciwo±ci maszyny pªynowej dla
ró»nych modeli neuronów
Do tej pory w badaniach wªa±ciwo±ci maszyny pªynowej u»ywane byªy najprostsze impulsowe
modele neuronów typu
integrate-and-re
oraz te najbardziej zªo»one modele Hodgkina-Huxleya.
Wybór tych modeli ma swoje uzasadnienie w ch¦ci obni»enia potrzebnych zasobów obliczeniowych
lub te» w zwi¦kszeniu biologicznej poprawno±ci symulowanych ukªadów. Maj¡c do dyspozycji wiele
ró»nych modeli neuronów, warto byªoby sprawdzi¢ jak zachowuj¡ si¦ one w maszynie pªynowej.
Dlatego te», przedmiotem zainteresowania niniejszego rozdziaªu jest zastosowanie alternatywnych
modeli neuronów do maszyny pªynowej oraz zbadanie podstawowych jej wªa±ciwo±ci w zale»no±ci
od u»ytych modeli neuronów.
4.1 Model maszyny pªynowej
Zaproponowana do badania wªa±ciwo±ci maszyny pªynowej architektura opiera si¦ na uproszczonym
modelu ukªadu wzrokowego opisanym w [32]. Model ten zostaª przedstawiony na rysunku 4.1.
Architektura maszyny pªynowej skªada si¦ z dwóch gªównych moduªów, tj. moduªu wej±ciowego
(siatkówki) oraz pojedynczej kolumny pªynowej (hiperkolumny kory). Moduª wej±ciowy stanowi¡
cztery neurony pobudzaj¡ce uªo»one na siatce o wymiarach
1×2×2.
Ka»dy neuron siatkówki poª¡-
czony jest z ka»dym neuronem warstwy LGN. Warstwa LGN skªada si¦ z 64 neuronów rozªo»onych
na siatce o wymiarach
1×8×8.
Ka»da z pozostaªych warstw maszyny pªynowej, tj. L4, L3, L3, L2,
L5 oraz L6 rozªo»ona jest na siatce
3 × 8 × 8.
Warstwy zestawiane s¡ tak, by poª¡czenie zachodziªo
tylko pomi¦dzy neuronami z tylnej ±cianki warstwy poprzedzaj¡cej i neuronami z przedniej ±cianki
warstwy nast¦puj¡cej. Dodatkowo, kolumna L6 zostaªa bezpo±rednio poª¡czona z kolumn¡ LGN.
Poª¡czenia mi¦dzy neuronami wewn¡trz warstw generowane s¡ losowo z prawdopodobie«stwem
56
Rysunek 4.1: Model maszyny pªynowej. ™ródªo: Opracowanie wªasne.
poª¡czenia pomi¦dzy par¡ neuronów ustalanej nast¦puj¡c¡ zale»no±ci¡ [33]:
P (D) = C ∗ e
gdzie
D(A, B)
−D(A,B)
λ
,
(4.1)
oznacza euklidesow¡ odlegªo±¢ mi¦dzy neuronami
A i B,
za± parametr
λ
okre±la g¦-
sto±¢ poª¡cze«. W zale»no±ci od tego, czy poª¡czenie tworzone jest pomi¦dzy neuronami pobudzaj¡cymi (Ex) a hamuj¡cymi (Inh) wspóªczynnik
C
przyjmuje nast¦puj¡ce warto±ci:
CEx−Inh = 0, 2, CInh−Inh = 0, 1 oraz CInh−Ex = 0, 4.
CEx−Ex = 0, 3,
Udziaª poª¡cze« pobudzaj¡cych w kolumnie
cieczowej wynosi 80%.
4.2 Metody bada«
Wszystkie symulacje omawiane w niniejszym rozdziale przeprowadzone zostaªy przy u»yciu symulatora ukªadów neuronowych
CSim 1
w otoczeniu programistycznym
Matlab.
W dalszych rozwa»a-
niach nazwy neuronów i typów synaps bed¡ u»yte bezpo±rednio ze ±rodowiska
CSim.
Do badania wªa±ciwo±ci maszyny pªynowej wybrano nast¦puj¡ce modele neuronów:
integrate-
and-re, resonate-and-re, FitzHugh-Nagumo, Morrisa-Lecara, Hindmarsha-Rose oraz Izhikevicha.
Poniewa» symulator
CSim
spo±ród tych modeli pozwalaª na u»ycie tylko modelu
integrate-and-re
oraz Izhikevicha, na potrzeby tej pracy jego mo»liwo±ci zostaªy rozszerzone o pozostaªe modele.
Moduª wej±ciowy maszyny pªynowej zªo»ony byª z neuronów typu
Input Spiking Neuron,
na
które podawane byªy dwa wzorce, wzorzec W1 oraz W2. Wzorzec stanowiªy 4 losowo wygenerowane
ci¡gi impulsów, ka»dy podawany na osobny neuron w cz¦±ci siatkówkowej.
Przebieg impulsów
w obu wzorcach zobrazowano na rysunkach 4.2 i 4.3.
1 Symulator
CSim
oraz szczegóªowa dokumentacja do niego dost¦pny jest na stronie http://www.lsm.tugraz.at.
57
Rysunek 4.2: Ci¡gi impulsów podawane na siatkówk¦. Wzorzec W1. ™ródªo: Opracowanie wªasne.
Rysunek 4.3: Ci¡gi impulsów podawane na siatkówk¦. Wzorzec W2. ™ródªo: Opracowanie wªasne.
W celu zbadania aktywno±ci sieci powstaªej w wyniku wprowadzenia do niej dwóch ró»nych
wzorców zostaªa wykorzystana analiza odlegªo±ci euklidesowej umo»liwiaj¡ca okre±lenie zdolno±ci
asocjacyjnych nieuczonej sieci. Odlegªo±¢ euklidesowa
ronów, których stan w danym kroku czasowym
tych neuronów w przypadku pokazania wzorca
t
EW 1W 2 (t)
deniowana jest jako liczba neu-
po wprowadzeniu wzorca
W 2,
W1
ró»ni si¦ od stanu
co zapisujemy jako [34]:
v
u n
uX
EW 1W 2 (t) = t (y W 1 (t) − y W 2 (t))2 ,
i
(4.2)
i
i=1
gdzie n oznacza liczb¦ obserwowanych neuronów,
w czasie
t
yiW 1 (t)
po wrowadzeniu do sieci wzorca odpowiednio
i
yiW 2 (t)
W1
oznaczaj¡ stan i-tego neuronu
oraz
W 2.
W pracy obserwowano
tylko stany neuronów z tylnej ±cianki ostatniej warstwy hiperkolumny. Czas symulacji
T
wynosiª
1000 ms i podzielony zostaª na przedziaªy ti = 10 ms, w których liczona byªa odleglo±¢ euklidesowa.
58
Stan maszyny pªynowej okre±laª binarny wektor o dªugo±ci 64, w którym skªadowa '0' oznaczaªa
nieaktywny neuron, za± '1' neuron aktywny.
Do scharakteryzowania przepªywu informacji w maszynie pªynowej wykorzystano miar¦ entropii opieraj¡c¡ si¦ na klasycznej denicji entropii informacyjnej Shannona. W przeprowadzonych
badaniach symulowano
j¡cej odczytano
N
1000 ms
pracy ukªadu biologicznego. W tym czasie na warstwie odczytu-
stanów aktywnych, przy czym liczba stanów ró»niªa si¦ w zale»no±ci od u»ytego
w warstwie pªynowej modelu neuronu oraz pokazywanych siatkówce wzorców. Prawdopodobie«stwo wyst¡pienia
pi =
ni
aktywnych neuronów w czasie ti
= 10 ms mo»na zdeniowa¢ nast¦puj¡co [35]:
ni
.
N
(4.3)
Prawdopodobie«stwo to interpretujemy jako szans¦ na przekazanie caªej informacji w czasie
ti .
Suma prawdopodobie«stw jest zdarzeniem pewnym.
100
X
pi =
i=1
n1 + n2 + · · · + n100
= 1.
N
Wykorzystuj¡c denicj¦ prawdopodobie«stwa
(4.4)
pi
mo»na wprowadzi¢ entropi¦ indywidualn¡
Soi = −pi · ln(pi )
(4.5)
oraz entropi¦ globaln¡
Si =
X
Soi = −
i
X
pi · ln(pi ).
(4.6)
i
W badaniach rozpatrywano dwie warto±ci parametru
λ
okre±laj¡cego g¦sto±¢ synaps w po-
szczególnych warstwach hiperkolumny cieczowej. Poª¡czenia mi¦dzy warstwami realizowane byªy
za pomoc¡
Static Spiking Synapse, natomiast poª¡czenia mi¦dzy neuronami wewn¡trz warstw od-
bywaªy si¦ za pomoc¡
Dynamic Spiking Synapse.
Wagi poª¡cze« mi¦dzy neuronami zale»aªy od
zastosowanego modelu neuronu w maszynie pªynowej i zostaªy dobrane eksperymentalnie, tak by
jak najlepiej zobrazowana zostaªa dynamika modelu. Waga poª¡cze« synaptycznych
neuronów
Wscale
dla
integrate-and-re wynosiªa 5, dla resonate-and-re, FitzHugh-Nagumo oraz Hindmarsha-
Rose 1, dla Morrisa-Lecara 3, a dla Izhikevicha 10.
4.3 Wyniki bada«
W celu uzyskania wi¦kszej poprawno±ci wyników symulacje byªy powtarzane 5-krotnie dla ka»dego
podawanego na wej±cie maszyny wzorca. Do dalszych rozwa»a« wykorzystywane byªy u±rednione
wyniki z symulacji.
59
4.3.1
Aktywno±¢ neuronów w czasie symulacji
Na rysunku 4.4 przedstawione zostaªy przebiegi stanów aktywno±ci obserwowanych neuronów maszyny pªynowej w odpowiedzi na wprowadzone wzorce W1 oraz W2. Porównanie wykresów przebiegu stanów aktywno±ci dla ró»nych modeli neuronów umo»liwia ªatwe uchwycenie ró»nic w ich
dynamice.
(a)
Integrate-and-re
(b)
Resonate-and-re
(c) FitzHugh-Nagumo
(d) Morrisa-Lecara
(e) Hindmarsha-Rose'84
(f ) Hindmarsha-Rose'85
(g) Izhikevicha
Rysunek 4.4: Odpowiedzi maszyny pªynowej zªo»onej z ró»nych modeli neuronów. ™ródªo: Opracowanie wªasne.
60
Na rysunku 4.4(a) przedstawione zostaªy przebiegi stanów aktywno±ci obserwowanych neuronów
maszyny pªynowej zªo»onej z neuronów typu
W1
oraz
W 2.
integrate-and-re
w odpowiedzi na podane wzorce
Jak wida¢ ró»nica pomi¦dzy obydwoma przebiegami jest znaczna. Dla wzorca W2
po krótkim przejawie aktywno±ci na pocz¡tku symulacji wyst¦puje dªuga przerwa w aktywno±ci
neuronów.
Ró»nice w odpowiedziach maszyny pªynowej zªo»onej z neuronów
resonate-and-re
wadzane wzorce, nie s¡ ju» tak dobrze widoczne, jak w przypadku neuronów
na wpro-
integrate-and-re.
Dodatkowo, jak mo»na zaobserwowa¢ na rysunku 4.4(b), odpowiedzi neuronów pokrywaj¡ do±¢
równomiernie prawie caª¡ przestrze« wykresu tworz¡c przy tym charakterystyczny powtarzaj¡cy
si¦ wzór.
W przypadku maszyny pªynowej skªadaj¡cej si¦ z neuronów FitzHugh-Nagumo, ró»nice pomi¦dzy stanami sieci dla ró»nych wzorców nie s¡ wyra¹ne. Na rysunku 4.4(c) mo»na zauwa»yc,
»e przez pierwsze
350 ms
wyst¦puje okres ciszy, po którym do ko«ca symulacji obserwowane
neurony pozostaj¡ bardzo aktywne.
Ró»nice pomi¦dzy stanami obserwowanych neuronów Morrisa-Lecara, które wida¢ na rysunku
4.4(d) s¡ dobrze widoczne.
Neurony charakteryzuj¡ si¦ du»¡ aktywno±ci¡ podczas caªego czasu
trwania symulacji. Podobnie jak w przypadku modelu FitzHugh-Nagumo, tu te» wyst¦puje pocz¡tkowy okres braku aktywno±ci neuronów, po którym nast¦puje wzmo»ona ich praca.
Porównuj¡c rysunki 4.4(e) i 4.4(f ), ªatwo zauwa»y¢, »e stany neuronów Hindmarsha-Rose'84
ukªadaj¡ si¦ warstwowo, czyli po stanach aktywno±ci nast¦puje okres ich nieaktywno±ci, co natomiast nie wyst¦puje w przypadku neuronów Hindmarsha-Rose'85. Ró»nica ta mo»e by¢ nast¦pstwem du»o wi¦kszej aktywno±ci neuronów wersji drugiej omawianego modelu.
Ró»nice w odpowiedziach maszyny neuronowej na podawany wzorzec w przypadku modelu
Izhikevicha nie s¡ wyra¹ne.
Stany ukªadaj¡ si¦ warstwowo, po krótkich okresach wzmo»nonej
aktywno±ci neuronów nast¦puje do±¢ dªuga przerwa w ich pracy.
4.3.2
Odlegªo±¢ euklidesowa
Na rysunku 4.5(a) przedstawiono wykres odlegªo±ci euklidesowej stanów maszyny pªynowej skªadaj¡cej si¦ z neuronów
integrate-and-re.
jest znacznie mniejsza ni» w przypadku
Odlegªo±¢ euklidesowa mierzona dla parametru
λ=9
λ = 3, co oznacza sªabsze zdolno±ci separacji wzorców, gdy
neurony s¡ ze sob¡ g¦sto poª¡czone.
W przypadku modelu
resonate-and-re
(patrz 4.5(b)) dla obu warto±ci parametru
euklidesowe s¡ porównywalne i oscyluj¡ wokóª warto±ci 5.
λ
odlegªo±ci
Takie zachowanie mo»e sugerowa¢,
»e zwi¦kszenie g¦sto±ci poª¡cze« synaptycznych w kolumnach pªynowych zªo»onych z neuronów
resonate-and-re
nie wpªywa na zmian¦ zdolno±ci separacyjnych maszyny LSM.
61
(a)
Integrate-and-re
(b)
Resonate-and-re
(c) FitzHugh-Nagumo
(d) Morris-Lecar
(e) Hindmarsh-Rose'84
(f ) Hindmarsh-Rose'85
(g) Izhikevich
Rysunek 4.5: Odlegªo±ci euklidesowe stanów maszyny pªynowej zªo»onej z ró»nych modeli neuronów. ™ródªo:
Opracowanie wªasne.
62
Warto±ci odlegªo±ci euklidesowych maszyny pªynowej zªo»onej z neuronów FitzHugh-Nagumo
ró»ni¡ si¦ diametralnie dla obu warto±ci
rasta pocz¡wszy od
λ.
W przypadku
λ=9
warto±¢ odlegªo±ci gwaªtownie na-
250 ms symulacji przez okoªo 100 ms, a» do osi¡gni¦cia warto±ci maksymalnej,
po czym równie gwaªtownie spada do zera. Sugeruje to, »e po tym czasie neurony synchronizuj¡ si¦,
a ró»nica pomi¦dzy wprowadzonymi wzorcami nie jest widoczna. Inaczej jest w przypadku warto±ci
λ = 3.
Odlegªo±¢ euklidesowa gwaªtownie wzrasta w okoªo
300 ms
symulacji i szybko osi¡ga
swoje maksimum. Nast¦pnie jej warto±¢ obni»a si¦, ale pozostaje dodatnia do ko«ca symulacji.
Jak wida¢ na rysunku 4.5(d) warto±¢ odlegªo±ci euklidesowej dla przypadku
λ=3
utrzymuje
si¦ w okolicach 6, co ±wiadczy¢ mo»e o dobrej, w porównaniu do pozostaªych modeli, zdolno±ci
separacji modelu Morrisa-Lecara. Dla warto±ci
λ=9
warto±¢ odlegªo±ci jest wysoka na pocz¡tku
symulacji, po czym powoli, ale systematycznie zmniejsza si¦ do 1.
Wykresy odlegªo±ci euklidesowej odpowiedzi maszyn pªynowych zbudowanych z neuronów typu
Hindmarsha-Rose'84 oraz z neuronów Hindmarsha-Rose'85 na podane wzorce
stawione zostaªy na rysunkach 4.5(e) oraz 4.5(f ).
W1
oraz
W2
przed-
Šatwo wida¢, »e w przypadku, gdy parametr
g¦sto±ci poª¡cze« synaptycznych przyj¡ª warto±¢ 9, wykresy te nie ró»ni¡ si¦ znacznie.
Inaczej
jest w przypadku, gdy warto±¢ g¦sto±ci wynosiªa 3. Odlegªo±¢ euklidesowa dla maszyny pªynowej
zªo»onej z neuronów Hindmarsha-Rose'84 waha si¦ w granicach od 3 do 6 w trakcie prawie caªego
przebiegu symulacji. Natomiast warto±¢ ta dla maszyny zªo»onej z neuronów Hindmarsha-Rose'85
jest generalnie wy»sza i oscyluje mi¦dzy 5 a 6. Na tej podstawie mo»na sugerowa¢, »e maszyna
pªynowa zªo»ona z neuronów drugiej wersji modelu Hindmarsha-Rose ma lepsze wªa±ciwo±ci separowalno±ci.
Przedstawione na rysunku 4.5(g) odlegªo±ci euklidesowe stanów maszyny pªynowej zªo»onej
z neuronów Izhikevicha s¡ niewielkie. Warto±¢ ta przewa»ne jest ni»sza od 2 dla parametru
oraz 3 dla parametru
λ = 3.
λ=9
‘wiadczy to o maªych zdolno±ciach separacyjnych maszyny LSM
zbudowanej z omawianego modelu neuronu.
Na rysunku 4.6 przedstawiono zbiorcze uj¦cie wszystkich przebiegów stanów maszyn pªynowych
omówionych w tym podrozdziale. Dla parametru
λ=3
wida¢, »e w trakcie prawie caªej symulacji
odlegªo±ci euklidesowe s¡ najwi¦ksze dla modelu Morrisa-Lecara, za± najmniejsze dla modelu Izhikevicha. Niewiele mniejszymi odlegªo±ciami od modelu Morrisa-Lecara charakteryzuje si¦ model
resonate-and-re,
λ = 9
a tak»e po okresie rozgrzewania model Hindmarsha-Rose'85. Dla parametru
najwi¦ksz¡ warto±ci¡ odlegªo±ci cechuje si¦ model Hindmarsha-Rose'84 i jest to jedyny
przypadek, w którym warto±¢ ta ulega poprawie po zwi¦kszeniu g¦sto±ci poª¡cze« synaptycznych
w kolumnach pªynowych.
Izhikevicha oraz
Najni»sze warto±ci odlegªo±ci w tej konguracji przypadaj¡ modelowi
integrate-and-re.
Wªasno±¢ separowalno±ci jest najwa»niejsz¡ wªasno±ci¡ maszyn pªynowych. Odlegªo±¢ euklidesowa deniowana jako liczba neuronów, których stan po wprowadzeniu wzorca
63
W1
ró»ni si¦ od
stanu neuronów w przypadku pokazania wzorca
W 2,
pozwala na okre±lenie zdolno±ci separowal-
no±ci maszyny pªynowej. Reasumuj¡c powy»sze rozwa»ania na temat odlegªo±ci euklidesowych dla
ró»nych modeli neuronów, mo»na stwierdzi¢, »e najlepsze wªasno±ci separowalno±ci posiada model Morrisa-Lecara przy warto±ci g¦sto±ci poª¡cze« równej 3 oraz model Hindmarsha-Rose'84 przy
warto±ci g¦sto±ci poª¡cze« równej 9. Do±¢ stabilna i porównywalna dla obu konguracji odlegªo±¢
euklidesowa modelu
resonate-and-re,
równie» ±wiadczy o dobrych wªasno±ciach separowalno±ci
tego modelu. Najsªabsze wªasno±ci separowalno±ci posiadaj¡ modele
integrate-and-re
oraz Izhi-
kevicha.
Rysunek 4.6: Odlegªo±¢ euklidesowa stanów maszyny pªynowej dla ró»nych modeli neuronów. ™ródªo:
Opracowanie wªasne.
64
4.3.3
Indywidualna i globalna entropia informacyjna
Zmiany indywidualnej entropii informacyjnej dla ró»nych modeli neuronów u»ytych w warstwie
pªynowej przedstawia rysunek 4.7. Dla wzorca W1 i W2 charakter zmian entropii indywidualnej
ró»ni si¦ nieznacznie w przypadku modeli
resonate-and-re,
FitzHugh-Nagumo oraz Hindmarsha-
Rose'85. Najwi¦ksze ró»nice w zmianach entropii indywidualnej dla ka»dego z wzorców wej±ciowych
widoczne s¡ dla modeli Hindmarsha-Rose'84 i Izhikevicha. Warto zwróci¢ uwag¦ na ksztaªt wykresu entropii indywidualnej wyznaczonej dla neuronów
2.2 odpowiedzi pojedynczego neuronu
resonate-and-re.
resonate-and-re.
Przypomina on wykres
Pocz¡tkowa wysoka warto±¢ entropii in-
dywidualnej 0,12 zostaje wytªumiona do warto±ci okoªo 0,05, która utrzymuje si¦ ju» prawie do
ko«ca symulacji.
(a)
Integrate-and-re
(d) Morris-Lecar
(b)
Resonate-and-re
(e) Hindmarsh-Rose'84
(c) FitzHugh-Nagumo
(f ) Hindmarsh-Rose'85
(g) Izhikevich
Rysunek 4.7: Entropia lokalna maszyny pªynowej zªo»onej z ró»nych modeli neuronów. ™ródªo: Opracowanie
wªasne.
65
Rysunek 4.8 obrazuje otrzymane w badaniach zmiany globalnej entropii informacyjnej. Nietrudno zauwa»y¢, »e globalna entropia akumuluje si¦ w czasie. Najwi¦ksze warto±ci osi¡gane s¡
dla modeli
resonate-and-re
(ponad 4,5) oraz Morrisa-Lecara i FitzHugh-Nagumo (okoªo 4,5),
najni»sze za± dla modelu Izhikevicha (okoªo 3).
(a)
Integrate-and-re
(d) Morris-Lecar
(b)
Resonate-and-re
(e) Hindmarsh-Rose'84
(c) FitzHugh-Nagumo
(f ) Hindmarsh-Rose'85
(g) Izhikevich
Rysunek 4.8: Entropia globalna maszyny pªynowej zªo»onej z ró»nych modeli neuronów. ™ródªo: Opracowanie
wªasne.
66
Rozdziaª 5
Rozpoznawanie ekspresji twarzy przy
u»yciu maszyny pªynowej
Zadanie rozpoznawania emocji na podstawie obrazu twarzy podejmowane jest przez wielu badaczy.
Do tej pory jako podstawy systemu klasykuj¡cego ekspresje bardzo cz¦sto wykorzystywano sieci
neuronowe nale»¡ce do drugiej generacji. W rozdziale tym zostanie zaprezentowane caªkowicie nowe
podej±cie do zagadnienia rozpoznawania emocji oparte na modelu maszyny pªynowej. Skonfrontowane zostan¡ dwa sposoby przetwarzania informacji z obrazu twarzy oraz ich wpªyw na wynik
rozpoznania poszczególnych ekspresji.
Porównane zostan¡ równie» wªa±ciwo±ci aproksymacyjne
maszyn pªynowych w zale»no±ci od u»ytych modeli neuronów.
5.1 Systemy rozpoznawania ekspresji twarzy
Emocje odgrywaj¡ coraz wi¦ksz¡ rol¦ przy projektowaniu systemów komputerowych, a zwªaszcza
przy tworzeniu interfejsów pomi¦dzy komputerem a u»ytkownikiem. Poci¡ga to za sob¡ konieczno±¢
automatycznego rozpoznania ludzkich zachowa« oraz umiej¦tno±ci ich klasykacji i opisu. Ró»ne
stany emocjonalne czªowiek wyra»a poprzez mimik¦, gesty, postaw¦ ciaªa, d¹wi¦ki.
Zatem, aby
caªo±ciowo obj¡¢ problem automatycznego rozpoznawania emocji nale»aªoby podda¢ jednoczesnej
analizie wszystkie sposoby wyra»ania stanów uczu¢.
Ze wzgl¦du na zªo»ono±¢ tego problemu,
dotychczasowe prace badaczy ograniczaj¡ si¦ do jednego czy te» dwóch sposobów wyra»ania stanów
emocjonalnych.
Pocz¡wszy od wczesnych lat 70-tych ubiegªego wieku, Paul Ekman wraz z kolegami przeprowadziª obszerne badania nad ekspresj¡ twarzy.
Potwierdziªy one tez¦ o uniwersalno±ci ekspresji
takich jak: rado±¢, smutek, zªo±¢, strach, zaskoczenie oraz wstr¦t. Ekman i Friesen zaproponowali
67
1
system kodowania ekspresji twarzy FACS , w którym ruchy twarzy opisane byªy zbiorem jednostek
akcji, a ka»dej jednostce odpowiadaª mi¦sie« twarzy [37]. Poszczególne ekspresje twarzy opisane
zostaªy jako kombinacja pojedynczych jednostek akcji. Ten system kodowania ekspresji twarzy wykonywany byª r¦cznie starannie przestrzegaj¡c zapisanych reguª. Klasykacji podlegaªy statyczne
obrazy przedstawiaj¡ce emocje przewa»nie w jej szczytowym momencie.
Prace Ekmana zainspirowaªy wielu badaczy do poszukiwa« automatycznych metod analizy
ekspresji twarzy.
Ogólnie systemy automatycznego rozpoznawania ekspresji twarzy skªadaj¡ si¦
z nast¦puj¡cych faz: wykrycia i lokalizacji twarzy, ekstrakcji cech twarzy oraz klasykacji ekspresji
twarzy. Ka»da z faz stanowi odr¦bny problem badawczy. Najskuteczniejsze systemy detekcji twarzy
oparte s¡ na sieciach neuronowych.
W momencie wykrycia twarzy na obrazie, koresponduj¡cy
obszar zostaje wyodr¦bniony i znormalizowany tak, by na przykªad odlegªo±ci pomi¦dzy oczami
byªy zbli»one dla wszystkich obrazów.
Kolejna faza, ekstrakcja cech twarzy skupia si¦ na próbie znalezienia najodpowiedniejszej reprezentacji obrazu twarzy dla problemu jej rozpoznania. Wyró»ni¢ mo»na tu dwa gªówne podej±cia,
oparte na holistycznym dopasowaniu wzorców lub oparte na geometrycznych cechach twarzy [36].
W systemach holistycznych wzór mo»e by¢ obrazem cyfrowym lub te» wektorem cech uzyskanym
po przetworzeniu caªego obrazu twarzy. Do redukcji wielowymiarowej reprezentacji wektorowej wykorzystuje si¦ analiz¦ gªównych skªadowych
2 oraz wielowarstwowe sieci neuronowe. W systemach
wykorzystuj¡cych geometryczne wªasno±ci twarzy, wektor cech stanowi¡ odlegªo±ci pomi¦dzy charakterystycznymi punktami twarzy oraz relatywne rozmiary gªównych skªadowych twarzy. Punkty
charakterystyczne mog¡ równie» tworzy¢ geometryczny graf repezentuj¡cy twarz [37]. Systemy te
przewa»nie s¡ obliczeniowo bardziej wymagaj¡ce od systemów opartych na wzorcach, jednak»e s¡
bardziej odporne na ró»nice w skali, rozmiarach, orientacji gªowy oraz lokalizacji twarzy na obrazie.
Zadanie klasykacji ekspresji twarzy mo»e by¢ rozwi¡zywane ró»nie w zale»no±ci od tego czy do
systemu wprowadzana jest sekwencja obrazów czy te» obraz statyczny. W pierwszym przypadku,
analiza ekspresji mo»liwa jest za pomoc¡ ±ledzenia zmian poªo»enia charakterystycznych punktów
twarzy. Mo»na równie» analizowa¢ ruch kraw¦dzi wyodr¦bionych w obszarze wokoª ust, nosa, oczy
oraz brwi.
3
Bardzo cz¦sto wykorzystywane s¡ tak»e metody przepªywu optycznego , do których
w celu zredukowania wielowymiarowo±ci stosuje si¦ analiz¦ gªównych skªadowych. Do klasykacji
4 w po-
ekspresji z obrazów statycznych bardzo cz¦sto wykorzystuje si¦ metod¦ wªa±ciwych twarzy
ª¡czeniu z analiz¡ gªównych skªadowych [37]. Do analizy emocji twarzy stosowane s¡ równie» sieci
Bayesa [37], klasykatory oparte na ukrytych modelach Markowa
neuronowe [36, 37].
1 ang. Facial Action Coding System
2 ang. principal component analysis
3 ang. optical ow
4 ang. eigenfaces
5 Hidden Markov Model (HMM)
(PCA)
68
5 [37] oraz wielowarstwowe sieci
Tablica 5.1: Porównanie algorytmów rozpoznawania ekspresji twarzy. ™ródªo: [37].
Autor
Sposób przetwarzania
Klasykator
obrazu
Liczba
Liczba
Skute-
ekspresji
podmiotów
-czno±¢
Mase
przepªyw optyczny
sieci neuronowe
4
1
86%
Black i Yacoob
model parametryczny
oparty na reguªach
6
40
92%
Yacoob i Davis
przepªyw optyczny
oparty na reguªach
6
32
95%
Rosenblum i inni
przepªyw optyczny
sieci neuronowe
2
32
88%
Essa i Pentland
przepªyw optyczny
opaty na odlegªo±ci
5
8
98%
Otsuka i Ohya
przepªyw optyczny
HMM
6
4
93%
Lanitis i inni
model wygl¡du
oparty na odlegªo±ci
7
-
74%
Chen
model wygl¡du
Winnow
6
5
86%
Cohen i inni
model wygl¡du
sieci Bayesa
7
5+53
83%
W tabeli 5.1 przedstawiono porównanie algorytmów rozpoznawania ekspresji twarzy. Jak wida¢
ogólna skuteczno±¢ prawidªowej klasykacji ekspresji twarzy jest do±¢ wysoka. Najwy»sza w±ród
algorytmów rozpoznaj¡cych 6 emocji wynosi 95%, natomiast w±ród algorytmów rozpoznaj¡cych
5 ekspresji a» 98% [37]. Poprawno±¢ systemów, w których rol¦ klasykatora peªni¡ sieci neuronowe
jest ju» nieco ni»sza i wynosi 86% [37]. Warto zauwa»y¢, »e zadanie rozpoznania ekspresji z obrazu
statycznego jest du»o trudniejsze. Dla tych algorytmów skuteczno±¢ rozpoznania generalnie jest
ni»sza, jak na przykªad przy algorytmie Lanitisa, gdzie wynosi ona 74% [37].
5.2 Zbiór danych i ich reprezentacja
Baza zdj¦¢ JAFFE
6 u»yta w eksperymentach skªada si¦ z 213 zdj¦¢ przedstawiaj¡cych 6 pod-
stawowych ekspresji twarzy, takich jak: rado±¢, smutek, zaskoczenie, zªo±¢, odraza, strach, oraz
1 neutralnej, pozowanych przez 10 japo«skich kobiet.
Oryginalne zdj¦cia zostaªy przeskalowane
i wykadrowane, tak aby oczy na poszczególnych obrazach znajdowaªy si¦ na zbli»onych pozycjach.
Przykªadowe zdj¦cia pokazuje rysunek 5.1. W badaniach sprawdzono dwie ró»ne reprezentacje obrazów. Pierwsza wykorzystuje cechy wyekstrahowane przy pomocy dwuwymiarowej transformacji
Gabora.
Dwuwymiarowa funkcja Gabora jest fal¡ pªask¡ z wektorem falowym
przez obwiedni¦ Gaussa o relatywnej szeroko±ci
Ψ(k, x) =
gdzie
x
σ,
k
ograniczonym
przedstawion¡ wzorem [36]:
k2
k 2 x2
σ2
exp(−
)[exp(ik
·
x)
−
exp(−
)],
σ2
2σ 2
2
(5.1)
oznacza wspóªrz¦dne punktu ltra. W pracy wykorzystano zbiór j¡der Gabora z wekto-
rem falowym o warto±ci
k =
π
4 i 6 ró»nymi orientacjami (od
00
do
1800 ,
w odst¦pach
6 Dost¦p do bazy zdj¦¢ JAFFE jest bezpªatny pod warunkiem u»ycia jej w niekomercyjnych badaniach.
300 )
Informacje
na temat mo»liwo±ci uzyskania dost¦pu do bazy znajduj¡ si¦ na stronie http://www.kasrl.org/jae.html.
69
oraz
Rysunek 5.1: Przykªadowe zdj¦cia z bazy expresji twarzy JAFFE. ™ródªo: [36].
(a) Geometria twarzy.
™ródªo:
(b) Filtry
[36].
Gabora.
™ródªo:
Opracowanie wªasne.
Rysunek 5.2: Reprezentacja gaborowska twarzy.
przyj¦to warto±¢
σ
równ¡
π.
Ka»dy obraz podlegaª konwolucji z j¡drami Gabora w 34 staªych
punktach reprezentujacych geometri¦ twarzy. Rozmieszczenie tych punktów mo»na zobaczy¢ na
rysunku 5.2(a). Dla potrzeb bada« punkty te zostaªy wybrane manualnie. Jednak»e nale»y w tym
miejscu wspomnie¢, »e istniej¡ automatyczne metody budowania podobnej reprezentacji. Twarz
reprezentowana jest przez wektor skªadaj¡cy si¦ z 204 moduªów liczb zespolonych.
Na rysunku
5.2(b) pokazane s¡ 3 przykªadowe ltry Gabora oraz wynik konwolucji obrazu z cz¦±ci¡ rzeczywist¡ ltru oraz z moduªem ltru. Reprezentacja ta b¦dzie dalej nazywana w skrócie reprezentacj¡
gaborowsk¡.
W drugim sposobie reprezentacji twarzy tylko jej cz¦±¢ o wymiarach 10x45 pikseli zostaªa wzi¦ta
pod uwag¦. Przykªadowe obrazy zostaªy przedstawione na rysunku 5.3. W górnej cz¦±ci mo»na
zauwa»y¢ wyodr¦bion¡ cz¦±¢ twarzy w skali szaro±ci, natomiast pod spodem jej binarny odpowiednik. Reprezentacj¦ twarzy stanowi w tym przypadku wektor 450 liczb binarnych. Reprezentacja
ta w dalszych rozwa»aniach b¦dzie okre±lana w skrócie jako reprezentacja binarna.
70
Rysunek 5.3: Binarna reprezentacja cz¦±ci obrazu. ™ródªo: Opracowanie wªasne.
5.3 Architektura systemu
Proponowany system maj¡cy na celu rozpoznawanie emocji opiera si¦ na modelu maszyny pªynowej
i skªada si¦ z dwóch cz¦±ci: (a) cz¦±ci pªynowej oraz (b) dwuwarstwowego perceptronu. Na rysunku
5.4 przedstawiona zostaªa cz¦±¢ pªynowa systemu. Dla wi¦kszej przejrzysto±ci rysunku pokazane
zostaªy tylko pol¡czenia wchodz¡ce oraz wychodz¡ce dla wybranego neuronu z warstwy ±rodkowej.
Rysunek 5.4: Archiktektura maszyny pªynowej z zaznaczonymi poª¡czeniami wchodz¡cymi oraz wychodz¡cymi dla
wybranego neuronu z warstwy ±rodkowej. ™ródªo: Opracowanie wªasne.
71
Do symulacji maszyny pªynowej wykorzystano symulator ukªadów neuronowych
CSim.
Poni»ej
przedstawiono opis struktury maszyny pªynowej dla reprezentacji gaborowskiej twarzy.
w opisie nazwy neuronów i typów synaps pochodz¡ bezpo±rednio ze ±rodowiska
Cz¦±¢ pªynowa systemu skªada si¦ z trzech warstw.
z 204 pobudzaj¡cych neuronów typu
1 × 17 × 12.
U»yte
CSim.
Pierwsza, warstwa wej±ciowa skªada si¦
Input Analog Neuron
rozªo»onych na siatce o wymiarach
Neurony tej warstwy nie s¡ mi¦dzy sob¡ poª¡czone, natomiast ª¡cz¡ si¦ z neuronami
z warstwy ±rodkowej za pomoc¡
Static Analog Synapses.
Warstwa pªynowa, w zale»no±ci od badanego modelu neuronu, mo»e skªada¢ si¦ z neuronów
typu
integrate-and-re, resonate-and-re,
Morrisa-Lecara, Hindmarsha-Rose, FitzHugh-Nagumo
oraz Izhikevitcha. Neurony uªo»one s¡ na sze±cianie o wymiarach
3 × 17 × 12.
Poª¡czenia mi¦dzy
nimi generowane s¡ losowo, a prawdopodobie«stwo poª¡czenia pomi¦dzy par¡ neuronów ustalane
jest w zale»no±ci od parametru
wane s¡
λ, którego warto±¢ w symulacjach wynosiªa 2.5.
Dynamic Spiking Synapses.
jako neurony hamuj¡ce.
Do poª¡cze« stoso-
Dodatkowo 20% neuronów w sposób losowy zostaªa wybrana
Neurony tej warstwy poª¡czone s¡ za pomoc¡
Static Spiking Synapse
z neuronami warstwy wyj±ciowej. Przy wyborze parametrów sugerowano si¦ do±wiadczeniami opisanymi w [38].
Warstwa wyj±ciowa skªada si¦ z neuronów tego samego typu co neurony w warstwie ±rodkowej. Neurony w niej uªo»one s¡ na siatce o wymiarach
1 × 17 × 12.
Sygnal zbierany z warstwy
wyj±ciowej przekazywany jest do drugiej cz¦±ci systemu klasykuj¡cego expresje twarzy, czyli do
dwuwarstwowego perceptronu.
Struktura cz¦±ci pªynowej dla reprezentacji binarnej twarzy ró»ni si¦ tylko nieznacznie od
omówionej powy»ej typem u»ytych neuronów i synaps w warstwie wej±ciowej oraz liczb¡ neuronów
u»ytych w poszczególnych warstwach.
Spiking Neuron,
Warstw¦ wej±ciow¡ stanowi tu 450 neuronów typu
które ª¡cz¡ si¦ z warstw¡ ±rodkow¡ za pomoc¡
Static Spiking Synapses.
Input
Za±
neurony w poszczególnych warstwach uªo»one s¡ na sze±cianach o wymiarach równych odpowiednio
1 × 45 × 10, 3 × 45 × 10, 1 × 45 × 10.
Jak wspomniano powy»ej sygnaª z warstwy wyj±ciowej podawany zostaje na dwuwarstwowy
perceptron. W tej cz¦±ci systemu nast¦puje analiza i interpretacja oblicze« wykonanych w cz¦±ci
cieczowej. Do symulacji sieci perceptronowej wykorzystano
funkcjonalno±¢ ±rodowiska
Matlab.
Neural Network Toolbox
rozszerzaj¡ce
Do nauki dwuwarstwowego perceptronu wykorzystany zostaª
7
algorytm Rprop .
Liczba jednostek w warstwie wej±ciowej zale»na jest od liczby neuronów u»ytych w warstwie
wyj±ciowej cz¦±ci cieczowej systemu i wynosi 204 dla reprezentacji gaborowskiej oraz 450 dla
reprezentacji binarnej.
Jedyna warstwa ukryta sieci skªada si¦ z 38 neuronów.
W badaniach
sprawdzono konguracje sieci zawieraj¡cych od 20 do 80 jednostek ukrytych, jednak»e najlepsz¡
7 ang.
Resilient propagation
72
jej skuteczno±¢ osi¡gni¦to przy 38 jednostkach. Kolejna, wyj±ciowa warstwa posiada 7 neuronów
odpowiadaj¡cych poszczególnym expresjom twarzy. Jako funkcji aktywacji jednostek wyj±ciowych
u»yto funkcji
softmax :
exp(ak )
,
yk = P
c
exp(ak0 )
(5.2)
k0 =1
ak =
P
wkj zj , za± zj jest wyj±ciem jednostki
j
jednostek warstwy ukrytej jest tanh:
gdzie
g(aj ) = tanh(aj ) ≡
gdzie
aj =
P
wji xi ,
a
xi
j
w warstwie ukrytej.
Funkcj¡ aktywacji
eaj − e−aj
,
eaj + e−aj
(5.3)
jest warto±ci¡ jednostki
i
w warstwie wej±ciowej.
i
5.4 Wyniki bada«
Nadrz¦dnym celem bada« byªo sprawdzenie wªa±ciwo±ci aproksymacyjnych maszyn pªynowych
zªo»onych z ró»nych typów neuronów. Gªówny nacisk zostaª poªo»ony na zbadanie skuteczno±ci
rozpoznania ekspresji przez system w przypadku wprowadzenia nowych, nie u»ytych w trakcie
procesu uczenia reprezentacji twarzy. Rozmiar bazy zdj¦¢ byª ograniczony, dlatego te» w badaniach
8
u»yto techniki walidacji krzy»owej . Badanie przebiegaªo nast¦puj¡co:
•
ka»dy wektor reprezentuj¡cy twarz przetworzony zostaª przez cz¦±¢ pªynow¡ systemu;
•
zbiór wyników zostaª losowo podzielony na
•
dwuwarstwowy perceptron uczony byª przy pomocy danych z
S
odr¦bnych segmentów (w badaniach
S−1
S = 10);
segmentów, a nast¦pnie
testowany przy u»yciu pozostaªego segmentu;
•
powy»szy proces uczenia sieci perceptronowej powtórzony zostaª dla
S
mo»liwych wyborów
segmentu testuj¡cego skuteczno±¢ sieci;
•
ostateczny wynik zostaª u±redniony po wszystkich
S
uczonych sieciach perceptronowych.
Wynik ko«cowy procesu uczenia sieci perceptronowej w du»ej mierze zdeterminowany jest przez
pocz¡tkowy wybór wag poª¡cze« mi¦dzy neuronami.
Dlatego te», w badaniach ka»da sie¢ byªa
uczona 100 krotnie i tylko najlepiej nauczona byªa brana pod uwag¦ w dalszych rozwa»aniach.
Badanie systemu rozpoznawania emocji przy zastosowaniu opisanego powy»ej systemu przeprowadzone zostaªo w dwóch wariantach w zale»no±ci od u»ytej reprezentacji twarzy. W trakcie
bada« ustalono, »e wyniki systemu przy u»yciu modelu
integrate-and-re
w warstwie pªynowej
dla obu reprezentacji s¡ zbli»one. Dlatego te», tylko dla reprezentacji binarnej twarzy przeprowadzono symulacje wykorzystuj¡c w warstwie pªynowej, oprócz modelu
integrate-and-re, modele
resonate-and-re, Morrisa-Lecara, FitzHugh-Nagumo, Hindmarsha-Rose oraz Izhikevicha.
8 ang.
cross-validation technique
73
Tablica 5.2: Przykªady poprawnego rozpoznania emocji przez sie¢. ™ródªo: Opracowanie wªasne.
Ekspresja: zaskoczenie
Ekspresja: rado±¢
Ekspresja: niesmak
Ekspresja: strach
Odpowied¹ sieci:
Odpowied¹ sieci:
Odpowied¹ sieci:
Odpowied¹ sieci:
rado±¢
0.012782
rado±¢
0.860270
rado±¢
0.294676
rado±¢
smutek
0.000008
smutek
0.103198
smutek
0.002134
smutek
0.000000
zªo±¢
0.000001
zªo±¢
0.000143
zªo±¢
0.000000
zªo±¢
0.000006
strach
0.001677
strach
0.000006
strach
0.001609
strach
0.999990
zaskoczenie
0.955093
zaskoczenie
0.020961
zaskoczenie
0.001065
zaskoczenie
0.000000
odraza
0.002122
odraza
0.013642
odraza
0.700517
odraza
0.000004
neutralna
0.028317
neutralna
0.001780
neutralna
0.000000
neutralna
0.000000
0.000000
Tablica 5.3: Przykªady bª¦dnego rozpoznania emocji przez sie¢. ™ródªo: Opracowanie wªasne.
Ekspresja: zªo±¢
Ekspresja: strach
Ekspresja: smutek
Ekspresja: rado±¢
Odpowied¹ sieci:
Odpowied¹ sieci:
Odpowied¹ sieci:
Odpowied¹ sieci:
rado±¢
0.000000
rado±¢
0.067334
rado±¢
0.000075
rado±¢
smutek
0.999997
smutek
0.000081
smutek
0.000000
smutek
0.000000
zªo±¢
0.000000
zªo±¢
0.000003
zªo±¢
0.000033
zªo±¢
0.001881
strach
0.000003
strach
0.029768
strach
0.000000
strach
0.000009
zaskoczenie
0.000000
zaskoczenie
0.000000
zaskoczenie
0.000544
zaskoczenie
0.000002
odraza
0.000000
odraza
0.000519
odraza
0.739753
odraza
0.984225
neutralna
0.000000
neutralna
0.902294
neutralna
0.259595
neutralna
0.008353
0.005530
W tabeli 5.2 przedstawiono wybrane wyniki poprawnego rozpoznania ekspresji twarzy przez
system w przypadku reprezentacji gaborowskiej.
wybrane w sposób jednoznaczny.
Jak wida¢, prawidªowe odpowiedzi zostaªy
Mo»na przypuszcza¢, »e w tych przypadkach du»y wpªyw na
wynik klasykacji maj¡ bardzo ªadnie i dobitnie wyeksponowane na twarzych modelek ekspresje.
W tabeli 5.3 przedstawiono wybrane wyniki bª¦dnego rozpoznania ekspresji twarzy przez system
w przypadku reprezentacji gaborowskiej.
Tu, sie¢ jednoznacznie wskazaªa inn¡ ekspresje jako
rozpoznan¡. Nale»y zwróci¢ uwag¦, »e w tych przypadkach ekspresje nie s¡ ju» tak wyra¹ne jak
w poprzednich przykªadach, co mo»e mie¢ bezpo±rednie przeªo»enie na wynik dziaªania sieci. Na
przykªad, zdj¦cie pierwsze sklasykowane w bazie JAFFE jako zªo±¢, bardziej obrazuje odraz¦,
cho¢ mo»e te» by¢ uznane jako ogromny smutek przechodz¡cy w rozpacz, tak jak odczytaªa to
sie¢ neuronowa. Z kolei zdj¦cie drugie, opisane w bazie jako strach, mo»e równie» oznacza¢ lekkie
zaskoczenie b¡d¹ twarz neutraln¡.
74
Skuteczno±¢ poprawnego odczytywania ekspresji w systemie sprawdzono dla dwóch reprezentacji twarzy, reprezentacji gaborowskiej oraz reprezentacji binarnej. W tabeli 5.4 przedstawiono
wyniki przeprowadzonych bada« dla obu reprezentacji przy u»yciu w warstwie cieczowej neuronów typu
integrate-and-re.
Jak mo»na zauwa»y¢, ró»nice pomi¦dzy skuteczno±ci¡ klasykacji
ekspresji pomi¦dzy obiema reprezentacjami twarzy s¡ maªe, z niewielk¡ przewag¡ na korzy±¢ reprezentacji gaborowskiej.
W trakcie bada« wykorzystano technik¦ walidacji krzy»owej i w tym
celu wyodr¦bniono w sposób losowy 21 grup zawieraj¡cych po 10 przetworzonych przez kolumn¦
cieczow¡ danych. Poprawno±¢ rozpoznanych ekspresji w poszczególnych grupach ró»ni si¦ znacznie i jej najmniejsza warto±¢ wynosi 30%, za± najwi¦ksza 90%. ‘rednia skuteczno±¢ w przypadku
reprezentacji gaborowskiej wynosi 58%, natomiast w przypadku reprezentacji binarnej 56%.
Tablica 5.4: Porównanie wyników rozpoznania ekspresji obu reprezentacji twarzy. ™ródªo: Opracowanie wªasne.
Skuteczno±¢ klasykacji ekspresji [w %]
Reprezentacja gaborowska
Reprezentacja binarna
Grupa 1
50
60
Grupa 2
60
70
Grupa 3
70
50
Grupa 4
70
30
Grupa 5
50
60
Grupa 6
30
50
Grupa 7
50
50
Grupa 8
60
70
Grupa 9
60
40
Grupa 10
50
60
Grupa 11
80
50
Grupa 12
50
80
Grupa 13
50
70
Grupa 14
90
40
Grupa 15
70
50
Grupa 16
50
50
Grupa 17
40
60
Grupa 18
50
50
Grupa 19
70
60
Grupa 20
60
70
Grupa 21
50
50
‘rednia
58
56
75
Ró»nica w skuteczno±ci obu sprawdzanych wariantów jest niewielka. Do dalszych bada« u»yto
wi¦c tylko reprezentacji binarnej, gªównie z uwagi na jej prostot¦ oraz relatywnie niski koszt
implementacyjny. Przy u»yciu tej reprezentacji sprawdzono aproksymacyjne wªa±ciwo±ci maszyny
pªynowej dla ró»nych modeli neuronów. Wyniki tych bada« przedstawiono w tabeli 5.5. Jak wida¢
Tablica 5.5: Porównanie wyników rozpoznania ekspresji w poszczególnych grupach testowych dla ró»nych modeli
neuronów. ™ródªo: Opracowanie wªasne.
Skuteczno±¢ klasykacji ekspresji [w %]
Integrate-
Resonate-
Morris-
FitzHugh-
Hindmarsh-
and-re
and-re
Lecar
Nagumo
Rose
Grupa 1
60
60
60
60
Grupa 2
70
70
70
Grupa 3
50
50
Grupa 4
30
Grupa 5
Izhikevich
‘rednia
60
50
58
30
60
50
58
60
60
70
30
53
70
80
60
30
50
53
60
70
60
60
60
40
58
Grupa 6
50
60
50
50
50
40
50
Grupa 7
50
50
50
70
50
30
50
Grupa 8
70
50
70
60
50
60
60
Grupa 9
40
30
60
70
30
50
47
Grupa 10
60
50
50
60
70
30
53
Grupa 11
50
50
60
40
60
40
50
Grupa 12
80
50
50
40
60
40
53
Grupa 13
70
60
60
50
40
50
55
Grupa 14
40
60
40
60
70
50
53
Grupa 15
50
40
50
50
60
60
52
Grupa 16
50
60
80
60
50
50
58
Grupa 17
60
30
40
60
60
30
47
Grupa 18
50
40
40
60
30
40
43
Grupa 19
60
60
60
50
50
40
53
Grupa 20
70
70
50
40
40
40
52
Grupa 21
50
60
70
50
40
50
53
‘rednia
56
54
58
54
52
44
najwi¦ksz¡ ±redni¡ skuteczno±ci¡ rozpoznawania emocji charakteryzuje si¦ model Morrisa-Lecara.
‘rednia skuteczno±¢ tego modelu osi¡gn¦ªa w badaniach tak¡ sam¡ wielko±¢ jak skuteczno±¢ rozpoznawania modelu przy reprezentacji gaborowskiej, czyli 58%.
Natomiast najni»sz¡ ±redni¡
skuteczno±ci¡ wynosz¡c¡ 44% wykazuje si¦ model Izhikevicha. Ogólnie poprawno±¢ rozpoznania
emocji waha si¦ w granicach od 30 do 80%. Warto zauwa»y¢, »e skuteczno±¢ rozpoznania ekspresji w
poszczególnych grupach mo»e ró»ni¢ si¦ w zale»no±ci od modelu neuronu. Na przykªad, w grupie 2
76
poprawno±¢ rozpoznania emocji wynosi tylko 30% dla modelu FitzHugh-Nagumo, ale a» 70% dla
modeli typu
integrate-and-re, resonate-and-re
oraz Morrisa-Lecara. Podobni¡ sytuacj¦ mo»na
zaobserwowa¢ w grupie 4, gdzie skuteczno±¢ rozpoznania wynosi 30% dla modeli Hindmarsha-Rose
i
integrate-and-re,
a a» 80% dla modelu Morrisa-Lecara. Skuteczno±¢ rozpoznania emocji ró»ni
si¦ równie» mi¦dzy grupami, najsªabsza wynosi 43% dla grupy 18, natomiast najlepsza 60% dla
grupy 8. Co mo»e sugerowa¢ nierównomierny rozkªad trudno±ci rozpoznania ekspresji w grupach.
Tablica 5.6: Porównanie wyników rozpoznania ekspresji twarzy dla ró»nych modeli neuronów. ™ródªo:
Opracowanie wªasne.
Skuteczno±¢ klasykacji ekspresji [w %]
Integrate-
Resonate-
Morris-
FitzHugh-
Hindmarsh-
and-re
and-re
Lecar
Nagumo
Rose
Rado±¢
48
58
65
45
48
58
Smutek
58
42
58
52
42
42
Zªo±¢
53
67
53
57
63
67
Strach
52
52
68
61
48
52
Zaskoczenie
69
66
55
59
66
66
Odraza
62
48
48
41
34
48
Neutralne
48
48
55
65
62
48
Izhikevich
W tabeli 5.6 przedstawiono skuteczno±¢ rozpoznania ekspresji twarzy wyznaczon¡ dla ró»nych
modeli neuronów w rozbiciu na poszczególne ekspresje. Analizuj¡c dane w tabeli mo»na zauwa»y¢
pewn¡ tendencj¦ do dominacji jednego typu neuronu w rozpoznawaniu konkretnej emocji.
Bio-
r¡c pod uwag¦ model neuronu Morrisa-Lecara ªatwo dostrzec, »e w porównaniu z pozostaªymi
charakteryzuje si¦ wysok¡ skuteczno±ci¡ klasykacji ekspresji rado±ci (65%) oraz strachu (67%).
Natomiast model
integrate-and-re najlepiej radzi sobie z rozpoznaniem ekspresji odrazy (62%) i tu
jego przewaga nad pozostaªymi modelami jest du»a. Model ten równie» najlepiej radzi sobie z rozpoznaniem zaskoczenia (69%), cho¢ w tym przypadku dominacja nie jest wyra¹na. W poprawnej
klasykacji ekspresji neutralnej najlepiej wypada model FitzHugh-Nagumo (66%).
‘rednia skuteczno±¢ rozpoznania 7 ekspresji twarzy przez system oparty na maszynie pªynowej
wynosi 58% dla reprezentacji gaborowskiej oraz 56% dla reprezentacji binarnej. Co niestety nie
jest wynikiem zadowalaj¡cym w porównaniu do osi¡gni¦¢ podobnych systemów. Wyniki osi¡gane
przez algorytmy rozpoznaj¡ce 7 ekspresji przedstawione w tabeli 5.1 s¡ du»o lepsze i wynosz¡
83% dla algorytmu Cohena oraz 74% dla algorytmu Lanitisa.
Systemy rozpoznaj¡ce mniejsz¡
liczb¦ ekspresji mog¡ osi¡ga¢ poprawno±¢ rozpoznania równ¡ a» 98%.
Jednak»e ze wzgl¦du na
ograniczenia w liczbie rozpoznawanych ekspresji nie powinny by¢ porównywane z omawianym
pªynowym systemem.
77
Wyniki omawianego systemu powinny zosta¢ skonfrontowane równie» z wynikami przeprowadzonych bada« na podmiotach ludzkich przy wykorzystaniu tej samej bazy zdj¦¢ JAFFE. Jak podano w [36], 60 osób zostaªo poproszone o sklasykowanie ka»dego obrazu twarzy z bazy. W najgorszym przypadku, okoªo 20% badanych osób nie zgodziªo si¦ z opisan¡ na zdj¦ciu ekspresj¡ twarzy.
Przyczyn braku zgody pomi¦dzy opini¡ badanych osób a opisan¡ ekspresj¡ twarzy mogªo by¢ kilka.
W niektórych przypadkach modelki mogªy ukazywa¢ ekspresje niedokªadnie czy nawet niewªa±ciwie.
Osoby badane mogªy zamiennie wskazywa¢ pewne ekspresje, na przykªad strach mógª by¢
zamieniony z zaskoczeniem, a zªo±¢ z odraz¡. W niektórych przypadkach istniaªa równie» mo»liwo±¢ nadania obrazowi nieodpowiedniej etykiety z ekspresj¡ w trakcie procesu przygotowywania
bazy.
Tablica 5.7: Wyniki rozpoznania ekspresji przez badan¡ grup¦ osób. ™ródªo: Opracowanie wªasne.
E1
E2
E3
E4
E5
E6
E7
E8
E9
E10
‘rednia [w %]
Osoba 1
1
0
1
0
0
0
0
0
1
1
40
Osoba 2
1
0
1
1
0
1
1
1
1
1
80
Osoba 3
0
1
1
1
0
1
0
1
1
1
70
Osoba 4
1
0
0
1
1
1
0
1
1
1
70
Osoba 5
1
1
1
0
0
0
0
0
1
1
50
Osoba 6
0
0
0
0
0
1
0
1
1
0
30
Osoba 7
0
0
1
0
0
0
1
1
1
1
50
Osoba 8
0
1
1
1
0
0
0
1
1
0
50
Osoba 9
1
0
0
1
1
1
0
1
1
0
60
Osoba 10
1
1
1
0
0
0
0
1
1
0
50
Osoba 11
1
1
0
0
0
1
0
1
1
1
60
‘rednia [w %]
64
45
64
45
18
54
18
82
100
64
55
Tabela 5.7 przedstawia wyniki przeprowadzonych bada« na grupie 11 polskich m¦»czyzn. W tym
przypadku ka»da z osób otrzymaªa do sklasykowania tylko 10 losowo wybranych z bazy JAFFE
zdj¦¢ twarzy. ‘rednio tylko w 55% badane osoby zgadzaªy si¦ z okre±lon¡ dla obrazów ekspresj¡.
Dla obrazu o numerze 5 i 7 ±rednia skuteczno±¢ rozpoznania wynosiªa zaledwie 18%. Tylko w przypadku obrazu 9 wszystkie osoby zgodziªy si¦ z nadan¡ ekspresj¡. Ze wzgl¦du na ograniczon¡ liczb¦
sprawdzanych zdj¦¢ oraz maª¡ liczb¦ badanych osób trudno te wyniki odnie±¢ do tych otrzymanych
przez japo«skich badaczy. Du»y procent niezgodno±ci w rezultatach mo»e jednak sugerowa¢, »e
wyniki przeprowadzone w podobnych warunkach w Polsce mogªyby si¦ ró»ni¢.
78
Podsumowanie
W pracy przedstawiono wyniki bada« wªa±ciwo±ci sieci neuronów biologicznych z wykorzystaniem
wybranych metod takich jak analiza odlegªo±ci euklidesowej czy entropia informacyjna. Do badania
wªa±ciwo±ci sieci wykorzystano uproszczony model ukªadu wzrokowego. Stosuj¡c podej±cie Maassa
rozszerzono ide¦ maszyny pªynowej przez oparcie architektury ukªadu na nast¦puj¡cych modelach
neuronów:
integrate-and-re, resonate-and-re,
FitzHugh-Nagumo, Morrisa-Lecara, Hindmarsha-
Rose oraz Izhikevicha. W trakcie bada« poczyniono nast¦puj¡ce obserwacje:
1. Na podstawie przebiegów stanów aktywno±ci obserwowanych neuronów uzyskanych w odpowiedzi na ró»ne wzorce podawane siatkówce mo»na domniemywa¢ o jako±ci wªasno±ci separowalno±ci maszyny pªynowej.
Maªo wyra¹ne zmiany w odpowiedziach maszyny pªynowej
na podawane wzorce, takie jak w przypadku modelu Izhikevicha, mog¡ ±wiadczy¢ o sªabej
wªasno±ci separowalno±ci.
2. Wspóªczynnik g¦sto±ci poª¡cze« synaptycznych
szyny pªynowej. Zmiana wspóªczynnika
λ ma wpªyw na zdolno±ci separowalno±ci ma-
λ z warto±ci 3 na 9 spowodowaªa pogroszenie wªa±ci-
wo±ci separowalno±ci w przypadku wszystkich modeli, oprócz modelu Hindmarsha-Rose'84.
Przy g¦sto±ci poª¡cze« synaptycznych równej 3 najlepsz¡ wªa±ciwo±ci¡ separowalno±ci charakteryzowaª si¦ model Morrisa-Lecara, najgorsz¡ natomiast model Izhikevicha. Przy warto±ci
λ
równej 9 najlepsz¡ wªa±ciwo±¢ separowalno±ci posiadaª model Hindmarsha-Rose'84.
3. Ksztaªt wykresu entropii indywidualnej wyznaczonej dla neuronów
dobny do wykresu odpowiedzi pojedynczego neuronu
resonate-and-re
jest po-
resonate-and-re.
W ramach pracy stworzono równie» system do rozpoznawania ekspresji twarzy oparty na modelu
maszyny pªynowej. Badanie systemu przeprowadzono w dwóch wariantach w zale»no±ci od przyj¦tej reprezentacji twarzy. ‘rednia skuteczno±¢ rozpoznania 7 ekspresji twarzy przez system wyniosªa
58% dla reprezentacji gaborowskiej oraz 56% dla reprezentacji binarnej. Wyniki systemu przy
u»yciu modelu
integrate-and-re
w warstwie pªynowej byªy dla obu reprezentacji zbli»one, dlatego
te» tylko dla reprezentacji binarnej twarzy przeprowadzono symulacje wykorzystuj¡c w warstwie pªynowej modele
resonate-and-re,
Morrisa-Lecara, FitzHugh-Nagumo, Hindmarsha-Rose
79
oraz Izhikevicha. Ogólna poprawno±¢ rozpoznania emocji dla wszystkich modeli neuronów wahaªa
si¦ w granicach od 30% do 80%.
W trakcie bada« zauwa»ono, »e skuteczno±¢ rozpoznania eks-
presji ró»niªa si¦ w zale»no±ci od u»ytego modelu neuronu. Ponadto dostrze»ono pewn¡ tendencj¦
do dominacji jednego typu neuronu w rozpoznawaniu konkretnej emocji.
Najlepszym modelem
w klasykacji ekspresji rado±ci (65%) oraz strachu (67%) okazaª si¦ model Morrisa-Lecara.
Na-
tomiast z rozpoznawaniem ekspresji odrazy (63%) oraz zaskoczenia (69%) najlepiej radziª sobie
model
integrate-and-re.
Otrzymane wyniki bada« nad systemem rozpoznawania ekspresji mog¡ sugerowa¢, »e partie
mózgu zªo»one z ró»nych typów neuronów obieraj¡ odmienne strategie przy rozpoznawaniu emocji.
Oczywi±cie nie nale»y traktowa¢ tych wyników jako dowódu, ale z pewno±ci¡ stanowi¡ one ciekawy
warty dalszych bada« wgl¡d w teorie funkcjonowania mózgu.
80
Bibliograa
[1] Longsta A., Krótkie wykªady. Neurobiologia, Warszawa 2005.
[2] Krause M., Czªowiek i jego ukªad nerwowy, ‘l¡sk 2002.
[3] Gerstner W., Kistler W.M., Spiking Neuron Models, Single Neurons, Populations, Plasticity,
Cambridge 2002.
[4] Kosi«ski R.A., Sztuczne sieci neuronowe. Dynamika nieliniowa i chaos, Warszawa 2004.
[5] Izhikevich E.M., Which Model to Use for Cortical Spiking Neurons, IEEE Transactions on
Neural Networks, Vol. 15, 2004, s. 1063-1070.
[6] Malmivuo J., Plonsey R., Bioelectromagnetism. Principles and Applications of Bioelectric and
Biomagnetic Fields, Oxford 1995.
[7] Izhikevich E.M., Resonate-and-re neurons, Neural Networks, Vol. 14, 2001, s. 883-804.
[8] Hodgkin A.L., Huxley A.F., A quantitative description of membrane current and its application to conduction and excitation in nerve, Journal of Physiology, Vol. 117, 1952, s. 500-544.
[9] Moehlis J.M., FitzHugh± Simplication of the Hodgkin/Huxley Equations,
http://www.me.ucsb.edu/ moehlis/APC591/tutorials/tutorial2/tutorial2.html.
[10] FitzHugh R.A., Impulses and physiological states in theoretical models of nerve membrane,
Biophysical Journal, Vol. 1, 1961, s. 445-466.
[11] Av-Ron E., Byrne J.H., Baxter D.A., Teaching Basic Principles of Neuroscience with Computer
Simulations, The Journal of Undergraduate Neuroscience Education, 2006, Vol. 4, s. 40-52.
[12] Korn H., Faure P., Is there chaos in the brain? II. Experimental evidence and related models,
Comptes Rendus Biologies, Vol. 326, 2003, s. 787-840.
[13] Hindmarsh J., Cornelius P., The development of the Hindmarsh-Rose model for bursting,
http://www.ccs.neu.edu/home/kunkle/docs/pnn.pdf
81
[14] Ginoux J.M., Rossetto B., Slow Manifold of a neuronal bursting model [w:] Understanding
Complex Systems, Heidelberg, 2006.
[15] Izhikevich E.M., Simple Model of Spiking Neurons, IEEE Transactions on Neural Networks,
Vol. 14, 2003, s. 1569-1572.
[16] Grzyb B., Biaªow¡s J., Modeling of LTP-related phenomena using an articial ring cell,
ICONIP, 2006, s. 90-96.
[17] Bialowas J., Grzyb B., Poszumski P., Firing Cell: An Articial neuron with a simulation of
Long-Term-Potentiation-Related Memory, The Eleventh International Symposium of Articial
Life and Robotics, 2006, s. 731-734.
[18] Atwood H.L., MacKay W.A.,
[19] Schmidt R.F.,
Essentials of Neurophysiology, Toronto 1989.
Fundamentals of Neurophysiology, New York 1976, s. 64-92.
[20] Muller D., Joly M., Lynch G., Contributions of quisqualate and NMDA receptors to the
induction and expression of LTP, Science, Vol. 242, 1988, s. 1694-1697.
[21] Bliss T.V.P, Collingridge G.L., Asynaptic model of memory: long-term potentiation in the
hippocampus, Nature, Vol. 361, 1993, s. 31-39.
[22] Bekkers J.M, Stevens Ch.F., Two dierent ways evolution makes neurons larger, Progress in
Brain Research, Vol. 83, 1990, s. 37-45.
[23] Kunkle
D.R.,
Merrigan
Ch.,
Pulsed
Neural
Networks
and
their
Application,
http://www.ccs.neu.edu/home/kunkle/docs/pnn.pdf, 2002.
[24] Maass W., Networks of Spiking Neurons: The Third Generation of Neural Network Models,
Neural Networks, Vol. 10, 1997, s. 1659-1671.
[25] Natschlager T., Maass W., Markram H., The Liquid Computer: A Novel Strategy for RealTime Computing on Time Series, Special Issue on Foundations of Information Processing of
TELEMATIK, Vol. 8, 2002, s. 39-43.
[26] Fernando Ch., Sojakka S., Pattern Recognition in a Bucket, Proceedings 7th European Conference on Articial Life, 2003, s. 588-597.
[27] Maass W., Natschlager T., Markram H., Real-Time Computing Without Stable States: A New
Framework for Neural Computation Based on Perturbations, Neural Computation, Vol. 14,
2002, s. 2531-2560.
82
[28] Verstraeten D., Schrauwen B., Stroobandt D., Van Campenhout J., Isolated word recognition
with the
Liquid State Machine:
a case study, Information Processing Letters, Vol. 95, 2005,
s. 521-528.
[29] Maass W., Natschlager T., Markram H., Computational Models for Generic Cortical Microcircuits [w:] Computational Neuroscience: A Comprehensive Approach, CRC-Press 2002. (do
pobrania ze strony http://www.lsm.tugraz.at/references.html)
[30] Jaeger H., A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF
and the echo state network
approach,
GMD Report 159,
Fraunhofer Institute AIS,
http://www.faculty.iu-bremen.de/hjaeger/pubs/ESNTutorial.pdf, 2002.
[31] Jaeger
man
H.,
Short
National
Term
Research
Memory
in
Center
for
Echo
State
Information
Networks,
GMD
Technology,
Report
152,
Ger-
http://www.faculty.iu-
bremen.de/hjaeger/pubs/STMEchoStatesTechRep.pdf, 2002.
[32] Wójcik G.M., Kami«ski W.A., Liquid State Machine and its separation ability as function of
electrical parameters of cell (w druku).
[33] Muszy«ski S., Kami«ski W.A., Studies on the association properties of the LSM network of
the Hodgkin-Huxley neurons, Bio-Algorithms and Med-Systems, Vol. 1, s. 27-30.
[34] Maass W., Natschlager T., Markram H., A Model for Real-Time Computation in Generic Neural Microcircuits, Advances in Neural Information Processing Systems, vol. 15, 2003, s. 229236.
[35] Kami«ski W.A., Wójcik G.M., Liquid state machine built of Hodgkin-Huxley neurons-pattern
recognition and informational entropy, Annales UMCS Informatica AI, Vol. 1, 2003, s. 107-113.
[36] Zhang Z., Lyons M., Schuster M., Akamatsu S., Comparison Between Geometry-Based and
Gabor-Wavelets-Based Facial Expression Recognition Using Multi-Layer Perceptron, Third
IEEE International Conference on Automatic Face and Gesture Recognition, 1998, s. 454459.
[37] Sebe N., Cohen I., Huang T.S., Handbook of Pattern Recognition and Computer Vision,
World Scientic 2005.
[38] Burgsteiner H., Kroll M., Leopold A., Steinbauer G., Movement Prediction from real-world
Images using a Liquid State Machine, Applied Intelligence, Vol. 26, 2007, s. 99-109.
83