1. Historia sztucznych sieci neuronowych 2. Mózg a komputer

Daniel Kierepka
Kompresja obrazów za pomoc sztucznych sieci neuronowych
We współczesnym wiecie do du ym problemem jest przesyłanie
danych o znacznej wielko ci w sieciach telekomunikacyjnych. W tej pracy
zostanie pokazana jedna z metod rozwi zania tego problemu z wykorzystaniem
sztucznych sieci neuronowych.
1. Historia sztucznych sieci neuronowych
Rozwój sztucznych sieci neuronowych został zapocz tkowany w latach
czterdziestych prób opisania w matematyczny sposób komórki nerwowej.
Zauwa ono wtedy cenne własno ci zarówno pojedynczego neuronu jak równie
zbudowanych poprzez ich ró norodne poł czenia- sztucznych sieci
neuronowych (SSN). Pierwsz z nich jest równoległe przetwarzanie informacji
w tym nieliniowych. Stwierdzono tak e, e ogromnym atutem sztucznych sieci
do uczenia, zast puj ca tradycyjne
neuronowych jest ich zdolno
programowanie.
2. Mózg a komputer
Interesuj cym zagadnieniem, z naukowego punktu widzenia, jest
porównanie własno ci systemów komputerowych z własno ciami mózgu. Jak
wiadomo, mózg zbudowany jest z komórek nerwowych, które pełni rol
mikroprocesorów. Przesyłaj one mi dzy sob sygnały, które przy pewnym
uproszczeniu mo emy potraktowa jako impulsy elektryczne. Komórka
nerwowa (Rys.1.) zbudowana jest z dendrytów, które s wej ciami do komórki
nerwowej i aksonu który jest przedłu eniem komórki nerwowej i jednocze nie
poł czeniem z innymi komórkami (wyj cie) w miejscu zwanym synaps .
Poprzez poł czenia synaptyczne transmitowane s sygnały do innych komórek
nerwowych.
Rys.1. Komórka nerwowa
Z cybernetycznego punktu widzenia neuron biologiczny mo na traktowa
jako specyficzny przetwornik sygnałów. Jest to układ o wielu wej ciach
(synapsy) i jednym wyj ciu (akson).
Podobnie jak w przypadku neuronowych sieci biologicznych,
podstawowymi elementami z których buduje si sztuczne sieci neuronowe s
sztuczne neurony. Z technicznego punktu widzenia sztuczny neuron jest
elementem, którego własno ci odpowiadaj wybranym własno ciom neuronu
biologicznego. Sztuczny neuron (Rys.2.) z zało enia nie jest wi c wiern kopi
neuronu biologicznego, lecz mniej lub bardziej uproszczonym jego modelem,
który powinien spełnia okre lone funkcje w sztucznej sieci neuronowej.
Rys.2. Sztuczny neuron
3. Sztuczny neuron
Ogólnie sztuczny neuron mo na rozpatrywa jako specyficzny przetwornik sygnałów (Rys.3.) działaj cy według nast puj cej zasady. Na wej cie
przetwornika podawane s sygnały wej ciowe, które nast pnie s mno one
przez odpowiednie współczynniki wag. "Wa one" sygnały wej ciowe s
nast pnie sumowane i korygowane o stał warto progow b. Na tej podstawie
wyznacza si pobudzenie neuronu. Pobudzone sygnały przechodz z kolei przez
nieliniow funkcje aktywacji daj c na wyj ciu sieci odpowiedni sygnał
wyj ciowy.
Rys.3. Model sztucznego neuronu
4. Uczenie sztucznych sieci neuronowych
Jak ju wspomniano na pocz tku, sztuczne sieci neuronowe posiadaj
zdolno do uczenia si . Mo na tu wyró ni dwa sposoby uczenia sztucznych
sieci neuronowych: z nauczycielem (uczenie nadzorowane) i bez nauczyciela
(uczenie nienadzorowane).
W trybie uczenia z nauczycielem (Rys.4.) przyjmuje si , e znany jest
po dany sygnał wyj ciowy neuronu, a dobór wag musi by przeprowadzany w
taki sposób, aby aktualny sygnał wyj ciowy neuronu był najbli szy warto ci
zadanej. Istotnym elementem jest tu znajomo po danej warto ci sygnału
wyj ciowego neuronu.
Rys.4. Uczenie neuronu w trybie nadzorowanym
Je li nie mo na tego zapewni , to dla okre lonej klasy problemów,
pozostaje wybór strategii uczenia bez nauczyciela. Dobór wag odbywa si
wtedy na innej zasadzie wykorzystuj c konkurencj neuronów mi dzy sob .1
5. Sieci autoasocjacyjne
Sie autoasocjacyjna jest sieci , która jest uczona w taki sposób, aby
dokonywała maksymalnie wiernej reprodukcji warto ci sygnałów wej ciowych
na swoich wyj ciach. Na pozór takie działanie nie ma sensu, skoro mamy pewne
dane na wej ciu, to po co budowa sie i uczy j eby odtworzyła na swoim
wyj ciu, mo liwie wiernie, te same dane? Jednak je li skonstruujemy sie w taki
sposób, e w warstwie wewn trznej podamy mniejsz liczb neuronów ni w
warstwach wej ciowej i wyj ciowej to zadanie to b dzie miało cechy kompresji
sygnału2. Wtedy przez t warstw o zmniejszonym wymiarze musz zosta
przesłane sygnały z wej cia na wyj cie. Dlatego te w celu realizacji stawianego
jej zadania reprodukcji informacji wej ciowej na wyj ciu sie musi si najpierw
nauczy innej reprezentacji obszernych danych wej ciowych przy pomocy
mniejszej liczby sygnałów produkowanej przez neurony warstwy ukrytej.
Nast pnie musi opanowa umiej tno rekonstrukcji na wyj ciu pełnych danych
wej ciowych na podstawie „skompresowanej” informacji.
6. Program bada
Prowadz c badania, skonstruowano sztuczn sie neuronow , której
zadaniem była kompresja obrazu podawanego na wej ciu sieci. Jako obrazy
przeznaczone do kompresji przyj to znaki, litery alfabetu rysowane na matrycy
wielko ci 10x10. Model badawczy (Rys.5.) stanowiły sieci MLP (Multilayer
Perceptron).
W trakcie prowadzonych bada zauwa ono, e sie najlepiej radzi sobie z
tym problemem, je li umieszczono w niej jeszcze dwie dodatkowe, symetryczne
warstwy ukryte. Nasze obserwacje w pełni pokrywaj si w tym wzgl dzie
z opisami znajduj cymi si w studiowanej literaturze dot. zastosowa
sztucznych sieci neuronowych [5].
W zwi zku z tym do ostatecznych bada przyj to modele sieci
neuronowych o trzech warstwach ukrytych i nast puj cych wymiarach:
1
Wi cej informacji o uczeniu sieci w trybie bez nauczyciela mo na znale w: Jacek urada, Introduction to
Artificial Neural Systems, West Publishing Company, USA 1992, str. 246-253.
2
Inny przykład wykorzystania sieci autoasocjacyjnych do preprocessingu danych wej ciowych do modeli
neuronowych, został szczegółowo opisany w: Andrzej Burda, Budowa optymalnego modelu prognostycznego z
wykorzystaniem preprocessingu w sztucznych sieciach neuronowych, Zamojskie Studia i Materiały, Rok
wyd.IV, zeszyt 2, Wyd. WSZiA w Zamo ciu, Zamo 2002
MLP 100:65:20:65:100 (liczby neuronów w kolejnych warstwach sieci)
MLP 100:50:10:50:100
MLP 100:40:5:40:100
W przypadku sieci pierwszej stopie kompresji wyniósł: 5, drugiej: 10,
a trzeciej: 20.
Rys.5. Model badawczy
Konkluduj c- sie po rozdzieleniu na dwie cz ci posłu yła jako nadajnik
i odbiornik (Rys.6.) przekazywanego sygnału. Zadaniem sieci była najpierw
kompresja obrazu, przesłanie danych przez medium transmisyjne, a nast pnie
dekompresja do rzeczywistego obrazu podawanego na wej ciu.
Rys.6. Schemat zastosowania modelu
Badano działanie sieci przy ró nych stopniach kompresji. Przy 5- krotnej
kompresji sie znakomicie radziła sobie z postawionym jej zadaniem. Natomiast
przy wi kszych stopniach kompresji zacz ły pojawia si zniekształcenia, które
utrudniały interpretacj obrazów na wyj ciu sieci Dotyczyły one liter, których
wzorce s do siebie bardzo podobne (Rys.7.).
Rys.7. Typowe zniekształcenie obrazów
Wnioski
Zastosowanie autoasocjacyjnych sztucznych sieci neuronowych jako
narz dzi do kompresji sygnałów, stanowi ciekawe do wiadczenie badawcze i
daje dobre wyniki praktyczne. Sieci przedstawione w badaniach przy wi kszych
stopniach kompresji nieco zniekształcały wzorce wej ciowe. Zauwa ono jednak,
e zniekształcenia te nie dotycz translacji pionowej ani poziomej. Nie dotycz
te obrotów wokół własnej osi. Mo na wi c w łatwy sposób wyeliminowali my
te zakłócenia wprowadzaj c na wyj ciu dodatkow sie , która poprawnie
sklasyfikuje te wzorce mimo ich zniekształce .
Zaproponowany model SSN, nawet przy 20-krotnej kompresji sygnału,
dobrze radzi sobie z postawionym problemem i z powodzeniem mo e by
stosowany to tego typu zada .
Literatura:
1. Andrzej Burda, Budowa optymalnego modelu prognostycznego
z wykorzystaniem
preprocessingu
w
sztucznych
sieciach
2.
3.
4.
5.
neuronowych, Zamojskie Studia i Materiały, Rok wyd. IV, zeszyt 2,
Wyd. WSZiA w Zamo ciu, Zamo 2002
Stanisław Osowski, Sieci neuronowe, Oficyna Wydawnicza
Politechniki Warszawskiej, Warszawa 1994
Ryszard Tadeusiewicz, Mariusz Flasi ski, Rozpoznawanie obrazów,
Pa stwowe Wydawnictwo Naukowe, Warszawa 1991
Jacek urada, Introduction to Artificial Neural Systems, West
Publishing Company, USA 1992
Podr cznik programu Statistica Neural Networks PL, Wprowadzenie
do sieci neuronowych, StatSoft, Kraków 2001