wykorzystanie pasywnych sieci neuronowych do rozwiązywania

Andrzej Łuksza, Wiesław Sieńko
Akademia Morska w Gdyni
WYKORZYSTANIE PASYWNYCH SIECI NEURONOWYCH
DO ROZWIĄZYWANIA ZADAŃ OPTYMALIZACYJNYCH
NA PRZYKŁADZIE PROBLEMU KOMIWOJAŻERA
W pracy zaproponowano wykorzystanie pasywnych sieci neuronowych do rozwiązywania zagadnienia komiwojażera. Wykazano, że pasywna sieć neuronowa pozwala na rozdzielenie funkcji celu
i ograniczeń między symetryczny i antysymetryczny składnik macierzy połączeń. Dzięki takiemu rozdzieleniu uzyskano sieć o dużo lepszych zdolnościach rozwiązywania zagadnienia komiwojażera od
tradycyjnych sieci typu Hopfielda. Przedstawiono wyniki eksperymentów numerycznych, potwierdzających przydatność pasywnych sieci neuronowych do rozwiązywania zagadnienia komiwojażera.
Słowa kluczowe: pasywne sieci neuronowe, optymalizacja, zagadnienie komiwojażera.
WSTĘP
Problem komiwojażera jest powszechnie wykorzystywany w celu porównania
efektywności różnych metod optymalizacji. Rozwiązaniem problemu komiwojażera jest najkrótsza zamknięta trasa łącząca N miast, danymi są odległości między
miastami. Problem komiwojażera jest problemem NP-trudnym. Liczba kombinacji
tras wynosi (N – 1)! / 2 i obliczenie długości wszystkich tras w celu wybrania
najkrótszej dla dużej liczby miast jest niemożliwe.
Funkcją celu dla problemu komiwojażera jest minimalna długość trasy,
a ograniczeniem – wymóg pojawienia się każdego z miast dokładnie jeden raz na
trasie. Funkcję celu można zapisać w postaci
N
min E = min ∑ dij yij ,
(1)
i , j =1
gdzie dij oznacza odległość między miastami o numerach i i j, zmienna yij = 1,
gdy miasta i i j sąsiadują na trasie, w przeciwnym razie yij = 0. Ograniczenia dla
funkcji celu (1) zapisuje się w postaci
N
∑ yij = 1,
i =1
j = 1,..., N ,
(2)
38
ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzień 2015
N
∑y
j =1
ij
= 1, i = 1,..., N ,
(3)
y ij ∈ {0,1} , N – liczba miast. Ograniczenia (2) i (3) wymuszają, że każde z miast
ma dokładnie dwóch sąsiadów na trasie.
Współcześnie podstawowym narzędziem wykorzystywanym do rozwiązywania zadań optymalizacyjnych jest maszyna cyfrowa. Nadal prowadzi się też
badania nad fizycznymi układami, które mogą rozwiązywać problemy optymalizacyjne, poszukując minimum energii, w którym zakodowane jest rozwiązanie.
Przykładami takich układów są sieć neuronowa Hopfielda i komputer kwantowy
D-Wave. Sieci Hopfielda nie znalazły dotychczas komercyjnych zastosowań,
a opisane w literaturze przedmiotu symulacje komputerowe tych sieci dotyczą
rozwiązań problemu komiwojażera dla kilkudziesięciu miast [1, 2, 3]. Komputer
kwantowy rozwiązuje zagadnienie komiwojażera dla kilkunastu miast [8].
1. PASYWNE SIECI NEURONOWE
Pasywna sieć neuronowa jest układem dynamicznym, opisanym równaniem
stanu [4]
(4)
۰ ଴ ,
gdzie x = [x1,…,xN]T jest wektorem stanu, W jest macierzą wag połączeń sieci,
θ(x) = [θ(x1), …, θ(xN)]T jest wektorem wyjściowym, θ(xi) jest funkcją aktywacji
neuronu, IB jest wektorem stałych napięć wejściowych, d jest wektorem danych
wejściowych, ω0 > 0 reprezentuje straty sieci. Funkcje aktywacji neuronów są
pasywne i spełniają warunek μ1 ≤ θ(xi) / xi ≤ μ2; μ1, μ2 ∈ 0, ∞, w szczególności
funkcje aktywacji mogą być funkcjami skokowymi Heaviside’a.
Cechą szczególną pasywnych sieci neuronowych jest macierz wag połączeń
W = Wa + ε Ws
(5)
złożona ze składnika antysymetrycznego Wa i symetrycznego Ws, ∈ .
W prezentowanych w artykule zastosowaniach pasywna sieć neuronowa jest
wykorzystywana jako układ autonomiczny opisany równaniem stanu
‫ ܛ ܉‬௜ ∆࢏ ଴ ۰ ,
(6)
gdzie element diagonalne γi ≥ 0 kompensują straty integratorów ω0 > 0, elementy
Δi ≤ 0 spełniają warunek
் ∆࢏ ۰ !,
(7)
39
A. Łuksza, W. Sieńko Wykorzystanie pasywnych sieci neuronowych do rozwiązywania zadań ...
wektor funkcji aktywacji neuronów θ(x) = [θ11, θ12, ..., θ1N, θ21, θ22, ..., θ2N, ..., θN1,
θN2, ..., θNN, θN^2+1, θN^2+2, ..., θN^2+4N]T, gdzie θij są funkcjami skokowymi
Heaviside’a.
Równanie (6) w zależności od składników macierzy wag połączeń opisuje
sieci różnych klas:
• gdy ୟ i ω0 > 0, sieć jest stratna,
• gdy ୟ i ω0 = 0, sieć jest bezstratna,
• gdy ୟ , gdzie macierz Wa jest antysymetryczna i ortogonalna, ω0 = 0, sieć
jest Hamiltonowska [7],
• gdy ୟ ௜ , γi > 0, ω0 > 0, sieć jest bezstratna,
• gdy ୱ ௜ , γi > 0, ω0 > 0, sieć jest siecią typu Hopfielda.
W pasywnej sieci neuronowej, opisanej równaniem (6), możliwe jest
rozdzielenie funkcji celu zapisanej w macierzy symetrycznej Ws o nieujemnych
elementach (odległości ݆݅ " 0, # 0) i ograniczeń zapisanych w macierzy antysymetrycznej. Funkcja Hamiltona dla sieci danej wzorami (5), (6), (7) ma postać
௧
௧
௧
$ %଴ ் ୱ & %଴ ் ௜ & ଴ %଴ ் &,
(8)
௧
gdzie $ଵ %଴ ் ୱ & jest energią wzajemnego oddziaływania neuronów,
௧
௧
$ଶ %଴ ் ௜ & ଴ %଴ ் &
jest
energią
własną
neuronów.
ௗா
ௗ௧
்
Ponieważ $ଶ 0, dla " 0 i # 0, to
# 0, co oznacza, że sieć jest
asymptotycznie stabilna. Stąd min$ min ୱ , co oznacza, że osiągnięto
minimum funkcji celu zapisanej w symetrycznej macierzy Ws.
Z powyższych rozważań wynika, że pasywną sieć neuronową można
wykorzystać do rozwiązywania zagadnień optymalizacyjnych pod warunkiem, że
uda się zapisać funkcję celu w symetrycznej macierzy Ws, a ograniczenia
zrealizować za pomocą połączeń antysymetrycznych zapisanych w macierzy
antysymetrycznej Wa. Pasywna sieć neuronowa jest wtedy asymptotycznie
stabilna, a jej stabilne punkty równowagi odpowiadają minimom funkcji celu.
Stabilne punkty równowagi można znaleźć, realizując fizycznie układ opisany
równaniem (6) lub rozwiązując numerycznie zagadnienia początkowe złożone
z równania (6) i losowych warunków początkowych.
2. WYKORZYSTANIE SIECI NEURONOWYCH DO ROZWIĄZANIA
ZAGADNIENIA KOMIWOJAŻERA
Jako pierwsi wykorzystanie sieci neuronowej do rozwiązania zagadnienia
komiwojażera zaproponowali Hopfield i Tank [3]. Zaproponowana przez nich sieć
składa się z N grup po N neuronów, razem N2 neuronów. Każda grupa N neuronów
reprezentuje jedno miasto. Numer neuronu w grupie oznacza pozycję miasta
na trasie.
40
ZESSZYTY
Y NAU
UKOW
WE AK
KADEM
MII M
MORSK
KIEJ W GDY
YNI, nr 90, grudz ień 20
015
unkccja celu zaprropoonow
wanaa przzez Hop
H pfieldda i Tan
nka m
ma ppostać
Fu
E =∑∑
∑∑
∑ d pqp y ppi ( yq,i +1 + yq ,i −1 ),
((9)
p q≠ p i
gd
dzie dpq – odleg
o głośćć międz
m zy m
miastamii p i q, ypi = 11, gddy mias
m sto p jesst naa i-ttej
po
ozycjji naa traasie, w pprzeeciw
wnym
m przypaadkuu ypii = 0.
0 M
Macieerz połąączeeń, re
ealizzująąca
fun
nkcjję ceelu (9), jestt sym
metrryczzna i maa nieeujeemnee eleemeenty – oodleggłośc
ci m
między
miiastaami są dod
datnie. Pasy
P ywnaa sieeć neuro
n onow
wa wykkorzzystu
uje ffunkkcję celu
lu (99),
zapropponoowan
ną przez
p z Ho
opfieeldaa i Taankaa, alee inaczeej reealizuuje ogra
o aniczzenia.
B rne wyjjściaa neeuroonów
Binar
w, repreezenntująące poppraw
wną trasęę kkomiwoj ażerra,
ożnaa pogrup
pow
wać w tab
blicęę przzedsstaw
wionąą na rysu
unkuu 1.
mo
Rys
s. 1. Tab
blica aktyw
wności neuro
n onów
w rep
preze
entujjącyc
ch pooprawną trassę ko
omiwojażżera
dla 10
1 m
miast
Fig.
F 1. Activitty ma
ap of
o outtput n
neurrons for 110-ciities TSP
P
W taablicy wierszze repreezenntująą miaasta,, a kkolumnyy – ppozy
ycjęę miaasta na ttrasiie.
Kaażdee miiasto
o mu
usi w
wystąpić dookłaadniee jedden raz na trassie, w w
wiersszu reprrezeentujjącyym m
miassto musi
m i zaatem
m wyystąp
pić dokł
d ładnnie jedenn akktyw
wny neuuron (staan 11).
Po
odobbnie,, kaażda pozzycja na trrasiee mu
usi bbyć obsadzzonaa przez dokkładnie jednno
miiastoo, sttąd w każddej kollumnnie mussi bbyć dok
kładnnie jede
en aaktyywny
y neeuroon.
Po
owsttaje więęc 2N
N ggrup po N neurronó
ów, w kktórych nalleży wyymussić dokłładnnie
jed
den aktyywny
y neeuronn. Powyyższee og
graniiczeenia możżna zzapiisać w ppostaaci
N
∑ yij = 1,
i =1
j = 1,..., N ,
(10)
41
A. Łuksza
a, W. Sieńko
o Wyk
korzys
ystanie
e pasyw
wnych
h sieci neurronow
wych d
do roz
związyywaniia zadań ...
N
∑ yijj = 1,
i = 1,..., N .
(11)
j =1
Wzory
W y (100) i (11)) są iiden
ntyczzne ze wzor
w ramii (2)) i (3
3), alle m
mają innąą intterprretaccję.
H field
Hopf
d i Tank reallizow
walii ogrranicczennia zza po
omoocą ffunk
kcji kkaryy, w pasyywnnej
sieeci neur
n rono
owej oggraniiczennia reallizuje siię poprzzez doddanie
e doo sieeci neur
n ronóów
ko
ontroolnycch.
A
Aby
mussić ddokłładnie j ednąą jeedynnkę w grup
g pie nneuronów
w, nnale
eży doddać
wym
do
o niej
ej dw
wa neuro
ony kkontrolnne.
N ryysun
Na
nku 2 pprzed
dstaw
wionno map
m ę akktyw
wnośści nneurronów ssieci roz
zszerrzonnej
o neur
n ronyy kon
ntrollne.
Rys
s. 2. Tab
blica aktyw
wności neuro
n onów
w rep
preze
entujjącyc
ch pooprawną trassę ko
omiwojażżera
d
dla 10
0 mia
ast, z dodany
ymi n
neuronam
mi koontro
olnym
m
Fiig. 2.. Acttivity map
p of outp
o ut ne
euron
ns fo
or 10
0-citie
es TSP,
T
with control nneurrons addeed
W sttaniee ró
ównoowaagi, reprrezeentujjącym
ym ppoprrawnne rrozw
wiązaaniee zagadnniennia
omiw
wojaażeraa, wszys
w stkiee neeuronny kont
k trolnne sąą ak
ktyw
wne. Pary neeuroonów
w koontroolko
ny
ych połą
p ączon
ne sąą tyllko z neeuronnam
mi, naależąącym
mi do
d koontrrolow
waneej grrupy
yim
między
sobą. Jedden neurron z pary
p y koontro
olujee m
minim
maln
ną liiczbbę ak
ktyw
wnycch neur
n ronóów
w gruupie, dru
ugi – m
maksy
ymaalną liczzbę akty
a ywnyych neuuronóów w gr
grupiie. Gdy
G ogrranicczennia ssą spełn
s nionne (w
w grupiie jeest dokł
d ładnnie jeden
j n akktyw
wny neuuron
n), to obba
neeuronny kkonttroln
ne sąą ak
ktyw
wne i niee od
ddziiałują an
ni nna grrupę
ę, anni nna ża
adnee innne
neeuronny. P
Połąączeenia pary
y neeuronnów
w kon
ntroolnycch h1 i h 2 z neu
uronaami k1, k2, …, kN
naależąącym
mi do
o gru
upy zap
pisanne sąą w mac
m cierzzy Wh i wek
w ktorzze Ih.
42
ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzień 2015
k1
⎡
⎢
⎢
Wh = ⎢
⎢
⎢
⎢ w0
⎢
⎢⎣− w0
k2
...
kN
w0 ...
w0
− w0 ... − w0
h1
− w0
h2
w0 ⎤ k1
w0 ⎥⎥ k 2
− w0
...
...⎥ ...
⎥
w0 ⎥ k N
− w0
0 − w1 ⎥ h1
⎥
w1 − Δ ⎥⎦ h2
⎡ 0 ⎤
⎢ 0 ⎥
⎥
⎢
I h = ⎢ ... ⎥
⎥
⎢
⎢ 0 ⎥
⎢ I1 ⎥
⎥
⎢
⎢⎣− I 2 + Δ ⎥⎦
(12)
Neuron h1 kontroluje minimalną liczbę neuronów w grupie i powinien być
aktywny, gdy liczba aktywnych neuronów w grupie jest większa równa 1
i nieaktywny w przeciwnym przypadku. Powyższe zachodzi, gdy elementy
macierzy Wh i wektora Ih spełniają warunek
–w0 + w1 < I1 < w1.
(13)
Dla w0 = 1 i w1 = 2 warunek (13) przyjmuje postać 1 < I1 < 2 i był sprawdzony
doświadczalnie dla 1 < I1 < 1.25.
Neuron h2 kontroluje maksymalną liczbę aktywnych neuronów w grupie
i powinien być aktywny, gdy liczba aktywnych neuronów w grupie jest mniejsza
od 1 i nieaktywny w przeciwnym przypadku. Powyższe zachodzi, gdy elementy
macierzy Wh i wektora Ih spełniają warunek.
– w0 + w1 > I2 > – 2 w0 + w1 + Δ.
(14)
Dla w0 = 1 i w1 = 2 warunek (14) przyjmuje postać 1 > I2 > Δ i był sprawdzony
doświadczalnie dla 1 > I2 > 0,75; Δ = 0,75.
Warunki (13) i (14) wskazują na dużą tolerancję wymuszeń stałych I1 i I2
oraz wag połączeń wymuszających spełnienie ograniczeń (10) i (11). Elementy
diagonalne – Δ, które nie są konieczne do spełnienia ograniczeń, zostały
wprowadzone w celu stabilizacji sieci. Rozwiązanie zagadnienia komiwojażera
dla N miast wymaga użycia ଶ 4 neuronów, wymiar macierzy połączeń
dimW = [( ଶ 4)× ( ଶ 4)].
3. WYNIKI EKSPERYMENTÓW KOMPUTEROWYCH
Pasywna sieć neuronowa może zostać zrealizowana jako układ elektryczny,
np. scalony układ wielkiej skali integracji. Fizyczny układ, startując z dowolnego
stanu początkowego, powinien przejść do jednego z asymptotycznie stabilnych
stanów równowagi, które reprezentują poprawne trasy komiwojażera. Proces ten
można modelować, rozwiązując zagadnienie początkowe złożone z równania stanu
A. Łuksza, W. Sieńko Wykorzystanie pasywnych sieci neuronowych do rozwiązywania zadań ...
43
(6) i warunku początkowego. W opisanych symulacjach komputerowych przyjęto
równanie stanu z następującymi wartościami parametrów
0,01 ୟ ୱ ∆௜ ௜ 10 ۰ ,
(15)
gdzie ∆
5,25; ଴ 7;ଵ 14;ଵ ଶ 7. Dodatnie elementy diagonalne ௜
kompensują straty sieci i ujemne wartości elementów macierzy ୱ . Od wartości
elementów diagonalnych zależy jakość uzyskiwanych rozwiązań, wyrażona
w średniej długości znajdowanych tras. Dla każdego problemu optymalna wartość
elementów diagonalnych może być różna, zbyt małe wartości mogą spowodować,
że sieć nie będzie miała poprawnych stabilnych stanów równowagi, zbyt duże
wartości zaś zwiększają długość znajdowanych tras. W tej sytuacji najlepszym
rozwiązaniem okazało się zwiększanie wartości elementów diagonalnych,
począwszy od ujemnej wartości początkowej, co zapewnia, że elementy diagonalne
osiągną wymaganą wartość, a stan stabilny zostanie osiągnięty przy możliwie
najmniejszych ich wartościach [5]. Czas trwania analizy przy rosnących elementach diagonalnych wydłuża się w porównaniu z czasem analizy przy stałych
elementach diagonalnych, ale kosztem wydłużenia analizy uzyskuje się krótsze
trasy. Podobne rozwiązanie z rosnącymi elementami diagonalnych zastosowano też
w sieciach Hopfielda [1].
W celu oceny przydatności pasywnych sieci neuronowych do rozwiązywania
zagadnienia komiwojażera wykorzystano przykłady z biblioteki TSPLIB [6].
Biblioteka, opublikowana przez Uniwersytet w Heidelbergu, jest punktem odniesienia dla badań nad sposobami rozwiązywania zagadnienia komiwojażera.
Biblioteka zawiera sporą liczbę przykładów dla różnej liczby miast ze znanymi
optymalnymi rozwiązaniami.
Jako pierwszy zbadano stosunkowo prosty problem dla 52 miast oznaczony
jako Berlin52. Na rysunku 3 przedstawiono mapę miast z zaznaczoną najkrótszą
trasą, a na rysunku 4 – histogram długości tras znalezionych przez pasywną sieć
neuronową.
Rys. 3. Mapa miast Berlin52 z optymalną trasą o długości euklidesowej = 7542
Fig. 3. Berlin52 cities map with the optimal TSP path, Euclidian length = 7542
44
ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzień 2015
Rys. 4. Histogram długości tras dla mapy Berlin52, średnia długość trasy = 8132,
trasę optymalną znaleziono dwa razy
Fig. 4. Histogram of path lengths found by the neural network for Berlin52 map:
average length = 8132, the optimal path was found twice
Jako drugi zbadano problem dla 150 miast oznaczony jako ch150. Na rysunku 5 przedstawiono mapę miast z zaznaczoną najkrótszą trasą, a na rysunku 6 –
histogram długości tras znalezionych przez pasywną sieć neuronową.
Rys. 5. Mapa miast ch150 z optymalną trasą o długości 6528
Fig. 5. Ch150 cities map with the optimal TSP path, Euclidian length = 6528
A. Łuksza, W. Sieńko Wykorzystanie pasywnych sieci neuronowych do rozwiązywania zadań ...
45
Rys. 6. Histogram długości tras dla mapy ch150; średnia długość trasy = 7215,
odchylenie standardowe = 208
Fig. 6. Histogram of path lengths found by the neural network for ch150 map:
average length = 7215, standard deviation = 208
Najkrótsza trasa znaleziona przez pasywną sieć neuronową, przedstawiona na
rysunku 7, jest o 2,3% dłuższa od optymalnej.
Rys. 7. Najkrótsza trasa dla mapy ch150 znaleziona przez pasywną sieć neuronową
długości = 6679, trasa jest dłuższa od optymalnej o 2,3%
Fig. 7. The shortest path for ch150 map found by passive neural network,
Euclidian length = 6679, 2.3% longer then optimal
Trasa z rysunku 7 krzyżuje się, co jest jej istotnym brakiem, który można usunąć,
stosując hybrydowe metody poprawy tras.
46
ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzień 2015
4. HYBRYDYZACJA
Hybrydyzacja zagadnienia optymalizacyjnego polega na poszukiwaniu rozwiązania jednocześnie kilkoma metodami, które zastosowane osobno dają gorszy
wynik. Na przykład trasy znalezione przez pasywną sieć neuronową można
poprawiać metodami przeszukiwań, poszukując lepszego rozwiązania w sąsiedztwie dotychczasowego poprzez przestawienia miast. Do poprawy rozwiązań
uzyskanych przez pasywną sieć neuronową zastosowano:
• odwrócenie kolejności fragmentu trasy między miastami i i j (usuwa skrzyżowania ścieżki),
• zamianę miejscami dwóch miast,
• przesunięcie jednego miasta o k pozycji na trasie,
• przesunięcie 2, 3, 4 i 5 sąsiednich miast o k pozycji na trasie z odwróceniem
kolejności i bez.
Liczba kombinacji każdego z powyższych przeszukiwań jest mniejsza od N2.
Każde z wymienionych przestawień stosowane wielokrotnie sprowadza trasę
do globalnego lub lokalnego minimum. Przestawienia mogą sprowadzać trasę do
różnych minimów lokalnych, dlatego stosowano je naprzemiennie, dopóki żadne
z nich nie dawało już poprawy trasy. Na rysunku 8 przedstawiono poprawioną
trasę z rysunku 7.
Rys. 8. Poprawiona trasa z rysunku 7 o długości 6585, trasa jest dłuższa
od optymalnej o 0,7%
Fig. 8. Improved path from fig. 7, Euclidian length = 6585, 0.7% longer then optimal
A. Łuksza, W. Sieńko Wykorzystanie pasywnych sieci neuronowych do rozwiązywania zadań ...
47
Dzięki poprawkom udało się zmniejszyć średnią długość znajdowanych tras
o 6% i przybliżyć je do rozwiązania optymalnego – najkrótsza poprawiona trasa
jest dłuższa od optymalnej o 0,3%. Na rysunku 9 przedstawiono histogram
poprawionych tras.
Rys. 9. Histogram długości tras dla mapy ch150 poprawionych metodami przeszukiwań,
średnia długość trasy = 6788, odchylenie standardowe = 97, długość
najkrótszej trasy = 6549 i jest o 0,3% dłuższa od optymalnej
Fig. 9. Histogram of path lengths for ch150 map, improved by the search algorithm:
average length = 6788, standard deviation = 97, the shortest path length = 6549,
0.3% longer then optimal
Wykorzystana metoda przeszukiwań, startując z losowych tras komiwojażera,
znajduje rozwiązania o średniej długości = 6810, poprawione tą samą metodą trasy
znalezione przez pasywną sieć neuronową są krótsze o 0,32%.
PODSUMOWANIE
Przeprowadzone doświadczenia komputerowe potwierdziły zdolność pasywnych sieci neuronowych do rozwiązywania zagadnień optymalizacji kombinatorycznej, takich jak problem komiwojażera. Budowa pasywnych sieci neuronowych
pozwala na rozdzielenie funkcji celu realizowanej przez symetryczne połączenia
i ograniczeń realizowanych przez połączenia antysymetryczne z neuronami kontrolnymi. Dzięki temu realizacja ograniczeń nie wpływa na funkcję celu i wektor
stanu sieci zmierza do stabilnych punktów równowagi, reprezentujących poprawne
trasy komiwojażera. Testy wykazały, że pasywna sieć neuronowa znajduje w miarę
krótkie trasy komiwojażera dla problemów do 300 miast. Dla 300 miast sieć składa
się z 91 200 neuronów, jej macierz połączeń ma 8,31744e+9 elementów, z czego
tylko 5,418e+7 jest niezerowych. Wykorzystując techniki macierzy rzadkich
i binarność wektora wyjściowego sieci, udało się stworzyć algorytm całkowania
znajdujący stan stabilny sieci (jedną trasę komiwojażera) w „rozsądnym czasie”.
48
ZESZYTY NAUKOWE AKADEMII MORSKIEJ W GDYNI, nr 90, grudzień 2015
Na standardowym komputerze PC poszukiwanie stanu stabilnego dla 100 miast
trwa około minuty, dla 300 miast – kilkanaście minut.
Pasywna sieć neuronowa jest modelem fizycznej sieci, którą można zrealizować układowo. Fizyczna sieć powinna znajdować rozwiązanie problemu komiwojażera w czasie krótszym od algorytmu numerycznego. Dotychczas pasywne
sieci neuronowe, jak i inne sieci typu Hopfielda, nie doczekały się komercyjnych
układowych realizacji. Symulacje komputerowe wykazały, że w porównaniu
z innymi znanymi z literatury przedmiotu sieciami typu Hopfielda [1, 2, 3],
pasywna sieć neuronowa znajduje krótsze trasy i może rozwiązywać zagadnienie
komiwojażera dla większej liczby miast. Jako numeryczny algorytm poszukiwania
trasy komiwojażera, poprzez rozwiązanie zagadnienia początkowego, pasywna sieć
neuronowa ustępuje innym algorytmom pod względem czasu obliczeń. Poszukiwanie jednej trasy wyżej opisanym algorytmem przeszukiwań dla przykładu ch150
trwa na typowym pececie 90 ms, trasa optymalna znajdowana jest średnio co
5 minut. Rozwiązanie zagadnienia początkowego dla przykładu ch150 trwa na
typowym pececie około 5 minut.
LITERATURA
1. Abe S., Gee A.H., Global convergence of the Hopfield neural network with nonzero diagonal
elements, IEEE Tr. on CAS, 1995, vol. 42, no. 1.
2. Gee A.H., Prager R.W., Limitations of neural networks for solving traveling salesman problems,
IEEE Tr. on Neural Networks, 1995, vol. 6, no. 1.
3. Hopfield J.J., Tank D.W., Neural computation of decisions in optimization problems, Biological
Cybernatics, 1985, vol. 52.
4. Łuksza A., Citko W., Sieńko W., Universality of passive neural networks, Proc. of First
International Conference on Computing Anticipatory Systems, Liege, Belgium, AIP Conference
Proceedings, 1997, vol. 437, s. 595–605.
5. Łuksza A., Sieńko W., Using passive neural networks to solve TSP, [w:] 2015 IEEE 2nd
International Conference on Cybernetics (CYBCONF), red. P. Jędrzejowicz, N.T. Nguyen,
H. Tzung-Pei, I. Czarnowski, Gdynia 2015, s. 79–84.
6. Reinelt G., TSPLIB – A traveling salesman problem library, ORSA Journal on Computing, 1991,
vol. 3, no. 4, s. 376–384.
7. Sieńko W., Citko W., On very large scale Hamiltonian neural nets, 6th International Conference
on Neural Networks and Soft Computing, Zakopane, Poland, 2002, Neural Networks and Soft
Computing Book Series: Advanced in Soft Commputing, 2003, s. 268–273.
8. Warren R.H., Numeric experiments on the commercial quantum computer, Notices of the AMS,
2013, vol. 60, no. 11.
A. Łuksza, W. Sieńko Wykorzystanie pasywnych sieci neuronowych do rozwiązywania zadań ...
49
THE USAGE OF PASSIVE NEURAL NETWORKS FOR SOLVING
OPTIMIZATION PROBLEMS, WITH THE EXAMPLE OF THE TSP
Summary
In the paper it was suggested to use passive neuron networks to solve the travelling salesman
problem. It was shown that passive neural network allows to split the objective function and the
constraints between symmetric and antisymmetric components of the weight matrix. Thanks to such
a separation a network with far better travelling salesman problem solving capability, than
traditional Hopfield networks was obtained. In the paper were presented the results of numerical
experiments confirming the usefulness of passive neural networks for solving the travelling salesman
problem.
Keywords: Travelling Salesman Problem, Combinatorial Optimization, Passive Neural Networks.