Projektowanie niezawodnej komunikacji dla systemów infrastruktury

Projektowanie niezawodnej komunikacji dla
systemów infrastruktury krytycznej
Mirosław Hajder1, Janusz Kolbusz1, Tomasz Pardela2
Wyższa Szkoła Informatyki i Zarządzania, Rzeszów, Polska
2
Wyższa Szkoła Europejska im. ks. Józefa Tischnera, Kraków, Polska
1

Abstract. W pracy, zaprezentowano nową metodykę projektowania wielomagistralowych sieci połączeniowych, przeznaczonych do realizacji komunikacji w systemach infrastruktury krytycznej. Analizie poddano dwa tryby ich pracy:
z podziałem obciążenia komunikacyjnego oraz z jego nadmiarowaniem. Dla każdego z trybów, zaproponowano model
probabilistyczno-kombinatoryczny, oceniający jego niezawodność. Zaproponowano metody rozwiązania zadania projektowego dla różnych funkcji celu, przedstawiono wyniki
badań symulacyjnych, określających charakterystyki uzyskanych architektur.
Słowa kluczowe: systemy infrastruktury krytycznej, odporność na uszkodzenia, teoria grafów, wielomagistrale, projektowanie sieci, niezawodność.
W
I.
WPROWADZENIE
ostatnim dziesięcioleciu, w wyniku globalizacji
rynku usług teleinformatycznych, w rozproszonych
systemach informacyjnych nastąpiły głębokie zmiany
strukturalne, dotyczące szczególnie obszaru komunikacji
międzywęzłowej. Zmiany te, wiążą się z daleko idącą pionową dekompozycją sieci połączeniowej, w rezultacie której przyjmuje ona postać wielopoziomowego, heterogenicznego systemu hierarchicznego [1]. Rezultatem powyższych zmian są, przede wszystkim: szerokie wykorzystanie hierarchizacji sieci połączeniowych na bazie osadzania
i wirtualizacji, grupowanie ścieżek transmisji w ramach
niezależnych sieci logicznych oraz powszechne zastosowanie dynamicznej rekonfiguracji połączeń komunikacyjnych [2] [3].
Z komercyjnego punktu widzenia, pionowa dekompozycja sieci, wiąże się z ograniczeniem roli ponadregionalnych i krajowych operatorów telekomunikacyjnych oraz
rozwojem współpracy międzyoperatorskiej, w szczególności pomiędzy mniejszymi dostawcami. Podłożem zacieśnienia współpracy, pomiędzy konkurencyjnymi operatorami, są utrudnieniach w realizacji nowych inwestycji infrastrukturalnych. Wynikają one, m. in. z pojawienia się
rygorystycznych wymagań dotyczących ochrony środowiska, poszerzenia rynku usług telekomunikacyjnych
Badania w ramach projektu: „Neuronowe i immunologiczne wspomaganie analizy i syntezy modeli obiektów technicznych na bazie struktur
wykorzystujących grafy rzadkie w warunkach niekompletności informacji”.
Projekt współfinansowany ze środków Unii Europejskiej z Europejskiego Funduszu Rozwoju Regionalnego oraz z budżetu Państwa w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013. Inwestujemy w rozwój województwa
podkarpackiego.
w rezultacie walki z wykluczeniem cyfrowym oraz pojawieniem się nowych wymagań dotyczących jakości
świadczonych usług.
Inną przyczyną zachodzących zmian strukturalnych jest
budowa systemów infrastruktury krytycznej (IK). Zgodnie
z dokumentem USA Patriot Act infrastruktura krytyczna,
to „zbiór fizycznych lub wirtualnych systemów i urządzeń,
ważnych dla państwa w takim stopniu, że ich uszkodzenie
lub zniszczenie może spowodować katastrofalne skutki
w dziedzinie obronności, gospodarki, zdrowia publicznego
i bezpieczeństwa narodu”. W najprostszym przypadku, infrastrukturę krytyczną dzielimy na: infrastrukturę zapewniającą bezpieczeństwo narodowe; obiekty niezbędne do
jej funkcjonowania, nie będące jednak jej częścią; obiekty
konieczne do rozwiązywania zadań ogólnokrajowych, których niesprawność spowoduje pogorszenie poziomu bezpieczeństwa, osłabienie ekonomiki lub negatywny wpływ
na prestiż i wiarygodność państwa. Przykładami infrastruktury krytycznej są: rządowe systemy informatyczne,
systemy obrony narodowej, służby zdrowia, zarządzania
energią, dostarczania żywności, transportu, gospodarki komunalnej, komunikacji, obrony cywilnej, bankowości i in.
Jeżeli infrastrukturę krytyczną rozpatrywać będziemy
wyłącznie jako rozproszony system informacyjny, przeznaczony do zarządzania podstawowymi działaniami państwa, to elementem szczególnie narażonym na uszkodzenia, będą kanały łączące poszczególne jej węzły. Niestety,
rozwiązania wykorzystywane w tradycyjnych systemach
rozproszonych nie są do końca przydatne do realizacji systemów IK. Szeroko stosowany w nich hierarchizm, nie
sprzyja maksymalizacji dostępności połączeń. Znacznie
lepszym rozwiązaniem może okazać się zastosowanie dedykowanej, płaskiej infrastruktury połączeniowej, bazującej na wysokowydajnym rdzeniu optycznym oraz skomplikowanych technologiczne i architektonicznie węzłach
sieciowych. W tradycyjnych systemach rozproszonych,
z uwagi na przestrzenną koncentrację odbiorców usług,
obserwujemy jakościowe i ilościowe poszerzenie obszarów wykorzystania systemów informacyjnych, co znacznie
utrudnia ich obsługę w oparciu o płaskie systemy połączeniowe. W przypadku systemów IK, liczba węzłów jest na
tyle niewielka, że struktura płaska bądź umiarkowanie hierarchiczna (najczęściej dwupoziomowa), może z powodzeniem spełniać stawiane przed nią zadania.
Analiza powiązań, pomiędzy zarządzaniem architekturą
komunikacyjną a poziomem jej wykorzystania dla systemów IK, pokazuje potrzebę stworzenia nowego środowi-
numerze i  1, , n jest incydentna magistrala o numerze
j  1,, m , w przeciwnym przypadku aij  0 . Z definicji
ska komunikacyjnego zapewniającego współdziałanie poszczególnych poziomów ścieżki komunikacyjnej, bardziej
racjonalne wykorzystanie różnych typów komunikacji
oraz lepszą eksploatację dostępnych zasobów transmisyjnych. Z kolei analiza rdzenia komunikacyjnej części IK,
utwierdza nas w przekonaniu, że interesującym rozwiązaniem będzie zastosowanie koncepcji współdzielonych kanałów komunikacyjnych. Nadrzędnym celem wszystkich
podejmowanych w tym zakresie działań jest poprawa dostępności systemu komunikacji, łączącego poszczególne
komponenty IK.
Podstawowym środkiem poprawy funkcjonalnej i ekonomicznej efektywności komunikacji jest szeroka hierarchizacja, oparta na osadzaniu wykorzystującym wielokanałowość. Hierarchię komunikacyjną dzieli się zazwyczaj
na dwa tzw. super-poziomy, określane jako rdzeń sieci
i sieci dostępowe. Z punktu widzenia teorii systemów hierarchicznych, rdzeń sieci to dwupoziomowa struktura
rozwarstwiona, której dolną warstwą jest sieć fizyczna,
górną zaś realizowana na jej zasobach sieć logiczna. Ponieważ zasoby logiczne sieci są proste w rekonfiguracji,
czas życia sieci logicznej może być krótki. Dzięki temu,
zamiast projektowania statycznego, może zostać zastosowane projektowanie inkrementalne z minimalnym poziomem ziarnistości czynnika wyzwalającego rekonfigurację.
Takie założenie wymaga jednak zastosowania metod
szybkiej rekonfiguracji sieci połączeń logicznych.
W większości dotychczasowych prac, fizyczny rdzeń
sieci realizowany był w postaci topologii z połączeniami
bezpośrednimi lub na bazie sieci powiązanych pierścieni
[4]. Pojawienie się nowych technologii zwielokrotniania
kanałów komunikacyjnych, które zapewniają efektywne
wydzielenie niezależnych środowisk transmisyjnych powoduje, że do realizacji rdzenia sieci, można zastosować
również sieci wielomagistralowe, w szczególności realizowane w środowisku optycznym na bazie zwielokrotniania falowego. Zaletami takiego rozwiązania są: elastyczność rekonfiguracji; możliwość wykorzystania różnych
typów transmisji, w tym transmisji rozgłoszeniowej; stosunkowo niski koszt realizacji i wysoka skalowalność kanałów komunikacyjnych.
Celem niniejszej pracy jest zaprezentowanie metody
wielokryterialnego projektowania dwupoziomowej magistralowej sieci połączeniowej z uwzględnieniem takich
charakterystyk systemu komunikacji, jak niezawodność,
wnoszone opóźnienia oraz wydajność obliczeniowa.
II.
macierzy incydencji wynika, że sieci magistralowe nie dopuszczają pętli zarówno dla magistral, jak i dla węzłów.
Jeżeli liczbę magistral incydentnych z węzłem i (stopień
węzła) oznaczymy jako siw , i  1, , n , a liczbę węzłów
incydentnych z magistralą j (stopień magistrali) jako s mj ,
to dla dowolnej sieci magistralowej  n, m ma miejsce zależność, opisująca powiązanie pomiędzy sumarycznym
stopniem węzłów i magistral:
n
m
s  s
w
i
i 1
m
j
s.
(1)
j 0
W odróżnieniu od sieci z połączeniami bezpośrednimi,
dla sieci magistralowej  n, m z macierzą incydencji A ,
zawsze istnieje sieć magistralowa z transponowaną macierzą incydencji AT .
Sieci magistralowe są strukturalnie ekwiwalentne hipergrafom. Do ich analizy można wykorzystać narzędzia teorii grafów, przedstawiając hipergrafy jako grafy dwudzielne. Liczba węzłów w częściach grafu dwudzielnego X 0
i X 1 jest równa odpowiednio n oraz m . Jego krawędziami są połączenia lokalne l , których zadaniem jest
powiązanie węzła obliczeniowego z magistralą. Architekturę takiego systemu zaprezentowano na rys. 1.
N2
N1
B1
B2
B3
B4
l2,1
l1,1
l3,1
l2,2
l1,2
l1,3
l4,1
l3,2
l2,3
l1,4
N4
N3
l2,4
l4,2
l3,3
l3,4
l4,3
l4,4
Rys. 1. Ogólna postać systemu wielomagistralowego.
Do reprezentacji systemów magistralowych zastosowanie znajdują również inne typy grafów, określanych terminem grafów sąsiedztwa, w szczególności grafy sąsiedztwa
węzłów obliczeniowych, magistral i połączeń lokalnych
nazywanych również linkami [5].
B. Klasyfikacja systemów wielomagistralowych
W klasycznych sieciach wielomagistralowych, połączenia mają charakter zupełny, tj. każdy z węzłów obliczeniowych dołączony jest do każdej z wykorzystywanych
magistral. Dobór konkretnej trasy przesyłania jest realizowany na poziomie węzłów obliczeniowych, co utrudnia
zagwarantowanie odpowiedniego poziomu jakości usług
komunikacyjnych (serwis QoS). Ponadto, z uwagi na
znaczną liczbę elementów nadawczo-odbiorczych, sieci te
są kosztowne w budowie. Poprawy ich parametrów należy
upatrywać w klasteryzacji elementów systemu, bądź zastosowaniu buforowania ruchu generowanego przez elementy obliczeniowe.
Metody bazujące na buforowaniu węzłów (klientów
i/lub serwerów) mogą być realizowane programowo lub
sprzętowo. Ich istota polega na czasowym przechowywaniu żądań obsługi i odpowiedzi na nie, dzięki czemu liczba
USTALENIA WSTĘPNE
A. Systemy magistralowe i ich reprezentacja
Klasyczny system obliczeniowy z komunikacją magistralową jest połączeniem dwóch typów równoprawnych
obiektów: węzłów obliczeniowych N i magistral B . W
takiej architekturze węzeł może być incydentny z dowolną
liczbą magistral. Sieć magistralową złożoną z n węzłów i
m magistral będziemy oznaczać jako  n, m . Można ją
opisać za pomocą macierzy incydencji A  aij  o rozmiarze n  m . Element aij  A jest równy 1, jeżeli z węzłem o
2
kolizji przy dostępie do magistral komunikacyjnych jest
ograniczana. Niestety, w wybranych przypadkach liczba
kolizji przy dostępie do serwerów wzrasta, a tym samym
efektywność wykorzystania zasobów obliczeniowych
zmniejsza się.
Poprawę wydajności komunikacyjnej należy oprzeć na
grupowaniu elementów składowych systemu (węzłów obliczeniowych lub magistral). W pierwszej grupie metod,
węzły obliczeniowe (klienci lub serwery), na podstawie
kryterium komunikacyjnego łączeni są w niezależne grupy, komunikujące się za pomocą wydzielonego zastawu
magistral. Oprócz wzorca ruchu, generowanego przez węzły tworzące klaster, kryteriami podziału mogą być również: klasy zadań rozwiązywanych w ramach danej grupy,
wymagania dotyczące opóźnień komunikacji, stopy błędów i in. Drugi rodzaj klasteryzacji łączy dostępne w systemie magistrale. W szczególności, są one dzielone na
mniejsze, niezależne fragmenty, które mogą być łączone w
klastry, obsługujące wybranych użytkowników. Przykładowo, oddzielną grupę mogą tworzyć użytkownicy wykorzystujący usługi niewrażliwe na opóźnienia komunikacyjne, inną – generujący niewielki ruch, zaś jeszcze inną,
charakteryzujący się wysoką wybuchowością generowanego ruchu. Trzecia z zaproponowanych metod, jest modyfikacją poprzednich i polega na hierarchizacji logicznych kanałów połączeniowych. Kanały łączone są w grupy
obsługujące różne zestawy klientów i serwerów, którzy
również mogą być poddawani grupowaniu. Dzięki różnorodności zaproponowanych metod, architekturę połączeń
można dopasowywać do występujących w sieci wzorców
ruchu i wymagań komunikacyjnych klientów. Ponieważ w
systemach optycznych zmiana długości fali, wykorzystywanej przez element nadawczo-odbiorczy, trwa milisekundy, dostosowanie architektury połączeń do bieżących
wymagań użytkowników może mieć charakter dynamiczny i być realizowana w czasie rzeczywistym.
Klasyfikacja architektur magistralowych systemów połączeniowych została przedstawiona graficznie na rys. 2.
III.
MODEL NIEZAWODNOŚCI SYSTEMU
WIELOMAGISTRALOWEGO
W dotychczasowych pracach autorów, projektowanie
systemów wielomagistralowych było jedno- lub wielokryterialne, przy czym niezawodność systemu połączeń nie
była traktowana jako funkcja celu. Dlatego, na początek,
zaproponujemy model niezawodnościowy wielomagistralowych architektur połączeniowych.
Rozważmy przedstawiony na rys. 3 system rozproszony
z komunikacją wielomagistralową.
N1
l1,1
B1
BF
B2
BK B1
N K N 1
N2
l1,2
C1
lK N 1 ,3
l2,3
l1,Kl
BK B
lK N ,2
lK N 1 ,2
l2,2
l1,3
lK N ,1
lK N 1 ,1
l2,1
l2,Kl
C2
N KN
lK N 1 ,Kl
CK n 1
lK N ,3
l K N ,K l
CKn
Rys. 3. Uogólniona architektura analizowanego wielomagistralowego systemu obliczeniowego.
System obliczeniowy jest złożony z K N węzłów, z których każdy wyposażony jest w K l przestrajanych elementów nadawczo-odbiorczych. Wykorzystuje on K B magistral komunikacyjnych. Magistrala Bi ( i  1, , K B ) ma
charakter logiczny i jest zrealizowana w oparciu o metodę
zwielokrotniania falowego w jednej, wspólnej magistrali
fizycznej BF [6]. Dołączenie dowolnego węzła N i do
któregoś z kanałów logicznych Bi magistrali fizycznej
BF realizowane jest za pomocą kanałów połączeniowych
li , j ( i  1, , K N , j  1, , K B ) oraz rozdzielaczy kanałów
magistralowych Ci ( i  1, , K N ).
Połączenia analizowanego systemu mogą być rekonfigurowane dynamicznie poprzez przestrajanie elementów
nadawczo-odbiorczych. W przypadku zmiany wzorca ruchu, elementy te zmieniają długość wykorzystywanej fali
i, w istocie, dołączają węzeł do innej magistrali logicznej.
Analizowany system może pracować w dwóch trybach: a.
z nadmiarowaniem podsystemu komunikacyjnego; b.
z podziałem obciążenia komunikacyjnego. Do oceny jego
niezawodności R zaproponowano model probabilistyczno-kombinatoryczny. W modelu tym, zestaw złożony z
elementu nadawczo-odbiorczego (  ), fizycznego kabla
przyłączeniowego ( l ) oraz rozdzielacza kanału fizycznego
( C ) traktowany jest jako integralne urządzenie przyłączeniowe. Niech pio oznacza prawdopodobieństwo sprawności elementu nadawczo-odbiorczego i -tego węzła obliczeniowego, pl – prawdopodobieństwo sprawności fi-
Rys. 2. Klasyfikacja architektur systemów wielomagistralowych.
C. Definicja zadania projektowego
Dla systemu obliczeniowego z komunikacją wielomagistralową należy zaprojektować architekturę połączeń zapewniającą: a. maksymalizację niezawodności; b. maksymalizację wydajności obliczeniowej; c. minimalizację
opóźnień komunikacyjnych, przy jednoczesnym zapewnieniu minimalnego (maksymalnego) poziomu pozostałych charakterystyk systemu.
zycznego kanału przyłączeniowego l ; pc – prawdopodobieństwo sprawności rozdzielacza kanału magistralowego
C , а p fk – prawdopodobieństwo sprawności fizycznego
kanału magistralowego BF . Wtedy, prawdopodobieństwo
pku sprawności podłączenia wybranego węzła do kanału
logicznego określamy jako: pku  pio pl pc , a prawdopodo3
Pku  k we , k m ,   W  k we , km ,   pkukwe km  1  pku  . (3)

bieństwo puku połączenia wybranego węzła z innymi węzłami jest równe: puku  pio pl pc p fk .
Wykorzystując wyrażenie (3), prawdopodobieństwo
Pku  kwe , km  zapewnienia spójności k we węzłom oblicze-
Rozważymy niezawodność jednorodnego magistralowego systemu rozproszonego z równoprawnymi węzłami
obliczeniowymi i połączeniami zupełnymi (każdy węzeł
obliczeniowy wyposażony jest w tę samą ilość elementów
nadawczo-odbiorczych i dołączony jest do każdej z magistral logicznych). Prawdopodobieństwo pwe  kwe  spraw-
niowym, przez km magistral, przy istnieniu  odmów
możemy zapisać jako:
Pku  k we , k m  
 kwe 1km

 0
Pku  k we , km ,   .
(4)
ności zestawów przyłączeniowych zapewniających intemin
węgrację z kanałem magistralowym nie mniej niż k we
Bazując na wyrażeniu (4), określimy prawdopodobieństwo Puku  kwe  zapewnienia spójności k we węzłów obli-
złów obliczeniowych spośród ogólnej ich liczby K N określa się wyrażeniem:
czeniowych:
pwe  k we   p fk
KN
C
min
i  k we
i
k
p
i
ku
1  pku 
k we  i
.
Puku  k we  
(2)
KN
 C  p  1  p 
j
KN
min
j  k we
sp
we
1  p  j  
K B k
we
sp K N  j
we
j
KB
C
k 1
k
KB
pwe  j 
l  kmmin
p lfk 1  p fk 
l
KB
K B l
Pku  k we , l  ,
gdzie: kmmin – minimalna niezbędna ilość magistral, koniecznych do zapewnienia wymaganej przepustowości. W
ten sposób, niezawodność systemu obliczeniowego jest
sp
Niech pwe
oznacza prawdopodobieństwo sprawności
węzła obliczeniowego. Wtedy, wykorzystując (2), zgodnie
z zaproponowanym warunkiem, dla systemu w trybie
nadmiarowania połączeń komunikacyjnych, niezawodność
R jest określona wyrażeniem:
R
KB
C
sp
równa: R   nNk min CKn N  pwe
 1  pwesp 
n
K
K N n
we
Puku  n  .
Dla systemu klient-serwer pracującego w trybie nadmiarowania podsystemu komunikacyjnego określimy prawdopodobieństwo Pks  K K , K S  sprawności magistrali, do któ-
k
rej, poprzez sprawne elementy nadawczo-odbiorcze, dołączono nie mniej niż kkmin klientów z ogólnej ich liczby
.
Rozważmy system obliczeniowy z równoprawnymi węzłami, pracujący w trybie podziału obciążenia komunikacyjnego. Niech W  kwe , km ,  oznacza ilość stanów
K K i k smin serwerów spośród K S dostępnych:
sprawności systemu złożonego z k we węzłów obliczenio-
1  pku 
Pks  K K , K S   p fk  i Kk min  j Sk min CKi K pkui
K
wych, połączonych km kanałami magistralowymi przy istnieniu  odmów elementów nadawczo-odbiorczych. W
celu określenia ilości W  kwe , km ,  stanów sprawności
R   mK k min CKmK  pksp  1  pksp 
k
1  p 
sp K S  n
s
K B 1

 CKNeKB1 K B K N  CK2 N   B1 CK B
K 1
Wtedy, wartość W można zapisać za pomocą wyrażei
i
KS  j
.
Km
C  P  K
l 1
l
Km
ks
KS
 C p 
KK m
n  ksmin
sp n
s
n
KK
, K S   1  Pks  K K , K S  
l
K
Km l
.
żonego z k s serwerów, kk klientów, km magistral, przy
odmów elementów nadawczowystępowaniu 
odbiorczych. Dla architektury klient serwer, ilość H1  
nia: W  kwe , km ,   Ckwe km    1 H i   , gdzie: Ckwekm

C pkuj 1  pku 
j
KS
Rozpatrzymy niezawodność systemu klient-serwer z połączeniami zupełnymi i podsystemem komunikacyjnym
pracującym w trybie podziału obciążenia. Niech
W  ks , kk , km ,  , to liczba sprawnych stanów systemu zło-
H1    K N C K N 1 K B  C C K N 1 K B   1 CK B 
 KB
m
K
w przypadku odmowy nie mniej niż jednego minimalnego
przekroju dla systemu z równoprawnymi węzłami jest
równa:
2
KN
(5)
s
K K i
Niech pksp oraz pssp , to odpowiednio prawdopodobieństwa sprawności węzłów klientów i serwerów. Wtedy,
wykorzystując wyrażenie (5), niezawodność R można
zapisać jako:
systemu, w przypadku wystąpienia uszkodzeń elementów,
wykorzystano metodę włączenia-wyłączenia komponentów. Ilość H1   stanów niesprawności całego systemu
 KB
K
k

i 1
– sumaryczna liczba stanów systemu dla  odmów elementów nadawczo-odbiorczych; i – maksymalna liczba
uwzględnianych przy ocenie minimalnych przekrojów;
H i   – liczba stanów niesprawności systemu oblicze-
stanów niesprawności nie mniej niż jednego minimalnego
przekroju, można określić za pomocą wyrażenia:
H1     kk  k s  Ckmkkmk  ks 1  kk k s Ckmkkmk  ks 1 


 Ckmkkmk  ks 1 kk  k s  kk k s  m1 Ckm ,
k 1
niowego, z odmową elementów nadawczo-odbiorczych
nie mniej niż i minimalnych przekrojów. Prawdopodobieństwo Pku  kwe , km ,  zapewnienia spójności kwu wę-
a liczbę stanów poprawnego funkcjonowania jako:
złów przez km magistral dla  odmów określone jest wyrażeniem:
gdzie: Ckm  kk  ks  – ogólna liczba stanów systemu oblicze-
W  kk , ks , km ,   Ckm  kk  ks    i1  1 H i   ,
i
4
i
niowego przy wystąpieniu  odmów. Prawdopodobieństwo Pks  ks , kk , km ,  zapewnienia spójności k s serwe-
nich węzłów obliczeniowych, które zapewnią maksymalny
poziom niezawodności R systemu, przy ograniczonym
sumarycznym koszcie U  urządzeń technicznych, mini-
rów i kk klientów za pomocą km magistral w przypadku
pojawienia się  odmów elementów nadawczoodbiorczych, można zapisać jako:
 s
Pku  ks , kk , km ,    W  ks , kk , km ,   pku
k  kk  km 
1  pku 

malnej akceptowalnej przepustowości DC i nieprzekraczalnym opóźnieniu t transmisji informacji.
Zadanie 1, to procedura budowy maksymalnie niezawodnego systemu obliczeniowego, co w przypadku optymalizacji, można zapisać w następujący sposób:
. (6)
Prawdopodobieństwo Pku  ks , kk , km  zapewnienia spój-
R  K m   max ,
ności k s serwerów i kk klientów z wykorzystaniem km
magistral w przypadku pojawienia się odmów elementów
nadawczo-odbiorczych zostało określona jako:
Pku  k s , kk , km  
 k s  k k  km

s 0
Pku  k s , kk , km ,  ,
dla następujących ograniczeń:
t  K m   tmax , DC  K m   DCmin , U   K m   U max ,
gdzie: tmax – maksymalna dopuszczalna wartość opóźnienia komunikacyjnego pomiędzy dowolną parą węzłów obliczeniowych; DCmin – minimalna dopuszczalna wydajność
(7)
a prawdopodobieństwo Pku  ks , km  spójności k s serwerów
i kk klientów jako:
Pku  k s , k k  
Km
C
k m 1
k
Km
p kfkm 1  p fk 
K m  km
obliczeniowa systemu; U max – maksymalny dopuszczalny
koszt urządzeń technicznych systemu.
Zadanie, opisane wyrażeniem (9), należy rozwiązać
z wykorzystaniem procedury złożonej z trzech podstawowych etapów. W tym celu, zadanie 1 przekształcimy do
następującej postaci:
Pku  k s , k k , k m  . (8)
Wykorzystując wyrażenia (6), (7) i (8), poszukiwaną
niezawodność R zapiszemy jako:
R   k k k min CKk k  pksp  1  pksp 
k
K
R  kmmin , K m   max ,
Kk k
k

CKs s  pssp  1  pssp 
s
Ks
s  ksmin
Ks s
(10)
dla następujących ograniczeń:
Pku  s, k .
1  K m  kmmin , t  k mmin , K m   tmax , DC  k mmin , K m   DCmin ,
W podobny sposób możemy określić niezawodność dla
każdej z architektur sklasyfikowanych na rys. 2.
IV.
(9)
U   kmmin , K m   U max ,
gdzie: kmmin – minimalna liczba sprawnych magistral, dla
której spełniony jest warunek na maksymalną akceptowalną wartość opóźnienia komunikacyjnego t i przepustowości DC . Opiszemy zawartość poszczególnych etapów.
Etap 1. Tworzenie bazowej konfiguracji systemu złożonego z kmmin magistral. Sekwencję działań wykonywanych w ramach danego etapu pokazano na rys. 4.
PROJEKTOWANIE ARCHITEKTURY
WIELOMAGISTRALOWEJ
A. Idea metodyki
Z literatury znanych jest wiele algorytmów projektowania systemów obliczeniowych z wielokanałowymi połączeniami magistralowymi. Większość z nich koncentruje
się na zapewnieniu określonego poziomu wydajności systemu obliczeniowego jako całości. Z punktu widzenia połączeń, algorytmy te ukierunkowane są na stworzenie architektury z określonym poziomem wydajności, bądź
opóźnień komunikacyjnych występujących pomiędzy elementami obliczeniowymi z uwzględnieniem warunku nieprzekraczalności zadanych kosztów. W odróżnieniu od
nich, proponowana metodyka uwzględnia dodatkowo poziom niezawodności systemu obliczeniowego. Po pierwsze, pozwala ona tworzyć systemy obliczeniowe z połączeniami charakteryzującymi się maksymalną niezawodnością i zadanymi wartościami minimalnej wydajności
komunikacyjnej lub maksymalnego opóźnienia komunikacyjnego. Po drugie, zapewnia ona wyrównanie poziomu
obciążenia kanałów magistralowych.
Uwzględniając wymagania dotyczące zapewnienia minimalnej akceptowalnej wartości przepustowości, niezawodności oraz maksymalnych dopuszczalnych kosztów
realizacji i opóźnień komunikacyjnych, można zdefiniować trzy przeanalizowane dalej zadania projektowania.
DCmin , K mmax , tmax , kio
l0
l  l 1
DC l  , t l 
l  K mmax
l  kio
l  K mmax
Dc l   DCmin
t l   tmax
DC l  , t l 
Dc l   DCmin
t l   tmax
kmmin : l
B. Maksymalizacja poziomu niezawodności
Rys. 4. Pierwszy etap projektowania niezawodnych połączeń
magistralowych.
Zadanie 1. Określić minimalną liczbę K m magistralowych kanałów komunikacyjnych i sposób dołączenia do
Kolejno
5
tworzone
są
konfiguracje
zawierające
Zadanie 2 można określić jako zadanie budowy systemu
obliczeniowego z maksymalną wydajnością. Odpowiednia
funkcja optymalizacji ma postać:
l  1, 2, , K mmax magistral, gdzie: K mmax – maksymalna dopuszczalna (na podstawie kryteriów technicznoekonomicznych) liczba magistral. Następnie, z wykorzystaniem metod zaproponowanych w [7] ocenia się ich wydajność i opóźnienie komunikacyjne. Jeżeli kmmin  1 , to
zakłada się, że środowisko komunikacyjne funkcjonuje w
trybie podziału obciążenia pomiędzy wszystkimi kmmin
magistralami.
W pierwszej kolejności analizowane są konfiguracje
zupełne, w których liczba kio jest nie mniejsza od ilości
DC  kmmin , K m   max ,
przy następujących ograniczeniach:
1  kmmin  K m , t  k mmin , K m   tmax ,
R  kmmin , K m   Rmin , U   kmmin , K m   U max ,
gdzie: Rmin – minimalna dopuszczalna niezawodność systemu obliczeniowego. Rozwiązanie zadania projektowego
realizowane jest za pomocą poniższych trzech etapów.
Etap 1. Projektowana jest architektura z połączeniami
zupełnymi, spełniająca wymagania odnoszące się do kosztu i niezawodności. Maksymalną wydajnością obliczeniową charakteryzuje się architektura, w której wykorzystane
są wszystkie elementy nadawczo-odbiorcze. W szczególności, w systemie powinien zostać spełniony warunek:
kmmin  K m  kio . Ponieważ jednak wykorzystywane są
wszystkie magistrale, architektura ta jest jednocześnie najbardziej zawodna. Dlatego, na początku procedury projektowania, poszukiwana jest architektura z maksymalną
liczbą magistral, z zakresu 1  K m  kio , dla której spełnione
jest
ograniczenie
dotyczące
kosztów
min
U   km , K m   U max . Dalej, stopniowo określane są kon-
kmmin magistral (tj. kio  kmmin ). Jeżeli nie udało się znaleźć
żadnej konfiguracji z połączeniami zupełnymi, spełniającej ograniczenia dotyczące dopuszczalnych wartości
opóźnienia komunikacyjnego i przepustowości, to tworzone i badane są architektury z połączeniami cząstkowymi,
dla których kio  kmmin . Proces poszukiwania rozwiązań
kończy się w momencie znalezienia pierwszej (tj. z minimalną liczbą kmmin magistral) konfiguracji spełniającej
ograniczenia.
Etap 2. Poprawa niezawodności systemu połączeń poprzez wprowadzenie dodatkowych elementów nadawczoodbiorczych oraz weryfikacja ograniczeń na sumaryczny
koszt połączeń. Sekwencję działań wykonywanych na danym etapie przedstawiono na rys. 5.
figuracje z minimalną liczbą kmmin magistral z zakresu
Początek
K m  1, K m  2,,1 . Dla każdej z nich, wyliczana jest niezawodność. Procedura poszukiwania jest kontynuowana
do momentu, kiedy określona zostanie konfiguracja spełniająca ograniczenia niezawodnościowe. Spośród nich
wybrana zostaje jedna, spełniająca wymagania względem
niezawodności i sumarycznych kosztów oraz posiadająca
maksymalną wydajność obliczeniową. Opisany etap procedury projektowania został przedstawiony graficznie na
rys. 6.
Etap 2. Poszukiwana jest konfiguracja z połączeniami
zupełnymi, spełniająca wymagania dotyczące sumarycznych kosztów i niezawodności. Zauważmy, że wariant architektury z połączeniami cząstkowymi, w którym
K m  kio , z uwagi na wysoki koszt jest zazwyczaj nie do
przyjęcia. Dlatego, określenie architektury z połączeniami
cząstkowymi, zapewniającej osiągnięcie granicznej krotności nadmiarowania urządzeń nadawczo-odbiorczych jest
możliwe wyłącznie, jeżeli architektura z połączeniami zupełnymi, dla której K m  kio spełnia ograniczenie kosztowe. Podstawą dalszych rozważań jest oczywisty fakt, że
architektura z połączeniami cząstkowymi, dla której
K m  3kio 2  , charakteryzuje się maksymalną wydajno-
kio ,U max
K m  kmmin
K m  kio
0
kio : K m
K m : K m  1
U   U max
0
U   U max
1
Zbudowano
połączenia
K m  k mmin
1
(11)
Budowa
niemożliwa
Koniec
Rys. 5. Drugi etap projektowania niezawodnych połączeń magistralowych.
Etap 3. Ocena z wykorzystaniem metod zaproponowanych w [7] i [8] wydajności i opóźnień komunikacyjnych,
a także niezawodności syntezowanego systemu połączeń.
Jeżeli wymagania te nie zostały spełnione, proces projektowania jest powtarzany dla zmodyfikowanych połączeń
międzywęzłowych, sklasyfikowanych na rys. 2.
C. Maksymalizacja wydajności systemu
ścią i kosztem, a także minimalnymi opóźnieniami i niezawodnością. Dlatego, do realizacji konfiguracji spełniających ograniczenia kosztowe i niezawodnościowe, sekwencyjnie tworzone są struktury, dla których liczba K m magi-
Zadanie 2. Należy określić minimalną liczbę K m magistral i sposób dołączenia do nich węzłów obliczeniowych,
zapewniający maksymalną wydajność obliczeniową DC
stral jest odpowiednio równa 3kio 2 , 3kio 2  1 , …,
kio  1 . Dla każdego z wariantów określa się koszt i niezawodność. Dany proces jest kontynuowany do momentu okre-
systemu, przy ograniczonym sumarycznym koszcie U 
jego urządzeń technicznych, niezawodności R i dopuszczalnym opóźnieniu komunikacyjnym t .
6
D. Minimalizacja opóźnień komunikacyjnych
ślenia konfiguracji jednocześnie spełniające oba te kryteria.
Zadanie 3. Określić minimalną liczbę kmmin magistral i
sposób dołączenia do nich węzłów obliczeniowych zapewniający minimalne opóźnienia t transmisji informacji,
przy zadanych ograniczeniach na: sumaryczny koszt U 
jej urządzeń technicznych, niezawodność R , minimalną
wydajność obliczeniową DC .
Zadanie 3, to w istocie zadanie budowy systemu z minimalnym opóźnieniem komunikacyjnym. Zadanie optymalizacji można zapisać jako:
kio , Rmin ,U max
l0
l  l 1
l  kio
t  kmmin , K m   min ,
K m : l , DCmax  0,
K mopt  0
U   U max
(12)
przy następujących ograniczeniach:


1  kmmin  K m , DC kmmin , K m  DCmin ,
Km  Km 1
R( K m ), DC  K m  ,
t  Km 
Km  Km 1
Km  1
R  Rmin
and
t  tmax
Km  1
DCmax  DC  K m 
K mopt  0
Rk
DCmax  DC  K m  ,
K mopt  K m
Rys. 6. Pierwszy etap procedury projektowania.
Powyższy etap został przedstawiony na rys. 7.
kio , Rmin ,U max , tmax , DCmin
l0
V.
l  kio
l  K mmax
Dc l   DCmin
t l   tmax
k :3kio 2
R  k   Rmin
U   U max
, K m   U max ,
BADANIA SYMULACYJNE
Rezultatem działania zaproponowanej metodyki są architektury sieci połączeniowych, spełniające wymagania
kosztowe, wydajnościowe i niezawodnościowe. Poniżej,
przedstawiono porównanie sieci zaprojektowanych za pomocą przedstawionej metodyki z innymi szeroko wykorzystywanymi sieciami połączeniowymi. Do analizy wykorzystano metodykę przedstawioną w [9].
Na początek, rozważymy koszty komunikacji dla systemu obsługującego obliczenia w modelu klient-serwer.
Podstawowymi ich składnikami będą koszty: elementów
nadawczo-odbiorczych, fizycznego kabla przyłączeniowego oraz rozdzielacza sygnału fizycznego. Porównując systemy złożone z określonej liczby węzłów obliczeniowych,
ich koszt można pominąć jako identyczny dla wszystkich
analizowanych rozwiązań. Koszt fizycznej magistrali
światłowodowej zależy od rozmiarów geograficznych systemu i nie będzie uwzględniany.
Nа rys. 8 zaprezentowano zależność ogólnych kosztów
budowy systemu komputerowego dla różnych architektur
połączeniowych. Z wykresu widać, że koszty budowy systemu rozproszonego na bazie wielomagistrali są wysokie,
a budowa takiego systemu jest uzasadniona wyłącznie dla
niewielkiej liczby węzłów.
Na rys. 9 pokazano koszty budowy połączeń wieloma-
l  K mmax
DC l  , t l 
, K m   Rmin , U   k
min
m
gdzie: Rmin – minimalna dopuszczalna niezawodność system obliczeniowego.
Podobnie jak poprzednie, zadanie 3, rozwiązywane jest
w trzech krokach. Pierwszy z nich polega na poszukiwaniu
architektury z połączeniami zupełnymi, spełniającej ograniczenia kosztowe i niezawodnościowe, charakteryzującej
się minimalnym opóźnieniem komunikacyjnym. Drugi to
poszukiwanie architektury z połączeniami cząstkowymi
spełniającej powyższe ograniczenia, trzeci zaś, to wybór
architektury o najwyższej efektywności.
Oprócz przedstawionych powyżej wariantów zadania
projektowania, można zaproponować i inne, bardziej złożone. W szczególności, poszczególnym kryteriom oceny
rozwiązania można przypisywać różne wagi odzwierciedlające stopień ich ważności, przy czym zastosowanie
mogą znaleźć kryteria addytywne i multiplikatywne.
K mopt , DCmax
l  l 1
min
m
k  kio
k : k  1
Rys. 7. Drugi etap procedury projektowania.
Etap 3. Na etapie trzecim zdefiniowane sieci z połączeniami zupełnymi i cząstkowymi są oceniane pod względem spełnienia wymagań kosztowych, wydajnościowych,
czasowych i niezawodnościowych. Na ich podstawie wybierana jest preferowana architektura połączeń.
7
gistralowych dla systemów o różnych rozmiarach i architekturach sklasyfikowanych na rys. 2.
2 000
1
2
3
4
1 750
1 500
Koszty budowy U
jących się na zapewnieniu odkreślonego poziomu przepustowości całego systemu, z pomięciem jego parametrów
niezawodnościowych, zaproponowana metodyka pozwala
określić architekturę połączeń charakteryzujących się:
a. maksymalną niezawodnością z zadanymi: minimalną
wydajnością i maksymalnym opóźnieniem komunikacji
w sieci połączeń; b. minimalnym opóźnieniem komunikacyjnym z ograniczeniem na minimalną niezawodność
i wydajność; c. maksymalną wydajnością obliczeniową
z określonym akceptowalnym poziomem niezawodności
i opóźnień. Dla każdego z poszukiwanych rozwiązań definiowane są maksymalne koszty budowy. Do realizacji
wykorzystywane są magistrale z połączeniami zupełnymi
i cząstkowymi, płaskie oraz hierarchiczne.
Dalsze badania koncentrować się będą na formalizacji
wyboru konkretnej architektury ze zbioru akceptowalnych
rozwiązań, z uwzględnieniem niekompletności informacji
niezbędnej w procesie decyzyjnym. W tym celu, sieć połączeniowa przedstawiona zostanie w postaci wielodzielnego hipergrafu, którego elementami będą komponenty procesu projektowego. Ocena rozwiązania będzie miała charakter wielokryterialny. Zestaw kryteriów będzie elastyczny, a jego dobór zależeć od potrzeb projektanta, w szczególności charakteru eksploatacji sieci połączeniowej.
Na bazie modelu hipergrafowego rozważany będzie
zbiór A  a dopuszczalnych rozwiązań zadania projek-
1 250
1 000
750
500
250
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
Liczba elementów obliczeniowych KN
Rys. 8. Koszty budowy systemu komunikacji dla różnych architektur połączeniowych: 1. Wielomagistrala z połączeniami zupełnymi i K N  K B ; 2. Wielomagistrala z połączeniami zupełnymi i K B  14 ; 3. Krata; 4. Pierścień.
Zakłada się wykorzystanie partnerskiego modelu klientserwer, w wyniku czego liczba serwerów i klientów jest
równa (tj. K K  K S ). Z wykresu wynika, że najniższym
kosztem charakteryzują się architektury z hierarchicznymi
magistralami, w szczególności wykorzystujące połączenia
cząstkowe. Na rysunku użyto następujących oznaczeń: u –
liczba poziomów hierarchicznych; kuj – liczba klastrów
j  1 -go poziomu, z których złożony jest klaster j -ego
towego. Dla każdego z nich określone zostaną następujące
wskaźniki jakości: 1. Kryterium wydajności obliczeniowej: 1  a   max min   e  , gdzie: Ea – zbiór krawędzi
poziomu, j  2,, u ;  i – liczba węzłów dołączonych do
magistrali i -tego poziomu, i  1, , 4 .
18 000
1
2
3
4
5
16 000
Koszt budowy U
14 000
12 000
eEa
aA
hipergrafu, należących do rozwiązania a . Wykorzystując
to kryterium, będzie maksymalizowany minimalny poziom
wydajności (obliczeniowej lub komunikacyjnej) systemu
jako całości; 2. Kryterium opóźnienia komunikacyjnego:
 2  a   min  eE   e  , zapewniające poszukiwanie siea
ci połączeniowej z minimalnym sumarycznym opóźnieniem. Dla systemów z różnym poziomem ważności węzłów, wartość   e  oczekiwanej zmiany opóźnienia bę-
10 000
8 000
dzie skalowana priorytetem węzła; 3. Kryterium niezawodności:  3  a   max  eE   e  . Podobnie jak w
6 000
4 000
a
przypadku kryterium opóźnienia komunikacyjnego  2 ,
kryterium to zapewnia poszukiwanie architektury sieci
z maksymalną sumaryczną niezawodnością.
Możliwości powyższej metody nie ograniczają się do
zastosowania kryterium sumacyjnego postaci min lub max.
Do oceny jakości rozwiązania można zastosować dowolne
metody zwijania parametrów, włączając w to metody
uwzględniające wagi poszczególnych subparametrów.
Kryteria cząstkowe zostaną powiązane za pomocą funkcji celu postaci   a    1  a  ,  2  a  ,  3  a   . Wielo-
2 000
0
50
100
150
200
250
300
350
400
450
500
550
Liczba węzłów obliczeniowych (Ks=Kk)
Rys. 9. Koszty budowy wybranych architektur wielomagistralowych dla K B  16 . Wielomagistrale: 1. Z połączeniami zupełnymi; 2. Z połączeniem jednokrotnym; 3. Klastrowa z liczbą
grup g  4 ; 4. Hierarchiczna z u  4 , ku2  ku3  ku4  2 ,
1   2   3  1 ,  4  2 ; 5. Hierarchiczna z połączeniami cząstkowymi i u  4 , ku2  ku3  ku4  2 , 1   2   3  1 ,  4  2 .
VI.
kryterialna funkcja celu   a  określa w zbiorze A do-
PODSUMOWANIE I DALSZE PRACE
puszczalnych rozwiązań, zbiór Pareto A p złożony z optimów Pareto a p . Jeżeli dwa rozwiązania a1 , a2  A wekto-
Przedstawione w pracy podejście zastosowano do stworzenia metodyki projektowania wielokanałowych połączeń
magistralowych, adresowanych do obsługi komunikacyjnej krytycznych systemów telemetrii i telematyki. W odróżnieniu od dotychczasowych metodyk [10], koncentru-
rowej funkcji celu   a  są ekwiwalentne, wtedy, ze zbioru A p zostanie wydzielony pełny zbiór alternatyw A A ,
8
będący w istocie maksymalnym systemem różnych wektorowo optimów Pareto.
[6] A. K. Dutta, N. K. Dutta, and M. Fujiwara, WDM technologies:
optical networks. Amsterdam: Elsevier, 2004, vol. III.
[7] М. Хайдер, "Повышение эффективности многоканальных
магистральных сетей клиент-сервер," Вісник Національного
технічного університету України. Інформатика, управління та
обчислювальна техніка, vol. 37, pp. 37-48, 2002.
BIBLIOGRAFIA
[1] M. Hajder, H. Loutskii, and W. Stręciwilk, Informatyka. Wirtualna
podróż w świat systemów i sieci komuterowych. Rzeszów:
Wydawnictwo Wyższej Szkoły Informatyki i Zarządzania w
Rzeszowie, 2002.
[8] M. Hajder and M. Kiełbus, "Matematyczny model opóźnień w sieci
z komutacją pakietów," in XV Konferencja Sieci i Systemy
Informatyczne, Łódź, 2007, pp. 47-50.
[2] R. Dutta, A. E. Kamal, and A. E. Rouskas, Traffic Grooming for
Optical Networks.: Springer, 2009.
[9] B. R. Haverkort, Performance of computer communication systems :
a model-based approach. Chichester: John Wiley & Sons Ltd, 1999.
[3] G. Fiche, Systems and communicating networks : traffic and
performance. London: Kogan Page Science, 2004.
[10] М. Хайдер, "Множественный подход в системах каналов
связи," Вісник Національного технічного університету України
"Київський політехнічний інститут". Інформатика, управління
та обчислювальна техніка, vol. 41, pp. 120-132, 2004.
[4] M. Stroiński, Ed., Studium rozwoju sieci szerokopasmowej
województwa Podkarpackiego. Poznań: Poznańskie Centrum
Superkomputerowo-Sieciowe, Ośrodek Wydawnictw Naukowych,
2008.
[5] H-K. Ku and J. P. Hayes, "Connective Fault Tolerance in MultipleBus Systems," IEEE Transactions on Parallel and Distributed
Systems, vol. 8, no. 6, pp. 574-586, June 1997.
9