komunikacja zgodna z IEC 61850

automatyka
komunikacja zgodna z IEC 61850
Ethernet przełączany jako infrastruktura komunikacyjna dla systemów
sterowania, nadzoru i zabezpieczeń stacji elektroenergetycznej
Zuzanna Wieczorek – Tekniska Polska – Przemysłowe Systemy Transmisyjne
Standard IEC 61850 systematyzuje zagadnienia związane z wymianą danych w systemach
elektroenergetycznych. Norma rewolucjonizuje podejście do realizacji systemów stacyjnych, proponując obiektowy model danych, obejmujący swoim zasięgiem wszystkie trzy
poziomy komunikacji wyróżniane w stacji elektroenergetycznej: poziom procesu, pola, stacji oraz zastosowanie wspólnej infrastruktury komunikacyjnej opartej na sieci Ethernet.
D
la każdego rozważanego systemu można wyodrębnić kryteria
będące podstawą oceny stopnia jego
wartości użytkowej. Do najważniejszych należą: przejrzystość, możliwości rozbudowy systemu – skalowalność, koszt wdrożenia i eksploatacji
oraz niezawodność. Stosując odpowiednie mechanizmy w sieci opartej
na przełączanym Ethernecie oraz
bazę modeli logicznych, zamiast, jak
dotychczas, list sygnałów, standard
IEC 61850 ułatwia spełnienie powyższych kryteriów. W modelach danych
odwzorowana jest kontrola procesów
oraz informacji pochodzących z urządzeń elektrycznych (aparatura wtórna i pierwotna), obsługa zabezpieczeń
oraz pozostałe funkcje automatyki
stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych
poszczególnych urządzeń, określone
są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania sekwencji zdarzeń i historii zdarzeń.
Wspomniane powyżej cechy standardu IEC 61850 zostały opisane w artykule w kontekście wymagań komunikacyjnych systemu. Zastosowanie struktury opartej na sieci przełączanej Ethernet wymaga odpowiedniego projektu
uwzględniającego zastosowanie specjalnych mechanizmów sieciowych, takich
jak: protokoły rekonfiguracji topologii,
tworzenie wirtualnych podsieci, obsługa ruchu grupowego, obsługa priorytetów, blokowanie nagłówków. Obligatoryjne jest również zastosowanie
58
E_I_05_2010.indb 58
urządzeń sieciowych, mających odpowiednio wysoką odporność środowiskową [10].
W artykule omówione zostały wyniki analizy związanej z zastosowaniem
poszczególnych mechanizmów sieciowych, w celu spełnienia wymienionych
w standardzie wymagań dotyczących
komunikacji. Wnioski poparto wynikami symulacji komputerowych dla wybranych topologii.
idea systemu zgodnego
z normą IEC 61850
Przez wiele lat eksploatacji obiektów energetycznych zaobserwowano,
że zmiany wprowadzane w funkcjonalności systemu, ze względu na rozwój technologiczny, są znacznie rzadsze
niż w przypadku systemów komunikacyjnych [3]. Ten aspekt w połączeniu ze
stopniem rozwoju osiągniętego przez
systemy transmisji danych oparte na
protokole Ethernet, spowodowały rozpoczęcie prac nad wprowadzeniem nowego standardu wymiany danych w stacjach elektroenergetycznych. Efektem
tych prac jest standard IEC 61850 (polska wersja normy PN-EN 61850 Systemy i sieci komunikacyjne w stacjach
elektroenergetycznych). Powstał on na
podstawie doświadczeń EPRI (UCA 2.0)
oraz IEC (60870-5-101, -103, -104), w celu
ujednolicenia zasad wymiany danych
dla potrzeb energetyki. Zrealizowany
zgodnie z ideą warstwowego modelu
komunikacji i rozdzielenia samych zagadnień transmisyjnych i komunika-
w w w. e l e k t r o . i n f o . p l
cyjnych od aplikacji i funkcjonalności
systemu. Standard jest nadal rozwijany
szczególnie w zakresie komunikacji pomiędzy stacjami elektroenergetycznymi oraz synchronizacji czasu. Projektowanie sieci informatycznej wymaga zrozumienia funkcjonalności i wymagań
systemów energetycznych, w związku
z tym należy przynajmniej ogólnie rozważyć ideę IEC 61850, skupiając się na
cechach istotnych z punktu widzenia
projektowania samej infrastruktury sieciowej. Potrzebne założenia i wymagania standardu IEC 61850 zostały ciekawie i przejrzyście opisane w wielu źródłach [1 - 5]. Zakres artykułu pozwala tylko na ogólny opis najistotniejszych zagadnień. Standard składa się z 10 części
i szczegółowo omawia wszelkie aspekty
wymiany danych od odporności środowiskowej urządzeń komunikacyjnych
po obiektowe modele danych aplikacji.
W takim podejściu rozróżniono trzy logiczne poziomy komunikacji:
procesu – zdalne I/O, czujniki, włączniki, wyłączniki, przekładniki,
pola – kontrola, zabezpieczenia
polowe, automatyka stacyjna, rejestracja,
stacji – centrum SSiN stacji – komputer stacyjny, stanowisko prowadzenia ruchu, połączenia do centrów
nadzoru, serwery SCADA, HMI, centralne urządzenia synchronizujące
czas, drukarki operatorskie.
Wydzielenie poziomów funkcjonalnych i niezależnych „porcji” informacji
wykorzystywanych przez funkcje automatyki stacyjnej zaimplementowa-
ne w urządzeniach cyfrowych umożliwiło traktowanie systemu stacyjnego
jako hierarchicznej struktury wymiany danych. Taki model logiczny zdecydowanie poprawia przejrzystość systemu. Aktualnie ogromna większość
wdrożeń obejmuje poziom pola i stacji
z pominięciem poziomu procesu, gdzie
nadal wykorzystuje się klasyczną aparaturę pierwotną. Magistrala procesowa, w sensie transmisji danych, jako
rozwinięcie omawianych w tym artykule topologii, może być zrealizowana na przynajmniej dwa podstawowe
sposoby: jako wydzielona szybka (1 Gb)
struktura połączona do poziomu pola za
pośrednictwem sterowników pola oraz
zabezpieczeń lub struktura zintegrowana fizycznie z fragmentami LAN wyższych poziomów. W drugim przypadku
cała infrastruktura wymagałaby przepustowości na poziomie 1 Gb i zdecydowanie komplikowałyby się zagadnienia związane z inżynierią ruchu, ponieważ największy i najbardziej wymagający ruch (próbki pomiarowe) przewidywany jest właśnie dla poziomu procesu.
Zastosowanie Ethernetu jako homogenicznej infrastruktury dla transmisji danych gwarantuje uwzględnienie zarówno celów biznesowych, jak i technicznych, ponieważ poprawia przejrzystość
i możliwości rozbudowy systemu – skalowalność, obniża koszt wdrożenia i eksploatacji, z zachowaniem odpowiedniego poziomu niezawodności i funkcjonalności. Wprowadzenie standardu wymaga spełnienia szeregu warunków, co powinno być poparte testami funkcjonal-
nr 5/2010
10-05-05 09:40:19
nymi opisanymi w normie IEC 61850,
oferowanymi przez niektóre niezależne
firmy lub instytuty naukowe.
Przede wszystkim standard narzuca zastosowanie cyfrowych urządzeń
stacyjnych (zabezpieczenia cyfrowe,
sterowniki polowe i stacyjne (ang.
IED – Intelligent Electronic Device),
w przypadku realizacji szyny procesowej urządzenia automatyki pierwotnej
(ang. DAU – Digital Acquisition Unit)
z odpowiednim interfejsem komunikacyjnym. Definiuje rodzaje i sposoby wymiany poszczególnych rodzajów danych, w zależności od powiązanej z nimi funkcji systemu. Stosując odpowiednie mechanizmy w sieci
opartej na przełączanym Ethernecie
oraz bazę modeli logicznych, zamiast,
jak dotychczas list sygnałów, zwiększa się znacznie również parametr dotyczący łatwości dokonywania przyszłych modernizacji. W modelach danych odwzorowana jest kontrola procesów oraz informacji pochodzących
z urządzeń elektrycznych (aparatura
wtórna i pierwotna), obsługa zabezpieczeń oraz pozostałe funkcje automatyki stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych poszczególnych urządzeń, określone są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania
sekwencji zdarzeń i historii zdarzeń.
Dla zapewnienia odpowiedniej funkcjonalności zabezpieczeń cyfrowych
IEC 61850 precyzuje zasady szybkiej
transmisji międzypolowej, wymiany
informacji statusowych i próbek pomiarowych. Założona jest dowolność
alokacji poszczególnych funkcji. Norma określa natomiast przyporządkowanie metod wymiany informacji do
standardowych otwartych protokołów
komunikacyjnych (Ethernet, IP, MMS)
[12]. Mylące jest używanie słowa „protokół” w stosunku co do samego standardu IEC 61850, jest on raczej logicznym modelem komunikacji zdefiniowanym na podstawie stosu istniejących protokołów. Jedne z najistotniejszych jego cech:
zaproponowanie hierarchicznego
modelu informacyjnego (danych)
nr 5/2010
E_I_05_2010.indb 59
centra nadzoru
– dyspozycja ruchu,
dystrybucja czasu
strumień 6
strumień 7
poziom stacji
HMI
sterownik stacyjny
m
stru
ie
str
ń3
um
ień
strumień 1
3
strumień 1
poziom
pola
strumień 2
zabezpieczenie
zabezpieczenie
sterownik
sterownik
strumienie 4 i 5
strumienie 4 i 5
poziom procesu
Rys. 1. Strumienie ruchu według IEC 61850, opracowano na podstawie [11]
dla całej podstacji z uwzględnieniem wszystkich poziomów funkcjonalnych (stacji, pola, procesu),
zaproponowanie abstrakcyjnego modelu funkcjonalnego (zorientowanego na funkcję) wymiany informacji
pomiędzy urządzeniami,
wprowadzenie przyporządkowania tych abstrakcyjnych modeli do
faktycznych protokołów komunikacyjnych, między innymi Ethernetu
w warstwie łącza danych,
wprowadzenie języka konfiguracji
i opisu stacji wraz z wszystkimi jej
elementami,
opis testów funkcjonalnych.
Założono cele osiągnięcia kompatybilności urządzeń pochodzących
od różnych producentów, zapewnienia dowolności alokacji funkcji i rozdzielenia funkcjonalności od sposobu
realizacji komunikacji. Jednym z najistotniejszych aspektów było oczyOSI
wiście opracowanie rozwiązania mającego duży potencjał w przyszłości
(ang. future proof). IEC 61850 nie specyfikuje fizycznej architektury systemu. Definiuje logiczną strukturę komunikacji (rys. 1.).
Strumienie ruchu kolejno to komunikacja wewnątrz pola (1), komunikacja
międzypolowa (2), komunikacja między
poziomem pola a poziomem stacji (3),
komunikacja między poziomem pola
a poziomem procesu (4) oraz komunikacja pomiędzy stacjami (5), komunikacja pomiędzy stacją a centrami zarządzania (6), komunikacja na poziomie stacji (7) [11]. Standard został zbudowany
zgodnie z filozofią warstwowego modelu komunikacji (tab. 1.) (opracowano na
podstawie [6, 12]).
W takim modelu każda warstwa ma
inne zadania i oferuje swoje usługi warstwie wyższej. Dane aplikacji są uzupełniane kolejno przez nagłówki i inne in-
TCP/IP
formacje protokołów warstw niższych –
taki proces nosi nazwę enkapsulacji.
modele wymiany informacji
W tabeli 2. (opracowanie na podstawie [5, 11, 12]) rozróżniono kilka podstawowych rodzajów informacji wymienianych przez systemy stacyjne z uwzględnieniem mechanizmu komunikacji
wprowadzonego przez IEC 61850.
Dla wymienionych rodzajów ruchu
określone zostały ilościowe sposoby szacowania strumieni danych oraz wymagania dotyczące jakości transmisji dla
poszczególnych typów informacji.
Najbardziej surowe wymagania czasowe mają informacje z zabezpieczeń
i próbki pomiarowe. Zabezpieczenia
i sterowniki polowe, jak również niektóre urządzenia poziomu procesu,
przesyłają między sobą tzw. komunikaty GOOSE. W celu zminimalizowa-
IEC 61850
Elementy charakterystyczne
Modele danych i węzłów logicznych IEC 61850-7-4/-7-3
Abstrakcyjny model interfejsu komunikacyjnego IEC 61850-7-2
Model logiczny aplikacji
Mapowanie do MMS i TCP/IP/Ethernet IEC 61850-8-1/-9-2
Aplikacji
Prezentacji
Aplikacji
MMS (ISO9506), ACSE (ISO/IEC 8649, ISO/IEC 8650)
Wiadomość
ISO/IEC 8822,8823-1, ASN.1 ISO/IEC 8824-1, 8825-1
Dane
Sesji
Transportowa Transportowa
Sieci
Łącza danych
Fizyczna
ISO/IEC 8326, 8327-1
Dane
ISO/ICP-RFC 1006, ICMP-RFC792, TCP-RFC793
Segmenty, numery portów
Internetu
Dostępu
IP RFC 791, ARP RFC826
Pakiety, adres IP
Ethernet RFC894, CSMA/CD ISO/IEC 8802-3, IEEE 802.1q,p
Ramki, adres MAC
100Base-T/100Base-FX ISO/IEC 8802-3
Bity, CSMA/CD
Tab. 1. Warstwowe modele komunikacyjne
w w w. e l e k t r o . i n f o . p l
59
10-05-05 09:40:20
automatyka
MAC odbiorcy
MAC
Lenght
/grupowy
nadawcy type
Preambuła SFD
Wartości
narzucone
dla ramki
GOOSE –>
7B
1B
6B
6B
TCI+TPID
LLC
Dane
FCS
2B
4B
1500B 4B
TPID
priorytet CFI VID
0×8100 3 bity
1 bit 12 bitów
APPID:00
0
01-0C-CD-01-XX-XX
Rys. 2. Ramka Ethernet [6, 12]
Mechanizm
komunikacji
Wykorzystywane warstwy
stosu protokołów
Klient – sewer
Klient – sewer
Klient – sewer
Wydawca – subskrybent
Wszystkie
Wszystkie
Wszystkie
Fizyczna, łącza danych
Wydawca – subskrybent
Fizyczna, łącza danych
Rodzaj komunikacji
Zapis/odczyt danych
Sterowanie
Raportowanie
GOOSE
Transmisja próbek
pomiarowych
Tab. 2. Podstawowe rodzaje informacji wymienianych przez systemy stacyjne
z uwzględnieniem mechanizmu komunikacji wprowadzonego przez IEC 61850
nia opóźnienia, które wprowadzane jest
w trakcie przejścia informacji przez kolejne warstwy stosu protokołów, wiadomości tego typu i próbki pomiarowe są
wysyłane bezpośrednio w ramce protokołu Ethernet ze specjalnie zmodyfikowanym polem EtherTypes i dodatkowymi etykietami wpływającymi na sposób przełączania ramki przez infrastrukturę sieciową.
Warstwy wyższe nie biorą udziału w tym procesie, co implikuje zastosowanie charakterystycznych mechanizmów związanych z zarządzaniem ruchu. Większość tego typu mechanizmów zwykle implementowana jest w warstwie trzeciej (np. protokół IGMP/IGMP snooping) i wyższych.
Ograniczenie się do warstwy drugiej
ogranicza liczbę rozwiązań do kilku
standardów, z których najistotniejsze
to VLAN 802.1Q oraz nadawanie priorytetów zgodnie z 802.1p. Ze względu
na to, że sam Ethernet nie oferuje mechanizmu potwierdzeń otrzymania informacji przez stację odbiorczą i żądań
retransmisji (jest to zadaniem warstw
wyższych), komunikaty GOOSE są wysyłane cyklicznie, w cyklu o zmiennym
czasie trwania (od kilku ms do kilku s).
Okres cyklu zmienia się w zależności od
stanu pracy stacji (normalny, zdarzenie,
alarm, po alarmie).
podstawy funkcjonowania
Ethernetu przełączanego
– model logiczny
przełącznika sieciowego
Standard Ethernet 802.3 pochodzi
z lat 70. i od tamtego czasu jest nieustająco udoskonalany i rozwijany ze względu na swoją dużą popularność w zastosowaniach komercyjnych i przemysłowych. Popularność rozwiązań opartych
na Ethernecie wynika przede wszystkim z wysokiego współczynnika oferowanych możliwości technicznych w stosunku do ceny oraz faktu, że jest bardzo
dobrym „nośnikiem” informacji protokołu IP. W oryginale Ethernet kojarzy się
z rywalizacyjnym dostępem do medium,
kolejki na portach
wyjściowych (egress)
tablica adresów MAC
szybka magistrala wewnątrz,
procesor – struktura
agent SNMP, serwer www
(konfiguracja i zarządzanie)
kolejki na portach
wejściowych (inress)
priorytet – high
priorytet – low
Rys. 3. Model logiczny przełącznika sieciowego (opracowano na podstawie [6, 8])
60
E_I_05_2010.indb 60
w w w. e l e k t r o . i n f o . p l
protokołem obsługującym zarządzanie
tym dostępem – CSMA/CD, wytycznymi dotyczącymi projektowania związanymi z szerokością segmentów i konkretną liczbą poszczególnych rodzajów
urządzeń, takich jak: stacje końcowe, regeneratory, huby. Standard w takiej formie oczywiście nie miałby zastosowania. Rewolucję przyniosła wersja standardu 802.3x (1997 rok), oferująca pracę
w pełnym dupleksie (nadawanie/odbieranie – jednocześnie w obydwu kierunkach). Ta data koreluje ze zmianą podejścia do realizacji systemów stacyjnych
i opracowaniem nowych norm. W aplikacjach stacyjnych wykorzystuje się zarządzalne przełączniki sieciowe pracujące w trybie FDX (Full Duplex) i przełączające na zasadzie store&forward. Eliminuje to wszystkie ograniczenia projektowe związane ze starszą wersją standardu. Granica odległości zależy w tym momencie głównie od tłumienia medium
transmisyjnego (dla światłowodów SM
dystanse nawet do 120 km). Opóźnienia
propagacji są zwykle pomijalne (dla skali lokalnej np. sieci podstacji) w stosunku do opóźnień wprowadzanych przez
urządzenia aktywne (przełączniki sieciowe, routery, serwery portów szeregowych). Takie podejście sprawia, że sieć
staje się bardziej wydajna.
Praca w pełnym dupleksie możliwa
jest dzięki zastosowaniu bardzo szybkich magistral wewnętrznych urządzeń,
co pozwala na równoległe obsługiwanie każdego dwukierunkowego kanału transmisji o podwojonej przepustowości – np. port 100 Mb/s – kanał transmisyjny o przepustowości 200 Mb/s, po
100 Mb/s w każdym kierunku. W dokumentacji urządzeń sieciowych często
można spotkać się z określeniem przepustowości całkowitej wyrażonej w PPS
(ang. packets per second) lub informacją że urządzenia mogą pracować z teoretyczną przepustowością maksymalną
(ang. full wire speed).
Każde urządzenie (stacja końcowa/
host) przypięte jest bezpośrednio do
portu przełącznika sieciowego połączeniem typu FDX. Eliminuje to kolizje, dokonując segmentacji sieci w warstwie 2
(zmniejszenie zasięgu domen kolizyjnych). Nazwa domena kolizyjna często
bywa źródłem nieporozumień – jej znaczenie w przypadku wykorzystywania
tylko i wyłącznie przełączników sieciowych pracujących w pełnym dupleksie
jest „potencjalne”. Można interpretować
ją jako obszar sieci, w którym mogłyby
wystąpić kolizje na skutek awarii, gdyby pracowały w nim urządzenia wykorzystujące komunikację w trybie HDX
(Half Duplex – pół dupleks).
Switch jest urządzeniem inteligentnym analizującym pola adresu źródłowego i docelowego ramki (adresy MAC).
Na podstawie tych analiz budowana jest
tablica asocjacji nazywana tablicą adresów MAC lub tablicą CAM. Dzięki temu
przełącznik przekazuje informacje tylko
na port prowadzący do zdefiniowanego w ramce odbiorcy. Każda ramka docierająca do przełącznika trafia do bufora kolejki portu wejściowego (ang. ingress), następnie sprawdzana jest jej poprawność (pole sumy kontrolnej FCS)
i na podstawie adresu MAC odbiorcy
kierowana na odpowiedni port wyjściowy (ang. egress). Na wyjściu w zależności od implementacji przełącznika
może również występować kolejka wyjściowa. Taka metoda przełączania nosi
nazwę zapamiętaj i przekaż (ang. store
&forward). W związku z tym, przełącznik sieciowy musi dysponować buforem
pamięci. Przydział takiego bufora zwykle realizowany jest dynamicznie. Często w specyfikacjach urządzeń podawana jest wielkość pamięci dla całego przełącznika sieciowego lub dla pojedynczego modułu w przypadku przełączników
o budowie modularnej. W przypadku
przeciążenia sieci (sytuacji, w której natężenie ruchu w danej chwili przekracza możliwości przełączania urządzeń
sieciowych), wszystkie pakiety, które
muszą czekać na obsłużenie, są wprowadzane do kolejki. W związku z tym
pojawia się zagadnienie powstawania
opóźnień kolejkowania. Po przekroczeniu rozmiaru bufora kolejne, nadcho-
nr 5/2010
10-05-05 09:40:21
wymagania
funkcjonalne i techniczne
Urządzenia infrastruktury teleinformatycznej stosowane w energetyce są narażone na takie same zakłócenia jak tradycyjne wyposażenie podstacji, w związku z czym muszą mieć
potwierdzoną odporność na występujące niekorzystne zjawiska i warunki
środowiskowe. Wymaganą odporność
określa fragment IEC61850-3 oraz standard IEEE1613. Urządzenia spełniające te
kryteria gwarantują poprawną pracę dla
wymienionych w normach warunków,
co oznacza brak utraty danych i brak
nr 5/2010
E_I_05_2010.indb 61
Rys. Z. Wieczorek
dzące ramki są ignorowane. Algorytm
działania kolejki może być realizowany na różne sposoby, np. FIFO (First In
First Out), WFQ (Weighted Fair Queueing), Round-Robin. Dodatkowo ramki
mogą nieść ze sobą informacje o priorytecie, z jakim powinny być obsługiwane. Ramka z priorytetem najwyższym
będzie przesuwana na początek kolejki (zgodnie z jej algorytmem działania).
[6, 8]. Dla sieci przemysłowych stosuje
się prosty mechanizm obsługi, gwarantujący bezwzględne pierwszeństwo danym o wyższym priorytecie. Priorytety mogą być nadawane w różnych warstwach. Przełączniki sieciowe są urządzeniami warstwy 2 (wg modelu OSI)
i mogą obsługiwać priorytety nadawane
ramkom w tej warstwie (zwykle zgodnie
ze standardem 802.1p). Część przełączników sieciowych ma również możliwość
obsługiwania pola priorytetu IPToS pakietu IP warstwy 3. Pierwszeństwo ma
zawsze priorytet warstwy niższej. Dodatkowo przełączniki wyposażone powinny być w mechanizmy HoL blocking
prevention – czyli gwarantowania poprawnej pracy przełącznika w przypadku przeciążenia pojedynczych portów
(mogłoby to wykorzystać całą przestrzeń
bufora pamięci switcha) oraz zapobieganiu przepełnieniu tablicy MAC (przy
przepełnionej tablicy adresów MAC
przełącznik będzie działał jak hub, czyli powielał otrzymane ramki na wszystkie swoje porty). Przepełnianie tablicy
MAC jest jednym z podstawowych ataków na sieci LAN Ethernet.
Rys. 4. Modelowanie komunikacji Ethernet/IP dla stacji elektroenergetycznej w symulatorze OPNET ITGuru
błędów transmisyjnych. Jeżeli chodzi
o samą konstrukcję fizyczną urządzeń,
standard nie narzuca żadnych wytycznych. Zwykle jest jednak ona konsekwencją wymagań związanych z jakością i niezawodnością transmisji. Dla
zwiększenia niezawodności stosowane są urządzenia chłodzone pasywnie
(konwekcyjne odprowadzanie ciepła),
z możliwością zasilania z dwóch niezależnych źródeł. Testy EPRI z 1997 roku
dowodzą, że obligatoryjne powinno być
wykorzystanie połączeń światłowodowych. Często w praktycznych rozwiązaniach stosowany jest kompromis (związany z kosztem urządzeń i okablowania)
i połączenia wewnątrz szaf realizowane są w z wykorzystaniem kabli typu –
ekranowana skrętka miedziana.
Z technicznego punktu widzenia powinno się jednak stosować tylko połączenia światłowodowe. Zwykle w związku z niewielkimi dystansami stosowany jest światłowód wielodomowy. Coraz
wyraźniej widoczny zaczyna być jednak
trend stosowania połączeń jednomodowych, co podwyższa koszt wprowadzenia systemu, ale czyni go jeszcze bardziej uniwersalnym i przyszłościowym.
Zastosowanie światłowodów przynosi
dodatkowe korzyści związane z separacją elektryczną poszczególnych par-
tii systemu. Do połączeń wykorzystywane mogą być różne złącza. Z analiz
porównawczych i dotychczasowych doświadczeń uruchomieniowych wynika,
że dedykowane powinny być tu złącza
SC lub LC. Złącza te wykazują się zbliżoną tłumiennością i własnościami mechanicznymi. Złącze LC duplex zyskuje coraz więcej popularności ze względu na swoje mniejsze rozmiary. Dobrze,
aby okablowanie i dobór urządzeń zakładały wykorzystanie jednego rodzaju złączy dla danego systemu stacyjnego, ponieważ eliminuje to potrzebę stosowania przejściowych kabli połączeniowych.
Najważniejsze cechy funkcjonalne
(oprócz wymienionych związanych ze
sposobem przełączania) przełączników
sieciowych to obsługa komunikacji grupowej (multikast) – zwykle na podstawie tworzenia tzw. wirtualnych podsieci VLAN, zgodnie z 802.1q, i ramek
z etykietami priorytetów. Konieczna jest
również obsługa protokołu rekonfiguracji topologii odpowiadającego za blokowanie tras nadmiarowych (do czasu
awarii trasy podstawowej). Wymaganie
dotyczące blokowania tras nadmiarowych związane jest z samą ideą przełączania – wystąpienie trasy zamkniętej
– pętli, powodowałoby zdefiniowanie
więcej niż jednej drogi do danego odbiorcy, co z kolei wpłynęłoby na powielanie pakietów krążących w sieci przez
każdy kolejny przełącznik. Liczba pakietów w takiej sytuacji rośnie wykładniczo aż do całkowitego przeciążenia sieci określanego jako sztorm rozgłoszeniowy. Kolejne ważne aspekty funkcjonalności switcha to możliwość zdalnego i bezpiecznego audytu i zarządzania
siecią, co realizowane jest zwykle za pomocą protokołu SNMP.
wyzwania projektowe
– wybrane mechanizmy
inżynierii ruchu,
zagadnienia migracji
do nowych rozwiązań
Projekt sieci informatycznej stacji powinien oczywiście zacząć się od
określenia liczby użytkowników wymieniających dane, rodzajów aplikacji
i wykorzystywanych protokołów, identyfikacji funkcji zaimplementowanych
w poszczególnych urządzeniach oraz
ilości danych związanych z daną funkcją i wymagań transmisyjnych dla tych
danych. Na potrzeby symulacji wykorzystano dostępne dane statystyczne
z dotychczasowo uruchomionych stacji oraz przykładowe wyniki kalkula-
w w w. e l e k t r o . i n f o . p l
61
10-05-05 09:40:21
automatyka
cji metodą PICOM, zaproponowaną
przez komitet CIGRE. Wyniki te zostały uśrednione z odpowiednim marginesem, w celu symulowania najgorszego przypadku (np. w metodzie PICOM
przyjęto implementację każdej funkcji w osobnym urządzeniu). Metoda PICOM pozwala na wyznaczenie ilości
wymienianych danych bez uwzględnienia tzw. narzutu poszczególnych protokołów. Określenie wielkości prawdopodobnych strumieni danych dla poszczególnych części systemu wymaga przemnożenia tych danych przez współczynnik n, gdzie n, w zależności od implementacji, może wahać się od kilku
do kilkudziesięciu [11]. Za wyjątkiem
komunikacji na poziomie szyny procesowej wyniki oscylują w granicach kilku – kilkunastu Mb na poziomie stacji
i pola. Przepustowość sieci na poziomie
100 Mb jest zdecydowanie wystarczająca dla spełnienia kryterium ilościowego. Dla szyny procesowej kryterium
ilościowe również miałoby szanse być
spełnione, dla niektórych, mniejszych
systemów, mimo że natężenie ruchu
jest największe właśnie tam.
Oprócz kryterium ilościowego należy jednak spełnić kryterium związane z czasem transmisji poszczególnych
rodzajów danych. Dane szyny procesowej wymagają transmisji z minimalnymi opóźnieniami i przy zwiększonym
obciążeniu opóźnienia wprowadzane
przez sieci 100 Mbps nie są do zaakceptowania. Rozwiązaniem jest zastosowanie sieci 1 Gb. Na tym etapie, symulacja
62
E_I_05_2010.indb 62
pomija wykorzystanie szyny procesowej w systemie.
Symulowany system sieciowy oparty na Ethernet obejmuje swoim zasięgiem poziom pola i stacji z przyłączem
do systemów nadzoru wyższego poziomu. Dla przyjętego modelu podstacji najbardziej krytyczną czasowo jest komunikacja międzypolowa, czyli przesyłanie komunikatów GOOSE. IEC 618505 definiuje klasy wydajności komunikacji i komunikaty GOOSE przypisane
są do klasy 1A. Oznacza to, że całkowite
opóźnienie transmisji powinno wynosić
nie więcej niż 3 ms. Opóźnienie transmisji wynika z: opóźnienia nadawania,
odbierania i przesyłu. Ich dopuszczalny udział procentowy określony został
odpowiednio na poziomie 40 % (1,2 ms),
40 % (1,2 ms), 20 % (0,6 ms). Opóźnienie
sieci LAN dla tych danych nie może więc
przekraczać 0,6 ms [11].
Na opóźnienie wnoszone przez sieć
składają się opóźnienia przełączania
i kolejkowania przełączników oraz
opóźnienie propagacji. Opóźnienia kolejkowania są zmienne i zależą od długości ramek, przepustowości łącza i natężenia ruchu w danym momencie [7].
W związku z tym, w projekcie należy
uwzględnić zasadę stosowania jak najmniejszej liczby przełączników sieciowych o większej liczbie portów, szczególne dla łączenia zabezpieczeń i sterowników polowych (pod warunkiem,
że łącze do każdego urządzenia w systemie lub samo urządzenie, jest rezerwowane). Na potrzeby symulacji przyję-
w w w. e l e k t r o . i n f o . p l
to model stacji z dwoma rozdzielniami.
Dla każdej rozdzielni przyjęto 15 pól.
Każde pole obsługiwane jest przez sterownik polowy z opcją „dual homing”
(podwójne połączenie – podstawowe
(aktywne) i rezerwowe (blokowane
sprzętowo)) oraz terminale zabezpieczeniowe – podstawowy i rezerwowy.
Dla symulacji najgorszego przypadku
każde połączenie zostało potraktowane
jak osobne urządzenie generujące dane.
W praktyce tylko połowa połączeń będzie aktywna w danym momencie.
W nastawni zaplanowane zostały sterowniki stacyjne (podstawowy, rezerwowy), stanowisko operatorskie HMI
(dual homing), serwer WWW, bramka
komunikacyjna, routery ze zintegrowaną ścianą ogniową (ang. firewall) (podstawowy, rezerwowy). Urządzenia poziomu nastawni komunikują się z urządzeniami poziomu pola z wykorzystaniem usług raportowania, zapisu/odczytu danych, oraz sterowań. Wszystkie te
usługi wykorzystują pełny stos protokołów i w związku z tym zostały zasymulowane jako aplikacje bazodanowe i FTP
ze względu na podobieństwo działania
w aspekcie charakterystyki strumieni
danych. Dodatkowo w nastawni zostały dodane aplikacje serwera WWW dla
komunikacji z centrum nadzoru. Alternatywnie możliwe jest przeprowadzenie testów z wykorzystaniem strumieni danych protokołu IP określonych wybraną funkcją statystyczną. Zarówno
terminale zabezpieczeniowe, jak i sterowniki polowe zostały zasymulowane
z wykorzystaniem obiektów symulatora
„Ethernet Station” lub „Ethernet_RPG_
Station”, które pozwalają na określenie
funkcji rozkładu ilości, częstości oraz
długości generowanych pakietów
wyniki
wstępnych symulacji
Symulacje prowadzono w oparciu
o akademicką licencję oprogramowania OPNET ITGuru. W planach jest przeprowadzenie symulacji porównawczych
bazujących na symulatorze NS-2, który
jest dostępny na bazie licencji publicznej. Model przełącznika sieciowego symulatora OPNET pozwala na symulo-
wanie działania VLAN 802.1q, nadawania priorytetów 802.1q, wykorzystania
protokołu rekonfiguracji w standardzie
RSTP 802.1w. Możliwości symulatora pozwalają m.in. na testowanie działania
usług DiffServ (priorytety IPToS), dynamicznego protokołu filtrowania grup
multikastowych – IGMP oraz na przeprowadzenie bardzo szczegółowych symulacji związanych z konkretną implementacją poszczególnych urządzeń oraz
protokołów i aplikacji. Na obecnym etapie przeprowadzono symulacje wstępne, obejmujące wybór odpowiedniej
topologii sieci, konfiguracji protokołu
RSTP, wykorzystanie kreowania podsieci wirtualnych wraz z nadawaniem
priorytetów poszczególnym rodzajom
ruchu, w kontekście opóźnień dla poszczególnych jego rodzajów. Dla wybranego modelu stacji zastosowano w sumie 12 szesnastoportowych przełączników sieciowych (z przeprowadzonych
poszukiwań wynika, że są na rynku rozwiązania umożliwiające taką konfigurację portów i jednocześnie spełniające wymagania środowiskowe określone w normie). Wykorzystanie przełączników wieloportowych jest szczególnie
istotne dla większych systemów, ponieważ ogranicza to liczbę przeskoków (ang.
hop), powodujących opóźnienia w sieci.
Optymalną wydaje się być topologia złożona z wzajemnie połączonych pierścieni (pierścień główny + osobne pierścienie dla każdej rozdzielni), ewentualnie
topologia niepełnej siatki.
Pod względem technicznym oczywiście najlepiej byłoby, gdyby każdy
przełącznik rozdzielni był bezpośrednio przypięty do przełącznika nastawni. Taka topologia generowałaby jednak nieakceptowalne koszty okablowania. Topologie połączonych pierścieni/niepełnej siatki są kompromisem pomiędzy kosztami okablowania
a potrzebą zapewnienia niezawodności w formie budowania nadmiarowej
topologii fizycznej. W przypadku topologii pierścieni lub niepełnej siatki, wskutek działania protokołu RSTP
powstają podstawowe i zapasowe trasy przesyłu pomiędzy poszczególnymi
urządzeniami w sieci. Protokół RSTP
wyznacza trasy na podstawie algoryt-
nr 5/2010
10-05-05 09:40:24
nr 5/2010
E_I_05_2010.indb 63
na bazie wstępnych symulacji wyniki, dotyczące poziomu natężenia ruchu
(20 - 30 % wykorzystania pasma) i wielkości opóźnień (0,5 - 0,8 ms), są satysfakcjonujące. W planach jest przeprowadzenie bardziej szczegółowych symulacji, ze
szczególnym uwzględnieniem zachowania się opóźnień kolejkowania przełączników sieciowych.
reklama
mu związanego z wyborem głównego
przełącznika w sieci, tzw. „root” oraz
wyznaczeniem portów dla tras podstawowych i rezerwowych. W projekcie powinna być uwzględniona konfiguracja protokołu RSTP – administrator może mieć wpływ na działanie
protokołu poprzez zmianę poszczególnych parametrów przełączników
(priorytet portu, priorytet przełącznika, parametry czasowe). Dobór usytuowania przełącznika głównego ma
bezpośredni wpływ na długość tras
przesyłu (a więc i opóźnienie) pomiędzy wybranymi urządzeniami w stanie normalnym i w stanach awarii. Na
rysunku 5. przedstawiono szybkość
działania RSTP-2004 (IEEE 802.1d wersja 2004 r.) dla topologii pojedynczego
pierścienia (wyniki testów firmy GarrettCom, seria przełączników zarządzanych Magnum).
Protokół RSTP może działać dla całej
struktury sieciowej (i w takiej formie
jest obsługiwany przez większość przełączników sieciowych) lub dla poszczególnych sieci wirtualnych VLAN z osobna. Standard STP/RSTP jest standardem otwartym, co gwarantuje współpracę pomiędzy urządzeniami różnych
producentów, należy jednak pamiętać
o ograniczeniach poszczególnych wersji. Wersja standardu z 1998 roku zakładała ograniczenie do kilkunastu urządzeń (switchy, mostów, routerów) w sieci oraz charakteryzowała się stosunkowo długim (skala pojedynczych sekund)
czasem rekonfiguracji. Ograniczenia te
częściowo znosi wersja standardu 802.1d
pochodząca z 2004 roku (pojedyncze ms/
switch, kilkadziesiąt urządzeń w sieci),
poprawiająca warunki zbieżności protokołu. Czas rekonfiguracji przełączników sieciowych jest istotny, ponieważ
podczas zmiany topologii sieci komunikacja zostaje przerwana i wszystkie
dane generowane podczas jej trwania
będą utracone.
Dla przyjętego rozwiązania, czyli topologii wzajemnie połączonych pierścieni, sieci wirtualnych VLAN dla zabezpieczeń i sterowników każdej rozdzielni oraz przyznania najwyższego priorytetu dla ruchu symulującego przesyłanie komunikatów GOOSE, uzyskane
podsumowanie
Oprócz problematyki zagadnień związanych z funkcjonalnością systemu, projekt sieci powinien zwracać szczególną
uwagę na kwestie bezpieczeństwa. Przeprowadzone symulacje i analizy systemu komunikacji zgodnego z IEC 61850
nie obejmują ani problemów komunikacji pomiędzy stacjami, ani zagadnień
związanych z synchronizacją czasową.
Nadal trwają prace nad częściami normy określającymi taką problematykę.
Rozważane, ale niepostanowione, jest
zastosowanie Ethernetu jako systemu
globalnego (Ethernet end-to-end), szczególnie, że prace nad protokołami umożliwiającymi zastosowania Ethernetu na
taką skalę nadal trwają [9]. Aktualnie
można stwierdzić, że standard IEC 61850
został zaakceptowany w środowiskach
energetycznych mimo sceptycznego
podejścia na początku. Doświadczenia
uruchomionych systemów pokazują łatwość w zastosowaniu i wygodę użytkowania, mimo skomplikowanej implementacji i dużego wysiłku początkowego. Obecnie dostępne są gotowe biblioteki ułatwiające wykonanie interfejsów
komunikacyjnych zgodnych z normą.
Zwiększa się również zakres doświadczeń i wiedzy związanej z ideą działania
normy oraz zrozumienie zasad działania
sieci przełączanej Ethernet. Dostępne są
narzędzia, które w połączeniu z modelami komunikacyjnymi zdefiniowanymi w IEC 61850 umożliwiają przeprowadzenie symulacji działania systemu
z perspektywy jego wymagań komunikacyjnych, co znacznie ułatwia projektowanie sieci.
w w w. e l e k t r o . i n f o . p l
63
10-05-05 09:40:25