Część I Załącznik nr 1 Opis środowiska Zamawiającego

Załącznik nr 1
Opis środowiska Zamawiającego
I.
1.
AI_01 Mechanizmy replikacji i zabezpieczenia danych w CPD MF
Sprzęt i oprogramowanie Zamawiającego
1.1. Oprogramowanie:
Zamawiający zastrzega, że na etapie realizacji umowy wersje oprogramowania mogą
występować w nowszych wersjach.
a) Licencje wirtualizatora pamięci masowych IBM SVC:
Produkt
Opis
D0UZCLL IBM SmartCloud Virtual Storage Center
Ilość
500
Tabela 1 Oprogramowanie wirtualizatora IBM SVC
1.2. Sprzęt:
a)
Wirtualizator macierzy IBM SAN Volume Controller (SVC), 8 nodowy klaster:
Produkt
Opis
SVC Storage Engine 2145- Węzeł klastra wirtualizatora SVC
CG8
SVC Storage Engine 2145- Węzeł klastra wirtualizatora SVC
DH8
Ilość
6
2
Tabela 2 Specyfikacja wirtualizatora IBM SVC
1.3.
Zakres rozwiązania
Wykonany system mechanizmów replikacji i zabezpieczenia danych umożliwia
bezpieczne przechowywanie danych w urządzeniach pamięci masowych wraz z
szybkim dostępem do nich za pośrednictwem systemu komunikacji SAN w CPD OP
Radom przy użyciu protokołu Fibre Channel. Realizuje funkcje związane z
zarządzaniem komponentami systemu, zmianą konfiguracji, rozbudową oraz
mapowaniem odpowiednich zasobów do poszczególnych środowisk i systemów
biznesowych.
Dla zapewnienia równomiernego obciążenia interfejsów wirtualizatorów pamięci
masowych, systemy operacyjne (takie jak RedHat Linux, Windows Server na
serwerach fizycznych oraz VMware ESXi) wykorzystują wbudowane mechanizmy do
wielościeżkowości.
1
Zostały zrealizowane funkcjonalności związane z zarządzaniem infrastrukturą pamięci
masowych.
Lp.
Nazwa funkcji
Opis funkcjonalności
Bezpieczeństwo
przechowywanych
danych
jest
realizowane przy użyciu redundantnych komponentów
sprzętowych, dysków zapasowych (spare), mechanizmów
RAID.
2
Izolacja
oraz Izolacja dostępu do zasobów dyskowych została
selektywny
zrealizowana poprzez mapowanie obszarów pamięci
dostęp
masowych do odpowiednich środowisk.
3
Zmiana
Dostarczone rozwiązanie umożliwia dokonywanie zmian
konfiguracji
konfiguracyjnych.
4
Skalowalność
Możliwość rozbudowy o dodatkowe bloki funkcjonalne
(rozbudowa istniejących macierzy i wirtualizatorów
pamięci masowych SVC, jak również możliwość
podłączenia pamięci masowych innych producentów do
SVC)
5
Monitorowanie
System zapewnia monitorowanie i diagnostykę urządzeń
systemu.
Tabela 3 Funkcjonalność systemu
1
Bezpieczne
przechowywanie
danych
1.4. Środowisko
systemu
Środowisko systemu mechanizmów replikacji i zabezpieczenia danych będące
centralnym elementem składowania danych jest newralgicznym systemem CPD MF.
Musi ono pracować w trybie ciągłym, w celu zapewnienia ciągłości pracy obszarów
biznesowych jak i infrastrukturalnych.
Zapewnia bezpieczeństwo przechowywanych danych poprzez redundantną
architekturę macierzy dyskowych i wirtualizatora pamięci masowych SVC. Realizacja
zabezpieczeń danych realizowana jest za pomocą wewnętrznych mechanizmów
(zabezpieczenia typu RAID, zapasowe dyski przejmujące funkcje uszkodzonego
mechanizmu w przypadku awarii).
Dodatkowym elementem zabezpieczenia dostępu do danych jest zastosowanie
mechanizmów mirroru na urządzeniu SVC w celu zabezpieczenia przed potencjalnym
uszkodzeniem jednej z macierzy w ramach pojedynczego ośrodka przetwarzania.
System mechanizmów replikacji i zabezpieczenia danych został zbudowany z macierzy
dyskowych klasy Enterprise i ośmionodowego klastra SVC.
Dla systemu mechanizmów replikacji i zabezpieczenia danych występuje tylko
środowisko produkcyjne, do którego podłączone są środowiska produkcyjne,
szkoleniowe, testowe i rozwojowe systemów biznesowych oraz infrastrukturalnych
Ministerstwa Finansów.
Obsługa systemów biznesowych i infrastrukturalnych przez system replikacji i
zabezpieczenia danych z poziomu macierzy dyskowych nie różni się ze względu na
klasy systemów i są dostępne na tym samym poziomie.
Różnica dotyczy dodatkowych zabezpieczeń produkcyjnych systemów biznesowych i
infrastrukturalnych na wypadek awarii pojedynczej macierzy dyskowej, poprzez
2
dodatkowy mirror z poziomu SVC. W tym celu konfiguracje dysków logicznych dla
systemów Klasy I na macierzach jest odwzorowana 1:1. W przypadku systemów Klasy
IV (np. testowych i deweloperskich), zasoby dyskowe są udostępniane odpowiednio z
jednej macierzy za pomocą SVC.
1.5. Architektura logiczna
System mechanizmów replikacji i zabezpieczenie danych zbudowany jest z poniższych
komponentów.
Lp Nazwa komponentu
.
2
Wirtualizator
pamięci
masowych
(Klaster
SVC)
Opis funkcjonalny realizowany przez komponent
Urządzenie wirtualizacyjne SAN Volume
Controller (SVC) składa się z czteronodowego
klastra.
Klaster SVC jest odpowiedzialny za podział i
udostępnienie
zasobów
dyskowych
poszczególnym systemom biznesowym i
infrastrukturalnym.
Dla zapewnienia wysokiej dostępności danych w
przypadku awarii pojedynczej macierzy, SVC
realizuje mirror pomiędzy macierzami dla
systemów Klasy I jak również dla systemów
Klasy II i III w sytuacji, gdy będą
wykorzystywane w CPD MF.
Wspomniana konfiguracja urządzeń macierzy
dyskowych oraz urządzeń wirtualizujących
zakłada, że kontrola nad zasobami macierzy
dyskowych będzie odbywała się na poziomie
urządzeń wirtualizujących – SVC. Jednocześnie
część zasobów dla systemów biznesowych w
Klasie II, III i IV ma udostępnione zasoby
bezpośrednio z macierzy dyskowych.
3
System
komunikacji Medium transmisyjne do udostępniania zasobów
sieci SAN
pamięci masowych dla systemów klienckich za
pomocą protokołu Fibre Channel.
4
Serwery
Przetwarzanie danych na obszarach mapowanych
z pamięci masowych.
5
Konsola SSPC
Stacja zarządzająca macierzy.
6
Serwer TPC
Serwer IBM Tivoli Strage Productivity Center
5.1- służący do zarządzania i monitorowania
pamięci masowych.
Tabela 4 Charakterystyka komponentów sieci SAN
3
Poniższy rysunek przedstawia połączenia pomiędzy poszczególnymi komponentami.
Rysunek 1 Schemat blokowy systemu mechanizmów replikacji i zabezpieczenia
danych dla SVC
Liniami przerywanymi zaznaczono komponenty systemu komunikacja w sieci SAN
CPD MF. W przypadku strzałek – ciągłe oznaczają fizyczne połączenia pomiędzy
komponentami, a przerywane – połączenia realizowane logicznie (np. zonning,
interfejsy komunikacyjne).
Wszystkie zasoby udostępniane z macierzy w klasie I są zwrtualizowane za pomocą
SVC.
Bloki architektoniczne w klasie II i III nie są udostępniane za pośrednictwem SVC tylko
prezentowane bezpośrednio do serwerów z macierzy.
1.6.
Oprogramowanie do zarządzania w systemie replikacji
Do zarządzania macierzami dyskowymi w systemie replikacji i zabezpieczenia danych
służą: oprogramowanie zarządzające macierzami oraz konsola TPC.
4
Macierze raz skonfigurowane nie wymagają dodatkowych (dalszych) konfiguracji –
chyba, że nastąpi rozbudowa środowiska o kolejne komponenty macierzy dyskowych.
Do zarządzania SVC w systemie replikacji i zabezpieczenia danych służą: przeglądarka
internetowa, oprogramowanie TPC oraz sesja terminalowa
1.7.
Konfiguracja mirroru pomiędzy macierzami w SVC
Dla systemów Klasy I, które wymagają ciągłego trybu działania i wspomagają główne
procesy biznesowe w resorcie finansów oraz ich niezawodność decyduje o sprawności
działania całego resortu i ma znaczenie strategiczne (Klasa I) został skonfigurowany
mirror pomiędzy macierzami realizowany przez SVC.
Parametr mirroru ustawiony jest na "mirrorwritepriority redundancy".
Parametr "mirrorwritepriority redundancy" – oznacza, że zawsze system dostanie
potwierdzenie o zapisie gdy na obu kopiach mirroru znajdą się dane.
Mirror danych odbywa się pomiędzy Mdisk Grupami tego samego typu – czyli
data_stg1 i data_stg_2 oraz inf_stg_1 i inf_stg_2. Definiując dysk logiczny vdisk –
definiujemy na jakich MdiskGrupach znajdują sie kopie mirroru.
Inicjalnie podczas konfiguracji mirroru został ustawiony parametr określający
szybkość synchronizacji kopii mirroru (syncrate = 80, co oznacza, że SVC będzie
synchronizować dane z prędkością 16Mbps).
Brak mirroru jest tylko dla systemów, które działają okresowo lub dla środowisk Klasy
II, III i IV, zarówno dla DataStore’ów VMware oraz Hyper-V jak i dysków typu RDM
oraz dysków dla FlashCopy.
1.8. Konfiguracja
FlashCopy w SVC
W ramach realizacji mechanizmów replikacji danych, zostały skonfigurowane zasoby
dyskowe na potrzeby mechanizmów FlashCopy dla produkcyjnych baz danych.
Dla baz danych Oracle zostały zdefiniowane dwa obszary dla FlashCopy, zasoby
znajdują się na obu macierzach.
Dla baz danych SQL został zdefiniowany jeden obszar dla FlashCopy, zasoby znajdują
się na jednej macierzy.
1.9.
Centralny system zarządzania i monitorowania
W ramach budowy systemu AI_01 zostało wykorzystane oprogramowanie IBM Tivoli
Storage Productivity Center 5.1. TPC jest centralnym systemem, z którego
Administrator może zarządzać oraz monitorować pamięci masowe.
Bezpośrednio z systemu TPC można wykonywać konfiguracje nowych LUN’ów
zarówno z macierzy jak i SVC. Dodatkowo z TPC administrator może uruchamiać
natywne interfejsy graficzne producentów przełączników, macierzy i SVC.
5
.
II.
AI_08 System wirtualizacji zasobów w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1. Oprogramowanie:
Platforma wirtualizacji zasobów opiera się na funkcjonalnościach oprogramowania wiodącego
producenta VMware.
Platforma wirtualizacji zasobów składa się z poniższych bloków licencji:
Nazwa komponentu
Wersja licencji
Ilość sztuk
vSphere
vSphere
with
Operations 657
Management 5.5 Enterprise Plus
vCenter Server
5.5 Standard per Instance
3
Tabela 6 Ilość licencji oprogramowania wirtualizatora.
Platforma wirtualizacji zasobów realizuje również usługę ochrony AV dla udostępnianych
przez nią bloków architektonicznych. Do tego celu wykorzystuje oprogramowanie Trend Micro
Deep Security.
W CPD MF wykorzystywana jest aktualnie licencja na oprogramowanie Trend Micro Deep
Security umożliwiająca ochronę:
471 CPU – funkcjonalności AntyMalware oraz Web Reputation;
8 CPU - funkcjonalności Integrity Monitoring oraz Log Inspection;
Eksploatowane rozwiązanie objęte jest usługami gwarancji i wsparcia technicznego do dnia 02
października 2018 roku.
Infrastruktura eksploatowanego rozwiązania w OP Radom przedstawia się następująco:






133 hosty ESXi (407 CPU) objęte ochroną AntyMalware oraz Web Reputation
4 hosty ESXi (8 CPU) objęte ochroną Integrity Monitoring oraz Log Inspection
4 serwery vShield Manager
1 serwer MS SQL
1 serwer Deep Security Manager
4 serwery Relay
6
 4 serwery SPS (Smart Protection Server)
1.2. Sprzęt:
Infrastruktura sprzętowa składa się z wielu rodzajów rozwiązań dostarczanych w ramach
kolejnych faz projektów, spełniających wymagania architektoniczne.
1.3. Środowisko
systemu
System został zainstalowany na fizycznych maszynach, które udostępniają wysokodostępne
klastry wirtualne. Całe środowisko zostało zbudowane w sposób zapewniający ciągłość
świadczenia usług, nawet w przypadku awarii jednego z elementów infrastruktury systemu
wirtualizacji zasobów.
Jako podstawowy system operacyjny dla serwerów pełniących rolę wirtualizatora w ramach platformy
wirtualizacyjnej CPD Radom przyjęto VMware ESXi 5.x.
Infrastruktura sprzętowa składa się z wielu rodzajów rozwiązań sprzętowych dostarczanych w
ramach kolejnych faz projektów, spełniających wymagania architektoniczne określone przez
Zamawiającego.
Całość jest zarządzana przez oprogramowanie wirtualizacyjne: C.VM.X86.VMW
W szczególności zastosowano następujące licencje:
Nazwa komponentu
vSphere
vCenter Server
Wersja licencji
Ilość sztuk
vSphere
with
Operations 657
Management 5.5 Enterprise Plus
5.5 Standard per Instance
3
Ze względu na różnorodność zastosowanego sprzętu struktura klastrów Vmware wynika z
pogrupowania sprzętu wg typu, oraz rodzaju oprogramowania systemowego zastosowanego na
maszynach wirtualnych.
Każdy z klastrów ma włączoną funkcjonalność: HA, DRS, DPM.
Całość jest kontrolowana przez 3 instancje oprogramowania Vmware vCenter Server Standard
7
1.4. Architektura
logiczna
Architektura logiczna rozwiązania
System Witrualizacji zasobów:
System wirtualizacji zasobów przewiduje budowę warstwową bloków
architektonicznych wspierających systemy biznesowe. Do budowy środowiska IT w CPD MF
został przyjęty czterowarstwowy model ogólny systemów. Uzasadnieniem dla tego modelu jest
charakter środowiska IT, które jest zbudowane w Ośrodkach Przetwarzania CPD MF.
Głównymi składowymi obecnie budowanych systemów biznesowych są następujące warstwy:
 warstwa proxy
 warstwa aplikacyjna
 warstwa bazodanowa
 warstwa zasobów danych.
Wszystkie te warstwy odgrywają ważną rolę w modelach środowiska IT chmur
obliczeniowych, ponieważ są one przedmiotem oferty w katalogach usług związanych z ofertą
dla klientów.
Warstwa proxy
Warstwa aplikacyjna
Warstwa bazodanowa
Warstwa zasobów danych
(zasoby macierzowe warstw)
Rysunek 17 Model warstwowy systemów CPD MF
Metodyka TOGAF przewiduje i zaleca budowę bloków architektonicznych w
środowiskach IT. Bloki takie dobrze charakteryzuje - używana technologia w budowanym
środowisku IT oraz uproszczenia rozbudowy tego środowiska.
Bloki architektoniczne w 3 pierwszych warstwach modelu warstwowego będą
charakteryzować się:
 platformą sprzętową
 metodą wirtualizacji
 systemem operacyjnym
 platformą aplikacyjną
Zasada budowy takich bloków jest oparta na platformie sprzętowej. Następnie sprzęt
poddaje się wirtualizacji – tak dalece jak to jest możliwe i uzasadnione rachunkiem
ekonomicznym. W ten sposób uzyskuje się bloki typu IaaS (ang.Infrastructure as a Service).
8
Potem, już jako obiekty logiczne środowiska, są wyposażane w system operacyjny i ten sposób
uzyskuje się bloki typu PaaS (ang. Platform as a Service – tylko z systemem operacyjnym). W
kolejnym kroku dokonuje się wyboru i instalacji dodatkowych komponentów platformy
aplikacyjnej (środowisko wykonywania aplikacji) dla bloków typu PaaS albo instalacji
aplikacji. Po uformowaniu takich bloków środowisko jest gotowe do udostępnienia ich
klientom.
W ramach budowy systemów biznesowych i infrastrukturalnych można używać dwóch
rodzajów bloków:
 typu IaaS
 typu PaaS
Bloki architektoniczne typu IaaS będą zawierały platformę sprzętową , jako bloki
fizyczne, i platformę wirtualizacyjną jako bloki wirtualne. Bloki typu PaaS, oprócz platformy
sprzętowej, platformy wirtualizacyjnej, będą zawierały system operacyjny lub system
operacyjny i platformę aplikacyjną, czyli środowisko do uruchamiania aplikacji.
Bloki typu IaaS będą podstawą do tworzenia usług typu IaaS, a bloki typu PaaS będą
używane do usług PaaS.
Oprócz bloków architektonicznych do budowy systemów informatycznych będą
zdefiniowane bloki architektoniczne do tworzenia infrastruktury komunikacyjnej w zakresie
LAN, WAN, SAN oparte o metodykę TOGAF.
IaaS
PaaS/OS
PaaS /APP
Blok typu PaaS
Platforma Aplikacyjna
APP4
APP3
APP2
APP1
Wybór platformy
aplikacyjnej lub
aplikacji
OS3
OS2
OS1
Wybór systemów
operacyjnych
Blok typu PaaS
Systemy Operacyjne
Blok typu IaaS
logiczne obiekty wirtualne i fizyczne
WIR3 Mechanizmy
WIR2 wirtualizacji
WIR1
zasobów
Zasoby fizyczne
Rysunek 18 Schemat budowy bloków architektonicznych i usług IaaS i PaaS
9
Trend Micro Deep Security:
Podstawowa architektura logiczna rozwiązania TM Deep Security została przedstawiona na
rysunku poniżej.
Rysunek 19. Architektura TM Deep Security.
Trend Micro Deep Security Manager – to aplikacja służąca, jako centralna konsola do
zarządzania środowiskiem Deep Security. Za pomocą TM Deep Security Manager, można
tworzyć/modyfikować/zarządzać politykami bezpieczeństwa, tworzyć raporty bezpieczeństwa
oraz monitorować środowisko pod kątem zagrożeń.
Database – baza danych na potrzeby Deep Security Managera. Konfiguracja systemu, oraz
zdarzenia związane z naruszeniem bezpieczeństwa, przechowywane są w bazie danych.
TM Deep Security Virtual Appliance (DSVA) - wirtualne urządzenie (działające jako
wirtualna maszyna), pozwalające na wdrażanie bezagentowej ochrony dla maszyn wirtualnych
w środowisku VMware vSphere. Wymagany jest jeden DSVA per ESX host.
TM Deep Security Agent (DSA) – agent instalowany na systemie operacyjnym zapewniający
ochronę agentową. Stosowany głównie w przypadku maszyn fizycznych lub maszyn
wirtualnych, dla których wymagana funkcja ochrony bezagentowej nie jest wspierana.
TM Deep Security Relay – dostarcza aktualizacje bezpieczeństwa dla DSA oraz DSVA.
10
VMware vShield – rozwiązanie składające się z konsoli zarządzającej – VMware vShield
Manager oraz agenta zainstalowanego na hostach ESXi - VMware vShield Endpoint.
Rozwiązanie to pozwala na integrację systemów firm trzecich z rozwiązaniami VMware w celu
zapewnienia mechanizmów ochrony.
VMware vShield Manager służy do zarządzania środowiskiem VMware vShield.
VMware vShield Endpoint – pozwala na bezagentową ochronę wirtualnych maszyn przy
wykorzystaniu oprogramowania firm trzecich.
III.
AI_11 Bramka internetowa w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
Symbole graficzne użyte w tym dokumencie przedstawiono w poniższej tabeli.
Symbole
wynikające
z
Symbole na schematach
architektury referencyjnej
Opis symbolu
Ruter
R
Przełącznik LAN Rdzeniowy
Przełącznik
Dystrybucyjny
Nexus)
LAN
(Cisco
Przełącznik LAN dostępowy
Przełącznik Dystrybucyjny w
bramce internetowej (Cisco
Catalyst 650x)
SRR
SDR
SDV
SDR
Wirtualny
przełącznik
dystrybucyjny VSS (ang.
Virtual Switching System)
Urządzenie
równoważące
ruch sieciowy (Cisco ACE)
LB
Zapora sieciowa z IPS
11
Symbole
wynikające
z
Symbole na schematach
architektury referencyjnej
Opis symbolu
Zapora sieciowa
FW
Bypass z interfejsami 1Gb
lub 10Gb
Urządzenie (appliance) IPS
Blok ruterów
IPS
R
Blok
przełączników
rdzeniowych
SRR
Blok
przełączników
dystrybucyjnych
SDR
Blok
przełączników
dostępowych
SDV
Blok
przełączników
dostępowych w kasecie
Blok
równoważących
sieciowy
urządzeń
ruch
Blok Zapór sieciowych
Blok urządzeń IPS
SDV
LB
FW
IPS
1.1. Oprogramowanie:
12
Nazw
Lp a
.
aplik
acji
Cisco
Prime
LMS
1.
Wer
sja
P/N
LPILM
4.2.2
S4250
Typ licencji
Licz
ba
pacz
ek
licen
cji
Prime
Infrastructure
LMS 4.2 - 50 1
Device Base
Lic
Zastoso
wany
klucz
licencyj
ny
Liczb
a
licenc
UWAGI
(został
ji w
uzupełni
paczc
ony w
e
trakcie
impleme
ntacji)
100
Licencja
na
oprogramowanie Cisco
Prime
LMS
4.2,
umożliwia zarządzanie do
100 urządzeń.
1.2. Sprzęt:
1.2.1 Rutery w bramce UI LAN.RT
Dwa, redundantne routery CISCO ASR pracujące w klastrze A/P.
1.2.2 Rutery w bramce Internet LAN.RT
Dwa, redundantne routery CISCO ASR pracujące w klastrze A/P.
1.2.3 Przełączniki dostępowe Internet C.LAN.SW4
Dwa, redundantne routery CISCO 37xx pracujące w klastrze A/P.
1.2.4 Przełączniki dystrybucyjne bramki C.LAN.SW5 oraz urządzenia
równoważącego ruch C.LAN.LB.3
Dwa, redundantne przełączniki CISCO 65xx wraz z modułami ACE pracujące w
klastrze A/P.
1.2.5 Przełączniki dostępowe UI C.LAN.SW4
Dwa, redundantne routery CISCO 37xx pracujące w klastrze A/P.
1.3. Zakres
rozwiązania
Zakresem zbudowanego rozwiązania jest architektura systemu Bramki Internetowej w CPD
MF. Wdrożona sieć w CPD MF obejmuje ośrodek OP Radom.
W ośrodku OP Radom została zbudowana sieć o strukturze hierarchicznej składająca się z:

bloków ruterów realizujących dostęp do sieci zewnętrznych,
13

warstwy dostępowej realizowanej na przełącznikach dostępowych,

bloku urządzeń Firewall

warstwy dystrybucyjnej przez którą przepływa ruch z/do sieci LAN/WAN

Blok dystrybucyjny realizuje również funkcjonalność równoważenia ruchu sieciowego
za pomocą modułów zainstalowanych w przełącznikach tego bloku. Równoważenie
ruchu jest realizowane do serwerów PROXY, zbudowanych na serwerach typu blade w
obszarze sieci LAN i podłączonych do warstwy dystrybucyjnej Bramki Internetowej.
Struktury Bramki Internetowej są przygotowane do realizacji połączenia do sieci rozległej
WAN UI zapewniającej łączność dla urzędów administracji publicznej i użytkowników
instytucjonalnych. Sieć LAN w OP Radom posiada również dostęp do Internetu poprzez osobne
struktury sieciowe Bramki Internetowej (osobne rutery, firewalle oraz urządzenia IPS)
podłączone do wspólnej warstwy dystrybucji bramki.
Pod względem funkcjonalnym system będzie oferował funkcje zawarte w poniższej tabeli
Funkcjonalność systemu
Lp.
Nazwa funkcji
LAN Bramki
Opis funkcjonalności
Sieć lokalna bramki dostępowej CPD MF
Internet
Styk z siecią Internet
WAN
Połączenie z sieciami zewnętrznymi (administracja
publiczna, użytkownicy instytucjonalni)
Główne funkcje systemu w OP Radom są następujące:

Zapewnienie infrastruktury sieciowej dla niezależnego podłączenia do sieci Internet w
OP Radom

Zapewnienie infrastruktury sieciowej dla niezależnego podłączenia do sieci WAN UI
zapewniającego komunikację z Użytkownikami Instytucjonalnymi (m.in. administracja
publiczna) w OP Radom

Zapewnienie nieprzerwanego dostępu do serwisów aplikacyjnych

Zapewnienie niezależnego filtrowania ruchu sieciowego na styku z siecią Internet w OP
Radom

Zapewnienie niezależnego filtrowania ruchu sieciowego na styku z siecią WAN w OP
Radom

Zapewnienie systemu zarządzania siecią pozwalającego wykonywanie kopii
zapasowych konfiguracji urządzeń sieciowych, aktualizacje oprogramowania urządzeń
sieciowych, zdalną modyfikację konfiguracji i monitorowanie zmian konfiguracji oraz
monitorowanie stanu urządzeń sieciowych systemu Bramki Internetowej.
14
IV.
AI_12 System komunikacji LAN/WAN w CPD MF
1. Sprzęt i oprogramowanie Zamawiającego
1.1. Oprogramowanie:
Nazw
Lp a
.
aplik
acji
Wer
sja
P/N
Typ licencji
Licz
ba
pacz
ek
licen
cji
Prime
Infrastructure
LMS 4.2 - 50 1
Device Base
Lic
2.
Cisco
Prime
LMS
LPILM
4.2.2
S4250
3.
Solar
winds
Netw
ork
Confi
gurati
on
Mana
ger
Orion
Netw
ork
Confi
gurati
7.1.1
1
on
Mana
ger v7
DL50
1
Zastoso
wany
klucz
licencyj
ny
Liczb
a
licenc
UWAGI
(został
ji w
uzupełni
paczc
ony
w
e
trakcie
impleme
ntacji)
Licencja
na
oprogramowani
e Cisco Prime
LMS
4.2,
umożliwia
zarządzanie do
150 urządzeń.
150
Licencja
umożliwi
a
zarządze
nie
do
100
urządzeń
Solarwinds
Network
Configuration
Manager
15
1.2. Sprzęt:
1.2.1 Przełączniki rdzeniowe sieci LAN/WAN C.LAN.SW1
Dwa, redundantne przełączniki rdzeniowe (CISCO Nx7xxx).
1.2.2 Przełączniki dystrybucyjne sieci LAN/WAN C.LAN.SW2
Dwa, redundantne przełączniki CISCO Nx7xxx pracujące w klastrze A/A.
1.2.3 Urządzenia równoważące ruch C.LAN.LB1 z modułem LB
Dwa, redundantne przełączniki CISCO 65xx z modułami LB ACE pracujące w
klastrze A/P.
1.2.4 Przełączniki dostępowe sieci MGMT C.LAN.SW3
Przełączniki CISCO 37xx.
1.2.5 Przełącznik dystrybucyjny sieci LAN
Dwa, redundantne przełączniki HP 105xx pracujące w klastrze A/A.
1.2.6 Przełączniki dystrybucyjny sieci LAN C.LAN.SW2
Lp.
Symbol
producenta
Opis elementu
Opis elementu
Ilość
2 szt. urządzeń o identycznej konfiguracji
4
Nexus 7009 Bundle (Chassis
N7K-C7009-B2S22xSUP2
5xFAB2)
No
R
Power Supplies
Nexus 7000 - 6.0KW AC
N7K-AC-6.0KW
Power Supply Module
Cisco NX-OS Release x.x
N7KS2K9-62
for SUP2 Nexus 7000
Nexus 7000 Advanced LAN
N7K-ADV1K9
Enterprise License (VDC
CTS ONLY)
5
N7K-LAN1K9
1
2
3
N7K-SUP2
6
7
N7K-USB-8GB
N7K-F248XP-25E
10
11
GLC-T
Główny numer komponentu
C.LAN.SW.2, na który 1
składa się:
Zasilacz o mocy 6000W
2
Oprogramowanie NX-OS
1
Licencja oprogramowania
1
Advanced LAN Enterprise
Licencja oprogramowania
Nexus 7000 LAN Enterprise
Advanced LAN Enterprise
License (L3 protocols)
(przełączanie w L3)
Nexus 7000 - Supervisor 2 Karta
zarządzająca
Includes External 8GB USB wyposażona w 8GB pamięci
Flash
flash
Nexus 7K USB Flash
Karta Flash USB
Memory - 8GB (Log Flash)
Nexus 7000 F2-Series 48
Karta liniowa 48x10GBps
Port
1/10G
(SFP+)
SFP+
Enhanced
1000BASE-T SFP
Moduł 1000BASE-T
1
2
2
2
12
16
Lp.
12
16
17
Symbol
producenta
Opis elementu
Opis elementu
Ilość
Moduł 10GBASE-SR, w
26
standardzie SFP
Nexus 7000 - 9 Slot Chassis Fabric do przełącznika
N7K-C7009-FAB-2 110Gbps/Slot
Fabric Nexus
7009,wydajność 5
Module
110Gbps/slot
CAB-AC-2500W- Power Cord 250Vac 16A Kabel zasilający, standard
4
EU
Europe
europejski
SFP-10G-SR
1.3. Zakres
10GBASE-SR SFP Module
rozwiązania
Zakresem zbudowanego rozwiązania jest architektura sieci LAN/WAN w CPD MF. Wdrożona
sieć LAN/WAN w CPD MF objęła ośrodek OP Radom.
W ośrodku OP Radom została zbudowana sieć LAN o strukturze hierarchicznej. Składa się ona
z warstwy dostępowej, warstwy dystrybucyjnej, warstwy rdzeniowej podłączonej do warstwy
dystrybucji bramki Internetowej będących komponentem sieciowym zadania Bramka
Internetowa. W ramach połączeń sieciowych bramki Internetowej, wydzielono na klastrze
Firewalli w tym systemie osobne interfejsy 10Gb do podłączenia urządzeń sieciowych w
układach redundantnych realizujących tor ruchu do sieci WAN Intranet Ministerstwa
Finansów. Tor ten zapewnia komunikację ośrodka OP Radom z siecią WAN Intranet
Ministerstwa Finansów zbudowanej na łączach operatora telekomunikacyjnego w technologii
MPLS.
Oprócz komunikacji ośrodka OP Radom do wewnętrznej sieci WAN Intranet Ministerstwa
Finansów, sieć LAN jest podłączona poprzez struktury Bramki Internetowej do sieci rozległej
WAN UI zapewniającej łączność dla urzędów administracji publicznej i użytkowników
instytucjonalnych. Sieć LAN w OP Radom posiada również dostęp do Internetu poprzez osobne
struktury sieciowe Bramki Internetowej (osobne rutery, firewalle oraz urządzenia IPS)
podłączone do wspólnej warstwy dystrybucji bramki, która z kolei podłączona jest do warstwy
rdzenia sieci LAN.
W ramach modelu warstwowego komunikacja między warstwami proxy, aplikacyjną i
bazodanową jest realizowana poprzez struktury LAN w ten sposób, że pomiędzy
poszczególnymi warstwami są zdefiniowane odpowiednie podsieci VLAN. Te podsieci
jednocześnie izolują ruch komunikacyjny obiektów systemów działających w danej warstwie.
Zdefiniowane i uruchomione podsieci VLAN są dedykowane dla każdego z systemów
biznesowych z osobna. Ruch sieciowy między warstwami systemów jest izolowany poprzez
firewalle.
W środowisku IT CPD MF jest uruchomiona komunikacja między różnymi systemami w celu
wymiany komunikatów lub danych. Komunikacja związana z tego typu przepływami danych
17
między systemami podlega odpowiedniej konfiguracji i kontroli przez zapory ogniowe
działające w systemie komunikacji LAN w sieci Back-End oraz zapory ogniowe działające w
obszarze bramki Internetowej przy dostępach z sieci WAN Intranet, WAN UI oraz Internetu.
System komunikacji LAN/WAN obsługuje również równoważenie ruchu sieciowego
skierowanego do usług aplikacyjnych dostępnych pod wirtualnymi adresami VIP
wystawionymi w konfiguracji LoadBalancera w sieci Back-End. Ruch ten jest przyjmowany z
warstwy prezentacyjnej serwerów proxy, do której ruch sieciowy jest również równoważony
przez dedykowany LoadBalancer w sieci Front-End w obszarze bramki Internetowej przy
dostępach klientów z sieci zewnętrznych.
Pod względem funkcjonalnym system oferuje funkcje zawarte w poniższej tabeli:
Funkcjonalność systemu
Lp.
Nazwa funkcji
Opis funkcjonalności
1.
LAN
Sieć lokalna w ośrodkach w CPD MF
2.
WAN
Połączenie z siecią WAN resortu finansów
wykorzystywaną przez placówki skarbowe i celne
3.
Zarządzanie
Element infrastruktury LAN/WAN służący do
monitoringu i zarządzania siecią
Główne funkcje jakie spełnia system komunikacji LAN/WAN w OP Radom są następujące:

Zapewnia infrastrukturę LAN/WAN do komunikacji z placówkami skarbowymi i
celnymi poprzez wewnętrzną sieć WAN

Zapewnia infrastrukturę LAN/WAN umożliwiającą komunikację z innymi ośrodkami
OP po rozbudowie sieci CPD MF w przyszłości o inne ośrodki i połączeniu ich za
pomocą łącz DWDM.

Zapewnia właściwą ilość i rodzaj interfejsów sieciowych pozwalających na podłączenie
określonej liczby serwerów aplikacyjnych i bazodanowych w OP Radom

Zapewnia nieprzerwany dostępu do serwisów aplikacyjnych

Zapewnia równoważenie ruchu sieciowego do usług aplikacyjnych działających w sieci
Back-End.

Zapewnia filtrowanie ruchu sieciowego na styku z siecią WAN resortu finansów w OP
Radom
18

Zapewnia system zarządzania siecią pozwalający wykonywać kopie zapasowe
konfiguracji urządzeń sieciowych, aktualizacje oprogramowania urządzeń sieciowych,
zdalną modyfikację konfiguracji i monitorowanie zmian konfiguracji a także
monitorowanie stanu urządzeń sieciowych
1.4. Architektura
logiczna
Bloki przełączników dystrybucyjnych oraz dostępowych w serwerach kasetowych mają
dostęp do wielu vlanów w warstwie 2, gdyż sieci VLAN są rozciągnięte na te przełączniki na
łączach typu Trunk pomiędzy przełącznikami w domenie warstwy 2. Do klastra zapory
sieciowej doprowadzone zostały vlany z odpowiadającymi im podsieciami IP bezpośrednio do
bloku zapór sieciowych gdzie odbywa się kontrola ruchu pomiędzy tymi podsieciami oraz
sieciami zewnętrznymi. Sieci te są routowane i kontrolowane przez Firewall. Para zapór jest
odpowiedzialna za kontrolę dostępu do sieci wewnętrznych tylko dla serwerów backupujących
systemu, które muszą mieć dostęp do Front-endu sieci w celu backup serwerów Proxy, do
zapory doprowadzony jest również inny vlan z grupy HB, który jest vlanem pełniącym rolę
vlanu aplikacyjnego dla serwerów w zadaniu . Ruch przychodzący od klientów jest rozkładany
wg określonych algorytmów na odpowiednie serwery w danej farmie. Na potrzeby przełączania
i synchronizacji stanu urządzeń równoważących ruch jest wykorzystany jeden z Vlanów.
Zapory sieciowe nie potrzebują dedykowanego Vlanu do synchronizacji, gdyż każde z pary
urządzeń z bloku zapór sieciowych jest podłączone bez pośrednictwa sieci LAN. Oprócz tego
wszystkie urządzenia podłączone są do sieci zarządzającej typu Out-of-band przeznaczonych
dla danego typu urządzeń. Vlany zarządzające typu Out-of-Band są skonfigurowane tylko i
wyłącznie na dedykowanym bloku przełączników dostępowych odseparowanych za pomocą
osobnego interfejsu bloku zapór sieciowych w sieci LAN. Reguły skonfigurowane na bloku
zapór sieciowych mają odpowiednie polityki bezpieczeństwa dopuszczające ruch z
konkretnych podsieci ustalonych z Zamawiającym.
Architektura logiczna warstwy rdzenia sieci składa się z wielu połączeń punkt-punkt
warstwy 3 modelu ISO/OSI. Przełączniki rdzeniowe pracują tylko i wyłącznie w warstwie
trzeciej IP wykorzystując dynamiczny protokół trasowania pakietów OSPF. W tym celu zostały
wykreowane połączenia zagregowane EtherChannel o przepustowości 2x10Gb,
wykorzystujące protokół agregacji łącz fizycznych LACP. Połączenia zagregowane
wyprowadzone na przełącznikach rdzeniowych łączą bloki przełączników warstwy dystrybucji
w bramce internetowej i warstwy dystrybucji sieci LAN.
Oprócz tego dwa przełączniki rdzeniowe są połączone ze sobą za pomocą łącza
zagregowanego o dwa razy większej przepustowości 4x10Gb niż pojedyncze łącza do
przełączników z bloków dystrybucyjnych. Łącza te posiadają własną adresację IP w warstwie
3, na których jest rozciągnięty protokół trasowania pakietów OSPF w obszarze Area 0 i są
zestawione sąsiedztwa OSPF. Wykorzystanie przełączania pakietów na poziomie warstwy 3 IP
wśród przełączników rdzeniowych pozwala na szybkie czasy przełączania tras pakietów i
19
krótkie czasy powrotu stanu tablic wszystkich przełączników warstwy 3 do stanu stabilności
po wystąpieniu awarii lub niedostępności pewnych podsieci w całej architekturze sieci CPD
MF. Protokół OSPF został również wybrany z powodu jego uniwersalności wśród wszystkich
producentów sieciowych, jest to ogólnoświatowy standard protokołu trasowania pakietów,
którego implementacja musi być taka sama na różnych platformach sprzętowych. Dlatego też
nie ma problemów z podłączaniem do domeny OSPF innych urządzeń korzystających z tego
protokołu na przykład zapór sieciowych. Protokół ten jest również wykorzystywany w
obecnych strukturach sieci WAN Ministerstwa Finansów, dzięki czemu ułatwiona jest
integracja z innymi obszarami sieci bez konieczności redystrybucji różnych protokołów
trasowania pomiędzy sobą.
Architektura logiczna warstwy dystrybucyjnej - blok przełączników dystrybucyjnych
sieci LAN jest podłączony do bloku przełączników rdzeniowych oraz do bloków przełączników
dostępowych oraz do bloku urządzeń równoważących ruch. Ze względu na konieczność
podłączenia i kontroli ruchu przez bloki zapór sieciowych, istniała konieczność rozdzielenia
fizycznego przełącznika dystrybucyjnego na dwa wirtualne konteksty VDC-1 i VDC-2. Górny
kontekst VDC-1 jest podłączony za pomocą połączeń zagregowanych w warstwie 3 do bloku
przełączników rdzeniowych. W tej części sieci jest skonfigurowany protokół trasowania
pakietów OSPF w obszarze Area 0. W tym kontekście są podłączone interfejsy wyjściowe
zapór sieciowych w odpowiednich vlanach. Vlany te są rozciągnięte za pomocą połączenia
zagregowanego EtherChannel w warstwie 2 skonfigurowanego w trybie Trunk, pomiędzy
obydwoma przełącznikami w górnym kontekście. Wejściowe interfejsy obydwu bloków zapór
sieciowych są podłączone do kontekstu dolnego VDC-2 w odpowiednich Vlanach. Dolny
kontekst bloku przełączników dystrybucyjnych wykorzystuje technologię vPC, na potrzeby tej
technologii jest wykonane połączenie tzw. vPC peer link oraz non-vPC link dla Vlanów, które
są rozciągnięte pomiędzy przełącznikami w sposób tradycyjny. Połączenie vPC peer link,
obsługuje całą resztę sieci VLAN i ruch pochodzący z różnych domen vPC. Technologia vPC
oprócz zapewnienia bezpętlowej topologii oraz wykorzystania przepustowości wszystkich Uplinków, z perspektywy przełączników warstwy dostępowej kreuje jedno wirtualne połączenie
zagregowane do jednego wirtualnego przełącznika wyższej warstwy. Liczba połączeń vPC, ich
przyporządkowanie do interfejsów. W procesie rozbudowy infrastruktury dystrybucyjnej
(projekty KIC1b oraz KIC2) zostały dołożone przełączniki sieciowe HP10xxx oraz
przełączniki Cisco Nx7xxx. Rozszerzają one warstwę L2 dystrybuowaną przez kontekst VDC2
przełączników. Przełączniki HP 10xxx zostały skonfigurowane z wykorzystaniem technologii
IRF (z ang. Intelligent Resilient Framework). Technologia IRF umożliwia połączenie kilku
urządzeń w celu stworzenia jednego, wirtualnego przełącznika. Zastosowanie IRF zwiększa
dostępność, stabilność i niezawodność przyjętego rozwiązania. Utworzony w ten sposób
wirtualny przełącznik znacznie upraszcza nie tylko topologię sieci, ale i jej zarządzanie. Dla
wszystkich innych urządzeń w sieci LAN wirtualny przełącznik IRF widziany jest jako jedno
urządzenie. Zapewnia to między innymi tworzenie i zastosowanie redundantnych,
zagregowanych połączeń z wykorzystaniem modułów i portów należących do różnych
przełączników fizycznych, z których składa się przełącznik wirtualny IRF. Rozwiązanie takie
20
pozwala na uproszczenie topologii sieci, w której nie ma potrzeby stosowania dodatkowych
mechanizmów i protokołów jak np. protokół Spanning-Tree. Dostarczone w ramach projektu
KIC2 dwa dodatkowe przełączniki Cisco Nx7xxx zostały wykorzystane do rozbudowy bloku
przełączników dystrybucyjnych. Oba przełączniki zostały połączone ze sobą nadmiarowymi
łączami światłowodowymi 10GE, co pozwoliło na utworzenie bloku niezawodnościowego
odpornego na awarię jednego z urządzeń. Fizycznie blok ten tworzą dwa przełączniki, ale z
punktu widzenia komunikacji sieciowej blok ten postrzegany jest, jako jedno urządzenie
logiczne. Przełączniki zostały podłączone do przełączników bloku dystrybucyjnego również
nadmiarowymi łączami światłowodowymi 10GE. Wszystkie przełączniki zostały połączone ze
sobą na zasadzie każdy z każdym wieloma linkami światłowodowymi 10GE. Pozwoliło to na
utworzenie topologii w sposób maksymalnie zabezpieczający przed uszkodzeniem jednego z
czterech urządzeń albo któregokolwiek z połączeń pomiędzy nimi.
Blok
architektoniczny
bramki WAN/
Internet
Bramka
Wan i Internet
2x10 Gb
2x10 Gb
MEC
Blok
architektoniczny
przełączników
rdzeniowych
MEC
Przełączniki
rdzeniowe
2x10 Gb
2x10 Gb
2x10 Gb
2x10 Gb
C.LAN.SW2
B.LAN.ACC
peer-link
Keep-Alive
Klaster firewall’i
2x1 Gb
2x1 Gb
C.LAN.SW3
[…]
6x10 Gb
8x10 Gb
8x10 Gb
Karty dostarczane w ramach
postepowania
C.LAN.SW2
Elementy dostarczane w
ramach postępowania
4x10 Gb
Przełączniki TOR
C.LAN.SW2
[…]
C.LAN.SW6
LAN OP RADOM
1 2
3
4
[…]
1 2
3
4
Rysunek 28 Architektura logiczna rozbudowywanej warstwy dystrybucyjnej
V.
System AI_17 - Komunikacja SAN w CPD MF
21
1.1.
a)
Sprzęt i oprogramowanie:
Przełącznik SAN IBM SAN768B-2, 2 sztuki:
Produkt
2499-816
2809
3648
9284
9802
Opis
IBM System Storage SAN768B-2
8 Gbps SW SFP+ 8-Pack
48-Port 16 Gbps FC Blade
SAN768B Standalone Mode
Power Cord, EMEA
Ilość
1
30
5
1
1
Tabela 1 Specyfikacja przełącznika IBM SAN786B-2
Oprogramowanie
Advanced Zoning
Enhanced Group Management
Full Fabric
Enterprise
Bundle, - Fabric Watch
zawierający:
- ISL Trunking
Advanced
Performance
Monitoring
- Extended Fabrics
- Adaptive Networking
Tabela 2 Oprogramowanie przełącznika IBM SAN768B-2
b)
Przełącznik SAN HP SN8000B, 2 sztuki:
Produkt
QK710B
QW941A
AJ716B
Opis
HP SN8000B 8-Slot Pwr Pack+ Dir
Switch
HP SN8000B 8Gb 48-port Enh FC
Blade
HP 8Gb Short Wave B-Series SFP+ 1
Pack
Ilość
1
4
192
Tabela 3 Specyfikacja przełącznika HP SN8000B
Oprogramowanie
Advanced Zoning
Enhanced Group Management
Full Fabric
Enterprise
Bundle, - Fabric Watch
zawierający:
- ISL Trunking
Advanced
Monitoring
Performance
22
- Extended Fabrics
- Adaptive Networking
Tabela 4 Oprogramowanie przełącznika HP SN8000B
1.2. Zakres
rozwiązania
Zaprojektowany system komunikacji SAN umożliwia infrastrukturze serwerowej
dostęp do urządzeń pamięci masowych w CPD OP Radom przy użyciu protokołu Fibre
Channel. Zrealizowany został przez instalację przełączników FC, odpowiednie
skrosowanie urządzeń oraz konfigurację zapewniającą wysoką dostępność.
Dla zapewnienia równomiernego obciążenia sieci SAN systemy operacyjne (takie jak
RedHat Linux na serwerach fizycznych oraz VMware ESXi i Hyper-V) wykorzystują
wbudowane mechanizmy do wielościeżkowości.
Zostały zrealizowane funkcjonalności związane z zarządzaniem infrastrukturą
SAN/Storage.
Sieć SAN została zbudowana w oparciu o dwa przełączniki klasy Director IBM
SAN768B-2 pracujące w dwóch odseparowanych fabric’ach, do których za pomocą
linków ISL zosta-ły połączone przełączniki dostępowe z Blade Center H (po jednym z
każdego Blade Center do każdego fabric’a – dla zapewnienia redundancji) oraz po
jednym linku za pośrednictwem modułu „QLogic Virtual Fabric Extension Module for
IBM BladeCenter” do dwóch kart „BNT Virtual Fabric 10Gb Switch Module for IBM
BladeCenter”.
System komunikacji SAN obejmuje zasięgiem tylko Ośrodek Przetwarzania Danych
w Radomiu.
Sieć SAN została rozbudowana o dwa przełączniki HP SN8000B SAN Director. Oba
przełączniki pracują w dwóch odseparowanych od siebie podsieciach fabric, do których
podłączone są symetrycznie moduły HP Virtual Connect z obudów HP Blade, tak by
zapewnić redundancję połączeń dla wszystkich serwerów typu blade.
1.3.
Środowisko systemu
Dla systemu komunikacji sieci SAN występuje tylko środowisko produkcyjne, do
którego podłączone zostały wszystkie środowiska systemów biznesowych i
infrastrukturalnych.
Środowisko systemu komunikacji SAN jako centralny element dostępu do danych jest
newralgicznym systemem CPD MF. Pracuje w trybie ciągłym, w celu zapewnienia
ciągłości pracy obszarów biznesowych jak i infrastrukturalnych. Zapewnia
bezpieczeństwo dostępu do danych poprzez redundantną architekturę.
System komunikacji SAN został zbudowany z dwóch podstawowych struktur:
- sieć szkieletu komunikacyjnego
23
- sieć dostępowa (Blade Center, HP Blade)
Sieć szkieletu komunikacyjnego zbudowana z dwóch przełączników klasy SAN
Director (IBM SAN786B-2) służy do bezpośredniego podłączenia urządzeń pamięci
masowych (macierze dyskowe i biblioteki taśmowe oraz wirtualizatory pamięci
masowych - SVC) oraz przełączników dostępowych z Blade Center (Brocade 20-port
8 Gb SAN Switch Module for IBM).
Po modernizacji sieć szkieletu komunikacyjnego została rozbudowana o dwa
przełączniki rdzeniowe klasy SAN Director (HP SN8000B SAN Director). Służy ona
do bezpośredniego podłączenia urządzeń pamięci masowych (macierze dyskowe i
biblioteki taśmowe) oraz modułów HP Virtual Connect w HP Blade.
Sieć dostępowa (Blade Center), zbudowana na bazie przełączników w Blade Center –
służy do podłączenia serwerów typu Blade. Przełączniki dostępowe w Blade Center
zostały skonfigurowane w trybie Access-Gateway. Wszystkie urządzenia podłączone
są do przełączników dostępowych. Serwery blade są widoczne na przełącznikach
Director poprzez wirtualizację portów w sieci SAN (NPIV).
Dodatkowo serwery BladeCenter podłączone zostały do sieci SAN za pomocą modułu
„QLogic Virtual Fabric Extension Module for IBM BladeCenter” do dwóch kart „BNT
Virtual Fabric 10Gb Switch Module for IBM BladeCenter”. Moduł QLogic pracuje w
trybie transparent mode (NPIV) jako bridge pomiędzy natywnym SANem
wykorzystującym protokół FC a 10 Gb siecią LAN. Połączenie pomiędzy powyższymi
kartami jest realizowane na poziomie backplane’u w Blade Center.
Rysunek 1 - Backplane w Blade Center
Sieć dostępowa (HP Blade), zbudowana na bazie modułów HP Virtual Connect w HP
Blade, służy do podłączenia serwerów typu Blade.
Wszystkie urządzenia podłączone do przełączników dostępowych, serwery blade,
widoczne są na przełącznikach Director poprzez wirtualizację portów w sieci SAN
(NPIV).
24
Dodatkowo serwery HP Blade podłączone są do sieci SAN za pomocą modułu „HP
FlexFabric 10Gb 2P 554” do dwóch modułów „HP BLc VC FlexFabric 10Gb/24-port”.
Moduł HP Virtual Connect pracuje w trybie transparent mode (NPIV) jako bridge
pomiędzy natywnym SANem wykorzystującym protokół FC a siecią 10 Gb Converged
Network. Połączenie pomiędzy powyższymi kartami jest realizowane na poziomie
backplane’u w HP Blade.
Rysunek 2
Rysunek 3 - Konfiguracja modułów “HP BLc VC FlexFabric 10Gb/24-port
25
1.4. Architektura
logiczna
System komunikacji w sieci SAN zbudowany jest z poniższych komponentów.
Lp. Nazwa komponentu
1
2
3
4
5
6
7
Opis funkcjonalny realizowany przez
komponent
Przełącznik w szkielecie Przełączniki w szkielecie komunikacyjnym
komunikacyjnym
służą do podłączenia wszystkich przełączników
dostępowych w Blade Center oraz urządzeń
pamięci masowych (macierze dyskowe, SVC
oraz biblioteki taśmowe).
Skalowalność niniejszych urządzeń wynosi:
512 portów - przy zastosowaniu 64-portowych
kart 8Gbps
384 portów - przy zastosowaniu 48-portowych
kart 16Gbps
Ponieważ jednym z kryteriów budowy sieci
SAN jest wydajność zastosowano 48portowe
karty 16Gbps.
Przełącznik
w
Blade Przełączniki w Blade Center służą do
Center
podłączenia poszczególnych serwerów typu
Blade do przełączników w szkielecie
komunikacyjnym.
- Brocade 20-port 8 Gb SAN Switch Module for
IBM BladeCenter
Niniejsze przełączniki pracują w trybie
AccessGateway.
Macierze dyskowe
macierze dyskowe IBM,HP oraz EMC
Bibioteki
Biblioteki taśmowe IBM, HP oraz Wirtualne
taśmowe/Wirtualne
biblioteki taśmowe EMC
biblioteki taśmowe
Wirtualizatory
pamięci Klaster SVC składający się z ośmiu urządzeń
masowych
(nodów)
Serwery podpięte do sieci Wszystkie serwery typu blade są podpięte do
SAN
sieci SAN
SMI-Agent
SMI-Agent zainstalowany na serwerze TPC –
służący do komunikacji z przełącznikami klasy
26
IBM Director. Jest on częścią oprogramowania
IBM Network Advisor.
8
TPC Serwer
Serwer IBM Tivoli Strage Productivity Center
5.1 – służący do zarządzania i monitorowania
pamięci masowych oraz sieci SAN
9
Przełącznik w HP Blade
Przełączniki w szkielecie komunikacyjnym
służą do podłączenia wszystkich przełączników
dostępowych w HP Blade oraz urządzeń
pamięci masowych (macierze dyskowe oraz
biblioteki taśmowe).
Skalowalność niniejszych urządzeń wynosi:
512 portów - przy zastosowaniu 64-portowych
kart 8Gbps
384 portów - przy zastosowaniu 48-portowych
kart 8Gbps
10 Moduły VC w HP Blade
Moduły HP Virtual Connect w HP Blade służą
do podłączenia poszczególnych serwerów typu
Blade:
- HP BLc VC FlexFabric 10Gb/24-port for HP
Blade
11 Serwery
typu
Blade Wszystkie serwery typu blade zostały podpięte
podpięte do sieci SAN
do sieci SAN
Tabela 7 Charakterystyka komponentów sieci SAN
Poniższe rysunki przedstawiają połączenia pomiędzy poszczególnymi komponentami.
27
Rysunek 3 Schemat blokowy systemu komunikacji SAN
Liniami przerywanymi zaznaczono komponenty systemu replikacji i zabezpieczenia
danych oraz serwery korzystające z sieci SAN. W przypadku strzałek – ciągłe
oznaczają fizyczne połączenia pomiędzy komponentami, a przerywane – połączenia
logicznie (przepływy informacji dla serwera TPC i SMIAgenta).
Zasoby udostępniane z macierzy Zamawiającego są częściowo zwrtualizowane za
pomocą SVC a częściowo wystawiane bezpośrednio do Hostów ESXi.
28
Rysunek 5 - Schemat blokowy systemu komunikacji SAN w środowisku
1.5.
Schemat fizycznych połączeń LAN pomiędzy elementami systemu.
Bloki architektoniczne w systemie komunikacji SAN podłączone zostały do sieci
administracyjnej (MGMT). Dodatkowo TPC Serwer ma dostęp do sieci Backupowej.
W ramach powyższych bloków architektonicznych wyróżniamy:
- blok architektoniczny przełączników FC – składający się z dwóch przełączników
klasy SAN Director (IBM SAN768B-2),
- blok architektoniczny przełączników FC w Blade Center – składający się z dwóch
przełączników „Brocade 20-port 8 Gb SAN Switch Module for IBM BladeCenter”
zainstalowanych w pojedynczym Blade Center,
- blok architektoniczny wirtualnego serwera Linux – na którym zostało zainstalowane
oprogramowanie IBM Tivoli Storage Productivity Center.
- blok architektoniczny Przełączników FC – składający się z dwóch przełączników
klasy SAN Director (HP SN8000B SAN Director)
- blok architektoniczny modułów HP Virtual Connect w HP Blade – składający się z
dwu modułów „HP BLc VC FlexFabric 10Gb/24-port for HP Blade” zainstalowanych
w pojedynczym HP Blade.
29
Rysunek 7 Architektura połączeń LAN dla systemu komunikacji SAN w OP Radom
1.6.
Schemat fizycznych połączeń w sieci SAN CPD MF Radom
Rysunek 9 przedstawia poglądowy schemat fizycznych połączeń urządzeń do
przełączników klasy SAN Director.
Oznaczenie komponentów:
- RBC[1-10] – dziesięć serwerów Blade Center,
- RBCPKI – serwer Blade Center dla projektu PKI,
- R_TS3310_[1-2] – dwie biblioteki taśmowe TS3310,
- R_DS8K_S/N[1-2] – dwie macierze dyskowe (R_DS8K_75YA531, R_DS8K_
75AMG51),
- R_SVC_[1-4] – osiem nodów klastra SVC.
Serwery Blade Center podłączone są z przełącznikami SAN Director za pomocą dwóch
przełączników Brocade w Blade Center (każdy po 6 linków do przełączników SAN
Director) oraz za pośrednictwem Modułu QLogic Virtual Fabric Extension do kart
BNT Virtual Fabric (po jednym linku do przełączników SAN Director).
Karty „BNT Virtual Fabric 10Gb Switch Module for IBM BladeCenter” obsługują
zarówno sieć LAN jak i SAN. Dla zapewnienia maksymalnej ich przepustowości dla
sieci LAN (która wykorzystuje te karty jako podstawowe interfejsy dla serwerów blade.
Cała komunikacja w sieci SAN dla serwerów blade jest realizowana wyłącznie za
pomocą przełączników Brocade.
„QLogic Virtual Fabric Extension Module for IBM BladeCenter” został
skonfigurowany w trybie Transparent Mode (NPIV).
30
Rysunek 8 Poglądowy schemat fizycznych połączeń urządzeń w sieci SAN
W ramach rozbudowanego systemu komunikacji SAN w CPD MF zaimplementowano
następujące rozwiązania:
- przełączniki FC i moduły „HP BLc VC FlexFabric 10Gb/24-port” połączone są
między sobą za pomocą linków FC.
- urządzenia pamięci masowych (macierze, biblioteki taśmowe) podłączone są do obu
prze-łączników rdzeniowych klasy SAN Director,
- serwery kasetowe typu blade które używają:
 wewnętrznych modułów „HP BLc VC FlexFabric 10Gb/24-port” (po 4 połączenia
z każdego modułu dostępowego do dystrybucyjnego),)
 wewnętrznych kart „HP FlexFabric 10Gb 2P 554” (po 2 połączenia z każdej karty)
za pośrednictwem „HP BLc VC FlexFabric 10Gb/24-port”,”
- dostęp poszczególnych serwerów do zasobów pamięci masowych realizowany jest za
pomocą skonfigurowanych zon,
- dostęp do obecnie pracującej sieci SAN w OP Radom odbywa się za pomocą połączeń
ISL pomiędzy przełącznikami rdzeniowymi typu SAN Director. Połączenia te
skonfigurowane są jako 3 trunki pogrupowane po 4 linki. Każdy trunk ma
przepustowość 32Gbps. Daje to ogółem 96Gbps pełnej przepustowości pomiędzy
switchami w fabricu a w wypadku awarii którejkolwiek z kart FC wydajność utrzymana
jest na poziomie 64Gbps.
1.7.
Architektura IBM Tivoli Storage Productivity Center (TPC)
W celu zarządzania i monitorowania zasobami sieci SAN, pamięci masowych
(macierze dyskowe, wirtualizatory pamięci masowych, biblioteki taśmowe) oraz
31
systemów operacyjnych, korzystających z centralnych zasobów dyskowych
wykorzystujemy:
•
CIMOM (Common Information Model Object Manager)
•
wbudowany CIMOM agent na bibliotece TS3310
•
wbudowany CIMOM agent na macierzy IBM DS
•
wbudowany CIMOM agent na SVC
•
wbudowany CIMOM agent na vCenter
•
SMIA-Agent dla przełączników Brocade zainstalowany na serwerze TPC
•
SRA – Storage Resource Agent – zainstalowany serwerach fizycznych TSM
W ramach tego komponentu został zainstalowany Brocade SMIA Agent wbudowany
w oprogramowanie IBM Network Advisor w wersji 11.1.5.
Rysunek 10 Architektura oprogramowania TPC
System komunikacji SAN integruje się systemem System monitoringu i zarządzania.
Oprogramowanie TPC wysyła zdarzenia do systemu Tivoli Netcool OMNIbus.
32
33
1.8. Integracja
z systemem monitorowania
System komunikacji SAN integruje się z systemem monitoringu i zarządzania.
Oprogramowanie TPC wysyła zdarzenia do systemu Tivoli Netcool OMNIbus.
34
SB_01 Architektura zabezpieczeń sieci
VI.
Wdrożony system bezpieczeństwa ma za zadanie kontrolować i separować ruch
sieciowy
zgodnie
z
wymaganiami,
weryfikować
podatności
komponentów
infrastruktury i systemów biznesowych oraz chronić przed potencjalnymi zagrożeniami,
które mogą doprowadzić do naruszenia bezpieczeństwa CPD MF Radom.
Wszystkie wdrożone urządzenia bezpieczeństwa zostały skonfigurowane w sposób
umożliwiający wysyłanie logów do systemu zarządzania zdarzeniami/logami STRM
używanego obecnie w CPD MF. Dodanie pojemności i/lub funkcjonalności może odbyć się
poprzez rozbudowę istniejących lub dodanie nowych komponentów, np. w przypadku braku
interfejsów sieciowych istnieje możliwość dodania dodatkowej wkładki lub/i interfejsów
sieciowych do odpowiedniego urządzenia. To samo dotyczy wydajności zastosowanych
urządzeń. Ponieważ wszystkie urządzenia pracują w trybie klastrowym to w przypadku małej
wydajności urządzeń lub komponentów istnieje możliwość dołożenia kolejnych urządzeń i
zbudowania środowiska mieszanego, tj. zastosowanie klastrów wydajnościowych (loadbalancing, active-active) oraz redundantnego (active-passive). Wdrożone rozwiązanie jest
skonfigurowane optymalnie pod względem wydajnościowym oraz zgodne z wymaganymi
parametrami.
Główna funkcja realizowana przez system bezpieczeństwa to ochrona urządzeń, systemów i
aplikacji w CPD MF Radom poprzez:

Ograniczenie ruchu sieciowego do urządzeń, systemów i aplikacji tylko do
wymaganych adresów i portów;

Ograniczenie ruchu sieciowego wynikające z podziału systemów na klasy
bezpieczeństwa

Monitorowanie i filtrowanie ruchu sieciowego w celu wykrycia anomalii i prób ataku;

Monitorowanie i filtrowanie ruchu SMTP w celu wykrycia wirusów i ograniczenia
ilości spamu;

Zapewnienie dostępu do urządzeń, systemów i aplikacji tylko dla uprawnionych osób
posiadających odpowiednie poświadczenia bezpieczeństwa.

Zapewnienie wysokiej dostępności poprzez zastosowanie urządzeń redundantnych

Charakterystyka
komponentów,
z
których
została
zbudowana
Architektura
Zabezpieczeń Sieci CPD MF Radom.
35
Lp. Nazwa komponentu
Opis funkcji realizowanej przez komponent
1.
Firewall zewnętrzny
Ochrona systemów CPD MF Radom węzła bramki
internetowej oraz intranetowej poprzez filtrowanie ruchu
oraz wydzielenie stref pośrednich DMZ. Urządzenie działa
również jako brama dla połączeń VPN.
2.
IPS
System detekcji i zapobiegania włamaniom. Działanie
systemu opiera się na porównywaniu analizowanego ruchu
do zdefiniowanych sygnatur ataków i włamań. W
przypadku wykrycia zagrożenia podejmowana jest
zdefiniowana akcja i wysyłana jest informacja do systemu
zarządzania incydentami. Dla ścieżki Internetowej zostały
zastosowane dedykowane urządzenia. Dla ścieżki
Intranetowej uruchomiono moduły IPS na urządzeniach
filtrujących ruch. System IPS w ścieżce Internetowej jest
podłączony do urządzeń typu bypass w celu przepuszczenia
ruchu w przypadku awarii urządzenia IPS.
3.
System
podatności
4.
Firewall wewnętrzny
5.
Urządzenia
ruch SMTP
6.
VPN
Gateway Zadaniem tej funkcjonalności jest umożliwienie
działający w ramach administratorom resortu finansów zdalnego i bezpiecznego
brzegowego firewall’a dostępu do udostępnionych im zasobów w ramach CPD MF
Radom.
7.
Maszyna zarządzająca Maszyna wirtualna służąca do zarządzania komponentami
sondami IPS
systemu IPS.
8.
Antywirus
badania Komponent skanujący systemy w ramach wszystkich
środowisk CPD MF Radom pod kątem podatności na ataki
i włamania.
Ochrona
systemów
CPD
MF
Radom
węzła
dystrybucyjnego poprzez filtrowanie ruchu oraz
wydzielenie stref pośrednich zgodnie z polityką
bezpieczeństwa.
filtrujące Zadaniem urządzenia jest wykrycie spamu oraz skanowanie
wiadomości w celu wykrycia infekcji wirusem. Urządzenie
zostało wpięte do sieci w strefie DMZ Internet.
Ochrona antywirusowa serwerów została zrealizowana przy
użyciu komponentów Systemu AV Trend Micro
udostępnionych przez CPD MF. Komponenty zarządzania
36
agentami systemu AV w CPD MF Radom są częścią
hierarchicznej
architektury
zarządzania
systemu
antywirusowego resortu finansów. CPD MF zapewniło
wszelkie niezbędne licencje oraz oprogramowanie
antywirusowe Trend Micro.
Tabela 1 Charakterystyka komponentów systemu
37