Integrator Nr I/2012 (118)
Transkrypt
Integrator Nr I/2012 (118)
Integrujemy przyszłość® Biuletyn Informacyjny SOLIDEX® Nr I/2012 (118) W numerze między innymi: NOWOŚCI: Nowy rewolucyjny Software Blade Anti-Bot firmy Check Point TECHNOLOGIE: ISE – AS w talii rozwiązań Cisco Borderless Networks Magia prążków - optyka pasywna i CWDM ROZWIĄZANIA: solid.rac – czyli jak bezpiecznie współpracować Platforma dla nowoczesnego Centrum Przetwarzania Danych - Cisco UCS F5 Networks - dążenie do doskonałości miarą sukcesu ISSN 1233-4944 www.integrator.SOLIDEX.com.pl Numer: IV/2011 (117) Szanowni Państwo! Ostatnia dekada to czas wielkich przemian na rynku w dziedzinie IT. W każdym wydaniu INTEGRATORA prezentujemy artykuły, poprzez które staramy się na bieżąco informować Państwa o nowościach i zmianach w branży. INTEGRATOR jako niezależny kwartalnik od samego początku redagowany jest przez Zespół SOLIDEX, trafia do grupy 2500 profesjonalistów IT. Mamy nadzieję, że prezentowane w tym numerze tematy spotkają się z Państwa zainteresowaniem, a tych z Państwa którzy zainteresowani są prenumeratą zapraszamy do zapoznania się z naszym serwisem www.integrator.SOLIDEX.com.pl. Życzymy przyjemnej lektury! Spis treści Wydarzenia 4 4 5 5 5 Nowość w ofercie SOLIDEX! Szkolenia DESGN i ARCH Cisco Forum 2012- SOLIDEX jako Złoty Partner konferencji Kolejne seminarium z cyklu: „SOLIDny EXpert radzi: Środowisko Wirtualnego Centrum Przetwarzania Danych” już się odbyło Nowe referencje dla SOLIDEX! SOLIDEX uzyskał tytuł Juniper Networks Elite Partner NOWOŚCI 6 Nowy rewolucyjny Software Blade Anti-Bot firmy Check Point TECHNOLOGIE 12 17 ISE – AS w talii rozwiązań Cisco Borderless Networks Magia prążków - optyka pasywna i CWDM ROZWIĄZANIA 21 26 31 solid.rac – czyli jak bezpiecznie współpracować Platforma dla nowoczesnego Centrum Przetwarzania Danych - Cisco UCS F5 Networks - dążenie do doskonałości miarą sukcesu Biuletyn Informacyjny SOLIDEX® 3 WYDARZENIA Nowość w ofercie SOLIDEX! Szkolenia DESGN i ARCH Wychodząc naprzeciw Państwa oczekiwaniom, Centrum Szkoleniowe SOLIDE X postanowiło poszerzyć ofertę autoryzowanych szkoleń CISCO o dwie nowe pozycje dotyczące projektowania rozwiązań sieciowych CISCO: •Designing Cisco Network Service Architectures (ARCH) •Designing for Cisco Internetwork Solutions (DESGN) usług, skalowalności i bezpieczeństwa. Jest również pierwszym ze szkoleń zalecanych przy przygotowywaniu się do certyfikacji Cisco dotyczących projektowania sieci. W ramach szkolenia prezentowany jest przegląd metodologii projektowania sieci, architektura rozwiązań sieciowych pozwalająca budować modularne i skalowalne rozwiązania, zasady projektowania sieci kampusowych z uwzględnieniem integracji Szkolenie DESGN jest wprowadze- danych, głosu i obrazu, zastosowaniem do zagadnień projektowania nie narzędzi podnoszących niezasieci komputerowych L AN i WAN wodność i bezpieczeństwo sieci oraz wykorzystujących najnowsze tech- wykorzystanie nowoczesnych roznologie i spełniających wymagania wiązań transmisji bezprzewodowej niezawodności, jakości świadczenia w sieciach lokalnych. S z kolenie A R C H je s t r oz winię c iem z agadnie ń pr ojek t owania sieci komputerowych L AN i WAN omawianych na szkoleniu DESGN. W ramach szkolenia omawiane są zagadnienia projektowania wysokodostępnych sieci korporacyjnych wykor z ys tując ych nowoc zesne technologie i rozwiązania. Materiał szkolenia obejmuje zagadnienia projektowania korporacyjnych centrów danych, wymagających integracji infrastruktury sieciowej i typowej dla rozwiązań DC komunikacji Fibre Channel. Serdecznie Państwa zapraszamy do rejestracji na szkolenia! Cisco Forum 2012- SOLIDEX jako Złoty Partner konferencji 21-23 marca 2012r. w Hotelu Mercure Kasprowy w Zakopanem odbędzie się kolejna edycja konferencji Cisco Forum. SOLIDEX pojawi się na niej jako Złoty Partner. Cisco Forum jest jedną z największ ych konferenc ji technic znych w Polsce, zorganizowaną i przygoto- 4 waną w całości przez inżynierów dla inżynierów. Tematem tegorocznej imprezy będą najnowsze trendy i technologie informatyczne, które zaprezentowane zostaną podczas sesji, warsztatów technicznych oraz prezentacji rozwiązań z dziedziny IT. Celem Integrujemy przyszłość® konferencji będzie przybliżenie całościowego podejścia do budowy inteligentnych sieci wielousługowych na miarę naszego wieku. Ws z ys t k ic h z a int e r e s owa nyc h serdecznie zapraszamy na stoisko SOLIDEX! Numer: IV/2011 (117) Kolejne seminarium z cyklu: „SOLIDny EXpert radzi: Środowisko Wirtualnego Centrum Przetwarzania Danych” już się odbyło 2 9 lu t e g o w n a s z y m C e n t r u m Kompetencyjno – Szkoleniowym w Warszawie odbyło się kolejne bezpłatne Seminarium z cyklu SOLIDny EXpert™ radzi, zatytułowane: „Środowisko Wirtualnego Centrum Przetwarzania Danych” organizowane przez SOLIDEX. Wir tualne Centra Przetwarzania Danych stały się obecnie standardem. Od działów IT wymaga się by potrafiły reagować na nowe wymagania dotyczące aplikacji w jak najkrótszym czasie. Równocześnie infrastruktura staje się coraz bardziej skomplikowana i trudna do zarzą- dzania. Wymagane są rozwiązania, które ułatwią zarządzanie, a równocześnie pozwolą szybko reagować na nowe wyzwania. Podczas seminarium nasi SOLIDni E Xperci zaprezentowali wykłady teoretyczne pt.: •Nowoczesne centrum przetwarzania danych •Elastyczna przestrzeń dyskowa macierze firmy EMC •Funkcjonalności oprogramowania macierzy •Nowości w VMware vSphere 5 •Elastyczna moc obliczeniowa - serwery Cisco •Niewirtualna ochrona środowiska wirtualnego – rozwiązanie firmy Juniper •Zintegrowane rozwiązanie (pokaz na żywo) Szczegółowe informacje na temat seminariów oraz aktualny harmonogram dostępny jest na stronie: http:// www.solidex.com.pl/oferta/seminaria/seminaria-2012. Serdecznie dziękujemy wszystkim uczestnikom za udział, równocześnie mamy nadzieję, że prezentowane wykłady spotkały się z Państwa zainteresowaniem. Nowe referencje dla SOLIDEX! SOLIDEX w ostatnim czasie otrzymał następujące referencje: Uniwersytet Ekonomiczny w Katowicach - dostawa sprzętu sieciowego firmy Cisco (przełączniki Catalyst 6500 i 2960) wraz ze wsparciem serwisowym przez okres 3 lat. Uniwer syt e t Opolsk i - fir ma SOLIDEX S.A. dostarczyła system dystrybucji treści e-learning, oparty o rozwiązania firmy Cisco Digital Media Suite oraz sprzęt komputero- wy wraz z urządzeniami sieciowymi firmy Cisco. Dostarczone urządzenia zostały objęte wsparciem serwisowym. routerów ( A SR1002F ), prze łąc zników sieciowych (Catalyst 6500 i 2960) oraz sieciowego okablowania optycznego, dostawę oprogramowania (C WL MS), wykonanie Komenda Wojewód zka Polic ji projektu technicznego, wykonanie w Opolu - realizacja projektu na dokumentacji powykonawczej oraz „Rozbudowę i modernizację kablo- przeprowadzenie szkoleń. Wdrożowej sieci telekomunikacyjnej - II ny system objęty został wsparciem etap”. Zakres kontraktu obejmował: serwisowym. dostawę telefonów IP, urządzeń UPS, SOLIDEX uzyskał tytuł Juniper Networks Elite Partner SOLIDEX spełniając wszystkie wymagania partnerstwa z firmą Juniper Networks uzyskał status J-Partner Elite w specjalizacji Advanced Security. J-Partner Elite to najwyższy poziom autoryzacji przyznawany partnerom oferującym pe łen zakres rozwiązań firmy Juniper. Aby go uzyskać SOLIDEX spełnił szereg wymagań dotyczących m.in.: liczby cer tyfikowanych inżynierów, inżynierów wsparcia sprzedaży oraz liczby handlowców. Przyznany tytuł jest potwierdzeniem profesjonalizmu oraz zaangażowania w promowanie rozwiązań firmy Juniper. Firma Juniper Networks to jeden Biuletyn Informacyjny SOLIDEX® z największych na świecie producentów sprzętu sieciowego. Jej portfolio obejmuje niemal wszystkie obszary rynku produktów przewodowej i bezprzewodowej transmisji, przetwarzania i zabezpieczania danych. Produkty firmy przeznaczone są zarówno dla operatorów telekomunikacyjnych jak i przedsiębiorstw. 5 NOWOŚCI Nowy rewolucyjny Software Blade Anti-Bot firmy Check Point Obecnie zagrożenia internetowe przybierają coraz bardziej wyrafinowane i wyszukane formy, a przestępcy nie przebierają w środkach, aby móc skutecznie osiągać swoje cele i być o krok przed systemami ochrony. Ostatnio internetowi przestępcy upodobali sobie sieci botnet i używają ich np. do rozsyłania spamu, rozprzestrzeniania wirusów oraz atakowania komputerów i serwerów poprzez ataki DDoS. Jeśli komputer stanie się częścią botnetu, może on zwolnić, a nieświadomy użytkownik przypadkowo zacznie wspierać przestępców. Celem artykułu jest przybliżenie zagrożeń związanych z sieciami botnet, działanie samego botnetu oraz pokazanie możliwości ochrony na przykładzie rozwiązania Anti-Bot firmy Check Point. Anti-Bot został upubliczniony przez producenta w pierwszej połowie 2012 roku jako moduł software’owy tzw. Software Blade. Historia i dzień dzisiejszy Pojęcie bot jest skrótem od słowa robot . Pierwszy bot „GMBot” nie był zło śliwy, powst ał w lat ach 80. do naśladowania żywej osoby w kanałach Internet Relay C hat (IRC ). Jednak już w roku 1999 okazało się, że boty zostały zaprojektowane w nieczystych intencjach. Sub7 i P retty Park u ż ywał y IRC jako k ana ł u s t er owania i by ł y pierwszymi „złośliwymi” botami. Kolejne boty stawały się coraz bardziej wyrafinowane, a w niektó- 6 rych przypadkach zostawały skomercjalizowane jako produkty - bot Zeus z 2006 był pierwotnie sprzedawany za kilka tysięcy dolarów. W połowie 2011 roku, kod źródłowy Kitu (narzędzie do samodzielnego montażu) dla botnetu Zeus i S pyEye z o s t a ł ujawniony , c o dało potę żne narzędzie twórcom botnetu dostępne praktycznie dla każdego, kto chce założyć własny botnet. Dzisiaj paczki „sam zbuduj swój botnet” można pobrać z Internetu lub odnaleźć w czasopismach o tematyce hackingu. Integrujemy przyszłość® Obecnie ilość maszyn w botnecie może sięgać wielu milionów, a największe botnety to Rustock, Bagle, Festi, Bobax, SpyEye, TDL / TDSS, Rogue AV, Neosploit Storm, Sribi, Kraken, Mega-D. Czym jest botnet i jak działa? Botnet to grupa komputerów zainfekowanych przez boty, czyli szkodliwe programy, które umożliwiają zdalne kontrolowanie komputera nieświadomej ofiary. Komputer zaatakowany w ten sposób bywa często Numer: IV/2011 (117) Rys.1. Poglądowy schemat przedstawiający historyczny rozwój botnetów nazywany zombie, gdyż podobnie jak w filmach grozy zombie jest pod kontrolą kogoś innego. W tym przypadku ten „ktoś” to zarządca botów (ang. bot herder), najczęściej cyberprzestępca. Najczęstszym celem działania złośliwego oprogramowania na zainfekowanych komputerach jest wysyłanie spamu oraz kradzież szeroko rozumianej tożsamości elektronicznej w tym danych takich jak loginy i hasła do wszelkiego rodzaju kont bankowych oraz informacje dotyczące kart kredytowych. Bardzo często boty dodatkowo próbują łamać hasła kont wyciąganych z usług katalogowych by zdobyć uprawnienia do dalszego rozprzestrzeniania się w sieci. Kolejnym celem działania botów jest wykonywanie ataków Distributed DoS na wskazane przez zarządcę systemy, konkretne firmy a nawet państwa. Istnieją firmy specjalizujące się w sprzedaży tego typu usług, które jako narzędzie wykorzystują własną sieć botnetów, której usługi sprzedają za cenę zaczynającą się nawet od kilkuset dolarów. Zarażenie bywa bardzo proste. Wystarczy wejść na stronę internetową zainfekowaną złośliwym kodem lub otworzyć załącznik w poczcie e-mail. Przykładem może być otwarcie załącznika PDF przy użyciu „nie załatanego” Adobe Readera, który spowoduje zainfekowanie systemu botnetem. Od tego momentu system jest zainfekowany złośliwym kodem, co praktycznie oznacza, że nie mamy już pełnej kontroli nad urządzeniem. Botnet może przeszukiwać dostępne sieci w celu odnalezienia kolejnych ofiar, które następnie próbuje zainfekować. Wiele obecnie działających botnetów w trakcie swojej pracy wielokrotnie mutuje, co znacznie utrudnia ich wykrycie. Botnety potrafią także utrudniać swoje wykrycie przez modyfikacje elementów systemu operacyjnego, sektorów rozruchowych czy oprogramowania antywirusowego. Bardzo często botnety unieruchamiają serwisy odpowiedzialne za wykonywanie automatycznych poprawek systemu operacyjnego oraz wyłączają aktualizacje czy skanowanie systemu przez program antywirusowy. Działania takie są możliwe dzięki temu, że botnety wykorzystują techniki agentowe, których mechanizmy służą do celów kontrolnych, raportowych oraz wykonywania innych poleceń Centrum Zarządzającego (CZ). Komunikacja z Centrum Zarządzania odbywa się za pomocą komunikacji Command And Control, nazywanej w skrócie CnC lub C&C. Dodatkowo komunikacja z Centrum Zarządzającym może być tunelowana w innych protokołach lub nawet szyfrowana, co pozwala ominąć mniej zaawansowane mechanizmy kontroli takie jak Firewall, System IPS czy Antywirus. Jak nietrudno się domyślić kluczowe znaczenie dla poprawnego działania botnetu ma zapewnienie komunikacji CnC możliwie niezauważalnego działania oraz rozprzestrzeniania się botów. Poniżej przedstawione zostały sposoby komunikacji, wykorzystywane topologie oraz metody maskowania. Topologie wykorzystywane przez sieci botnetów można podzielić na: •Topologia gwiazdy Biuletyn Informacyjny SOLIDEX® Topologia wykorzystuje pojedyncze Centrum Zarządzania. Złośliwe oprogramowanie po zainfekowaniu ofiary nawiązuje komunikację z Centrum Zarządzania w celu rejestracji oraz pobrania instrukcji. Od tego momentu agent oczekuje na wykonanie instrukcji. Topologia ta jest bardzo prosta, ale dość mało popularna. Wadą tej topologii jest to, że bardzo łatwo jest namierzyć i zneutralizować Centrum Zarządzania, a tym samym uniemożliwić rozprzestrzenianie się botnetu. •Topologia Multi-Server Jest rozszerzeniem topologii gwiazdy, ale C Z składa się z wielu serwerów zarządzających. Serwery tworzą klaster, który do zapewnienia komunikacji wykorzystuje bardzo często architekturę DNS oraz własne protokoły komunikacji CnC. Zaletą tej topologii jest znacznie większa odporność na awarie w stosunku do topologii gwiazdy oraz możliwość optymalizacji geograficznej Centrum Zarządzania. •Topologia Hierarchiczna Topologia bazuje na hierarchicznej architekturze Centrum Zarządzania z wieloma nadrzędnymi i podrzędnymi serwerami zarządzającymi. Najczęściej istnieje jeden główny serwer, który zarządza botnetem. Serwer ten jest jednak bardzo trudny do wykrycia. Topologia ta jest konieczna do zarządzania wielomilionowymi sieciami botnetów i zapewnia działanie nawet w przypadku gdy znaczna część serwerów zostanie zablokowana czy zneutralizowana. Jedyną wadą tej topologii wydaje się być pewna bezwładność wynikająca z opóźnienia jakie wprowadzają 7 NOWOŚCI serwery pośredniczące. •Topologia Zmienna Jest to topologia, która należy do najbardziej zaawansowanych. Sieć zbudowana przy wykorzystaniu takiej architektury jest dynamiczna i w zależności od sytuacji może wykorzystywać różne sposoby komunikacji. Centrum Zarządzające może być zbudowane z wielu serwerów, ale równocześnie może wykorzystywać topologię „Peer to Peer”, czyli taką gdzie botnet jest jednocześnie serwerem zarządzającym jak i agentem wykonującym rozkazy. Główną zaletą jest brak scentralizowanego Centrum Zarządzania oraz to, że rozkazy mogą być przekazywane przez dowolnego zaufanego agenta sieci. Architektura jest odporna na awarie oraz umożliwia bardzo szybkie rozprzestrzenianie się botnetu. Podobnie jak w przypadku topologii hierarchicznej problemem jest pewne opóźnienie w dostarczaniu instrukcji do agentów. Oprócz samej topologii bardzo ważnym elementem działania botnetu jest szybka lokalizacja Centrum Zarządzającego. Agent okresowo sprawdza dostępność serwerów należących do Centrum Zarządzania w celu pobrania nowych instrukcji. Oczywiście CZ nie może bazować na statycznych adresach IP, gdyż zostałyby one błyskawicznie namierzone i zablokowane. Obecnie stosowanych jest kilka sposobów zapewniających ukrycie właściwego umiejscowienia Centrum Zarządzenia, przy jednoczesnym odnalezieniu go przez agentów botneta. Podstawowy mechanizm ukrywania CZ to tzw. Fluxing, który może występować w dwóch typach- IP Flux oraz Domain Flux. •IP Flux – działanie tej metody polega na ciągłej zmianie wielu wpisów w serwerach DNS. Jest to metoda zwana inaczej Fast-Flux ponieważ w bardzo krótkim czasie, który często nie przekracza 300 sekund, pozwala podstawić pod FQDN setki różnych adresów IP. Metodę IP Flux można podzielić na dwa typy: Single-Flux oraz Double-Flux. Metoda Single-Flux - polega na zapisaniu tysięcy adresów IP pod jedną nazwą domenową w DNS (rekord A). Jako mechanizm rejestracji i derejestracji stosowany jest 8 Rys.2. Botnety - zestawienie ilości agentów algorytm Round Robin, a rekordy zapisywane są z bardzo krótkimi czasami życia T TL ( Time to Live). Double-Flux - mechanizm działania jest bardzo podobny do metody Single-Flux, dodatkowo jednak zmieniane są adresy serwerów nazw DNS, czyli rekordy NS (Name Server) obsługujące daną domenę. Zastosowanie takiego mechanizmu znacznie utrudnia odnalezienie rzeczywistych adresów Centrum Zarządzającego. •Domain Flux – metoda ta w przeciwieństwie do IP Flux polega na ciągłej zmianie wielu nazw FQDN (pełnej nazwy domenowej), a nie adresów IP. Wpisy FQDN odzwierciedlają oczywiście adresy IP Centrum Zarządzającego. Dodatkowo wykorzystywane mechanizmy przez tę metodę to Domain Wildcarding, czyli maskowanie domen oraz Domain Generation Algorithm, czyli algorytm generowania nazw domen. Domain Wildcarding – to metoda która bazuje na podstawowej funkcjonalności serwera DNS jaką jest wykorzystanie znaku wieloznaczności(*). Zarejestrowana domena nadrzędna może wskazywać na ten sam adres IP ze wszystkich rekordów np. aaabbb jako aaabbb.domenabot.com itd. Nazwy hostów oczywiście są generowane losowo i funkcjonują przez krótki czas. Mechanizm ten jest najczęściej stosowany przez właściciela botnetu do identyfikacji poszczegól- Integrujemy przyszłość® nych agentów. Częste zmiany wpisów rekordów DNS pozwalają na znaczne utrudnienie wykrycia adresacji botnetu. Domain Generation Algorithm – algorytm ten należy do najnowszych i najbardziej zaawansowanych jakie są wykorzystywane przez botnety. Mechanizm polega na okresowym generowaniu listy adresów i nazw FQDN. Lista ta jest następnie umieszczana na serwerach zarządzających. Ponieważ lista jest aktualna tylko przez krótki okres, bardzo trudno jest ustalić prawdziwy adres agenta i Centrum Zarządzania. Mechanizm ten został wykorzystany przez botneta Conficker. Mechanizmy IP Flux jak i Domain Flux zapewniają duży poziom odporności na wykrycie oraz redundancji struktury zarządzającej botnetu. Możliwe jest jednak zapewnienie dodatkowego poziomu bezpieczeństwa oraz odporności na awarie. Mechanizm zapewniający dodatkową warstwę ochrony to tzw. Blind Proxy Redirection. Mechanizm ten polega na wykorzystaniu dedykowanych agentów, którzy pośredniczą (proxy) w komunikacji związanej z ustaleniem odpowiedników IP / domena, czy też pośredniczą w samej komunikacji CnC. Przepuszczenie komunikacji przez pośredników zapewnia ukrycie prawdziwych adresów źródłowych zapytań. Dodatkowo agenci mogą zmieniać swoje funkcje, co oznacza, że standardowy agent może stać się Numer: IV/2011 (117) agentem pośredniczącym dla innych elementów sieci. Wykorzystanie mechanizmu Blind Proxy Redirection bardzo utrudnia ustalenie prawdziwej lokalizacji Centrum Zarządzającego oraz innych elementów botnetu. Oczywiście wyżej opisane mechanizmy i topologie stanowią podstawę do budowy coraz bardziej zaawansowanych mechanizmów działania botów, które są coraz częściej wykorzystywane jako narzędzia ataków znanych jako Advanced Persistent Threats (AP T ). Do przykładowych ataków tego typu należą takie jak Stuxnet, Operacja Shady Rat czy Operacja Aurora. Ten ostatni odbił się dość głośnym echem w mediach, gdyż skierowany był w korporację Google oraz inne koncerny. stać wykorzystany do przeprowadzenia późniejszego ataku. Check Point Anti-Bot W pierwszej połowie 2012 roku firma Check Point uzupełniła swoje rozwiązanie ochrony bramy o nowy pakiet softwareowy Anti-Bot, będący odpowiedzią na zagrożenia związane z botnetami. Nowy pakiet A nti-Bot jest ju ż standardowym elementem wersji R 7 5 .4 0 oprogramowania C heck Point . Modularna budowa rozwiązań Check Point pozwala na bardzo proste Rys.4. Nowy Software Blade Anti-Bot Rys.3. Okno narzędzia do samodzielnego tworzenia botów -“SpyEye” Coraz częściej wykorzystywane są ogólnie dostępne Kity, czyli wspomniane już wcześniej narzędzia do samodzielnego montażu - DIY (do it yourself ). Przykładem może być bardzo popularny pakiet SpyEye DIY, który jest nowocześniejszą formą pakietu Zeus. Wykorzystanie takich pakietów pozwala na stworzenie własnego botnetu, który może zo- uzupełnienie obecnie wykorzystywanego oprogramowania, czy też urządzenia typu Appliance o nowy pakiet ochrony. Kluczowe cechy i korzyści z Anti-Bot Software Blade: •Innowac yjny mechanizm Multi-tier Discover y Bot – mechanizm wykorzystuje logikę silnika Biuletyn Informacyjny SOLIDEX® ThreatSpect ™, który analizuje ruch w sieci przechodzący przez bramę w trybie inline. ThreatSpect wykorzystuje takie mechanizmy wykrywania botów jak analiza komunikacji i korelacja jej z istniejącymi ogniskami botnetów, wzorce zachowania czy analiza behawioralna bazująca na heurystyce. Wszystkie te mechanizmy umożliwiają skuteczTM 9 NOWOŚCI ne i jednoznaczne zidentyfikowanie botów. Dodatkowo mechanizm ochrony korzysta z informacji na temat inteligencji bota z repozytorium ThreatCloud . Repozytorium to wysyła automatyczne aktualizacje zagrożeń dla modułu Anti-Bot, dzięki którym istnieje możliwość zapewnienia ochrony przed najnowszymi botnetami oraz mutacjami już istniejącymi w czasie rzeczywistym. •Ochrona prewencyjna – mechanizm ten polega na blokowaniu komunikacji pomiędzy zainfekowanym komputerem- botem a Centrum Zarządzania poprzez blokowanie komunikacji C&C. Skutkiem jest brak kontroli nad botem przez cyberprzestępcę oraz uniemożliwienie botowi dalszego rozprzestrzeniania się. •Audyt i raportowanie - umożliwia to analizę ryzyka poprzez raporty o złośliwym oprogramowaniu typu malware, w tym botnet . K lient uzyskuje możliwość łatwej kontroli nad stanem sieci oraz ma możliwość uzyskania szczegółowych informacji na temat poszczególnych incydentów bezpieczeństwa związanych z aktywnością botnetów. •Zintegrowana Ochrona - Anti-Bot Software Blade jest przeznaczony do łatwej integracji z istniejącymi modułami bezpieczeństwa, w tym: modułem zapobiegania włamaniom IPS, Antivirus & Anti-MalwaTM złośliwych witryn. •Centralne zarządzanie – wszystkie moduły ochrony tworzą centralne zarządzanie polityką przez wykorzystanie architektury Software Blade . Koncepcja ta znacznie upraszcza złożoności zarządzania w celu całościowego poglądu na bezpieczeństwo sieci. Wszystkie wcześniej wymienione cechy pozwalają na skuteczną ochronę przed zagrożeniami związanymi z botnetami. Należy jednak pamiętać, że moduł Anti-Bot nie jest ochroną proaktywną, co oznacza, że nie zabezpiecza nas przed zarażeniem stacji roboczej botem przez przykładowo, uruchomienie załącznika z zainfekoTM Mechanizmy ochrony proaktywnej oraz ochrony po fakcie •IPS – identyfikuje i zapobiega atakom, które często generowane są przez botnety próbujące uruchomić exploit na podatności w oprogramowaniu. •Antivirus & Anti-Malware – proaktywna ochrona zapobiegająca przed pobraniem złośliwego kodu. •URL Filtering – ochrona proaktywna zapobiegająca uruchomieniu strony internetowej zawierającej złośliwy kod. •Application Control - ochrona proaktywna zapobiegająca przed działaniem aplikacji, które często służą Rys.5. Okno informacyjne dla modułu Anti-Bot wanym plikiem PDF czy wejściem na zainfekowaną stronę Web. Ochrona przed zagrożeniami związanymi z botnetami powinna być wielowarstwowa i obejmować wiele ele- do rozprzestrzeniania infekcji. •Anti-Bot – ochrona mająca na celu zidentyfikowanie zainfekowanych maszyn oraz zapobieganie negatywnym skutkom działania botnetu. •DLP – ochrona post factum, zapobiegająca utracie poufnych danych w związku z działaniem złośliwego oprogramowania. Wszystkie powyższe mechanizmy ochrony proaktywnej oraz ochrony po fakcie, czyli zapobiegające przed skutkami infekcji są zaimplementowane i skonsolidowane na pojedynczym rozwiązaniu ochrony bramy firmy Check Point z jednym centralnym punktem zarządzania i raportowania. Opracowano na podstawie oficjalnych materiałów producenta. Rys.6. Okno modułu raportowania przedstawiające zagrożenia związane ze złośliwym oprogramowaniem Bot re, który uniemożliwia przesyłanie mentów ochrony przed infekcją oraz plików zawierających złośliwe wi- skutkami już istniejącej infekcji. rusy, oraz moduł filtrowania adresów URL, który blokuje dostęp do 10 Integrujemy przyszłość® A.J. Inżynier SOLIDEX Nowość w ofercie Warsztaty Check Point Security Solution Centrum Szkoleniowe SOLIDEX przygotowało dla Państwa nową propozycję szkoleniową - Warsztaty Check Point Security Solution. Program warsztatów Check Point Security Solution obejmuje następujące zagadnienia: Instalacja produktów, Aktualizacja oprogramowania, Tworzenie polityk bezpieczeństwa, Dostępne mechanizmy translacji adresów oraz ich konfiguracja, Tworzenie i konfiguracja tuneli VPN, Tworzenie i konfiguracja tuneli SSL VPN, Ochrona przez atakami - IPS, Konfiguracja mechanizmów Content Security, Integracja z ActiveDirectory - budowanie polityk bezpieczeństwa w oparciu o tożsamość użytkownika, Kontrola aplikacji na firewallu, Konfiguracja klastra wysokiej dostępności. Szczegółowy opis warsztatów oraz harmonogram znajdą Państwo na stronie: http://www.solidex.com.pl/oferta/warsztaty TECHNOLOGIE ISE – AS w talii rozwiązań Cisco Borderless Networks Przyglądając się dzisiejszym trendom przy budowaniu sieci teleinformatycznych nie można ograniczać się tylko do tradycyjnych pojęć switching, routing, security. Szczególnie w sferze bezpieczeństwa pojęcia takie jak firewall, tożsamość, prawa dostępu nabrały nowego znaczenia. Implementacja systemów typu firewall, IPS/IDS, UTM w strefie DMZ zapewniała bezpieczeństwo zazwyczaj na styku z Internetem. Tego typu zabezpieczenia chroniły firmy przed atakami z zewnątrz. Jednak co w przypadku kiedy dostęp do zasobów firmy realizowany jest z każdego miejsca na Ziemi (przez Internet), z innej placówki (WAN, LAN, MAN)? Coraz częściej pracownicy do codziennej pracy wykorzystują swoje prywatne urządzenia, jak Smartfony, PDA, laptopy – bo tak łatwiej, szybciej, ale czy bezpieczniej? Takie wyzwania przyświecały Cisco Systems przy stworzeniu wizji sieci typu Borderless Networks. Sieć bez granic, a więc dostęp do danych z każdego miejsca, niezależnie od czasu a także urządzenia. W sieciach tego typu bezpieczeństwo jest krytycznym elementem zapewniającym ciągłość pracy, spójność a także odpowiednią wydajność. Niniejszy artykuł poświęcony został właśnie temu elementowi, a konkretnie części odpowiadającej za kontrolowany dostęp TrustSec. Obe c nie w por tfolio C is c o Sys tems znajdują się produkty takie 12 jak C SAC S, NAC Appliance, NAC Guest Server, itp. Natomiast sieci typu Borderless Networks wymagają maksymalnej konsolidacji elementów bezpieczeństwa, dlatego powstał uniwersalny produkt typu Admission Control – Identity Services Engine (ISE). cji umożliwiającym kontrolowanie dostępem do zasobów sieciowych. Dostęp ten jest realizowany w czasie rzeczywistym i bazuje między innymi na usługach A A A (Authentication, Autorization, Accounting). Unikalna architektura Cisco ISE pozwala zbierać informacje kontekstowe (o użytkownikach i urządzeniach Czym jest ISE? aktywnych) z sieci w czasie rzeczywistym. Na podstawie tych danych C isc o Ident ity S er vic e s Engine administrator może proaktywnie (ISE) jest systemem nowej genera- zarządzać siecią wiążąc parametry Integrujemy przyszłość® Numer: IV/2011 (117) Rys.1. Architektura Logiczna Identity Services Engine tożsamości do różnych polityk bezpieczeństwa, które następnie mogą być realizowane na: •przełącznikach dostępowych, •kontrolerach bezprzewodowych sieci LAN (WLCs), •wirtualnych sieciach prywatnych (koncentratorach VPN). Cisco ISE jest kluczowym elementem grupy Cisco Security Solution Access i stanowi centralny system polityk kontroli dostępu, zawierający skonsolidowane rozszerzone funkcje dostępne w istniejących osobnych platformach (CSACS, NAC Appliance, NAC Guest Server, NAC Profiler, NAC Collector, NAC Agent). Cisco ISE posiada kilka podstawowych funkcjonalności: •Ł ączy uwierzytelnianie, autoryzację, ewidencjonowanie (A A A) i profilowanie w jednym urządzeniu. •Wspiera szeroką gamę protokołów autentykacyjnych – PAP, MS-CHAP, E AP-MD5, PE AP, FA ST, EAP-TLS. •Zapewnia kompleksowe zarządzanie tymczasowymi kontami typu gość (Guest Access), może być realizowany w sieciach przewodowych jak i bezprzewodowych. •Wymusza zgodności punktów koń- cowych z wymaganymi politykami bezpieczeństwa w firmie poprzez zapewnienie kompleksowej oceny stanu stacji klienta. Ocena obejmuje wszystkie urządzenia końcowe i działa w środowisku 802.1x. •Z apewnia obs ł ugę „odk r yc ia”, profilowania (a w konsekwencji umieszczenia w odpowiedniej polityce bezpieczeństwa) i monitorowania urządzeń końcowych w sieci. •Umożliwia spójną politykę dla scentralizowanych i rozproszonych na tagach (SGTs), − listy gr upy kontroli dost ępu (SGACLs). W sferze zarządzania tożsamością Cisco ISE jest w stanie na podstawie informacji kontekstowych realizować odpowiednie działania: •Cisco ISE określa czy użytkownicy mają dostęp do sieci zgodny z polityką bezpieczeństwa. •Cisco ISE ustala parametry takie jak: tożsamość użytkownika, lokalizację, sposób dostępu, które Unikalna architektura Cisco ISE pozwala zbierać informacje kontekstowe z sieci w czasie rzeczywistym. Na podstawie tych danych administrator może proaktywnie zarządzać siecią wiążąc parametry tożsamości do różnych polityk bezpieczeństwa. środowisk. •Wykorzystuje zaawansowane mechanizmy i technologie w tym: − gr upy zabezpiec zeń dost ępu (SGA), − grupy zabezpieczeń bazujących Biuletyn Informacyjny SOLIDEX® póź niej mogą być uż ywane do szczegółowego raportu. •Cisco przypisuje usługi w oparciu o przypisaną rolę użytkownika, grupy powiązane z danymi typu: rola pracy, lokalizacja, typ urządze- 13 TECHNOLOGIE Hardware Small Medium Large VM Model 1121/3315 Based on the IBM System x3250 M2 3355 Based on the IBM System x3550 M2 3395 Based on the IBM System x3550 M2 VMware Server v2.0 (Demos) VMware ESX v4.0 / v4.1 VMware ESXi v4.0 / v4.1 CPU 1x Quad-core Xeon 2.66GHz 1x Quad-core Nehalem 2GHz 2x Quad-core Nehalem 2GHz >= 1 processor RAM Disk RAID Network 4GB 2 x 250-GB SATA (500GB available) No 4 x Gigabit Ethernet 4GB 2 x 300-GB 2.5” SATA (600GB available) Yes: RAID 0 4GB 4 x 300-GB 2.5” SAS I (600GB available) Yes: RAID 1 4 x Gigabit Ethernet 4 x Gigabit Ethernet 4GB (max) Admin: >= 60GB Policy: >= 60GB Monitor: >= 200GB, <= 600GB <= 4 x Gigabit Ethernet Power Single 650W 650W Redundant 650W Redundant - Node Persona All Personas All Personas All Personas No Inline Posture Tabela 1. Porównanie platform ISE cję dostępu do sieci, wykonywanie Polityka Usług w celu zapewnienia procesu wyrównania i oceny po- większej niezawodności. ziomu bezpieczeństwa stacji robo- Monitoring – umożliwia Cisco ISE czej, dostęp gościnny jak i usługi działanie jako kolektora logów, zdaprofilowania. Polityka Usług podej- rzeń związanych głównie z aktywnomuje wszystkie decyzje związane ścią użytkownika, taką jak: z przypisaniem profili. W zależności •sposób w jaki użytkownik otrzyod wielkości i złożoności sieci możmał dostęp do zasobów (sposób Z czego składa się ISE? na posiadać więcej niż jeden węzeł użytych protokołów autoryzacji, itp.), W obecnej wersji 1.0.4 ISE jest do- działający jako „persona” Polityka stępne jako platforma sprzętowa Usług. Można stosować grupy wę- •informacje o konkretnych zasobach, (appliance) oraz jako wirtualny ob- złów działających jako „persona” do których użytkownik uzyskał doraz. Porównanie platform ISE przedstawia Tabela 1. Cisco ISE posiada trzy podstawowe moduły typu „persona” odpowiadające za specyficzne niezależne funkcjonalności: Administracja – umożliwia wykonywanie wszystkich operacji administracyjnych na Cisco ISE. Obsługuje ona wszystkie konfiguracje związane z działaniem systemu ISE jak Rys.2. Widok tylnego panelu platformy 1121/3315 (IBM x3250 M2) również związane z funkcjonalnościami uwierzytelniania, autoryzacji, audytu i tym podobne. W środowisku rozproszonym można mieć jeden lub maksymalnie dwa węzły działające jako „persona” Administracja. „Persona” Administracja może funkcjonować w jednej z następujących ról: standalone, primary lub secondary. Polityka Usług – zapewnia realiza- Rys.3. Widok tylnego panelu platformy 3355/3395 (IBM x3550 M2) nia, itp.. •Cisco ISE umożliwia dostęp do ok r e ś lonych segment ów siec i lub konkretnych aplikacji i usług w oparciu o wynik procesu uwierzytelnienia. 14 Integrujemy przyszłość® Numer: IV/2011 (117) Rys.4. Przykład wykorzystania modułu Inline Posture w środowisku VPN Rys.5. Przykład wykorzystania modułu Inline w środowisku WLAN stęp (VLANy, itp.), •informacje na temat czasu, w którym użytkownik otrzymał dostęp, •informacje na temat urządzeń sieciowych, które taki dostęp umożliwiły (nazwa, adres IP, itp.), •informacje na temat profilu, który otrzymał użytkownik na etapie dostępu, •informacje na temat oceny procesu wyrównania (Stan Posture). Dodatkowo moduł Monitoringu zapewnia zaawansowane monitorowanie i rozwiązywanie problemów związanych z procesem Admission Control. W przypadku implementacji modelu typu Network Admission Control ISE może działać jeszcze jako węzeł typu Inline Posture. Inline Posture jest szczególnym przypadkiem kiedy implementacja ISE wymaga integracji z kontrolerem WLC oraz koncentratorem VPN. W tym wypadku Inline Posture wzmacnia proces egzekwowania polityki dostępu w środowisku, w którym nie można wykorzystać mechanizmu CoA (Change of Authorization). Każdy węzeł ISE podczas wdrożenia może działać jako osobny moduł lub ich kombinacja na jednym serwerze na raz. Wyjątek stanowi moduł Inline Posture, który działa jako pojedynczy węzeł (bez możliwości uru- chomienia dodatkowych modułów), wykorzystywany przy specyficznym modelu filtracji dostępu. Jak się licencjonuje ISE? W systemie Cisco ISE licencjonuje się funkcjonalność oraz model wdrożenia (środowisko bezprzewodowe). Licencje wdrożeniowe Licencja Wireless – wykorzystywana jest w przypadku kiedy ISE implementowane jest wyłącznie w środowisku bezprzewodowym. Licencja Wireless zawiera zarówno funkcjonalności podstawowe jak i zaawansowane. Licencja Wireless jest subskrybowana na okres 5 lat. Licencja Wireless Upgrade – jest przeznaczona dla klientów, którzy posiadają już wdrożony system ISE w swoim środowisku bezprzewodowym i chcą poszerzyć jego działanie na środowisko przewodowe jak i VPN. Skalowalność platform sprzętowych realizowana jest per ilość jednocześnie obsługiwanych urządzeń końcowych. ISE 3315 jest dedykowana do mniejszych sieci, w których obsługiwanych jest do 3000 urządzeń końcowych. ISE 3355 jest dedykowana do średnich sieci, w których obsługiwanych jest do 6000 urządzeń końcowych. ISE 3395 jest dedykowana do większych sieci, w których obsługiwanych jest do 10000 urządzeń końcowych. Licencje funkcjonalne Licencja Podstawowa – zawiera podstawowe funkcjonalności ISE umożliwiające uwierzytelnianie i autoryzację użytkowników w sieci przewodowej, bezprzewodowej, VPN. Zawiera usługi A A A , zarządzania cyklem życia klienta, raportowanie, monitorowanie i rozwiązywanie problemów związanych z procesem dostępu. Licencja ta jest licencją bezterminową. Licencja Zaawansowana – zawiera wszystkie podstawowe funkcjonalności wynikające z licencji podstawowej. L icencja zaawansowana zawiera funkcje profilowania urządzeń (funkcjonalnoś ć NAC Profilera), funkcje wyrównania i oceny zgodności urządzenia z polityką bezpiec zeństwa (funkcjonalnoś ć Artykuł został opracowany na podNAC Appliance) oraz Security Group stawie oficjalnych materiałów proAccess, zapewniające egzekwowa- ducenta. nie polityk bezpieczeństwa w całej J.Ś. sieci. Licencja zaawansowana jest Inżynier SOLIDEX subskrybowana na okres 3 lub 5 lat. Biuletyn Informacyjny SOLIDEX® 15 TECHNOLOGIE Typ Licencji Lic zba jednoc zesnych połąc zeń urządzeń końcowych Licencja podstawowa (licencja „bezterminowa”) •100 •250 •500 •1000 •2500 •3500 •5000 •10 000 •25 000 •50 000 •100 000 L icencja zaawansowana (licencja subskrypcyjna 3 i 5 letnia) •100 •250 •500 •1000 •2500 •3500 •5000 •10 000 •25 000 •50 000 •100 000 Zastosowanie Środowisko przewodowe, bezprzewodowe i VPN. •Autentykacja AAA/RADIUS •Zarządzanie cyklem „gościa” Środowisko przewodowe, bezprzewodowe i VPN. •Autentykacja AAA/RADIUS •Zarządzanie cyklem „gościa” •Profiling urządzeń końcowych •Ocena/Wyrównanie poziomu bezpieczeństwa na urządzeniach końcowych •SGA Tabela 2. Licencje funkcjonalne Typ Licencji Lic zba jednoc zesnych połąc zeń urządzeń końcowych Zastosowanie L ic enc ja W ir ele s s (sub skrypcja 5 letnia) •100 •250 •500 •1000 •2500 •3500 •5000 •10 000 •25 000 •50 000 •100 000 Środowisko tylko bezprzewodowe •Autentykacja AAA/RADIUS •Zarządzanie cyklem „gościa” •Profiling urządzeń końcowych •Ocena/Wyrównanie poziomu bezpieczeństwa na urządzeniach końcowych •SGA Licencja Wireless Upgrade (okres ważności licencji dostosowany do licencji Wireless) •100 •250 •500 •1000 •2500 •3500 •5000 •10 000 •25 000 •50 000 •100 000 Środowisko, w którym rozwijana jest polityka bezpieczeństwa na urządzenia końcowe w sieci przewodowej jak i VPN •Autentykacja AAA/RADIUS •Zarządzanie cyklem „gościa” •Profiling urządzeń końcowych •Ocena/Wyrównanie poziomu bezpieczeństwa na urządzeniach końcowych •SGA Tabela 3. Licencje wdrożeniowe 16 Integrujemy przyszłość® Numer: IV/2011 (117) Magia prążków - optyka pasywna i CWDM Dynamiczny wzrost sieci stawia wyzwania co do infrastruktury również w warstwie fizycznej. Zaprojektowana kilka lat wcześniej infrastruktura światłowodowa okazuje się często niewystarczająca, w przypadku konieczności uruchomienia kolejnej rozdzielnej fizycznie sieci. Jak uniknąć potrzeby budowy nowego kabla optycznego, gdy zaprojektowany dziesięć lat wcześniej kabel sześciowłóknowy jest w 100% wykorzystany? Jak uniknąć kosztownej dzierżawy drugiej pary włókien optycznych do sąsiedniego miasta, gdzie budujemy zapasowe Data Center przy zachowaniu rozdzielności sieci? Elastyczne, choć kosztowne urządzenia aktywne DWDM nie są jedynym rozwiązaniem. Zanim nasza sieć osiągnie rozmiar warstwy fizycznej, przy którym staną się one niezbędne, możemy zastosować technologię C W DM z wykorzystaniem niewymagających zasilania, a więc i niezawodnych pasywnych filtrów C WDM. Technologia C WDM oparta jest na podziale widma światła stosowanego w transmisji optycznej jednomodowej w oknie 1550 nm /nano metrów/ na 8 znormalizowanych wartości. W stosunku do stosowanego w tym samym oknie widma rozwiązania DWDM wykorzystującego 64 znormalizowane wartości, jest to wiele mniej, jednak dzięki Rys.1. Częstotliwości Cisco CWDM i EWDM Biuletyn Informacyjny SOLIDEX® 17 TECHNOLOGIE zastosowaniu mniej precyzyjnych, tanich pryzmatów zapewnia kilkakrotnie niższą cenę. Optyczne okno transmisyjne 1550 nm jest tym samym oknem, które stosuje się w modułach optycznych dalekiego zasięgu ZX. Czym jest filtr pasywny CWDM? Nazwa produktu Part Number Cisco CWDM 1470-nm SFP; Gigabit Ethernet Gray CWDM-SFP-1470= Cisco CWDM 1490-nm SFP; Gigabit Ethernet Violet CWDM-SFP-1490= Cisco CWDM 1510-nm SFP; Gigabit Ethernet Blue CWDM-SFP-1510= Cisco CWDM 1530-nm SFP; Gigabit Ethernet Green CWDM-SFP-1530= Cisco CWDM 1550-nm SFP; Gigabit Ethernet Yellow CWDM-SFP-1550= Cisco CWDM 1570-nm SFP; Gigabit Ethernet Orange CWDM-SFP-1570= Cisco CWDM 1590-nm SFP; Gigabit Ethernet Red CWDM-SFP-1590= Filtr C WDM jest zaawansoCisco CWDM 1610-nm SFP; Gigabit Ethernet Brown CWDM-SFP-1610= wanym pryzmatem, k tóry odbiera wysyłane przez porTabela 1. Moduły CWDM SFP Cisco ty ur z ądzenia ak tywnego światło o znormalizowanych będzie zastosowanie technologii filtra długości fali muszą się zgadzać w standardzie CWDM długościach EWDM, pozwalającej dodać 8 prąż- z częstotliwością fali modułów SFP. fali i wysyła standardowym świa- ków widma EWDM pomiędzy pra- Do wybranego filtra należy dobrać tłowodem jednomodowym 9/125 cujące i wykorzystywane już osiem moduły o odpowiednich dla filtra długościach fali (kolorach), a przy um do filtra CWDM po drugiej stro- częstotliwości. dużych odległościach konieczne jest nie, gdzie światło jest przez pryzmat przeliczenie budżetu mocy optyczpasywny rozdzielane na częstotliwo- Implementacja nej. Dla długości fali w oknie 1550 ści składowe /prążki/ i wysyłane na porty analogiczne dla tych na stronie. Za pomocą jednej pary włókien jed- nm budżet jest duży, analogiczny do Wszystko dzieje się pasywnie, bez nomodowych wykonać można do modułów ZX i wynosi zwykle 24 dB. Wartość budżetu mocy optycznej powinna wystarczyć dla pokrycia strat związanych z tłumieniem światła w włóknie optycznym i na złączach RozwiązaniaCWDM i EWDM są niezawodne i tanie. Pozwalają światłowodowych. Dodatkowo należy pamiętać o fakcie, iż filtr CWDM uniknąć drogich inwestycji związanych z okablowaniem optycznym wprowadza dodatkowe tłumienie czy dzierżawą włókien przy zasięgu operacyjnym na poziomie 80 km. o wartości ok. 1,5 dB – dwa filtry wprowadzą więc razem 3 dB tłumienia. Warto przyjąć także dodatkowo 3 dB zapasu na wzrost tłumienia zasilania i bez ryzyka zakłóceń elek- ośmiu połączeń, stosując ośmiopor- z czasem wywołany starzeniem się tromagnetycznych oraz bez wzajem- towe filtry CWDM. Jeśli jednak po- elementów optycznych. nego wpływu transmisji w jednym trzebujemy przesłać po jednej parze kanale na drugi. Istotna jest również włókien dwa lub cztery kanały mo- Co robić kiedy dostępne jest bardzo niska cena rozwiązania. Dla żemy zakupić parę tańszych filtrów tylko 1 włókno optyczne? transmisji sygnałów najnowszych odpowiednio dwu lub cztero kanaurz ądzeń 10Gbps rozwią zaniem łowych. Obsługiwane w kanałach Zdarzyć się może sytuacja, gdy dost ępne jest tylko jedno w łókno optyczne. Na przykład, kiedy chcemy dodać drugą sieć do pracującej aktualnie pary włókien lub gdy uszkodzi się jedno z włókien, a wymiana kabla jest niemożliwa. Przy mniejszych odległościach sprawdzi się para modułów bidirectional SFP (BiDi), z których jeden nadaje w oknie 1490 nm (Tx), odbierając w oknie 1310 nm (Rx) - drugi moduł nadaje w oknie 1310nm odbierając na 1490 nm. Pary modułów BiDi również znajdują się w ofercie Cisco. Przy dostępnym jednym włóknie Rys.2. Moduły CWDM SFP i filtry firmy Cisco i dużej odległości (powyżej 50 km) 18 Integrujemy przyszłość® Numer: IV/2011 (117) Nazwa produktu Part Number 1000BASE-BX10 SFP module for single-strand SMF, 1490-nm TX/1310-nm RX wavelength GLC-BX-D= 1000BASE-BX10 SFP module for single-strand SMF, 1310-nm TX/1490-nm RX wavelength GLC-BX-U= Tabela 2. Moduły BiDiCisco Nazwa produktu Part Number Cisco EWDM MUX/DEMUX 8 wavelengths EWDM-MUX8= Cisco EWDM MUX/DEMUX and OADM 4 waEWDM-OADM4= velengths Cisco EWDM MUX/DEMUX and OADM 2 waEWDM-OADM2= velengths EWDM-OA= Cisco EWDM optical amplifier Tabela 3. Cisco EWDM - produkty Splitery E WDM można włąc zyć pomiędzy pracujące już pryzmaty klasycznego C WDM zwiększając tym samym sumaryczną liczbę przesyłanych kanałów do 16. Dodatkowo dołączenie do splitera EWDM wzmacniacza sygnału (booster), zapewni zwiększenie poziomu sygnału wysyłanego do włókna, co z kolei pozwoli na zwiększenie zasięgu dla np. sygnału 10Gbps. Prążki spektralne sygnału DWDM rozmieszczone będą pomiędzy prążkami 1530 nm, 1550 nm i 1570 nm sygnału CWDM. Sposób aplikacji pokazuje rysunek nr 3. Produkty systemu EWDM pozwalają na zbudowanie zaawansowanego i niezawodnego rozwiązania obejmującego także topologie pierścieniowe (metro ethernet) z możliwością dodawania (Add) i pobierania (Drop) odpowiedniego sygnału optycznego z pierścienia (Add-Drop Multiplekser ADM). Produkty składające się na rozwiązanie EWDM dostępne w ofercie Cisco przedstawiono w tabeli nr 3. Podsumowanie Rys.3. Schemat aplikacyjny rozwiązania EWDM (źródło Cisco) transmisja dwukierunkowa również jest możliwa. W takiej sytuacji należy zastosować zwykłe moduły optyczne Z X (1550 nm) dużego zasięgu i pasywne moduły oscylatora optycznego. Jest to rozwiązanie tanie i niezawodne. Należy jednak pamiętać o wprowadzanym dodatkowym tłumieniu ok. 1,5 dB (razem 3 dB). Rozwiązanie EWDM Technologia EWDM pozwala dodać 8 prą żków widma EWDM pomiędzy pracujące i wykorzystywane już osiem częstotliwości fali C WDM. Biuletyn Informacyjny SOLIDEX® R oz wi ą z a nia C W DM i E W DM są niezawodne i tanie. Pozwalają uniknąć drogich inwestycji związanych z okablowaniem optycznym czy dzierżawą włókien przy zasięgu operacyjnym na poziomie 80 km. Co z kolei daje możliwość posadowienia zapasowego Data Center w sąsiednim mieście. Opisane rozwiązania pozwalają odsunąć w czasie konieczność zastosowania aktywnych urządzeń DWDM. Kiedy jednak wzrost skomplikowania sieci optycznych będzie wymagał zastosowania tych ostatnich, zapraszamy do skorzystania z pomocy naszych SOLIDnych EXpertów. Więcej na stronie: www.SOLIDEX.com.pl. Opracowano na podstawie oficjalnych materiałów producenta. A.D. Inżynier SOLIDEX 19 Remote Access Manager Remote Access Manager jest elastyczną, skalowalną aplikacją, która w szybki i prosty sposób może zostać dostosowana do indywidualnych potrzeb klienta. Głównym jej zadaniem jest zarządzanie zdalnym dostępem poprzez obsługę kont zewnętrznego dostępu, dynamiczne nadawanie haseł dostępu oraz określanie czasu trwania sesji dostępu. Funkcje zarządcze realizowane są za pomocą konsoli administracyjnej, umożliwiającej ich wykonanie przy użyciu interfejsu webowego. Numer: IV/2011 (117) Solid.rac – czyli jak bezpiecznie współpracować Dla współcześnie działających firm Internet jest jednym z podstawowych narzędzi wykorzystywanych w biznesie. Jest równie ważny jak biurko, komputer, czy miejsce pracy. W powyższych stwierdzeniach nie ma niczego odkrywczego. Od kiedy Internet zagościł w firmach przedsiębiorcy potrafili zrobić z niego właściwy użytek. W czasie kiedy Internet zaczął się pojawiać w naszym kraju, większość przedsiębiorstw korzystała z niego do komunikacji, czy zbierania informacji, a zatem głównie do pobieraniadanych z sieci. W ostatnich latach coraz czę ściej przedsiębiorstwa muszą udostępniać własne zasoby, co powoduje, że administratorzy systemów mają o wiele więcej obowiązków związanych z zabezpiec zaniem infrastruktury informatycznej przedsiębiorstwa. Kiedyś musieli chronić ją wyłącznie przed zagrożeniami płynącymi z wewnątrz. Konieczność udostępnienia zasobów do Internetu spowodowała, że liczba potencjalnych zagrożeń znacznie wzrosła. „Udostępnianie zasobów” nie oznacza tylko udostępniania treści, czy usług sieciowych, ale także (a może przede wszystkim), umożliwienie połączenia do sieci korporacyjnej zarówno dla pracowników przedsiębiorstwa, jak również dla partnerów zewnętrznych, klientów, czy firm świadczących usługi serwisowe. Od lat standardem wykorzystywanym do łączenia z siecią korporacyjną jest technologia wirtualnych sieci prywatnych (ang. VPN), który pozwala na stworzenie wirtualnego tunelu w sieci publicznej (ogólnodostępnej), za pomocą którego mo ż na be z pie c z nie udos t ę pnić własne zasoby. Popularność tego typu rozwiązań jest efektem dużej troski, jaką jego projektanci przyłożyli do zagadnień związanych z bezpieczeństwem, jak również z wydajnością. Bezpieczeństwo transmisji jest zapewniane przez jej szyfrowanie z wykorzystaniem sprawdzonych algorytmów, natomiast wydajność wynika z możliwości kompresji przesyłanych danych. Jednak dla osób zajmujących Biuletyn Informacyjny SOLIDEX® się zagadnieniami bezpieczeństwa oczywiste jest, że zarówno pojęcia bezpieczeństwa, jak również wydajności, wiążą się nie tylko z technologią, ale także z tzw. czynnikiem ludzkim. Nawet najlepszy algorytm szyfrowania nie pomoże, jeśli użytkownik zgubi klucz prywatny, tak jak silne hasło nie będzie stanowić zabezpieczenia, jeśli użytkownik zapisze je na kartce i przyklei do monitora. Podobnie, najlepsze oprogramowanie nie poprawi efektywności przedsiębiorstwa, jeżeli jego obsługa będzie angażowała zbyt wiele ludzkiego potencjału w stosunku do osiąganej korzyści. Tak, jak w znanej anegdocie, kiedy w przedsiębiorstwie zakupiono maszynę zastępującą pięciu robotników, do której obsługi wymagana jest praca sześciu 21 rozwiązania wysokiej klasy specjalistów. Oba te składniki (poziom bezpieczeństwa i efektywność) są czynnikami, które łatwo przeliczyć na to, co jest istotą prowadzenia działalności gospodarczej – na pieniądze. Aby zoptymalizować ten aspekt i zapewnić firmom możliwość uproszczenia prowadzenia działalności biznesowej stosuje się dodatkowe rozwiązania informatyczne np. specjalizowane oprogramowanie wspomagające procesy biznesowe. Niniejszy artykuł prezentuje takie oprogramowanie stworzone przez SOLIDEX. jeżeli użyje się metody uwierzytelnienia nazwanej dwuskładnikową (ang. Two-Factor Authentication), opierającej się na uwierzytelnianiu użytkownika przy pomocy danych pochodzących z dwóch niezależnych ź róde ł. Dzięki takiemu po dejściu utrata hasła ( lub innego elementu mogącego służyć jako poświadczenie tożsamości) nie otwiera jeszcze potencjalnemu intruzowi drzwi do systemu, ponieważ drugi punkt uwierzytelnienia pozostaje bezpieczny. Szczególnie ważne jest to, żeby każde z niezależnych miejsc uwierzytelnienia należało do innej kategorii z szeroko stosowanego Solid.rac to, w największym uprosz- trójpodziału: co użytkownik wie czeniu, oprogramowanie, którego (hasło, pin), co użytkownik ma (torolą jest podniesienie poziomu bez- ken, karta), kim użytkownik jest pieczeństwa dostępu do zasobów (cechy biometryczne). przedsiębiorstwa za pomocą kana- wym klientem VPN, dostarczanym przez producentów bram (koncentratorów) VPN używanych w organizacjach. W rozwiązaniu solid.rac administrator może przypisać do użytkownika jedną spośród trzech metod uwierzytelniania: „Two steps”, „One step SMS” i „One step phone”. W tym miejscu pokrótce opisane zostało, w jaki sposób przebiega uwierzytelnienie za pomocą każdej z wymienionych metod. Metoda „Two steps” jest klasyczną metodą polegającą na uwierzytelnieniu realizowanym w dwóch krokach. Po wysłaniu żądania uwierzytelnienia, klient w pierwszym kroku wprowadza w oknie uwierzytelniania swój login i hasło z korporacyjnej usługi katalogowej. Po wysłaniu tych danych, serwer uwierzytelniający weryfikuje je bezpośrednio w źródle danych (jest to istotne, bo dzięki temu hasła nie są przechowywane Solid.rac pozwala na korzystanie z wielu źródeł danych lokalnie, ani też nie trzeba dbać o ich aktualność, politykę częstotliwości zewnętrznych, a jednocześnie daje możliwość definiowania zmiany itp.). Jeżeli uwierzytelnienie użytkowników lokalnych. Pozwala także konfigurować różne istotne jest poprawne, system pobiera numer telefonu użytkownika i na ten parametry dla kont zdalnego dostępu VPN, takie jak maksymalny numer wysyła wygenerowane hasło jednorazowe, jednocześnie odpowiaczas trwania sesji, długość hasła jednorazowego, PIN itp. dając klientowi VPN, że trzeba wyświetlić okno do wprowadzenia hasła. Po poprawnym wprowadzeniu łu VPN, przy jednoczesnym uprosz- Korzystając z solid.rac użytkownik hasła jednorazowego użytkownik czeniu zarządzania użytkownikami wykorzystuje hasło korporacyjne jest wpuszczany do wnętrza sieci i sesjami. Poniżej przedstawiono je (coś, co wie) oraz telefon komórko- i może korzystać z infrastruktury bardziej szczegółowo. wy (coś, co ma), na który przysyła- przedsiębiorstwa. ne jest hasło dostępowe o określoZazwyczaj użytkownicy korzystają- nym czasie ważności. Jest to hasło Metoda „One step SMS” odbywa cy z kanałów VPN, w trakcie nawią- jednorazowe (One Time Password, się w jednym kroku, jednak nadal zywania połączenia wykorzystują OTP) generowane w oparciu o stan- opiera się na wytycznych metody dane używane do uwierzytelniania dard – algorytm opisany w doku- Two Factor Authentication, ponieprzy codziennej pracy (z reguły są mencie RFC 2 289, co gwarantuje waż do poprawnego uwierzytelnieto dane przechowywane w usłu- wysoką jakość haseł. Wykorzystanie nia wymagane jest podanie danych gach katalogowych takich jak Ac- telefonu komórkowego jako medium, weryfikowanych w dwóch miejtive Directory), co nie nakłada na na którym hasło jest wyświetlane, scach. Uwierzytelnienie za pomoużytkownika konieczności pamię- nie pociąga za sobą konieczności in- cą tej metody rozpoczyna się przez tania kolejnego hasła, a co ważniej- westowania w zakup dodatkowych wysłanie SMS-a o treści „vpn” (lub sze, nie wymaga od administratora urządzeń (jak to ma miejsce w przy- dowolnego innego skonfigurowanezarządzania kolejną grupą haseł. padku innych rozwiązań opartych go przez administratora) na określoRozwiązanie takie jest wygodne, o Two Factor Athentication). ny, predefiniowany numer telefonu. jednak utrata hasła użytkownika, Kiedy system odbierze takie żądanie, często nawet bez jego wiedzy, może Bardzo ważnym czynnikiem proce- sprawdza, czy numer, z którego zospowodować duże zagrożenie dla su uwierzytelnienia realizowanego stało przysłane żądanie jest uprawfirmowych zasobów. Zredukowa- za pomocą solid.rac jest fakt, że nie niony do korzystania z systemu, nie zagrożenia płynącego ze skom- wymaga ono żadnego dodatkowego a także czy może korzystać z tej mepromitowania hasła jest możliwe, oprogramowania, poza standardo- tody. Jeżeli okaże się, że tak, wów- 22 Integrujemy przyszłość® Numer: IV/2011 (117) czas na numer nadawcy wysyłany jest SMS z hasłem jednorazowym. Po otrzymaniu SMS-a użytkownik musi uruchomić swojego klienta VPN i w polu na nazwę użytkownika podać swoją nazwę użytkownika, jaką ma przypisaną w systemie. Natomiast w polu na hasło podaje najpierw PIN, który ma nadany przez administratora i zaraz po nim, otrzymane hasło jednorazowe. Tym sposobem weryfikacja tożsamości odbywa się w dwóch niezależnych punktach, z których jeden weryfikuje stan posiadania użytkownika (czy ma telefon, na który otrzymał kod SMS), a drugi weryfikuje jego wiedzę (czy zna PIN). Takie podejście zapobiega sytuacjom, w których kradzież telefonu może dać dostęp do systemu nieuprawnionym użytkownikom. Trzecia spośród dostępnych metod uwierzytelniania („One step phone”) pozwala na udzielanie dostępu do się automatycznie po wysłaniu odpowiedniego kodu sterującego, ale wymaga działania administratora. Na wniosek użytkownika administrator sprawdza czy jest on uprawniony do uzyskania dostępu i jeśli tak to po wybraniu odpowiedniego przycisku w interfejsie administracyjnym, hasło jednorazowe jest generowane i wysyłane na numer telefonu skojarzony z użytkownikiem. Po otrzymaniu hasła jednorazowego reszta procesu odbywa się analogicznie jak w przypadku metody „One step SMS”. Metoda ta, ze względu na konieczność kontaktu telefonicznego z administratorem usługi, daje większe moż liwoś ci kontrolowania, k to, kiedy i w jakim celu korzysta z naszych zasobów. Taka cecha może być szczególnie użyteczna w przypadku przedsiębiorstw, które mają wielu dostawców, a jednocześnie charakter ich działalności nakłada na nich obowiązek szczególnej dbałości o dostęp składniki związane z przydzielaniem dostępu, a mianowicie umożliwia autoryzację użytkowników, jak również zapewnienie rozliczalności (ang. accounting), dzięki czemu można go zakwalifikować do kategorii rozwiązań realizujących paradygmat AAA (Authentication Authorization Accounting). Dużą wartością systemu jest także uproszczenie i ujednolicenie procesu konfiguracji kont VPN. W rozwiązaniach istniejących na rynku, zarządzanie zdalnym dostępem odbywa się albo poprzez zarządzanie kontami bezpośrednio na urządzeniu albo umożliwiając uwierzytelniania w pojedynczym źródle danych (np. w usłudze katalogowej LDAP). Podejście takie ma wiele negatywnych konsekwencji, jak m.in. powstawanie „sztucznych” kont w usługach katalogowych dla użytkowników spoza korporacji, złożony proces zarządzania kontami wymagający Rys.1. Diagram architektury usługi wyłącznie po otrzymaniu hasła jednorazowego wygenerowanego przez administratora. Działa ona bardzo podobnie jak metoda „One step SMS”, z tą różnicą, że żądanie wygenerowania hasła nie odbywa do własnych zasobów. specjalistycznej wiedzy dotyczącej urządzeń dostępowych, mała elaOprócz podniesienia poziomu bez- styczność itp. pieczeństwa samego procesu uwie- Solid.rac znacznie upraszcza ten prorzytelniania, solid.rac daje jego ces. Pozwala na korzystanie z wielu użytkownikowi nie mniej istotne źródeł danych zewnętrznych, a jed- Biuletyn Informacyjny SOLIDEX® 23 rozwiązania nocześnie daje możliwość definiowania użytkowników lokalnych. Pozwala także konfigurować różne istotne parametry dla kont zdalnego dostępu VPN, takie jak maksymalny czas trwania sesji, długość hasła jednorazowego, PIN itp. Drugim istotnym elementem administrowania jest zarządzanie sesją VPN, czyli możliwość natychmiastowego przerwania sesji, możliwość wydłużenia sesji, czy w końcu obserwowanie stanu sesji użytkownika. C zynności te znacznie upraszczają proces zarządzania usługą VPN w przedsiębiorstwie, dzięki czemu możliwe jest wydelegowanie tej czynności do pracowników, którzy nie muszą mieć specjalistycznych umiejętności wymagających szkoleń z zakresu urządzeń sieciowych, przy jednoczesnym podniesieniu bezpieczeństwa usługi. Konsola administracyjna jest aplikacją wykorzystującą protokół http i dostęp do niej odbywa się przez przeglądarkę internetową (Internet Explorer, Firefox, Chrome). Solid.rac jak wspomniano wcześniej, jest oprogramowaniem należącym do kategorii rozwiązań realizujących paradygmat A A A . W związku z tym, warstwa realizująca cały proces na styku użytkownika i sieci korporacyjnej oparta jest o standard – protokół R ADIUS. Komunikacja z oprogramowaniem RADIUS odbywa się za pomocą usług sieciowych. Oprogramowanie wymaga także do pracy urządzenia pełniącego rolę bramki SMS (ewentualnie może to być np. modem GSM z kartą SIM). Samo jądro systemu zostało napisane w technologii JEE i do poprawnej pracy wymaga kontenera zgodnego ze specyfikacją JEE (preferowany Tomcat 6). Kompletną architekturę rozwiązania prezentuje Rysunek 1. czesnym zapewnieniem pełnej rozliczalności i kontroli nad zdalnymi sesjami użytkowników. Nie mniej ważna jest elastyczność i prostota zarządzania, dzięki czemu zarządzanie dostępem do zasobów firmowych może być obsługiwane przez pracowników, którzy nie muszą być wysokiej klasy administratorami sieci, dzięki czemu wspomniani specjaliści mogą realizować inne zadania, które wymagają ich specjalistycznych umiejętności. Nie bez znaczenia jest fakt, że koszt oprogramowania i jego utrzymania jest o wiele niższy. Dotyczy to zarówno licencji na oprogramowanie, jak również zerowy koszt urządzeń wyświetlających hasła jednorazowe (telefonów komórkowych). Wydaje się więc, że rozwiązanie solid.rac jest warte zainteresowania głównie ze względu na Porównując solid.rac do oprogramo- fakt, że mamy do czynienia z produkwania komercyjnego dostępnego na tem, który podnosi bezpieczeństwo, rynku, warta podkreślenia wydaje przy jednoczesnym obniżeniu koszsię być szczególnie kompleksowość tów użytkowania. rozwiązania, czyli połączenie bezK.S. piecznej metody uwierzytelnienia Inżynier SOLIDEX Two Factor Authentication z jedno- Waszych organizacji www.SOLIDEX.com.pl 24 Integrujemy przyszłość® Single Sign On Single Sign On rozwiązuje problem logowania się do wielu stron, programów oraz usług niezbędnych w codziennej pracy. Umożliwia uprawnionemu użytkownikowi jednorazowe zalogowanie się do usługi sieciowej i uzyskanie dostępu do wszystkich zasobów autor yzowanych przez tą usługę. Wylogowanie z jednego systemu powoduje automatyczne wylogowanie ze wszystkich pozostałych.. rozwiązania Platforma dla nowoczesnego Centrum Przetwarzania Danych Cisco UCS Wymagania stawiane dzisiejszym systemom przetwarzania danych stale rosną. Oczekuje się by architektura rozwiązaniabyła skalowalna, a równocześnie łatwa w zarządzaniu i obsłudze. Ważnym aspektem, który powinien być brany pod uwagę przy tworzeniu nowoczesnego rozwiązania, jest możliwość szybkiej i łatwej rozbudowy posiadanej architektury oraz jak największa jej uniwersalność. Jednym z najważniejszych elementów Centrum Przetwarzania Danych są serwery, które zapewniają moc obliczeniową wzmaganą przez aplikacje produkcyjne. Stosowane obecnie rozwiązaniawirtualizacyjne w znacznym stopniu upraszczają zarządzanie urządzeniami fizycznymi i uniezależniają rozwiązanie od fizycznych komponentów. Należy jednak pamiętać, że wirtualizacja nie rozwiązuje wszystkich problemów jakie pojawiają się w Centrum PrzetwarzaniaDanych. Cisco Unified Computing Sys- produktów, było stworzenie platfor- sam sposób podłączyć je do zasobów tem my sprzętowej, która łączy w sobie sieciowych. W ofercie producenta, firmy Cisco Systems, serwery stanowią osobną grupę produktów, nazywaną Unified Computing System. Producent oferuje zarówno standardowe serwery do montażu w szafach rack jak również serwery kasetowe. Obie gr upy ser werów zbudowane s ą w oparciu o procesory w architekturze x86 firmy INTEL . Głównym celem, jaki kierował pracami związanymi z powstawaniem tej grupy 26 moc obliczeniową, dostęp do sieci i zasobów pamięci masowych oraz możliwość wykorzystania sprzętu dla platformy wirtualizacyjnej. Bardzo ważnym aspektem jest zarządzanie platformą sprzętową, która pozwala zmniejszyć koszty związane z posiadaną infrastrukturą oraz zapewni wysoką elastyczność. Proponowane przez Cisco rozwiązanie pozwala zarządzać wszystkimi serwerami (zarówno kasetowymi jak i typu rack) z jednego miejsca i w taki Integrujemy przyszłość® Serwery typu rack Serwery typu rack zbudowane są w oparciu o procesory firmy Intel Xeon 5600 lub E7. Mogą one pracować jako samodzielne serwery lub jako część infrastruktury Cisco Unified Computing System zarządzanej z jednego, centralnego miejsca razem z serwerami typu kasetowego. Rodzina serwerów typu rack składa się z następujących serwerów serii Numer: IV/2011 (117) C200M2 C210M2 C250M2 C260M2 C460M2 Wysokość 1U 2U 2U 2U 4U Ilość Procesorów 2 2 2 2 4 Intel Xeon E7-2800 Intel Xeon E7-4800 E7-8800 Typ Procesora Intel Xeon 5500/5600 Pamięć 192GB (12 slotów) 192GB (12 slotów) 384 GB (48 slotów) 1024 GB (64 slotów) 1024 GB (64 slotów) Dyski 4 LFF lub 8 SFF 16 SFF 8 SFF 16 SFF 12 SFF RAID RAID 0,1,5,6,10 RAID 0,1,5,6,10,60 RAID 0,1,5,6,10,60 RAID 0,1,5,6,50,60 RAID 0,1,5,6,10,50,60 5 PCIe Slots: 3 low profile x8: 2 full height, half length x16 6 PCIe Slots: 3 low profile, half-length PCIe x8; 2 full height, half-length x16; 1 low-profile, half length x4 10 full height PCIe slots: 4 half-length x4/x8; 6 three-quarter length x8/x16 Gen 2; 2 Gen1 slots, x4 PCI 2 half-length PCIe x8: 1 full height, 1 low profile 5 full height PCIe x8: 2 full length, 3 half length Tabela 1. Podstawowe parametry serwerów typu RACK C: C200, C210, C250, C260 oraz C410. Różnią się one między sobą typami obsługiwanych procesorów, maksymalną ilością pamięci RAM i slotów rozszerzeń. Tabela numer 1 przedstawia podstawowe parametry serwerów serii C. tów awarii, co jest bardzo ważne ze względu na wysoką dostępność rozwiązania. W obudowach serwerowych instaluje się jeden lub dwa moduły Fabric Extender, które łączą obudowę z urządzeniami Fabric In- terconnect, serwery kasetowe oraz zasilacze i wentylatory. Każda obudowa posiada 8 slotów na serwery typu Half. W dwóch slotach typu Half może zostać zainstalowany jeden serwer typu Full. Serwery typu kasetowego System typu kasetowego firmy Cisco zbudowany jest z jednego lub dwóch modułów Fabric Interconnect (6100 lub 6200) oraz z jednej lub więcej obudów obsadzonych serwerami kasetowymi. Całym rozwiązaniem zarządza oprogramowanie Cisco UCS Manager, które jest zainstalowane na modułach Fabric Interconnect. Każda obudowa musi zostać podłączona co najmniej jednym interfejsem typu 10 Gigabit Unified Fabric do modułu Interconnect. Zalecanym rozwiązaniem jest zastosowanie dwóch Fabric Interconnect i podłączenie każdej obudowy do każdego z modułów wieloma interfejsami (dwoma, czterema lub ośmioma). Zalecana architektura nie posiada pojedynczych punk- Rys.1. Schemat rozwiązania Cisco Unified Computing System Biuletyn Informacyjny SOLIDEX® 27 rozwiązania W slotach rozszerzeń urządzenia mogą zostać zainstalowane moduły: •8 portów FC (1, 2, 4 Gbit/s) Poniżej opisano poszczególne kom- •6 portów FC (1, 2, 4, 8 Gbit/s) ponenty tworzące rozwiązanie Cisco •6 portów 10Gbit/s Ethernet Unified Computing System: •4 porty 10Gbit/s Ethernet oraz 4 •UCS Manager porty FC (1, 2, 4 Gbit/s) •UCS Fabric Interconnects Nowsze urządzenia 6248UP posia•UCS Fabric Extender dają 32 uniwersalne porty (10GbE, •UCS Blade Chassis 5108 FCoE, FC ) oraz dodatkowy slot na •UCS Serwery kasetowe moduł z kolejnymi 16 portami uni•Karty rozszerzeń wersalnymi. Schemat rozwiązania przedstawia rysunek numer 1. UCS Blade Chassis 5108 Obudowa serwerów kasetowych posiada jedynie zasilacze, wentylatory, moduły Fabric Extender oraz serwery kasetowe. Podłączona jest ona do Fabric Interconnects, które spełniają rolę przełączników zarówno dla sieci Ethernet jak i FC. Dodatkowo zapewniają funkcje związane z zarządzaniem pojedynczymi serwerami jak na przykład dostęp do UCS Manager UC S Manager stanowi centralny punkt zarządzania dla systemu Cisco Unified Computing System. Oprogramowanie jest zainstalowane na urządzeniach Fabric Interconnect i pozwala zarządzać całą infrastrukturą za pomocą interfejsu graficznego GUI, interfejsu tekstowego CLI czy XML API. Rozwiązanie implementuje konfigurację serwerów opar tą o profile, która w prosty sposób pozwala konfigurować fizyc zne ser wer y. Wszystkie parametry konfiguracyjne serwera jak: adresy MAC, WWN, wersie oprogramowania (firmware), kolejność uruchamiania czy atrybuty związane z siecią są określane w konfiguracji profilu. Ten sam profil może być przypisany dowolnemu serwerowi w chwili jego uruchomienia dostosowując go do wymagań konkretnej aplikacji. Pozwala to również w łatwy sposób wymienić serwer w przypadku awarii. Istnieje również możliwość tworzenia szablonów profili, pozwalających tworzyć konfiguracje dla rozwią zań o różnych wymaganiach i przypisywać je wielu serwerom. Rys.2. UCS Fabric Interconnect 6248UP UCS Fabric Extender konsoli serwera. Oznacza to, że obudowa nie może stanowić osobnego urządzenia i musi być podłączona do modułów zarządzających (Fabric Interconnect). Równocześnie każdy serwer w tej samej obudowie może posiadać zupełnie inną konfigurację, zarówno fizyczną jak i logiczną, na przykład różne moduły typu mezzanine, inny firmware, czy różna topologia połączeń z siecią i zasobami zewnętrznymi. W każdej obudowie może zostać zainstalowanych do 8 serwerów typu Half lub do 4 typu Full. W jednej obudowie istnieje możliwość instalacji serwerów różnych typów, zarówno typu Half jaki i Full. Fabric Extender jest modułem instalowanym w obudowie serwerów kasetowych, który łączy obudowę z urządzeniami Fabric Interconnect. Cały ruch z serwerów jest przenoszony za pomocą modułów do Fabric Interconnec t ’ów, gdzie podejmowana jest decyzja o obsłudze ruchu. Moduły posiadają porty 10Gbit/s Ethernet z obsługą FCoE typu SFP+ i mogą być łączone z Fabric Interconnect za pomocą dedykowanych kabli lub z wykorzystaniem modułów SFP+ i kabli światłowodowych. W każdej obudowie Blade można zainstalować do dwóch takich modułów. Obecnie dostępne są 2 typy modu- UCS Serwery kasetowe łów: •2104XP – moduł 4-portowy Obecnie dostępne są 4 typy serwe•2208XP – moduł 8-portowy rów BL ADE do montażu w obudowie kasetowej: B200, B230, B250 i B 4 4 0. Podstawowe parametry UCS Fabric Interconnects Dostępne są dwa typy urządzeń Fabric Interconnect. Starsze urządzenia serii 6100 dostępne są w dwóch wersjach: •6120XP – posiada 20 portów na moduły SFP+ dla 10Gbit/s Ethernet (z obsługą FCOE) oraz 1 slot na moduły rozszerzeń •6140XP – posiada 40 portów na moduły SFP+ dla 10Gbit/s Ethernet (z obsługą FCOE) oraz 2 slot na moduły rozszerzeń 28 Rys.3. Moduł UCS Fabric Extendert 2208XP Integrujemy przyszłość® Numer: IV/2011 (117) Rys.4. Obudowa UCS 5108 - przód, tył karty fizyczne. Karta M81KR pozwala stworzyć do 128 kart wirtualnych a karta 1280 do 256. Istnieje możliwość stworzenia wirtualnych kart Karty rozszerzeń zarówno dla sieci SAN - HBA jak W każdym serwerze kasetowym musi i L AN – Ethernet NIC. Rozwiązanie zostać zainstalowana karta rozszerzeń takie jest szczególnie pożyteczne dla (mezzanine), która zapewnia łączność systemów wir tualizacyjnych, poserwera ze światem zewnętrznym. nieważ pozwala połączyć wirtualną W serwerach mogą być instalowane maszynę bezpośrednio z karą PCI, ogólnie dostępne karty CNA następu- a co za tym idzie z modułem Fabric jących firm: Qlogic, Emulex oraz Intel. Interconnect. Dodatkowo dostępne są karty produkcji Cisco - Virtual Interface Card: Zalety Cisco Unified Compu•M81KR ting System •1280 Karty Cisco pozwalają stworzyć wie- Najważniejszą zaletą systemu zbule wirtualnych kart PCIe, które przez dowanego w oparciu o platformę serwer widziane są jako oddzielne Cisco Unified Computing System serwerów serii B przedstawia Tabela numer 2. jest to, że może on posiadać jeden, centralny punkt zarządzania, niezależnie od tego czy stosowane są tylko serwery typu kasetowego czy serwery kasetowe oraz serwery typu rack. Opisywany wcześniej Fabric Interconnect może zarządzać w ten sam sposób wszystkimi serwerami w Centrum Przetwarzania Danych, wykorzystując stworzone profile i szablony. Pozwala to w prosty sposób wykonywać migracje pomiędzy wszystkimi posiadanymi serwerami oraz zapewnia prostą i zunifikowaną topologię sieci, która potrafi się dostosować do dynamicznych zmian funkcji serwerów. Zastosowanie kart rozszerzeń z wirtualizacją interfejsów zapewnia olbrzymią elastyczność B200M2 B250M2 B230M2 B440M2 Wielkość Half Full Half Full Ilość Procesorów 2 2 2 4 Typ Procesora Intel Xeon 5500/5600 Intel Xeon 5500/5600 Intel Xeon E72800 Intel Xeon E7-4800 Pamięć 192GB (12 slotów) 384GB (48 slotów) 512 GB (32 slotów) 512 GB (32 slotów) Dyski 2 SFF 2 SFF 2 SFF 4 SFF RAID RAID 0,1 RAID 0,1 RAID 0,1 RAID 0,1,5,6 Karty rozszerzeń 1 2 1 2 Tabela 2. Podstawowe parametry serwerów typu BLADE Biuletyn Informacyjny SOLIDEX® 29 rozwiązania rozwiązania i pozwala zbudować system o praktycznie dowolnej topologii logicznej. Kolejną zaletą jaką niesie za sobą rozwiązanie Cisco, jest zastosowanie standardu FCoE, który pozwala w znacznym stopniu uprościć architekturę systemu, a co za tym idzie zaoszczędzić zarówno pieniądze jak i czas związany z tworzeniem okablowania w serwerowni. Opisane funkcjonalności zapewniają, że budowa Centrum Przetwarzania Danych w oparciu o urządzenia Cisco będzie dużo prostsza, a zarządzanie rozwiązaniem nie będzie przysparzać problemów. Opracowano na podstawie oficjalnych materiałów producenta. Ł.B. Inżynier SOLIDEX Integrujemy przyszłość® www.SOLIDEX.com.pl 30 Integrujemy przyszłość® Numer: IV/2011 (117) F5 Networks - dążenie do doskonałości miarą sukcesu Administratorzy nie mają dzisiaj łatwego życia. Nowe systemy, nowe technologie, nowe rozwiązania pojawiają się każdego dnia, a wymagania stawiane przez pracodawców są coraz wyższe. Dążymy do to tego aby nasze środowiska IT były niezawodne, bezpieczne, a aplikacje które w nich działają oferowały dostępność na poziomie 100%. Firma F5 Networks dostarcza na rynek produkty, które z każdą kolejną wersją podnoszą poprzeczkę we wszystkich tych obszarach. Nowa wer sja wpr owad z a k ilka istotnych zmian. Warto się z nimi zapoznać przed migracją, aby uniknąć problemów. Niektórzy mogą być niezadowoleni z braku powłoki systemowej (bigpipe shell) i braku wsparcia dla partycji, ale pozostałe zmiany na pewno zrekompensują wspomniane braki. iApps Hasło jakie stoi za tym mechanizmem brzmi „Zarządzaj aplikacjami a nie obiektami sieciowymi”. Nowy mechanizm nie wprowadza zmian w działaniu samego systemu, ale zwraca uwagę na rolę administratorów w procesie dostarczania aplikacji użytkownikowi końcowemu. Stanowi on logiczną separację pomiędzy administratorami sieci, a administratorami systemów aplikacyjnych. Pozwala rozdzielić te funkcje w procesie konfiguracji tak, aby każdy widział i był odpowiedzialny za obszar, w którym na co dzień działa. Drugim aspektem iApps jest stworzenie mechanizmu łączącego obiekty, które do tej pory konfigurowaliśmy w jedną logiczną całość. Ten zbór istnieje w systemie w postaci wzorca, który umożliwia wystawienie aplikacji, posiadającej wszystkie niezbędne atrybuty. Takie podejście do konfiguracji minimalizuje błędy popełniane zwłaszcza przez początkujących administratorów, a z drugiej strony tworzy system konfiguracji spójny dla całej korporacji. Jeśli stworzymy lub wykorzystamy taki wzorzec w jednym miejscu z łatwością przeniesiemy tą strukturę konfiguracyjną do nowego miejsca. F5 posiada silną społeczność zorganizowaną wokół portalu DevCentral. Można się spodziewać, że obok aktualnych profili, które dostępne są po zainstalowaniu v11 pojawią się niedługo nowe, które będziemy mogli znaleźć i pobrać z tego portalu. Application Analytics Application Analytics to funkcja, na którą czekało wielu administratorów - Analytics (Application Visibility and Reporting). Jest to dodatkowy moduł, który umożliwia analizę wydajności aplikacji. Dostajemy mechanizm pozwalający opisać za pomocą szczegółowych metryk stan serwera pod względem różnym parametrów: transakcji na sekundę, opóźnień, zapytań i odpowiedzi, wydajności, ilości sesji, itp. Moduł ten oferuje również możl iw o ś ć l o g o w a n i a z d a r z e ń d o z e w n ę t r z n e go s e r w e r a l o gó w , Biuletyn Informacyjny SOLIDEX® 31 rozwiązania Rys.1. Idea tworzenia profili iApp na przykład w celu agregacji zdarzeń z wielu systemów. Taka funkcjonalność może się okazać bardzo przydatna jeśli zintegrujemy BIG-IP z systemem typu SIEM w celu dodatkowej analizy i korelacji zdarzeń. Gdy posiadamy wiele urządzeń BIG-IP taki wspólny system będzie mógł centralnie monitorować nam pracę wszystkich aplikacji, a w razie problemów przyspieszy ich rozwiązanie. Podobnie jak ka żdy inny moduł w systemie, AV R wymaga przydzielenia zasobów. Gdy to zrobimy, otrzymamy dostęp do konfiguracji nowego profilu analizy. Taki profil stanowi zbiór definicji determinujących czynniki, w których system będzie zbierał informacje i tworzył na ich podstawie graficzną reprezentację. Każdy profil możemy dostosować według własnych potrzeb w następujących obszarach: •Jakie statystyki mają być zbierane? •Gdzie dane mają być gromadzone: lokalnie, zdalnie lub w obu tych miejscach równocześnie? •Czy ruch również ma być gromadzony? •Czy mają zostać wysłane powiadomienia? Tak stworzony profil możemy dodać do konfiguracji wirtualnego serwera i gromadzić określone statystyki tylko z tego wybranego obszaru. Kolekcjonowanie danych może obejmować następujące dane: Rys.2. Szczegółowe dane dotyczące transakcji 32 Integrujemy przyszłość® •Opóźnienia po stronie serwera. •Opóźnienia po stronie klienta. •Przepływność. •Kody odpowiedzi. •Wykorzystywane metody. •Adresy URL w które wchodzili użytkownicy. •Adresy IP klientów. •Region geograficzny z jakiego były wykonywane połączenia. •Agent jaki był wykorzystywany do połączeń. Wysoka dostępność System operacyjny TMOS działający na platformach BIG-IP posiada możliwość konfiguracji klastra wysokiej dostępności. We wcześniejszych wersjach możliwa była konfiguracja dwóch urządzeń w trybach active/ active lub active/standby. Aktualnie koncepcja oraz sama konfiguracja takiego klastra została mocno zmodyfikowana. Mechanizm Device Service Clustering (DSC) pozwala na łączenie wielu instancji BIG-IP w jeden redundantny system. W szczególności odnosi się to do: • Synchronizacji wybranej lub kompletnej konfiguracji urządzenia. • Przełączenia na jedno lub więcej urządzeń w razie awarii. • Synchronizacji aktualnych połączeń. Aktualnie jeśli dysponujemy dwoma urządzeniami możemy zdecydować się na konfigurację active/active lub Numer: IV/2011 (117) active/standby. Przy większej ilości maszyn, tworzymy konfigurację składającą się z wielu maszyn, pracujących w trybie active, pomiędzy którymi możemy dowolnie przełączać wirtualne serwery. W nowym systemie wprowadzono pojęcie Device Groups, które określa zbiór urządzeń „ufających” sobie wzajemnie i synchronizujących konfigu- Proxy SSL rzony tunel jest następnie wykorzystywany do deszyfrowania transmiW wersji 11 konfiguracja profilów sji i optymalizacji przepływu danych. ssl uległa rozszerzeniu. Do tej pory Zmian dokonujemy w profilach SSL mogliśmy włączyć dwa profile SSL: zaznaczając opcję Proxy SSL . Aby Client oraz Server. Gdy chcieliśmy ten proces był poprawnie realizowaaby klient był uwierzytelniany pod- ny oba profile (Client i Server) muszą czas zestawiania sesji szyfrowanej być dodane do konfiguracji wirtualmieliśmy dwie możliwości: dodać nego serwera. odpowiedni profil i powierzyć to Inne war te podkreślenie funkcje, które zaimplementowano w nowej wersji: •Route Domain IPv6 - do tej pory ten mechanizm działał tylko dla IPv4. U podstaw tej funkcji stoi separacja ruchu pomiędzy różnymi wydzielonymi na urządzeniu domenami. Każda taka domena może posiadać taką samą lub różną adresację i określoną bramę domyślną. •Virtual Edition - w tej wersji pojawiło się wsparcie dla hiperwizora Hiper-V oraz XenServer i nie dotyczy to tylko produktu Local Traffic Manager, ale również Application Security Manager (A SM), AppliRys.3. Różne modele konfiguracji trybu wysokiej dostępności c ation Polic y Manager ( A PM), Global Traf fic Manager (G TM) rację. Istnieją dwie grupy urządzeń: zadanie BIG- na IP. W tym przyoraz WAN Optimization Manager •Sync-Failover – wszystkie urządze- padku zestawiane są dwie nieza(WOM). nia w tej grupie muszą opierać się leżna sesje SSL i po ich utworzeniu •Po raz kolejny rozszerzono funkcjona takiej samej platformie, posia- następują procesy autentykacji obu nalność języka skryptowego iRules. dać identyczne licencje oraz włączo- stron. Drugim sposobem jest zreW celu poprawy bezpieczeństwa ne moduły. W razie awarii jednego zygnowanie z optymalizacji, która wprowadzono mechanizm podpiz nich nastąpi przełączenie wirtual- realizowana jest na load balancerze sów cyfrowych. Każda funkcjonych serwerów na inne urządzenie i autentykowanie użytkowników nalność języka iRules może być w klastrze. bezpośrednio na serwerze. Kolejna aktualnie podpisana, a jej popraw•Sync-Only – urządzenia, które są wersja systemu operacyjnego TMOS ność zweryfikowana przez system. w tej grupie mogą być różnego wprowadziła trzecią opcję Proxy Domyślnie wykorzystywany jest typu, ale w tym przypadku synchro- SSL. W tym przypadku autentykacja do tego celu certyfikat f5-irule, ale nizowana jest tylko konfiguracja. klient-serwer odbywa się bezpośrednic nie stoi na przeszkodzie aby Jedno urządzenie może w tym sa- nio pomiędzy klientem a serwerem, skorzystać z własnego cyfrowego mym czasie być członkiem kilku grup czyli handshake SSL jest przeprowapodpisu. urządzeń. dzany bezpośrednio pomiędzy nimi i jest on transparentny dla F5. Utwo- Rys.4. Domyślne skryptu iRule podpisane cyfrowo Biuletyn Informacyjny SOLIDEX® 33 rozwiązania Inne ważne rozszerzenia języ- o systemie, który funkcjonuje od po- zie konieczności bardzo szybko moka iRules czątku działania globalnej sieci - DNS. żemy przełączyć cały ruch do jednej Wady i podatności tego protokołu były upubliczniane wielokrotnie na przestrzeni ostatnich 20 lat. Mimo wielu łat (patches) jakie pojawiły się dla najbardziej popularnych serwerów DNS w dalszym ciągu wiele pozostaje podatnych na ataki. Słynna luka w systemie DNS, którą odkrył Dan Kaminsky jest w dalszym ciągu wykorzystywana, a właściwym sposobem pozbycia się tego problemu jest przejście na DNSSEC. Nie należy o tym myśleć w kategoriach dalekiej przyszłości. Proces ten dzieje się już od kilku lat i Polska nie jest w nim odosobniona. 20 grudnia 2011 roku została podpisana domena .pl, a za nią powinny iść kolejne polskie domeny. Nowy standard bywa często krytykowany za duży rozmiar pakietów, konieczność kosztownych migracji czy wzrost obciążanie serwerów spowodowany obsługą takiego ruchu. Zmiany jednak są konieczne, a kierunek zmian został już wyznaczony. Bezpieczeństwo systemu DNS F5 wiele lat temu wprowadzała produkt, który wspomaga lub zastępuje W ostatnim czasie zmienia się mental- obecnie działające serwery DNS. Poność ludzi i ich świadomość zagrożeń maga on optymalizować pracę aplijakie niesie za sobą Internet. Wojna kacji i ułatwia prace związane z kono AC TA i ataki z nią związane zmu- serwacją systemów. Ruch może być szają niektóre firmy do weryfikacji balansowany na podstawie zapytań własnych polityk bezpieczeństwa. DNS jego źródła, stanu aktualnego Nie należy w tym procesie zapomnieć centrum danych lub aplikacji. W ra- Dodano funkcje kryptograficzne: • CRYPTO::decrypt - deszyfruje wybrany blok danych •CRYPTO::encrypt - szyfruje wybrany blok danych •CRYPTO::hash - generuje hash •CRYPTO::keygen - generuje klucz, którym podpisujemy dane •CRYPTO::sign - podpisuje dane •CRYPTO::verify - weryfikuje podpisany cyfrowo blok danych Pełną listę wspieranych algorytmów można znaleźć na portalu społeczności F5 DevCentral - http://devcentral. f5.com Wprowadzono komendy i zdarzenia, które umożliwiają wyciąganie i modyfikację w protokole DNS. Zdarzenia DNS_REQUEST oraz DNS_RESP ONSE wymagają stwor zenie profilu DNS który jest częścią GTMa i aktualnie ich zastosowanie jest ograniczone tylko do tego produktu. Rys.5. Balansowanie ruchu pomiędzy centrami danych 34 Integrujemy przyszłość® lokalizacji, a w międzyczasie w innej dokonywać prac związanych z utrzymaniem infrastruktury. Cały system oczywiście może zostać oparty o standard DNSSEC, a dodatkowo możemy na tym etapie ograniczyć zagrożenia wynikające np. z ataków DDoS kierowanych na tego typu serwery. Zmian jest dużo, więcej niż przedstawione przeze mnie w powyższym artykule. Aby dowiedzieć się więcej można skorzystać z portalu F5, gdzie część z nich jest już zawarta w dokumentacji lub bazie wiedzy producenta. Systemy firmy F5 przynoszą wiele zmian z wersji na wersję i są cały czas udoskonalane. Cieszy fakt, że producent kładzie duży nacisk nie tylko na funkcjonalność, ale również na bezpieczeństwo naszego środowiska. Pojawiają się już kolejne informacje o nowych funkcjonalnościach, nie zostaje więc nic innego jak czekać na nową wersję, a już teraz planować migrację do v11 jeśli posiadamy rozwiązania F5 Networks. Opracowano na podstawie oficjalnych materiałów producenta. T.P. Inżynier SOLIDEX Autoryzowane Szkolenia Cisco Systems Program SOLIDEX ® ICND1 Interconnecting Cisco Network Devices Part 1 ICND2 Interconnecting Cisco Network Devices Part 2 ROUTE SWITCH TSHOOT Implementing Cisco IP Routing Implementing Cisco IP Switched Networks Troubleshooting and Maintaining Cisco IP Networks BGP MPLS Implementing Cisco MPLS CIPT P1 Implementing Cisco Unified Communications Manager Part 1 v8.0 CIPT P2 Implementing Cisco Unified Communications Manager Part 2 v8.0 CWLMS Implementing CiscoWorks LMS QOS Implementing Cisco Quality of Service IINS Implementing Cisco IOS Network Security FIREWALL SECURE VPN IP6FD IUWNE Deploying Cisco ASA Firewall Features v1.0 Securing Networks with Cisco Routers and Switches v1.0 Deploying Cisco ASA VPN Solutions v1.0 IPv6 Fundamentals, Design, and Deployment v3.0 NOWOŚĆ! Implementing Cisco Unified Wireless Networking Essentials v1.0 NOWOŚĆ! Infolinia: 800 49 55 82 Kraków Warszawa Centrum Kompetencyjno-Szkoleniowe SOLIDEX, Złote Tarasy - Lumen, ul. Złota 59 Integrujemy przyszłość® www.SOLIDEX.com.pl Jak otrzymywać bezpłatnie numery INTEGRATORA? Serdecznie zachęcamy wszystkich dotychczasowych czytelników naszego kwartalnika i tych, którzy zechcą się do nich przyłączyć o podjęcie prenumeraty. Zainteresowanych prosimy o wypełnienie formularza na stronie: www.integrator.SOLIDEX.com.pl/prenumerata Bezpłatne wydawnictwo INTEGR ATOR ukazuje sie na rynku od 1994 roku. Jest to unikatowy na rynku specjalistyczny magazyn branżowy poświęcony tematyce profesjonalnych rozwiązań sieciowych i technologii towarzyszących. Redagowany od samego początku przez Zespół SOLIDEX S.A. ISSN 1233-4944. Nakład: 2500 egz. Redakcja: Zespół Komunikacji Marketingowej SOLIDEX S.A. ul. Lea 124, 30-133 Kraków tel. +48 12 638 04 80; fax: +48 12 638 04 70; e-mail: [email protected] www.integrator.SOLIDEX.com.pl
Podobne dokumenty
W numerze między innymi:
W obliczu mody jaką rozpętał Apple swoim iPad-em, i Google tworzącym Androida, po odkryciu potencjału jakim jest zamieszczanie swoich „reklam” w kolejnych urządzeniach podłączonych do sieci, chciał...
Bardziej szczegółowoIntegrator nr II/2014 (127)
akcji SOLIDEXu „PORZĄDEK w SIECI” – str. 4) oraz wspomnieniowej już relacji z cyklu wydarzeń inspirowanych wejściem Polski do Unii Europejskiej („Droga do Europy – 10 lat temu” – str. 6 ). Szczegól...
Bardziej szczegółowo