Tier 3
Transkrypt
Tier 3
Rozwój sieci operatorskich Rafał Stankiewicz 13.04.2016 Plan wykładu » » » » » » » Odrobina statystyki Przypomnienie architektury Intrenetu Koszty przesyłu danych przez łącza międzydomenowe Sieci nakładkowe (p2p, chmury …) Dlaczego operatorzy nie lubią sieci nakładkowych ? Jak polubić sieci nakładkowe Wirtualizacja funkcji sieciowych – NFV Skąd się biorą dane w Internecie … Wzrost ilości ruchu w Internecie » CISCO Global Cloud Index – statystyki i przewidywania wzrostu ilości ruchu IP związanego z centrami danych i usługami oferowanymi w chmurach obliczeniowych Globalny ruch generowany przez centra danych Big Data i IoE Architektura Internetu System autonomiczny (AS) System autonomiczny (ang. Autonomous system) to zbiór prefiksów (adresów sieci IP) pod wspólną administracyjną kontrolą, w którym utrzymywany jest spójny schemat trasowania (ang. routing policy). RFC1930 » Numer AS – Do 2007 dwubajtowy – Od 2007 czterobajtowy (RFC4893) – > 40.000 numerów AS używanych » IANA (Internet Assigned Numbers Authority) przydziela pule numerów AS dla RIR - Regionalnych Rejestrów Internetowych (ang. regional Internet registries) RIR i LIR » RIR (ang. Regional Internet Registry) to organizacja zajmująca się przydzielanie zasobów Internetu w określonym rejonie świata. – Przydzielanie numerów systemów autonomicznych AS – Przydzielanie puli adresów IP » LIR (ang. Local Internet Registry) to organizacja, który ma przydzieloną pulę adresów IP przez RIR i może nimi dysponować: sprzedawać i przydzielać swoim klientom – operatorzy (ISP), firmy, organizacje akademickie Organizacje RIR na świecie RIPE NCC » Siedziba Amsterdam » Regionalny Rejestr Internetowy – Europa, Bliski Wschód, część Azji Środkowej » » » » Przydzielanie adresacji IPv4 i IPv6 Przydzielanie numerów AS Administracja bazą WhoIS Serwery DNS (utrzymuje jeden z głównych serwerów DNS) » Badania i rozwój Typy sieci/operatorów » Tier 1: sieć operatorska typu tier 1 jest taką siecią, z której można przesłać ruch to dowolnego miejsca w sieci (w dowolnej domenie) bez konieczności płacenia za przesył ruchu przez łącza międzydomenowe – » Tier 2: sieć operatorska typu tier 2 posiada łącza peering z niektórymi domenami (zwykle również typu tier 2). – – – » » » Sieć typu tier 1 posiada łącza typu peering z każdą inną siecią tier 1, może mieć łącza peering z sieciami tier 2 Nie wszystkie miejsca w Internecie są osiągalne przez łącza peering. Aby osiągnąć niektóre miejsca w sieci operator sieci tier 2 musi płacić za transfer ruchu przez łącza międzydomenowe (łącza typu transit), zwykle operatorowi tier 1. Sprzedaje dostęp do Internetu operatorom typu tier 3 Tier 3: sieć operatorska, która ma wyłącznie (prawie) łącza typu tranasit, zwykle do operatora sieci tier 2 (czasem też tier 1). Musi kupować dostęp do Internetu. Tier 4: kupuje dostęp do Internetu od sieci tier 3, sprzedaje dostęp do Internetu klientom indywidualnym, instytucjom, firmom CDS: content delivery service ISP, duży dostawca treści, mający centra danych połączone za pośrednictwem ruterów BGP (zwykle do sieci tier 1 na zasadach peering), posiadający własny numer AS – Google, Yahoo, Akamai Podstawowa architektura Internetu Tier 1 Tier 1 CDS Tier 2 Tier 3 Tier 4 Tier 2 Tier 3 Tier 3 Tier 4 Tier 2 Tier 4 peering transit Tier 3 Operatorzy sieci tier 1 » W Europie – – – – – Orange (Francja) Deutche Telekom (Niemcy) Telekom Italia (Włochy) Telia sonera (Szwecja) Telefonica (Hiszpania) » Na świecie – – – – – NTT AT&T Sprint Verizon Level 3 communications Typy łączy między ISP Tier 1 Tier 1 CDS IXP Tier 2 Tier 2 Tier 2 private peering public peering transit Tier 3 Tier 3 Tier 3 Punkt wymiany ruchu internetowego – IXP » Punkt wymiany ruchu internetowego (ang. Internet Exchange Point, IXP) – węzeł sieciowy, przez który operatorzy ISP mogą wymieniać ruch Internetowy na zasadzie wzajemności (public peering) – Członkami są najczęściej tier 1, tier 2 oraz CDS – Tier 3 również może zostać członkiem IXP pod warunkiem, że kupi łącze do IXP od innego operatora (zwykle tier 2) » Reguły – ISP musi posiadać numer AS (administrować AS) i używać protokołu BGP, aby zostać członkiem IXP – IXP nie może być używany jako węzeł tranzytowy (wymieniamy ruch z innym AS - członkiem IXP, ale nie tranzytujemy przez niego ruchu) – każdy uczestnik IXP wymienia ruch bez kosztów za transfer (full peering) • Są wyjątki! - czasem ISP tier 1 może sprzedawać dostęp do swojej sieci za pośrednictwem IXP » Właściciel IXP pobiera opłaty za dostęp Zalety punktów wymiany » Koszt dostępu do jednego miejsca z wieloma operatorami zamiast wielu pojedynczych bezpośrednich punktów styku oszczędność » Ruch między systemami autonomicznymi członków IXP jest wymieniany za darmo oszczędność (ruch nie musi być przesyłany łączami transit) » Możliwość dostępu lub zakupu w jednym miejscu dostępu do wielu operatorów tranzytowych (krajowych i zagranicznych), w tym tier 1 » Skrócenie czasu transmisji i liczby przeskoków miedzy domenami (sieciami operatorów podłączonych do IXP) Największe punkty wymiany na świecie i w Polsce (przykłady) IXP Lokalizacja Max ruch przenoszony Gb/s Średni ruch przenoszony Gb/s DE-CIX Frankfurt 5178 3159 AMS-IX Amsterdam 4621 3049 LINX Londyn 3305 2264 MSK-IX Moskwa 2135 1234 Warszawa 489 240 … PLIX » Punkty wymiany w Polsce (przykłady) – – – – – PLIX (Polish Internet Exchange) TPIX (Orange) CePIX Centralny Polski Węzeł Wymiany Ruchu Internetowego Thinx (ATMAN) CIX (Krakowski punkt wymiany) Przykładowe statystyki PLIX Przykładowe statystyki DE-CIX Typy taryf w rozliczeniach za ruch międzydomenowy » Wolumen (ang. volume) – Za całkowity wolumen ruchu przesłanego łączem międzydomenowym w okresie rozliczeniowym (zwykle 1 miesiąc) » 95 percentyl (ang. 95th percentile) – Pomiary ruchu w pięciominutowych próbkach, zbierane przez cały okres rozliczeniowy (zwykle 1 miesiąc) – 5% największych próbek odrzucanych – Opłata zależna od wielkości kolejnej największej próbki Przykład wyliczenia 95-tego percentyla » 7 dniowy okres rozliczeniowy » 2016 próbek Przykład wyliczenia 95-tego percentyla » 7 dniowy okres rozliczeniowy » 2016 próbek » Sortowanie » Odrzucamy 5% próbek najwyższych czyli 101 Za tę próbkę płacimy Koszt = f (309.3 MB) Funkcje kosztu » Płaskie » Skokowe » Odcinkami liniowe € 4500 4000 3500 3000 2500 2000 1500 1000 500 0 0 500000000 1E+09 1,5E+09 2E+09 2,5E+09 3E+09 MB Jednostkowy koszt transferu ruchu międzydomenowego » Średnia cena transferu (2015 r. [3]) ~ 0.56 € za Mbps » Ceny spadają średnio 33% na rok Sieci nakładkowe » Sieć nakładkowa (ang. overlay network) to grupa logicznie powiązanych węzłów używających do komunikacji protokołu na poziomie warstwy 4 OSI/ISO lub wyższej – Dobór trasy pomiędzy węzłami dokonywany jest przez warstwę wyższą z pominięciem architektury Internetu na poziomie IP (warstwa 3). » Sieci nakładkowe są tworzone przez aplikacje p2p (peer-topeer), chmury obliczeniowe, sieci VPN, sieci dystrybucji treści, OTT (ang. Over the top), itp. – Od małych (zwykli śmiertelnicy używający np. BitTorrenta, Skype, po wielkich: dostawców treści, zarządzających centrami danych, chmurami obliczeniowymi, np. Akamai, Google, itp.) » sieć/aplikacja p2p – siec partnerska jest siecią nakładkową w której węzły (partnerzy, ang. peers) pełnią pdwójną rolę: klientów i serwerów. Komunikacja i zarządzanie są zwykle zdecentralizowane. – Przykłady p2p: BitTorrent, Kaza, gnutella, TOR … Sieć nakładkowa L7 overlay L3 underlay Tier 2 Tier 2 Tier 3 Tier 3 Tier 3 Dlaczego operatorzy nie lubią sieci nakładkowych ? Trasowanie w sieci overlay i w sieci IP L7 overlay L3 underlay $ Tier 3 Tier 2 Tier 2 $ $ Tier 3 $ $ Tier 3 Dlaczego operatorzy nie lubią sieci nakładkowych ? BitTorrent peer należący do jednego roju (ang swarm) tracker Tier 3 Tier 2 Tier 3 Tier 3 Dlaczego operatorzy nie lubią sieci nakładkowych ? Chmury i dystrybucja treści Tier 2 Tier 3 Tier 3 John Maciek Ficu Klaudia Kaśka Dlaczego operatorzy nie lubią sieci nakładkowych ? Chmury i dystrybucja treści Tier 2 Tier 3 Tier 3 John Maciek Ficu Klaudia Kaśka Dlaczego operatorzy nie lubią sieci nakładkowych ? Chmury i dystrybucja treści Tier 2 Tier 3 Tier 3 Polubić owerleje… czyli sposoby na zarządzenie ruchem nakładkowym » Lokalizacja ruchu – (ALTO, IoP,. Cache, serwer treści we własnej domenie) » Dobór źródeł ruchu (treści): we własnej sieci lub sieciach do których mamy tańszy dostęp) » Nano Data Center i prefetching » Predykcja (rola sieci społecznościowych) » Offloading (może pomagać) » Federacje » Cele optymalizacji – – – – – – – zmniejszenie ruchu międzydomenowego Zarządzanie zasobami (sieci, centrów danych …) Oszczędność energii (green networking) Postrzegana jakość usług (QoE) Bezpieczeństwo Niezawodność … IETF ALTO » IETF (ang. Internet Engineering Task Force) » Grupa robocza ALTO (ang. Application Layer Traffic Optimization) – Cel: optymalizacja ruchu w warstwie aplikacji – (ruchu nakładkowego) – Motywacja: gwałtowny wzrost ilości ruchu nakładkowego – głównie od aplikacji partnerskich (p2p) – Wpływ na decyzję węzłów/partnerów (ang. peer) sieci p2p o wyborze partnerów do wymiany danych – redukcja kosztów operatora ponoszonych za ruch międzydomenowy ALTO Client (Peer) ALTO Protocol ALTO Client (Tracker) ALTO Server Polubić owerleje… BitTorrent + ALTO Serwer ALTO peer należący do jednego roju (ang swarm) tracker Tier 3 Serwer ALTO Tier 2 Tier 3 Tier 3 Serwer ALTO Polubić owerleje … Chmury i dystrybucja treści: Serwer dostawcy w mojej domenie » Kosztowne dla ISP, często niemożliwe » Ale cudowne Tier 2 Tier 3 Dostawca treści sam rozmieszcza treść na serwerach Polubić owerleje … Chmury i dystrybucja treści: Transparent Cache » » » » Przezroczysty dla klienta i dostawcy treści Automatycznie pobiera i utrzymuje popularne treści (usuwa gdy stają się niepopularne) Nie narusza logiki aplikacji, nie modyfikuje niczego w warstwie aplikacji, nie zmienia protokołów Umieszczony w sieci i kontrolowany przez ISP Tier 2 Tier 3 ISP przechowuje tymczasowo popularne treści i przechwytuje żądania klientów Transparent Cache Transparent Cache (TC ) (2) TC (1a) (3) (1) (4) (1) ISP przechwytuje żądanie klienta wysyłane do dostawcy treści (1a) jeśli autoryzacja wymagana to jest dokonywana za pośrednictwem TC (??) Jeśli żądana treść jest w TC (cache hit) to idź do (4) (2) TC wysyła żądanie do serwera dostawcy (3) TC pobiera treść (4) TC przesyła treść do klienta Nano centra danych » NaDa (ang. Nano Data Center) – stosunkowo małe urządzenie w sieci wyposażone w zasoby dyskowe – Lokalizowane w sieci operatora lub u użytkownika końcowego • – » Rozwiązanie operatorskie lub prywatne (np. na zasadzie sieci/aplikacji nakładkowej) Ograniczone zasoby dyskowe – – » » » Mały serwer lub ruter domowy użytkownika (uNaDa – user NaDa) Dobór przechowywanych treści Ograniczony czas przechowywania treści Może być na dedykowanym sprzęcie fizycznym Może być wirtualizowane (np. w ramach NFV) Umieszczenie treści blisko użytkownika końcowego – – – – – Krótsza droga niż z centrum danych (Data Center) dostawcy treści Mniejsze obciążenie łączy międzydomenowych Mniejsze obciążanie centrum danych dostawcy Lepsza dystrybucja ruchu w sieci Możliwe przewidywanie zapotrzebowania na treść (ang. prediction) oraz umieszczenie jej w NaDa z wyprzedzeniem (ang. prefetching) Polubić owerleje … Chmury i dystrybucja treści: uNaDa » » » Tier 2 Tier 3 uNaDa na ruterach domowych części klientów NaDa na dedykowanym urządzeniu operatora Nakładkowa sieć uNaDa jako aplikacja klientów Polubić owerleje … Chmury i dystrybucja treści: uNaDa » » » Tier 2 Tier 3 uNaDa na ruterach domowych części klientów NaDa na dedykowanym urządzeniu operatora Nakładkowa sieć uNaDa jako aplikacja klientów Polubić owerleje … Social awareness & prefetching Tier 2 Tier 3 Maciek Tier 3 John Ficu Klaudia Kaśka Polubić owerleje … Social awareness & prefetching Tier 2 Pobierz treść (prefetch) Tier 3 Maciek Tier 3 John Ficu Klaudia Kaśka Polubić owerleje … Social awareness & prefetching Tier 2 Pobierz treść (prefetch) Tier 3 Maciek Tier 3 John Ficu Klaudia Kaśka Polubić owerleje … Social awareness & prefetching Tier 2 Tier 3 Maciek Tier 3 John Ficu Klaudia Kaśka Internet Offloading ISP (fixed) ISP (mobile) Sieć prywatna (użytkownika) SSIDprivate Sieć publiczna (ISP) SSIDpublic eNodeB Sieć domowa klienta Internet Offloading ISP (fixed) ISP (mobile) Sieć prywatna (użytkownika) SSIDprivate Sieć publiczna (ISP) SSIDpublic eNodeB Sieć domowa klienta Dlaczego offloading?? » Bo jest fajny ;) » Oszczędność zasobów sieci 4G » Oszczędność energii (WiFi zużywa mniej energii) – Urządzenie mobilne – Operator • A co ze zużyciem energii na ruterze domowym?? – Małe – Inne korzyści klienta » Krótsza droga w sieci (czasem) hop-count, koszt » Jakość obsługi, QoS, QoE Bilansowanie ruchu » Część ruchu jest „zarządzalna” – » » Np. pochodzi z DC w AS1 Wektor ruchu VBGP wynika ze statycznych ścieżek BGP Zmodyfikowany wektor ruchu Vbalanc. – – – Zmiana tras dla ruchu „zarządzalnego” np. przy użyciu SDN i tuneli (MPLS/GRE) Ta sama ilość ruchu przesłana taniej VBGP Vbalanc. AS1 Federacje » Federacje – umowa/współdziałanie różnych dostawców usług w Internecie – – – – – – Współdzielenie zasobów Jakość usług Dystrybucja treści Niezawodność Oszczędność (energii, kosztów) Tworzenie łańcuchów usług (ang. Service chains) » Federacje poziome – Np. Cloud federation » Federacje pionowe – np. cloud – ISP federation » Mieszane Network Functions Virtualization (NFV) próba zdefinowania NFV: principle of separating network functions from the hardware they run on by using virtual hardware abstraction [1]. Service provider networking functions performed by software hosted on standard computer servers, replacing vendor-specific hardware » Funkcje sieciowe tradycyjnie realizowane są przez dedykowane urządzenia (rutery, przełączniki, zapory ogniowe, elementy sieci bezprzewodowych, itp.) » NFV oddziela implementację funkcji sieciowej (software) od sprzętu fizycznego (hardware) » W koncepcji NFV każda funkcja sieciowa może być uruchomiona na maszynie wirtualnej Koncepcja NFV Urządzenia fizyczne (dedykowane) Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne Urządzenie wirtualne ruter firewall PGW switch DPI IMS VPN NAT Standard high volume storage PBX STB Standard high volume Ethernet switches Orkiestracja Wybór lokalizacji Zdalne uruchamianie Standard high volume servers Definicja funkcji wirtualnej: VNF » » » » » » » » » » » » » » Firewall Storage Database Router Switch Access point PBX VPN DPI NAT IMS Computing node Application/service … Virtualized network functions (VNFs) are software implementations of network functions that can be deployed on a network function virtualization infrastructure (NFVI) [1] VNF is the software instance in NF that consists of some number or portion of VMs running different processes for a network function [2] Definicje c.d. NFVI: Network function virtualization infrastructure is the totality of all hardware and software components that build the environment where VNFs are deployed. The NFV infrastructure can span several locations. The network providing connectivity between these locations is regarded as part of the NFV infrastructure [1] MANO: Network functions virtualization management and orchestration architectural framework is the collection of all functional blocks, data repositories used by these blocks, and reference points and interfaces through which these functional blocks exchange information for the purpose of managing and orchestrating NFVI and VNFs [1] Dlaczego NFV ?? » » Oddzielenie warstwy aplikacji od warstwy fizycznej – implementacje usług i aplikacji mogą być rozwijane niezależnie od rozwoju sprzętu – Niezależność producentów oprogramowania od producentów sprzętu: dla operatora większa elastyczność, wprowadzenie nowych usług, funkcji sieciowych, nie wymaga wymiany sprzętu, ani dostawcy sprzętu Łatwość i szybkość tworzenia nowych funkcji sieciowych i aplikacji z mniejszych komponentów – Raz wdrożona wirtualna funkcja może być używana wielokrotnie do tworzenia innych bardziej złożonych – Tworzenie i usuwanie łańcuchów usług (ang. Service chains) » Łatwość dekompozycji usług i funkcji na elementy składowe » Dynamiczne uruchamianie nowych funkcji i usług » Dynamiczne lokowanie funkcji sieciowych na różnych węzłach fizycznych – Spełnienie wymagań klienta (jakość usług, bezpieczeństwo, dostępność, lokalizacja) – Równoważenie obciążenia zasobów (sieciowych, obliczeniowych, storage itp.) – Oszczędość energii (green networking) niższe koszty » Skalowalność rozwiązań » Niższe koszty dla operatora/dostawcy usług (OPEX/CAPEX) – zakup sprzętu i utrzymanie » Większa innowacyjność, krótszy cykl wdrożenia » Możliwość współdzielenia zasobów – Run as you need – Pay for use Wirtualizacja CPE STB Residential gateway RG (NAT, DHCP, firewall …) Customer premises equipment CPE vCPE Komunikacja na poziomie warstwy 2 vSTB vRG Wirtualizacja na brzegu sieci (edge) Funkcje wirtualne w sieci dostawcy usług Klient (customer site) Dostawca usług VNFs Customer netwotk ISP network/cloud Orkiestrator Wirtualizacja na brzegu sieci (edge) Funkcje wirtualne w sieci dostawcy usług i w sieci klienta (distributed NFV) Klient (customer site) Dostawca usług VNFs VNFs Customer netwotk ISP network/cloud Orkiestrator Wirtualizacja na brzegu sieci (edge) Klient (customer site) Dostawca usług VNFs Customer netwotk Klient (customer site) VNFs ISP network Orkiestrator Customer netwotk Ewolucja do sieci wirtualnych na przykładzie sieci mobilnej brak wirtualizacji w sieci Ap. 1 EPC RAN Ap. 2 Data Center PDN eNodeB Ap. 1 Ap. 1 SGW eNodeB eNodeB Ap. 2 PGW RAN: Radio Access Network EPC: Evolved Packet Core PDN: Packet Data Network SGW: Serving Gateway PGW: PDN Gateway (Packet Gateway) Ewolucja do sieci wirtualnych na przykładzie sieci mobilnej wirtualizacji w sieci, NFV vBBU vSGW vPGW Ap. 1 EPC RAN Ap. 2 Data Center PDN eNodeB vBBU vBBU vSGW eNodeB eNodeB Ap. 1 vPGW vSGW vPGW Ap. 1 Ap. 2 Ewolucja do sieci wirtualnych na przykładzie sieci mobilnej NFV, węzły sieciowe jako mikro centra danych vBBU vSGW vPGW Ap. 1 EPC RAN Ap. 2 Data Center PDN eNodeB Ap. 1 vBBU vBBU vSGW vPGW Ap. 2 eNodeB eNodeB Ap. 1 vPGW vSGW vSGW vPGW Ap. 1 Ap. 2 Architektura NFV – ETSI NFV Management and Orchestration (MANO) Źródło: [2] Architektura NFV – ETSI Zarządzenie komponownaniem usługi end-to-end (NF), zarządzanie cyklem życia usługi, łączenie funkcji wirtualnych w łańcuchy, konfiguracja, skalowanie usługi, zarządzanie jej zasobami. Zbiór funkcji wirtualnych Zasoby wirtualne, VM Warstwa wirtualizacji Zasoby fizyczne Źródło: [2] Zarządzenie cyklem życia wirtualnych funkcji sieciowych, automayzacja operacji instancjonowania (uruchamanie funkcji wirtualnych na zasobach wirtualnych), skalowania i kończenia poszczególnych funkcji, obsługa zdarzeń VMs, hyparvisors Kontrola i zarządzenie zasobami wirtualnymi, NFV zwalnianie Management and przydzielanie, Orchestration (MANO) Kompozycja usług i orkiestracja – model Customer Facing Services (CFS) – elementy składowe usług/aplikacji Resource Facing Services (RFS) • mogą tworzyć łańcuchy usług • buduje się z nich CFS • składają się z zasobów logicznych (VNFs, PNFs) Wirtualna funkcja sieciowa VNF • uruchomiona na maszynie wirtualnej VM • VM zarządzane przez hypervisor • VM uruchomiona na urządzeniu fizycznym Fizyczna funkcja sieciowa PNF • uruchomiona bezpośrednio na urządzeniu fizycznym Źródło: TM Forum Literatura » [1] ETSI GS NFV 003 V1.2.1 » [2] B. Han, V. Gopalakrishnan, L. Ji and S. Lee, "Network function virtualization: Challenges and opportunities for innovations," in IEEE Communications Magazine, vol. 53, no. 2, pp. 90-97, Feb. 2015. » [3] Internet Transit Prices - Historical and Projected; White Paper; Dr Peering Internatrional; on-line: http://drpeering.net/whitepapers/Internet-Transit-Pricing-Historical-And-Projected.php » [4] B. Fortz and M. Thorup, "Internet traffic engineering by optimizing OSPF weights," INFOCOM 2000. Nineteenth Annual Joint Conference of the IEEE Computer and Communications Societies. Proceedings. IEEE, Tel Aviv, 2000, pp. 519-528 vol.2. » [5] David K. Goldenberg, Lili Qiuy, Haiyong Xie, Yang Richard Yang, and Yin Zhang. ptimizing cost and performance for multihoming. In Proceedings of the 2004 conference on Applications, technologies, architectures, and protocols for computer communications (SIGCOMM '04). ACM, New York, NY, USA, 79-92. Dziękuję za uwagę