12-3-29 Data Center Allegro 1

12-3-29
Data Center Allegro
1
Data Center Allegro
wyboista droga L2 do autostrady L3
Przemysław Grygiel
CCIE #15278
12-3-29
Data Center Allegro
2
Agenda
•
•
•
•
•
Data Center >3 lata temu
Core Upgrade
Racki i moduły L3
IPv6
Nasz sposób na Data Center
12-3-29
Data Center Allegro
3
Infrastruktura sieciowa DC Grupy
Allegro
~500 urządzeń sieciowych
•
•
2 główne DC
•
Kilka tysięcy serwerów
•
100Gb/s ruchu w rdzeniu sieci
•
Liczba racków podwaja się co 2-3 lata
12-3-29
Data Center Allegro
4
Data Center >3 lata temu
•
•
•
•
•
Kilkadziesiąt szaf rack
Klasyczna sieć L2
RPVST
Centralny firewall (FWSM)
Load Balancery F5
FWSM
Firewall
Load Balancer
F5
L3
Core
STP
Si
6500
Root
Distribution
(rack)
Wygodnie 
Access
(blade)
12-3-29
Data Center Allegro
5
Si
6500
L2
L2 Data Center jest wygodne ale …
•
•
•
Sztormy broadcastowe
Dużo TCN (Topology Change
Notification) – wiedz, że coś
dzieje 
Diagnostyka
#sh mac address-table address 0021.5ee2.2e36
12-3-29
L2
6
L2 Data Center
•
•
•
•
>100 VLANów - wszędzie i na każdym trunku
Zapomniane linki pomiędzy szafami – „takie na
chwile”
Mało odporne na „czynnik ludzki”
Pętle
12-3-29
L2
7
Core upgrade - 2010
Wymiana 6509 na Nexusy 7010
Wymiana FWSMów na N par dużych ASA
Dlaczego?
•
Brak wolnych portów na 6500
•
Migracja do 10G
•
Wydajność
•
Uproszczenie topologii STP
•
Docelowo migracja sieci do L3
•
Wirtualizacja
12-3-29
Core upgrade
8
Nasze wdrożenie Nexusów w liczbach
W szczycie blisko 100 virtual Port Channels (vPC)
•
3 wirtualne switche - Virtual Device Contexts (VDC)
•
Kilka przestrzeni routingowych (VRF)
•
IP Dual Stack IPv4/IPv6
•
Wsparcie dla multicastów
•
Private VLANs
Ale też:
•
2 nowe bugi (nie krytyczne)
•
Kilkanaście case’ów w TAC
•
12-3-29
Nexus 7000
9
VDC (Virtual Device Contexts)
Po co nam VDC?
•
Efektywne wykorzystanie
mocy obliczeniowej
•
Separacja
•
Administracja per VDC
•
Lab 
Nexus 7010
Max 4 VDC
Virtual switch
Production
12-3-29
VDC
Virtual switch
Hosting
10
Virtual switch
Lab
vPC – upraszczamy topologię STP
12-3-29
vPC
11
vPC – upraszczamy topologię STP
12-3-29
vPC
12
vPC - o czym warto pamiętać
•
Zalecane konfiguracja
•
vPC peer-link (2x10G)
„We recommend that you configure the vPC peer links
on dedicated ports of different N7K M132XP-12 modules
to reduce the possibility of a failure. For the best
resiliency scenario, use at least two N7K-M132XP-12
modules.”
•
•
Dedicated mode
vPC keepalive-link (2x1G)
Każde VDC musi mieć własny peer-link i keepalive-link
12-3-29
vPC
13
vPC - o czym warto pamiętać
•
•
•
•
Unikalna domena vPC dla każdej pary urządzeń
In-Service Software Upgrade (ISSU)
Peer link loop-avoidance logic
vPC i L3
12-3-29
vPC
14
vPC i L3
Problem:
Chcemy podłączyć parę
ASA do Nexusów i zestawić
sesję OSPFa pomiędzy nimi.
12-3-29
vPC
15
vPC i L3
Rozwiązanie:
Wydzielony Port-Channel z
VLANnem połączeniowym L3
umiejscowionym poza vPC
peer link
12-3-29
vPC
16
vPC i L3
12-3-29
vPC
17
vPC rozwiązuje nam problem z STP ale inne
problemy sieci L2 pozostają:
•
•
•
TCNy
Sztormy broadcastowe
Diagnostyka
To może jednak L3?
12-3-29
L3
18
Rack jako węzeł L3
Korzyści:
•
•
•
•
•
•
•
Ograniczenie domeny broadcastowej
Eliminacja STP w rdzeniu
Wysoka skalowalność
Poprawa czasu konwergencji
Efektywne wykorzystywanie linków ECMP
Mniej broadcastów - mniejsze obciążenie CPU serwerów
TTL 
12-3-29
L3
19
L3 do racka
To również wyzwania:
•
•
•
•
•
Organizacja polityk bezpieczeństwa
Separacja stref na poziomie VRFów
Zarządzanie adresacją
Konfiguracja routingu
Koszty?
12-3-29
L3
20
Moduły L3
Wiele racków = jeden węzeł L3 i jedna funkcja
Cała potrzebna infrastruktura w jednym miejscu:
•
•
•
•
•
Serwery
Macierze
Switche (routery)
Load Balancery
Firewalle
12-3-29
Moduł L3
21
Moduł kontra racki L3
Zalety:
•
Kompromis pomiędzy L2 a L3
•
Mniej ruchu w rdzeniu
•
Prosta konfiguracja
Wady:
•
Efektywność wykorzystania sprzętu
•
Elastyczność
•
Brak rozproszenia
12-3-29
Moduł L3
22
Firewalle w Data Center
•
•
•
•
•
Jeden duży firewall to zawsze za mało
Centralny firewall przy atakach DDoS
staje się SPoFem
A może rozproszyć firewalle na wiele
mniejszych?
Czy wszędzie potrzebujemy firewalle
stanowe?
Co z zarządzaniem wieloma?
12-3-29
DC Firewall
23
VRF (Virtual Routing and Forwarding)
Data Center L3 Interconnect
12-3-29
DC Interconnect
24
rt1.dc1
rt1.dc2
interface TenGigabitEthernet2/3
interface TenGigabitEthernet2/3
interface
TenGigabitEthernet2/3.3001
interface TenGigabitEthernet2/3.3001
ip vrf forwarding vrfA
encapsulation dot1Q 3001
ip address 10.1.1.2 255.255.255.252
ip vrf forwarding vrfA
encapsulation dot1Q 3001
ip address 10.1.1.1
255.255.255.252
interface
TenGigabitEthernet2/3.3002
interface TenGigabitEthernet2/3.3002
ip vrf forwarding vrfB
encapsulation dot1Q 3002
ip address 10.2.1.2 255.255.255.252
ip vrf forwarding vrfB
encapsulation dot1Q 3002
ip address 10.2.1.1
255.255.255.252
interface
TenGigabitEthernet2/3.3003
ip 12-3-29
vrf forwarding vrfC
interface TenGigabitEthernet2/3.3003
ip vrf forwarding vrfC
encapsulation dot1Q 3003
ip address 10.3.1.2 255.255.255.252
DC Interconnect
25
Data Center L3 Interconnect
EoMPLS/VPLS
12-3-29
DC Interconnect
26
IPv6 co mamy
•
•
•
Uruchomiony peering IPv6 z:
Sieć DC skonfigurowana i przygotowana pod IPv6
Serwisy dostępne po IPv6:
•
•
•
www.citeam.pl
Obrazki allegro
…
12-3-29
IPv6
27
IPv6 - spostrzeżenia
•
•
•
•
•
Dynamiczne protokoły routingu IPv6 na Cisco ASA 
ACLe IPv6
Adresacja serwerów statyczna czy dynamiczna?
F5 prosty sposób na dodawanie nowych VIPów IPv6
F5 translacja IPv6 <-> IPv4
12-3-29
IPv6
28
Nasza recepta na Data Center
•
•
•
Pojedyncze racki to węzły L3
Przewidywalne w rozmiarze usługi zamykamy w
modułach L3
Pozostałe węzły L2 podłączamy tak, aby Spanning tree
miał tylko jedną ścieżkę do roota:
•
•
•
vPC – vPC
vPC – Multi Chassis Etherchannel
Połączenia pomiędzy DC tylko L3
12-3-29
DC
29
Nasza recepta na Data Center
•
•
•
•
Decentralizacja, decentralizacja i jeszcze raz
decentralizacja
Automatyzacja konfiguracji i zarządzania
Cloud – część zadań przenosimy administracyjnych na
developerów 
Out of Band Management dla > 1000 urządzeń
12-3-29
DC
30
Pytania?
12-3-29
31
Dziękuje za uwagę
12-3-29
32