IBM Storwize V7000
Transkrypt
IBM Storwize V7000
IBM Innovation Center IBM ® Storwize V7000 © 2010 IBM Corporation © 2010 IBM Corporation Agenda Storwize V7000 – Informacje podstawowe Komponenty Architektura (SAS) i okablowanie Konfiguracja podstawowa Planowanie instalacji 2 © 2010 IBM Corporation Gdzie zastosowaliśmy 3 © 2010 IBM Corporation Storwize V7000 Informacje podstawowe 4 © 2010 IBM Corporation IBM Disk Portfolio 4Q2010 Block Enterprise Midrange File DS8000 XIV SONAS For clients requiring: Advanced disaster recovery with 3-way mirroring and System z GDPS support Continuous availability, no downtime for upgrades Best-in-class response time for OLTP or transaction workloads, flash optimization Single system capacity scalable to the PB range For clients requiring: Breakthrough ease of use and management High utilization with automated performance (“hot spot”) management Virtually unlimited snapshots Advanced self-healing architecture For clients requiring: Massive I/O, backup, or restores Consolidation, or scale large numbers of clusters DS5000 Storwize V7000 For clients requiring: Good cost/performance, generalpurpose storage Need to add capacity to existing configuration 10s of TB of capacity For clients requiring: 10s of TB of rack-mounted storage with sophisticated software functions Breakthrough ease of use and management Non-disruptive migration from, or virtualization of, existing disk N series For clients requiring: NAS storage Simple two-site high availability DS3000 Entry For clients requiring: SMBs or branch office locations; cost sensitive; start at as small as 100s GB, up to low TB capacity SVC, ProtecTIER, Information Archive, Storwize Appliances Storage Optimizers For clients requiring optimization of storage costs: Storage technologies that add function, performance, ease of use, or efficiency to new or existing storage © 2010 IBM Corporation Storwize V7000 Modularna architektura Oprogramowanie – doskonale znane z macierzy z rodziny DS oraz nowe funkcjonalności Software (znany z DS8000 oraz z SVC) Software (nowe funkcjionalności) RAID 0, 1, 5, 6, 10 Nowe GUI (Easy-to-use, web based, takie samo jak w XIV) Storage Virtualization (wewnętrzna i zewnętrzna) Easy TierTM SSD Doskonała, bezpieczna migracja danych w trybie online RAID & RAS Global & Metro Mirror (Multi-site) FlashCopy (256 targets,cascaded,incremental,Space Eff.) Thin Provisioning 6 Dodatkowa skalowalność Lepsze, mocniejsze kontrolery Integracja z IBM Systems Director Integracja z TPC, FCM i wsparcie TSM © 2010 IBM Corporation Storwize V7000 Dotychczas było: Server Server Server TPC TPC Server Obecnie wykorzystując: Storwize V7000 Server FCM FCM Server TPC TPC SVC V5.1 SW Server FCM FCM Storwize V7000 SW Server Server TPC TPC Server FCM FCM SVC V6.1 SW Takie samo oprogramowanie Storwize V7000 HDS EMC IBM SVC jest zainstalowane pomiędzy hostami a macierzami dyskowymi różnych producentów. SVC odpowiada za wirtualizację i zaawansowane funkcje oraz usługi kopiujące 7 IBM TPC i FlashCopy Manager są zintegrowane z SVC dla zwiększenia funkcjonalności HDS EMC EMC HDS Storwize V7000 Nowy system dyskowy z wewnętrzną wirtualizacją i fukcjonalnościami SVC – zapewnia te same możliwości co SVC kiedyś SVC w dalszym ciągu pozostaje w ofercie IBM i daje możliwość zwirtualizowania systemów „nie-IBM” © 2010 IBM Corporation V7000 - Komponenty 8 © 2010 IBM Corporation Definicje: 9 Control enclosure (Obudowa kontrolerów) Element macierzy który zawiera midplane (wewnętrzną architekturę) i wszystkie wyprowadzenia niezbęde do podłączenia kontrolerów, dysków, modułów zasilaczy z układami chłodzenia. W obudowie instaluje się kontrolery oraz dyski twarde Node canister (Kontroler) Kontroler – najważniejsza część macierzy dyskowej zawierająca uklady elektroniczne realizujące główne zadania stojące przed systemem dyskowym. Zawiera także interfejsy hostów i interfejsy podłączeniowe do półek z dyskami. Expansion enclosure (Półka rozszerzeń) Moduł w którym instaluje się dodatkowe dyski twarde. Wszystkie elementy są redundantne. Expansion canister (Kontroler półki rozszerzeń) Urządzenie funkcjonalnie i fizycznie podobne do kontrolera. Spełniające podobną rolę tyle, że zamontowane w półce dyskowej. Jego głównym zadaniem jest komunikacja z kontrolerem w macierzy. SAS Chain (Okablowanie) Macierz powinna być okablowana według ściśle określonego schematu. Ma to na celu zapewnienie bezpieczeństwa i ciągłości dostępu do danych. Physical link (kabel SAS) Każdy pojedynczy kabel SAS zawiera 4 żyły każde pracujące z prędkością 6Gbps. SBOD Switched Bunch of Disks Cluster Dwa kontrolery w jednej obudowie Managed Disk (MDisk) LUN (SCSI logical unit) zbudowany na wewnętrznych lub zewnętrznych grupach RAID © 2010 IBM Corporation Definicje: 10 Internal storage (pojemność wewętrzna) Pojemność wewnętrzna jest to pojemność wynikająca z zainstalowanych w urządzeniu dysków (zarówno dysków zainstalowanych w obudowie kontrolera jak i w półkach podpiętych do niego) External storage (pojemność zewnętrzna) LUN zbudowane na zewnętrznych macierzach dyskowych. Ta pojemność jest zwirtualizowana przez V7000 i jest zarządzana bezpośrednio z macierzy Storage pool Zbiór zbudowany z MDisks zapewniający realną pojemność dla danych SVC: Managed Disk Group (MDG) Volume Przestrzeń widoczna dla hostów (systemy operacyjnę własnie ją widzą jako fizyczny dysk) SVC: Virtual Disk (VDisk) Events (zdarzenie) Wiadomośc, błąd – informacja jaka pojawia się w logach i może wywołać alarm. Może to także być informacja dla administratora o poprawności działania systemu SVC: Errors Host mapping (Mapowanie hostów) Przypisanie które hosty mają prawa dostępu do odpowiednich wolumenów SVC: VDisk to host mapping Thin provisioning Możliwośc zdefiniowania wolumenu, którego logiczna pojemnośc będzie większa niż fizycznaSVC: Space-Efficient (SE) VDisk © 2010 IBM Corporation Storwize V7000 – co to jest? Storwize V7000 – nowoczesny system dyskowy klasy midrange. Bazuje na technologii SVC Wykonany w architekturze SAS SSD, 10K SAS i Nearline SAS Maximum 240x2,5” napędów dyskowych Maximum 120x3,5” napędów dyskowych Skalowalność 120…240 napędów dyskowych (w zależności od kombinacji) Pełna redundancja 8GB pamięci cache per kontroler– (per macierz aż 16GB pamięci cache) Interfejsy dysków 8 portów 8 Gbps FC 4 porty 1 Gbps iSCSI 11 © 2010 IBM Corporation Storwize V7000 – co to jest? Fizycznie Storwize V7000 skłąda się z... Obudowa kontrolera, która zawiera: Dwa kontrolery Dwa PSU (Power Supply Units) ● Każdy kontroler zawiera baterię 24 x 2.5” napędów dyskowych 12 x 3.5” napędów dyskowych Możliwość rozbudowy do 9 modułów rozszerzeń, gdzie każdy zawiera: Miejsce na dwa moduły „kontrolerów” Dwa PSU (Power Supply Units) ● Półka rozszerzeń nie zawiera baterii 24 x 2.5” napędów dyskowych 12 x 3.5” napędów dyskowych Obudowy z 12 i 24 dyskami mogą być jednocześnie podłączone do jednego systemu 12 © 2010 IBM Corporation Storwize V7000 Kontroler B. Jest on umieszczony poniżej kontrolera A i jest zamontowany „do góry nogami” Moduł „pseudokontrolera” B w pólce dyskowej. Podobnie jak w przypadku kontrolerów jest instalowany „do góry nogami”. 13 Obudowa kontrolera – widok z tyłu 2076-112/124 Kontroler A. Moduł Moduły chłodzący PSU – czyli – jestmoduły integralną częścią zasilające, modułu zawierają zasilającego. zasilacze, Drugi wentylatory moduł chłodzący oraz baterię. jest instalowany Podobnie jak w przypadku „do góry nogami” kontrolerów są instalowane „do góry nogami” Półka - widok z tyłu 2076-212/224 Moduł PSU (power supply unit) półki dyskowej – nie zawiera baterii. Moduł chłodzący jest integralną częścią modułu z zasilającego. Wymienialny „na gorąco”. Moduł „pseudokontrolera” A w półce dyskowej. © 2010 IBM Corporation Storwize V7000 Miejsce na dodatkowe porty FC lub porty 10Gig Ethernet* Cztery porty 8Gbps FC *dostępne w niedalekiej przyszłości Dwa gigE 6Gbps SASi porty Dwa porty dwa do podłączenia półek porty USB rozszerzeń. Dwa porty 6Gbps SAS służące do podłączenia półki rozszerzeń. Dwa porty 6Gbps SAS służące do podłączenia półki rozszerzeń. 14 Obudowa kontrolera – widok z tyłu 2076-112/124 Cztery Miejsce Dwa Dwa 6Gbps gigE porty naporty dodatkowe SAS 8Gbps iporty dwa FC doporty podłączenia porty FC lub USB porty półek 10Gig rozszerzeń. Ethernet* *dostępne w niedalekiej przyszłości Półka – widok z tyłu 2076-212/224 Dwa porty 6Gbps SAS służące do podłączenia półki rozszerzeń. Dwa porty 6Gbps SAS służące do podłączenia półki rozszerzeń. © 2010 IBM Corporation Storwize V7000 – dwa modele Obudowa – 12 x 3.5” LFF 2076-112/212 Obudowa – 24 x 2.5” SFF 2076-124/224 15 © 2010 IBM Corporation Storwize V7000 – kontrolki... W celu zapewnienia odpowiedniego chłodzenia każdy slot dyskowy musi być obsadzony przez dysk lub odpowiednią nakładkę. Lewy panel jest identyczny dla obudowy kontrolera i w półki dyskowej. Zawiera on kontrolki, które informują o stanie komponentu. Wyświetlacz LCD pokazuje ID pólki, który jest automatycznie nadawany przez system. Prawy panel półki/obudowy kontrolera różni się w zależności od modelu. W celu łatwiejszej idntyfikacji napedów dyskowych naniesione zostały informacje o numeracji. LEDs: Pozycja Kolor Górna ikona Zielony Środkowa ikona Dolna ikona Wygląd Za co odpowiada Definicja Ikona zasilania Zasilanie Wskazuje, że moduł jest zasilany Bursztynowy Znak wykrzyknika Błąd Wskazuje, że wystąpił błąd sprzętowy Niebieski Ikona „latarnii” Identyfikacja Wykorzystywana do identyfikacji przez serwis IBM 124 / 224 112 / 212 16 © 2010 IBM Corporation Storwize V7000 – kontrolki, cd... Pozycja Kolor Symbo l Nazwa Stan LED Wykorzystanie Na górze lub po prawej Zielony - Pracuje poprawnie Wyłączona Nie gotowy (brak zasilania) Włączona Gotowy do użycia Migająca Gotowy i aktyny I/O Wyłaczona Brak błędu na urządzeniu. Wszystko pracuje poprawnie. Włączona Wystąpił błąd Migająca Dysk jest identyfikowany (niekoniecznie musi oznaczać błąd) Na dole lub po lewej 17 Bursztyn owy - Wystąpił błąd © 2010 IBM Corporation Storwize V7000 3.5-inch disk drives: • 2 TB, 3 TB 3.5 in. 7.2k Near-Line SAS disk 2.5-inch disk drives: • 146 GB, 300 GB 2.5 inch 15k SAS disk • 300 GB, 450 GB, 600 GB, 900 GB 2.5 inch. 10k SAS disk • 200 GB, 300 GB, 400 GB 2.5 inch E-MLC (enterprise-grade multilevel cell) solid state drive (SSD) • 1 TB 2.5-inch 7.2k Near-Line SAS disk © 2010 IBM Corporation Efficiency Features More productive use of available storage Across all supported host platforms Thin provisioning Dynamic growth Without thin provisioning, pre-allocated space is reserved whether the application uses it or not. Easy Tier SSD Automatic relocation HDD SSD Automatic relocation HDD With thin provisioning, applications can grow dynamically, but only consume space they are actually using. “Easy Tier” pools identify the busiest data extents and automatically relocate them to highest performing Solid-state Disks Remaining data extents can take advantage of higher capacity, price optimized disks © 2010 IBM Corporation Easy Tier Application Transaction Improvement 240% from Original brokerage transaction PRELIMINARY Application Transaction Throughput Easy Tier Learning Easy Tier In Action 12 hours (Elapsed Time) © 2010 IBM Corporation Easy Tier Application Transaction Improvement PRELIMINARY Application Transaction Response Time Easy Tier Learning Easy Tier In Action 12 hours (Elapsed Time) © 2010 IBM Corporation Obudowa kontrolera (z Midplane) SBB 2.0 (Storage Bridge Bay Working Group) – rozmiar 2U Jest identyczna dla: Dwóch modeli modułów podstawowych (12 i 24 dyski) Dwóch modeli półek rozszerzeń (12 i 24 dyski) Obudowa zawiera Miejsce na dwa zasilacze i moduły chłodzące ● Lewy slot jest pod PSU 1 ● Prawy slot jest pod PSU 2 ● Moduły PSU 1 i PSU 2są identyczne Miejsca na 2 kontrolery ● W środkowej części są miejsca na kontrolery montowane jeden nad drugim ● Górny kontroler to kontroler nr 1 natomiast dolny to kontroler nr 22 © 2010 IBM Corporation Kontroler - budowa kontroler Intel Jasper Forest quad core 64-bit CPU 16 GB pamięci cache 2 x 8GB DIMM’s Cztery porty 2/4/8 Gbps FC ● Wykorzystywane opcjonalnie do podłaczenia zewnętrznego storage lub serwerów Dwa porty USB 2.0 ports Dwa porty 10/100/1000 Mbps Ethernet ● Port 1 (wymagany) ● Port 2 (opcjonalnie) Dwa porty 6 Gbps SAS ● Wykorzystywane do podłączenia półek z dodatkowymi dyskami Dodatkowe porty (obecnie ma ma możliwości wykorzystania. W przyszłości będzie można tam zamontowac dodatkowe porty FC lub 10 Gbit Ethernet) 23 © 2010 IBM Corporation Kontroler - architektura Interfejsy SBB służące do podłaczenia dodatkowych półek dyskowych Intel “Jasper Forest” quad core CPU 2.1 GHz 8GB pamięci cache (wykorzystuje dwie kości każda po 4GB DIMM) 32GB wewnętrznej pamięci cache dla oprogramowania zarządzającego Storwize V7000 24 © 2010 IBM Corporation Kontroler – kontrolki... 25 Kontrolka prędkości FC - stan Kontrolka połączenia FC - stan Oznaczenie Wyłączona Wyłączona Nieaktywny Wyłączona Włączona lub migająca Aktywny, niska prędkość (2 Gb/s) Migająca Włączona lub migająca Aktywny, średnia prędkość (4 Gb/s) Włączona Włączona lub migająca Aktywny, wysoka prędkość(8 Gb/s) Ethernet LED Kolor Oznaczenie Link state Zielony Włączony, gdy jest połączenie Aktywność Żółty Migająca, gdy dane są transferowane Kontrolka przy portach SAS Oznaczenie Wyłączona Nie ma podłaczenia Migająca Półka jest podłaczona, dane są transferowane Włączona Półka jest podłączona © 2010 IBM Corporation Kontroler – kontrolki... Pozycja Kolor Symbol Nazwa Stan LED Oznaczenie Po lewej Zielony Pulsujący Status klastra Włączony Kontroler jest w trybie aktywnym. W tym stanie nie nalezy mieniać kontrolera Migający Kontroler jest w stanie serwisowym. Zablokowane operacje I/O. Można wymieniać Wyłączony Nie ma zasilania doprowadzonego do kontrolera. Włączony Kontroler jest w trybie serwisowym lub wystąpił błąd uniemożliwiający korzystanie z urządzenia. Konieczne jest podjęcie działań serwisowych. Migający Kontroler jest identyfikowany przez system. Może/nie musi występować błąd. Wyłączony Kontroler jest w trybie aktywnym Wyłączony Brak zasilania Wolno miga Zasilanie jest, ale system został wyłączony Szybko miga Kontroler jest w trybie samo-testowania (POST) Włączony Kontroler jest właczony, działa poprawnie W środku Po prawej 26 Burszty nowy Zielony Wykrzyknik Zasilanie Błąd Zasilanie © 2010 IBM Corporation Moduł rozszerzeń – dodatkowa półka dyskowa Dwa porty 6 Gbps SAS Wykorzystanie 1 portu jest obowiązkowe Wykorzystanie drugiego portu jest opcjionalne – tylko w przypadku gdy podłączamy drugą półkę Port diagnostyczny/serwisowy Obecnie nie można z niego korzystać 27 © 2010 IBM Corporation Moduł rozszerzeń – dodatkowa półka dyskowa Interfejs SBB łączy półkę z obudową kontrolera 28 © 2010 IBM Corporation Moduł rozszerzeń – kontrolki... Expansion Canister LEDs SAS Port LEDs same as node canister Pozycja Kolor Symbol Nazwa LED Opis Na górze Zielony Pulsuje Status Wyłączony Nie aktywny Włączony Aktywny Migający VPD Błąd Wyłączony Brak błędu/identyfikacji Włączony Wystąpił błąd Migający Następuje identyfikacja Na dole 29 Burszty -nowy Wykrzyknik Błąd © 2010 IBM Corporation Power Supply Unit (PSU) – moduł zasilający Dwa PSU zapewniają pełną redundację Moc – 764watt Aby zapewnić bezpieczeństwo dla metadanych Storwize V7000 oferuje podtrzymanie bateryjne Jeden PSU - dwa wentylatory W przypadku gdy jeden zawiedzie układ chłodzenia w PSU macierz będzie korzystała z drugiego PSU. Nie spowouje to utraty wydajności. Wymiana PSU musi nastąpić w czasie krótszym niż 5 minut – po tym czasie może dojśc do przegzania urządzenia i system automatycznie się wyłączy Oprócz podtrzymania bateryjnego, w przypadku utraty zasilania dane z pamięci cache zostają zapisane na nieulotną pamięć. Czas ładowania baterii wynosi ok. 1 godziny Storwize V7000 nie uruchomi się, jeżeli baterie nie będą posiadały wystarczającej ilości zasilania umożliwiającej podtrzymanie danych w przypadku awarii Pobór mocy dodatkowej półki– 580 watt Pólka dyskowa nie posiada baterii. 30 © 2010 IBM Corporation Power Supply Unit – moduł zasilający PSu w obudowie kontrolera zawiera baterię, która w przypadku awarii pozwala podtrzymać dane w pamięci cache a następnie zapisać je na dysk typu flash Aby system mógł poprawnie działać bateriie musza być naładowane do pełna. 31 © 2010 IBM Corporation PSU Kontrolki.... PSU – moduł Podstawowy kontrolera Pozycja Kolor Symbol Nazwa LED Opis Lewa góra Burszty -nowy AC current Brak zasilania AC OFF OK ON brak zasilania ac Prawa góra Zielony Power symbol Zasilanie Ok On Moduły zasilające OK Off Moduły zasilające nie dostarczają prądu do systemu Migający Zasilanie ac OK, ale zasilanie systemy wyłaczone Lewy środek Burszty -nowy Fan symbol Uszkodzenie wentylatora Off Wentylator OK On Awaria wentylatora Prawy środek Burszty -nowy DC Symbol Brak zasilania DC Off PSU OK On PSU Awaria Lewy dół Burszty -nowy Battery symbol Bateria uszkodzona Off Bateria OK On Bateria zepsuta Zielony Different battery symbol Bateria OK On Bateria OK Off Bateria zepsuta Prawy dół 32 Shaded area below only applicable to Control Enclosure PSU PSU moduł dodatkowy © 2010 IBM Corporation Architektura SAS oraz okablowanie 33 © 2010 IBM Corporation SAS 1.0 and 2.0 Chipset Most mainstream vendors are comfortable using SAS 1.0 in smaller SMB environments where fewer than fifty drives are involved. Pure 6Gb/s SAS 2.0 4Gb/s FC 3Gb/s SAS 1.0 3Gb/s SAS 2.0 Drive Channel Health Monitoring YES YES YES YES Collect All Port Statistics YES YES YES YES Retrieve Drive Diagnostic Data YES YES YES YES Cabling Error Mis-Wire Detection and Notification YES YES YES YES Some vendors are starting to promote SAS 2.0 drives in an effort to make their systems appear to be SAS 2.0-Ready but aren’t fully compliant. Degraded Wide Port Notification N/A YES YES YES Automatically Disable Faulty Port YES YES YES YES Drive Channel Initialization Storm Protection YES NO NO YES Other storage vendors are waiting on more than just SAS 2.0 drives and are waiting on SAS 2.0 chipsets before implementing SAS in the midrange and enterprise systems Maintain History of Port Statistics YES NO NO YES Proactive Drive Health Monitoring YES NO NO YES SATA Drive SMART Event Polling YES NO NO YES Slow PHY Speed Detection YES NO NO YES Drive Port Fault Protection YES NO NO YES Controller FRU Fault Isolation Diagnostics YES NO NO YES T10 PI and 520B Support with Recovered Error Limits Yes NO NO YES Improved Redundant Drive Path Fault Tolerance NO NO NO YES Controller to Controller Channel Fault Protection NO NO NO YES SAS 1.0 is attractive due to it’s lower price, but that price is achieved by excluding some of the important features found in more robust FC drives. SAS 2.0 chipsets bring the potential for true robustness & fault tolerance, missing in SAS 1.0 chips SAS 2.0 chipsets bring full-featured error reporting & integrity checking which are missing in SAS 1.0 chips Storwize V7000 has a SAS 2.0 6Gb/s chipset and runs at 6Gbps only 34 Support Serviceability Feature © 2010 IBM Corporation SAS Controllers and Expanders Node canister SBB interface connects to enclosure chassis midplane 35 © 2010 IBM Corporation SAS Controllers and Expanders Expansion Canister SBB interface connects to enclosure chassis midplane 36 © 2010 IBM Corporation SAS Controllers and Expanders Chain 2 Chain 1 A string of enclosures on a SAS chain are connected via two Strands Each Strand is an independent SAS domain (network) providing redundancy to the enclosures and associated disk drives 37 © 2010 IBM Corporation SAS Controllers and Expanders Via SAS Expander A SAS Expander is basically a switch with point to point connection to every drive in the enclosure Two Expanders per enclosure One per canister allowing access to a given disk drive per a SAS chain by either node canister for redundancy 38 © 2010 IBM Corporation SAS Ports and Cables SAS Port 39 Physical Link SAS Cable Phy LEDs SAS Port Phy Phy Phy Phy Phy Phy Phy Phy SAS Connector Example Only A phy contains a transceiver (transmitter + receiver) A SAS port on the Storwize V7000 contains four phys A physical link connects two phys and contains a pair of wires for full duplex transmission at 6 Gbps A SAS cable contains four physical links or lanes with total transmission bandwidth of 24 Gbps © 2010 IBM Corporation SAS Ports and Cables SAS cable comprised of four individual wire pairs providing the physical links Each SAS lane/phy is 6Gbps Path to drives is a single lane and there are redundant paths to drives 1 2 3 4 1 2 3 4 Links 2, 3 and 4 are utilized when concurrent I/Os overload the previous link A single SAS 2.0 port delivers up to 24Gb/s throughput 40 © 2010 IBM Corporation SAS Ports and Cabling Control Enclosure Rear 2076-112/124 On On the the control control enclosure enclosure port port 1 1 equates to to SAS SAS chain chain 1 1 and and port port 2 2 equates equates to SAS chain 2 on each of Viewequates to SAS chain 2 on each of the node node canisters. canisters. The The arrows arrows on on the the labels indicate that you cablethe labels indicate that you cableout out from from the the port port to to expansion expansion enclosures in the chains. enclosures in the chains. Notice that port 1 and port 2 are reversed on the bottom node canister as this canister is installed upside down. On each expansion canister, port 2 1 is the cable-out tothe thecontrol next the cable-in portport from expansion enclosure in the chain. enclosure or another expansion Notice the onchain. the label enclosure for arrow a given Notice indicates this is a cable-out port. the arrow on the label indicates this is a cable-in port. NOTE: On the expansion enclosures port have no Expansion Enclosure Rear View NOTE:theOn thenumbers expansion enclosures relationship to the SAS the port numbers havechain no 2076-212/224 numbering. relationship to the SAS chain numbering. Notice that port 1 and port 2 are reversed on the bottom node canister as this canister is installed upside down. 41 © 2010 IBM Corporation SAS Ports and Cabling Control Enclosure Rear View 2076-112/124 Expansion Enclosure Rear View 2076-212/224 42 © 2010 IBM Corporation SAS Ports and Cabling SAS cables always connect from one top enclosure canister to another top enclosure canister and from one bottom enclosure canister to another bottom enclosure canister in a SAS Chain Never connect the top canister of one enclosure to the bottom canister of another enclosure or vice versa ● Errors will be logged indicating the system is miss cabled Expansion Enclosure An expansion enclosure connects to only one SAS chain No restrictions on which SAS chain an enclosure connects to ● Can connect 5 enclosures to chain 1 before adding any to chain 2 – Not recommended for RAID 10 as code tries to use drives from both chains for enclosure loss protection and/or SAS chain failure protection Intermix of 12 or 24 drive enclosures on same chain supported 43 © 2010 IBM Corporation SAS Ports and Cabling Drives in Control Enclosure are part of SAS Chain 2 SAS Chain 2 Supported but now we would have 3 enclosures on SAS Chain 2 and only one on SAS Chain 1 44 SAS Chain 1 Since each SAS Chain currently has only one enclosure we could add this second expansion enclosure to either Chain © 2010 IBM Corporation Expansion and Cabling Announce will state support for 9 expansion enclosures but at GA only 4 initially supported until later in year Cabling: logical layout 45 Cabling: physical layout © 2010 IBM Corporation SAS Network Monitoring A new software component has been created to interface with the enclosure hardware and to monitor and isolate fault conditions This new component has been designed and implemented using knowledge gained from the SES and RAID adapter components in the DS8000 The component will provide various functions including: Police configuration rules including correct SAS cabling ● If cabling is incorrect when system initially configured or when expansion enclosures are added the system will not allow configuration of drives for use by system until corrected Ensure that the correct level of firmware is installed on all hardware components ● If a new piece of hardware is installed and managed, it will be automatically upgraded/downgraded to the supported level If I/O errors are experienced between node canisters and drives, it will analyze multiple independent errors to identify the faulty component in the network If the system identifies a faulty piece of hardware, it will disable that hardware unless doing so will cause a loss of access to data Monitor hardware components for reported faults and log events to indicate the requirement for HW replacements 46 © 2010 IBM Corporation Service Assistant Service Mode Maintenance Mode 47 © 2010 IBM Corporation Service Assistant Overview There is a new Service Assistant GUI and CLI which can be used to service a node even if it is not a cluster member This interface provides full remote access to information and tasks available on the SVC front panel interface today including: Status information about the Fibre channel, Ethernet and the node itself Basic configuration information (E.g. IP addresses) Service tasks (E.g. Restarting CIMOM, GUI, Easy Tier, SLP or changing WWNN) Details of node error codes plus hints about what to do to fix the error Recovery tasks (E.g. Tier 3 recovery) Service Assistant GUI is a lightweight web interface which is available via a Service Assistant IP address on each node canister’s Ethernet port 1 It can also be accessed via the cluster IP address: https//9.9.9.9/service Service Assistant interfaces are able to view status and run service actions on other nodes as well as the currently logged in node Service Assistant can only be accessed using the ‘superuser ‘ account Configuration: Each node can have a single Service Assistant IP address on Ethernet port 1 Strongly recommended these IP addresses are configured on all Storwize V7000 node canisters 48 © 2010 IBM Corporation Service Mode Replaced with Service State The SVC “service mode” in versions prior to the Storwize V7000 and V6.1 allowed access to VPD, logs and dump data on a SVC node when it was not part of the cluster It also provided a method of forcing the installation of a different version of software if required There were occasions when a node could not be managed as part of the cluster and must be set into “service mode” While in “service mode” the node did not operate as part of the SVC cluster ● Therefore, the cluster would be in degraded mode The IP address used to access a node that was in “service mode” was configured as part of initial cluster configuration The “service mode” IP address was set for Ethernet port 1 49 © 2010 IBM Corporation Hardware Error Reporting during Boot Since there no longer is a “service mode” with the Storwize V7000, nodes will now be put into “service state” under the following conditions: If the node detects a critical hardware or software fault The user can manually set “service state” if it is desirable to prevent the node from joining a cluster ● Service Assistant is used to do this When a node is in “service state” it will not join a cluster The cluster “svcinfo lsnode” view will be able to differentiate between a missing node and a node in the service state All boot failure scenarios will become critical node errors This will alter some of the numbers that you may be familiar with on SVC The Storwize V7000 software will be started under all possible scenarios; however... A node will not join the cluster if a critical node error exists There are a set of non-critical errors that may occur during boot which do not prevent the nodes from joining the cluster E.g. One power supply not operational won’t prevent the cluster from booting The software will raise an error in the cluster error log to indicate that the node has a critical error if communication with the cluster is possible Assuming communication with the cluster is possible the cluster can call home to IBM and notify administrators about the hardware fault 50 © 2010 IBM Corporation Hardware Error Reporting during Boot SVC node hardware has a front panel that displays various “Booting”, “Failed” and “Node Error” codes on the front panel which indicate faults which prevent the node from joining a cluster 578 A 578 error indicates a node can not join the cluster as it has lost it’s cluster state information With Storwize V7000 there is no front panel display Thus one of the reasons for the new Service Assistant function 51 © 2010 IBM Corporation Service Assistant Login Panel Can access tool via IP network or by connecting laptop to Ethernet port 1 on a node canister using standard Ethernet cable and configuring laptop IP to be on network of cluster 52 © 2010 IBM Corporation Service Assistant Main Menu Enter “service state” option Since there is no physical display on a node canister to display event codes, similar to the SVC front panel, the Service Assistant provides this functionality. Can restart these services: CIMOM GUI/Webserver Easy Tier SLPD 53 © 2010 IBM Corporation Maintenance Mode Maintenance mode is a new mechanism for preventing unnecessary messages being sent to IBM and administrators Maintenance mode is designed to be used by the Directed Maintenance Procedures (DMPs) rather than the administrator directly The Directed Maintenance Procedures (DMPs) may direct the administrator to perform hardware actions which will look like an error to the system E.g. Removing a drive from an enclosure Under these scenarios it is not helpful to send call home emails to IBM and event notifications to administrators To address this issue Storwize V7000 has the concept of a maintenance mode which is set by modifying the I/O group properties ● “svctask chiogrp -maintenance yes” Maintenance mode only applies to errors in the SAS domain and the Storwize V7000 hardware The Directed Maintenance Procedures (DMPs) will control maintenance mode without any need for administrator action 54 © 2010 IBM Corporation Maintenance Mode While in maintenance mode... New unrelated events are entered into the SVC event log as they occur A specific subset of events will not call home or email administrators unless they are still unfixed when exiting maintenance mode The events which are subject to maintenance mode will all be autofixed when the issue is resolved This provides a basic audit trail of actions take by the administrator during maintenance mode without unnecessary alerts being created An I/O group will exit maintenance mode... When a CLI command is run to disable it ● “svctask chiogrp –maintenance no’” ● Or when a 30 minutes timeout expires Re-entering maintenance mode restarts the 30 minute clock The DMPs will set maintenance mode every time the user clicks ‘Next’ on the DMP panels 55 © 2010 IBM Corporation Initial Configuration 56 © 2010 IBM Corporation Initial Configuration Physical requirements: Enclosures racked and SAS cabling completed Fibre Channel: ● Zero FC connections in a iSCSI only environment with no external storage to virtualize ● 2...8 FC connections for external virtualized storage and/or FC attached servers LAN Network ● Two connections, one to port 1 on each node canister for management required Redundant power connections for each enclosure Enclosures powered on ● Node canister PSU batteries charged > 50% for system to boot USB memory stick with Initial Setup Tool executable ● Provided with system ● If USB sticks not allowed on premises due to security then the initial configuration can be performed using the Service Assistant – Requires laptop to connect to Ethernet port 1 on one of the node canisters Logical requirements: Three IP addresses required ● One for the cluster and one for each node canister for Service Assistant Subnet Mask and Gateway addresses are known 57 © 2010 IBM Corporation Initial Configuration Initial Setup - Initialization Tool Small Windows application on USB key Initialization Tool asks for: ● Cluster IP address ● Subnet Mask ● Network Gateway Tool creates a small text file on USB key Example file: satask mkcluster -clusterip 9.166.66.66 -gw 9.166.66.1 -mask 255.255.254.0 Plug USB key in either node canister‘s USB port System will... ● Automatically execute the file ● Delete the file after execution ● Write a response file (html) to the USB Key This procedure protects the customer from... ● Accidential cluster creation (file is only available one time) ● Unexpected activities if USB key not removed ● Unexpected cluster creation as cluster will not allow a cluster create action if there is already a cluster configured 58 © 2010 IBM Corporation Fresh New User Interface Based on XIV GUI System recommendations Visual task flow guidance Integrated video instruction Link to more information if needed 59 System status always available © 2010 IBM Corporation 60 © 2010 IBM Corporation 61 © 2010 IBM Corporation Hardware Installation Planning 62 © 2010 IBM Corporation Rack Layout A 19 inch rack with 2-20U free for enclosure installation Suggested enclosure rack layout is to install the control enclosure such that 4-5 expansion enclosures can be installed above and 4-5 below it Enclosures come standard with power cords configured with IEC-320 C13/14 connections to attach to standard rack PDUs Enclosure to floor outlet country specific power cords are available if required Two power cords per enclosure are required 63 © 2010 IBM Corporation Network Cable Requirements Two Ethernet cable drops minimum Four preferred for management access redundancy and/or for iSCSI host access ● Note that iSCSI storage attachment is not currently supported Verify that the default IP address configured on Ethernet port 1 on each of the node canisters will not conflict with existing IP addresses on the LAN before connecting LAN cables ● 192.168.70.121 on top node canister one and 192.168.70.122 on bottom node canister two ● Can use thumb drive initialization tool to change addresses if a conflict – Otherwise can change them during EZsetup configuration process Eight fibre channel cable drops if connection to a SAN is required Unlike SVC, Storwize V7000 doesn’t require a SAN allowing iSCSI host use only ● Node canisters communicate across midplane in the control enclosure Two SAS cables required for each expansion enclosure installed Cables orderable in one, three and six meter lengths 64 © 2010 IBM Corporation SAN Configuration Example cc 65 © 2010 IBM Corporation Fibre Channel Port Numbering – WWPN IBM_2145:oxford1:admin>svcinfo lsnode 1 id 1 name node1 WWNN 5005076801005FBE status online IO_group_id 0 IO_group_name io_grp0 config_node yes port_id 5005076801105FBE port_status active port_speed 4Gb port_id 5005076801205FBE port_status active port_speed 4Gb port_id 5005076801305FBE port_status active port_speed 4Gb port_id 5005076801405FBE port_status active port_speed 4Gb 66 © 2010 IBM Corporation Flash Copy Flash copy Backup Snapshot Clone © 2010 IBM Corporation Copy-on-write © 2010 IBM Corporation FlashCopy Mappings Incremental FlashCopy Mappings Multiple Target FlashCopy Mappings Cascaded FlashCopy Mappings Background Copy Cleaning Rate © 2010 IBM Corporation Consistency Group Kopiowanie grupy wolumenów – spójny obraz kilku wolumenów źródłowych © 2010 IBM Corporation Reverse FlashCopy © 2010 IBM Corporation Maksymalne wartości mechanizmu FlashCopy © 2010 IBM Corporation Remote copy Wymagania dla kanału komunikacji Round trip latency < 80ms ● <40ms w każdą ze stron Bandwith ● Przepustowość jak maksymalny transfer do kopiowanych wolumenów ● Dodatkowo do 20% narzutu na wewnętrzne mechanizmy kopiujące ● RemoteCopy internal communication ~ 2,6Mbit/s © 2010 IBM Corporation RemoteCopy limits © 2010 IBM Corporation Warranty and Support 75 © 2010 IBM Corporation Warranty and Support HW Warranty is 3-year 9x5 Next Business Day (NBD) Warranty service upgrade options ● 24x7 two-hour or four-hour onsite response ● 9x5 four-hour onsite response. Maintenance extensions for additional years beyond 3 years Each MTM/serial number has unique maintenance price and assumes full drive capacity Feature code-level maintenance price for solid-state drives SW PID includes first year of Subscription and Support Additional years available at annual renewal and pre-purchase at initial sale ● Includes free upgrades, defect support and how-to help Customer Replaceable Unit (CRU) and spare parts strategy CRUs should be defined for: ● ● ● ● ● ● 76 Power Supply Unit with Fans Drives Node canisters Expansion canisters Enclosure with midplane PSU Battery © 2010 IBM Corporation Warranty and Support What is support structure Who do you call HW versus SW support and how does that work ● Call 800-IBM-SERV, option 1 for HW, option 2 for SW Who installs HW and does MESs Customer installable and maintainable Who installs SW and does code upgrades Customer installable and maintainable SW maintenance includes: Problem determination/resolution, how-to help, software upgrades Assumes they are current on their software maintenance Highly recommend activating call home and inventory reporting No charge for these features 77 © 2010 IBM Corporation Support Entitlement When contacting IBM support via 800-IBM -SERV all requests have to go through an entitlement check Process determines whether the customer’s hardware is covered under a valid warranty or maintenance contract and/or if their software maintenance contract is current ● Otherwise support may be billable Hardware PMRs are entitled based on the machine type/serial number Software PMRs are entitled based on a customer number Most customers have multiple customer numbers Entitlement requires customer number the software was ordered under which may be different from the hardware ● Same as with SVC today Software service planning is attempting have Storwize V7000 configured into a new entitlement system that will allow software PMRs to be entitled based on the same information as the HW PMRs This should improve the customer experience when raising a software PMR on Storwize V7000 Have to watch this space as we near announce and GA 78 © 2010 IBM Corporation Maintaining Product Field Quality Help customers avoid running code levels with known issues Customers, BPs and resellers can sign up to receive product technical notifications Enable using “My Notifications” function on web and detailed at URL below ● See ftp://ftp.software.ibm.com/systems/support/tools/mynotifications/overview.pdf BPs can proactively contact customer to offer upgrade services Encourage customers to configure Call Home & Inventory Reporting Enabled as part of the initial easy set up procedure Emails sent to IBM, customer’s administrators and optionally BPs Error events will alert IBM who will contact customer to help with problem resolution BPs & resellers can monitor Warning/Information alerts and offer SAN health services Inventory option emails vital product data and software license information to IBM ● Since tool will identify code levels running it allows for proactive notification of customers should a critical problem with that code level be discovered ● Allows BPs & resellers to sell extra capacity and product upgrade services Simple customer driven upgrade process via product GUI GUI also features ‘check for latest version’ function 79 © 2010 IBM Corporation Miscellaneous 80 © 2010 IBM Corporation Power On and Off Sequence To bring up the enclosures initially for configuration after installation in a rack requires no particular power on sequence Once the system is operational the recommended power down sequence is… Stop all I/O to the servers accessing volumes from the system ● No action required on external storage virtualized by the system Shutdown the cluster via the GUI or CLI Power off the PSUs in the enclosures ● Since the cluster is shutdown it doesn’t matter what order enclosures are powered off ● Seems logical though to power off control enclosure then expansion enclosures The recommended power up sequence is… Power on the PSUs in all the expansion enclosures ● No specific order is required on the SAS chains Power on the PSUs in the control enclosure ● If control enclosure is powered on before the expansion enclosures, the system will come up fine; however, errors will be logged about missing drives – System should autofix the errors but best to power on expansion enclosures first to avoid the errors Verify the cluster is operational and restart servers and applications 81 © 2010 IBM Corporation Performance SPC-1 like performance benchmark performed on maximum configuration of 10 enclosures Enclosures were 24 drive bay models ● Used 240 SAS 10K RPM drives Result was roughly 50-55K IOPS 82 © 2010 IBM Corporation Replacement for SVC EE and 2145-8A4 The 2145-8A4 will be withdrawn from marketing most likely in November 2010 timeframe and will not be replaced with another xSeries-based appliance SCORE/RPQ for possible CF8 approval if customer must grow cluster SVC EE can be upgraded to support more drives but no new orders To meet the needs of the SMB customers wishing to use virtualization, the replacement for the 8A4 will be a Storwize V7000 control enclosure without any disks if desired This enclosure will be subject to all of the Storwize V7000 restrictions (e.g. 1 IO group max) and Storwize V7000 licensing rather than SVC EE licensing A cluster containing 2145-8A4 nodes cannot be nondisruptively upgraded to the Storwize V7000 at this time Being considered for a future release 83 © 2010 IBM Corporation PYTANIA? innovation that matters 84