isilon - EMC Poland
Transkrypt
isilon - EMC Poland
Nigdy niekoocząca się wydajność i pojemność Skaluj się horyzontalnie, a nie wertykalnie Bartosz Charlioski EMC Polska Specialized Technology Consultant Zion Gabai EMC Area Sales Director © Copyright 2011 EMC Corporation. All rights reserved. 1 Agenda •Wprowadzenia •Budowa i zasada działania klastra •Case study © Copyright 2011 EMC Corporation. All rights reserved. 2 Wzrost ilości danych wg IDC © Copyright 2011 EMC Corporation. All rights reserved. 3 Dlaczego IT potrzebuje jeszcze jednego podejścia do kwestii przechowywania danych? Worldwide File And Block Disk Storage Systems, 2009-2014* Life Sciences Media & Entertainment Internet & Cloud Oil & Gas High-Tech Engineering By 2012, 80% of all storage capacity sold will be for file-based data © Copyright 2011 EMC Corporation. All rights reserved. 4 Centra danych przechodzą z modelu skalowania wertykalnego do horyzontalnego © Copyright 2011 EMC Corporation. All rights reserved. 5 Elementy klastra skalowalnego horyzontalnie CECHY OPROGRAMOWANIA KLASTRA (Rozproszony System Plików, Klastrowy System Plików, itp) Nieograniczona skalowalność Wysoka wydajność Maksymalna ochrona danych Łatwe zarządzanie Wysoka dostępność Zaawansowane usługi (Windows, Unix, Security, autentykacja, itd.) ISILON IQ – WĘZŁY PLATFORMY STANDARDOWY SPRZĘT © Copyright 2011 EMC Corporation. All rights reserved. 6 Isilon – Rozwiązanie klastrowe NAS ISILON - SYSTEM OPERACYJNY ISILON IQ - PLATFORMA SPRZĘTOWA © Copyright 2011 EMC Corporation. All rights reserved. 7 Isilon ustanawia standard dla klastra NAS © Copyright 2011 EMC Corporation. All rights reserved. 8 Główne cechy Systemu operacyjnego Isilon OneFS Utwórz jeden gigantyczny dysk “z:” Jeden system plików, jeden wolumen Najwyższa wydajność, w pełni symetryczny klaster Łatwy w zarządzaniu i rozbudowie © Copyright 2011 EMC Corporation. All rights reserved. 9 OneFS 6.5 Dostarcza niezrównanej skalowalności Ochrona danych Odporny na awarie rozległą Gotowy do zadań krytycznych 144 Nody 15 PBs 85 GB/s 1.6M IOPs © Copyright 2011 EMC Corporation. All rights reserved. 10 Isilon IQ – Architektura Sieci Servery NFS, CIFS, ISCSI, FTP, HTTP Servery Servery Warstwa kliencka/aplikacyjna © Copyright 2011 EMC Corporation. All rights reserved. Warstwa sieci – gigabit, 10 gigabit Isilon IQ Warstwa składowania danych Komunikacja między węzłowa - Infiniband 1 11 Zapisywanie pliku do klastra Isilon Servery NFS, CIFS, ISCSI FTP, HTTP Servery Servery © Copyright 2011 EMC Corporation. All rights reserved. 1 12 Zapisywanie pliku do klastra Isilon © Copyright 2011 EMC Corporation. All rights reserved. 1 13 Odczytywanie pliku z klastra Isilon Zapisywanie pliku do klastra Isilon Servery NFS, CIFS, FTP, HTTP Servery (optional 2nd switch) Servery © Copyright 2011 EMC Corporation. All rights reserved. 1 14 Odczytywanie pliku z klastra Isilon Servery NFS, CIFS, ISCSI, FTP, HTTP Servery Servery © Copyright 2011 EMC Corporation. All rights reserved. 1 15 Najbardziej niezawodny system składowania danych Dla dużych rozwiązań, N+2:1 = awaria 2 dysków w nodzie lub 1 noda N+3:2 = awaria 3 dysków w nodzie lub 2 nodów Wbudowana w klaster wysoka dostępność Z protekcją N+2, N+3, i N+4, dane są w 100% dostępneN+1, nawet przy Z protekcją awarii kilku dysków lub dane są w 100% dostępne nodów przy awarii jednego dysku lub Isilon noda IQ oferuje I… 100% AVAILABILITY 100% AVAILABILITY FAILED 100% AVAILABILITY 100% AVAILABILITY najszybszy w branży czas odbudowy— Mniej niż godzina! 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY FAILED 100% AVAILABILITY 16 © Copyright 2011 EMC Corporation. All rights reserved. 16 System o największej dostępności Wirtualne dyski zapasowe • Wykorzystuje całe dostępne wolne miejsce w klastrze do odbudowy – W przeciwieństiwe do tradycyjnych systemów które ograniczone są do wolumenu, grupy raid X FAILURE © Copyright 2011 EMC Corporation. All rights reserved. 17 Największy i Najbardziej Skalowalny System Plików 100X bardziej skalowalny niż tradycyjny system plików OneFS™ może skalować się od 15 TB do ponad 15 PB w jednym systemie plików Zwiększenie pojemności w ciągu 60s bez przestoju © Copyright 2011 EMC Corporation. All rights reserved. 18 Najbardziej skalowalny System Plików • AutoBalance migruje zawartość do nowego noda podczas pracy produkcyjnej systemu • Nie wymaga manualnej interwencji, rekonfiguracji, zamontowania ponownego zasobów BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY AutoBalance: Zautomatyzowane balansowanie danych pomiędzy nodami Redukuje koszt, poziom skomplikowania i ryzyko skalowania © Copyright 2011 EMC Corporation. All rights reserved. 19 Niekończące się skalowanie Węzęł wydajnościowy Dodaj węzeł Isilon Scale-out Wydajność DrugiThe Paradigm Shift system NAS/SAN NAS “Head” Clustering Fully Symmetric Cluster Tradycyjny SAN/NAS Infiniband Network Backbone Pojemność © Copyright 2011 EMC Corporation. All rights reserved. • Modern Architecture…Built to WORK! • Ability to Scale performance and capacity in concert or independently…non-disruptively! 20 Bardzo dobre wykorzystanie pojemności System 3 węzłowy • N+1 Parity • 12 Cores • 12 GB Cache • 6 GbE ports System 6 węzłowy • N+1 Parity • 24 Cores • 24 GB Cache • 12 GbE ports System 10 węzłowy N+1 Parity • 40 Cores • 40 GB Cache • 20 GbE ports 66% 83% 90% 33% 17% 10% Capacity Over Head © Copyright 2011 EMC Corporation. All rights reserved. Capacity Over Head Capacity Over Head 21 21 Bardzo łatwy w obsłudze interfejs graficzny Zarządzenie całym klastrem z jednego okna Zarządzaj od 18TB do 15PB system plików z intuicyjnej konsoli "Isilon has made some very bold claims with respect to its clustered storage products - not least the idea of genuinely revolutionizing the ease and speed with which mass storage - over 500 Terabytes - can be added and managed thereafter. We have conducted rigorous testing and unanimously agree with their assertions. This stuff is almost frighteningly simple to use.” Steve Broadhead, Founder, Broadband-Testing Laboratories © Copyright 2011 EMC Corporation. All rights reserved. 22 Oprogramowanie Szeroka oferta rozwiązań skalowalnych horyzontalnie S-SERIES Extension Nodes X-SERIES NL-SERIES ACCELERATOR & BACKUP ACCELERATOR ISILON EX NODES System operacyjny Sprzęt Platform Nodes © Copyright 2011 EMC Corporation. All rights reserved. 23 Bardzo elastyczna rodzina produktów Trzy wymiary skalowania Wydajność IQ Accelerator and Backup Accelerator S, X, NL-Series Platform Nodes Niezależna skalowalność wydajności Liniowy wzrost wydajności i pojemności EX 6000/9000/12000 Niezależna skalowalność pojemności Pojemność © Copyright 2011 EMC Corporation. All rights reserved. 24 Case study © Copyright 2011 EMC Corporation. All rights reserved. 25 .pdf .ppt images video audio VMware Files Non DB Files By 2012, 80% of all storage capacity sold will be for file-based data Source: © Copyright 2011 EMC Corporation. All rights reserved. 26 Big Data Is Top of Mind for CIOs 27 © Copyright 2011 EMC Corporation. All rights reserved. 27 Datacenter Requirements for Big Data DataProtection Protection N+4 Up to 15 PBs Scalability Business Scale-Out Continuance Replication Single File Simplicity SCALE-OUT System ENTERPRISE Management Sophisticated CAPABILITIES and Monitoring Analytics Block and File Interoperability © Copyright 2011 EMC Corporation. All rights reserved. BIG DATA ARCHITECTURE Up to 85GB/sec Performance and 1.4 million IOPs 80+ % Utilization Efficiency 28 Enterprise Capabilities Scale-Out Competitive Landscape ENTERPRISE CAPABILITIES SCALE-OUT ARCHITECTURE SONAS Big Data Storage © Copyright 2011 EMC Corporation. All rights reserved. 29 Isilon Overview Proven, global leader in Scale-Out Storage solutions Unrivaled product innovation – 6th Generation World-class products and global services Strong ecosystem of technology partners ~2000 worldwide customers and growing Recently Acquired by EMC for $2.5 Billion Record Growth & Profitability © Copyright 2011 EMC Corporation. All rights reserved. 30 Over 2,000 Isilon Customers Media & Entertainment Internet Life Sciences Engineering Higher Ed Virtualization Other Virtualization Sony Apple Disney Move Networks DirecTV Omniture Illumina Broad Institute Mayo Clinic GE Aircraft UCLA Softlayer Lexis/Nexis Xilinx Baylor Edelbrock Act Litigation GeoTrace Harvard/Yale Trizetto Edgecast Aurora Bank Technicolor Viacom Warner/GDMX Facebook Ancestory.com Genentech National Center for Genomic Research LiveOffice Kelman Technology Pratt Whitney Friendster Rutgers Honda Rice University ARM Ltd. University of Texas Sonic Drive-in Nielsen Compnay Yellow Roadway KC Southern Love’s Stores JGI Comcast University of Michigan Bill Young Productions Sanborn OMRF LONI UCLA © Copyright 2011 EMC Corporation. All rights reserved. 31 “Big Data” in Isilon Core Markets…(Battlecards) Isilon Opportunity Internet/Cloud Life Sciences High-Tech Engineering Oil & Gas Media & Entertainment MediaNew &Areas Entertainment Video Surveillance Public Sector VMware, Outsourcing Medical Imaging © Copyright 2011 EMC Corporation. All rights reserved. 32 Isilon Enables Success In… © Copyright 2011 EMC Corporation. All rights reserved. 33 CREATE & CAPTURE PROCESS ARCHIVE NL-Series Purpose-built for high-transactional & IOPS-intensive applications for high-concurrent and sequential throughput applications Purpose-built for cost-effective, large capacity storage BACKUP Backup Accelerator to Tape Storage Isilon IQ X Series Nodes X200, 6000X and 12000X Isilon IQ S200 5400S, IQ 5000S-SSD Isilon IQ 10000X-SSD 36000X, 72000X, IQ 32000X-SSD Isilon IQ SAS (16-518 TB) Isilon IQ X Series SATA (18TB – 10.4PB) © Copyright 2011 EMC Corporation. All rights reserved. Isilon IQ 108NL, 72NL,36NL Isilon IQ Nearline SATA (108TB – 15PB) High Performance Backup/Restore 34 © Copyright 2011 EMC Corporation. All rights reserved. 35 Design and Engineering Typical Architecture © Copyright 2011 EMC Corporation. All rights reserved. 38 COMAC Commercial Aircraft Corporation of China BACKGROUND HPC for computer aided application such as Dyna, Nastran, Fluent and several other self-made HPC based applications CHALLENGE • • • • High-performance concurrent access from a single file system. Scale easily and on the fly to 1PB Add capacity and performance as the system scales Simplify storage management and increase utilization SOLUTION • • • • Over 100TBs in a Isilon IQ 12000X storage cluster Reduced storage management to less than half a person Showed ability to scale on the fly to meet growing capacity and performance needs Demonstrated best performance over NFS to large Linux HPC environments © Copyright 2011 EMC Corporation. All rights reserved. 39 Pratt & Whitney BACKGROUND Pratt & Whitney engines power nearly half the world's commercial and military fleets CHALLENGE Replace legacy engine testing storage infrastructure with 100% online and file-based network attached clustered storage system Engine testing generates huge amounts of data in disparate silos “ Isilon IQ has enabled us to streamline our [jet engine] testing analysis and appreciably reduce costs while maintaining our uncompromising commitment to safety and quality.” ─ Dr. Zbigniew Grabowski, Engineering Information Technology Program Manager, Pratt & Whitney SOLUTION 32+ Terabytes of Isilon IQ clustered storage used to create unified storage pool for jet engine testing Enabled reduction in test time from 6 months to 6 weeks Isilon IQ used to test military and civilian engines for Airbus and Boeing. Data critical for government compliance and bringing products to market © Copyright 2011 EMC Corporation. All rights reserved. 40 IC Design & EDA Customer Testimonials ARM DaiNippon Printing © Copyright 2011 EMC Corporation. All rights reserved. 41 Life Sciences Typical Architecture © Copyright 2011 EMC Corporation. All rights reserved. 42 Life Sciences Customer Testimonials Cedars-Sinai Harvard Medical School Broad Institute © Copyright 2011 EMC Corporation. All rights reserved. 43 Higher Education Typical Architecture © Copyright 2011 EMC Corporation. All rights reserved. 44 Higher Education Customer Testimonials French National Library UCLA LONI University of Michigan © Copyright 2011 EMC Corporation. All rights reserved. 45 High Performance Computing Typical Architecture © Copyright 2011 EMC Corporation. All rights reserved. 46 High Performance Computing Customer Testimonials Repsol © Copyright 2011 EMC Corporation. All rights reserved. 47 Isilon Scale-Out NAS – Solutions • • • • • • • • • • • • • • • • © Copyright 2011 EMC Corporation. All rights reserved. 48 Isilon Scale-Out NAS – Benefits • • • • • • • • • • © Copyright 2011 EMC Corporation. All rights reserved. 49 Dziękuję Życzę udanej konferencji © Copyright 2011 EMC Corporation. All rights reserved. 50