PDUG Template - Polska grupa użytkowników DB2
Transkrypt
PDUG Template - Polska grupa użytkowników DB2
Michał Białecki, Jacek Rafalak „DB2 - serce unikalnej technologii” Szczyrk, 25 październik 2014 Mainframe – 50 lat na rynku, z czego 30 razem z DB2 Mainframe-kto i dlaczego używa Kto używa mainframe • 96 banków z listy TOP100 World Banks • 23 z TOP25 US retailers • 9 z 10 TOP10 World Insurance • 71% firm z listy Fortune 500 zEC12 5.5 GHz hexa-core chips (max 120 cores) with 3 TB memory. I dlaczego? • 99.999 % availability = ~ 5 minut czas nieplanowanej niedostepności/ rok • wsteczna kompatybilność - programy napisane w latach 60-tych w architekturze 24-bitowej, czy31-bitowe nadal mogą uruchamiane bez zmian (bez rekompilacji) na maszynach 64-bitowych • wirtualne partycje (systemy) na jednej maszynie (pierwszy raz wprowadzone 1972) - obecnie możliwe uruchamianie partycji z/VM z/OS ale też od 1999 z/Linux (Red Hat, SUSE, Debian, Fedora, Slackware, Gentoo) • Sysplex (wiele maszyn połączonych w jedną logiczną) – 1990 - prekursor „private cloud” computing (Software as Service) • TCO niższe niż w systemach otwartych (open/distrubuted platforms) – drogi sprzęt, ale niższe koszty energii i ludzkie • Bezpieczeństwo - EAL5+ certification (systemy otwarte - EAL4+) Mainframe – podejscie do przetwarzania + trochę definicji • W masowym przetwarzaniu danych liczy się dostęp do IO / dysku (bo IO jest nadal najwolniejszym elementem) – zrównoleglenie operacji dyskowych, dynamiczne przełączanie ścieżek do dysków w zależności od intensywności przetwarzania (dynamic Parrallel Access Volume) • WLM – workload manager.. Definiujemy cele dla aplikacji / usera / serwera pośredniczącego.. np. response time, 0.05s, i system stara się ten cel spełnić przydzielając odpowiednio zasoby (CPU, IO, pamięć) (odpowiednik dynamic priority) • Capacity on Demand (zwiększenie tymczasowe, czasowe mocy przetwarzania, poprzez włączenie dodatkowych procesorów, lub przeniesienie mocy z innych maszyn) • SYSPLEX – wiele maszyn (do 32), połączonych logicznie w jedną.. (cluster) – 1990.. • GDPS – Geographically Dispersed Parallel Sysplex - wiele maszyn zdalnie podłączonych ze sobą ( synchonicznie do 200km, async – bez limitu) • Automatic Restart Manager (ARM) – Automatyczny restart aplikacji, na tym samym systemie, bądź innych LPAR’ach (maszynach) w sysplexie DB2 z/OS – 30 lat • • • • • • • • • • • 1983 – Version 1 Release 1 was announced on June 7, 1983 -V2.1 referential integrity 1990 - V2.3 – DRDA (Distributed Relational Database Architecture) 1995 - V4 – datasharing, stored procedures, CPU parallelism 1997 - V5 - Sysplex parallelism, prepared statement caching, reoptimization, online REORG, and conformance to the SQL-92 standard. 1998 – v6 – SQLJ, triggers, large objects (LOBs), user-defined functions, and distinct types. 2001 – v7 - scrollable cursors, limited FETCH, and row expressions. Unicode support 2004 - V8 – 64 bit DBMS, SEQUENCEs, dynamic scrollable cursors, scalar fullselect, multiple DISTINCT clauses, SELECT from an INSERT statement. XML.. Multi-row FETCH & INSERT, recursion in queries, materialised query tables 2007 - V9 – native stored procedures. trusted connections, pureXML, PACKAGE/PLAN STABILITY, Index on Expression, INSTEAD OF Trigger, Merge, ELECT FROM MERGE/UPDATE/DELETE, INTERSECT/EXCEPT, Clone Table, Spatial, New data types: BIGINT, BINARY, VARBINARY, DECFLOAT 2010 – v10 – include index, hash access, temporal(versioned) tables, 20,000 concurrent threads, inline lobs, accelerator for analytics 2013 – v11 – archived enabled tables, nullable (partial) indexes, .... DB2 z/OS Data sharing w Sysplex DB2 data sharing – pozwala na wykonywanie się programów na wielu węzłach DB2 (do 32) które korzystają ze współdzielonych danych. Dzięki temu osiągamy skalowalność horyzontalną, IRLM niezawodność i dostępność Coupling Facilities Sysplex timers 11 12 12 11 112 10 10 9 98 87 423543 7 6 56 LOCK1 SCA Group Buffer Pools DB2A Shared DASD Buffer Pools DB2B IRLM DB2n IRLM Buffer Pools Buffer Pools ... DB2A Log DB2B Log .. . DB2n Log DB2 Cat/Dir DB2 DBs Sysplex geograficznie rozproszony Konfiguracje Geographically Dispersed Parallel Sysplex Continuous Availability of Data within a Data Center Continuous Availability / Disaster Recovery within a Metropolitan Region Single Data Center Applications remain active Two Data Centers Systems remain active Continuous access to data in the event of a storage subsystem outage Multi-site workloads can withstand site and/or storage failures Disaster Recovery at Extended Distance Two Data Centers Rapid Systems Disaster Recovery with ‘seconds’ of Data Loss Disaster recovery for out of region interruptions Continuous Availability Regionally and Disaster Recovery Extended Distance Three Data Centers High availability for site disasters Disaster recovery for regional disasters A B C 7 GDPS/HyperSwap Mgr GDPS/HyperSwap Mgr GDPS/GM GDPS/MGM GDPS/PPRC GDPS/XRC GDPS/MzGM DB2 z/OS – IDAA – Accelerator (oparty o Netezza) Interfejs aplikacji Heartbeat Optymalizator zapytań SPU CPU FPGA Memory SMP Host IDAA DRDA Requestor Aplikacja dla System z Zapytania proste wykonywane w DB2 na z/OS SPU CPU FPGA Memory SPU CPU FPGA Memory SPU CPU FPGA Memory 8 DB2 dla z/OS IDAA Heartbeat (monitorowanie dostępności i wydajności Akceleratora IDAA ) Zapytania wykonywane przez DB2 na z/OS Zapytania wykonywane przez Akcelerator IDAA DB2 z/OS 11 - Analitics / BigData DB2 idzie z duchem czasu udostępniająć funcjonalności dostępu do baz Hadoop •New user-defined functions •New generic table UDF capability IBM InfoSphere BigInsights JAQL DB2 z/OS i JSON JavaScript Object Notation - open standard JSON API Tunable Consistency 10 Performance & Scalability SQL + JSON API Supported in DB2 10 and 11 Relational JSON { “Product”: { “SKU”: 11213, “Name”: “Google Glass”, “Category”: { }, “Size”: [ “S”, “M”, “L” ] } } SQL API Referential Integrity Check constraints Transactions Geo-spatial Scalability Temporal Security Joins Tools for higher Productivity Established Security DB2 z/OS – skala przetwarzania World’s largest known peak RDBMS workload 1.1 Billion SQL statements per hour World’s largest known transaction processing RDBMS >40 TB Large Asian bank World's largest banking benchmark result, a record 9,445 transactions per second 11 Branża firmy Transakcja/ DML/sec sec Finanse 1 858 773 524 Bank 2 576 563 200 Bank 1 591 (x3) 292 324 (x3) Ubezpieczenia społeczne 1 680 506 778 Telekomunikacja 2 840 284 343 Bank 9 268 107 664 Bank 2000 100 000 Bank 2 008 94 747 Przemysł 82 (x10) 5 783 (x10) Finanse 18 111 39 000 Finanse 2 527 18 170 (x2) Bank 323 8 973 Bank 57 723 1 333 DB2 z/OS na świecie Slovenia British Telecom CERTIFIED CERTIFIED DB2 z/OS w Polsce Automatyzacja procesu utrzymania baz danych – DB2 for z/OS 15 Proces utrzymania IBM TWS Raportowanie Copy Reorg Runstats Złożone środowisko implementacji • Dziesiątki TB danych ( indeksy, tabele ) • Duża ilość obiektów bazodanowych • Wiele procesów – Raportowanie, Statystyki bazodanowe – Reorganizacja przestrzeni tabel oraz indesków – Kopia bezpieczeństwa • • • • • • 16 Wiele zależności między procesami oraz workload-em Potrzeba kontroli zasobów CPU Lepsza obsługa błędów Lepsza powtarzalność ( wzorzec zadań ) Tworzenie wykluczeń, wyjątków zIIP – specjalne procesory Raportowanie • Raportowanie oparte na katalogu DB2 • Uwzględniające większość typów obiektów (dla utrzymania tablespace, indeks) • Narzędzia – DSNACOXX (procedura dostarczana wraz z kodem DB2) – Narzędzia własne w języku REXX 17 DSNACCOX – formuła dla REORG 18 18 RTS – „Real Time Statistics” • Zbiera dane „online” dla wszystkich obiektów i zapisuje w katalogu DB2 – SYSIBM.SYSINDEXSPACESTATS – SYSIBM.SYSTABLESPACESTATS 19 Statystyki bazodanowe • Krytyczne dla ścieżki dostępu ( „access path” ) • Dedykowane „utilities” – RUNSTATS INDEX & RUNSTATS TABLESPACE • Przechowywane w katalogu DB2 • Frequency, Cardinality, Histogram • Kiedy uruchamiamy? – Po zasileniu obiektów bazodanowych – Po utworzeniu obiektu – Także aby określić potrzeby reorganizacji 20 Katalog DB2 – wsparcie AP • SYSIBM.SYSCOLDIST - CARDF, COLGROUPCOLNO, COLVALUE, FREQUENCYF, HIGHVALUE, LOWVALUE, NUMCOLUMNS, TYPE, QUANTILENO • SYSIBM.SYSCOLSTATS - COLCARD, HIGHKEY, LOWKEY, PARTITION • SYSIBM.SYSCOLUMNS - COLCARDF, HIGH2KEY, LOW2KEY • SYSIBM.SYSINDEXES - CLUSTERING, CLUSTERRATIOF, FIRSTKEYCARDF, FULLKEYCARDF, NLEAF, NLEVELS, DATAREPEATFACTORF • SYSIBM.SYSINDEXPART – LIMITKEY • SYSIBM.SYSTABLES - CARDF, EDPROC, NPAGES, NPAGESF, PCTROWCOMP • SYSIBM.SYSTABLESPACE - NACTIVEF • SYSIBM.SYSTABSTATS - CARDF, NPAGES 21 Reorganizacja indeksów i tablespace • Krytyczna dla – – – – porządku danych ( klastrowania ), kompresji, extent-ów, zmniejszenia operacji I/O ( np. uporządkowanie drzewa idx ) • Dedykowane „utilities” – REORG TABLESPACE, – REORG INDEX, – REBUILD INDEX • Możliwa reorganizacja „online” 22 Kopia bezpieczeństwa • Dedykowane „utility” – COPY – MERGE COPY – COPYTOCOPY • • • • 23 Tryb pełny lub przyrostowy kopii Możliwość rozładowania danych ( UNLOAD ) z kopii MERGE COPY COPYTOCOPY Workload Scheduler Charakterystyka implementacji: • Uniwersalne wzór dla każdego zadania • Automatyczny restart – w razie błędu • Zależności między „aplikacjami” po stronie schedulera, workloadem oraz zadaniami utrzymania między sobą • centralny ”steering wheel” dla całego procesu utrzymania 24 25 Tabela kontrolna CREATE TABLE PG.MAINTENANCE_CONTROL_TABLE ( ST_OBJECT ST_DATABASE ST_PARTITION część COPY ST_OBJECT_TYPE ST_PRIORITY ST_PLANNING_DATE ST_UPDATEPRIO_DATE ST_JOBID ST_SAMPLE ST_SQLID ST_RULE_NAME ST_NACTIVE ST_ONDEMAND część RUNSTATS AD_IF_COPY_FULL AD_IF_COPY_INC RE_IMPORTANCE RE_UPDATEDATE RE_JOBID RE_IDPOD RE_UPDATEPRIO_DATE ) część REORG DB2 10.5 dla Linux, Unix, Windows DB2 10.5 dla Linux, Unix, Windows Przetwarzanie ‚in-memory’, składowanie kolumnowe (BLU) Olbrzymie przyspieszenie w systemach analitycznych Efektywne metody kompresji x5 dla tabel wierszowych, x10 dla kolumnowych, przyspieszenie zapytań Klastrowanie Active-Active oraz klaster geograficzny Technologie: pureScale, HADR Doskonała integracja z systemami SAP Np. in-memory’ jest wspierane dla wszystkich rodzajów obiektów SAP BW 99% zgodność z bazą Oracle Składnia SQL, PL/SQL, wbudowane pakiety Elastyczne metody licencjonowania na Terabajt danych, na użytkownika, na rdzeń, socket, serwer 27 DB2 BLU Klasyczne strojenie bazy 6. 7. 8. 9. 28 Opracuj strategię partycjonowania Wybierz metodę kompresji Utwórz tabele Załaduj dane Utwórz pomocnicze struktury • Widoki zmaterializowane • Indeksy Dostrój pamięć Dostrój parametry I/O Dodaj hinty dla optymalizatora Zbierz statystyki Powtórz 1. 2. 3. 4. 5. VS BLU 1. Utwórz tabele 2. Załaduj dane DB2 BLU – wrażenia klientów „Gdy porównaliśmy wydajność tabel DB2 organizowanych kolumnowo z tabelami organizowanymi wierszami, okazało się, że z BLU nasze analityczne zapytania działały średnio 74 razy szybciej.” Kent Collins, Architekt Rozwiązań Bazodanowych BNSF Railway, USA „W naszym systemach zaobserwowaliśmy aż 10-25 krotne zmniejszenie zapotrzebowania na przestrzeń dyskową, gdy uwzględni się nie tylko samą kompresję, ale także to, że już nie muszę martwić się o indeksy, agregaty i tym podobne.” Andrew Juarez, Lider zespołu SAP Basis oraz administratorów baz danych Coca Cola Bottling, USA 29 Wszystkie Podstawowe Opcje bazy danych Wszystkie opcje w „DB2 Advanced” Advanced Workgroup PVU, użytkownik, terabajt Advanced Enterprise PVU, użytkownik, terabajt Workgroup Enterprise Socket, użytkownik PVU, użytkownik Wykorzystane zasoby sprzętowe Nieograniczone Ograniczone • • • 30 128 GB RAM 16 rdzeni baza 15 TB Advanced Wokgroup w modelu na TB nie posiada ograniczeń na liczbę rdzeni i RAM BLU Klaster Active-Active Kompresja Ośrodek zapasowy Replikacja kolejkowa Partycjonowanie tabel Menadżer obciążenia Wielo-temperaturowość OLAP Silnik ELT Federacja „Workload tuner” „DataStudio” „Performance Manger” „Data Architect” … Stowarzyszenia „Polska Grupa Użytkowników DB2” Cel stowarzyszenia Cele stowarzyszenia: Działalność edukacyjna 32 Rozpowszechnianie wiedzy o DB2 i oprogramowaniu narzędziowym do DB2 Wymiana doświadczeń Współpraca z IBM i producentami oprogramowania Budowanie silnej w zakresie społeczności przekazywania skupionej wokół wskazówek technologii i pomysłów IBM DB2 przez użytkowników DB2 Członkostwo w naszym stowarzyszeniu Członkostwo w naszym stowarzyszeniu to m.in: • możliwość wymiany wiedzy i doświadczeń; • zapraszanie prelegentów zgodnie z zainteresowaniami uczestników grupy; • udział w konferencjach przygotowanych przez grupę PDUG; • wzmacnianie relacji pozazawodowych skupionych wokół technologii IBM DB2. 33 Nasze osiągnięcia Konferencje techniczne UŻYTKOWNICY UŻYTKOWNIKOM PRAKTYKA DOŚWIADCZENIE SPECJALIZACJA DOPASOWANIE z/OS Linux, Unix, Windows Nasi prelegenci • Czołowi eksperci: – IBM (Sillicon Valey LAB, IBM Software LAB Kraków) – CA Technologies – Niezależni konsultanci • Wiedza przekazywana podczas: – Prezentacji – Panelów eksperckich – Warsztatów 37 Sesje certyfikacyjne dla DB2 Własne czasopismo PDUG • • • • Artykuły techniczne, Z życia stowarzyszenia, Wydarzenia DB2, Wydawany dwa razy w roku, • Tworzony przez członków stowarzyszenia; 39 www.pdug.pl Aktywne wątki 40 Media społecznościowe Przyznane wyróżnienia Wyróżnienie dla PDUG: „THE BEST NEW USERS GROUP” 42 Gala IBM z okazji 30-lecia DB2 Konferencja IDUG EMEA Barcelona, 16 października 2013 r. Aby się rozwijać… Wciąż zapraszamy do: • dołączenia do grona otwartych na wiedzę i nowe inicjatywy specjalistów DB2 (z/OS i LUW); • dzielenia się wiedzą i wymiany doświadczeń w formie prezentacji i artykułów o tematyce technicznej; • współdecydowania o inicjatywach stowarzyszenia i rozwijania naszej społeczności; 43 Dziękujemy! [email protected] www.pdug.pl Poland DB2 Users Group
Podobne dokumenty
Co w numerze?
wprowadzane wraz z nową wersją oraz na możliwości, które ze sobą niosą. Wiedzy o nich dostarczyć mogą artykuły typu „What’s new”, blogi branżowe, fora i periodyki - można natknąć się na całkiem cie...
Bardziej szczegółowo