PDUG Template - Polska grupa użytkowników DB2

Michał Białecki, Jacek Rafalak
„DB2 - serce unikalnej technologii”
Szczyrk, 25 październik 2014
Mainframe – 50 lat na rynku,
z czego 30 razem z DB2
Mainframe-kto i dlaczego używa
Kto używa mainframe
• 96 banków z listy TOP100 World Banks
• 23 z TOP25 US retailers
• 9 z 10 TOP10 World Insurance
• 71% firm z listy Fortune 500
zEC12 5.5 GHz hexa-core chips (max 120 cores) with 3 TB memory.
I dlaczego?
• 99.999 % availability = ~ 5 minut czas nieplanowanej niedostepności/ rok
• wsteczna kompatybilność - programy napisane w latach 60-tych w
architekturze 24-bitowej, czy31-bitowe nadal mogą uruchamiane bez zmian
(bez rekompilacji) na maszynach 64-bitowych
• wirtualne partycje (systemy) na jednej maszynie (pierwszy raz wprowadzone
1972) - obecnie możliwe uruchamianie partycji z/VM z/OS ale też od 1999
z/Linux (Red Hat, SUSE, Debian, Fedora, Slackware, Gentoo)
• Sysplex (wiele maszyn połączonych w jedną logiczną) – 1990
- prekursor „private cloud” computing (Software as Service)
• TCO niższe niż w systemach otwartych (open/distrubuted platforms)
– drogi sprzęt, ale niższe koszty energii i ludzkie
• Bezpieczeństwo - EAL5+ certification (systemy otwarte - EAL4+)
Mainframe – podejscie do
przetwarzania + trochę definicji
• W masowym przetwarzaniu danych liczy się dostęp do IO / dysku (bo IO jest nadal
najwolniejszym elementem) – zrównoleglenie operacji dyskowych, dynamiczne
przełączanie ścieżek do dysków w zależności od intensywności przetwarzania
(dynamic Parrallel Access Volume)
• WLM – workload manager.. Definiujemy cele dla aplikacji / usera / serwera
pośredniczącego.. np. response time, 0.05s, i system stara się ten cel spełnić
przydzielając odpowiednio zasoby (CPU, IO, pamięć) (odpowiednik dynamic priority)
• Capacity on Demand (zwiększenie tymczasowe, czasowe mocy przetwarzania,
poprzez włączenie dodatkowych procesorów, lub przeniesienie mocy z innych
maszyn)
• SYSPLEX – wiele maszyn (do 32), połączonych logicznie w jedną.. (cluster) – 1990..
• GDPS – Geographically Dispersed Parallel Sysplex - wiele maszyn zdalnie
podłączonych ze sobą ( synchonicznie do 200km, async – bez limitu)
• Automatic Restart Manager (ARM) – Automatyczny restart aplikacji,
na tym samym systemie, bądź innych LPAR’ach (maszynach) w sysplexie
DB2 z/OS – 30 lat
•
•
•
•
•
•
•
•
•
•
•
1983 – Version 1 Release 1 was announced on June 7, 1983
-V2.1 referential integrity
1990 - V2.3 – DRDA (Distributed Relational Database Architecture)
1995 - V4 – datasharing, stored procedures, CPU parallelism
1997 - V5 - Sysplex parallelism, prepared statement caching, reoptimization, online
REORG, and conformance to the SQL-92 standard.
1998 – v6 – SQLJ, triggers, large objects (LOBs), user-defined functions, and distinct
types.
2001 – v7 - scrollable cursors, limited FETCH, and row expressions. Unicode support
2004 - V8 – 64 bit DBMS, SEQUENCEs, dynamic scrollable cursors, scalar fullselect,
multiple DISTINCT clauses, SELECT from an INSERT statement. XML.. Multi-row
FETCH & INSERT, recursion in queries, materialised query tables
2007 - V9 – native stored procedures. trusted connections, pureXML, PACKAGE/PLAN
STABILITY, Index on Expression, INSTEAD OF Trigger, Merge, ELECT FROM
MERGE/UPDATE/DELETE, INTERSECT/EXCEPT, Clone Table, Spatial, New data
types: BIGINT, BINARY, VARBINARY, DECFLOAT
2010 – v10 – include index, hash access, temporal(versioned) tables, 20,000
concurrent threads, inline lobs, accelerator for analytics
2013 – v11 – archived enabled tables, nullable (partial) indexes, ....
DB2 z/OS
Data sharing w Sysplex
DB2 data sharing – pozwala na
wykonywanie się programów na
wielu węzłach DB2 (do 32) które
korzystają ze współdzielonych
danych.
Dzięki temu osiągamy
skalowalność horyzontalną,
IRLM
niezawodność i dostępność
Coupling Facilities
Sysplex timers
11
12
12
11
112
10
10
9
98 87 423543
7 6 56
LOCK1
SCA
Group Buffer Pools
DB2A
Shared
DASD
Buffer Pools
DB2B
IRLM
DB2n
IRLM
Buffer Pools
Buffer Pools
...
DB2A Log
DB2B Log
.. .
DB2n Log
DB2 Cat/Dir
DB2 DBs
Sysplex geograficznie rozproszony
Konfiguracje Geographically Dispersed Parallel Sysplex
Continuous Availability of Data
within a Data Center
Continuous Availability /
Disaster Recovery within a
Metropolitan Region
Single Data Center
Applications remain active
Two Data Centers
Systems remain active
Continuous access to data in the
event of a storage subsystem
outage
Multi-site workloads can
withstand site and/or storage
failures
Disaster Recovery at
Extended Distance
Two Data Centers
Rapid Systems Disaster Recovery
with ‘seconds’ of Data Loss
Disaster recovery for out of region
interruptions
Continuous Availability Regionally
and Disaster Recovery Extended
Distance
Three Data Centers
High availability for site disasters
Disaster recovery for regional
disasters
A
B
C
7
GDPS/HyperSwap Mgr
GDPS/HyperSwap Mgr
GDPS/GM
GDPS/MGM
GDPS/PPRC
GDPS/XRC
GDPS/MzGM
DB2 z/OS – IDAA –
Accelerator (oparty o Netezza)
Interfejs
aplikacji
Heartbeat
Optymalizator
zapytań
SPU
CPU
FPGA
Memory
SMP Host
IDAA DRDA Requestor
Aplikacja
dla
System z
Zapytania proste
wykonywane w DB2
na z/OS
SPU
CPU
FPGA
Memory
SPU
CPU
FPGA
Memory
SPU
CPU
FPGA
Memory
8
DB2 dla z/OS
IDAA
Heartbeat (monitorowanie dostępności i wydajności Akceleratora IDAA )
Zapytania wykonywane przez DB2 na z/OS
Zapytania wykonywane przez Akcelerator IDAA
DB2 z/OS 11 - Analitics / BigData
DB2 idzie z duchem czasu udostępniająć funcjonalności dostępu do baz Hadoop
•New user-defined
functions
•New generic table
UDF capability
IBM InfoSphere BigInsights
JAQL
DB2 z/OS i JSON
JavaScript Object Notation - open standard
JSON
API
Tunable
Consistency
10
Performance
& Scalability
SQL + JSON
API
Supported in
DB2 10 and 11
Relational
JSON
{
“Product”: {
“SKU”: 11213,
“Name”: “Google
Glass”,
“Category”: {
},
“Size”: [ “S”, “M”, “L”
]
}
}
SQL
API
Referential Integrity
Check constraints
Transactions
Geo-spatial
Scalability
Temporal
Security
Joins
Tools for higher
Productivity
Established
Security
DB2 z/OS – skala przetwarzania
World’s largest known peak RDBMS workload
1.1 Billion SQL statements per hour
World’s largest known
transaction processing RDBMS >40 TB
Large Asian bank
World's largest banking benchmark result,
a record 9,445 transactions per second
11
Branża firmy
Transakcja/ DML/sec
sec
Finanse
1 858
773 524
Bank
2 576
563 200
Bank
1 591 (x3)
292 324 (x3)
Ubezpieczenia
społeczne
1 680
506 778
Telekomunikacja 2 840
284 343
Bank
9 268
107 664
Bank
2000
100 000
Bank
2 008
94 747
Przemysł
82 (x10)
5 783 (x10)
Finanse
18 111
39 000
Finanse
2 527
18 170 (x2)
Bank
323
8 973
Bank
57 723
1 333
DB2 z/OS na świecie
Slovenia
British Telecom
CERTIFIED
CERTIFIED
DB2 z/OS w Polsce
Automatyzacja procesu utrzymania baz danych
– DB2 for z/OS
15
Proces utrzymania
IBM TWS
Raportowanie
Copy
Reorg
Runstats
Złożone środowisko
implementacji
• Dziesiątki TB danych ( indeksy, tabele )
• Duża ilość obiektów bazodanowych
• Wiele procesów
– Raportowanie, Statystyki bazodanowe
– Reorganizacja przestrzeni tabel oraz indesków
– Kopia bezpieczeństwa
•
•
•
•
•
•
16
Wiele zależności między procesami oraz workload-em
Potrzeba kontroli zasobów CPU
Lepsza obsługa błędów
Lepsza powtarzalność ( wzorzec zadań )
Tworzenie wykluczeń, wyjątków
zIIP – specjalne procesory
Raportowanie
• Raportowanie oparte na katalogu DB2
• Uwzględniające większość typów obiektów (dla utrzymania
tablespace, indeks)
• Narzędzia
– DSNACOXX (procedura dostarczana wraz z kodem DB2)
– Narzędzia własne w języku REXX
17
DSNACCOX – formuła dla
REORG
18
18
RTS – „Real Time Statistics”
• Zbiera dane „online” dla wszystkich obiektów i zapisuje w
katalogu DB2
– SYSIBM.SYSINDEXSPACESTATS
– SYSIBM.SYSTABLESPACESTATS
19
Statystyki bazodanowe
• Krytyczne dla ścieżki dostępu ( „access path” )
• Dedykowane „utilities” – RUNSTATS INDEX & RUNSTATS
TABLESPACE
• Przechowywane w katalogu DB2
• Frequency, Cardinality, Histogram
• Kiedy uruchamiamy?
– Po zasileniu obiektów bazodanowych
– Po utworzeniu obiektu
– Także aby określić potrzeby reorganizacji
20
Katalog DB2 – wsparcie AP
• SYSIBM.SYSCOLDIST - CARDF, COLGROUPCOLNO,
COLVALUE, FREQUENCYF, HIGHVALUE, LOWVALUE,
NUMCOLUMNS, TYPE, QUANTILENO
• SYSIBM.SYSCOLSTATS - COLCARD, HIGHKEY, LOWKEY,
PARTITION
• SYSIBM.SYSCOLUMNS - COLCARDF, HIGH2KEY, LOW2KEY
• SYSIBM.SYSINDEXES - CLUSTERING, CLUSTERRATIOF,
FIRSTKEYCARDF, FULLKEYCARDF, NLEAF, NLEVELS,
DATAREPEATFACTORF
• SYSIBM.SYSINDEXPART – LIMITKEY
• SYSIBM.SYSTABLES - CARDF, EDPROC, NPAGES, NPAGESF,
PCTROWCOMP
• SYSIBM.SYSTABLESPACE - NACTIVEF
• SYSIBM.SYSTABSTATS - CARDF, NPAGES
21
Reorganizacja indeksów i
tablespace
• Krytyczna dla
–
–
–
–
porządku danych ( klastrowania ),
kompresji,
extent-ów,
zmniejszenia operacji I/O ( np. uporządkowanie drzewa idx )
• Dedykowane „utilities”
– REORG TABLESPACE,
– REORG INDEX,
– REBUILD INDEX
• Możliwa reorganizacja „online”
22
Kopia bezpieczeństwa
• Dedykowane „utility”
– COPY
– MERGE COPY
– COPYTOCOPY
•
•
•
•
23
Tryb pełny lub przyrostowy kopii
Możliwość rozładowania danych ( UNLOAD ) z kopii
MERGE COPY
COPYTOCOPY
Workload Scheduler
Charakterystyka implementacji:
• Uniwersalne wzór dla każdego zadania
• Automatyczny restart – w razie błędu
• Zależności między „aplikacjami” po stronie schedulera,
workloadem oraz zadaniami utrzymania między sobą
• centralny ”steering wheel” dla całego procesu utrzymania
24
25
Tabela kontrolna
CREATE TABLE
PG.MAINTENANCE_CONTROL_TABLE (
ST_OBJECT
ST_DATABASE
ST_PARTITION
część COPY
ST_OBJECT_TYPE
ST_PRIORITY
ST_PLANNING_DATE
ST_UPDATEPRIO_DATE
ST_JOBID
ST_SAMPLE
ST_SQLID
ST_RULE_NAME
ST_NACTIVE
ST_ONDEMAND
część
RUNSTATS
AD_IF_COPY_FULL
AD_IF_COPY_INC
RE_IMPORTANCE
RE_UPDATEDATE
RE_JOBID
RE_IDPOD
RE_UPDATEPRIO_DATE )
część REORG
DB2 10.5 dla Linux, Unix, Windows
DB2 10.5 dla Linux, Unix,
Windows
Przetwarzanie ‚in-memory’, składowanie kolumnowe (BLU)
Olbrzymie przyspieszenie w systemach analitycznych
Efektywne metody kompresji
x5 dla tabel wierszowych, x10 dla kolumnowych, przyspieszenie zapytań
Klastrowanie Active-Active oraz klaster geograficzny
Technologie: pureScale, HADR
Doskonała integracja z systemami SAP
Np. in-memory’ jest wspierane dla wszystkich rodzajów obiektów SAP BW
99% zgodność z bazą Oracle
Składnia SQL, PL/SQL, wbudowane pakiety
Elastyczne metody licencjonowania
na Terabajt danych, na użytkownika, na rdzeń, socket, serwer
27
DB2 BLU
Klasyczne strojenie bazy
6.
7.
8.
9.
28
Opracuj strategię partycjonowania
Wybierz metodę kompresji
Utwórz tabele
Załaduj dane
Utwórz pomocnicze struktury
• Widoki zmaterializowane
• Indeksy
Dostrój pamięć
Dostrój parametry I/O
Dodaj hinty dla optymalizatora
Zbierz statystyki
Powtórz
1.
2.
3.
4.
5.
VS
BLU
1. Utwórz tabele
2. Załaduj dane
DB2 BLU – wrażenia
klientów
„Gdy porównaliśmy wydajność tabel DB2 organizowanych kolumnowo
z tabelami organizowanymi wierszami, okazało się, że z BLU nasze
analityczne zapytania działały średnio 74 razy szybciej.”
Kent Collins, Architekt Rozwiązań Bazodanowych
BNSF Railway, USA
„W naszym systemach zaobserwowaliśmy aż 10-25 krotne
zmniejszenie zapotrzebowania na przestrzeń dyskową, gdy
uwzględni się nie tylko samą kompresję, ale także to, że już nie
muszę martwić się o indeksy, agregaty i tym podobne.”
Andrew Juarez, Lider zespołu SAP Basis oraz administratorów baz danych
Coca Cola Bottling, USA
29
Wszystkie
Podstawowe
Opcje bazy danych
Wszystkie opcje w „DB2 Advanced”
Advanced
Workgroup
PVU, użytkownik, terabajt
Advanced
Enterprise
PVU, użytkownik, terabajt
Workgroup
Enterprise
Socket, użytkownik
PVU, użytkownik
Wykorzystane zasoby sprzętowe
Nieograniczone
Ograniczone
•
•
•
30
128 GB RAM
16 rdzeni
baza 15 TB
Advanced Wokgroup w
modelu na TB nie posiada
ograniczeń na liczbę
rdzeni i RAM
BLU
Klaster Active-Active
Kompresja
Ośrodek zapasowy
Replikacja kolejkowa
Partycjonowanie tabel
Menadżer obciążenia
Wielo-temperaturowość
OLAP
Silnik ELT
Federacja
„Workload tuner”
„DataStudio”
„Performance Manger”
„Data Architect”
…
Stowarzyszenia
„Polska Grupa Użytkowników DB2”
Cel stowarzyszenia
Cele stowarzyszenia:
Działalność
edukacyjna
32
Rozpowszechnianie wiedzy
o DB2 i
oprogramowaniu
narzędziowym
do DB2
Wymiana
doświadczeń
Współpraca z IBM
i producentami
oprogramowania
Budowanie silnej
w zakresie
społeczności
przekazywania
skupionej wokół
wskazówek
technologii
i pomysłów
IBM DB2
przez
użytkowników
DB2
Członkostwo w naszym
stowarzyszeniu
Członkostwo w naszym stowarzyszeniu to m.in:
• możliwość wymiany wiedzy i doświadczeń;
• zapraszanie prelegentów zgodnie z zainteresowaniami
uczestników grupy;
• udział w konferencjach przygotowanych przez grupę PDUG;
• wzmacnianie relacji pozazawodowych skupionych wokół
technologii IBM DB2.
33
Nasze osiągnięcia
Konferencje techniczne
UŻYTKOWNICY
UŻYTKOWNIKOM
PRAKTYKA
DOŚWIADCZENIE
SPECJALIZACJA
DOPASOWANIE
z/OS
Linux, Unix,
Windows
Nasi prelegenci
• Czołowi eksperci:
– IBM (Sillicon Valey LAB, IBM Software LAB Kraków)
– CA Technologies
– Niezależni konsultanci
• Wiedza przekazywana podczas:
– Prezentacji
– Panelów eksperckich
– Warsztatów
37
Sesje certyfikacyjne dla DB2
Własne czasopismo PDUG
•
•
•
•
Artykuły techniczne,
Z życia stowarzyszenia,
Wydarzenia DB2,
Wydawany dwa razy
w roku,
• Tworzony przez
członków
stowarzyszenia;
39
www.pdug.pl
Aktywne wątki
40
Media społecznościowe
Przyznane wyróżnienia
Wyróżnienie dla PDUG: „THE BEST NEW USERS GROUP”
42
Gala IBM z okazji 30-lecia DB2
Konferencja IDUG EMEA
Barcelona, 16 października 2013 r.
Aby się rozwijać…
Wciąż zapraszamy do:
• dołączenia do grona otwartych
na wiedzę i nowe inicjatywy
specjalistów DB2 (z/OS i LUW);
• dzielenia się wiedzą i wymiany
doświadczeń w formie prezentacji
i artykułów o tematyce technicznej;
• współdecydowania o inicjatywach stowarzyszenia
i rozwijania naszej społeczności;
43
Dziękujemy!
[email protected]
www.pdug.pl
Poland DB2 Users Group