PDF: Wprowadzenie do technologii Big Data

Kod szkolenia:
Tytuł szkolenia:
Dni:
BIGDATA/F
Wprowadzenie do technologii Big Data
1
Opis:
Adresaci szkolenia
Szkolenie jest adresowane do analityków i programistów, którzy chcą zrobić swój pierwszy
krok w kierunku poznania technologii Big Data - technologii, gdzie wolumen przetwarzanych
danych ma najwyższy priorytet i przekracza możliwości tradycyjnej architektury i systemów
takich jak relacyjne bazy danych czy nawet hurtownie danych.
Cel szkolenia
Uczestnicy szkolenia zdobędą podstawową wiedzę dotyczącą problemów skali Big Data,
zrozumieją algorytm MapReduce, poznają BigTable, bazy NoSQL na przykładzie HBase oraz
rozproszone systemy plikowe HDFS, poznają narzędzia analityczne Pig i Hive. Uczestnicy
będą wiedzieli jakie są zalety i wady danych technologii, będą wiedzieli kiedy użyć danej
technologii.
Mocne strony szkolenia
Program oferuje szybki przegląd podstawowych technologii z ekosystemu Apache Hadoop.
Oprócz prezentacji dla uczestników jest przygotowany warsztat, gdzie w praktyce będą mieli
okazje samodzielnie eksplorować zbiory danych.
Wymagania
Od uczestników szkolenia wymagana jest podstawowa wiedza z SQL, bash’a, Python (lub
innego języka skryptowego), Java.
Parametry szkolenia
8 godzin (7 godzin netto) wykładów i warsztatów (z wyraźną przewagą warsztatów).
Wielkość grupy: maks. 8-10 osób
Program szkolenia:
1. Wprowadzenie do Big Data
2.
3.
4.
5.
6.
Powered by TCPDF (www.tcpdf.org)
a. Definicja
b. BI, Big Data a Hurtownie danych
c. Geneza i historia, BigTable, MapReduce, GFS
d. Klasyfikacja problemu
e. Pojęcia real time, batch w kontekście procesowania danych
f. Przechowywanie danych - pliki, bazy danych NoSQL
g. Przegląd systemów i platform Big Data
h. Przegląd ekosystemu Hadoop
i. Dystrybucje Big Data
Wprowadzenie do MapReduce na przykładzie platformy Hadoop
a. Architektura
b. HDFS and YARN
c. Map Reduce Framework
d. Map Reduce Streaming
e. Warsztat
`. HDFS
`. Map Reduce
Wprowadzenie do przetwarzania danych na przykładzie Pig
a. Architektura
b. Tryby pracy
c. Typy danych, słowa kluczowe
d. Składnia
e. Warsztat Pig
Wprowadzenie do analizy danych na przykładzie Hive
a. Architektura
b. Tryby pracy
c. Typy danych
d. Składnia
e. Formaty danych
f. Porównanie z Pig
g. Warsztat Hive
Wprowadzenie do NoSQL na podstawie HBase
a. Czym jest NoSQL, NoSQL vs bazy relacyjne
b. Przegląd baz nierelacyjnych, CAP theorem
c. Projektowanie baz nierelacyjnych
d. Architektura HBase
e. Model danych
f. Wykorzystanie
g. CLI
h. Zapis, odczyt danych
i. Warsztat HBase
Monitorowanie i zarządzanie klastrem na przykładzie Ambari
a. CLI
b. Przegląd Apache Ambari