Splunk w akcji

Splunk w akcji
Radosław Żak-Brodalko
Solutions Architect
Linux Polska Sp. z o.o.
1
Splunk – agent wiedzy o infrastrukturze
czyli SIEM i coś więcej
●
●
●
●
2
Splunk gromadzi oraz integruje informacje dotyczące
funkcjonowania infrastruktury i systemów IT
Pozwala na łatwą analizę danych bez ich
uprzedniego przetwarzania lub przygotowania
Potrafi analizować dane zapisane w dowolnym
formacie (nawet binarnym!)
Splunk pozwala z łatwością kojarzyć informacje oraz
pozwala na intuicyjne “drążenie” zbieranych danych
Architektura Splunk – model agentowy
●
●
Agent w postaci tzw. forwardera
–
zbiera dane na poszczególnych systemach
–
małe wymagania infrastrukturalne
–
przenośność (wieloplatformowość)
Serwer (indekser) mogący pełnić szereg funkcji
–
–
3
gromadzi i przetwarza dane z agentów
●
podział danych na zdarzenia
●
funkcje systemu bazy danych (własna baza)
●
funkcje retencji i kontroli dostępu
realizuje funkcje interfejsu użytkownika
Architektura Splunk – modułowość
●
●
Moduły techniczne (tzw. dodatki technologiczne)
–
zestawy gotowych konfiguracji
–
powtarzalność konfiguracji
Aplikacje analityczne
–
4
zestawy gotowych narzędzi analitycznych
●
raporty
●
kokpity
●
analizy
–
możliwość samodzielnego tworzenia aplikacji
–
zarządzanie wiedzą analityczną
Architektura Splunk – modułowość
●
●
Moduły techniczne (tzw. dodatki technologiczne)
–
zestawy gotowych konfiguracji
–
powtarzalność konfiguracji
Aplikacje analityczne
–
5
zestawy gotowych narzędzi analitycznych
●
raporty
●
kokpity
●
analizy
–
możliwość samodzielnego tworzenia aplikacji
–
zarządzanie wiedzą analityczną
Splunk UF
system #1
(Linux)
indeks #3
indeks #2
indeks #1
Indexer #1
aplikacja #1
Splunk UF
system #2
(Windows Server)
Search Head
indeks #4
aplikacja #2
Indexer #2
Splunk UF
system #3
(AIX)
6
SNMP Trap
●SYSLOG
●
router
(CISCO Catalyst)
Możliwości analizy informacji w Splunk
●
Różne zdarzenia są organizowane w jednolity sposób
●
Automatyczna klasyfikacja zdarzeń w indeksie
●
●
7
–
źródło – plik, port TCP, skrypt
–
typ źródła – specyficznie dla konfiguracji
–
host – system, na którym zarejestrowano zdarzenie
Automatyczna ekstrakcja danych (schematy ekstrakcji)
–
klucz-wartość ... a=1
–
XML ... <a>1</a>
–
JSON ... a: 1
Samodzielna ekstrakcja danych
Możliwości analizy informacji w Splunk
8
●
Dedykowany intuicyjny język zapytań
●
Strumieniowe przetwarzanie danych zdarzeń
●
Zaawansowane funkcje analityczne
–
wyszukiwanie anomalii
–
transakcyjność
–
mechanizmy relacyjne
–
asocjacja
–
agregacja
Możliwości analizy informacji w Splunk
●
error
host=webapp*
>> 400
Dedykowany
intuicyjny
językerror
zapytań
error OR
OR failure
failure
host=webapp*
error
400
●
error
|| chart
count
Strumieniowe
przetwarzanie danych
zdarzeń
error || eval
eval srv=service.”@”.host
srv=service.”@”.host
chart
count by
by srv
srv
●
Zaawansowane funkcje analityczne
– wyszukiwanie
anomalii
host=web*
|| anomalies
|| search
host=web*
anomalies
search unexpectedness
unexpectedness >> 0.05
0.05
– transakcyjność
host=web*
|| transaction
host=web*
transaction jsessionid
jsessionid
– mechanizmy
relacyjne
sourcetype=web
|| join
cid
sourcetype=web
join
cid [[ search
search source=*/aud.log
source=*/aud.log ]]
– asocjacja |
sourcetype=auth
sourcetype=auth
| associate
associate user_dept
user_dept user_role
user_role
– agregacja
host=web*
|| transaction
host=web*
transaction id
id || stats
stats avg(duration)
avg(duration) by
by host
host
9
Możliwości analizy informacji w Splunk
●
●
10
Analiza zdarzeń w trybie interaktywnym
–
graficzny interfejs użytkownika (technologia Web)
–
“drążenie” danych (drill-down)
–
różne metody wizualizacji danych
–
praca w czasie rzeczywistym
Interakcja “złożona”
–
budowanie kokpitów (dashboards)
–
parametryzacja interaktywnych raportów
analitycznych
–
organizacja informacji w aplikacje analityczne
Możliwości analizy informacji w Splunk
●
Bezpieczeństwo informacji
–
model kontroli dostępu h-RBAC
–
ukrywanie danych wrażliwych zdarzeń
–
integracja z AD, LDAP, … (moduły)
–
kontrola dostępu do danych
–
na poziomie indeksu
● na poziomie zdrzenia (filtrowanie wg cech)
kontrola dostępu do funkcji systemu
–
kontrola wykorzystania zasobów (limity)
–
kontrola dostępu do “obiektów wiedzy”
●
11
Splunk w operacjach IT
●
●
●
Funkcje wspierające działania operacyjne
–
alerty – powiadomienia o sytuacjach wyjątkowych
–
pre-alerty – powiadomienia zanim wystąpi sytuacja
wyjątkowa (funkcje analityczne – predykcja)
Wykonanie żądanych akcji w reakcji na sytuację
–
wykonanie zaplanowanej operacji
–
wysłanie powiadomienia
–
konsola alertów w Splunk
Spójność
–
12
alerty są definiowane dla zapytania Splunk
Rekomendacja D
●
●
●
●
●
13
9.6: Reguły rejestrowania zdarzeń przez narzędzia monitorujące
bezpieczeństwo powinny zostać sformalizowane. Zdarzenia te powinny
podlegać systematycznej analizie.
9.28: Bank powinien posiadać udokumentowane zasady zarządzania
wydajnością i pojemnością komponentów infrastruktury teleinformatycznej.
9.29: W celu zwiększenia efektywności procesu zarządzania wydajnością i
pojemnością, bank powinien przeanalizować zasadność zastosowania narzędzi
pozwalających na automatyzację monitorowania obciążenia zasobów.
11.10: Systemy informatyczne przetwarzające dane o wysokiej istotności dla
banku powinny posiadać mechanizmy pozwalające na automatyczną
rejestrację zachodzących w nich zdarzeń w taki sposób, aby zapisy tych
rejestrów mogły stanowić wiarygodne dowody niewłaściwego korzystania z tych
systemów.
20: Bank powinien posiadać sformalizowane zasady zarządzania incydentami
naruszenia bezpieczeństwa środowiska teleinformatycznego, obejmujące ich
identyfikację, rejestrowanie, analizę, priorytetyzację, wyszukiwanie
powiązań podejmowanie działań naprawczych oraz usuwanie przyczyn.
Dziękujemy za uwagę
Radosław Żak-Brodalko
Solutions Architect
Linux Polska Sp. z o.o.
14