Akwizycja i przetwarzanie danych

Akwizycja i przetwarzanie danych
M. Bubak, B. Baliś, D. Harężlak, M. Kasztelnik, P. Nowakowski, T. Bartyński, T. Gubala, M. Malawski, M. Pawlik, B. Wilk
AGH University of Science and Technology
Department of Computer Science
Krakow, Poland http://www.ismop.edu.pl
Tryby działania systemu
monitorowania obwałowań
Tryb czuwania
• Akwizycja danych
z sensorów
• Wstępna ich
analiza (badanie
odchyleń od wartości
średnich)
• Akwizycja danych
zewnętrznych: pogoda, prognoza
fali powodziowej
Tryb oceny
zagrożenia
• Zwiększona
częstotliwość
próbkowania
pomiarów
• Intensywna
obliczeniowo
analiza: ocena
stanu zagrożenia
danego odcinka
wału
• Przedstawienie
prawdopodobnej
prognozy
zachowania wału
Tryb alarmowy
• Uruchamiany
decyzją człowieka
w przypadku złej
prognozy
• Powiadomienia
stosownych władz
i służb
Ocena poziomu zagrożenia dla
wału powodziowego
System podejmowania
decyzji
Dane z sensorów
Dane symulacyjne
z ok 1000 modeli
zachowania wału
(10‐100 GB / 1km wału)
Algorytm
przeszukiwania
Infrastruktura obliczeniowa
Ranking pasujących
modeli
Obecny stan
wału i jego
prognoza
Centralny system informatyczny
ISMOP
• Działanie systemów monitorowania obwałowań
• Przetwarzanie i zarządzanie danymi
• Zarządzanie przydziałem zasobów infrastruktury
obliczeniowej
• Wizualizacja i wsparcie podejmowania decyzji
Centralny system informatyczny
Przetwarzanie danych: wyzwania (1)
• Różnorodne zbiory danych
– Dane geoprzestrzenne (geometria wałów)
– Serie czasowe (dane z monitorowania wałów oraz
infrastruktur: telemetrycznej i obliczeniowej)
– Metadane (potrzebne do interpretacji danych)
• Różnorodne sposoby ich wykorzystania
– Przetwarzanie w czasie rzeczywistym
• Ocena stanu zagrożenia wału
• Ocena stanu infrastruktury telemetrycznej i obliczeniowej
– Przetwarzanie wsadowe
• Analiza wykorzystania infrastruktury obliczeniowej
Przetwarzanie danych: wyzwania (2)
• Intensywne przetwarzanie danych
– Scenariusz oceny stanu zagrożenia wału: przeszukiwanie 10‐100 GB danych na 1 km wału
• Konieczność skalowania do setek km wałów
– Analiza stanu zagrożenia wałów podczas
przechodzenia fali powodziowej
• Zmienne w czasie wykorzystanie zasobów
obliczeniowych
– Od bardzo małego w trybie czuwania po bardzo duże
w trybie alarmowym
Podsumowanie
• Centralny system informatyczny platformy ISMOP zapewnia działanie systemu monitorowania
obwałowań i podejmowania decyzji
• Róznorodne dane i sposoby ich przetwarzania
– W czasie rzeczywistym
– W trybie wsadowym
• Wykorzystanie technik przetwarzanie big data do analizy stanu zagrożenia obwałowania
• Wykorzystanie chmury obliczeniowej: optymalizacja
przydziału zasobów w okresie zagrożenia
http://www.ismop.edu.pl
http://dice.cyfronet.pl