Czytaj - Instytut Technik Innowacyjnych EMAG

dr inż. TOMASZ DANEK
dr inż. ANNA PIĘTA
Akademia Górniczo-Hutnicza, Kraków
dr hab. inż. ANDRZEJ LEŚNIAK
Akademia Górniczo-Hutnicza, Kraków
Instytut Technik Innowacyjnych EMAG, Katowice
Efektywne zastosowanie modelowań numerycznych
w sejsmologii górniczej
W artykule przedstawiono metodę modelowania pełnych, sejsmicznych obrazów
falowych, głównie pod kątem ich wykorzystania w sejsmice górniczej i sejsmologii.
Postęp w tych dziedzinach miał miejsce dzięki dynamicznemu rozwojowi metod informatycznych i numerycznych. Zasadnicze znaczenie ma tu możliwość prowadzenia modelowań numerycznych w rozproszonych, heterogenicznych środowiskach
obliczeniowych oraz w innych architekturach równoległych. W artykule przedstawiono efektywny algorytm numeryczny do modelowań pola falowego oraz dwie
podstawowe metody jego implementacji w równoległych środowiskach komputerowych (metody dekompozycji trywialnej i domenowej). Zaprezentowano również
przykład modelowań numerycznych dla rejonu LGOM oraz dyskusję efektywności
obliczeń tego typu w zmieniających się co do wielkości heterogenicznych klastrach
komputerów.
1. MODELOWANIA NUMERYCZNE
W SEJSMICE GÓRNICZEJ
Monitoring sejsmiczny prowadzony w większości
zakładów wydobywczych zarówno podziemnych
i odkrywkowych należy obecnie do rutynowych działań służb kopalnianych. Stosując sieć czujników
powierzchniowych i podziemnych rejestrowane są
drgania górotworu indukowane głównie prowadzoną
działalnością górniczą. Zadaniem tak prowadzonej
rejestracji jest próba odpowiedzi na szereg istotnych
pytań, z których najważniejsze to:
 Jak kształtuje się zagrożenie tąpaniami, zawałami
i wyrzutami metanu w rejonach wydobywczych?
 Jak prowadzić profilaktykę antytąpaniową w zagrożonych rejonach kopalń (głównie kiedy i gdzie
prowadzić strzelania odprężające)?
 Jakie jest zagrożenie na powierzchni obszarów
górniczych, a szczególnie zagrożenie budynków
i infrastruktury?
Właściwie prowadzona rejestracja sejsmiczności kopalnianej stanowi jedynie część wyzwań stojących
przed służbami kopalnianymi. Prawidłowo przeprowadzona interpretacja zarejestrowanych zjawisk sejsmicznych stanowi równie duże, jeśli nie większe, wyzwanie
w porównaniu do rejestracji drgań. Informacje o procesach dynamicznych jakie mogą być uzyskane z zarejestrowanych wstrząsów są wyjątkowo bogate i różnorodne. Dotyczą one głównie stanu naprężeń w górotworze i procesów prowadzących do jego rozładowywania
poprzez proces emisji sejsmicznej. Procedura pasywnej
tomografii jest dobrze opanowana i pozwala na odtworzenie rozkładu naprężeń w rejonach szczególnie narażonych na wstrząsy poeksploatacyjne. Jej prawidłowa
implementacja wymaga jednakże sporej ilości założeń,
jak choćby o mechanizmie wstrząsu oraz budowie
ośrodka, w którym propaguje fala sejsmiczna. Sposób
w jaki fale sejsmiczne propagują w ośrodku ma kluczowe znaczenie zarówno dla poprawnej lokalizacji
źródeł wstrząsów, jak i dla określania przestrzennych
parametrów geomechanicznych ośrodka. Określenie
sposobu propagacji fal sejsmicznych odbywa się na
drodze numerycznego modelowania propagacji fali.
Jego rezultatem są syntetyczne rejestracje drgań w dowolnie wybranych punktach ośrodka.
Nr 11(477) LISTOPAD 2010
Modelowania sejsmicznego pola falowego znajdują
zastosowanie praktycznie na każdym etapie badań
sejsmicznych jakie są prowadzone w kopalniach. Są
one przydatne na etapie projektowania polowych
pomiarów sejsmicznych – uzyskane w wyniku modelowań rezultaty pozwalają między innymi na optymalne rozmieszczenie czujników drgań. Jak również
wspomniano, modelowania są również niezbędne
w procesie odtworzenia budowy ośrodka geologicznego, w którym odbywa się propagacja, a także jego
wybranych parametrów geomechanicznych. Dla
zmieniających się modeli ośrodka proces modelowania jest wielokrotnie powtarzany w celu otrzymania
jak najlepszego dopasowania wymodelowanych rejestracji drgań do rejestracji polowych. Model ośrodka,
dla którego otrzymane rejestracje są najbardziej zbliżone do zarejestrowanych, jest uznawany za model
najlepiej aproksymujący ośrodek rzeczywisty.
Rzeczywista budowa ośrodka geologicznego z reguły nie jest znana, a jego szczegółowe odtworzenie
na podstawie pomiarów geofizycznych jest praktycznie niemożliwe. Składają się na to głównie przyczyny
natury fizycznej, związane z rozdzielczością metod
pomiarowych oraz matematyczne ograniczenia procedur inwersji. Z reguły dąży się do odzyskania parametrów ośrodków o uproszczonej geometrii – typowymi przykładami mogą tu być ośrodki płaskorównoległe. W wypadku ograniczenia się do tej klasy
ośrodków modelowania mogą być prowadzone dla
stosunkowo prostych modeli jednowymiarowych –
1D. Nawet jeśli modelujemy pełne pole falowe obliczenia dla tego typu ośrodków nie są złożone numerycznie nawet dla stosunkowo dużych rozmiarów
modeli.
Dążenie do odtworzenia rzeczywistej budowy
ośrodka geologicznego zmusza do stosowania modelowań dla co najmniej dwuwymiarowych (2D) modeli ośrodka. Są to ośrodki, w których parametry geomechaniczne zmieniają się wzdłuż jednej z osi poziomych i wraz z głębokością. Granice poszczególnych warstw budujących tego typu ośrodki nie są, jak
w poprzednim wypadku, równoległe. Modelowania
numeryczne pełnego pola falowego dla ośrodków 2D
są znacznie bardziej czasochłonne niż dla ośrodków
1D. Mimo dużych kosztów obliczeniowych modelowania 2D są bardzo popularne z uwagi na znacznie
większe możliwości rekonstrukcji ośrodków geologicznych.
Wraz z rozwojem sejsmicznych metod pomiarowych oraz z powszechnym użyciem sieci sejsmologicznych złożonych z kilkudziesięciu czujników
pojawiła się konieczność prowadzenie analiz i modelowań dla ośrodków trójwymiarowych – 3D. Również dopuszczenie możliwości istnienia anizotropii
19
prędkości propagacji fal sejsmicznych wymusza
zwiększenie ilości wymiarów modelowanego ośrodka, tak by umożliwić przestrzenną analizę rozchodzących się fal sejsmicznych. Przejście od modelowań
2D do 3D powoduje, iż ilość operacji zmiennoprzecinkowych rośnie w sposób znaczący na tyle, by
praktycznie uniemożliwić realizację tego typu obliczeń na pojedynczym komputerze o architekturze
szeregowej. Jedynym wyjściem jest prowadzenie
obliczeń na komputerach wielordzeniowych lub na
komputerach połączonych siecią w tzw. klastry.
W artykule przedstawiono podstawowy algorytm
numeryczny stosowany w modelowaniach pełnego pola
falowego w złożonych ośrodkach geologicznych oraz
dwie różne jego implementacje na klastrach komputerowych. Zestawiono szacunkową złożoność obliczeniową poszczególnych implementacji dla modeli dwuwymiarowych. Przedyskutowano podstawowe rozwiązania hardwarowe i softwarowe pozwalające na zwiększenie efektywności obliczeń tego typu.
2. TEORIA
Dla dwumiarowego ośrodka izotropowego propagacja fal sejsmicznych definiowana jest poprzez
równanie ruchu dane w postaci układu równań hiperbolicznych pierwszego rzędu (Virieux 1986):
v x 1   xx  xz 
 


t
  x
z 
 xx
v
v
   2  x   z
t
x
z
 xz
v 
 v
  x  z 
t
x 
 z

v z 1   xz  zz 
 


t
  x
z 
v
 zz
v
   2  z   x
t
z
x

gdzie:
(vx, vz) są składowymi wektora prędkości,
(τxx, τzz, τxz) są składowymi tensora naprężeń,
ρ(x, z) jest gęstością,
μ(x, z) i λ(x, z) są stałymi Lamego.
Dokładne numerycznie i stosunkowo wydajne rozwiązanie powyższego układu równań można uzyskać
poprzez zastosowanie metody różnic skończonych
w wersji siatek przesuniętych (ang. staggered grid)
w przestrzeni i czasie. W metodzie siatek przesuniętych (Rys. 1) zdefiniowane są osobne siatki obliczeniowe dla składowych wektora prędkości (vx, vz) oraz
dla składowych tensora naprężeń (τxx, τzz, τxz). Obie
siatki obliczeniowe są dodatkowo przesunięte względem siebie w dziedzinie czasu.
MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA
20
t
t
vx
vz
txx , tzz
t xz
Rys. 1. Schemat siatki o węzłach wzajemnie przesuniętych w czasie i przestrzeni
Rys. 2. Schemat dekompozycji trywialnej (a) i dekompozycji domenowej (b) algorytmu modelowania
pola falowego metodą siatek wzajemnie przesuniętych realizowanej dla trzech procesorów obliczeniowych
i trzech różnych położeń źródła fali sejsmicznej
Zastosowanie tego rodzaju siatki obliczeniowej pozwala nie tylko na określenie wartości składowych
wektora prędkości i tensora naprężeń w każdym
punkcie modelu, ale również zmniejsza wartości
błędów związanych ze zjawiskiem dyspersji obserwowanym na siatce obliczeniowej. Dodatkowym
atutem metody jest brak wpływu wartości współczynnika Poissona na wyniki modelowania (Levander A, 1988). Podstawową niedogodnością metody
siatek przesuniętych jest znaczne wydłużenie czasu
obliczeń w stosunku do metod wykorzystujących
tradycyjne, nieprzesunięte siatki obliczeniowe.
3. TECHNOLOGIE OBLICZENIOWE
Powszechnie stosowanym sposobem przyspieszenia czasochłonnych i skomplikowanych modelowań
numerycznych jest wykorzystanie obliczeniowego
środowiska równoległego. Efektywność wykorzy-
stania środowiska wieloprocesorowego i stopień
przyspieszenia obliczeń zależą głównie od zastosowanego sposobu podziału problemu obliczeniowego
oraz od architektury maszyny równoległej, na której
obliczenia mają być przeprowadzone. W stosunku
do modelowań numerycznych wykorzystywanych
do oceny drgań górotworu istnieją dwa główne sposoby dekompozycji obliczeń: dekompozycja trywialna (Rys. 2a) oraz dekompozycja domenowa
(Rys. 2b). Testy wydajnościowe równoległych implementacji obu sposobów dekompozycji dla akustycznego oraz elastycznego równania falowego
w przypadku klasycznej metody różnić skończonych
były już tematem kilku publikacji (np. Danek, Franczyk, 2004). Użycie metody siatek przesuniętych
pociąga jednak za sobą istotne zmiany w komunikacji pomiędzy procesami, a tym samym wymaga
nowych badań. Schematy zrównoleglenia modelowań numerycznych realizowanych w siatce o węzłach wzajemnie przesuniętych w czasie i przestrzeni przedstawiono na rysunku (Rys. 3).
Nr 11(477) LISTOPAD 2010
21
a)
b)
program
proces1
proces2
proces3
program
proces4
proces1
proces2 proces3
proces4
program komunikacyjny
program komunikacyjny
program komunikacyjny
konsola
konsola
wynik
wynik
proces4
proces3
proces2
proces1
proces4
proces3
proces2
proces1
program komunikacyjny
Rys. 3. Schemat podziału i komunikacji przy dekompozycji trywialnej (a)
i dekompozycji domenowej (b). (Pięta, 2007 )
W dekompozycji domenowej cały obszar modelowań zostaje podzielony pomiędzy poszczególne procesory obliczeniowe. W dekompozycji trywialnej
(zwanej także obrazowo 1 punkt strzałowy – 1 procesor 1PS-CPU) każdy z procesorów modeluje zjawisko rozchodzenia się fali sejsmicznej w całym obszarze badań dla równych współrzędnych punktu strzałowego. Oba sposoby dekompozycji różnią się schematem komunikacji (w dekompozycji trywialnej nie
występuje komunikacja pomiędzy poszczególnymi
procesorami, podczas gdy w dekompozycji domenowej komunikacja pomiędzy poszczególnymi procesorami obliczeniowymi musi odbywać się po każdym
kroku obliczeniowym) oraz rozmiarami poddomen
obliczeniowych, który dla dekompozycji trywialnej
jest stały, zaś dla dekompozycji domenowej zależy
od ilości procesorów budujących równoległe środowisko obliczeniowe. Dodatkowo w przypadku dekompozycji trywialnej jeden z procesów (master)
zajmuję się wyłącznie rozsyłaniem danych dla poszczególnych zadań oraz zapisywaniem wyników
i nie bierze czynnego udziału w obliczeniach.
Modelowania zostały zrealizowane z wykorzystaniem klastra obliczeniowego IBM Blade zbudowane-
go z 11 maszyn typu HS21 z dwoma czterordzeniowymi procesorami Intel Xenon (2.0 GHz) i 16 GB
pamięci RAM oraz 3 maszyn typu HC10 z procesorami Intel Core2 (2.6 GHz) i 8 GB pamięci. Klaster
wykorzystuje system kolejkowy Torque oraz moduł
szeregujący Maui. W przypadku prezentowanych
wyników testów wykorzystywano zawsze tylko rdzenie z jednej fizycznej maszyny. Miało to na celu
uniknięcie wpływu opóźnienia związanego z obciążeniem przełącznika sieciowego wykorzystywanego
w trybie ciągłym klastra.
4. IMPLEMENTACJA
Modelowania propagacji fali sejsmicznej przeprowadzono dla Legnicko-Głogowskiego Obszaru Miedzionośnego w oparciu o geologiczny model monoklinalny
charakterystyczny dla tego obszaru (za Oberc Serkiec,
1970). Analizę wyników zarówno pod kątem geofizycznym jak i informatycznym przeprowadzono dla
siedmiu wybranych lokalizacji ognisk wstrząsów. Parametry obliczeń przedstawiono w Tabeli 1:
MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA
22
Rys. 4. Zależność prędkości drgań cząstek gruntu dla różnych lokalizacji źródła wstrząsu (a)
oraz rozkład maksymalnych prędkości drgań cząstek gruntu zarejestrowanych na powierzchni terenu
dla położenia źródła fali nr 4 (b). (Pięta i in. 2009).
Tabela 1
Zestawienie parametrów obliczeń numerycznych
Parametr
Szerokość
Głębokość
Krok przestrzenny
Krok czasowy rejestracji
Długość rejestracji
Częstotliwość źródła
Wartość
5750 [m]
1500 [m]
1 [m]
2 [ms]
1 [s]
20 [Hz]
Prędkości w poszczególnych warstwach geologicznych przedstawia Tabela 2:
Tabela 2
Prędkości propagacji fal sejsmicznych
użyte do modelowań numerycznych
.
Warstwa
Czwartorzęd
Trzeciorzęd
Pstry piaskowiec
Czerwone iły
Gipsy i anhydryty
Wapienie i dolomity
Podłoże
Prędkość [m/2]
1100
1500
2000
2600
2700
3300
4500
Na rysunku 4a przedstawiono zależność prędkości
drgań cząstek gruntu dla różnych lokalizacji źródła
wstrząsu oraz rozkład maksymalnych prędkości
drgań cząstek gruntu zarejestrowanych na powierzchni terenu (Rys. 4b).
5. WYNIKI I DYSKUSJA
Wydajność obydwu sposobów dekompozycji modelowań numerycznych testowano, zakładając stały
rozmiar zadania obliczeniowego przy zmieniającej
się mocy obliczeniowej maszyny równoległej
(zmiennej liczbie procesorów biorących udział
w obliczeniach). Na rysunkach 5 i 6 zaprezentowano
powszechnie stosowane metryki wydajności obliczeń
równoległych, takie jak: czas, przyspieszenie oraz
efektywność obliczeń.
Na obu rysunkach przedstawiono zależność czasu
obliczeń obu sposobów dekompozycji (dla 7 punktów strzałowych) w zależności od liczby procesorów
realizujących modelowania numeryczne.
Dla dekompozycji 1PS-1CPU obliczenia dla dwóch
procesów są w rzeczywistości przypadkiem szeregowym, gdyż modelowania dla wszystkich źródeł wykonywane są na jednym procesorze, podczas gdy
drugi zajmuje się jedynie przysyłaniem parametrów
modelowań oraz zapisywaniem wyników. Oznacza
to, że uzyskane przyspieszenie dla tego przypadku
wynosi 1.
W przypadku dekompozycji domenowej dodanie
drugiego procesora powoduje wzrost czasu obliczeń. Związane jest to z pojawieniem się komunikacji pomiędzy procesorami oraz konieczności
synchronizacji procesów po każdym kroku czasowym. Dalej wraz ze wzrostem mocy obliczeniowej
środowiska równoległego obserwuje się ciągły,
monotoniczny spadek czasu obliczeń dla dekompozycji domenowej. Krzywa spadku czasu obliczeń dla dekompozycji 1PS – 1CPU maleje w sposób schodkowy. Związane jest to z wykonywaniem
zadań obliczeniowych w określonej ilości „rzutów”. I tak dla jednego procesora roboczego takich
rzutów będzie 7, dla dwóch – 4 (3 rzuty po 2 źródła + 1), dla trzech – 3 itd.
Miarą korzyści wynikających ze zrównoleglenia
aplikacji jest przyspieszenie liczone jako stosunek
czasu przebiegu programu na jednym komputerze do
czasu przebiegu programu na P komputerach.
Nr 11(477) LISTOPAD 2010
23
Wykres krzywych przyspieszenia obu typów
dekompozycji przedstawiono na rysunku 5. Przy
dekompozycji domenowej, krzywa przyspieszenia charakteryzuje się monotonicznym wzrostem, krzywa przyspieszenia aplikacji w podziale jeden punkt strzałowy – jeden procesor, wzrasta skokowo.
T (1)
T ( P)
gdzie:
T(1) – czas przebiegu programu na jednym komputerze,
T(P) – czas przebiegu programu na P komputerach.
70000
8
7
60000
domenowa
1PS-1CPU
przyspieszenie - domenowa
przyspieszenie - 1PS-1CPU
czas [s]
50000
6
5
40000
4
30000
3
przyspieszenie
S ( P) 
20000
2
10000
1
0
0
2
3
4
5
6
7
8
ilość procesorów
Rys. 5. Czas obliczeń i przyspieszenie pomierzone dla dekompozycji domenowej i dekompozycji 1PS-1CPU
w zależności od ilości procesorów budujących równoległe środowisko obliczeniowe
70000
1
domenowa
1PS-1CPU
efektywność - domenowa
efektywność - 1PS-1CPU
60000
0.9
0.8
50000
czas [s]
0.6
40000
0.5
30000
0.4
efektywność
0.7
0.3
20000
0.2
10000
0.1
0
0
2
3
4
5
6
7
8
ilość procesorów
Rys. 6. Czas obliczeń i efektywność pomierzone dla dekompozycji domenowej i dekompozycji 1PS-1CPU
w zależności od ilości procesorów budujących równoległe środowisko obliczeniowe
Wykres zmian efektywności (Rys.6) wykorzystania
procesorów w obliczeniach algorytmu jest stosunkiem prędkości do ilości procesorów, na których
przeprowadzone były obliczenia.
e( P ) 
T (1)
P  T ( P)
gdzie:
T(1) – czas przebiegu programu na jednym komputerze,
T(P) – czas przebiegu programu na P komputerach.
24
MECHANIZACJA I AUTOMATYZACJA GÓRNICTWA
W przypadku dekompozycji domenowej efektywność dla 2 do 8 procesorów jest generalnie
stabilna i kształtuje się na poziomie 40-50%. Są to
typowe wyniki dla programów równoległych wykorzystujących dekompozycję domenową przy
równoczesnej konieczności ciągłej wymiany danych oraz synchronizacji. W przypadku użycia
więcej niż 6 procesorów wyraźnie widoczny jest
spadek efektywności związany z rosnącą ilością
niezbędnych komunikacji. Oznacza to, że wariant
domenowy osiąga maksymalną efektywność około
50 % dla 4 do 6 procesorów. W przypadku dekompozycji 1PS-1CPU wyniki wglądają inaczej. Wariant ten jest silnie zależny od właściwego doboru
ilości procesorów do ilości zadań. W przypadku
najlepszym (gdy ilość procesorów odpowiada ilości źródeł) efektywność sięga 90%. Jest to wynik
rzadko spotykany w przypadku tego rodzaju obliczeń. Jednak dla źle dobranej ilości zasobów (7
procesorów) wynik spada do 50%. Związane jest to
z faktem, że w drugiej fazie obliczeń z siedmiu
procesorów zadanie wykonuje zaledwie jeden
(pierwszy rzut: 6 źródeł drugi: 1). Jednak nawet
w tym przypadku oszczędność związana z minimalizacją komunikacji jest tak duża, że wyniki porównywalne są z najlepszymi rezultatami dekompozycji domenowej. Oczywiście nie oznacza to, że
wariant domenowy nie powinien być rozwijany.
Największą słabością dekompozycji 1PS-1CPU
jest konieczność zmieszczenia całego modelu do
pamięci jednego komputera. W przypadku dużych
modeli, a w szczególności anizotropowych modeli
3D jest to absolutnie niemożliwe.
Warto jeszcze raz podkreślić, że nowoczesne
rozwiązania hardewareowe z upływem czasu stają
się bardzo atrakcyjne z uwagi na szybko malejące
koszty zakupu odpowiedniego sprzętu i jedynym
problemem, jaki należy rozwiązać jest odpowiednie oprogramowanie, pozwalające realizować
omawiane powyżej zadania.
Obliczenia równoległe realizowane zarówno na
pojedynczym, wieloprocesorowym (wielordzeniowym) komputerze jak i na klastrze komputerów
jeszcze niedawno były w sferze zainteresowania
specjalistów z wybranych dziedzin, głównie o profilu akademickim lub naukowym. W chwili obecnej lawinowy wzrost zapotrzebowania na prowadzenie obliczeń w czasie rzeczywistym w wielu
gałęziach gospodarki i przemysłu, w tym przemysłu surowcowego i wydobywczego, wymusza szersze zainteresowanie technologią obliczeń równoległych prowadzonych w środowiskach heterogenicznych i wdrażaniem tych rozwiązań do codziennej praktyki przemysłowej.
6. PODSUMOWANIE
6.
Analizy przedstawione w artykule prowadzą
w sposób oczywisty do co najmniej dwóch wniosków
istotnych z punktu widzenia zastosowań praktycznych.
1) Rozwój masowych obliczeń sejsmologii górniczej i inżynierskiej nie jest możliwy, gdy obliczenia te będą prowadzone na komputerach
pracujących w sposób sekwencyjny – jedynym
wyjściem jest użycie na szerszą skalę obliczeń
równoległych.
2) Biorąc pod uwagę koszty prowadzenia obliczeń
jedyną realną realizacją praktyczną tego typu
modelowań jest wykorzystanie obliczeń rozproszonych w heterogenicznej sieci wieloprocesorowych komputerów połączonych siecią o wysokiej przepustowości.
Literatura
1.
2.
3.
4.
5.
Oberc J., Serkies J. 1970: Geneza i rozwój Lubiąskiego Złoża
Miedzi, prace Wrocławskiego Towarzystwa Naukowego, Seria B
nr 160 – Wrocław.
Virieux J. 1986: P-SV wave propagation in heterogeneous media:
Velocity-stress finite-difference method. Geophysics, 51-4, 889901.
Levander A., 1988: Fourth-odrer finie-difference P-SV seismograms, Geophysics, 53-11, 1425-1436.
Pięta, A. 2007: Zastosowanie obliczeń w środowisku rozproszonym w wybranych zagadnieniach Nauk o Ziemi, AGH, Kraków
(praca doktorska).
Pieta A., Danek T., Leśniak A., 2009, Numerical modeling of
ground vibration caused by underground tremors in the LGOM
mining area, Gospodarka Surowcami Mineralnymi 25 (3): 261271.
Danek T., Franczyk A. 2004: Parallel and distributed seismic
wave field modeling, Task Quarterly 8, No 4, 573-581.
Recenzent: dr hab. inż. Bogdan Cianciara