geomatyki - Polskie Towarzystwo Informacji Przestrzennej

POLSKIE
TOWARZYSTWO
INFORMACJI
PRZESTRZENNEJ
ROCZNIKI
2010
GEOMATYKI
Metodyka i technologia
budowy geoserwera tematycznego
jako komponentu INSPIRE
Tom VIII
Zeszyt 3(39)
Warszawa
PROPOZYCJA ZASAD
WALORYZACJI
KOMPLEKSÓW LEŒNYCH
POD WZGLÊDEM
MO¯LIWOŒCI BUDOWY DRÓG
POLSKIE
TOWARZYSTWO
INFORMACJI
PRZESTRZENNEJ
ROCZNIKI GEOMATYKI 2010 m TOM VIII m ZESZYT 5(41)
Niniejszy zeszyt specjalny jest opracowaniem monograficznym dr hab. Janusza Michalaka przedstawiaj¹cym wyniki badañ
wykonanych przez Autora w ramach tematu „Eksperymentalny
interoperacyjny system geoinformatyczny udostêpniania danych
dla potrzeb hydrogeologii i spe³niaj¹cy wymagania norm grupy
ISO 19100, norm polskich i specyfikacji Open Geospatial Consortium” sfinansowanego przez Ministerstwo Nauki i Szkolnictwa Wy¿szego. Zawarty w tym opracowaniu wszechstronny przegl¹d dostêpnych technologii budowy geoserwerów zainteresuje
z pewnoœci¹ specjalistów geomatyków. Zaproponowane koncepcje i konkretne rozwi¹zania stanowi¹ wk³ad Autora do dyskusji
na temat projektowania infrastruktury informacji przestrzennej
w Polsce.
Jerzy GaŸdzicki
5
6
HERONIM OLENDEREK
Dr hab. Janusz Michalak
Uniwersytet Warszawski
Wydzia³ Geologii
[email protected]
http://netgis.geo.uw.edu.pl
SPIS TREŒCI
POLSKIE TOWARZYSTWO
INFORMACJI PRZESTRZENNEJ
ROCZNIKI GEOMATYKI 2010 m TOM VIII m ZESZYT 5(41)
Spis treœci
1. Wstêp ......................................................................................................................... 11
2. Ogólna koncepcja architektury polskiej IIP ............................................................. 14
2.1. Cztery aspekty problematyki architektury polskiej czêœci infrastruktury
INSPIRE .......................................................................................................... 16
2.2. Podstawy prawne wymagañ architektonicznych ............................................ 19
2.3. Przyjête standardy i specyfikacje techniczne ................................................... 19
2.4. Problematyka harmonizacji standardów ........................................................... 21
2.5. Schemat architektoniczny IIP .......................................................................... 22
2.6. Technologiczne uwarunkowania polskiej czêœci infrastruktury INSPIRE ...... 23
2.7. Dwa pozornie oddzielne aspekty technologiczne – dane i us³ugi ..................... 24
2.8. Próba syntetycznego ujêcia relacji polskiej IIP do infrastruktury INSPIRE .... 25
3. Za³o¿enia technologiczne infrastruktury INSPIRE .................................................. 28
3.1. Relacje dokumentów INSPIRE do normy ISO i specyfikacji OGC ................ 28
4. Podstawowe wêz³y polskiej IIP .............................................................................. 30
4.1. Model pojêciowy wêz³a architektury ............................................................... 30
4.2. Podstawowe trzy kategorie wêz³ów ................................................................ 32
4.3. Interoperacyjnoœæ w zakresie us³ugi wyszukiwania ........................................ 34
4.4. Geoserwer jako podstawowy element wêz³a ................................................... 36
4.5. Komponenty geoserwera ................................................................................. 36
4.6. Komunikacja i interfejsy wewn¹trz geoserwera .............................................. 37
4.7. Interfejsy zewnêtrzne geoserwera ................................................................... 38
4.8. Role konwerterów transformuj¹cych dane przestrzenne ................................. 39
5. Oprogramowanie stosowane w infrastrukturach .................................................... 41
5.1. Kategorie i role systemów geoinformacyjnych ................................................ 41
5.2. Otwarte oprogramowanie ................................................................................ 43
5.3. Systemy operacyjne ......................................................................................... 45
5.4. Kluczowe systemy przetwarzania geoinformacji ............................................. 47
5.5. Ogólnoinformatyczne oprogramowanie geoserwera ....................................... 48
5.6. Oprogramowanie systemów klienckich ........................................................... 49
6. Kryteria doboru oprogramowania geoserwera ........................................................ 52
6.1. HeterogenicznoϾ i rozproszenie w infrastrukturach ....................................... 53
6.2. Przenoœnoœæ i skalowalnoœæ oprogramowania ................................................ 53
7. Specyfika geoserwera tematycznego ...................................................................... 54
7.1. Uwarunkowania wynikaj¹ce ze specyfikacji danych ....................................... 56
7.2. Dziedzinowe modele danych ............................................................................ 57
7.3. Harmonizacja zobrazowania danych dziedzinowych ....................................... 57
7.4. Szczegó³owoœæ i aktualnoœæ i danych dziedzinowych ..................................... 58
9
10
METODYKA I TECHNOLOGIA BUDOWY GEOSERWERA TEMATYCZNEGO JAKO KOMPONENTU INSPIRE
8. Eksperymentalny geoserwer OakHills ..................................................................... 59
8.1. Przyjête za³o¿enia wstêpne ............................................................................... 59
8.2. Platforma sprzêtowo-systemowa .................................................................... 60
8.3. Analiza potrzeb w zakresie oprogramowania serwerowego ............................ 61
8.4. Architektura geoserwera OakHills .................................................................... 62
8.5. Zewnêtrze interfejsy geoserwera ..................................................................... 64
8.6. Interfejs WWW us³ugi przegl¹dania ................................................................. 64
8.7. FunkcjonalnoϾ interfejsu WWW .................................................................... 64
8.8. Wielojêzycznoœæ interfejsów geoserwera ......................................................... 69
8.9. Obs³uga wielu uk³adów odniesienia .................................................................. 69
8.10. Problemy modyfikacji oprogramowania ........................................................ 70
9. Testowanie geoserwera ............................................................................................ 71
9.1. Zbiory danych testowych ................................................................................ 71
9.2. Transformacja danych testowych do jêzyka GML i w tym do modeli
INSPIRE .......................................................................................................... 72
9.3. Testowanie poprawnoœci funkcji geoserwera .................................................. 73
9.4. Testowanie wydajnoœci w ró¿nych konfiguracjach ......................................... 73
10. Podsumowanie ........................................................................................................ 75
Literatura ....................................................................................................................... 77
A. Cytowane publikacje z czasopism i ksi¹¿ki ...................................................... 77
B. Specyfikacje i standardy Open Geospatial Consortium ................................... 80
C. Normy i raporty Komitetu Technicznego ISO/TC211 ..................................... 81
D. Przepisy wykonawcze, specyfikacje i instrukcje techniczne INSPIRE .......... 84
E. Dokumentacje i materia³y Ÿród³owe komponentów zastosowanego
oprogramowania .............................................................................................. 87
Dodatek – Przyk³ad pliku konfiguracyjnego geoserwera OakHills ............................... 89
9. TESTOWANIE INFORMACJI
GEOSERWERA
POLSKIE TOWARZYSTWO
PRZESTRZENNEJ
71
ROCZNIKI GEOMATYKI 2010 m TOM VIII m Z ESZYT 5(41)
9. Testowanie geoserwera
Jednym z kluczowych etapów opisywanego tu prac by³o testowanie geoserwera OakHills
w ró¿nych warunkach i pod ró¿nymi kryteriami. Do testowania geoserwera wykorzystano,
obok danych hydrogeologicznych i geologicznych, ró¿norodne dane wchodz¹ce w zakres
tematyczny za³¹cznika I dyrektywy INSPIRE. Poniewa¿ dla tych danych s¹ ju¿ opracowane
specyfikacje INSPIRE, testowanie obejmowa³o tak¿e metodykê i technologiê transformacji
polskich zbiorów do struktur okreœlonych w tych specyfikacjach.
9.1. Zbiory danych testowych
W ramach prac testowych pozyskano dane dla obszaru poligonu testowego Dêbowe
Góry (OakHills) po³o¿onego na pó³nocy Mazowsza (rys. 25) opisanego we wstêpie rozdz.
8. Obszar ten obejmuje oko³o 273 km2, a w przypadku mniej szczegó³owych danych 4
arkusze mapy w skali 1:50 000, co odpowiada w przybli¿eniu powierzchni 1600 km2. W
przypadku braku odpowiednich danych testowych z tego poligonu, zosta³y pozyskane dane
z innych miejsc. Pozyskano nastêpuj¹ce zbiory danych:
Dane typu pokrycie (coverage) w formie rastrowej:
m ortofotomapa satelitarna Landsat 7 ETM+,
m dane modelu powierzchni terenu SRTM-3 DTED Level 1 opracowane przez NASA
i USGS (Michalak, 2004a),
m szczegó³owe dane wysokoœciowe pochodz¹ce z opracowañ fotogrametrycznych
i innych.
m dane CORINE Land Cover 2001 w wersji rastrowej.
Dane typu wyró¿nienia (feature) w formie wektorowej:
m dane cyfrowe dotycz¹ce obszarów chronionych w formacie SHP (0,1 MB) z Generalnej Dyrekcji Ochrony Œrodowiska,
m dane cyfrowe Mapy G³ównych Zbiorników Wód Podziemnych w skali 1:50 000 w
formacie SHP (0,5 MB) z Pañstwowego Instytutu Geologicznego,
m dane cyfrowe Mapy Jednolitych Czêœci Wód Podziemnych w skali 1:50 000 w formacie SHP (0,1 MB) z Pañstwowego Instytutu Geologicznego,
m dane cyfrowe MHP (Mapy Hydrogeologiczna Polski) w skali 1:50 000 w formacie
SHP (5 MB) z Pañstwowego Instytutu Geologicznego,
m dane cyfrowe MHP (Mapy Hydrogeologiczna Polski) w skali 1:50 000 w formacie
MDB (4 MB) z Pañstwowego Instytutu Geologicznego,
m dane cyfrowe MPHP (Mapy Podzia³u Hydrograficznego Polski) w skali 1:50 000 w
formacie SHP (9 MB) z Krajowego Zarz¹du Gospodarki Wodnej,
m granice dzia³ek gruntowych w formacie DXF (53 MB) z Powiatowego Zasobu Danych Geodezyjnych i Kartograficznych w Przasnyszu,
m LMN (leœna mapa numeryczna) w formacie SHP (85 MB) z Nadleœnictwa Przasnysz.
72
METODYKA I TECHNOLOGIA BUDOWY GEOSERWERA TEMATYCZNEGO JAKO KOMPONENTU INSPIRE
W przypadku braku odpowiednich danych z obszaru poligonu badawczego Dêbowe Góry,
pozyskano dane dla innych obszarów:
m dane cyfrowe Mapy Ostoi Przyrody w Polsce w skali 1:50 000 w formacie MDB (18
MB) z Generalnej Dyrekcji Ochrony Œrodowiska,
m dane cyfrowe Mapy Natura 2000 w Polsce w skali 1:50 000 w formacie SHP (4 MB)
z Generalnej Dyrekcji Ochrony Œrodowiska,
m dane cyfrowe MGœP (Mapy Geoœrodowiskowej Polski) w skali 1:50 000 w formacie
SHP (2 MB) z Pañstwowego Instytutu Geologicznego.
Pozyskanie tak du¿ej liczby ró¿norodnych zbiorów danych by³o mo¿liwe dziêki wspó³pracy z innymi instytucjami w ramach wspólnych prac testowych nad transformacj¹ polskich danych do specyfikacji okreœlonych w dokumentach dyrektywy INSPIRE. Prace wykonane w ramach projektu stanowi³y podstawê do opracowania raportów dotycz¹cych mo¿liwoœci transformacji polskich danych do schematów INSPIRE.
Powy¿sze zbiory danych, zarówno w formie pokryæ (rastrowej), jak i w formie wyró¿nieñ (wektorowej), po dok³adnej analizie zosta³y przetransformowane do jak najbardziej jednolitej formy pod wzglêdem uk³adu odniesienia i formy zapisu. Przyjêto, ¿e najbardziej odpowiedni¹ form¹ dla danych wektorowych bêdzie jêzyk GML, uk³ad odniesienia EPSG:2180
(PUWG 1992) i kod danych tekstowych UTF-8. W tym przypadku kryterium wyboru by³a
zgodnoœæ z normami ISO 19100, specyfikacjami OGC i specyfikacjami INSPIRE. W przypadkach, gdy nie mo¿na by³o utworzyæ poprawnych zapisów w jêzyku GML, dane zosta³y
zapisane w popularnym i prostym formacie ESRI Shapefile, z zachowaniem uk³adu EPSG
2180 i kodowaniem UTF-8. Jednak format Shapefile pozwala na zapis danych atrybutowych
jedynie w prostym p³askim modelu tabeli dBASE. Dodatkowym problemem jest brak informacji o sposobie kodowania atrybutów tekstowych, co w przypadku polskich danych geoprzestrzennych jest informacj¹ konieczn¹, ze wzglêdu na stosowanie ró¿nych sposobów
kodowania.
9.2. Transformacja danych testowych do jêzyka GML,
w tym do modeli INSPIRE
Z powodów szczegó³owo przedstawionych w rozdz. 7.1. nie mo¿na by³o danych testowych przetransformowaæ do postaci w pe³ni zgodnych ze specyfikacjami danych INSPIRE. Z tych samych powodów brak jest jakichkolwiek przyk³adów danych INSPIRE,
które mog³yby byæ u¿yte do testowania. Wymagania INSPIRE dotycz¹ce struktur i treœci
danych s¹ okreœlone w specyfikacjach danych w formie tekstowej, ich precyzyjny zapis
jest zawarty w modelach danych zapisanych w diagramach klas jêzyka UML i schematach
aplikacyjnych XSD jêzyka GML. Wykorzystuj¹c te schematy, dane testowe z zakresu
poszczególnych tematów zosta³y przetransformowane do postaci mo¿liwie jak najbardziej
zbli¿onej do wymaganej, jednak stopieñ tego zbli¿enia dla poszczególnych rodzajów danych by³ ró¿ny. Dane z zakresu tematów, dla których obecnie nie ma specyfikacji, zosta³y
zapisane w jêzyku GML jedynie z niewielkimi zmianami ich modeli i z uwzglêdnieniem, ¿e
zmiana modeli mo¿e byæ przeprowadzona póŸniej, gdy bêd¹ ju¿ znane odpowiednie specyfikacje. Ze wzglêdu na wymagania geoserwera i specyfikê przeprowadzanych testów,
dane by³y tak¿e przetransformowane do formatu ESRI Shapefile. Bardziej szczegó³owy
opis problematyki transformacji polskich danych do modeli INSPIRE znajduje siê w monografii pt. „Modelowanie danych przestrzennych” w rozdz. „Transformacja polskich
danych przestrzennych do modeli INSPIRE” (Michalak, 2010).
9. TESTOWANIE GEOSERWERA
73
9.3. Testowanie poprawnoœci funkcji geoserwera
Wymienione wczeœniej dane geoprzestrzenne zosta³y wykorzystane do prac testowych w
zakresie poprawnoœci funkcji budowanego systemu. W wyniku prac testowych wybrano
najbardziej odpowiedni zestaw wszystkich elementów geoserwera. Koñcowa wersja oprogramowania systemu geoserwera oparta jest na platformie sprzêtowej z procesorami typy
Intel i SUN Sparc, a platforma systemowa na systemie operacyjnym GNU/Linux Debian 5.0
dla obu tych platform sprzêtowych. Oprogramowanie geoserwera w koñcowej testowej
wersji sk³ada³o siê z nastêpuj¹cych g³ównych elementów:
m serwer komunikacji HTTP – Apache 2,
m oprogramowanie dynamicznego generowania odpowiedzi – PHP Engine v. 5.2.6,
m oprogramowanie dla odbioru danych po stronie klienta – przegl¹darki WWW Firefox.
m podstawowy komponent geoserwera – MapServer v. 5.6.1,
m system wspomagania komunikacji klient-serwer – modu³ PHP/MapScript,
m œrodowisko budowy aplikacji tego modu³u – p.mapper – Framework v. 4.0.0,
Dla poprawnego funkcjonowania powy¿szych komponentów systemy operacyjne by³y
uzupe³nione nastêpuj¹cymi rozszerzeniami aplikacyjnymi:
m biblioteki oprogramowania graficznego: libpng, libtiff, libgeotiff, libjpeg, libgif i pdflib,
m biblioteki wspomagaj¹ce: freetype dla tekstów, GD dla generowania obrazów wynikowych, zlib dla kompresji plików, AGG w celu uzyskania obrazów o wysokiej jakoœci
rozdzielczej, libpq dla komunikacji z baz¹ danych PostgreSQL z modu³em geoprzestrzennych PostGIS.
Dla osi¹gniêcia pe³nych mo¿liwoœci funkcjonalnych i pe³nej wydajnoœci budowanego systemu kluczowe by³y nastêpuj¹ce komponenty:
m biblioteka OGR dla obs³ugi 18 ró¿nych formatów wektorowych danych geoprzestrzennych,
m biblioteka GDAL dla obs³ugi 42 formatów danych rastrowych (macierzowych),
m biblioteka Proj4 dla transformacji danych przestrzennych (wektorowych i rastrowych)
pomiêdzy ró¿nymi uk³adami odniesienia i odwzorowania,
m biblioteka cURL dla obs³ugi wielu protokó³ów internetowych umo¿liwiaj¹ca zastosowanie podstawowych standardów wymiany danych przestrzennych w infrastrukturach geoinformacyjnych, takich jak: WMS, WFS i WCS.
W czêœci E literatury podano odwo³ania do dokumentacji wszystkich sk³adników oprogramowania systemu geoserwera OakHills. Lista ta zawiera 39 pozycji, co wymownie œwiadczy
o z³o¿onoœci tego systemu.
W ramach tego etapu prac przetestowano poprawnoœæ wzajemnej wspó³pracy du¿ej liczby wymienionych powy¿ej komponentów, w ró¿nych sytuacjach i dla ró¿nych danych.
Testy wykaza³y wiele usterek i b³êdów – ró¿nych w ró¿nych œrodowiskach systemów operacyjnych. W wyniku tych testów, miedzy innymi, zrezygnowano z platformy systemowej
SUN Solaris 10 z powodu powa¿nych problemów programistycznych dotycz¹cych bardzo
istotnej w tym przypadku biblioteki GDAL, co opisano w rozdz. 8.10.
9.4. Testowanie wydajnoœci w ró¿nych konfiguracjach
Rozporz¹dzenia wykonawcze Komisji Europejskiej dotycz¹ce realizacji postanowieñ dyrektywy INSPIRE okreœlaj¹ œciœle wymagania dotycz¹ce jakoœci us³ug sieciowych, jakie
maj¹ spe³niaæ geoserwery dzia³aj¹ce w wêz³ach tej infrastruktury:
74
METODYKA I TECHNOLOGIA BUDOWY GEOSERWERA TEMATYCZNEGO JAKO KOMPONENTU INSPIRE
w zakresie dostêpnoœci us³ug – 99% czasu w ci¹gu roku,
w zakresie wydajnoœci us³ugi WMS – mniej ni¿ 5 sekund oczekiwania na odpowiedŸ
w postaci obrazu o wielkoœci 470 KB, z pominiêciem obci¹¿eñ szczytowych, które
stanowi¹ nie wiêcej ni¿ 10% czasu pracy w ci¹gu roku,
m w zakresie pojemnoœci serwera dla us³ugi WMS – jednoczesne realizowanie przynajmniej 5 poleceñ równolegle.
Z uwagi na eksperymentalny charakter opisywanego tu geoserwera, jego obci¹¿enie robocze by³o bardzo niewielkie w porównaniu z serwerem pracuj¹cym w trybie w pe³ni operacyjnym. Z tego wzglêdu testowanie wydajnoœci nie mog³o byæ przeprowadzone ca³kowicie
zgodnie z wymaganiami INSPIRE. Testy mia³y za zadanie sprawdziæ ró¿ne sposoby pomiaru
parametrów okreœlaj¹cych jakoœæ us³ug. Na tej podstawie zosta³a opracowana koncepcja
pracy systemu, którego zadaniem jest zdalne testowanie jakoœci us³ug, która bêdzie w przysz³oœci wykorzystana w projekcie takiego systemu testuj¹cego.
W przypadku opisywanego tu geoserwera eksperymentalnego mo¿na by³o zastosowaæ
jedynie proste metody testowe, polegaj¹ce na „rêcznym” mierzeniu pojedynczych odpowiedzi serwera na przesy³ane do niego polecenia. Testy by³y wykonywane przy pomocy programu narzêdziowego Mozilla FireBug, wspó³pracuj¹cego z przegl¹dark¹ WWW Mozilla Firefox. Przyk³ad takiego testu przedstawiono na rysunku 42. Wynik testu wydajnoœci geoserwera pokaza³, ¿e czas odpowiedzi na polecenie przes³ania map w postaci obrazu o wielkoœci
1 MB wyniós³ 2,75 sekundy. Jednoczeœnie test wykaza³ brak pewnego elementu graficznego
w interfejsie WWW (komunikat w kolorze czerwonym), co po jego wykryciu mog³o byæ
³atwo poprawione. Test ten dotyczy³ jedynie danych pobranych z zasobów w³asnych geoserwera. W przypadku przesy³ania obrazu, który zawiera tak¿e dane kaskadowane z innych
geoserwerów, czas ten jest d³u¿szy i w wielu przypadkach oczekiwanie testowanego systemu na odpowiedŸ z innego geoserwera przekracza ustalony limit czasu, co jest traktowane
jako brak odpowiedzi.
m
m
Rys. 41. Wyniki badañ laboratoryjnych parametrów geomechanicznych próbek ska³ pobranych z ró¿nych
kamienio³omów na obszarze Polski po³udniowej.
Przyk³ad powi¹zania technologii geoserwera OakHills z technologi¹ opart¹ na jêzyku KML.
Wyœwietlone na dole wspó³rzêdne odnosz¹ siê do œrodka czerwonego krzy¿yka
Rys. 42. Okno programu narzêdziowego FireBug wspó³pracuj¹cego z przegl¹dark¹ WWW FireFox. Program ten by³ wykorzystywany do testowania
szybkoœci odpowiedzi geoserwera na wysy³ane do niego polecenia. Zaznaczone na czerwono polecenie GET slide_updown nie zosta³o zrealizowane
poprawnie, poniewa¿ po stronie serwera nie by³o tego elementu. Pobranie obrazu o wielkoœci 1 MB trwa³o 2,75 sekundy