Opis Przedmiotu Zamówienia
Transkrypt
Opis Przedmiotu Zamówienia
Dla rozwoju infrastruktury i środowiska Załącznik nr 9 do SIWZ Opis Przedmiotu Zamówienia Zadanie A. Wykonanie aplikacji do generowania łączonych prognoz opadu z nowcastingu radarowego (modele INCA-PL, SCENE i SNOF) oraz z numerycznego modelu meteorologicznego (COSMO i ALADIN) Zadanie B. Wykonanie aplikacji zawierających procedury do generowania prognoz wiązkowych w ramach nowcastingu opadów modelami INCA-PL/SCENE/SNOF 1 Dla rozwoju infrastruktury i środowiska WYJAŚNIENIE SKRÓTÓW I POJĘĆ ALADIN – model NWP Analiza pola opadu – pole opadu z pojedynczej techniki pomiarowej lub kombinowane, przetworzone celem uzyskania pola o najmniejszej niepewności. ARPEGE/IFS – model NWP Cholesky’ego metoda – metoda dekompozycji macierzy kowariancji błędów radarowych COSMO – model NWP (także nazwa konsorcjum użytkowników tego modelu) COSMO-LM – model COSMO Lokal Model COTREC – schemat nowcastingu (ekstrapolacji) pola opadu CNRM – National Centre for Meteorological Research DWD – Deutsche Wetterdienst – niemiecka służba meteorologiczna ECMWF – European Centre for Medium-Range Weather Forecasts G – pole opadu wygenerowane na podstawie pomiarów deszczomierzowych (po kontroli jakości i interpolacji przestrzennej) GME – Global Meteorological Model – globalny model NWP GRS – kombinowane pole opadu: deszczomierzowe (G), radarowe (R) i satelitarne (S) GTS – Global Telecommunication System – Globalny System Telekomunikacyjny Światowej Służby Pogody IDW – inverse distance weighing – interpolacja przestrzenna metodą odwrotnych odległości IMGW-PIB – Instytut Meteorologii i Gospodarki Wodnej, Państwowy Instytut Badawczy INCA-CE – konsorcjum, które w latach 2010-2013 rozwijało model nowcastingu INCA INCA-PL – model nowcastingu pól meteorologicznych (w tym opadu) użytkowany w IMGW-PIB I/O – wejście/wyjście Kriging – geostatystyczna metoda interpolacji przestrzennej (oraz pochodne, np. block-kriging) Mezoskalowe modele – modele NWP pracujące w skali od 2 do kilkuset km; najbardziej szczegółowe w skali mezo-gamma (do ok. 20 km) uwzględniające m.in. konwekcję NCBiR – Narodowe Centrum Badań i Rozwoju NCEP – National Centers for Environmental Prediction 2 Dla rozwoju infrastruktury i środowiska NIMROD – model nowcastingu opadów (wycofany w IMGW-PIB) Nowcasting – prognozowanie (na bazie ekstrapolacji) z czasem wyprzedzenia do 1-4 godz. NWP – numerical weather prediction – numeryczny model meteorologiczny NWP-comb – prognozowany opad otrzymany jako kombinacja prognoz modeli NWP Optical flow – schemat nowcastingu (ekstrapolacji) pola opadu PERUN – system detekcji wyładowań burzowych Prognoza hybrydowa – prognoza kombinowana: nowcasting oraz z modelu(i) NWP Prognoza wiązkowa – zestaw np. 50 równoprawdopodobnych pól prognostycznych R – pole opadu wygenerowane na podstawie pomiarów radarowych (po kontroli jakości) RADVOL – system korygowania danych radarowych QI – quality index – bezwymiarowy wskaźnik jakości w zakresie 0-1 QPF-hybrid – quantitative precipitation forecasting – opad prognozowany (prognoza hybrydowa) QPN – quantitative precipitation nowcasting – opad prognozowany algorytmem nowcastingu S – pole opadu wygenerowane na podstawie pomiarów satelitarnych Meteosat (po kontroli jakości i downscalingu) SCENE – (Storm Cell Evolution and Nowcasting) model nowcastingu opadu opracowany i użytkowany w IMGW-PIB SNOF – (Spectral Nowcasting with Optical Flow) model nowcastingu opadu wykonany na podstawie algorytmów modelu STEPS UTC – coordinated universal time – uniwersalny czas koordynowany 3 Dla rozwoju infrastruktury i środowiska WSTĘP Jednym z zadań statutowych Instytutu Meteorologii i Gospodarki Wodnej – Państwowego Instytutu Badawczego (IMGW-PIB) jest wykonywanie prognoz zjawisk meteorologicznych i hydrologicznych. Najtrudniejszy do prognozowania jest opad atmosferyczny, który jest najbardziej zmienny przestrzennie i czasowo, przy czym dynamika tych zmian zwiększa się ze wzrostem natężenia opadu, co powoduje wzrost niepewności tych prognoz. Niepewność prognoz opadu ma z kolei duże znaczenie dla jakości prognoz, dla których prognozy opadu stanowią wejście, a więc meteorologicznych prognoz numerycznych (NWP) oraz prognoz hydrologicznych natężenia przepływu, zwłaszcza z modeli typu opad-odpływ. Prognozy te mają czas wyprzedzenia do 72 godzin. Oprócz modeli NWP, takich jako COSMO i ALADIN, które na podstawie pomiarów oraz równań fizyki atmosfery dostarczają prognoz m.in. pola opadu z rozdzielczością rzędu kilku lub kilkunastu km, i są uruchamiane 2 (ALADIN i AROME) lub 4 (COSMO) razy na dobę, rozwijane są modele tzw. nowcastingu opadów. Są to modele, dla których punktem wyjścia są przetworzone dane radarowe, co zapewnia wysoką rozdzielczość czasową (10 min) i przestrzenną (piksele 1 x 1 km) prognoz. Natomiast algorytmy prognostyczne w tych modelach opierają się głównie na ekstrapolacji pola opadu zakładając stosunkowo niewielką zmienność pola opadu w czasie, o ile czas wyprzedzenia tych prognoz jest bardzo krótki, czyli wynosi maksymalnie od 2 do 6 godzin zależnie od charakteru prognozowanego zjawiska. W IMGW-PIB użytkowane są obecnie dwa modele nowcastingu pola opadu: INCA-PL opracowany w ramach europejskiego konsorcjum INCA-CE, oraz SCENE opracowany w IMGWPIB. Model SCENE został opracowany ze szczególnym uwzględnieniem opadów konwekcyjnych. Ponadto zostanie wykonany w ramach niniejszego zamówienia model SNOF. Przedmiotem zamówienia jest ponadto opracowanie pakietu aplikacji, które będą wspomagały działanie systemów nowcastingu INCA-PL, SCENE i SNOF, oraz wydatnie zwiększały jakość ich prognoz oraz możliwości funkcjonalne przez oferowanie większej liczby danych wyjściowych. 4 Dla rozwoju infrastruktury i środowiska Numeryczne modele meteorologiczne (NWP) W obecnej chwili w IMGW-PIB używane są operacyjnie dwa numeryczne modele prognoz meteorologicznych: COSMO (COnsortium for Small-scale Modelling). Model COSMO-LM (Lokal Model), rozwijany w ramach konsorcjum COSMO pod kierunkiem niemieckiej służby meteorologicznej DWD, działa w dwóch konfiguracjach: na siatkach o rozdzielczości horyzontalnej 7 km oraz 2,8 km. Model na siatce 7 km liczony jest w czterech terminach w ciągu doby (00, 06, 12, 18 UTC) i generuje prognozy z czasem wyprzedzenia do 78 godzin, natomiast model na siatce 2,8 km liczony jest w dwóch terminach (00, 12 UTC) produkując prognozy do 36 godzin. ALADIN i AROME. Modele te dostarczają prognoz z czasem wyprzedzenia do 54 godzin na siatce o rozdzielczości odpowiednio 7,4 i 2,5 km w dwóch terminach w ciągu doby (00, 12 UTC). Do określania warunków brzegowych przy obliczaniu prognoz mezoskalowych wykorzystuje się prognozy z globalnych modeli liczonych w największych centrach meteorologicznych (ECMWF, DWD, NCEP). Dane początkowe i brzegowe dla modelu COSMO pochodzą z modelu globalnego GME uruchamianego w DWD, natomiast dla modeli ALADIN i AROME z modelu ARPEGE/IFS liczonego w CNRM. Podstawowe parametry powyższych modeli zestawiono w tabeli 1. Ze względu na duży postęp w rozwoju technik NWP parametry te ulegają szybkim zmianom. Tabela 1. Numeryczne modele meteorologiczne (NWP) użytkowane operacyjnie w IMGW-PIB. Model Rozdzielczość Liczba Czas Asymilacja przestrzenna uruchomień w wyprzedzenia danych (km) ciągu doby (godz.) radarowych 78 tak 36 tak COSMO 7 7,0 COSMO 2.8 2,8 4 (00, 06, 12, 18 UTC) 2 (00, 12 UTC) 5 Dla rozwoju infrastruktury i środowiska ALADIN 7,4 2 (00, 12 UTC) 54 nie AROME 2,5 2 (00, 12 UTC) 54 nie Modele mezoskalowe prognoz pogody korzystają z modułów asymilacji danych obserwacyjnych. Asymilacja w modelu COSMO opiera się na zastosowaniu schematu nudgingu, którego działanie polega na korygowaniu warunków początkowych, uzyskiwanych z modelu globalnego za pomocą danych obserwacyjnych. Wielkość korekty uzależniona jest od „odległości” czasowo-przestrzennej konkretnego pomiaru od korygowanej wartości w węźle siatki obliczeniowej modelu. Po cyklu obliczeń (cyklu analizy) trwającym 6 godzin, wyniki modelu stanowią warunki początkowe dla operacyjnej krótkoterminowej prognozy pogody. Zaimplementowane w COSMO i ALADIN/AROME systemy asymilacji danych obserwacyjnych pozwalają na wykorzystanie danych pomiarowych dostępnych przez system GTS (nowe dane obserwacyjne dostarczane są z sieci GTS co godzinę) oraz wyników pomiarów telemetrycznych wykonywanych przez IMGW-PIB. Modele nowcastingu opadów Modele „prognoz natychmiastowych” (nowcastingu), inaczej: ultrakrótkoterminowe, są ważnym czynnikiem w systemie ochrony meteorologiczno-hydrologicznej i przeciwpowodziowej kraju, dostarczając informacji o bieżącym stanie pogody i prognozując na krótki okres czasu kluczowe parametry używane w modelach hydrologicznych (chwilowe natężenie, sumę oraz typ opadu). Pojęcie „nowcasting” odnosi się do prognoz z wysoką rozdzielczością czasową i przestrzenną oraz bardzo krótkim czasem wyprzedzenia wynoszącym kilka godzin, które powstały na podstawie adwekcji obecnych warunków w najbliższą przyszłość. Czas ten wynosi na ogół nie więcej niż 6 godzin, przy czym dla opadu zadowalające prognozy uzyskuje się dla czasów wyprzedzenia nie dłuższych niż do 2 godzin. Prognozy powyżej 6-ciu godzin realizowane są przez modele numerycznych prognoz meteorologicznych rozwiązujące skomplikowane układy równań prognostycznych. Metodyka prognoz natychmiastowych oparta jest na wykorzystaniu ekstrapolacji obserwacji aktualnego stanu pogody, dostępnego z lokalnych pomiarów, a przede wszystkim obserwacji radarowych (i satelitarnych) ze względu na ich bardzo wysoką rozdzielczość przestrzenną. W 6 Dla rozwoju infrastruktury i środowiska modelach bardziej zaawansowanych uwzględnia się również ewolucję pola opadu. Ważnymi zaletami modeli nowcastingu jest szybkość dostarczenia informacji oraz duża szczegółowość prognoz, których rozdzielczość przestrzenna i czasowa odpowiada parametrom pomiarów radarowych. Ograniczeniem jest czas wyprzedzenia prognoz, dla którego zachowują one zadowalającą wiarygodność, który jest stosunkowo krótki i wynosi około 2 godzin. Z tego powodu częstym rozwiązaniem jest łączenie prognoz ekstrapolacyjnych z prognozami modeli NWP za pomocą odpowiedniej funkcji wagowej uwzględniającej niepewność poszczególnych łączonych prognoz. Dotychczas w IMGW-PIB zaimplementowanych było kilka modeli nowcastingowych. W 2003 r. został zainstalowany model nowcastingu opadów, opracowany przez brytyjski Met Office, NIMROD. W 2013 r. został on wyłączony z użytkowania. W latach 2010-2013 IMGW-PIB brał udział w realizacji projektu europejskiego (CENTRAL EUROPE) INCA-CE, w wyniku którego powstał model INCA (Integrated Nowcasting through Comprehensive Analysis), bazujący na rozwiązaniach austriackiej służby meteorologicznej ZAMG. Polska wersja INCA-PL działa operacyjnie w IMGW-PIB od 2013 r. W odróżnieniu od modelu NIMROD jest to model generujący prognozy wszystkich pól meteorologicznych. W ramach projektu INCA-CE oraz grantu NCBiR w IMGW-PIB opracowany został własny model nowcastingu opadów SCENE (Storm Cell Evolution and Nowcasting), zoptymalizowany pod kątem opadów konwekcyjnych. Obecnie trwają przygotowania do wykonaniu modelu SNOF (Spectral Nowcasting with Optical Flow), który będzie oparty na algorytmach modeli S-PROG i STEPS opracowanych i wdrożonych przez australijskie Bureau of Meteorology oraz brytyjski Met Office. Model ten będzie m.in. uwzględniał różną skalę przestrzenną poszczególnych struktur opadowych poprzez analizę spektralną pola opadu. Odrębnym zagadnieniem wchodzącym w zakres zamówienia będzie wykonanie algorytmu generowania prognoz probabilistycznych w postaci wiązek równoprawdopodobnych prognoz. Umożliwi to analizę niepewności prognoz. W tabeli 2 zestawiono podstawowe parametry powyższych modeli, łącznie z modelem SNOF, który wchodzi w zakres niniejszego zamówienia. 7 Dla rozwoju infrastruktury i środowiska Tabela 2. Modele nowcastingu opadów w IMGW-PIB. Rozdzielczość Model przestrzenna Czas Dane Pozostałe (km) / wyprzedze- wejściowe dane czasowa nia (godz.) opadowe wejściowe Uwzględnienie struktury pola opadu (min) INCA-PL 1,0 / 10 6 Kombinacja GRS, NWP Sieć SCENE 1,0 / 10 2 Kombinacja radarowa, GRS COSMO, Nie Klasyfikacja struktur opadowych i detekcja konwekcji PERUN SNOF (w trakcie opracowy- 1,0 / 10 6 Kombinacja GRS Analiza spektralna - skali przestrzennej wania) struktur Wszystkie powyższe modele będą generowały prognozy opadu w postaci hybrydowej, jako wynik łączenia prognoz powstałych w wyniku ekstrapolacji danych pomiarowych z prognozami opadu z meteorologicznych modeli numerycznych COSMO i/lub ALADIN. 8 Dla rozwoju infrastruktury i środowiska OGÓLNA CHARAKTERYSTYKA ZAMAWIANYCH PRAC Zamówienie dotyczy prac związanych z systemem przetwarzania danych opadowych (estymacja, prognozy) pochodzących z różnych technik pomiarowych i modeli. System został zaprojektowany w IMGW-PIB. Obieg informacji i zakres oraz sposób jej przetwarzania został pokazany na schematach blokowych na rys. 1 i 2. Zadaniem Wykonawcy będzie wykonanie zestawu aplikacji wchodzących w skład tego systemu. IMGW-PIB dostarczy opisy metodyki i algorytmów, formaty danych, wymogi dotyczące czasu trwania obliczeń itd. System działa obecnie z 10-minutowym krokiem czasowym. Należy jednak umożliwić prostą zmianę kroku czasowego na inną wartość, która powinna stanowić parametr systemu. Działanie poszczególnych zamawianych aplikacji będzie polegało przede wszystkim na przetwarzaniu danych opadowych, będących w postaci map pola opadu, poprzez modele matematyczne. Każda z nich będzie miała precyzyjnie określone wejście i wyjście oraz zadania do realizacji. Ich wykaz znajduje się na początku rozdziałów opisujących zadania A i B w części „Opis przedmiotu zamówienia”. Aplikacje te nie będą zawierać żadnego interfejsu graficznego. Sterowanie nimi oraz wizualizacja wyników będą odbywały się za pomocą odrębnych aplikacji www. Poszczególne aplikacje będą zawierały zestawy algorytmów, które na ogół będą wykonane w kilku wersjach (ich liczba jest sprecyzowana). Ze względu na rozwojowy charakter tych aplikacji, sposób realizacji oprogramowania powinien umożliwić późniejszą implementację również innych, opracowanych w przyszłości algorytmów, co powinno być proste w realizacji przez programistów IMGW-PIB. 9 Dla rozwoju infrastruktury i środowiska OPIS STANDARDÓW Formaty danych Dane wejściowe Wszystkie dane wejściowe będą dostarczane przez IMGW-PIB w różnych formatach: Format natywny systemu Rainbow 5 – opis zostanie przekazany Wykonawcy podczas realizacji prac. ESRI ASCII grid, opis: http://resources.arcgis.com/en/help/main/10.1/index.html#/Esri_ASCII_raster_format/009 t0000000z000000/ GRIB, opis: http://www.wmo.int/pages/prog/www/WMOCodes/Guides/GRIB/Introduction_GRIB1GRIB2.pdf HDF5, opis: http://www.hdfgroup.org/HDF5/ CSV, opis: http://tools.ietf.org/html/rfc4180 Większość danych będzie dostarczona w układzie współrzędnych PUWG 92. Jeśli układ będzie inny, wówczas IMGW-PIB dostarczy szczegółową dokumentację. Dane wyjściowe Wszystkie dane wyjściowe z aplikacji wykonanych przez Wykonawcę będą generowane w wybranych formatach z powyższej listy. Pliki konfiguracyjne Wszystkie pliki konfiguracyjne zawierające parametry poszczególnych aplikacji powinny być w formacie XML. Pliki pośrednie 10 Dla rozwoju infrastruktury i środowiska W przypadku aplikacji generujących pliki (dane) pośrednie, będzie możliwość włączania/wyłączania ich zapisu. Logi Każda aplikacja będzie generowała pliki tekstowe z komunikatami o wykonanych operacjach oraz wystąpieniach błędów (rejestry zdarzeń), oddzielne dla każdej doby. Sposób zapisu Możliwość konfiguracji separatora dziesiętnego (domyślnie: ”.”) Możliwość konfiguracji oznaczenia braku danych (domyślnie: „-999.00”) Precyzja: 2 miejsca po przecinku Krok czasowy Wynosi obecnie 10 minut, niektóre aplikacje będą uruchamianie co określoną wielokrotność tego czasu. Należy jednak umożliwić prostą zmianę kroku czasowego na inną wartość, która powinna stanowić parametr systemu. Projekcja, domena Projekcja i układ współrzędnych Układ PUWG 92 Opis: http://www.asgeupos.pl/webpg/graph/img/_news/00051/w2k.pdf Domena Aplikacje powinny mieć możliwość konfiguracji rozmiarów i położenia domeny. Ustawienia domyślne: ncols 900 nrows 800 11 Dla rozwoju infrastruktury i środowiska xll 50000 yll 30000 Powyższe współrzędne dotyczą lewego dolnego rogu piksela. Rozdzielczość Aplikacje powinny mieć możliwość konfiguracji rozmiarów piksela. Ustawienia domyślne: 1 x 1 km. Konfiguracja maszyn Wszystkie wykonane aplikacje będą instalowane na następujących maszynach: procesor Intel Xeon 4x CPU, RAM 8 GB, HD 250 GB, system operacyjny CentOS 6.5 (64-bit) lub zbliżona dystrybucja Linuxa. Języki oprogramowania ANSI C (kompilator gcc), sterowanie i wizualizacja (www): HTML, JavaScript/Java. Zastosowane biblioteki Wykonawca dostarczy zamawiającemu. Wybór języka C ANSI jest spowodowany największą szybkością działania w tym języku aplikacji, których zadania będą polegały głównie na przeprowadzaniu obliczeń matematycznych. Ze względu na operacyjną pracę tych aplikacji z 10-minutowym krokiem czasowym szybkość działania jest jednym z najważniejszych zadań. Uruchamianie Wszystkie aplikacje będą uruchamiane przez inne aplikacje lub przez cron. Dokumentacja Wykonawca wprowadzi do kodu źródłowego komentarze, które umożliwią wygenerowanie pełnej i czytelnej dokumentacji za pomocą generatora Doxygen. 12 Dla rozwoju infrastruktury i środowiska OPIS PRZEDMIOTU ZAMÓWIENIA Zadanie A. Wykonanie aplikacji do generowania łączonych prognoz opadu z nowcastingu radarowego (modele INCA-PL, SCENE i SNOF) oraz z numerycznego modelu meteorologicznego (COSMO i ALADIN) Przedmiotem zamówienia jest wykonanie pakietu odrębnych aplikacji i procedur, które zostaną włączone do aplikacji już działających. Całość będzie działała operacyjnie (w czasie rzeczywistym) w ramach systemów INCA-PL, SCENE i SNOF, z 10-minutowym krokiem czasowym. Poniżej znajdują się szczegółowe opisy zamawianych aplikacji. Na rys. 1 pokazano docelowy schemat całego systemu generowania wysokiej rozdzielczości prognoz opadu w IMGW-PIB. Zadaniem Wykonawcy będzie wykonanie następujących aplikacji w ramach tego systemu: Model interpolacji przestrzennej danych deszczomierzowych (aplikacja A1a). Model adjustacji danych radarowych i satelitarnych danymi deszczomierzowymi (aplikacja A1b). Model kombinacji danych deszczomierzowych, radarowych i satelitarnych (GRS) (aplikacja A1c). Sumowanie do sum godzinnych i dobowych (aplikacja A1d). Model nowcastingu opadów SNOF (aplikacja A2a). Model nowcastingu opadów SCENE (aplikacja A2b). Model kombinacji prognoz opadu z dwóch modeli NWP: COSMO i ALADIN (aplikacja A3a). Model kombinacji prognoz modelu nowcastingu (INCA-PL/SCENE/SNOF) z kombinowanym polem prognoz NWP-comb otrzymanym z aplikacji A3a (aplikacja A3b). Monitoring danych wejściowych i wyjściowych oraz poszczególnych aplikacji systemu (aplikacja A4). Weryfikacja w czasie rzeczywistym danych wyjściowych na wszystkich etapach przetwarzania systemu (aplikacja A5). 13 Dla rozwoju infrastruktury i środowiska R A1a,1b,1c,1d Przetworz. i kombinacja S G RS G GRS Model INCA-PL/ A2a SCENE/ A2b SNOF QPN A3b Kombinacja D a n e Model COSMO COSMO Model ALADIN ALADIN Legenda – dane – aplikacja A4 – numer aplikacji Progn. opadu QPF-hybrid QPN + NWP-c A3a Kombinacja NWP NWPcomb A4 Zarządzanie A5 Weryfikacja I/O, aplikacjami (opcjami) B6 Wizualizacja, monitoring Rys. 1. Schemat systemu generowania wysokiej rozdzielczości prognoz opadu w IMGW-PIB. 1. Kombinacja GRS Przed wykonaniem kombinacji (aplikacja A1c) poszczególne dane opadowe wymagają odpowiedniego przetworzenia. Służą do tego celu aplikacje A1a w odniesieniu do danych deszczomierzowych oraz A1b w odniesieniu do danych radarowych i satelitarnych. Aplikacja nr A1a będzie przeprowadzała: interpolację przestrzenną punktowych danych deszczomierzowych Gpoint, stosując do 5 standardowych algorytmów, m.in.: IDW, kriging, block-kriging, otrzymując w wyniku pole opadu G, wyznaczenie pola jakości QI zgodnie z algorytmem w liczbie do 3, których opis zostanie dostarczony Wykonawcy. Aplikacja nr A1b będzie przeprowadzała: wyznaczenie poprawki na adjustację danych radarowych (Rraw) i satelitarnych (Sraw) danymi deszczomierzowymi: (a) algorytmem A1a-1 opisanym w załączniku, (b) metodą Brandesa (opis 14 Dla rozwoju infrastruktury i środowiska algorytmu: Michelson i Koistinen, 2010), (c) do trzech innych algorytmów, których opisy zostaną dostarczone Wykonawcy. Aplikacja A1c będzie służyła do kombinacji (łączenia) poszczególnych danych opadowych, uwzględniając pola jakości QI poszczególnych pól opadu dostarczone w takim samym formacie jak pola opadu: deszczomierzowych (G), radarowych (R), satelitarnych (S), w tym downscaling do 1 x 1 km (opis algorytmu: Jurczyk et al., 2008), Wartości QI są to wartości bezwymiarowe w zakresie od 0,0 (dla danych zupełnie niewiarygodnych) do 1,0 (dla danych idealnych), przyporządkowane do każdego piksela danego pola opadu. Aplikacja równocześnie obliczy pole jakości QI dla wynikowego pola opadu. Zostanie dostarczonych do 10 wersji algorytmu, które zostaną przekazane wykonawcy w postaci szczegółowych opisów algorytmów, m.in. w pracach: Sinclair i Pegram (2005), Todini (2001) (opis przykładowego algorytmu znajduje się w załączniku A1c-1). Aplikacja powinna umożliwiać wybór dowolnego z tych algorytmów do pracy operacyjnej. Dane wyjściowe powinny być w projekcji PUWG 92 i obejmować domenę 900 x 800 km zdefiniowaną w części „Opis standardów”, rozdzielczość przestrzenna 1 x 1 km. Aplikacja A1d będzie sumować sumy 10-minutowe wygenerowane przez aplikacje A1a i A1c do sum: godzinnych (z pełnych godzin), dobowych (od 06 do 06 UTC). Łączny czas działania aplikacji A1a i A1c musi zmieścić się w 1 minucie na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 2. Nowcasting algorytmami SNOF i SCENE 15 Dla rozwoju infrastruktury i środowiska Dane wejściowe będzie stanowić kombinowane pole opadu GRS, otrzymywane w wyniku realizacji aplikacji nr A1c. Zamówienie obejmuje wykonanie dwóch aplikacji realizujących modele nowcastingu SNOF i SCENE. Aplikacja nr A2a (SNOF) zawiera algorytmy: ustalenie pola wektorów przemieszczenia echa radarowego 2 metodami (z opcją wyboru) COTREC (literatura: Li et al., 1995) i optical flow (literatura: Bowler et al., 2004), rozkład pola opadu ze względu na skalę przestrzenną obiektów opadowych na kilka pól składowych za pomocą analizy Fouriera (literatura: Seed, 2003), prognoza w każdej składowej odrębnie za pomocą modelu autoregresyjnego AR(1) (literatura: Seed, 2003), połączenie tych składowych po ich oddzielnej ekstrapolacji za pomocą do 5 metod (Lagrangian backward scheme, Lagrangian forward scheme, i in., opis: Germann i Zawadzki, 2002), wygładzenie pól prognostycznych za pomocą zestawu filtrów (np. Gaussa) zależnych od czasy wyprzedzenia prognozy. Aplikacja nr A2b (SCENE) zawiera algorytmy, które zostaną dostarczone Wykonawcy w postaci procedur w języku C oraz dokumentacji. Główne algorytmy (będą dostarczone w maksymalnie 3 wersjach): detekcja obszarów konwekcji, wyznaczanie komórek konwekcyjnych, ustalenie wektorów przemieszczenia (wykorzystując algorytmy aplikacji A2a), ekstrapolacja (wykorzystując algorytmy aplikacji A2a), ekstrapolacja obiektowa, opracowanie modeli życia komórek konwekcyjnych, wygładzenie pól prognostycznych za pomocą zestawu filtrów (wykorzystując algorytmy aplikacji A2a). 16 Dla rozwoju infrastruktury i środowiska Obydwie aplikacje równocześnie obliczą pole jakości QI dla wynikowego pakietu prognoz pola opadu na podstawie oceny sprawdzalności prognoz w ostatnich kilku krokach czasowych, przeprowadzonej za pomocą aplikacji nr A5. Czas działania każdej aplikacji musi zmieścić się w 1 minucie na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 3. Kombinacja nowcastingu z prognozami modeli NWP Danymi wejściowymi do tej kombinacji będą następujące pola prognostyczne: z modelu nowcastingu INCA-PL, SCENE, lub SNOF (1 x 1 km, co 10 minut), z modelu numerycznego COSMO (węzły siatki co ok. 2,8 lub 7,0 km, co 10 minut), z modelu numerycznego ALADIN lub AROME (węzły siatki co ok. 7,4 km, co 1 godz.). Będzie możliwe dołączenie także danych z innych modeli. Dane te powinny zostać sprowadzone do wspólnych: projekcji, domeny i rozdzielczości (downscaling odpowiednim algorytmem jak w aplikacji A1c) – zgodnie ze specyfikacją znajdującą się w części „Opis standardów”. Pierwsza aplikacja nr A3a będzie przeznaczona do kombinacji prognoz z modeli COSMO i ALADIN/AROME oraz innych, jeśli zostaną one w przyszłości dołożone (z opcją wyboru: jeden z modeli, ich kombinacja, bez modelu). Wynikiem będą kombinowane pola prognostyczne z tych modeli, NWP-comb. Podstawą algorytmu będzie ocena sprawdzalności poszczególnych modeli w ostatnich kilku krokach czasowych, przeprowadzona za pomocą aplikacji nr A5. Szczegółowy opis algorytmu zostanie dostarczony Wykonawcy. Pole wyjściowe NWP-comb jak również pola z nowcastingu będą oceniane pod względem sprawdzalności przy użyciu wyników uzyskanych z aplikacji nr A5 w ostatnich n (jako parametr) krokach czasowych. Informacje te będą przekazywane do aplikacji A3b w postaci dwóch zestawów wag. Dokładny opis algorytmu zostanie dostarczony Wykonawcy w maksymalnie 5 wersjach (z opcją wyboru). 17 Dla rozwoju infrastruktury i środowiska Czas działania aplikacji A3a musi zmieścić się w 1,5 minuty na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. Druga aplikacja nr A3b będzie przeznaczona do kombinacji wynikowych pól prognostycznych NWP-comb z polami INCA-PL/SCENE/SNOF. Wynikiem będą kombinowane pola prognostyczne z tych modeli, QPF-hybrid. Kombinacja ta będzie opierała się na zestawach wag wyznaczonych za pomocą aplikacji nr A3a. Aplikacja równocześnie obliczy pole jakości QI dla wynikowego pakietu prognoz pola opadu na podstawie oceny sprawdzalności prognoz w określonym czasie poprzez porównanie z odpowiednimi analizami pola opadu (opis algorytmu zostanie dostarczony Wykonawcy). Czas działania aplikacji A3b musi zmieścić się w 10 s na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 4. Zarządzanie danymi wejściowymi i wyjściowymi oraz poszczególnymi aplikacjami Aplikacja nr A4 będzie monitorowała: dane wejściowe i wyjściowe do wszystkich aplikacji, status poszczególnych aplikacji. Wynik działania aplikacji będzie zapisywany do pliku wyświetlanego przez aplikację B6. W przypadku jakichkolwiek nieprawidłowości będą wysyłane e-maile lub sms-y na konfigurowalną listę adresową. Kryteria określające wystąpienie nieprawidłowości będą konfigurowane. 5. Weryfikacja Aplikacja nr A5 będzie obliczała w czasie rzeczywistym jakość poszczególnych danych wejściowych i wyjściowych dla wszystkich aplikacji. Będzie to odbywało się przez porównanie wszystkich generowanych pól z polami odniesienia, którymi będą: dla pól analizy opadu (G, R, S, GRS) – dane deszczomierzowe w lokalizacjach deszczomierzy, 18 Dla rozwoju infrastruktury i środowiska dla pól sum dobowych analizy opadu (G, R, S, GRS) – dane z deszczomierzy Hellmanna (sumy dobowe) w ich lokalizacjach (niezbędne będzie sumowanie do doby w godz. 06-06 UTC), dla pól prognostycznych opadu (INCA-PL, SCENE, SNOF, COSMO, ALADIN, NWP-comb, QPF-hybrid) – pola analizy opadu dla czasu, na który dana prognoza została wykonana. Aplikacja będzie stosowała do 30 charakterystyk jakości, których definicje zostaną dostarczone Wykonawcy. Powinno być możliwe proste dokładanie innych charakterystyk. 6. Wizualizacja Dane wejściowe oraz generowane przez aplikacje w zadaniu A będą wizualizowane na stronie WWW poniżej opisanej jako aplikacja nr B6. Będą wizualizowane również wyniki monitoringu aplikacji i całego systemu oraz wyniki analizy jakości generowanych danych. Zadanie B. Wykonanie aplikacji zawierających procedury do generowania prognoz wiązkowych w ramach nowcastingu opadów modelami INCA-PL/SCENE/SNOF Przedmiotem zamówienia jest wykonanie pakietu odrębnych aplikacji i procedur, które Zamawiający włączy do aplikacji już działających. Zamawiający jako autor tych aplikacji posiada wszelkie prawa autorskie. Formaty wymiany danych mieszczą się w wykazie formatów, do których Wykonawca powinien się dostosować. Całość będzie działała operacyjnie (w czasie rzeczywistym) na danych wyjściowych z aplikacji nr A3b, czyli prognozach opadu QPF-hybrid z 10-minutowym krokiem czasowym. Poniżej znajduje się szczegółowy opis zamawianych aplikacji/procedur. Na rys. 2 pokazano docelowy schemat przetwarzania wysokiej rozdzielczości prognoz opadu celem uzyskania prognoz wiązkowych. Zadaniem Wykonawcy będzie wykonanie następujących aplikacji w ramach tego systemu: 19 Dla rozwoju infrastruktury i środowiska Obliczanie macierzy kowariancji błędów prognoz opadu na podstawie dołączonych pól wskaźnika jakości (aplikacja B1). Generowanie pakietu n prognoz wiązkowych (aplikacja B2). Generowanie prognoz probabilistycznych jako pól percentyli rozkładu prognoz wiązkowych (aplikacja B3a). Generowanie prognoz probabilistycznych jako prawdopdobieństwo przewyższenia określonej wartości opadu (aplikacja B3b). Wizualizacji danych wejściowych i wyników działania aplikacji wykonanych w ramach zadań A i B (aplikacja B6). Prognozy QPF-hybrid QI B1 Macierz kow. błędów prognoz B2 Generow. prognoz wiązkowych 1. pakiet QPF-hybrid 2. pakiet QPF-hybrid ... B3ab Gener. prognoz probabilist. Percentyle prognoz QPF-hybrid n-ty pakiet QPF-hybrid A4 Zarządzanie B6Wizualizacja, monitoring I/O, aplikacjami (opcjami) Legenda – dane – aplikacja B4 – numer aplikacji Rys. 2. Schemat przetwarzania w IMGW-PIB wysokiej rozdzielczości prognoz opadu celem uzyskania prognoz wiązkowych. 1. Wyznaczanie macierzy kowariancji błędów prognoz opadu Danymi wejściowymi do tej aplikacji/procedury będą prognozy pola opadu (pole QPFhybryd) oraz związane z nimi pola wskaźnika jakości QI. Opis metodyki wyznaczania macierzy kowariancji błędów zostanie dostarczony Wykonawcy w postaci szczegółowego opisu. Będzie testowanych do 5 wersji algorytmu, m.in.: 20 Dla rozwoju infrastruktury i środowiska wersja statyczna oparta na pracy: Germann et al. (2009), wersja dynamiczna: Szturc et al. (2010), wykorzystując pole QI (opis algorytmu B1-1 znajduje się w załączniku). Czas działania aplikacji w wersji dynamicznej musi zmieścić się w 1 minucie na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 2. Generowanie pakietów prognoz opadu (prognoz wiązkowych) Prognozy wiązkowe opadu będą generowane metodą wprowadzania zakłóceń do pól wyznaczonych w sposób deterministycznych. Pola te będą generowane przez aplikację nr A3b jako pola QPF-hybrid. Zakłócenia będą generowane na podstawie macierzy kowariancji błędów prognoz wygenerowanej aplikacją B1. Podstawą algorytmu będzie dekompozycja pola opadu (np. metodą Cholesky’ego) oraz wprowadzenie białego szumu do zdekomponowanej macierzy. Opis tej metody znajduje się w pracy: Germann et al. (2009) (opis algorytmu B2-1 znajduje się w załączniku). Generowanie wybranej liczby n (w zakresie od 1 do 51) prognoz wiązkowych będzie odbywało się poprzez wprowadzenie powyższych zakłóceń do prognozy deterministycznej (opis metody: Germann et al., 2009). Wyjściem z aplikacji będzie zestaw n pól prognostycznych opadu (scenariuszy opadowych) z krokiem czasowym 10 minut i czasem wyprzedzenia do 6 godz. dla ustalonej domeny (seria czasowa dla każdego scenariusza będzie liczyła łącznie 37 pól). Poszczególne wersje powyższych metod w liczbie do 10 będą sukcesywnie testowane za pomocą aplikacji nr A5, a następnie implementowane jako opcje niniejszej aplikacji. Czas działania aplikacji musi zmieścić się w 4 minutach na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 3. Obliczanie prognoz probabilistycznych 21 Dla rozwoju infrastruktury i środowiska Prognozy probabilistyczne będą przedstawiane w dwóch postaciach: jako pakiet percentyli oraz poprzez prawdopodobieństwo przewyższenia założonej wartości opadu. Poniżej oba podejścia zostaną krótko opisane. Pierwszym podejściem (aplikacja nr B3a) jest wyznaczenie percentyli rozkładu prognoz wiązkowych. Będą one liczone dla serii czasowych prognoz z czasem wyprzedzenia w zakresie od 0 (analizy opadu) do 6 godz. (maksymalny zasięg czasowy prognoz). W wyniku działania aplikacji/procedury będą generowane pola opadu dla wybranych wartości percentyli (np. 0, 5, 25, 50, 75, 95, 100%) (opis algorytmu B3a-1 znajduje się w załączniku). Wyjściem z aplikacji będzie zestaw pól percentyli prognoz opadu z krokiem czasowym 10 minut i czasem wyprzedzenia do 6 godz. dla ustalonej domeny (seria czasowa dla każdej wartości percentyla będzie liczyła łącznie 37 pól). Drugim podejściem (aplikacja nr B3b) jest wyznaczanie prawdopodobieństwa przewyższenia opadu o określonej wartości (np. 10 mm/godz.). Wymaga to przyjęcia odpowiedniego rozkładu prawdopodobieństwa opadów (do 3, m.in. rozkład gamma) (opis algorytmu B3b-1 znajduje się w załączniku). Czas działania aplikacji B3a i B3b łącznie musi zmieścić się w 30 sekundach na standardowym komputerze, którego specyfikacja jest zamieszczona w części „Opis standardów”. 4. Monitoring danych wejściowych i wyjściowych oraz poszczególnych aplikacji Monitoring danych wejściowych i wyjściowych do wszystkich powyższych aplikacji, oraz poszczególnych aplikacji będzie wykonywany przez aplikację A4, która została opisana w odpowiednim rozdziale. 5. Weryfikacja Sprawdzenie i weryfikację działania algorytmu generowania wiązkowych prognoz opadu przeprowadzi IMGW-PIB za pomocą modelu hydrologicznego opad-odpływ poprzez analizę symulacji hydrologicznych. 22 Dla rozwoju infrastruktury i środowiska 6. Wizualizacja Aplikacja nr B6 będzie zawierała cztery podstrony www, wraz z ich podstronami konfiguracyjnymi, przeznaczone do: 1. wizualizacji danych: dane wejściowe i wynik działania aplikacji nr A1a, A1b, A1c, A1d, A2a, A2b, A3a, A3b, B1, B2, B3a, B3b, wizualizacji danych pomocniczych (inny sposób wizualizacji niż powyżej): pole wektorów adwekcji (A2a, A2b), macierz kowariancji błędów (B1). wizualizacji pól QI dla wszystkich danych, 2. wizualizacji poprawności pracy systemu (wynik działania aplikacji nr A4, B4), 3. wizualizacji charakterystyk jakości (wynik działania aplikacji nr A5), 4. edycji wszystkich parametrów poszczególnych aplikacji. Na podstronie wizualizacji danych (ogólny wygląd przedstawiono na rys. 3) generowane pola opadu (analizy i prognozy) będą przedstawiane w postaci graficznej, przy zapewnieniu następujących funkcjonalności: automatyczne odświeżanie (włącz/wyłącz), wyświetlanie podkładów, wykonywanie animacji, wykonywanie powiększeń, konfiguracja skali. Będą także wizualizowane punktowe wartości deszczomierzowe na tle wybranego pola opadu. Na podstronie konfiguracyjnej wizualizacji danych będą określane: domyślne ustawienia strony z wizualizacją (liczba okien wizualizacji, dane do wizualizacji, podkład, i inne parametry), konfigurowanie listy wyświetlanych produktów (ścieżka, nazwa wyświetlana, opis), która może zawierać jednocześnie produkty generowane przez różne instancje systemu, 23 Dla rozwoju infrastruktury i środowiska konfigurowanie listy podkładów (opis, ścieżka), Szczegóły dotyczące podstrony wizualizacji: liczba okien wizualizacji wyświetli się zgodnie z ustawieniem domyślnym lub zapisanymi ustawieniami użytkownika, pod przyciskiem „wczytaj” rozwinie się lista, z której wybiera się dane do wizualizacji (według „nazwy wyświetlanej”), pod przyciskiem „opcje” otworzy się okno, w którym wybiera się opcje dla całego ekranu: liczba okien, czy automatycznie odświeżać, przezroczystość danych, szybkość animacji, zapis ustawień, czy wyświetlać analizy dla terminów, na które są prognozy, czy dla terminów wyjściowych dla prognoz (ważne tylko dla wczytanych danych historycznych), animacja oraz zoom dla wszystkich okien równocześnie suwakami w polu „pasek animacji, zoom”, dane historyczne (z wcześniejszych terminów) wczytuje się opcją „data”, po kliknięciu którego wpiszę się datę wyszukiwanego terminu, klikając na pole „full” otwiera się dane okno na cały ekran; powrót do wielu okien tym samym przyciskiem, legenda konfigurowalna pod przyciskiem „legenda”: wartości minimalna; maksymalna; liczba przedziałów; skala liniowa/logarytmiczna; palety kolorów, odczyt wartości ze wszystkich okien równocześnie po najechaniu myszką na dany piksel w którymkolwiek z okien (z podaniem współrzędnych tego piksela), wygląd ekranu zdefiniowany przez użytkownika w „zapis ustawień” zostanie odtworzony przy następnym uruchomieniu (cookies). 24 Dla rozwoju infrastruktury i środowiska opcje legenda Nazwa, logo, itp. Nazwa produktu Nazwa produktu wczytaj wczytaj zoom zoom full Nazwa produktu full Nazwa produktu wczytaj wczytaj zoom zoom full data full Pasek animacji, zoom Współrzędne, wartości dla wszystkich okien Podkłady Rys. 3. Projekt interfejsu aplikacji B6 do wizualizacji danych. Uwaga: wygląd i układ ekranu przedstawione na rys. 3 stanowią tylko sugestię dla Wykonawcy. Na podstronie wizualizacji pracy systemu będzie prezentowany bieżący monitoring poprawności pracy poszczególnych aplikacji oraz ciągłości przepływu wszystkich danych. Konfiguracja tej podstrony będzie przebiegała podobnie jak dla podstrony wizualizacji danych: konfigurowanie listy monitorowanych danych (ścieżka, nazwa wyświetlana, opis), która może zawierać jednocześnie produkty generowane przez różne instancje systemu, konfigurowanie listy monitorowanych aplikacji (ścieżka, nazwa wyświetlana, opis), konfigurowanie listy parametrów wskazujących na nieprawidłowości w pracy systemu, konfigurowanie listy adresowej (e-mail, sms) do wysyłania komunikatów. Kod aplikacji powinien umożliwiać proste dokonywanie odzwierciedlenia zmian w budowie całego systemu, np. przez dodawanie nowych aplikacji. 25 Dla rozwoju infrastruktury i środowiska Na podstronie wizualizacji charakterystyk jakości będą wizualizowane tabele i wykresy poszczególnych charakterystyk jakości w ustalanym przedziale czasowym dla wybranych danych opadowych. Konfiguracja tej podstrony będzie przebiegała podobnie jak dla podstrony wizualizacji danych: konfigurowanie listy danych analizowanych pod kątem ich jakości (ścieżka, nazwa wyświetlana, opis), która może zawierać jednocześnie produkty generowane przez różne instancje systemu. Podstrona edycji parametrów wszystkich aplikacji wchodzących w skład systemu powinna umożliwić ich prostą wizualizację i edycję, np. w formie tabelarycznej. Źródłowym miejscem przechowywania tych parametrów powinien być XML-owy plik konfiguracyjny, odrębny dla każdej aplikacji, o przejrzystej strukturze i prostej edycji w standardowych edytorach tekstowych. Oprócz tego aplikacje powinny mieć dostęp do zestawu parametrów domyślnych, które byłyby stosowane w przypadku braku pliku konfiguracyjnego. Aplikacja będzie generować skrypt uruchamiany z crona, sterujący kolejnością uruchamiania poszczególnych aplikacji oraz wskazujący ich pliki konfiguracyjne oraz pliki z przetwarzanymi danymi. 26 Dla rozwoju infrastruktury i środowiska PRZYPADKI UŻYCIA Zamawiane aplikacje będą pracowały z 10-minutowym lub innym krokiem obliczeniowym, jednak niektóre z danych wejściowych będą przychodziły z innymi krokami czasowymi wynikającymi z technik pomiarowych i przetwarzania danych. Co 10 minut (lub z innym krokiem czasowym) Z taką częstotliwością będzie uruchamiana większość aplikacji. Jest to krok obliczeniowy systemu. Poszczególne aplikacje będą działały w następującej kolejności: Aplikacja do interpolacji przestrzennej i wyznaczania QI dla danych deszczomierzowych jest uruchamiana, gdy przyjdą nowe punktowe dane deszczomierzowe (A1a). Aplikacja do kombinacji GRS (A1c) sprawdza, czy jest już komplet nowych danych (G, R i S). Jeśli w określonym czasie nie ma wszystkich danych, wówczas generowana jest kombinacja z tych produktów, które doszły. Jeśli nie doszły żadne dane, wówczas generowany jest plik z zawartością „brak danych”. Uruchamiany jest model nowcastingu (INCA-PL, SNOF – aplikacja A2a i/lub SCENE – aplikacja A2b). Niezależnie od modeli nowcastingu uruchamiana jest aplikacja kombinująca dostępne prognozy NWP (ALADIN I COSMO) (A3a). Po zakończeniu działania modeli nowcastingu i aplikacji A3a uruchamiana jest aplikacja kombinacji prognoz nowcastingu i NWP-comb (A3b). Uzyskuje się pola QPF-hybrid i pole QI. Po wygenerowaniu QPF-hybrid i QI zostaje uruchomiona aplikacja do generowania macierzy kowariancji błędów (B1). Po wygenerowaniu macierzy kowariancji błędów zostaje uruchomiona aplikacja do generowania prognoz wiązkowych (B2). 27 Dla rozwoju infrastruktury i środowiska Po wygenerowaniu prognoz wiązkowych zostaje uruchomiona aplikacja do generowania prognoz probabilistycznych (w postaci percentyli – B3a i prawdopodobieństwa przewyższenia – B3b). Po uzyskaniu wszystkich rodzajów prognoz zostaje uruchomiona aplikacja do obliczania statystyk (A5). Aplikacja do monitoringu działania aplikacji i spływu danych (A4). Co godzinę Z godzinnym krokiem czasowym będą wykonywane następujące zadania: Wyznaczania wartości współczynnika mfb, określającego stopień korekty danych radarowych i satelitarnych (aplikacja A1b). Sumowanie 10-minutowych pól opadu (danych wejściowych i prognoz) do sum godzinnych (aplikacja A1d). Godz. 06:30 UTC Z dobowym krokiem czasowym będą wykonywane następujące zadania: Sumowanie 10-minutowych pól opadu (danych wejściowych i prognoz) do sum dobowych (aplikacja A1d). Weryfikacja sum dobowych pól opadu przez porównanie z sumami dobowymi z deszczomierzy Hellmanna (aplikacja A5). Około godz. 03, 09, 15, 21 UTC Prognozy z modeli NWP będą dostarczane cztery razy na dobę (COSMO 7-km) lub dwa razy (COSMO 2,8-km i ALADIN), około 3 godziny po ich uruchomieniu. Wówczas poprzedni pakiet prognoz zostanie nadpisany nowym, z krokiem czasowym 10-min (COSMO) lub 1-godz. (ALADIN), z czasem wyprzedzenia od 0 do co najmniej 36 godz. 28 Dla rozwoju infrastruktury i środowiska Każda prognoza z pakietu będzie przypisana do określonego kroku obliczeniowego, wynikającego z czasu wygenerowania prognozy oraz jej czasu wyprzedzenia. Na rys. 3 pokazano przykład, na którym prognoza hybrydowa wygenerowana o godz. 05 UTC na godz. 08 UTC pochodzi z kombinacji z prognozą z modeli NWP (które zostały uruchomione o godz. 00 UTC) wygenerowaną ok. godz. 03 UTC. włączenie danych NWP do systemu start modelu NWP 0 1 2 3 4 uruchomienie modelu nowcastingu (krok obliczeniowy T=0) 5 6 7 krok obliczeniowy T=3: prognoza z czasem wyprzedz. 3 godz. 8 Czas (UTC) Rys. 3. Schemat zasilania systemu danymi z modeli NWP. 29 9 10 Dla rozwoju infrastruktury i środowiska ZOBOWIĄZANIA OBU STRON IMGW-PIB 1. IMGW-PIB dostarczy opisy wszystkich algorytmów w postaci publikacji lub raportów, z których część została dołączona do niniejszego dokumentu jako załączniki, zaś pozostałe zostaną dostarczone po rozpoczęciu realizacji prac. 2. Wszystkie wątpliwości dotyczące postaci algorytmów będą wyjaśnianie przez upoważnionych merytorycznych pracowników IMGW-PIB. 3. IMGW-PIB dostarczy wszystkie dane potrzebne do testowania aplikacji wykonanych przez Wykonawcę. Wykonawca 1. Wykonawca udostępni IMGW-PIB wszystkie źródła, którymi IMGW-PIB będzie mógł dysponować w dowolny sposób, np. dokonywać modyfikacji po oddaniu prac, wykorzystywać w celach komercyjnych, itd. 2. Wykonawca dostarczy IMGW-PIB wszystkie biblioteki potrzebne do działania wykonanych aplikacji. 3. Wykonawca na koniec każdego miesiąca udostępni IMGW-PIB aktualny stan wszystkich kodów źródłowych. 4. Wykonawca przenosi wszystkie prawa autorskie wykonanych aplikacji na IMGW-PIB. 5. Wykonawca dostarczy pełną dokumentację wykonanego oprogramowania: a) dokumentację projektową; b) dokumentację użytkownika – pliki pomocy, ogólne informacje o programach i sposobie ich obsługi; c) dokumentacje techniczną, umożliwiającą modyfikowanie programów; dokładny opis metod działania, algorytmów w nich zastosowanych, poszczególnych komponentów itp. 30 rozmieszczenia i sposobu działania Dla rozwoju infrastruktury i środowiska 6. Wszystkie aplikacje i procedury będą zawierały testy jednostkowe. 7. Zostaną przeprowadzone testy obciążeniowe i wydajnościowe wszystkich aplikacji, głównie w zakresie czasu działania poszczególnych aplikacji. 31 Dla rozwoju infrastruktury i środowiska WYKAZ PUBLIKACJI ZAWIERAJACYH OPISY METODYKI 1. Bowler N.E.H., Pierce C.E., Seed A., 2004. Development of a precipitation nowcasting algorithm based upon optical flow techniques. Journal of Hydrology, 288, 74-91. [plik: Bowler_2004_JH.pdf] 2. Germann U., Zawadzki I., 2002. Scale-dependence of the predictability of precipitation from continental radar images. Part I: Description of the methodology. Monthly Weather Review., 130, 2859-2873. [plik: Germann_Zawadzki_2002_MWR.pdf] 3. Germann U., Berenguer M., Sempere-Tores D., Zappa M., 2009. REAL – Ensemble radar precipitation estimation for hydrology in a mountainous region. Q. J. R. Meteorol. Soc., 135, 445-456. [plik: Germann_2009_QJRMS.pdf] 4. Jurczyk A., Ośródka K., Szturc J., 2008. Research studies on improvement in real-time estimation of radar-based precipitation in Poland. Meteorol. Atmos. Phys., 101, 159-173. [plik: MAP_2008.pdf] 5. Li L., Schmid W., Joss J., 1995. Nowcasting of motion and growth of precipitation with radar over a complex orography. Journal of Applied Meteorology, 34, 1286-1300. [plik: Li_1995.pdf] 6. Michelson D.B., Koistinen J., 2000. Gauge-radar network adjustment for the Baltic Sea Experiment. Phys. Chem. Eartch (B), 25, 915-920. [Michelson_Koistinen_2000.pdf] 7. Seed A.W., 2003. A dynamic and spatial scaling approach to advection forecasting. Journal of Applied Meteorology, 42, 381-388. [plik: Seed_2003_JAM.pdf] 8. Sinclair S., Pegram G., 2005. Combining radar and rain gauge rainfall estimates using conditional merging. Atmos. Sci. Let., 6, 19-22. [plik Sinclair_2005_ASL.pdf] 9. Szturc J., Ośródka K., Einfalt T., Jurczyk A., 2010. Rainfall and runoff ensembles based on the quality index of radar precipitation data. Proceedings of 6th European Conference on Radar in Meteorology and Hydrology ERAD 2010, 446-452. [plik: ERAD2010_Szturc_Ensembles.pdf] 10. Todini E., 2001. Influence of parameter estimation uncertainty in Kriging: Part 1. Theoretical development. Hydrology and Earth System Todini_2001_HESS_1.pdf] 32 Sciences, 5, 215-223. [plik: Dla rozwoju infrastruktury i środowiska ZAŁĄCZNIKI (OPISY METODYKI) Informacje ogólne Część algorytmów zostanie dostarczone w postaci szczegółowych opisów, jak dołączone poniżej, natomiast inne w postaci publikacji naukowo-technicznych. Większość algorytmów będzie wdrażana w kilku wersjach, których liczba jest wyszczególniona w rozdziale „Opis przedmiotu zamówienia”. Poniżej umieszczono opis kilku algorytmów, który należy traktować jako przykładowe. Pozostałe wersje będą dostarczone Wykonawcy w trakcie realizacji projektu. Aplikacja nr A1b, algorytm A1b-1. Adjustacja danych radarowych i satelitarnych deszczomierzowymi Poniższy algorytm będzie stosowany do sum godzinnych danych deszczomierzowych (Gpoint) i radarowych (Rraw). Adjustacja polega ona na wyznaczeniu współczynnika mfb: mfb G point (A1b-1.1) Rraw w punktach lokalizacji deszczomierzy, a następnie stosowaniu go do korekty danych radarowych we wszystkich pikselach, czyli estymacji skorygowanego pola opadu R: R Rraw mfb (A1b-1.2) Wprowadzono ograniczenia na wartości w poszczególnych parach G i R oraz zróżnicowanie ich wartości: G point 0,0 R raw 0,0 QI (G point ) 0,5 QI ( Rraw ) 0,5 G point 1 threshold threshold Rraw 33 (A1b-1.3) Dla rozwoju infrastruktury i środowiska Współczynnik mfb jest liczony w określonym oknie czasowym, którego długość uzależniono od sumy opadu w danej lokalizacji. Wprowadzono trzy długości tych sum (tab. A1b-1.1): krótką (sum_short_def), średnią (sum_medium_def) i długą (sum_long_def), oraz sumę sezonową (sum_day_def) stosowaną, gdy żadna z powyższych sum nie przekroczyła założonej wartości progowej (odpowiednio: sum_short_thr, sum_medium_thr, sum_long_thr). Jeśli suma sezonowa również nie przekroczyła założonego progu (sum_day_thr), wówczas przyjmuje się wartość domyślną sumy sezonowej (mfb_day_def). Obliczone wartości mfb porównuje się z wartościami sezonowymi mfb: jeśli wartości te zbytnio się różnią, wówczas przyjmowana jest wartość sezonowa. Wartości mfb są wyznaczane dla każdego piksela przez interpolację przestrzenną wartości mfb wyznaczonych dla pikseli, w których znajdują się deszczomierze. Zastosowano do interpolacji przestrzennej wartości mfb metodę inverse distance weighting (IDW), z wykładnikiem potęgi odległości od deszczomierza wynoszącym 2. Uwzględnia się sześć najbliższych deszczomierzy. Po interpolacji pole mfb jest wygładzane filtrem 7 x 7 pikseli z wartościami wynoszącymi 1. Ponadto będą stosowane inne algorytmy interpolacji wykonane w ramach aplikacji A1a. Tabela A1b-1.1. Parametry algorytmu adjustacji. Parametr Opis Wartość sum_short_def Długość krótkiej sumy opadu (godz.) 6 sum_medium_def Długość średniej sumy opadu (godz.) 24 sum_long_def Długość długiej sumy opadu (godz.) 120 sum_day_def Długość sezonowej sumy opadu (dni) 180 sum_short_thr Próg opadu dla sumy krótkiej (mm) 2,5 sum_medium_thr Próg opadu dla sumy średniej (mm) 2,5 sum_long_thr Próg opadu dla sumy długiej (mm) 2,5 sum_day_thr Próg opadu dla sumy sezonowej (mm) 100 sum_threshold Współczynnik kontroli mfb godz. względem mfb sezonowego 2,5 mfb_day_def Domyślna wartość mfb sezonowego threshold Współczynnik kontroli danych przed wyliczaniem sum 34 1 3,5 Dla rozwoju infrastruktury i środowiska Korektę na mfb przeprowadza się w każdym pikselu (i, j) danych radarowych zgodnie ze wzorem (A1b-1.2) za pomocą aplikacji A1c: R(i, j ) Rraw (i, j ) mfb(i, j ) (A1b-1.4) Adjustację danych satelitarnych przeprowadza się algorytmem analogicznym jak dla danych radarowych. Wszystkie parametry przyjmują takie same wartości. Aplikacja nr A1c, algorytm A1c-1. Kombinacja GRS, wersja 1. Dane wejściowe do algorytmu generowania kombinowanego pola opadu stanowią pola: deszczomierzowe G, radarowe R i satelitarne S wraz z dołączonymi polami jakości QI. Pola te są przetworzone algorytmami kontroli jakości. Ponadto wymagane jest zestawienie (kody) posterunków deszczomierzowych, z których zostało wyznaczone pole G. Opis algorytmu: 1. Kombinacja warunkowa danych radarowych R z deszczomierzowymi G – pole GR: a) obliczenie pola opadu interpolowanego przestrzennie z danych radarowych w punktach deszczomierzy (Rint), stosując taką samą metodę interpolacji przestrzennej jak dla danych deszczomierzowych (aplikacja A1a). b) obliczenie pola opadu z uwzględnieniem poprawki na rozkład przestrzenny na podstawie danych radarowych (RG): RG G ( R Rint ) (A1c-1.1) c) obliczenie pola opadu kombinowanego deszczomierzowego i radarowego (GR): GR G QI G RG QI R QI G QI R Na rys. A1c-1.1 schematycznie pokazano powyższe operacje. 35 (A1c-1.2) Dla rozwoju infrastruktury i środowiska 2. Kombinacja warunkowa przeskalowanych danych satelitarnych S z deszczomierzowymi G – pole GS, przeprowadzana jest w sposób analogiczny jak kombinacja GR. 3. Kombinacja pól GR i GS – pole GRS: a) kombinacja pól GR i GS oparta na jakości tych danych – pole GRS: GRS w GR (1 w) GS (A1c-1.3) gdzie w – współczynnik korekty wagi: 1 w QI R 0 QI R 0,8 0,2 QI R 0,8 (A1c-1.4) QI R 0,2 b) obliczenie wskaźnika jakości QIGRS pola GRS: QI G QI R QI S QI GRS max QI G , QI R , QI S , 3 Piksel radarowy (A1c-1.5) R – Rint R Rint G G Natężenie opadu Analizowany deszczomierz Położenie R – Rint R GR – opad w danym pikselu RG G G RG Analizowany piksel Rys. A1c-1.1. Schemat operacji wykonywanych w ramach kombinacji danych deszczomierzowych i radarowych. 36 Dla rozwoju infrastruktury i środowiska Aplikacja nr B1, algorytm B1-1. Wyznaczanie macierzy kowariancji błędów pola opadu Jakość danych opadowych jest charakteryzowana za pomocą wskaźnika jakości QI, który przyjmuje wartości pomiędzy 0 (wartości złe) i 1 (wartości idealne). Dysponując dla każdego piksela pola opadu Ri,,j wartością QIi,,j, można odtworzyć błędy pola opadu d’i,,j (i = 1, …, l; j = 1, …, k, gdzie l, k – liczby wierszy i kolumn) za pomocą wzoru: d '1,1 d ' 2 ,1 D' d 'l ,1 d '1, 2 d '2, 2 d 'l , 2 d '1,k ; d 'i , j Ri , j (1 QIi , j ) d 'l , k (B1-1.1) Macierz D’ ma rozmiar (l x k). Obliczenia wykonywane są dla gridów, których rozmiar wynosi 5 x 5 pikseli, czyli N = 2 piksele w każdym kierunku od danego piksela. Zatem do obliczeń będzie brana nieco mniejsza liczba elementów, gdyż na obrzeżach tej macierzy nie są możliwe obliczenia dla pełnych gridów. W związku z tym wynikowe macierze A będą liczone dla tych pikseli macierzy D’, które nie leżą na jej obrzeżach (dwa piksele od każdego brzegu), czyli dla macierzy D o rozmiarze (l-2N) (k-2N) pikseli (rys. B1-1.1). 1 1 N d' 1,1 d' 1,2 N+1 k-N k d' 1,k N N+1 d1 d k-2N+1 d2 d3 d k-2N d (k-2N)(l-2N) l-N l d' l ,1 d' l,2 d' l ,k Rys. B1-1.1. Macierz D’ z zaznaczonymi zielonym kolorem elementami (pikselami) di tworzącymi macierz D, z których oblicza się macierz A (np. d1 w macierzy D odpowiada d’N+1,N+1 w macierzy D’). Na niebiesko zaznaczono przykładowy grid obliczeniowy (2N+1) x (2N+1) pikseli wokół piksela d1. 37 Dla rozwoju infrastruktury i środowiska W kolejnym kroku wyznaczana jest macierz A kowariancji błędów pola opadu na podstawie wektora D. Macierz A o rozmiarach (l-2N)(k-2N) x (l-2N)(k-2N) będzie zawierała następujące wartości (wzór B1-1.2): na przekątnej (piksele z i = j) wariancje ai ,i var(di ) liczone wokół danych pikseli di w gridach o rozmiarach (2N+1) x (2N+1); wariancje są liczone wzorami dla populacji danych; poza przekątną (piksele z i j) kowariancje liczone pomiędzy gridami (2N+1) x (2N+1) wokół pikseli i oraz j: cov i , j cov(di , d j ) . Ogólnie: a1,1 a 2 ,1 A an,1 a1, 2 a2 , 2 an , 2 a1,n i j vari var(d i ) ; ai , j cov i , j cov(d i , d j ) i j an ,n (B1-1.2) gdzie: n = (l-2N) (k-2N). Aplikacja nr B2, algorytm B2-1. Dekompozycja macierzy kowariancji błędów metoda Cholesky’ego Do generowania zakłóceń w polu opadu zastosowano algorytm dekompozycji Cholesky’ego do macierzy kowariancji błędów radarowych A wyznaczonej algorytmem B1-1. Jest to operacja algebraiczna, która pozwala na rozbicie macierzy na dwie macierze trójkątne spełniające warunek: A L LT (B2-1.1) gdzie LT jest transpozycją macierzy L. Jeśli macierz A jest symetryczna i dodatnio określona, wówczas istnieje tylko jedna macierz trójkątna L o dodatnich elementach na głównej przekątnej, spełniająca powyższe równanie. Elementy macierzy L zdefiniowane są następująco: 38 Dla rozwoju infrastruktury i środowiska l1,1 0 l l2 , 2 2 ,1 L ln ,1 ln , 2 0 0 i 1 ; l ji aii l 2ik k 1 i 1 1 ln , n aij l jk lik k 1 lii ji j i (B2-1.2) j i W celu zapewnienia matematycznej stabilności powyższej procedury wprowadzono następujące modyfikacje: i 1 jeśli aii l 2 ik 0,001 , wówczas lii = 0,001, k 1 i 1 jeśli aij l jk lik 0,001 , wówczas lji = 0,001. k 1 Macierze L tutaj wykorzystuje się do generowania losowych zakłóceń pól opadu, by ostatecznie wygenerować losowe pakiety tych pól. Procedura ta polega na obliczeniu zakłócenia, czyli losowego błędu δ(ε) (który jest wektorem o rozmiarze n) na podstawie macierzy L: ( ) L (B2-1.3) gdzie: ε – wektor białego szumu z wartościami w zakresie od 0 do 1. W rezultacie takiego założenia pakiet pól opadu można zdefiniować przez zestaw losowo wybranych wartości wektora ε. Ostatecznie każdy element takiego pakietu jest związany z konkretnym wektorem ε i można go zapisać jako: R( ) R ( ) (B2-1.4) gdzie: R(ε) – konkretny element pakietu pól opadu, zdefiniowany przez wartość ε, z której z kolei oblicza się wektor zakłócający dane radarowe δ(ε). Aplikacja nr B3a, algorytm B3a-1. Wyznaczanie percentyli rozkładu prognoz wiązkowych Niepewność prawdopodobieństwa w polu PDF opadu uwzględnia odpowiednio dobranej 39 się ze korzystając względu na z funkcji właściwości gęstości opadu Dla rozwoju infrastruktury i środowiska atmosferycznego (jak asymetryczność, ograniczenie z dołu przez zero, itd.). Takim rozkładem jest rozkład gamma opisany wzorem: PDF ( x) bp x p 1ebx ( p ) (B3a-1.1) gdzie p i b są parametrami rozkładu, przy czym: p, b > 0; Γ jest funkcją gamma. Parametryzacja funkcji gęstości prawdopodobieństwa oznacza wyznaczenie powyższych parametrów p i b: p R2 R ; b 2 2 R (1 QI ) 0.1 R (1 QI ) 0.1 (B3a-1.2) W rezultacie probabilistyczne pole opadu zawiera trzy zamiast jednej wartości dla każdego piksela: dwa parametry funkcji gęstości prawdopodobieństwa opadu p i b oraz wysokość opadu R (wartości zmierzonej lub prognozowanej). Ostatnim etapem jest wygenerowanie pakietu pól opadu, co można przeprowadzić wybierając pewne percentyle dla sparametryzowanego rozkładu prawdopodobieństwa. Przedstawione tu podejście do zagadnienia generowania pakietów danych opadowych oparte o estymowany rozkład gęstości prawdopodobieństwa, polega zatem na wyborze pewnej liczby charakterystycznych map pola opadu wynikających z jego właściwości statystycznych. Wygodnie jest wybierać do takiego pakietu mapy pola opadu będące określonymi percentylami funkcji gęstości prawdopodobieństwa opadu, czyli na przykład dla prawdopodobieństw wynoszących 5, 25, 50, 75, i 95%. Obliczeń map tych percentyli dokonuje się na podstawie dystrybuanty danego rozkładu F(x). Dla rozkładu gamma, wartość percentyla Pq% dla prawdopodobieństwa q% wynosi: q% Pq % F (q%) PDF ( x)dx q% 0 bp x p1e bxdx ( p ) (B3a-1.3) Tak obliczone wartości dystrybuanty pól opadu należy następnie znormalizować do wartości zmierzonej radarem R. W tym celu obliczana jest różnica pomiędzy medianą rozkładu P50%, a wszystkimi pozostałymi zastosowanymi percentylami, czyli w tym przypadku: P5%–P50%, P25%–P50%, P75%–P50%, i P95%–P50%. Następnie oblicza się skorygowane wartości percentyli ze wzoru: Rq % R ( Pq % P50% ) 40 (B3a-1.4) Dla rozwoju infrastruktury i środowiska gdzie: R – opad zmierzony/obliczony na podstawie pomiarów radarowych. Aplikacja nr B3b, algorytm B3b-1. Obliczanie prawdopodobieństwa przewyższenia określonej wartości opadu Probabilistyczna prognoza opadu jest oparta na wieloletnim rozkładzie wyznaczonym na danych historycznych. Rozkład ten można opisać funkcją gęstości prawdopodobieństwa w postaci eksponencjalnej f(x) = a · ecx stanowiącej jedną ze szczególnych postaci rozkładu gamma (a, c – parametry). Rozkład eksponencjalny otrzymuje się z rozkładu gama opisanego za pomocą wzoru B3a-1.1, podstawiając w nim: p = 1 oraz b = 1/µ, gdzie µ jest wartością średnią rozkładu. Przyjęcie takiego rozkładu oznacza, że prawdopodobieństwo wystąpienia większych opadów zmniejsza się eksponencjalnie, czyli według funkcji wykładniczej opisanej za pomocą wzoru: f ( x) 1 e x (B3b-1.1) Równanie to można scałkować w przedziale od określonej wartości x do nieskończoności, uzyskując w ten sposób prawdopodobieństwo przekroczenia wartości x. Wartość średnią rozkładu μ stanowi warunkowa prognoza opadu, czyli wartość oczekiwana wysokości opadu pod warunkiem, że opad ten wystąpi w danym miejscu. Po scałkowaniu równania B3b-1.1 prawdopodobieństwo przekroczenia (PoE) opadu deszczu o wysokości na przykład 10 mm wyznaczy wzór: PoE (10 mm) e 10 (B3b-1.2) Wartość ta jest następnie mnożona przez prawdopodobieństwo wystąpienia opadu (PoP) w celu wyznaczenia warunkowego prawdopodobieństwa przekroczenia opadu o wysokości 10 mm. Wynik stanowi probabilistyczną prognozę opadu. 41