Masowy import danych - POL-on

Masowy import danych
Marek Michajłowicz
Agenda
• Proces importu
• Główne założenia
• Wybrane scenariusze importu
Kontekst importu i terminy
Czynności przygotowawcze
• Akceptacja struktury jednostki
• Dodanie uprawnień w zakresie importu masowego
odpowiednim pracownikom (rola INST_IMPORT)
• Edycja i pobranie kluczy Jednostek (słowniki importu)
• Pliki importu powinny być najpierw skompresowane do
formatu .zip
• Kodowanie w UTF-8
• Pliki wewnątrz paczki importu powinny być podzielone
pod względem zawartości (Studenci, Pracownicy)
Proces importu jest asynchroniczny
• W pierwszym etapie
weryfikacja zgodności ze
schematem XML oraz
uprawnienia
• Użytkownik od razu
powiadamiany o wyniku
operacji
• Po zakończeniu plik
dodawany do kolejki
importu
• Import uruchamiany w
godzinach wieczornych.
• Po przetworzeniu
wysyłany e-mail do
użytkownika z informacją
o wyniku importu
Wycofanie importu
• Import inicjalny daje możliwość całkowitego wycofania
zmian w bazie wprowadzonych w ramach importu
zakończonego wynikiem pozytywnym.
• Jako import inicjalny kwalifikowany jest każdy import
wykonany w tracie pilotażu, czyli do dnia 30-09-2011 r.
• Operacja anulowania importu jest możliwa dla pliku
będącego w statusie przekazany do zaimportowania
• Operacja anulowania daje możliwość zweryfikowania
zgodności plików ze schematem i słownikami bez
konieczności całkowitego importu
Główne założenia
• Plik importu zaczytywany jest do systemu wyłącznie wtedy, gdy w
pełnym zakresie przejdzie proces walidacji. Żaden pojedynczy rekord
pliku nie może mieć błędów zdefiniowanych w systemie jako
odrzucające plik
• Korekta polega na zastąpieniu poprzednio wysłanych danych danymi
skorygowanymi
• Jako zasada rozwiązywania konfliktów obowiązuje reguła „ostatni
wygrywa”
• System na bazie zawartości pliku rozpoznaje określony typ operacji:
dodania, aktualizacji, wyrejestrowania studenta lub pracownika z
rejestru
• W trakcie importu w jednostce nie można wprowadzać danych z
interfejsu użytkownika
Spójność danych w plikach
Minimum
kadrowe
Zatrudnienie
Pracownik
Naukowy
Osoba
• Pliki XML zawierają obiekty określonego typu
(Student, Pracownik, Doktorant), które
powinny zachować wewnętrzną spójność
• Nie
ma
możliwości
przekazania
wyodrębnionej sekcji zatrudnienia bez
informacji o osobie. Można natomiast
przekazać zatrudnienia bez oświadczenia o
minimum kadrowym, jeżeli nie zostało ono
złożone
• Przekazywanie pełnego zakresu danych ma
na celu zapewnienie spójności pomiędzy
systemami i uwzględnienie wszystkich zmian
zachodzących w czasie (np. tych które nie
zostały przekazane w ramach wcześniejszych
importów)
• Komplet
danych
umożliwia
bardziej
wiarygodną identyfikację osoby z pliku
Import pełny czy przyrostowy?
Id
kierunku
Jan
Kowalski
Data
Wyrejestr
owania
Wyrejestruj Studenta
• Brak różnicy danych nie
powoduje zmian w bazie
• Z punktu widzenia
algorytmów importu
istotne są tylko różnice
• Z uwagi na wydajność
systemu sugeruje się
przekazywać wyłącznie
dane, które uległy
zmianie od czasu
ostatniego wprowadzenia
Scenariusz obsługi błędów
• Błędy pierwszego etapu walidacji
dotyczą przede wszystkim
struktury pliku, jego zgodności ze
schematem oraz słownikami
• Błędy wynikające z importu
opierają się na weryfikacji stanu
bazy oraz złożonych reguł
uwzględniających zależności
pomiędzy danymi w pliku
• Do każdego zestawu błędów
użytkownik otrzyma szczegółowe
zestawienia umożliwiające
identyfikację i szybką korektę
pliku
• W oparciu o informację o błędach
należy dokonać korekty i zaczytać
plik ponownie
Błedy
struktury
pliku
Błędy logiki
biznesowej
Słownik błędów
• Zbiór reguł walidacyjnych dla danych importowanych i wprowadzanych z
interfejsu
• Rozszerzony o instrukcje rozwiązywania problemów
• Słownik pozwala na dynamiczne stosowanie reguł. W specyficznych
okolicznościach istnieje możliwość wyłączenia reguły walidacyjnej dla importu
Kod
błę
du
Typ
Grupa błędów
Kategoria
błędu
Dotyczy
(K - błąd
krytyczny
O – ostrzeżenie)
001
K
Błędy wstępnej
walidacji
Błąd
kodowania
pliku
Struktury
pliku
002
K
Błędy wstępnej
walidacji
błąd
uprawnień
Struktury
pliku
Etap
walidacji (GInterfejs
użytkownika
,
I - import)
I
I
Reguła walidacyjna
Opis biznesowy (Komunikat błędu)
Sugerowane
działanie
(Instrukcja
postępowania dla
pracownika
Uczelni)
Formatowanie pliku inne niż
UTF – 8
Błędne kodowanie pliku
Poprawienie
pliku, zmiana
deklaracji
kodowania w
nagłówku
IdInstytucji z pliku XML <>
IdInstytucji znajującej się w
obszarze uprawnień ADMIN-a
Kod instytucji spoza zakresu uprawnień
importowych
Najprawdopodob
niej
wprowadzono
niewłaściwy klucz
jednostki lub nie
rozszerzono
uprawnień
administratora
Zamiast zakończenia
Rozwiązania na przyszłość:
• Interfejs Web Services
• weryfikacja PESEL w oparciu o system MSWiA
Instrukcje importu:
• http://polon.nauka.gov.pl/dokuwiki/doku.php/import
• http://polon.nauka.gov.pl/instrukcje-uzytkownika