Masowy import danych - POL-on

Masowy import danych
Marek Michajłowicz
Agenda
• Proces importu
• Główne założenia
• Wybrane scenariusze importu
Kontekst importu i terminy
Czynności przygotowawcze
• Akceptacja struktury jednostki
• Dodanie uprawnieo w zakresie importu masowego
odpowiednim pracownikom
• Edycja i pobranie kluczy Jednostek
• Pliki importu powinny byd najpierw skompresowane do
formatu .zip
• Kodowanie w UTF-8
• Pliki wewnątrz paczki importu powinny byd podzielone
pod względem zawartości (Studenci, Pracownicy,
Doktoranci)
Proces importu jest asynchroniczny
• W pierwszym etapie
weryfikacja zgodności ze
schematem XML oraz
uprawnienia
• Użytkownik od razu
powiadamiany o wyniku
operacji
• Po zakooczeniu plik
dodawany do kolejki
importu
• Import uruchamiany w
godzinach wieczornych.
• Po przetworzeniu
wysyłany e-mail do
użytkownika z informacją
o wyniku importu
Wycofanie importu
• Import inicjalny daje możliwośd całkowitego wycofania
zmian w bazie wprowadzonych w ramach importu
zakooczonego wynikiem pozytywnym
• Jako import inicjalny kwalifikowany jest każdy import
wykonany w tracie pilotażu, czyli do dnia 30-09-2011 r.
• Operacja anulowania importu jest możliwa dla pliku
będącego w statusie przekazany do zaimportowania
• Operacja anulowania daje możliwośd zwalidowania
zgodności plików ze schematem i słownikami bez
ryzyka całkowitego importu
Główne założenia
•
•
•
•
•
•
•
•
Plik importu zaczytywany jest do systemu wyłącznie wtedy, gdy w pełnym zakresie
przejdzie proces walidacji. Żaden pojedynczy rekord pliku nie może mied błędów
zdefiniowanych w systemie jako odrzucające plik
Korekta polega na zastąpieniu poprzednio wysłanych danych danymi
skorygowanymi
Jako zasada rozwiązywania konfliktów obowiązuje reguła „ostatni wygrywa”
Import ma charakter przyrostowy
System na bazie zawartości pliku rozpoznaje określony typ operacji: dodania,
aktualizacji, usunięcia informacji o studencie, doktorancie, pracowniku z rejestru
W trakcie importu w jednostce nie można wprowadzad danych z interfejsu
użytkownika
Użytkownik otrzyma jak najbardziej szczegółowy raport zwrotny zawierający pełną
informację o zakresie zmian wprowadzonych do rejestru po imporcie
Danych wprowadzonych do wykazu nie usuwa się. Aktualizacja dokonuje się
poprzez wprowadzenie do wykazu nowych danych, przy zachowaniu danych
dotychczasowych
Aktualizacja danych
• Aktualizacja danych w systemie możliwa jest
poprzez interfejs oraz mechanizm importu
• Mechanizm importu danych z pliku opracowany
został w zamyśle jako rozwiązanie masowego
zasilenia systemu danymi o studentach i
pracownikach naukowo-dydaktycznych.
• W przypadku zmian jednostkowych sugerowanym
rozwiązaniem jest edycja danych bezpośrednio z
poziomu interfejsu użytkownika.
Spójnośd danych w plikach
Minimum
kadrowe
Zatrudnienie
Pracownik
Naukowy
Osoba
• Pliki XML zawierają obiekty określonego typu
(Student, Pracownik, Doktorant), które
powinny zachowad wewnętrzną spójnośd
• Nie
ma
możliwości
przekazania
wyodrębnionej sekcji zatrudnienia bez
informacji o osobie. Można natomiast
przekazad zatrudnienia bez oświadczenia o
minimum kadrowym, jeżeli nie zostało ono
złożone
• Przekazywanie pełnego zakresu danych ma
na celu zapewnienie spójności pomiędzy
systemami i uwzględnienie wszystkich zmian
zachodzących w czasie (np. tych które nie
zostały przekazane w ramach wcześniejszych
importów)
• Komplet
danych
umożliwia
bardziej
wiarygodną identyfikację osoby z pliku
Konflikt uprawnieo
IdKierunku
= 11
IdKierunku
= 22
IdKierunku =
11
• Administrator może wykonad
zmiany tylko w obszarze
jednostki, do której ma
uprawnienia
• W przypadku pliku importu
weryfikacja dokonywana jest w
oparciu o identyfikatory
jednostek
• W przypadku błędu uprawnieo
plik zostanie odrzucony na
etapie wstępnej weryfikacji
Import pełny czy przyrostowy?
Jan
Kowalski
Jan
Kowalski
Jan
Kowalski
• Brak różnicy danych nie
powoduje zmian w bazie
• Z punktu widzenia
algorytmów importu
istotne są tylko różnice
• Z uwagi na wydajnośd
systemu sugeruje się
przekazywad wyłącznie
dane, które uległy
zmianie od czasu
ostatniego wprowadzenia
Wgrywanie wielokrotne
Student.xml
Student.xml
Student.xml
• W aktualizacji danych
zaimportowanych
poprawnie dla tego
samego zakresu,
decyduje zasada
„ostatni wygrywa”
Scenariusz obsługi błędów
• Błędy pierwszego etapu walidacji dotyczą przede
wszystkim struktury pliku, jego zgodności ze
schematem oraz słownikami
• Błędy wynikające z importu opierają się na weryfikacji
stanu bazy oraz złożonych reguł uwzględniających
zależności pomiędzy danymi w pliku
• Do każdego zestawu błędów użytkownik otrzyma
szczegółowe zestawienia umożliwiające identyfikację i
szybką korektę pliku
• W oparciu o informację o błędach należy dokonad
korekty i zaczytad plik ponownie
Słownik błędów
• Zbiór reguł walidacyjnych dla danych importowanych i wprowadzanych z
interfejsu
• Rozszerzony o instrukcje rozwiązywania problemów
• Słownik pozwala na dynamiczne stosowanie reguł. W specyficznych
okolicznościach istnieje możliwośd wyłączenia reguły walidacyjnej dla importu
Kod
błę
du
Typ
Grupa błędów
Kategoria
błędu
Dotyczy
(K - błąd
krytyczny
O – ostrzeżenie)
001
K
Błędy wstępnej
walidacji
Błąd
kodowania
pliku
Struktury
pliku
002
K
Błędy wstępnej
walidacji
błąd
uprawnieo
Struktury
pliku
Etap
walidacji (GInterfejs
użytkownika
,
I - import)
I
I
Reguła walidacyjna
Opis biznesowy (Komunikat błędu)
Sugerowane
działanie
(Instrukcja
postępowania dla
pracownika
Uczelni)
Formatowanie pliku inne niż
UTF – 8
Błędne kodowanie pliku
Poprawienie
pliku, zmiana
deklaracji
kodowania w
nagłówku
IdInstytucji z pliku XML <>
IdInstytucji znajującej się w
obszarze uprawnieo ADMIN-a
Kod instytucji spoza zakresu uprawnieo
importowych
Najprawdopodob
niej
wprowadzono
niewłaściwy klucz
jednostki lub nie
rozszerzono
uprawnieo
administratora
Zamiast zakooczenia
Rozwiązania na przyszłośd:
• Interfejs Web Services
• weryfikacja PESEL w oparciu o system MSWiA
Szczegółowa instrukcja importu opublikowana
zostanie w serwisie informacyjnym