Projektowanie (design)

Projektowanie (design)
Eurostat
Podstawa prezentacji
• moduł „Overall design” autor – Eva Elvers ze
Statistics Sweden
• Prezentacja autora na szkoleniu w Hadze 28-29
listopada 2013 r.
Zarys
•
•
•
•
•
Badanie statystyczne
Miary statystyczne
GSBPM
Jakość – wybrane aspekty
Projektowanie badania – wybrane elementy
Rodzaje badań - ESS handbook for
quality reports, edycja 2014
1. Badanie oparte na próbie (Sample survey)
2. Spis (Census)
3. Proces statystyczny oparty na źródłach administracyjnych
(Statistical process using administrative source(s))
4. Proces statystyczny korzystający z wielu źródeł danych
(Statistical process involving multiple data sources)
5. Ceny lub inne wskaźniki ekonomiczne (Price or other
economic index proces)
6. Kompilacja statystyczna (Statistical compilation)
Publikacja statystyczna, tablica
zawierająca statystyki
• Miara statystyczna (n.p. suma, średnia lub
mediana)
• Wartość zmiennej (n.p. obrót) dla jednostek
statystycznych (np. przedsiębiorstwo) w grupie.
• Zasób a strumień
• Wyróżnia się podgrupy i domeny estymacji .
• Dla jednostek i miar określa się atrybut okresu
czasowego
Decyzje do podjęcia
• Potrzeby użytkowników
• Zmienna docelowa – zmienna obserwowana
• Koszt, jakość, możliwość zebrania danych,
obciążenie respondentów
• Możliwość obserwacji, model, zmienne
instrumentalne
Decyzje do podjęcia
• Rodzaje jednostek w statystyce przedsiębiorstw
– Przedsiębiorstwo
– Jednostka rodzaju działalności
– Jednostka lokalna
• Operat
– Populacja docelowa
– Braki pokrycia
– Aspekt czasu
Decyzje do podjęcia
• Źródła danych
– Bezpośrednie pozyskiwanie danych
– Wykorzystanie wtórne
– Dane administracyjne
• Wnioskowanie statystyczne
– Skończona populacja
– próba
– rejestr
The GSBPM – Generic Statistical Business Process Model –
UNECE wersja 5.0, grudzień 2013, procesy i podprocesy
Organizacja krajowych US
•
Rejestr przedsiębiorstw
– Podstawa operatu, informacje pomocnicze
•
Statystyki pierwotne
– statystki krótkookresowe (miesięczne, kwartalne) STS – Short
Term Statistics
– Statystki strukturalne (roczne) SBS Structural Business
Statistics
•
Statystyki wtórne
– Rachunki narodowe, bilans płatniczy
Jakość statystyk
• Europejski Kodeks Praktyk Statystycznych
(European Statistics Code of Practice 2011)
• ESS handbook for quality reports, edycja 2014
–
–
–
–
–
Przydatność
Precyzja i rzetelność
Aktualność i terminowość
Spójność i porównywalność
Dostępność i zrozumiałość
GSBPM i składniki jakości
Wybrane podprocesy
projektowania
1.
Specyfikacja
potrzeb
1.1 Identyfikacja potrzeb
1.
Projektowanie
2.1 Projektowanie danych
wynikowych
1.2 Konsultacja i
akceptacja
2.2 Projektowanie opisu
zmiennych
2.3 Projektowanie
metodologii zbierania
danych
2.4 Projektowanie operatu
i doboru próby
2.5 Projektowanie
procesów przetwarzania
2.6 Projektowanie
narzędzi przetwarzania i
przepływów
3. Budowa
3.5 Testowanie systemu
produkcyjnego
3.6 Testowanie procesu
statystycznego
wybrane przykłady
relacji
Składowe jakości wyników
Adekwatność
Precyzja i rzetelność
Aktualność i
terminowość
Spójność i
porównywalność
Dostępność i jasność
Zapewnienie jakości i kontrola jakości
• Zapewnienie jakości (Quality assurance –
QA):
‒ Stosowanie uznanych metod i metodologii
‒ Wiarygodność
‒ Eurostat (2012), Quality Assurance Framework of the
European Statistical System. Version 1.1.
• Kontrola jakości (Quality Control QC):
‒ Weryfikacja
‒ Eurostat (2007), Handbook on Data Quality Assessment
Methods and Tools.
Precyzja
• Źródła błędów (braku precyzji)
–
–
–
–
–
–
–
Losowanie prób
Pokrycie
Pomiar
Brak odpowiedzi
Przetwarzanie
Błędne założenia modelu
Total Survey Error
• Weryfikacja (rzetelność)
– Rewizja, ocena planu badania
Spójność i porównywalność
• Spójność
‒ Łączenie statystyk





Z różnych źródeł
Z różnych badań
Z różnych domen
Tworzonych różnymi metodami
Różne definicje
• Porównywalność
‒ przestrzenne
‒ czasowe
Przydatność
• Potrzeby użytkowników
‒ Klasyfikacja użytkowników np. cel użycia informacji
statystycznych
‒ Koncepcje i definicja
• Satysfakcja użytkowników
• Kompletność
‒ Zmienne i definicje
‒ Regulacje prawne
‒ System badań
Aspekty projektowania
• Projekt
‒ Nowe badanie
‒ Zmiana istniejącego badania
‒ Ciągłe ulepszanie i poprawa
• Zakres
‒ metodologiczny, techniczny
‒ Szereg badań, badanie, element procesu, narzędzie, …
Cel projektu: Optimum
• Wyrażone w prosty sposób
‒ Minimalizować koszty przy danej jakości.
‒ Maksymalna jakość przy danym koszcie (problem:
jakość jest wielowymiarowa).
• Dwa podstawowe zadania
‒ Wybór, np. metod
‒ Alokacja , np. zasobów.
Czym się kierować ?
1.
2.
3.
4.
5.
6.
Operat ?
Próba ?
Metoda gromadzenia danych?
Strategia kontaktu z respondentem ?
Edycja danych ?
Metoda estymacji ?
Teoria i zasady
•
Losowanie prób i estymacja
‒ Błąd średniokwadratowy, MSE (Mean Squared Error),
błąd systematyczny.
• Fazy uzyskania odpowiedzi
‒ zrozumienie, wyszukiwanie, ...
• Gromadzenie danych
‒ tryb, rodzaj danych, reżim czasowy itp.
• Edycja danych
‒ Kontrola jakości.
Projektowanie - ograniczenia
•
•
•
•
•
•
•
Regulacje ograniczające publikacje
Rekomendacje międzynarodowe
Standardy
Ograniczenia w gromadzeniu danych
Wymagania czasowe
Ograniczenia budżetowe
Ograniczenia w źródłach danych
Co trzeba wiedzieć
Populacja i sposób dotarcia do jej jednostek.
Zmienność w populacji i podgrupach.
Interpretacja pytań.
Skłonność do udzielenia odpowiedzi, dostarczenia
wymaganych informacji.
‒ ...
‒
‒
‒
‒
Metody poznawcze
• Badanie pilotażowe
‒ Jakościowe, wyszukiwanie problemów
‒ Ilościowe, wnioskowanie statystyczne
• Eksperyment zagnieżdżony
‒ Trwające badanie
Paradane, metadane
• Dane towarzyszące
‒ Wybrane dane
‒ Analiza i ocena
• Metadane
‒ Dane opisujące statystyki
‒ Definicje
‒ Interpretacja i analiza danych
Aktywny/adaptacyjny projekt
• Element następstwa
‒ Różni respondenci są różnie traktowani
‒ Wykorzystywane są informacje z poprzednich edycji
badań (adapitve design)
‒ Wykorzystywane są informacje z bieżącej edycji
(resposive design)
• Przykłady
‒ “kamienie milowe” podczas gromadzenie, edycji
‒ Tryb kontaktu, strategia monitowania
Optymalizacja
• Koszty, jakość, ograniczenia
‒ Regulacja
‒ Rodzaj gromadzonych danych, obciążenia respondentów
‒ Zasoby i budżet .
‒ Jakość zależy od sposobu wykorzystania
‒ Jakość jest wieloaspektowa!
Podsumowanie
Praca zespołowa
Praca ciągła
Ograniczenia są nieodłącznym elementem
Metadane, paradane (dane towarzyszące)
Architektura: metodologia, IT, …
Integracja danych
Standardy: SDMX, SIMS – Single Integrated
Metadata Structure
• System badań
•
•
•
•
•
•
•