Projektowanie kwestionariuszy

Projektowanie kwestionariuszy
Eurostat
Prezentacja
• Paweł Lańduch
• Urząd Statystyczny w Poznaniu
Projektowanie kwestionariuszy
Moduły
• Moduł główny,
• Projektowanie kwestionariuszy elektronicznych,
• Edycja danych podczas gromadzenia,
• Testowanie kwestionariuszy.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Proces odpowiedzi – skomplikowany proces
organizacyjny i indywidualny/osobowy. Dane mają na
ogół naturę ilościową, znajdują się w systemach danych;
– Dane zbierane są bez udziału ankietera. Osoba
wypełniająca tylko wypełnia dane jako reprezentant.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– W przeciwieństwie do badań społecznych mają charakter
obowiązkowy,
– Definicje i pojęcia mają charakter techniczny, złożony,
często wywodzą się obowiązującego prawa. Praktyka i
standardy są często okolicznością, którą trzeba brać pod
uwagę, np. standardy księgowe. W związku z tym często
kwestionariuszom towarzyszy rozbudowana instrukcja.
Projektowanie kwestionariuszy
• Badania przedsiębiorstw
– Rozkład danych jest asymetryczny na korzyść dużych
przedsiębiorstw,
– Czas jest często bardziej istotnych czynnikiem niż
jakość.
– Długofalowy charakter badań jest jednym z czynników
powodujących niechęć do zmian.
Projektowanie kwestionariuszy
• Proces odpowiedzi
Definicja - rezultat interakcji pomiędzy respondentem a
kwestionariuszem (Edwards & Cantor, 1991,
Measurement Error in Surveys)
Badania społeczne
badania przedsiębiorstw
indywidualny
organizacyjny
pamięciowy
baza danych
zrozumienie
zrozumienie+organizacja
wyszukanie
wyszukanie + baza danych
Projektowanie kwestionariuszy
• Pojęcia i zmienne (przykład)
Statystyka krótkookresowaq
– Pojęcie – Produkcja sprzedana w cenach bieżących (Sa)
– Zmienne




Przychody ze sprzedaży (Sw)
Wartość produktów niezaliczonych do sprzedaży (Sz)
Podatek akcyzowy (Da)
Dotacje przedmiotowe (Dp)
Sa=Sw+Sz-Da+Dp
Projektowanie kwestionariuszy
• Wybór metody zbierania danych
-
Z udziałem ankietera
samodzielnie
Tryb mieszany
Wpływ technologii komputerowych – Internet
-
Faktyczne obciążenie a obciążenie odczuwane
- Dane ilościowe
- Jedna z najbardziej obciążających faz – wyodrębnienie
danych
Projektowanie kwestionariuszy
• Prototyp
– Zawartość merytoryczna i informacje towarzyszące






Pisma wprowadzające,
Aspekt kognitywny,
Wygląd,
nawigacja
instrukcje
Wyzwania technologiczne
– Istotność instrukcji
– Podręcznik - wytyczne (przykład: Economic Directorate
Guidelines on Questionnaire Design. Washington, DC:
U.S. Census Bureau (2008).
Projektowanie kwestionariuszy
– Inne przykłady podręczników: Forms Design Standards
Manual, Australian Bureau of Statistics (2010),
– Handbook of Recommended Practices for Questionnaire
Development and Testing in the European Statistical
System, Eurostat (2006)
- Standardy projektowania dla rozwoju, testowania, oceny
oraz dla elementów technicznych
- Przykład (środowisko WWW – aspekt holistyczny,
dynamika, jedno miejsce gromadzenia danych, jeden
wzorzec dla wszytkich ?)
- Błędy pomiaru – Jakość
- Koszt - obciążenie odpowiedzi – satysfakcja użytkownika
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
•
•
•
•
•
Wpływ na proces odpowiedzi
Wpływ na obciążenie odpowiedzi
Wpływ na jakość
Nowe cechy, możliwości oraz wyzwania
Porównanie – forma papierowa i elektroniczna
Forma wizualna – stronicowanie, skrolowanie,
podobieństwo do wersji papierowych ?
Edycja – element bliskości z respondentem, redukcja
kosztów, zmniejszenie obciążenia, lepsza jakość
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
Automatyczny routing – eliminacja błędów, wcześniejsze
odpowiedzi determinują prezentację następnych pytań,
Podsumowania – oczekiwane przez użytkowników, są elementem
kontroli i spójności,
Wskaźnik zaawansowania – możliwość oceny stanu
zaawansowania, ale istnieją argumenty przeciwko,
Nawigacja – łatwy sposób poruszania, możliwość przerwania i
kontynuacji
Instrukcje – łatwo dostępna, na żądanie użytkownika , np. jako
link
Zabezpieczenia – ważna szczególnie w statystyce przedsiębiorstw
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
Testowanie „użyteczności”
- Psychologia Gestalt jako przykład dla projektowania
wizualnego
- Psychologia kognitywna
- perspektywa projektanta a użytkownika
- projektowanie z użytkownikiem w centrum
- przygotowanie na popełnianie błędów
- mapowanie,
- standaryzacja
- podejście heurystyczne (Jacob Nielsen)
)
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
Przykład: Kwestionariusz papierowy i elektroniczny
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
Pakiet programów MS Office jako przykład standaryzacji
Projektowanie kwestionariuszy –
Kwestionariusz elektroniczny
Efekt automatycznego routingu (luka w numeracji)
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
- Możliwość przeniesienia części edycji danych na poziom
zbierania danych.
- Redukcja kosztów, a także podniesienie jakości
- Możliwość zmniejszenia obciążeń respondenta
- Reguły edycji wbudowane w kwestionariusz
- Dwa rodzaje reguł – błędy i ostrzeżenia
Oczekiwanie:
Zebrane dane wolne od błędów i wysokiej jakości
Pytanie: Czy tak jest ?
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Przykłady prezentowanie komunikatów
Wykorzystanie ikon
Błędy
Ostrzeżenia
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Przykłady
)
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Przykłady reguł dla różnych typów danych:
- Tekst – długość, określony format
- Liczba – zakres, zależności algebraiczne,
- Zdefiniowana lista odpowiedzi
- Pole wymagane
- Reguła dopuszczająca określony typ danych, np. numeryczny
- Sprawdzenie relacji między elementami
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Strategia wybory liczby reguł i ich zakresu
- Ile reguł nie spowoduje braku odpowiedzi ?
- Podejście konserwatywne a ekstensywne
- Jaki sposób prezentacji będzie efektywny ?
- Jeśli reguła będzie zauważona to czy zrozumiała ?
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Wybór strategii (c.d.)
- Co z danymi, które pomimo sygnalizacji nie zostały poprawione?
- Jak testować reguły edycji ?
- Czy pozwolić przesłać dane, które nie spełniają założonych
reguł?
Przesłanki:
– Narzędzie powinno być pod kontrolą użytkownika
– Sposób formułowania komunikatów powinien unikać
kategorycznych stwierdzeń
Projektowanie kwestionariuszy –
Edycja w czasie zbierania danych
Przesłanki (c.d):
– Komunikat powinien być wyzwalany możliwie szybko z
możliwością powtórzenia,
– Ważne są atrybuty lokalizacji błędu
– Możliwość dodania komentarza dla użytkownika
– Namysł nad prezentacją danych z poprzednich okresów
Projektowanie kwestionariuszy –
Testowanie
– Europejski Kodeks Praktyk, Zasada 8, wskaźnik 8.2: W przypadku
badań statystycznych, kwestionariusze poddaje się systematycznym
testom przed rozpoczęciem gromadzenia danych
Ciągły proces
– Wstępny projekt przegląd
– Gromadzenie danych
wstępne testowanie
ocena
– Wstępny test / test w produkcji
rewizja
poprawa
testowania
Projektowanie kwestionariuszy –
Testowanie
- CASM Cognitive aspects of survey methodology
- „podmiot”
proces myślowy odpowiedzi
Głośne myślenie
badanie społeczne
wywiad pogłębiony
badania przedsiębiorstw
w siedzibie przedsiębiorstwa
wizyty przed podjęciem badania
rozszerzenie wywiadów
kognitywnych
Projektowanie kwestionariuszy –
Testowanie
Badania sposobu przechowywania danych
- Jedna z najbardziej obciążających faz – kwerenda wymaganych
danych
- Dane mogą nie istnieć w systemach danych
- Dane mogą być przechowywane w różnych miejscach
- Podłoże kognitywne
- Różne uprawnienia dla różnych osób
Projektowanie kwestionariuszy –
Testowanie
Skutek problemów z uzyskaniem danych
oszacowanie
oszacowanie mało precyzyjne
fałsz
brak odpowiedzi
Testowanie użyteczności
Aspekty wizualne – Czcionka, Grafika, „Wizualne
przepełnienie”
Interface użytkownika - Nawigacja, Mapowanie, informacja
zwrotna
Projektowanie kwestionariuszy –
Testowanie
- Użyteczność (c.d.)
Software
Procesy (planowanie, analiza, implementacja, ocena, zamknięcie)
testy funkcjonalne (black box)
testy strukturalne (white box)
- Testy w fazie produkcyjnej (po zgromadzeniu danych)
Testy pilotażowe
Wywiady z respondentami – formalne i nieformalne
Rozmowy z personelem obsługującym badanie – formalne i nieformalne – jako
pośrednika między respondentem i instytucją prowadzącą badanie
Projektowanie kwestionariuszy –
Testowanie
• Testowanie w fazie produkcyjnej (po zebraniu danych)
Ocena jakości zebranych danych,
–
–
–
–
Pomiar braków odpowiedzi
Detekcja wartości odstających
Danych niespełniających reguł edycji
Porównanie z danymi z innych źródeł
Projektowanie kwestionariuszy –
Testowanie
Metody jakościowe
Testowanie wstępne i
testowanie kognitywne mogą
prowadzić do lepszej budowy
Metody ilościowe
poszukiwanie oceny
wprowadzonych zmian
Projektowanie kwestionariuszy –
Testowanie
Ustanowienie standardów testowania
•
•
•
Standardy minimalne
Standardy rozszerzone
Dobre praktyki
Filarem testowania może być proces odpowiedzi:
•
•
•
Oparty na poszczególnych fazach procesu
Oparty na wyselekcjonowanej liście pytań
Oparty na jakościowych metodach testowania