metodologia ACSI-MJR Wyznaczenie indeksu satysfakcji

___________________________________
___________________________________
___________________________________
Strukturalne skalowanie satysfakcji
obywatela – metodologia ACSI-MJR
dr Henryk Banaszak
Katarzyna Wądołowska
Tomasz Żółtak
___________________________________
___________________________________
___________________________________
___________________________________
Projekt „Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie” jest realizowany
dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu
Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego.
___________________________________
___________________________________
Idea prostego pomiaru strukturalnego
Wskaźniki typu „przyczyny”
Wskaźniki typu „skutki”
X1
Y1
Cecha
ukryta
Z
Y2
Problem pomiaru:
…
X2
X3
…
znajdź taką funkcję przyczyn
Xp
która najlepiej przewiduje skutki
Z = f(X1, X2, …, Xp),
Ys
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
(Y1, Y2, …, Ys)
Pomiar strukturalny
___________________________________
___________________________________
___________________________________
Wyznaczenie indeksu satysfakcji
Katarzyna Wądołowska
___________________________________
___________________________________
___________________________________
___________________________________
Projekt „Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie” jest realizowany
dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu
Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego.
___________________________________
oczekiwania
i doświadczenia
konsekwencje oczekiwań
i doświadczeń
skargi na jakość
usługi i sposób
ich załatwiania
poziom wymagań
względem usługi
odczuwana
jakość usługi
wskaźniki
jakości
Od czego zależy satysfakcja?
poziom
satysfakcji
z usłługi
___________________________________
___________________________________
___________________________________
___________________________________
zaufanie do
jakości usługi
w przyszłości
Co zależy od satysfakcji?
___________________________________
___________________________________
Schemat pomiaru satysfakcji użytkownika usługi (1)
1
___________________________________
Q1
ogólne
oczekiwania
Q9
czy złożył
skargę
poziom
wymagań
względem usługi
Q6
ogólna
satysfakcja
Q5
ogólna ocena
jakości
Q2
ocena jakości
wymiaru 1
poziom
satysfakcji
z usłługi
Q7
spełnianie
oczekiwań
Q3
ocena jakości
wymiaru 2
___________________________________
Q10A/B
reakcja na
skargę
odczuwana
jakość usługi
wskaźniki
jakości
skargi na jakość
usługi i sposób
ich załatwiania
Q8
porównanie
z ideałem
Q11
polecanie
usługi innym
zaufanie do
jakości usługi
w przyszłości
Q12
wiara w stabilność
poziomu jakości
Q4
ocena jakości
wymiaru 3
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Schemat pomiaru satysfakcji użytkownika usługi (2)
___________________________________
Przykładowe pytanie z kwestionariusza
dla Urzędu Skarbowego
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Przykładowe pytanie
___________________________________
Wymiary jakości badanych usług publicznych
Częstotliwość kursowania środków transportu
Komunikacja publiczna
___________________________________
___________________________________
Punktualność kursowania środków transportu
Wygląd i czystość środków transportu
___________________________________
Sprawność załatwienia sprawy
Urząd Gminy
Urząd Skarbowy
ZUS / KRUS
Łatwość uzyskania informacji na temat sposobu
załatwienia sprawy, opłat, potrzebnych dokumentów
Kompetencje urzędników załatwiających sprawę
Szybkość dostarczania przesyłek
Urząd Pocztowy
Dogodność terminów dostarczania przesyłek poleconych
Szybkość załatwiania spraw i kolejek
___________________________________
___________________________________
___________________________________
Wymiary jakości usług (1)
___________________________________
Wymiary jakości badanych usług publicznych
Szybkość reakcji
Policja
Skuteczność interwencji
Sposób potraktowania przez policjantów
___________________________________
___________________________________
___________________________________
Pomocność pracowników biblioteki
Biblioteka Publiczna
Dostępność informacji o zbiorach bibliotecznych
Dostępność książek i materiałów multimedialnych
Oferta organizowanych zajęć i imprez
Dom lub Ośrodek
Kultury
___________________________________
___________________________________
Jakość organizowanych zajęć i imprez
Poziom wyposażenia, jakość pomieszczeń, jakość
sprzętu technicznego
___________________________________
Wymiary jakości usług (2)
2
___________________________________
___________________________________
Wymiary jakości badanych usług publicznych
___________________________________
Możliwość umówienia się na wizytę w odpowiadającym
terminie
Usługi medyczne
(5 rodzajów usług)
Posiadane kompetencje lekarza, personelu
Życzliwość wobec pacjenta
___________________________________
___________________________________
Poziom bezpieczeństwa dziecka w szkole
Szkoła podstawowa /
gimnazjum
___________________________________
Poziom nauczania w szkole
Relacje rodzica z wychowawcą
___________________________________
Wymiary jakości usług (3)
___________________________________
modele SEM-PLS
odczuwana jakość
usługi
I1
poziom
satysfakcji
z usługi
łł
wskaźniki
jakości
zaufanie do
jakości usługi
w przyszłości
poziom wymagań
względem usługi
skargi na jakość
usługi i sposób
ich załatwiania
usłługa 2.
odczuwana jakość
usługi
wskaźniki
jakości
poziom
satysfakcji
z usługi
łł
..
.
odczuwana jakość
usługi
wskaźniki
jakości
indeks MJR
dla usługi
wagi proporcjonalne
do liczby osób, które
korzystały z usługi w
ciągu ostatniego roku
zaufanie do
jakości usługi
w przyszłości
I10-100
średnia
MJR1
I20-100
..
.
..
.
średnia
MJR2
..
.
___________________________________
___________________________________
u1
I2
___________________________________
u2
MJR(o)
uk
___________________________________
___________________________________
skargi na jakość
usługi i sposób
ich załatwiania
poziom wymagań
względem usługi
usłługa k.
unormowana
satysfakcja
obywateli
(skala 0-100)
skargi na jakość
usługi i sposób
ich załatwiania
poziom wymagań
względem usługi
usłługa 1.
satysfakcja
obywateli
Ik
poziom
satysfakcji
z usługi
łł
Ik0-100
średnia
MJRk
zaufanie do
jakości usługi
w przyszłości
___________________________________
Struktura MJR
___________________________________
Satysfakcja z usługi pojedynczego obywatela
___________________________________
___________________________________
___________________________________
Ik(x)
poziom satysfakcji z usługi k dla respondenta x
wki
współczynniki dla wskaźników Qi uzyskane w wyniku estymacji
modelu strukturalnego dla usługi k
Qki(x)
odpowiedź respondenta x na pytanie wskaźnikowe Qi
dotyczące usługi k
Pytania wskaźnikowe opierają się na skali od 1 do 9
___________________________________
___________________________________
___________________________________
Sposób wyznaczania indeksu satysfakcji (1)
___________________________________
Satysfakcja z usługi pojedynczego obywatela na skali 0100
___________________________________
___________________________________
___________________________________
Ik0-100(x) poziom satysfakcji z usługi k dla respondenta x na skali 0-100
wki
współczynniki dla wskaźników Qi uzyskane w wyniku estymacji
modelu strukturalnego dla usługi k
Qki(x)
odpowiedź respondenta x na pytanie wskaźnikowe Qi
dotyczące usługi k
Zmienna Ik0-100 jest wyrażona na skali od 0 do 100
___________________________________
___________________________________
___________________________________
Sposób wyznaczania indeksu satysfakcji (2)
3
___________________________________
Ogólna forma indeksu satysfakcji (MJR)
___________________________________
___________________________________
___________________________________
Indeks satysfakcji obywateli wyliczany jest jako średnia satysfakcja
(wyrażona na skali 0-100) zbadanych osób z danej usługi
___________________________________
Taka średnia może zostać policzona zarówno dla całej Polski, jak i np.
dla poszczególnych województw (bierzemy wtedy pod uwagę tylko
mieszkańców danego województwa)
___________________________________
___________________________________
MJR jest wyrażony na skali od 0 do 100
Sposób wyznaczania indeksu satysfakcji (3)
___________________________________
Indeks jakości rządzenia na danym obszarze
___________________________________
___________________________________
___________________________________
MJRk(o) indeks satysfakcji z usługi k na obszarze o (w województwie
lub w całej Polsce)
uk
waga proporcjonalna do częstości korzystania obywateli
z usługi k (wagi unormowano tak, aby MJR(o) było wyrażane
na skali 0-100)
___________________________________
___________________________________
___________________________________
MJR jest wyrażony na skali od 0 do 100
Sposób wyznaczania indeksu satysfakcji (4)
___________________________________
___________________________________
Zalety MJR
___________________________________
Zalety praktyczne
Zalety metodologiczne
Sprawdzona metodologia
Standaryzowany sposób oceny
satysfakcji
Możliwość agregacji i porównań
uzyskanych ocen
Możliwość śledzenia zmian w
uzyskanych ocenach w czasie
Zobiektywizowana ocena jakości
działania służb publicznych
Opis jakości usług na poziomie
ogólnokrajowym i lokalnym
Pozyskanie informacji na temat
oczekiwań obywateli wobec
instytucji publicznych
Możliwość wdrożenia okresowej
kontroli jakości działania służb
publicznych
___________________________________
___________________________________
___________________________________
___________________________________
Zalety podejścia
___________________________________
___________________________________
___________________________________
PLS rekonstrukcja metody
Tomasz Żółtak
___________________________________
___________________________________
___________________________________
___________________________________
Projekt „Partycypacja obywatelska: diagnoza barier i stworzenie narzędzi wspomagających dobre rządzenie” jest realizowany
dzięki wsparciu udzielonemu przez Islandię, Liechtenstein i Norwegię poprzez dofinansowanie ze środków Mechanizmu
Finansowego Europejskiego Obszaru Gospodarczego oraz Norweskiego Mechanizmu Finansowego.
4
___________________________________
___________________________________
Statystyczna geneza PLS
Podstawy podejścia opracowane na przełomie lat 60. i 70. XX w.
przez Hermana Wolda.
___________________________________
Uczniem Wolda był Jöreskog, twórca modeli SEM-ML.
W odróżnieniu od modeli SEM-ML metoda PLS z założenia miała
być mało wymagająca względem danych:
Nie odwoływać się do założeń o rozkładach zmiennych.
Umożliwiać estymację nawet przy małej liczbie jednostek obserwacji.
W latach 80. w pracach Wolda i Lohmöllera przedstawiono dowody,
że przy pomocy pewnych wariantów modeli PLS można estymować:
Korelacje kanoniczne (w tym dwa uogólnienia korelacji kanonicznej na
wiele grup zmiennych zaproponowane przez Horsta i Carolla).
Regresję PLS.
Inter-battery factor analysis.
Redundancy analysis.
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Własności estymacji metodą PLS
W odróżnieniu od modeli SEM-ML algorytm estymacji PLS w
ogólności nie dąży do maksymalizacji żadnej globalnej funkcji
dopasowania modelu do danych.
___________________________________
Choć dla szczególnych modeli (por. poprzedni slajd) można wskazać, że
efektem działania algorytmu jest optymalizacja pewnego kryterium.
Estymacja modelu strukturalnego metodą PLS w ogólności daje się
opisać tylko jako realizacja rozsądnego algorytmu działania. Nie można
jednak (w ogólności) syntetycznie powiedzieć, do czego ten algorytm
dąży.
___________________________________
Modele PLS są nakierowane na przewidywanie i eksplorację
(możliwość uwzględnienia bardzo wielu zmiennych bez napotykania
problemów z identyfikowalnością modelu czy niestabilnością
wyników), a nie (jak SEM-ML) na testowanie hipotez.
___________________________________
___________________________________
___________________________________
___________________________________
Estymacja PLS
___________________________________
W modelu wydziela się część pomiarową (zewnętrzną) i część
strukturalną (wewnętrzną).
Ogólna idea estymacji sprowadza się do naprzemiennego wyliczania
współczynników zewnętrznej i wewnętrznej części modelu w oparciu
o wartości zmiennych ukrytych obliczone na podstawie
współczynników z poprzedniego kroku estymacji.
___________________________________
X11
ξ1
ξ5
X31
ξ3
X21
X22
ξ4
ξ6
ξ2
X23
X41
X42
___________________________________
___________________________________
X51
X52
X61
X62
___________________________________
___________________________________
X43
___________________________________
Warianty dla części pomiarowej
Warianty można wybrać niezależnie od siebie dla każdego bloku zmiennych.
X21
X22
ξ2
X23
X21
X22
X23
ξ2
Blok typu reflective:
Xij= ωij0+ ωijξj+εij
E(εij)=0, cor(εij,
ξj)=0
Dla każdej zmiennej w bloku estymowane jest
oddzielne równanie regresji liniowej.
Blok powinien być jednowymiarowy (teoria plus
sprawdzian empiryczny, np. PCA, alfa Cronbacha).
Blok typu formative:
ξj=∑ω ijXij+δj
E(δj)=0, ∀i cor(δj,
Xij)=0
Dla całego bloku estymuje się jedno równanie regresji
liniowej.
Z analizy należy usunąć zmienne, dla których
okazałoby się, że sign(ω ij)≠sign(cor(Xij, ξj))
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
5
___________________________________
___________________________________
Warianty dla części strukturalnej
ξj=ej0+∑eijξi+νj
___________________________________
gdzie ξi są bezpośrednio połączone z ξj (również gdy ξi następują po ξi )
Centroid scheme:
eij=sign(cor(ξi, ξj))
Factorial scheme:
eij=cor(ξi, ξj)
Path weghting scheme:
___________________________________
___________________________________
eij=βξ |ξ ; ξ ’ dla ξi poprzedzających ξj w porządku
j i
i
czasowym
eij=cor(ξi, ξj) dla ξi następujących po ξj w porządku
ξ1
czasowym
ξ3
___________________________________
ξ5
ξ4
ξ2
___________________________________
ξ6
___________________________________
Algorytm estymacji PLS
1. Załóż początkowe wartości współczynników dla pomiarowej części
modelu (ωij). Współcześnie używa się zwykle wag z 1. składowej
głównej.
2. Oblicz zewnętrzne estymatory zmiennych ukrytych jako:
ξj∝ ∑ω ij [Xij –E(Xij)]
gdzie ∝ oznacza standaryzację wyrażenia po prawej.
3. Na podstawie tak wyliczonych estymatorów oblicz wartości
współczynników strukturalnej części modelu (eij).
4. Oblicz wewnętrzne estymatory zmiennych ukrytych jako:
ξj∝ ∑ei ξi
5. Na podstawie tak wyliczonych estymatorów oblicz nowe wartości
współczynników zewnętrznej części modelu (ωij).
6. Powtarzaj kroki 2.- 5. do uzyskania zbieżności.
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Algorytm estymacji PLS
Po uzyskaniu zbieżności wykonuje się dwa ostatnie kroki:
7. Wyliczenie ostatecznych wartości estymatorów zmiennych ukrytych:
ξj=∑ωij [Xij –E(Xij)] / σ gdzie σ=D(∑ωij [Xij –E(Xij)] )
Tak uzyskane estymatory zwykle unormowuje się jeszcze na jeden z
dwóch sposobów:
(„odcentrowanie” zmiennej)
1) ξj‘= ξj+∑ωijE(Xij) / σ
2) ξj‘’= [ξj ‘+∑ωijE(Xij) ] / ∑ωij
równoważnie:
ξj‘’= ∑ωijXij / ∑ωij
(przedstawieniu zmiennej ukrytej na tej samej skali, co zmienne
mierzalne danego bloku)
8. Wyliczenie współczynników opisujących zależności przyczynowe w
części strukturalnej modelu, przy użyciu analizy ścieżkowej.
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Własności
Estymacja metodą PLS sprowadza się do liczenia dużej liczby
regresji liniowych, przy czym w każdym kroku procedury iteracyjnej
każde z równań opisujących model jest wyliczane oddzielnie.
Stąd niewielkie zapotrzebowanie na liczbę jednostek obserwacji –
decyduje tutaj największa liczba zmiennych niezależnych występujących
w pojedynczym równaniu (np. w modelu MJR cztery zmienne).
Mniejsze są też problemy w przypadku braków danych – dany brak
występuje bowiem tylko lokalnie, w jednym równaniu.
W związku z tym nie występują też (dosyć często występujące w
SEM-ML) problemy z nieidentyfikowalnością modelu.
Błędy standardowe współczynników modelu można uzyskać z
regresji obliczanych w ostatnim kroku estymacji, jednak obecnie
często oblicza się je przy pomocy metod symulacyjnych (jakcknife,
bootstrap).
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
6
___________________________________
___________________________________
Miary dopasowania
Model PLS nie optymalizuje żadnego globalnego kryterium
dopasowania do danych. Zaproponowano jednak kilka miar
pozwalających ocenić wyniki estymacji:
Indeks zmienności wspólnej (communality index):
Miara wyliczana dla każdego bloku oddzielnie:
communalityj=E[cor2(Xij, ξj)]
Jako miary globalnej można użyć średnią ze wszystkich bloków.
Redundancy index:
Miara wyliczana dla każdego bloku oddzielnie:
redundancyj=communalityj R2ξ |ξ
j
wyjaśniają ξj
{i}
gdzie ξi
Jako miary globalnej można użyć średnią ze wszystkich bloków.
GoF (Goodness-of-fit):
GoF=[ E(communality) E(R2ξ |ξ ) ]0,5
j
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
{i}
___________________________________
Wyznaczanie pametrów modelu MJR: SEM - PLS
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
SEM: MLE vs PLS
___________________________________
• Model
Co dalej z MJR ?
Weryfikacja trafności modelu reakcji klienta (relacje
między konstruktami)
Weryfikacja trafności wskaźników
Problemy statystyczne: nieliniowość relacji konstruktwskaźnik, respondent-bias,
• Realizacja sondaż
żu
Definicja populacji użytkownków usługi i kontrola
reprezentatywności ich prób
Tanie technologie dotarcia do klientów usług
• Otoczenie modelu
Wyczerpujące badanie triady lokalnej (O – W – N)
Statystyka publiczna – efektywność usługi na obszarze
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
___________________________________
Projekt testów i rozwoju MJR
7