Stefan Doroszewicz Szkoła Główna Handlowa w Warszawie

Stefan Doroszewicz
Szkoła Główna Handlowa w Warszawie
METODYKA KONSTRUOWANIA KWESTIONARIUSZA DO POMIARU JAKOŚCI FUNKCJONALNEJ
ZAJĘĆ DYDAKTYCZNYCH POSTRZEGANYCH PRZEZ STUDENTÓW
Wprowadzenie
Do standardowych zachowań współczesnej organizacji należą: korekta działań odbiegających od
założeń, zapobieganie występowaniu zidentyfikowanych zaburzeń jej działalności i ciągłe doskonalenie
jakości swoich procesów, zasobów i relacji z otoczeniem. Przesłanką dla takich zachowań są wyniki
badań i analiz procesów wewnętrznych i oddziaływań organizacji z otoczeniem. Jednym z kluczowych
sygnałów o charakterze zwrotnej informacji, określających skuteczność, a pośrednio efektywność
organizacji jest opinia klientów o rezultatach jej działalności – wyrobach lub usługach. Jednak pod
warunkiem, że metodyka pozyskiwania i analizy opinii klientów pozwala na uzyskiwanie trafnych,
rzetelnych przesłanek dla działań korygujących, prewencyjnych i doskonalących oraz że takie działania
będą skutecznie podejmowane.
Uczelnię wyższą, wydaje się, można traktować jak organizację, która m.in. świadczy swoim
studentom usługi dydaktyczne – rezultatem jej działalności jest również produkt dostarczany klientom.
W planach swoich działań statutowych i rozwoju uczelnia powinna zatem uwzględniać badania i analizę
opinii studentów o zajęciach dydaktycznych, które im oferuje. Jak się wydaje, pozyskiwanie i analizę
wiarygodnej informacji o tym, co sądzą słuchacze o prowadzonym wykładzie, a w szczególności o tym,
jak wykład jest realizowany (niezależnie od przekazywanych treści merytorycznych), można uznać za
„technologię wspierającą nauczyciela w przekazie wiedzy”. Jeżeli wykład akademicki potraktować jako
usługę, którą pośrednio uczelnia, a bezpośrednio nauczyciel akademicki świadczy studentom, wówczas
zgodnie z modelem Gummessona1 można w niej wyodrębnić dwie domeny: techniczną (merytoryczną)
i funkcjonalną. Charakterystyka wymiarowa domeny technicznej wykładu, określająca treść merytoryczną
wykładanego problemu z natury rzeczy nie może być oceniana przez słuchaczy. Charakterystyka
wymiarowa, a w konsekwencji jakość domeny funkcjonalnej wykładu – ocena tego, jak wykład jest
prowadzony, wydaje się być w zasięgu schematów poznawczych studentów (szczególnie już
zaawansowanych w studiowaniu), a także badania - zarówno struktury wymiarowej domeny funkcjonalnej
wykładu postrzeganego przez studentów, jak i jego jakości funkcjonalnej – mogą wspierać „technologię”
przekazywania wiedzy studentom.
Przeważająca większość uczelni wykonuje pomiary opinii studentów o poszczególnych wykładach,
szczególnie w sytuacji, gdy jest to warunek konieczny uzyskania akredytacji lub certyfikatu systemu
1
K. Rogoziński, Nowy marketing usług, Wyd. AE Poznań, Poznań 1998, s. 205-207.
1
zarządzania jakością zgodnego z normą ISO 9001:20002. Nasuwają się tu jednak wątpliwości związane
z definicją przedmiotu badań, ze stosowaną metodyką, trafnością i rzetelnością stosowanych narzędzi
pomiarowych.
Celem pracy jest sformułowanie założeń postępowania badawczego umożliwiającego opracowanie
narzędzia do pomiaru charakterystyki wymiarowej i jakości domeny funkcjonalnej zajęć dydaktycznych
postrzeganych przez studentów, a w konsekwencji przedstawienie szczególnej postaci kwestionariusza
do pomiarów jakości wykładu akademickiego – wyniku zastosowania tego postępowania w odniesieniu
do próby populacji studentów Studiów Dziennych Szkoły Głównej Handlowej.
Założenia pracy
Przedmiotem przedstawianej pracy jest projekt postępowania badawczego, zorientowanego na
formułowanie charakterystyki wymiarowej i jakości funkcjonalnej zajęć dydaktycznych prowadzonych
w wyższej uczelni, postrzeganych przez studentów Studiów Dziennych. Proponowane postępowanie
oparte jest na następujących, ogólnych założeniach:
−
obiekt badań – forma dydaktyczna – jest traktowany jako usługa świadczona studentom przez
nauczyciela akademickiego,
−
przedmiotami badań są: charakterystyka wymiarowa i jakość funkcjonalna wybranej formy
dydaktycznej, w szczególnym przypadku – wykładu akademickiego, postrzegane przez studentów,
−
charakterystyka wymiarowa obiektu badań jest wyznaczana zgodnie z metodyką SERVPERF3,
−
wyniki zastosowania proponowanego postępowania – kwestionariusz ankietowy i model jakości
funkcjonalnej – są specyficzne dla danej formy zajęć dydaktycznych,
−
kwestionariusz ankietowy sformułowany na podstawie proponowanego postępowania może być
w określonym przedziale czasu historycznego uznany za uniwersalne narzędzie badawcze, możliwe
do zastosowania w każdej uczelni; zmienność schematów poznawczych studentów w czasie wiąże
się z powtarzaniem niżej przedstawionego postępowania w celu aktualizacji charakterystyki
wymiarowej i modelu jakości funkcjonalnej,
−
model jakości funkcjonalnej rozważanej formy zajęć postrzeganych przez studentów studiów
dziennych jest algorytmem specyficznym, dostosowanym do takiego trybu zajęć i konkretnej uczelni.
Postępowanie badawcze – procedura formułowania charakterystyki wymiarowej i wyznaczania
jakości funkcjonalnej danej formy zajęć dydaktycznych, postrzeganych przez studentów
Dla ustalenia charakterystyki wymiarowej i jakości funkcjonalnej wybranej formy zajęć dydaktycznych
postrzeganych przez studentów danej uczelni opracowano procedurę badawczą przedstawioną niżej na
rys. 1. Na potrzeby związane z prezentacją wyników działania tego postępowania za obiekt badań
przyjęto tu wykład akademicki wygłaszany studentom Studiów Dziennych.
2
3
PN-EN ISO 9000:2001, Systemy zarządzania jakością. Podstawy i terminologia, PKN, Warszawa 2001.
J.J. Cronin Jr., S.A. Taylor, Measuring Service Quality: A Reexamination and Extension, “Journal of Marketing” 1992, vol. 56.
2
Rysunek 1. Schemat postępowania badawczego formułowania charakterystyki
wymiarowej i wyznaczania jakości funkcjonalnej wybranej formy zajęć dydaktycznych
postrzeganych przez studentów Studiów Dziennych
Grupy focusowe
studentów studiów
dziennych starszych lat
1. Formułowanie listy cech pierwotnych wykładu i
odpowiadających im stwierdzeń
Technika: burza mózgów
Lista twierdzeń
2. Formułowanie kwestionariusza ankietowego do
pomiaru cech pierwotnych
Technika: siedmiopozycyjna skala typu
Likerta
Kwestionariusz
Próba n1> 30 populacji studentów
studiów dziennych starszych lat
3. Pilotażowe badania ankietowe
Wybrany wykład traktowany jako
prototyp obiektu badań pilotażowych
Technika: ankieta audytoryjna
Wyniki surowe
4. Analiza opinii respondentów, mocy
dyskryminacyjnej stwierdzeń i rzetelności
kwestionariusza
Technika: testy t i • - Cronbacha
Próba n2 =200 studentów
studiów dziennych starszych
Skorygowany
kwestionariusz
5. Badania ankietowe właściwe
Wybrany wykład traktowany jako
prototyp obiektu badań właściwych
Technika: ankieta audytoryjna
Wyniki surowe
6. Agregacja cech pierwotnych; czynniki
3
Technika: eksploracyjna analiza głównych
składowych
Charakterystyka
wymiarowa
wykładu
7. Formułowanie kwestionariusza ankietowego do
pomiaru wag czynników
Technika: skala porządkowa
Kwestionariusz
wag
Próba n3 =70 ÷100 studentów
studiów dziennych starszych lat
8. Badania ankietowe wag czynników
Technika: ankieta audytoryjna
Wagi czynników
i model jakości
funkcjonalnej
9. Formułowanie kwestionariusza ankietowego do
pomiaru jakości wykładu
Technika: szacunkowe skale graficzne
Źródło: opracowanie własne
W postępowaniu schematycznie przedstawionym na rysunku 1 celem pierwszego etapu jest
formułowanie listy cech opisujących daną formę dydaktyczną (tu wykład), deklarowanych przez
studentów. Punktem wyjściowym może tu być kwestionariusz SERVQUAL4 i jego 22 twierdzenia,
określające pięć wymiarów modelowej charakterystyki dowolnej usługi: solidność, pewność, zdolność
reagowania, empatię i materialność. Ostateczna postać listy cech pierwotnych rozważanego obiektu
powinna być sformułowana na podstawie wywiadów przeprowadzonych wśród doświadczonych
studentów określonego trybu studiów.
Celem drugiego etapu postępowania jest kwestionariusz do pomiarów postaw studentów wobec
poszczególnych cech pierwotnych. Poszczególne pozycje tego kwestionariusza mają postać stwierdzeń
wyrażających intencje odpowiadających im cech pierwotnych. Postawy wobec tych twierdzeń są
oceniana przy pomocy siedmiostopniowej skali Likerta5.
4
A. Parasuraman, V.A. Zeithaml, L.L. Berry, SERVQUAL: A Multiple_Item Scale for Measuring Perceptions of Service Quality,
“Journal of Retailing” 1988, vol. 64, no 1.
5
S. Kaczmarczyk, Badania marketingowe. Metody i techniki, PWE, Warszawa 1995, s. 165-168.
4
Celem etapów postępowania: trzeciego i czwartego jest pilotaż tego narzędzia, zorientowany na
badanie komunikatywności oraz mocy dyskryminacyjnej i rzetelności poszczególnych jego pozycji,
a także ogólnej rzetelności kwestionariusza. Zaleca się, aby badanie było przeprowadzone na próbie
n1> 30 studentów w trakcie lub bezpośrednio po realizacji wybranego zajęcia (dostępny prototyp obiektu).
Efektem pilotażu jest skorygowany kwestionariusz.
Celem piątego etapu są tzw. właściwe badania – badania postaw studentów wobec pozycji
skorygowanego kwestionariusza. Liczebność próby populacji studentów powinna tu spełniać warunek
n2 = 150 ÷ 200 osób6.
W szóstym etapie postępowania wykonywana jest agregacja cech pierwotnych. Ze względu na
postać arbitralnie przyjmowanego modelu jakości – wielomianu pierwszego stopnia – metodą agregacji
na ogół jest tu eksploracyjna analiza głównych składowych z rotacją czynników wykonywaną metodą
Varimax norm. Wynikiem interpretacji struktury wyodrębnionych czynników jest charakterystyka
wymiarowa rozważanego obiektu postrzeganego przez studentów – jeden z dwóch głównych efektów
proponowanego postępowania.
Celem siódmego etapu postępowania jest formułowanie kwestionariusza do pomiaru wag
poszczególnych wymiarów sformułowanego, zagregowanego opisu obiektu. Dla potrzeb związanych
z przedstawionym niżej studium przypadku omawiany kwestionariusz wyposażono w skale porządkowe,
polecając respondentom utworzenie relacji porządkującej ich postawy wobec poszczególnych wymiarów
charakterystyki. Zaleca się, aby wagi •i wymiarów były normalizowane zgodnie z równaniem Σ∝i =1.
W ósmym etapie, przy pomocy opracowanego kwestionariusza prowadzone są badania postaw
doświadczonych studentów wobec wag poszczególnych wymiarów opisu obiektu. Efektem tych badań
i analizy uzyskanych wyników jest model jakości funkcjonalnej rozważanego obiektu, postrzeganego
przez studentów. Model ma postać wielomianu
k
Q = ∑ αiq i ,
i
gdzie Q –jakość kompleksowa, qi – jakość cząstkowa wymiaru „i” postrzegane przez studentów,
k – liczba cech charakterystyki wymiarowej obiektu.
Wyznaczone wagi stanowią również przesłankę dla uproszczenia charakterystyki wymiarowej
określonej wcześniej (z opisu można wykluczyć wymiary z pomijalnie małymi wagami, upraszczając tym
samym charakterystykę wymiarową obiektu i kwestionariusz do pomiaru jakości funkcjonalnej wybranych
zajęć).
Na podstawie wyników uzyskanych w ósmym etapie, w ostatnim kroku proponowanego
postępowania, formułowany jest kwestionariusz do pomiaru opinii studentów na temat tego, jak są
prowadzone badane zajęcia.
6
M. Zakrzewska, Analiza czynnikowa w budowaniu i sprawdzaniu modeli psychologicznych, Wyd. Nauk. UAM, Poznań 1994, s.5658.
5
W wyniku zastosowania przedstawionego postępowania i ostatnio wymienionego kwestionariusza
uzyskuje
się
następujące
informacje
artykułowane
„głosem
studenta”
i
badane narzędziem
formułowanym na podstawie postaw studentów:
−
właściwości zajęcia dydaktycznego określone na podstawie postrzegania studentów – wymiary, na
których ci ostatni w rzeczywistości oceniają ten obiekt,
−
hierarchię ważności wymiarów obiektu postrzeganych przez studentów, deklarowaną przez nich,
−
cząstkowe jakości funkcjonalne qi zajęcia dydaktycznego ocenione przez studentów,
−
jakość kompleksową Q obiektu ocenioną przez studentów.
Wymienione informacje, a w konsekwencji proponowane postępowanie, jak się wydaje, w oczywisty
sposób wspierają proces kształcenia dzięki temu, że są określane przy pomocy narzędzia pomiarowego
dostosowanego do percepcji studentów.
Studium przypadku
Postępowanie przedstawione na rys. 1 zastosowano do badań charakterystyki wymiarowej i jakości
funkcjonalnej wykładu akademickiego postrzeganego przez studentów III i IV roku studiów dziennych
Szkoły Głównej Handlowej7. W wyniku badań przeprowadzonych w trakcie czterech pierwszych etapów
sformułowano listę 47 cech pierwotnych i odpowiadających im stwierdzeń. Rezultatem dwóch następnych
etapów postępowania była charakterystyka wymiarowa wykładu akademickiego, określona przez 12
następujących czynników:
1. Dbałość wykładowcy o zachowanie ciągłości i formy wykładu,
2. Fizyczne warunki panujące w sali podczas wykładu,
3. Sumienność wykładowcy związana z zapewnieniem odpowiednich warunków odbioru wykładu,
4. Umiejętność wykorzystywania środków audiowizualnych przez wykładowcę,
5. Umiejętność nawiązywania i podtrzymywania kontaktu ze studentami przez wykładowcę podczas
wykładu,
6. Umiejętność wykładowcy gospodarowania czasem podczas wykładu (timing),
7. Umiejętność logicznego i uporządkowanego prowadzenia wykładu przez wykładowcę,
8. Poważne traktowanie studentów przez wykładowcę,
9. Umiejętność wykładowcy prowadzenia wykładu w sposób interesujący i z zaangażowaniem,
10. Dobre przygotowanie się wykładowcy do prowadzenia wykładu,
11. Umiejętność wykładowcy organizowania informacji o literaturze wspomagającej wykład,
12. Troska wykładowcy o to, aby wykład był zrozumiały.
W
etapach:
siódmym
i
ósmym
zastosowanego postępowania określono wagi
dwunastu
wyodrębnionych czynników i wielomianowy model jakości funkcjonalnej wykładu postrzeganego przez
studentów studiówdziennych SGH:
7
S. Doroszewicz, A. Kobylińska, Jakość wykładu akademickiego postrzeganego przez studentów, [w:] Jerzy Żuchowski (red.),
Towaroznawstwo wobec integracji z Unią Europejską, Wyd. Instytutu Technologii Eksploatacji, Radom 2004, s. 186-193 oraz Model
jakości wykładu akademickiego postrzeganego przez studentów, etap II, Międzykolegialna praca badawcza, pod kierunkiem
Stefana Doroszewicza, Szkoła Główna Handlowa, Warszawa 2004.
6
Q = 0,26q7 + 0,26q9 + 0,18q12 +0,07q10 + 0,04q3 + 0,04q1 + 0,01q2 + 0,01q4+ 0,01q5 + 0,01q6 + 0,01q8 + 0,01q11,
gdzie qi=1,12 – cząstkowe jakości funkcjonalne oznaczone zgodnie z następstwem zastosowanym
w wypadku wyżej przedstawionej listy wymiarów wykładu.
W wyniku badań przeprowadzonych zgodnie z proponowanym postępowaniem uzyskano ważoną
charakterystykę wymiarową wykładu akademickiego, nawiązującą do schematów poznawczych
studentów studiów dziennych SGH, wykorzystywanych przez tych ostatnich w ocenianiu rozważanego
obiektu.
Uzyskaną charakterystykę wykładu, biorąc pod uwagę trzy podzbiory wymiarów: ważnych (cechy 7,
9, i 12), średnio ważnych (cechy 1, 3, i 10) oraz mało ważnych (cechy 2, 4, 5, 6, 8, i 11), jak się wydaje,
można schematycznie przedstawić przy pomocy trójpoziomowej struktury, jak na rys. 2.
Rys. 2. Schemat trójpoziomowej struktury ważonej charakterystyki wymiarowej (jakości funkcjonalnej)
wykładu8
C
B
A
A – rdzeń usługi – domena wymiarów najważniejszych,
interpretowana
jako
umiejętność
wykładowcy
przekazywania wiedzy w sposób zorganizowany
i wzbudzający zainteresowanie studentów
B
–
domena
wymiarów
średnio
ważnych,
interpretowana jako umiejętność budowania relacji
nauczyciel-student przez wykładowcę
C – domena wymiarów mało ważnych, interpretowana
jako umiejętność wykładowcy wzbogacania wykładu
środkami technicznymi, mową ciała, dbałość o formę
wykładu
Wyniki przedstawionego studium przypadku – charakterystyka wymiarowa i model jakości
funkcjonalnej, jak się wydaje, z jednej strony (dwunastowymiarowa charakterystyka) można potraktować
jako uniwersalne i tym samym możliwe do wykorzystania w różnych uczelniach do budowy
kwestionariusza (etap 9 postępowania na rys. 1), z drugiej (struktura wag) – jako specyficzne dla studiów
dziennych w SGH. Pomiary jakości funkcjonalnej wykładów akademickich realizowanych w innych
uczelniach powinny być poprzedzone wykonaniem etapów 7 i 8 proponowanego postępowania na próbie
populacji studentów danej uczelni.
7