METODA KOMPUTERYZOWANEGO TESTOWANIA

Michaá STATKIEWICZ
Politechnika KoszaliĔska
METODA KOMPUTERYZOWANEGO TESTOWANIA
PSYCHODIAGNOSTYCZNEGO WYKORZYSTUJĄCA
STANDARDOWE URZĄDZENIA WEJĝCIOWE
1. WstĊp
Statystyczna weryfikacja hipotez badawczych jest jedną z najwaĪniejszych metod zdobywania informacji w badanej dziedzinie. Istotną czĊĞcią takiej weryfikacji jest proces gromadzenia odpowiedniej iloĞci danych w kontrolowanych
warunkach – czyli eksperyment. W dziedzinie interakcji czáowieka z komputerem (ang. Human-Computer Interaction, HCI), w procesie optymalizacji interfejsu uĪytkownika oraz w badaniach nad moĪliwoĞciami rozwoju technologii
uĪywanych w e-nauczaniu konieczne są badania z udziaáem uĪytkowników,
z moĪliwoĞcią obiektywnej rejestracji reakcji generowanych przez tych uĪytkowników.
2. Charakter prowadzonych badaĔ
Prowadzone badania dotyczyáy gáównie moĪliwoĞci rejestracji procesów towarzyszących interakcji uĪytkownika z komputerem oraz gromadzenia informacji
pozwalających tĊ interakcjĊ usprawniaü. Z tego powodu rozsądne byáo zaáoĪenie
przeprowadzania badaĔ przy wykorzystaniu konfiguracji sprzĊtowych moĪliwie
najbardziej zbliĪonych do typowych konfiguracji roboczych w badanym Ğrodowisku – a wiĊc wykorzystanie samych stanowisk komputerowych jako urządzeĔ
pomiarowych. PodejĞcie takie zapewnia maksymalną uĪytecznoĞü uzyskanych
wyników w odniesieniu do rzeczywistej sytuacji oraz wykorzystywanych masowo konfiguracji sprzĊtowych. Wprowadzenie dodatkowych akcesoriów pomiarowych nie tylko zwiĊkszyáoby koszty badaĔ, lecz takĪe mogáoby zakáóciü
sam proces badawczy, skutkując zmniejszeniem wiarygodnoĞci uzyskiwanych
wyników. ZaáoĪenie wykorzystania zestawu komputerowego, zawierającego
tylko standardowe urządzenia wejĞciowe, jako stanowiska badawczego, usprawniáo takĪe samo prowadzenie badaĔ, minimalizując konieczne czynnoĞci przygotowawcze przy organizacji pomiarów.
W badaniach z udziaáem uĪytkowników, prowadzonych w Centrum Ksztaácenia Ustawicznego w Koszalinie, brali udziaá m.in. uczniowie Liceum Profilowanego, w wieku 17-18 lat. Typowymi grupami biorącymi udziaá w badaniach
byáy klasy o liczebnoĞci okoáo 30 osób, co zapewniaáo moĪliwoĞü wyznaczenia
194
Michaá Statkiewicz
wielkoĞci statystycznych opisujących badane zjawiska z wystarczającą pewnoĞcią. W trakcie prowadzonych badaĔ zostaáy uĪyte nastĊpujące moduáy badawcze:
– ViProRT – aplikacja realizująca testy bazujące na teĞcie korektorskim (ang.
Proof Reader Test), umoĪliwiająca ocenĊ czytelnoĞci i uĪytecznoĞci wybranych symboli graficznych oraz elementów tekstowych poprzez wymuszenie
intensywnej pracy pamiĊci wzrokowej krótkotrwaáej (ang. Visual Short-term
memory), jednoczeĞnie pozwalająca oceniü wytrwaáoĞü, wydajnoĞü pracy
oraz szybkoĞü uczenia siĊ uĪytkownika,
– LogosQueue – aplikacja realizująca klasyczny test pamiĊciowy, skáadający
siĊ z szeregu elementów tekstowych, umoĪliwiająca ocenĊ uĪytecznoĞci oraz
czytelnoĞci wybranych zbiorów sáownictwa pod kątem budowy GUI, jednoczeĞnie badająca szybkoĞü kodowania informacji do pamiĊci dáugotrwaáej.
Zadania wykonywane w trakcie testów byáy adekwatne do wybranego, badanego aspektu interakcji, parametry kolejnych zadaĔ mogáy byü modyfikowane
zarówno w obrĊbie badanej grupy uczestników jak i w trakcie sesji testowej
z pojedynczym uĪytkownikiem.
3. Charakterystyka wykorzystywanego w badaniach
oprogramowania
Autorskie oprogramowanie badawcze zostaáo zaprojektowane tak, aby dziaáaü
na standardowym zestawie komputerowym pracującym pod kontrolą dowolnej
32-bitowej wersji systemu Windows®. Wybór systemów z rodziny Windows
jako platformy programowej dla projektowanego oprogramowania podyktowany
zostaá stale utrzymującą siĊ ich popularnoĞcią wĞród uĪytkowników. Oprogramowanie badawcze nie wymaga obecnoĞci w systemie Īadnych specjalizowanych aplikacji i sterowników, poza standardowymi, zapewniającymi poprawną
pracĊ komputera. Podczas projektowania aplikacji testowych postanowiono
oprzeü siĊ na tym samym paradygmacie WIMP (ang. Windows, Icons, Pointers,
Menus – okna, ikony, wskaĨniki i menu), na którym bazują obecnie wykorzystywane systemy operacyjne oraz wiĊkszoĞü aplikacji interaktywnych. W ten
sposób stworzone oprogramowanie umoĪliwia zbieranie danych dotyczących
wáaĞciwych elementów mających wpáyw na jakoĞü interakcji uĪytkownika z
komputerem, jak np. parametrów graficznego interfejsu uĪytkownika(ang. Graphical User Interface, GUI).
Tworząc oprogramowanie, autor postanowiá zastosowaü schemat pracy
uĪytkownika analogiczny do schematu obowiązującego przy organizowaniu
klasycznych testów psychodiagnostycznych. Testy psychodiagnostyczne okazaáy siĊ w tym wypadku dobrym wyborem, pozwalając uzyskaü precyzyjne dane
dotyczące wybranych zagadnieĔ, przy jednoczesnym niewielkim stopniu komplikacji algorytmów programowych. Przebieg pracy z aplikacjami badawczymi
zorganizowany byá w szereg kroków, zawierających:
Metoda komputeryzowanego testowania psychodiagnostycznego…
–
–
–
–
195
instruktaĪ,
identyfikacjĊ uczestnika testu,
wykonywanie zadaĔ wáaĞciwych,
czynnoĞci koĔczące.
W ramach tworzenia zestawu aplikacji psychodiagnostycznych zostaáy równieĪ opracowane moduáy wspomagające automatyczną analizĊ zgromadzonych
danych, umoĪliwiające ocenĊ wpáywu wybranych parametrów testu na jakoĞü
interakcji w badanej grupie uĪytkowników lub ocenĊ strategii pracy pojedynczych uczestników testu.
PoniewaĪ do aplikacji tego rodzaju dostĊp mają mieü osoby nieprzeszkolone
(wyjąwszy krótki instruktaĪ bezpoĞrednio przed testem), toteĪ ergonomia tych
aplikacji oraz ich niska stresogennoĞü jest sprawą pierwszorzĊdną. Na podstawie
przeprowadzonych badaĔ autor proponuje nastĊpujące wáaĞciwoĞci aplikacji
badawczych, umoĪliwiające efektywną pracĊ z uĪytkownikami:
– ograniczenie moĪliwoĞci dziaáania uczestnika testu do zaplanowanego schematu pracy z aplikacją – uczestnik nie powinien np. mieü moĪliwoĞci zmian
parametrów testu, zwáaszcza w trakcie wykonywania zasadniczych zadaĔ,
– czytelnoĞü i áatwa dostĊpnoĞü elementów sterujących pracą aplikacji – elementy sterujące gáównymi funkcjami programu, takimi jak np. zatwierdzenie
odpowiedzi, powinny byü odpowiednio duĪe, áatwo dostĊpne i oznaczone
w jednoznaczny sposób, graficznie bądĨ tekstowo,
– wystĊpowanie krótkich komunikatów instruktaĪowych podczas caáej pracy
z programem, wyĞwietlanych przy kaĪdej zmianie sytuacji na nową – istotne
w tym przypadku jest zapewnienie minimalnej dáugoĞci tych komunikatów,
przy jednoczesnej jednoznacznoĞci i czytelnoĞci, waĪne jest takĪe sformuáowanie ich w sposób maksymalnie przyjazny, aby zapewniü minimalną stresogennoĞü aplikacji, o ile plan testu nie zakáada inaczej,
– automatyczny zapis kompletnych danych pozwalających odtworzyü dokáadnie warunki testu, niezaleĪnie od sposobu zakoĔczenia pracy z aplikacją
przez uczestnika,
– niezaleĪnoĞü wyglądu aplikacji od aktualnej konfiguracji programowej Ğrodowiska, w którym aplikacjĊ uruchamiamy (gáównie staáoĞü proporcji elementów interfejsu, kolorów oraz czcionek),
– wymuszenie peánoekranowego trybu pracy aplikacji, niezaleĪnie od rozmiaru
faktycznie potrzebnej przestrzeni roboczej, w celu ograniczenia wpáywu dodatkowych czynników na przebieg testu.
196
Michaá Statkiewicz
4. Wpáyw urządzeĔ wejĞciowych na dokáadnoĞü
pomiarów
Równie istotny, co efektywnoĞü pracy uĪytkowników z oprogramowaniem testowym, jest wiarygodny pomiar wybranych wielkoĞci podczas przeprowadzania testu. Autorskie aplikacje dokonywaáy pomiaru dwóch gáównych parametrów przy wykonywaniu przez uczestnika testu kaĪdego zadania, byáy to: czas
reakcji oraz jej trafnoĞü (wybór). Jako Īe trafnoĞü wykonania zadania byáa zwykle parametrem typu caákowitego lub prawda-faász, problem dokáadnoĞci w tym
przypadku nie istniaá.
Natomiast w przypadku rejestracji czasu wykonywania zadaĔ przez uĪytkownika przy uĪyciu jedynie standardowych urządzeĔ wejĞciowych komputera,
konieczne byáo wykonanie dodatkowych badaĔ, pozwalających okreĞliü dokáadnoĞü pomiaru czasu [3]. Wykorzystywane urządzenia wejĞciowe, czyli klawiatura i mysz komputerowa, wnoszą podczas rejestracji reakcji uĪytkownika pewne
opóĨnienie.
Np. w przypadku myszy, opóĨnienie to jest sumą opóĨnieĔ generowanych
przez ukáad elektroniczny myszy, elementy obsáugujące port myszy w komputerze, oraz procedury wykrywania zdarzeĔ systemu operacyjnego. Jak wykazaáy
badania, áączne generowane opóĨnienie nie jest staáe, a dominujący wpáyw na
jego wartoĞü ma rodzaj uĪywanej myszy komputerowej. Báąd pomiaru czasu
wprowadzany przez róĪne modele myszy wynosiá w badaniach od 10 do 40 ms.
Te same badania pozwoliáy wyznaczyü rozdzielczoĞü odczytu czasu za pomocą
wewnĊtrznych mechanizmów komputera, która wynosi 1 lub 10 ms.
Uzyskane dane pozwoliáy stwierdziü uĪytecznoĞü wybranej metody pomiaru
czasu pracy uĪytkownika – maksymalny przy tej metodzie báąd moĪe wynieĞü
50 ms, typowy nie przekracza 10 ms, w stosunku do typowych czasów wykonywania zadaĔ przez uĪytkowników wynoszących od 500 do 10000 ms.
5. Podsumowanie
Przeprowadzone dotychczas badania pozwoliáy na uzyskanie istotnych danych
dotyczących wpáywu wybranych elementów interfejsu uĪytkownika na jakoĞü
komunikacji w ukáadzie czáowiek-komputer oraz procesy związane z percepcją
informacji [4]. Oprogramowanie stworzone wedáug ustalonych zaáoĪeĔ pozwala
na efektywną pracĊ z grupami uĪytkowników. Zebrane dane potwierdziáy skutecznoĞü wybranej metody pomiarowej oraz zasadnoĞü stosowania jej w procesie
projektowania interfejsów uĪytkownika. Typowe stanowiska komputerowe wykorzystywane w procesie dydaktycznym, mogą byü jednoczeĞnie wykorzystywane jako efektywne narzĊdzia pomiarowe w przypadku badania reakcji uĪytkowników. DokáadnoĞü pomiaru zarówno czasu wykonywania zadaĔ przez
uĪytkownika, jak i rodzaju reakcji, jest wystarczająco wysoka przy wykorzystaniu jedynie standardowych urządzeĔ wejĞciowych.
Metoda komputeryzowanego testowania psychodiagnostycznego…
197
PodziĊkowania:
– dla Walerego Susáowa za liczne cenne uwagi odnoĞnie oprogramowania
i referatu,
– dla Beaty Reterskiej za wspóápracĊ przy organizacji testów.
Bibliografia:
1. Patryn A., Susáow W., Statkiewicz M., Ileczko G.: Problem chronometrii
zdarzeĔ w ukáadzie operator-komputer, [w:] Materiaáy konferencyjne IX PoznaĔskich Warsztatów Telekomunikacyjnych, PoznaĔ 12.2004, s. 51 55.
2. Susáow W., Statkiewicz M., Reterska B., Wanatowicz S.: Metoda korektorska
weryfikacji uĪytecznoĞci piktogramów w interfejsie graficznym aplikacji
e-learningowych, [w:] Materiaáy konferencyjne I Konferencji „Nowe technologie w zdalnym nauczaniu”, Koszalin – Osieki, 06.2005. s. 234-241.