pobierz

Testy z udziałem użytkowników
Problem moderowania
eryk orłowski
dyrektor zarządzający @ Komitywa.com
agenda
»
»
»
»
»
»
»
»
»
»
»
»
Role moderatora
Zaangażowanie vs. cel badania
Wywiad wstępny
Niech mówią
Protokół głośnego myślenia
Dopytywanie
Zagrzewaj do boju
Wsparcie dla użytkowników
Po sesji badawczej
Używam komputera za pomocą żony
Jak unikać uprzedzeń
Oglądaj nagrania z własnych sesji
2
Role moderatora badań
»
»
»
Sympatyczny gospodarz
Lider
Neutralny obserwator
– Nie pozwól, by sympatyczny gospodarz w Tobie zagadał
Twoich użytkowników
– Użytkownicy oczekują od Ciebie wykonywania roli
przewodnika, ale pozostaw ich w roli ekspertów
3
Zaangażowanie w interackję vs. cel
badania
»
Mniej interakcji, jeżeli:
– Interesuje Cię czas wykonania zadań
– testujesz zaawansowane makiety, poszukując
błędów
»
Więcej interakcji, jeżeli:
– Testujesz wczesne koncepcje, wymagające
omówień
–
4
Wywiad wstępny
»
»
Wykorzystuj wywiad do oswojenia
respondentów z sytuacją
Pozwól opowiedzieć dwa zdania o sobie,
sposobach użytkowania podobnych
produktów
5
Niech mówią
»
»
»
»
Nie konwersuj, słuchaj
„Przekazuj pałeczkę”, jeżeli to konieczne
Zanim zapytasz, policz do dziesięciu ;-)
Respondenci często oczekują potwierdzenia
albo odpowiedzi na problem – odpowiadaj po
zakończeniu sesji, proś o kontynuowanie
zadań
6
Protokół głośnego myślenia (think
aloud protocol)
»
»
Proś o opisywanie oczekiwań w stosunku do
testowanych elementów/funkcji
Proś o komentarze w czasie sesji
– Na co Pan/i patrzy?
– Co się wydarzyło?
»
Unikaj pytania o przyczyny decyzji
użytkownika w czasie wykonywania zadań
(sugerują błąd)
7
Dopytywanie
Dopytuj, jeżeli chcesz :
»
upewnić się, że respondent rozumie koncepcję
»
dowiedzieć się, dlaczego użytkownicy wybrali określoną
opcję
»
zorientować się, czy efekt jest zgodny z oczekiwaniami
»
dowiedzieć się, czy użytkownicy zauważyli dany element
(lepiej użyj eye-trackera ;-)
Zasada:
»
Wyrażaj ciekawość, a nie pytaj wprost (vide: unikaj pytania o
przyczyny)
8
Zagrzewaj do boju ;)
»
»
Udzielaj pozytywnej informacji zwrotnej PO wykonaniu
zadania
Mów o formie, nie odnosząc się do treści
– Pani komentarz był bardzo pomocny
– Bardzo dobrze sobie Pan poradził z tym zadaniem!
»
Użytkownicy bardzo lubią obwiniać siebie samych za
napotykane problemy z wykonaniem zadania
– Wszyscy mają problem z tym zadaniem (umniejsza wagę problemu)
– Nie jednocz się w bólu z użytkownikiem (wzmacnia negatywną
reakcję i może wpływać na kolejne zadania i komentarze)
9
Wsparcie dla użytkowników
»
Udzielaj wsparcia/interweniuj, jeżeli:
– Respondent utknął, a problem został już zdiagnozowany
– Użytkownik zabrnąć zbyt głęboko w błędną ścieżkę
– Użytkownik sądzi, że wykonał zadanie, którego nie wykonał (jeżeli zależy Ci
na wykryciu dalszych problemów)
– użytkownik wykonuje zadanie według nieoczekiwanego scenariusza (np.
używa funkcji wyszukiwania zamiast przeglądania)
»
Nie tłumacz intencji projektantów
– Jeżeli użytkownik błędnie zinterpretował przeznaczenie danej funkcji /
znaczenie etykiety, możesz na koniec wyjaśnić zamierzenia i poprosić o
opisanie pożądanej przez użytkownika formy
»
»
Możesz przypominać treść zadania
Analizując materiał, pamiętaj o udzielonym wsparciu
10
Po sesji badawczej...
»
Wyjaśnij to, czego nie mogłeś/aś podczas badania
– Zorientujesz się, czy użytkownicy zrozumieli właściwie
koncepcję
»
Pozwól stronom trzecim zamienić kilka zdań z
respondentem (klient, projektant, it developer)
– Twoi klienci bądź IT rzadko mają okazję zobaczyć „żywego
użytkownika”, mogą mieć pytania o przebieg konkretnych
zadań
11
- Używam komputera za pomocą żony.
»
Na pewno zdarzy Ci się trafić na nietypowych respondentów
– Problemy nie muszą wiązać się z intelektem respondentów (np.
problemy z uczeniem się interfejsu, dysleksja)
– Tylko część użytkowników przyznaje się do problemów
»
»
»
Daj nietypowym respondentom więcej czasu na zrozumienie
zadań
Nie oczekuj zbyt wiele po komentarzach głosowych
Nie każ wypełniać ankiet osobiście
12
Jak unikać uprzedzeń
»
»
»
»
Trzymaj się skryptu (jeżeli to możliwe)
Zadawaj pytania otwarte
Postaraj się zadawać te same pytania
wszystkim respondentom
Odpowiadaj pytaniem na pytanie
– Czy to jest to, co powinienem kliknąć?
– A co Pan sądzi na ten temat?
13
Oglądaj nagrania z własnych sesji
»
Prawie nikt nie lubi oglądać i słuchać siebie
samego na ekranie
– Analiza materiałów z własnych sesji badawczych
to najlepszy sposób na unikanie przyszłych
błędów
14
Na podstawie...
»
Moderating Usability
Tests, Principles &
Practices for Interacting
– Joe Dumas, Beth Loring,
Copyright © Elsevier Inc.
»
Liczne doświadczenia
własne 
15
Dziękuję za uwagę
http://tnij.org/moderowanie
eryk orłowski @ Komitywa.com
[email protected] || 605 103 742 || gg# 2765