Rozdział 16 Badanie u ytkowników systemu informacyjnego przy

Rozdział 16
Badanie użytkowników systemu informacyjnego
przy zmianie interfejsu z tekstowego na graficzny
Streszczenie. Przedstawiono badania reakcji użytkowników systemu
wspomagającego zarządzanie przedsiębiorstwem, wykorzystywanego
w ponad stu firmach w Polsce, na zmianę interfejsu, przy zmianie platformy
systemu z DOS na Windows. Badania przeprowadzono na grupie 12
użytkowników. W badaniach wykorzystano system, służący do obsługi
operacji kasowych. Ocenianymi aspektami były skuteczność, wydajność
i satysfakcja użytkownika. Badania wykazały, że system Dos-owy
umożliwiał bardziej efektywną pracę i był lepiej oceniany przez
użytkowników posiadających doświadczenie w pracy z systemami Dosowymi. Nowi użytkownicy, jako system bardziej intuicyjny i prostszy
w obsłudze, wybierali system Windows-owy.
1 Wstęp
W wielu polskich firmach, zwłaszcza z sektora małych i średnich przedsiębiorstw, korzysta
się z aplikacji napisanych jeszcze dla systemu Dos, pomimo, że już od kilku lat nikt nie
korzysta z tego systemu operacyjnego. Nie ma też powszechnej tendencji do zmiany tego
oprogramowania. Zmiany, jeżeli już do nich dochodzi, wywołane są najczęściej nie
zniechęceniem do systemu Dos-owego, ale wymogami związanymi z wprowadzaniem
nowych technologii wewnątrz firmy.
W aplikacjach pisanych dla systemu Dos użytkownik korzysta z interfejsu tekstowego.
W takim modelu interfejsu informacje przedstawiane są jako symbole z określonego
zestawu znaków, a ekran (urządzenie wyjściowe) ma postać prostokątnej macierzy, której
najmniejszą rysowaną jednostką jest znak. Interakcja użytkownika systemu z komputerem
polega na wpisywaniu poszczególnych znaków do systemu przy użyciu klawiatury. Z kolei
w systemie Windows mamy do czynienia z graficznym sposobem prezentacji danych.
Graficzny interfejs użytkownika (ang. GUI – Graphical User Interface) przedstawia
informacje i pozwala na interakcje człowiek-komputer poprzez rysowanie i obsługiwanie
elementów graficznych, zwanych widżetami lub kontrolkami. Głównym elementem
systemu z graficznym interfejsem użytkownika jest okno programu, wewnątrz tego okna
rozmieszczone są elementy graficzne wspomagające interakcje człowieka z komputerem.
Pierwszą zauważalną różnicą pomiędzy tymi trybami jest obsługa z wykorzystaniem
myszy, w trybie tekstowym wszystkie interakcje wykonywane są z użyciem jedynie
Bogdan Trawiński, Barbara Trzcińska: Politechnika Wrocławska, Instytut Informatyki
Stosowanej, Wybrzeże Wyspiańskiego 27, 50-370 Wrocław, Polska
email: [email protected], [email protected]
B. Trawiński, B. Trzcińska
klawiatury, podczas gdy w trybie graficznym wiele akcji użytkownika wykonywanych jest
właśnie za pomocą myszy. W trakcie przejścia z systemu obsługiwanego w trybie
tekstowym na system w trybie graficznym możliwy jest etap pośredni z wykorzystaniem
tzw. okna hybrydowego, czyli okna w trybie tekstowym, który umożliwia umieszczanie
elementów graficznych oraz obsługę zdarzeń za pomocą myszy.
Celem badań prezentowanych w niniejszym rozdziale było pokazanie, w jaki sposób
użytkownicy reagują na zmianę interfejsu oprogramowania, porównanie efektywności
pracy na aplikacjach Dos-owych i Windows-owych, a więc dokonanie oceny jakości,
w tym przede wszystkim użyteczności aplikacji w obu systemach operacyjnych.
2 Użyteczność systemów informacyjnych
Dostępnych jest wiele pozycji literaturowych na temat teorii użyteczności [7], [9], [10],
projektowania zorientowanego na użytkownika [5], [6], [8], [12], [13] i badania
użyteczności [2], [3], [6], [11], [14] wiele przydatnych materiałów można znaleźć na
polskiej stronie internetowej www.uzytecznosc.pl. Zgodnie z normą ISO 9241 użyteczność
można określić jako „zakres, w jakim produkt może być wykorzystywany przez
określonych użytkowników w celu osiągnięcia wymaganych rezultatów z odpowiednią
skutecznością, efektywnością i satysfakcją w określonym kontekście użycia” [1]. Wpływ
na użyteczność mają wydajność, trafność, dokładność pracy i uzyskanych wyników, ale
przede wszystkim satysfakcja użytkownika, czyli stopień swobody, komfortu
i pozytywnego nastawienia do oprogramowania.
Rys. 1. Struktura badania użyteczności [1]
W celu zbadania użyteczności systemu niezbędne jest stworzenie odpowiednich testów,
a do ich przeprowadzenia niezbędne jest dokonanie:
− opisu celu, jaki chcemy uzyskać wskazanymi działaniami użytkownika;
− opisu wszystkich składników kontekstu użycia systemu takich, jak: charakterystyka
użytkownika, opis wykonywanych zadań, wykorzystywany sprzęt i środowisko
testów.
2
Badanie użytkowników systemu informacyjnego przy zmianie interfejsu z tekstowego na graficzny
Oceniając użyteczność systemu należy posługiwać się trzema podstawowymi miarami:
− skuteczność (ang. effectiveness), – która określa, w jakim stopniu został osiągnięty
oczekiwany i wymagany rezultat;
− wydajność (ang. efficiency) – określający jakość działania systemu, czyli zasoby
wykorzystane w trakcie wykonywania poszczególnych zadań;
− zadowolenie użytkownika (ang. user satisfaction) – odczucia użytkownika w trakcie
używania systemu, komfort działania.
Produkt informatyczny charakteryzujący się wysoką użytecznością pozwala na
wykonanie zadania szybciej, łatwiej i z mniejszą liczbą popełnionych błędów; skrócenie
czasu nauki i szkolenia, zapobiegające frustracji użytkownika; osiągnięcie zadowolenia
przez użytkownika ze sprawnie wykonanej pracy; pozytywne nastawienie użytkownika
i brak jego oporów przed ponownym użyciem oprogramowania.
3 Opis badanego systemu
Badaniu poddano program Kasa-Dos (aplikacja dla systemu Dos) oraz jego
unowocześnioną wersję Kasa-Win (aplikację dla systemu Windows) [1]. Program ten
przeznaczony jest dla firm, które dokumentują obrót gotówkowy, czyli wpłaty lub wypłaty
pieniężne do lub z kasy firmy. System Kasa-Dos sprzedawany jest od kilkunastu lat
i aktualnie jest wykorzystywany przez ponad 100 klientów na terenie całego kraju. Jest to
odrębne oprogramowanie, jednak zwykle jest dołączane do innych systemów, jak systemy
finansowo-księgowe; księgi przychodów i rozchodów; systemy ewidencji magazynowej
i fakturowania sprzedaży.
Rys. 2. Struktura powiązań relacyjnych w bazie danych systemu Kasa-Win
System Kasa-Dos został oprogramowany przy użyciu języka Clipper 5.01 i korzysta
z bazy danych w formacie dBase, natomiast system Kasa-Win został zrealizowany
3
B. Trawiński, B. Trzcińska
w środowisku Borland Delphi 6.0, a jego baza danych w systemie Microsoft SQL Server.
Struktury baz danych obu systemów są podobne – na Rys. 2 przedstawiono diagram
powiązań relacyjnych pomiędzy podstawowymi tabelami w systemie Kasa-Win.
Systemy Kasa-Dos i Kasa-Win zostały podzielone na następujące moduły funkcjonalne
(Rys. 3): kasa przyjmie, kasa wyda, raporty kasowe oraz funkcje systemowe.
Rys. 3. Model funkcjonalny badanych systemów Kasa-Dos i Kasa-Win
4 Wyniki badań
W badaniach wzięło udział 12 ochotników, których wybrano z dwóch grup: 6 uczestników
spośród osób, które wcześniej pracowały z poprzednią Dos-ową wersją badanego systemu,
pozostałych 6 uczestników nie miało żadnej styczności z systemem Kasa, rekrutowano ich
spośród rekrutowano spośród studentów i absolwentów uczelni ekonomicznych.
Uczestnicy mieli do wykonania 10 zadań w pełni odzwierciedlających funkcjonalność
systemu. Zadania obejmowały podstawowe operacje wykonywane z wykorzystaniem
systemu kasowego, były one następujące:
1) wystawienie i wydrukowanie dowodu Kasa Przyjmie(KP),
2) wystawienie i wydrukowanie dowodu Kasa Wyda(KW) z dopisaniem nowego
kontrahenta,
3) zmiana danych kontrahenta,
4) otwarcie nowego raportu kasowego, wystawienie i wydrukowanie dowodu KW,
5) wyszukanie i wydrukowanie dowodu kasowego KP,
6) odczytanie podstawowych danych z raportu kasowego z danego tygodnia,
7) wyszukanie ostatniego dowodu KP i korekta pozycji,
8) wyszukanie dowodu kasowego dla wybranego kontrahenta, wystawionego w danym
dniu,
9) wyszukanie i wydrukowanie określonego raportu kasowego,
10) wystawienie, wydrukowanie i usunięcie dowodu KW.
Dla każdego zadania określono warunek zaliczenia zadania oraz wartości procentowe
poszczególnych etapów zadnia, aby możliwe było późniejsze określenie stopnia
poprawności wykonania.
4.1 Poprawność wykonywania zadań
Oceniano poprawność danych wpisywanych do systemu dotyczących kontrahentów,
pracowników oraz dowodów kasowych. Zaobserwowano, że uczestnicy nie popełniali
wielu błędów w trakcie badania. Dla obu systemów poprawność wykonywania zadań
sięgała 100%, wynika z tego, że oba systemy są proste i intuicyjne. Biorąc pod uwagę
4
Badanie użytkowników systemu informacyjnego przy zmianie interfejsu z tekstowego na graficzny
kryterium poprawności wprowadzania danych nie zauważono różnic pomiędzy systemem
Kasa-Dos a Kasa-Win.
4.2 Czas wykonywania zadań
a) pracujący w cześniej
Kasa-Dos
Kasa-Win
250
Czas [s]
Czas [s]
Kasa-Dos
b) nieznający systemu
200
200
150
150
100
100
50
50
0
1 2
3
4 5
6 7
8
Kasa-Win
250
0
9 10
1
2 3
4
5 6
Nr zadania
7
8 9 10
Nr zadania
Rys. 4. Średni czas wykonania zadań
Użytkownicy pracujący wcześniej z systemem Kasa-Dos początkowo czuli dyskomfort
w trakcie korzystania z systemu Kasa-Win. Świadczą o tym wyniki przedstawione na
wykresie na Rys. 4a, gdzie zaobserwowano znacznie dłuższy czas wykonywania zadań
w systemie Kasa-Win aniżeli w systemie Kasa-Dos. Podobne zestawienie dla
użytkowników nieznających systemu Kasa-Dos przebiega na korzyść systemu Kasa-Win.
Czas wykonywania zadań w systemie Kasa-Win był krótszy (Rys. 4b).
b) system Kasa-Win
a) system Kasa-Dos
Kliknięcia
Kliknięcia
Pracujący wcześniej
Nieznający systemu
50
40
40
30
30
20
20
10
10
0
Pracujący wcześniej
Nieznający systemu
50
0
1
2
3
4
5
6
7
8
9 10
Nr zadania
1
2
3
4
5
6
7
8
9 10
Nr zadania
Rys. 5. Średnia liczba kliknięć (lub uderzeń w klawiaturę) przy wykonywaniu zadań
5
B. Trawiński, B. Trzcińska
4.3 Liczba kliknięć lub uderzeń w klawiaturę
Wykresy na Rys. 5 przedstawiają liczbę kliknięć i/lub uderzeń w klawiaturę dla
badanych systemów. W przypadku pracy z systemem Dos bardzo ważna okazała się
praktyka oraz okres, jaki użytkownik przepracował z systemem. Pracując z systemami Dosowymi niezbędne jest poświęcenie czasu na naukę systemu i zapamiętanie podstawowych
funkcji systemu (skrótów klawiszowych), jednak z upływem czasu praca z takim systemem
jest szybsza, wręcz automatyczna. Po analizie zachowania uczestników badania w systemie
Windows zaobserwowano, że dla obu grup średnia ilość kliknięć jest podobna, co pozwala
wyciągnąć wniosek, że system jest jednakowy dla wszystkich, jest prosty, intuicyjny
i prawdopodobnie doświadczenie w niewielkim stopniu może wpłynąć na szybkość
i wydajność pracy z takim systemem.
4.4 Wyniki ankiety
Analizując wyniki oceny łatwości nauki i obsługi systemu, intuicyjności i przejrzystości
systemu oraz satysfakcji pracy z systemem zestawiono wyniki obu systemów ze względu
na jedenaście następujących kryteriów, zawartych w pytaniach ankiety:
1) Szybkość nauki systemu;
2) Łatwość nauki systemu;
3) Przyjazność systemu;
4) Konieczność korzystania z pomocy;
5) Łatwość zrozumienia poleceń i funkcji systemu;
6) Łatwość obsługi skrótów klawiszowych;
7) Czytelność prezentowanych w systemie danych;
8) Rozpoznawalność ekranów oraz funkcji systemu;
9) Satysfakcja pracy z systemem;
10) Kolorystyka interfejsu i jej wpływ na czytelność danych w systemie;
11) Szybkość wykonywania pracy..
a) Oceny kryteriów
b) Oceny użytkow ników
Kasa-Dos
Kasa-Win
Liczba punktów
Liczba punktów
Kasa- Dos
25
20
15
10
Kasa-Win
25
20
15
10
5
5
0
0
1 2 3 4 5 6 7 8 9 10 11
Nr pytania
1 2 3 4 5 6 7 8 9 10 11 12
Nr uczestnika
Rys. 6. Suma punktów przyznanych przez uczestników dla poszczególnych kryteriów
Sumę punktów przyznanych przez użytkowników dla każdego z kryteriów pokazano na
Rys. 6a. System Kasa-Dos został oceniony zdecydowanie lepiej dla kryteriów 6 i 11,
natomiast system w Kasa-Win dla kryteriów 3, 4 i 8. Dla każdego z kryteriów sumaryczna
6
Badanie użytkowników systemu informacyjnego przy zmianie interfejsu z tekstowego na graficzny
ocena zawierała się w przedziale od 0 do 24 punktów. Przyjęto, więc że kryterium jest
ocenione bardzo dobrze, jeśli suma punktów przekracza 16, natomiast źle, gdy suma
punktów nie przekracza 8 punktów. Na tej podstawie za najlepiej ocenione cechy systemu
Kasa-Dos przyjęto: szybkość nauki systemu, łatwość nauki systemu, łatwość obsługi
skrótów klawiszowych, kolorystykę interfejsu i jej wpływ na czytelność danych
prezentowanych w systemie oraz szybkość wykonywania pracy w systemie. Najniższe noty
zanotowano dla konieczności korzystania z pomocy w trakcie pracy z systemem. Dla
systemu Kasa-Win najlepsze wyniki wypadły dla: szybkości nauki systemu, łatwości nauki
systemu, przyjazności systemu, braku konieczności korzystania z pomocy oraz łatwości
rozpoznania ekranów i funkcji systemu. Najniżej oceniono łatwość obsługi skrótów
klawiszowych oraz szybkość pracy z systemem.
Rys. 6b przedstawia wykres sumy punktów przyznanych przez każdego użytkownika
obu systemom. Pierwsza grupa sześciu użytkowników zdecydowanie lepiej oceniła system
Kasa-Dos, są to uczestnicy wcześniej korzystający z tej wersji systemu, natomiast druga
grupa to uczestnicy nieznający żadnej wersji i dla tej grupy lepszy wydaje się być system
Kasa-Win. Wynika to z wcześniej zauważonych już cech decydujących o łatwości nauki
i obsługi systemu z interfejsem graficznym oraz intuicyjności działań w takim systemie.
Zalety systemów Dos-owych, takie jak wydajność i szybkość pracy są w stanie zauważyć
jedynie użytkownicy, którzy przez dłuższy czas pracują z takim systemem, dzieje się tak
w przypadku użytkownika 12, który posiada ponad sześcioletnie doświadczenie w pracy
z systemami Dos-owymi, dlatego mimo pierwszego kontaktu z systemem Kasa-Dos lepiej
ocenia właśnie ten system.
5 Podsumowanie badań
W dobie powszechnie przyjętego systemu operacyjnego Windows, każdy użytkownik jest
przyzwyczajony do interfejsu okienkowego i zaczynają pojawiać się opinie, że taki interfejs
jest jedynym słusznym. System Windows powstał w wyniku rozwoju technologii, ale jedną
z podstawowych przyczyn powstania systemu operacyjnego z graficznym interfejsem
i obsługą myszy, ułatwiającą poruszanie się po systemie, była próba upowszechnienia
używania sprzętu komputerowego oraz aplikacji komputerowych. Systemy ze
środowiskiem graficznym miały pomóc zwykłemu użytkownikowi, nieznającemu
zaawansowanych zasad działania systemów komputerowych, zapoznać się z komputerem
i możliwościami, jakie oferuje.
Niestety wprowadzenie interfejsu graficznego ma również swoje wady. Bardzo często
obsługa myszy spowalnia pracę z aplikacją. Na podstawie przeprowadzonych badań
stwierdzono, że system umożliwiający aktywowanie wszystkich poleceń tylko i wyłącznie
za pomocą klawiatury będzie obsługiwany znacznie szybciej niż system, który do
poprawnego wykonywania funkcji potrzebuje obsługi myszy komputerowej. Nasuwa się
więc wniosek, że poprawnie zaprojektowana aplikacja Windows-owa powinna umożliwiać
obsługę wszystkich funkcji i poleceń za pomocą klawiszy. Jednakże nawet, jeśli taka
obsługa jest zapewniona, użytkownicy często nie potrafią oprzeć się użyciu myszy. Wynika
to z przyzwyczajenia i traktowania myszy jako podstawowego urządzenia wskazującego.
Technologię Dos-ową można uznać za technologię przestarzałą oraz pod każdym niemal
względem ustępującą technologii Windows. Aplikacje Dos-owe tracą udziały w rynku, ale
jednak ku zdziwieniu ekspertów, bardzo powoli. W związku z tym należałoby spróbować
wydobyć z nich to, co najlepsze i wykorzystać te cechy w nowoczesnych aplikacjach.
7
B. Trawiński, B. Trzcińska
Literatura
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
International Standard ISO 9241-11:1998(E): Ergonomic requirements for office work with
visual display terminals (VDTs) - Part 11: Guidance on usability, 1998.
Ivory M.Y., Hearst M. A.: The State of the Art in Automating Usability Evaluation of User
Interfaces. ACM Computing Surveys, Vol. 33, No. 4, December 2001, pp. 470–516
Karwicki T., Trawiński B.: Badanie użytkowników w czasie wdrażania nowego internetowego
systemu informacyjnego. W: Multimedialne i sieciowe systemy informacyjne. Materiały
konferencyjne pod red. Czesława Daniłowicza. [Szklarska Poręba, 16-17 września 2004]. Vol.
1.: Oficyna Wydaw. PWroc., Wrocław, 2004
Maguire M.C.: User Centered Requirements Handbook. Report D5.3. RESPECT Consortium,
1998
Nielsen J.: Projektowanie funkcjonalnych serwisów internetowych, wydawnictwo Helion,
Gliwice 2003
Nielsen J.: Why You only need to Test With 5 Users, www.useit.com/alertbox/, 2000
Norman D. A.: Emotional Design: Why We Love (or Hate) Everyday Things . Basic Books 2005
Norman D. A.: The Design of Everyday Things. Basic Books 2002
Pearrow M.: Funkcjonalność stron internetowych. Helion 2002
Prętczyński Z., Materny M., Kotulski Z.: HCI w systemach wspomagających zarządzanie
przedsiębiorstwem, w: J.Kisielnicki [ed.], Informatyka narzędziem zarządzania w XXI w.,
s. 391-400, PJWSTK i Wydział Zarządzania UW, Warszawa 2003.
Rubin J.: Handbook of usability testing: How to plan, design, and conduct effective tests, John
Wiley & Sons, 1994.
Spolsky J.: Projektowanie interfejsu użytkownika. Poradnik dla programistów, Mikom,
Warszawa 2001
Tidwell J.: Designing interfaces: Patterns for effective interaction design, O’Reilly Media, 2005
Trzcińska B.: Problemy przenoszenia systemów informacyjnych ze środowiska DOS do
Windows, Praca magisterska na Wydziale Informatyki i Zarządzania Politechniki Wrocławskiej,
Wrocław 2005.
Paper title: Investigation of information system users when changing from text to
graphical interface
Abstract. Users’ response to the change of textual interface to graphical one
in an information system for cash management is reported in a chapter.
Twelve users participated in the experiment. Effectiveness, efficiency and
user satisfaction were the main aspects investigated. It was observed that the
Dos system enabled more effective work and was assessed as a better one by
the users experienced in the cash management system with a textual
interface. The users beginning their work with the cash management system
chose the Windows system as more intuitive and simpler to operate.
Słowa kluczowe: system informacyjny, użyteczność, badanie użytkowników
8