Wpływ udziału użytkownika na jakość użytkową w projektach

Krzysztof Redlarski*
Beata Basińska**
Wpływ udziału użytkownika na jakość użytkową
w projektach informatycznych
Wstęp
W artykule przedstawiono analizę zależności pomiędzy udziałem
użytkownika w projektach informatycznych, a jakością użytkową produktu końcowego. Podjęty problem badawczy wydaje się mieć istotne
znaczenie dla zapewnienia skutecznej realizacji przedsięwzięć informatycznych, pozwalając na osiągniecie wspólnych korzyści wśród uczestników projektu. Udział projektów zakończonych całkowitym niepowodzeniem stale wzrasta, a wśród użytkowników obserwowalne jest niezadowolenie związane z akceptacją nowych produktów informatycznych.
W związku z powyższym przeprowadzono badania ankietowe
wśród uczestników projektów, które miały na celu ocenę związku pomiędzy obecnością użytkowników końcowych w projekcie IT, a stopniem spełnienia wymagań jakościowych produktów o różnym stopniu
innowacyjności. Badania zostały przeprowadzone z użyciem elektronicznych kwestionariuszy ankietowych. W celu ilościowej weryfikacji
zależności występujących pomiędzy wymienionymi zmiennymi posłużono się statystyką 2 (testem nieparametrycznym chi-kwadrat dla
zmiennych nominalnych).
1. Problematyka zapewnienia jakości użytkowej produktów
informatycznych
1.1. Skuteczność w realizacji projektów informatycznych
W ostatnich latach obserwowalny jest dynamiczny wzrost zastosowań produktów informatycznych do wspomagania różnych form aktywności człowieka. Według danych zaprezentowanych przez Jayaswal
i Patton [Jayaswal, Patton, 2008] na przestrzeni ostatnich 50 lat wydajMgr inż., Katedra Zastosowań Informatyki w Zarządzaniu, Wydział Zarządzania
i Ekonomii, Politechnika Gdańska, [email protected]
** Dr, Katedra Zastosowań Informatyki w Zarządzaniu, Wydział Zarządzania i Ekonomii, Politechnika Gdańska, [email protected]
*
582
Krzysztof Redlarski, Beata Basińska
ność sprzętu komputerowego wzrosła 1010 razy, a tempo programowania wzrosło około 500 razy. Z drugiej strony obserwowalny jest również
wzrost świadomości społeczeństwa na temat nowych rozwiązań informatycznych [Bliźniuk, 2005]. Obecni użytkownicy produktów informatycznych oczekują od nowych rozwiązań nie tylko samej funkcjonalności, ale również wysokiej jakości użytkowej.
Spełnienie wymagań i oczekiwań użytkowników jest trudne, czego
dowodem są dane dotyczące analizy skuteczności realizacji kilkudziesięciu tysięcy projektów informatycznych przeprowadzone w latach
1994-2006 przez Standish Group [Johnson, 2007], (patrz, rys. 1) oraz wyniki badań zebrane od ponad 300 respondentów z Polski, z których wynika, że statystycznie tylko 21% projektów informatycznych kończy się
pełnym sukcesem [Frączkowski i inni, 2011].
Rysunek 1. Skuteczność realizacji projektów informatycznych w latach 19942006
Źródło: Opracowani własne, na podstawie [Johnson, 2007], [Chmielarz, 2010].
Z danych przedstawionych na rysunku 1 wynika, że przedsiębiorstwa realizujące projekty informatyczne ciągle borykają się z problemami dotyczącymi skutecznej ich realizacji. Liczba projektów zakończonych całkowitym niepowodzeniem stale rośnie, a zmniejszaniu ulega
współczynnik sukcesu projektów.
Jedną z przyczyn takiego stanu rzeczy może być niezapewnienie
odpowiedniego poziomu jakości użytkowej dla tworzonego produktu
i niezaakceptowanie produktu w środowisku użytkownika. Oznacza to,
że w osiągnięciu sukcesu w realizacji projektów IT coraz ważniejszą rolę
Wpływ udziału użytkownika na jakość użytkową w projektach…
583
odgrywa satysfakcja użytkownika końcowego. W związku z tym udział
użytkownika w projekcie IT może wpłynąć pozytywnie na jakość produktu poprzez lepsze jego dopasowanie do potrzeb odbiorcy. Z drugiej
strony zbędna obecność użytkownika może być niekorzystna dla projektu IT jako przedsięwzięcia. Obecność użytkownika może spowodować
wzrost kosztów całego przedsięwzięcia, a tym samym może doprowadzić do obniżenie konkurencyjności produktu na rynku sprzedaży.
Z tego względu istotne jest rozpoznanie, które typy projektów informatycznych odniosą korzyść z udziału uczestników.
Przeprowadzona analiza rynku pokazuje, że projekty IT można podzielić zasadniczo na dwie kategorie:
1) innowacyjne, w których produkt budowany jest od podstaw, wyłącznie w oparciu o zdefiniowane potrzeby klienta,
2) klasyczne, w których produkt budowany jest na podstawie podobnego rozwiązania, które z powodzeniem zostało wdrożone u innego
klienta.
1.2. Uczestnicy projektów informatycznych
Z analizy literatury wynika, że głównymi udziałowcami w projektach informatycznych są [Sikorski, 2000], [Kisielnicki, Sroka, 2001], [Berkun, 2006]:
1) użytkownicy – czyli grupa osób będących użytkownikami końcowymi finalnego produktu,
2) projektanci / dostawcy – grupa osób odpowiedzialnych za opracowanie odpowiedniego rozwiązania projektowego, a często również
za wdrożenie produktu,
3) menedżerowie / zleceniodawcy – grupa osób odpowiedzialnych
z ramienia inwestora za skuteczne wdrożenie określonego rozwiązania.
Udział tych grup uczestników w projekcie jest szczególny, gdyż
wymaga znalezienia optymalnego punktu równowagi wypracowanego
dla różnorodnych perspektyw i oczekiwań wszystkich grup projektu.
Jak wynika z literatury [Sikorski, 1996], opisany problem jest jedną
z głównych przyczyn niepowodzeń w projektach informatycznych, która została określana mianem konfliktu interesów jakościowych. Konflikt
ten polega na faworyzowaniu własnych rozwiązań:
1) projektant - dąży do wyboru technologii wytwarzania produktu,
według posiadanych umiejętności,
584
Krzysztof Redlarski, Beata Basińska
2) kierownik - dąży do realizacji projektu według metody pozwalającej
na maksymalizację zysków,
3) użytkownik - dąży do uzyskania produktu spełniającego jego oczekiwania, bez uwzględnienia problemów natury projektowej.
Stale brakuje badań, które w ocenie jakości użytkowej produktu informatycznego uwzględniają opinię uczestników projektów informatycznych Chcąc podjąć próbę częściowego rozwiązania powyższego
problemu przeprowadzone zostały badania ankietowe z uwzględnieniem wszystkich grup uczestników projektów IT. Polegały one na znalezieniu związku pomiędzy udziałem użytkownika w projekcie, a jakością użytkową produktu.
1.3. Jakość użytkowa produktu
Szczególnie aktualnym terminem w odniesieniu do jakości produktów informatycznych jest użyteczność (ang. usability). W literaturze
przedmiotu [Nielsen, 2011], [Sikorski, 2010b] spotkać możemy różne jej
definicje. Według prekursora badań nad użytecznością Jacoba Nielsena,
użyteczność została zdefiniowana jako atrybut jakości, który ocenia jak
łatwy w użyciu jest interfejs produktu. Słowo użyteczność odnosi się
również do metod doskonalenia produktu w trakcie procesu projektowania.
Natomiast jakość użytkowa jest cechą produktu, która odpowiada
za ogólną satysfakcję użytkownika podczas pracy z produktem, przy
wykonywaniu zadań roboczych. Przyjęty termin pozwala wykluczyć
możliwość mylnego tłumaczenia na j. polski słowa użyteczność (ang.
usability). [Sikorski, 2010a] Według Nielsena jakość użytkową jest definiowana za pomocą pięciu podstawowych atrybutów, którymi są: [Nielsen, 1993]
1) łatwość nauki (ang. learnability),
2) skuteczność osiągania celów (ang. efficiency),
3) łatwość zapamiętywania (ang. memorability),
4) odporność na błędy (ang. errors),
5) satysfakcja użytkownika (ang. satisfaction).
W prezentowanej pracy przyjęto, że jakość użytkowa rozumiana
jest jako zbiór atrybutów produktu IT, który wyzwala satysfakcję w subiektywnym odczuciu użytkownika końcowego.
Wpływ udziału użytkownika na jakość użytkową w projektach…
585
2. Wpływ udziału użytkownika na jakość użytkową produktu –
badania ilościowe
Celem przeprowadzonych badań ankietowych, w grupie składającej się z 30 uczestników projektów informatycznych, była ocena związku
pomiędzy udziałem użytkownika w projekcie IT, a jakością użytkową
produktu. Postawiono następujące hipotezy:
H1: Udział użytkowników końcowych w projekcie IT zależy od jakości
użytkowej produktu.
H2: Udział użytkowników końcowych w projekcie IT zależy od typu
produktu informatycznego związanego ze stopniem jego innowacyjności.
Jakość użytkową mierzono z użyciem elektronicznego kwestionariusza ankietowego, w którym respondenci odpowiadali na pytanie:
Jaka była Pani/Pana zadaniem jakość użytkowa produktu końcowego?
Reprezentowali ją z użyciem 5-stopniowej skali jakości (bardzo słaba,
słaba, przeciętna, dobra i bardzo dobra), gdzie 1 oznacza jakość bardzo
słabą, a 5 oznacza jakość bardzo dobrą. Udział użytkowników oceniano
na skali bimodalnej: projekty realizowane z udziałem i bez udziału
użytkowników. Stopień innowacyjności projektów oceniano poprzez
następujące pytanie zadane respondentom: Jaki rodzaj miał produkt,
którego ankieta dotyczy? W pytaniu do wyboru były dwie odpowiedzi:
odtwórczy (klasyczny) lub innowacyjny (kreatywny). Ostatecznie projekty informatyczne klasyfikowano jako odtwórcze i innowacyjne.
Przeprowadzono analizę ilościową danych. Zastosowano nieparametryczny test χ2 dla zmiennych nominalnych [Górniak, Wachnicki,
2010], który pozwolił na ocenę związku liniowego pomiędzy jakością
użytkową produktu, a udziałem użytkownika. Z uwagi na liczebność
grupy przyjęto wartość poziomu istotności α = 0,1. Dodatkowo do oceny
siły związku pomiędzy zmiennymi jakościowymi obliczono: współczynnik φ. Wartość tego współczynnika wynosząca 0,1 świadczy o małej
sile związku, a wartość 0,3 i 0,5 odpowiednio o umiarkowanej i dużej
sile związku [King, Minium, 2009]. Do analizy danych wykorzystano
oprogramowanie Statistica v. 10 dystrybuowanego na licencji firmy
StatSoft.
Na rys. 2. przedstawiono wykres interakcji analizowanych zmiennych, który pozwolił przedstawić sumarycznie liczebności udziału
użytkownika w zależności od uzyskanego poziomu jakości (słaba, przeciętna, dobra, bardzo dobra).
586
Krzysztof Redlarski, Beata Basińska
Rysunek 2. Interakcje zmiennych udział użytkownika i jakość użytkowa
produktu
Wykres interakcji: JAKOŚĆ PRODUKTU - UDZIAŁ UŻYTKOWNIKA
10
8
Liczności
6
4
2
0
-2
Słaba
Przeciętna
Dobra
Bardzo dobra
Jakość użytkowa produktu końcowego
Brak użytkowników końcowych w projekcie IT
Udział użytkowników końcowych w projekcie IT
Źródło: Opracowani własne.
Z analizy wykresu wynika bowiem, że w przypadku projektów
w których występował użytkownik końcowy, jakość użytkowa produktu rosła osiągając swoje maksimum przy określonej liczności zmiennej.
Natomiast w projektach w których użytkownik nie brał bezpośredniego
udziału, brak jest wyraźnej tendencji wzrostowej dla jakości użytkowej
produktu.
Wstępna analiza wyników zmiennej jakość użytkowa pokazała, że
ankietowani nie wykorzystali wszystkich poziomów skali odpowiedzi.
Przeważały oceny bardzo dobre (33%), a ani razu nie wybrano oceny
bardzo słaba jakość użytkowa. Prawdopodobnie zadziałała tu potrzeba
aprobaty społecznej, co mogło przyczynić się do zawyżania oceny jakości użytkowej projektu informatycznego. Zmienna aprobaty społecznej
często powoduje zakłócenia w wynikach prowadzonych badan ankietowych [Randall, Fernandes, 1991]. Do dalszych analiz dokonano przekodowania tej zmiennej na dwie kategorie:
1) jakość bardzo dobra – przypadki w którym produkty charakteryzujące się wyłącznie bardzo dobrą jakością – najwyższą w przyjętej
skali,
2) jakość akceptowalna – przypadki w których produkty charakteryzowały się inną jakością niż bardzo dobra.
Wpływ udziału użytkownika na jakość użytkową w projektach…
587
Zastosowanie takiego podejścia było również konieczne z uwagi na
niewystraczającą ilość obserwacji w poszczególnych komórkach (n < 5),
niezbędnych do przeprowadzenia analiz.
Jakość użytkową produktu informatycznego w zależności od udziału użytkowników końcowych w projekcie przedstawiono na rys. 3 za
pomocą histogramu zagregowanych odpowiedzi uzyskanych od respondentów badania ankietowego.
Rysunek 3. Odpowiedzi dla zmiennych udział użytkownika i jakość
produktu
Źródło: Opracowani własne.
Najliczniejszy udział użytkowników wystąpił w projektach o bardzo dobrej jakości użytkowej. Szczegółowe dane przedstawiono w tablicy 1.
Tablica 1. Kontyngencja jakości użytkowej produktu i udziału użytkownika
w projekcie IT
Udział
użytkownika
Nie
Tak
Razem
Jakość użytkowa produktu
Akceptowalna
Bardzo dobra
4
1
16
9
20
10
Razem
5
25
30
Źródło: Opracowanie własne.
Przeprowadzone obliczenia statystyczne nie pozwoliły na przyjęcie
postawionej hipotezy, że jakość użytkowa produktu informatycznego
zależy od udziału użytkowników końcowych. Wartość obliczonej staty-
588
Krzysztof Redlarski, Beata Basińska
styki 2 = 0,48 była mniejsza od wartości statystyki testowej 2 = 2,71 (dla
α = 0,10 oraz liczby stopni swobody df = 1) i nie osiągnęła poziomu istotności statystycznej (p = 0,488 ). W dalszej kolejności weryfikowano związek pomiędzy jakością użytkową projektu informatycznego, a stopniem
innowacyjności tego produktu.
Na rys. 4 przedstawiono histogramu zagregowanych odpowiedzi
uzyskanych od respondentów badania ankietowego.
Rysunek 4. Odpowiedzi dla zmiennych udziału użytkownika i typu
produktu
Źródło: Opracowani własne.
Wynika z niego, że większość badanych projektów realizowana była z udziałem użytkowników końcowych. Tylko jeden przypadek
przedstawiał innowacyjny produkt realizowany bez udziału użytkowników.
Szczegółowe dane oceny jakości użytkowej projektu, w których
uczestniczyli użytkownicy, w zależności od stopnia innowacyjności
produktu zaprezentowano w tab. 2.
Wpływ udziału użytkownika na jakość użytkową w projektach…
589
Tablica 2. Kontyngencja typu produktu i udziału użytkownika
w projekcie IT
Udział
Użytkownika
Nie
Tak
Razem
Typ produktu
Odtwórczy
Innowacyjny
5
1
10
14
15
15
Razem
6
24
30
Źródło: Opracowani własne.
Wartość obliczonej statystyki 2 = 3,46 była większa od wartości statystyki testowej 2 = 2,71 (dla α = 0,1 oraz liczby stopni swobody df = 1)
i osiągnęła poziom istotności statystycznej (p = 0,056). Siła tego związku
była przeciętna (φ = 0,34).
Podsumowując wyniki badania, w analizowanej grupie nie potwierdzono, że jakość użytkowa projektu zależy od uczestnictwa użytkownika końcowego. Natomiast potwierdzono, że zaangażowanie
uczestników końcowych pozostawała w związku ze stopniem innowacyjności produktu informatycznego.
Zakończenie
Przeprowadzona analiza korelacji zmiennych udziału użytkownika
w projekcie i jakości użytkowej produktu końcowego pozwala na wyciągnięcie następujących wniosków końcowych:
1. Uzyskane wyniki świadczą o braku bezpośredniego związku liniowego pomiędzy jakością użytkową produktu, a udziałem użytkownika w projekcie IT.
2. Uzyskane wyniki świadczą o występowaniu bezpośredniego
związku liniowego pomiędzy typem produktu, a udziałem użytkownika w projekcie IT.
Zaprezentowane badanie ma pewne ograniczenia, do których należy zaliczyć liczebność próby, zastosowana metodę doboru (metoda kuli
śnieżnej) oraz przyjęty sposób agregacji danych do dwóch kategorii jakości użytkowej produktu informatycznego. Ponadto, na jakość użytkową produktu mogą mieć wpływ inne zmienne pośredniczące, zarówno związane z atrybutami projektu informatycznego oraz zachowaniem
uczestników, takimi jak potrzeba aprobaty społecznej. Interakcja na pięciu poziomach jakości użytkowej projektu informatycznego pokazała
tendencję związku pomiędzy udziałem użytkownika w projekcie IT,
a jakością użytkową produktu. Jednak udział użytkownika nie miał
590
Krzysztof Redlarski, Beata Basińska
związku z jakością użytkową (przy przyjęciu dwóch kategorii jakości
akceptowalnej i bardzo dobrej), ale typ produktu uwzględniający stopnień jego innowacyjności wymagał angażowania użytkowników końcowych w projekcie IT.
Zaletą zaprezentowanej pracy są badania przeprowadzone na rzeczywistych projektach informatycznych. Uczestnikami badania były
osoby zajmujące się zawodowo realizacją projektów IT, w różnych obszarach jej aktywności. Autorzy pracy chcieli przybliżyć przyczynę rosnącej liczby niepowodzeń w realizacji projektów IT. Dostępne są bowiem w literaturze przedmiotowej modele, metody i narzędzia prowadzące do skutecznego zarządzania projektami. Jednak z drugiej strony
praktyka projektów IT pokazuje, że wciąż istniej potrzebne ich doskonalenia. Zarządzanie projektami informatycznymi ukierunkowanymi na
zapewnienie wysokiego poziomu satysfakcji użytkowników należy
niewątpliwie do szczególnych istotnych obszarów ryzyka projektów.
W ramach kontynuacji prac zalecane jest przeprowadzenie dodatkowych badań z uwzględnieniem większej grupy projektów IT, zarówno
klasycznych, jak i innowacyjnych, oraz z uwzględnieniem kilku poziomów zmiennych. Warto też podjąć próbę zidentyfikowania innych
zmiennych pośredniczących, które mogą modyfikować zależność pomiędzy udziałem użytkowników w projektach IT a ich jakością użytkową.
Literatura
1. Berkun S. (2006), Sztuka zarządzania projektami. Teoria i praktyka, Wydawnictwo Helion, Gliwice.
2. Bliźniuk G. (2005), Społeczeństwo informacyjne 2005, Nowak Jerzy S.
(red.), Wyd. Polskie Towarzystwo Informatyczne, Katowice.
3. Chmielarz W. (2010), Projektowanie systemów informatycznych, Informatyka gospodarcza Tom 1. Warszawa.
4. Frączkowski K., Dabiński A., Grzesiek M. (2011), Raport z polskiego
badania projektów IT 2010, http://pmresearch.pl/sites/download, dostęp dnia 11-03-2013.
5. Górniak J., Wachnicki J. (2010), Pierwsze kroki w analizie danych. SPSS
for Windows, SPSS Polska, Kraków.
6. Jayaswal B. K., Patton P. C. (2008), Oprogramowanie godne zaufania.
Metodologia, techniki i narzędzia projektowania, Helion.
Wpływ udziału użytkownika na jakość użytkową w projektach…
591
7. Johnson J. (2007), CHAOS Rising. Standish Group. The Standish Group
Report, West Yarmouth.
8. King B. M., Minium E. W. (2009), Statystyka dla psychologów i pedagogów, Wydawnictwo Naukowe PWN, Warszawa.
9. Kisielnicki J., Sroka H. (2001), Systemy informacyjne dla biznesu. Informatyka dla zarządzania, Wydanie II. Agencja Wydawnicza “Placet”,
Warszawa.
10. Nielsen J. (1993), Usability Engineering, Morgan Kaufmann, San Francisco.
11. Nielsen J. (2011), Usability 101: Introduction to Usability. Jakob Nielsen's
Alertbox, http://www.useit.com/alertbox/20030825.html, dostęp dnia
25-03-2011.
12. Randall D. M., Fernandes M. F. (1991), The social desirability response bias in ethics research. Journal of Business Ethics, 10, 805-817.
13. Sikorski M. (1996), Quality Models in Usability Evaluation of Business
Management Software, In: Proceedings of ECCE 8 - the 8th European
Conference of Cognitive Ergonomics, Granada.
14. Sikorski M. (2000), Zarządzanie jakością użytkową w przedsięwzięciach
informatycznych, Monografia Nr. 17, Wyd. Politechniki Gdańskiej.
15. Sikorski M. (2010a), Projektowanie interfejsu użytkownika, Informatyka
gospodarcza Tom 1, Warszawa.
16. Sikorski M. (2010b), Interakcja człowiek-komputer, Wydawnictwo
PJWSTK, Warszawa.
17. Zając K. (1982), Zarys metod statystycznych, Państwowe Wydawnictwo Ekonomiczne, Wydanie III, Warszawa.
Streszczenie
Artykuł przedstawia wyniki badań przeprowadzonych wśród 30 uczestników projektów informatycznych, reprezentujących różnorodne przedsiębiorstwa. Uzyskane dane zostały poddane analizie ilościowej z wykorzystaniem
metody 2, której zadaniem było ocena stopnia korelacji występującego pomiędzy udziałem użytkowników końcowych, a jakością użytkową produktu. Wyniki badań skupiają się wokół poszukiwań rozwiązania problemu określanego
w literaturze przedmiotowej mianem konfliktu interesów jakościowych.
Słowa kluczowe
zarządzanie projektami IT, użyteczność, projektowanie
592
Krzysztof Redlarski, Beata Basińska
Impact of User Participation on Usability in IT Projects (Summary)
This article presents the results of research conducted among 30 participants in IT projects representing a variety of companies. The data were quantitative analyzed using 2 method. Task of this method was to assess the degree
correlation existing between the end-user and the usability of the product. The
results cluster around finding a solution of the problem known as a conflict of
qualitative interest in the literature.
Keywords
IT project management, usability, design