Badanie satysfakcji jako atrybutu jakoĂci systemów e

Transkrypt

Badanie satysfakcji jako atrybutu jakoĂci systemów e
Problemy ZarzÈdzania, vol. 13, nr 2 (52), t. 1: 37 – 50
ISSN 1644-9584, © Wydziaï ZarzÈdzania UW
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci
systemów e-usïugowych
Nadesïany 30.09.14 | Zaakceptowany do druku 16.11.14
Karol ’opaciñski*, Leszek A. Maciaszek**
W zwiÈzku z rosnÈcym zapotrzebowaniem na róĝnego typu e-usïugi na rynku pojawia siÚ coraz wiÚcej
systemów pozwalajÈcych na Ăwiadczenie tego typu usïug i zarzÈdzanie nimi. Doskonalenie jakoĂci takich
narzÚdzi powinno byÊ dokonywane przy wspóïudziale klientów, na podstawie informacji o poziomie ich
zadowolenia z uĝytkowania. Jest to moĝliwe dziÚki prowadzeniu przez przedsiÚbiorstwa regularnych badañ
satysfakcji uĝytkowników. W artykule zaprezentowano koncepcjÚ szacowania satysfakcji z uĝytkowania
oprogramowania e-usïugowego, która opiera siÚ na dorobku badañ marketingowych oraz badañ nad
jakoĂciÈ oprogramowania.
Sïowa kluczowe: satysfakcja uĝytkownika, jakoĂÊ oprogramowania, systemy e-usïugowe.
The Studies of Satisfaction Understood
as An Attribute of e-Service Systems Quality
Submited 30.09.14 | Accepted 16.11.14
Due to the growing demand for different types of e-services there are more and more systems that
allow for e-services provision and management on the market. The quality of such solutions should be
improved in cooperation with customers on the basis of information about the level of their satisfaction
with the usage. This can be possible owing to regular user satisfaction research. The article presents
the concept of estimating satisfaction with e-service software which is based on the achievements of
marketing research and software quality studies.
Keywords: user satisfaction, software quality, e-services systems.
JEL: M150
*
**
Karol ’opaciñski – dr, Uniwersytet Ekonomiczny we Wrocïawiu, Katedra Systemów Informacyjnych.
Leszek A. Maciaszek – prof. dr hab., Uniwersytet Ekonomiczny we Wrocïawiu, Katedra Systemów
Informacyjnych.
Adres do korespondencji: Uniwersytet Ekonomiczny we Wrocïawiu, Katedra Systemów Informacyjnych, ul. Komandorska 118/120, 53-345 Wrocïaw; e-mail: [email protected];
[email protected].
Karol ’opaciñski, Leszek A. Maciaszek
1. Wprowadzenie
Sukces wspóïczesnych przedsiÚbiorstw uczestniczÈcych w procesach
dostarczania i poĂredniczenia usïug w duĝej mierze zaleĝy od umiejÚtnoĂci
wykorzystywania nowoczesnych koncepcji, wiedzy oraz rozwiÈzañ technologicznych. Efektem takiego podejĂcia jest wyksztaïcenie siÚ nowego modelu
Ăwiadczenia usïug opartych na potencjale technologii informacyjnych. Mowa
tutaj o tzw. e-usïugach, których oferowanie, Ăwiadczenie oraz poĂredniczenie
odbywa siÚ za poĂrednictwem narzÚdzi ICT (Information and Communication
Technology), takich jak Internet i urzÈdzenia mobilne. Korzystanie przez
konsumentów z e-usïug jest ĂciĂle zwiÈzane z uĝytkowaniem okreĂlonego
systemu lub oprogramowania. W zwiÈzku z tym pomiar i analiza satysfakcji uĝytkowej z platform e-usïugowych jest obecnie istotnym kierunkiem
badawczym. Satysfakcja konsumentów jest bowiem podstawowym i kluczowym potwierdzeniem jakoĂci dowolnego produktu oferowanego na rynku.
Zadowolony klient jest bardzo czÚsto gwarantem mocnej pozycji rynkowej
przedsiÚbiorstwa oraz jego przewagi konkurencyjnej. Zrozumiaïe jest zatem
to, ĝe firmy coraz czÚĂciej traktujÈ satysfakcjÚ klientów jako najwaĝniejszy
atrybut opisujÈcy jakoĂÊ danego produktu. Kompleksowe badanie satysfakcji uĝytkowników koñcowych systemów e-usïugowych bÚdzie szczególnie
waĝne z punktu widzenia procesów modyfikowania i udoskonalania tego
typu rozwiÈzañ informatycznych.
W ramach artykuïu autorzy zaproponujÈ koncepcjÚ szacowania satysfakcji
z uĝytkowania oprogramowania e-usïugowego. BÚdzie siÚ ona opieraÊ na
analizie poziomu satysfakcji uĝytkowników z wyspecyfikowanych atrybutów
jakoĂciowych opisujÈcych tego typu systemy, co pozwoli nie tylko okreĂliÊ
poziom caïkowitej satysfakcji uĝytkowników, ale równieĝ dostarczy informacji przydatnych w procesach modyfikacji i doskonalenia oprogramowania
wspierajÈcego oferowanie i realizacjÚ e-usïug.
2. Satysfakcja uĝytkowników jako kluczowe kryterium
oceny jakoĂci oprogramowania
Aby analizowaÊ pojÚcie satysfakcji uĝytkowników oprogramowania, na
wstÚpie naleĝy odnieĂÊ siÚ do generalnego obszaru badañ nad satysfakcjÈ
klientów z konsumpcji dowolnych produktów oferowanych na rynku. Pomiar
i analiza satysfakcji jest jednym z kluczowych elementów orientacji wspóïczesnych przedsiÚbiorstw na klienta.
Wszelkiego rodzaju produkty, które dziĂ wydajÈ siÚ bardzo wysokiej jakoĂci, mogÈ szybko przestaÊ byÊ satysfakcjonujÈce dla konsumentów, poniewaĝ potrzeby i preferencje zmieniajÈ siÚ obecnie w bardzo szybkim tempie. Bogata w innowacyjne produkty oferta rynkowa, czÚste wprowadzanie
nowych rozwiÈzañ, wysoce konkurencyjny rynek oraz realia spoïeczeñstwa
informacyjnego zmusiïy firmy do caïkowitego przeorientowania siÚ na klienta
38
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
oraz postawienie go w centrum swojej dziaïalnoĂci. Orientacja na klienta
wyraĝa siÚ przede wszystkim w (Mazurek-’opaciñska, 2002):
– gotowoĂci i umiejÚtnoĂci sïuchania konsumentów,
– pozyskiwaniu i gromadzeniu danych na temat zmieniajÈcych siÚ potrzeb
i oczekiwañ rynku,
– ciÈgïym dostosowywaniu oferty rynkowej do konkretnych grup docelowych,
– budowaniu relacji z klientami i zarzÈdzaniu nimi,
– regularnym badaniu satysfakcji klientów z uĝytkowania produktów firmy.
Brak takiego podejĂcia powoduje funkcjonowanie w warunkach wysokiego ryzyka i naraĝenie siÚ na utratÚ klientów, a tym samym straty finansowe
(Chojnacka, 2011). Dobrze obrazujÈ to sïowa Druckera, który podkreĂlaï,
ĝe organizacja, która utrwala dzisiejszy poziom wizji, sprawnoĂci i dokonañ,
traci zdolnoĂÊ adaptacyjnÈ i nie jest zdolna do przetrwania w zmiennym
jutrze, skoro zmiana jest jedynym nieodmiennym przeznaczeniem czïowieka
(Drucker 1994).
Potwierdzeniem istotnej roli klienta w procesach doskonalenia jakoĂci
moĝna znaleěÊ w kluczowych teoriach zarzÈdzania, takich jak: Total Quality
Management, Kaizen, Lean Management czy Business-Reenginering (Pawïowska i Strychalska-Rudzewicz, 2005). Na przykïad w koncepcji zarzÈdzania
przez jakoĂÊ TQM flagowym zaïoĝeniem i celem jest koncentrowanie siÚ na
klientach, co jest definiowane jako osiÈgniÚcie caïkowitej satysfakcji klienta
poprzez badanie jego potrzeb, gromadzenie wiedzy na temat jego wymagañ
oraz mierzenie poziomu jego zadowolenia z oferty (Kan, 2002).
Duĝe znaczenie orientacji na klienta w dziaïaniach zmierzajÈcych do
doskonalenia jakoĂci produktów rynkowych potwierdza siÚ równieĝ w treĂci
miÚdzynarodowego standardu ISO 9001, który jest uznawany za podstawÚ
budowy systemów zarzÈdzania jakoĂciÈ w przedsiÚbiorstwach ze wszystkich
branĝ. W czÚĂci ISO 9001:2000 zawierajÈcej podstawowe zasady zarzÈdzania jakoĂciÈ na pierwszym miejscu znajduje siÚ zasada silnej orientacji na
klienta, która powinna wyraĝaÊ siÚ w stosowaniu do konkretnych praktyk
ukierunkowanych na nabywcÚ (Wawak, 2007). Zasada ta dotyczy przede
wszystkim potrzeby badania oczekiwañ klientów na etapie projektowania
produktu, jeszcze przed dostarczeniem go na rynek. Jednakĝe niemniej waĝnym wyrazem orientacji na klientów sÈ pomiary ich satysfakcji z konsumpcji
lub uĝytkowania produktów, a nastÚpnie podejmowanie na tej podstawie
wïaĂciwych decyzji dotyczÈcych oferty.
Znaczenie satysfakcji klienta staïo siÚ dla wspóïczesnych przedsiÚbiorstw
szczególnie istotne z uwagi na koniecznoĂÊ funkcjonowania w coraz bardziej
konkurencyjnym otoczeniu rynkowym. CiÈgïa walka o nabywcÚ spowodowaïa,
iĝ firmy duĝÈ wagÚ przywiÈzujÈ do utrzymania juĝ pozyskanych klientów.
Wedïug szacunków uznanej firmy konsultingowej Bain & Company w roku
2013 koszt pozyskania nowego klienta jest okoïo 7 razy wyĝszy w porównaniu
z kosztem utrzymania klienta obecnego (http://www.polskieradio.pl/111/1896/
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
39
Karol ’opaciñski, Leszek A. Maciaszek
Artykul/903777,Gigantyczne-koszty-pozyskania-nowego-klienta). LojalnoĂÊ
aktualnych klientów wymaga jednak utrzymywania poziomu ich satysfakcji
z oferty na bardzo wysokim poziomie. Jest ona bowiem kluczowym potwierdzeniem, ĝe uĝytkownik wysoko ocenia jakoĂÊ produktu.
Wedïug Kotlera satysfakcja to stan odczuwalny przez jednostkÚ i zwiÈzany z porównaniem postrzeganych cech produktu oraz oczekiwañ jednostki
dotyczÈcych tych cech (Kotler, 1994). Nieco inaczej definicjÚ satysfakcji
klienta formuïujÈ Farris i inni, okreĂlajÈc jÈ jako miarÚ pokazujÈcÈ, w jakim
stopniu towary lub usïugi oferowane przez przedsiÚbiorstwo sÈ zgodne lub
przewyĝszajÈ oczekiwania klientów. Ponadto kategoriÚ satysfakcji rozumiejÈ
jako liczbÚ klientów lub procent wszystkich klientów, których zgïoszone
doĂwiadczenia lub oceny dotyczÈce firmy lub jej produktów przekraczajÈ
okreĂlone cele firmy odnoĂnie satysfakcji klientów (Farris i in., 2010). Natomiast Kan okreĂla satysfakcjÚ z perspektywy klienta po zakupie produktu
jako ostatecznÈ weryfikacjÚ tego, ĝe produkt jest zgodny z wymaganiami
ibnadaje siÚ do uĝytkowania (Kan, 2002). Najbardziej kompleksowa wydaje
siÚ definicja Marciniak, która mówi, iĝ satysfakcja (lub jej brak) jest stanem
emocjonalnym, który pojawia siÚ u nabywcy po dokonaniu zakupu oraz
w wyniku uĝytkowania, bÚdÈcym efektem konfrontacji oczekiwañ nabywcy
co do produktu z doĂwiadczeniami wzglÚdem produktu (Marciniak, 2005).
Warto zauwaĝyÊ, ĝe satysfakcja konsumenta lub uĝytkownika jest jednym
z kluczowych elementów jakoĂci dowolnego produktu. W zwiÈzku z tym znaczenie badañ nad satysfakcjÈ warto rozpatrywaÊ w kontekĂcie dÈĝenia przedsiÚbiorstw do ciÈgïego podnoszenia jakoĂci. Implementacja systemów jakoĂci
staïa siÚ standardowÈ praktykÈ w wielu krajach. CzÚsto jednak tego typu
dziaïania nie przynoszÈ spodziewanych rezultatów, takich jak wzrost liczby
klientów, rosnÈca sprzedaĝ czy poprawa pozycji konkurencyjnej na rynku.
Co wiÚcej, widoczne sÈ sytuacje, w których firmy z wdroĝonymi systemami
jakoĂci zostaïy wyeliminowane przez konkurencjÚ. Okazuje siÚ bowiem, ĝe
na sprzedaĝ oraz rentownoĂÊ przedsiÚwziÚÊ biznesowych wb duĝym stopniu
wpïywajÈ niesprecyzowane oraz wynikajÈce z rodzaju branĝy i produktu
preferencje psychologiczne. W zwiÈzku z tym, aby zrozumieÊ korelacjÚ
pomiÚdzy wynikami przedsiÚbiorstw a stosowanymi przez nie programami
poprawy jakoĂci, warto przeprowadzaÊ kompleksowe badania nad satysfakcjÈ
konsumentów (Nieĝurawski i in., 2010).
Regularne szacowanie i analizÚ satysfakcji konsumentów naleĝy traktowaÊ
jako kluczowy warunek podnoszenia jakoĂci produktów. Tego typu badania
konsumentów niosÈ ze sobÈ wiele korzyĂci, do których moĝna zaliczyÊ przede
wszystkim (Pasquier i Fastnach, 2001; Urbanek, 2004):
– rozpoznanie, które cechy produktu sÈ dla klientów najwaĝniejsze, a które
nieistotne z punktu widzenia oceny i postrzegania oferty,
– moĝliwoĂÊ dokonywania szybkich i regularnych dziaïañ naprawczych
wb zakresie podnoszenia jakoĂci produktów lub procesów w ramach
przedsiÚbiorstwa,
40
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
– lepsze poznanie pozycji firmy na tle konkurencji, tj. identyfikacja mocnych i sïabych stron w porównaniu z firmami konkurencyjnymi,
– wyĝszy poziom lojalnoĂci klientów,
– zwiÚkszenie udziaïu w rynku.
SatysfakcjÚ uĝytkowników oprogramowania, która jest przedmiotem
niniejszego artykuïu, naleĝy rozumieÊ w analogiczny sposób jak satysfakcjÚ
klienta z konsumpcji dowolnego produktu. Oprogramowanie jest bowiem
z punktu widzenia klienta produktem, który jest uĝytkowany w celu zaspokojenia konkretnych potrzeb. Naturalne zatem jest, iĝ proces zakupu oraz
korzystania z konkretnej aplikacji bÈdě systemu informatycznego wiÈĝe siÚ
z powstaniem pozytywnych lub negatywnych odczuÊ, zwiÈzanych z:
– zgodnoĂciÈ oprogramowania z oczekiwaniami,
– poziomem jakoĂci poszczególnych cech i funkcji produktu,
– moĝliwoĂciÈ i sprawnoĂciÈ realizacji przez uĝytkownika konkretnych
zadañ przy uĝyciu oprogramowania.
W treĂci dokumentu SQuaRE (Systems and software Quality Requirements
and Evaluation), zawierajÈcego miÚdzynarodowe standardy rozwoju jakoĂci
oprogramowania, satysfakcja uĝytkownika dowolnego produktu programowego okreĂlana jest jako (ISO, 2011):
– stopieñ, w jakim potrzeby uĝytkownika sÈ speïnione, gdy produkt lub
system jest wykorzystywany w okreĂlonym kontekĂcie uĝycia,
– odpowiedě uĝytkownika odnoĂnie jego interakcji z systemem, obejmujÈca
postawy wobec uĝytkowania produktu lub systemu.
Oszacowanie poziomu satysfakcji uĝytkowej oprogramowania wymaga
przede wszystkim okreĂlenia zestawu atrybutów szczegóïowych opisujÈcych
jakoĂÊ danego produktu programowego. Moĝliwe jest wówczas skonstruowanie prawidïowych pytañ dotyczÈcych poziomu odczuwanej satysfakcji
zb kolejnych atrybutów, jak równieĝ ich istotnoĂci dla uĝytkowników. Uzyskane odpowiedzi stanowiÊ bÚdÈ dla zarzÈdzajÈcych bazÚ wiedzy, która
moĝe zostaÊ wykorzystana podczas podejmowania decyzji majÈcych na celu
poprawÚ jakoĂci uĝytkowej danego programu, jego funkcji, interfejsu itp.
Z punktu widzenia uzyskiwanych przez firmÚ wyników finansowych trzeba
zauwaĝyÊ, ĝe prawidïowa ocena poszczególnych skïadowych jakoĂci oprogramowania przez uĝytkowników umoĝliwi przedsiÚbiorstwu okreĂlenie, które
dziaïania na rzecz poprawy jakoĂci najmocniej, a które sïabiej prowadzÈ do
wzrostu przychodów. Badania satysfakcji pozwalajÈ na okreĂlenie, za które
cechy oprogramowania klienci sÈ w stanie zapïaciÊ najwiÚcej oraz które
elementy systemu informatycznego w najwiÚkszym stopniu powodujÈ, ĝe
uĝytkownicy korzystajÈ wïaĂnie z niego, zamiast z podobnych produktów
konkurencji. Przychody firmy w duĝym stopniu zaleĝÈ zatem od trafnego
odczytywania potrzeb i oczekiwañ klientów oraz ciÈgïego na nie reagowania
poprzez modyfikacjÚ oferty rynkowej (Pawïowska i Strychalska-Rudzewicz,
2005).
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
41
Karol ’opaciñski, Leszek A. Maciaszek
3. Rozwój i moĝliwoĂci systemów e-usïugowych
W procesach postÚpujÈcej globalizacji oraz intensywnych zmian w funkcjonowaniu spoïeczeñstw i gospodarek niezwykle istotnÈ rolÚ odgrywajÈ
technologie informacyjno-komunikacyjne. W duĝej mierze uksztaïtowaïy
one obecnÈ ofertÚ rynkowÈ oraz sposoby jej dostarczania na rynek, jak
równieĝ w istotny sposób przeksztaïciïy kanaïy komunikacji wykorzystywane
przez podmioty funkcjonujÈce w ramach spoïeczeñstwa informacyjnego.
Naturalne jest zatem, iĝ wraz z rozwojem technologii ICT zmieniajÈ siÚ
zachowania nabywców, ich preferencje oraz zapotrzebowanie na konkretne
towary i usïugi.
Na szczególnÈ uwagÚ zasïuguje rynek usïug, gdyĝ ma on obecnie kluczowe
znaczenie w rozwoju gospodarki. Obecnie sukces przedsiÚbiorstw uczestniczÈcych w procesach dostarczania i poĂredniczenia usïug w duĝej mierze
zaleĝy od umiejÚtnoĂci wykorzystywania nowoczesnych koncepcji, wiedzy
oraz rozwiÈzañ technologicznych. Efektem takiego podejĂcia przedsiÚbiorstw
jest wyksztaïcenie siÚ nowego modelu Ăwiadczenia usïug opartych na potencjale technologii informacyjnych. Mowa tutaj o tzw. e-usïugach, których
oferowanie, Ăwiadczenie oraz poĂredniczenie odbywa siÚ za poĂrednictwem
takich narzÚdzi, jak Internet, urzÈdzenia mobilne, telewizja cyfrowa lub satelitarna. Usïugi tego typu majÈ nastÚpujÈce cechy (Batko i Billewicz, 2013):
– sÈ Ăwiadczone w sposób czÚĂciowo lub caïkowicie zautomatyzowany za
poĂrednictwem technologii informacyjnej,
– sÈ zindywidualizowane w stosunku do odbiorcy (personalizacja),
– usïugodawca oraz odbiorca Ăwiadczonej usïugi znajdujÈ siÚ w róĝnych
miejscach.
Rynek e-usïug zarówno w Polsce, jak i na Ăwiecie rozwija siÚ dynamicznie. Obszary wdroĝeñ e-usïug sÈ bardzo szerokie, poniewaĝ czÚsto
konkretne e-usïugi sÈ odpowiednikami takich samych usïug Ăwiadczonych
wbsposób tradycyjny. Dlatego teĝ e-usïugi rozwinÚïy siÚ w takich obszarach,
jak komunikacja, handel, administracja, bankowoĂÊ, finanse, nauka, kultura
czy turystyka.
PodstawÈ dostarczania e-usïug na rynek sÈ systemy informatyczne, które
nazywane sÈ równieĝ platformami e-usïugowymi. Ich gïównym zadaniem jest
wpieranie procesów sprzedaĝowych oraz marketingowych, które zachodzÈ
pomiÚdzy dostawcami usïug oraz ich nabywcami. Platformy e-usïugowe –
bez wzglÚdu na charakter usïugi Ăwiadczonej za ich poĂrednictwem – sÈ
poïÈczeniem serwisu internetowego oraz systemu przetwarzania informacji
i wspomagania zarzÈdzania (http://www.ewaluacja.gov.pl/Wyniki/Documents/
Wplyw_RPOWS_na_rozwoj_spol_informacyjn ego_15022 013.pdf). Serwis
WWW jest miejscem dostÚpu do usïugi przez osoby zgïaszajÈce na niÈ
zapotrzebowanie. W zaleĝnoĂci od serwisu odbiorcy mogÈ siÚ z nim ïÈczyÊ
za poĂrednictwem komputera lub urzÈdzeñ mobilnych takich jak smartfon
czy tablet.
42
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
Naleĝy podkreĂliÊ, iĝ zasadniczo moĝna wyróĝniÊ dwa typy systemów
e-usïugowych. Do pierwszego z nich moĝna zaliczyÊ systemy, które umoĝliwiajÈ Ăwiadczenie tzw. usïug zwirtualizowanych, czyli takich, których przeniesienie do Internetu byïo moĝliwe. Dotyczy to np. usïug finansowych, ubezpieczeniowych oraz szerokiej gamy usïug doradczych. Przykïadem systemów
tego typu sÈ serwisy bankowoĂci internetowej, za poĂrednictwem których
klienci mogÈ zdalnie oraz w dowolnym czasie zlecaÊ bankowi wykonywanie róĝnorodnych operacji. Tego typu systemy pozwalajÈ odbiorcom usïug
m.in. na:
– dostÚp do katalogu usïug zawierajÈcego ich szczegóïowe parametry,
– wyszukiwanie usïug,
– komunikacjÚ z usïugodawcÈ przy uĝyciu róĝnych narzÚdzi internetowych,
takich jak e-mail, komunikator lub chat,
– ustalanie warunków realizacji usïugi,
– wybór konkretnej usïugi oraz zlecenie jej realizacji on-line,
– uzyskanie potwierdzenia przyjÚcia usïugi do realizacji,
– dokonywania pïatnoĂci za usïugÚ,
– dostÚp do historii zamówieñ.
Drugi rodzaj platform e-usïugowych ma za zadanie poĂredniczenie wbprocesach Ăwiadczenia tych usïug, których wirtualizacja nie byïa moĝliwa. Mowa
tutaj o takich usïugach, jak usïugi budowlane, remontowe, kosmetyczne,
medyczne, rehabilitacyjne itp. ¥wiadczenie tego typu usïug w peïnym zakresie w Internecie jest niemoĝliwe. Technologie internetowe i mobilne mogÈ
natomiast w duĝym stopniu wspomagaÊ procesy ich sprzedaĝy i dystrybucji. DziÚki systemom e-usïugowym usïugodawcy mogÈ przedstawiaÊ swojÈ
ofertÚ, klienci zaĂ zamawiaÊ interesujÈce ich usïugi, których gama moĝe
byÊ bardzo szeroka.
Z punktu widzenia usïugobiorców tego rodzaju platform mogÈ one posiadaÊ nastÚpujÈce funkcjonalnoĂci:
– wyszukiwanie oraz okreĂlanie wymagañ dotyczÈcych usïug,
– dostÚp do katalogu usïug zawierajÈcego ich szczegóïowe parametry,
– wybór usïug oraz usïugodawców,
– komunikacja z usïugodawcÈ przy uĝyciu róĝnych narzÚdzi internetowych,
takich jak e-mail, komunikator lub chat,
– sprawdzanie dostÚpnych terminów na wykonanie usïugi,
– planowanie i rezerwowanie dokïadnego czasu wykonania usïugi,
– ustalanie warunków realizacji usïugi,
– automatyczne przypomnienia dotyczÈce zarezerwowanej usïugi,
– moĝliwoĂÊ zmiany usïugodawcy,
– powiadomienie i potwierdzenie przyjÚcia usïugi do realizacji,
– dokonywanie pïatnoĂci za usïugÚ,
– anulowanie zarezerwowanej usïugi,
– dostÚp do historii zamówieñ.
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
43
Karol ’opaciñski, Leszek A. Maciaszek
Ciekawym przykïadem tego typu platformy jest Amiona (https://sg.amiona.ch), która obecnie dziaïa na lokalnym rynku szwajcarskim, a w przyszïoĂci jej wdroĝenie jest planowane w Niemczech oraz Polsce. NarzÚdzie to
ma zadanie zarzÈdzania szerokim wachlarzem usïug dostÚpnych zwïaszcza
dla osób w wieku starszym, które czÚsto zlecajÈ ich wykonywanie. Gïównym
zaïoĝeniem platformy Amiona jest integracja dostawców usïug i usïugobiorców w jednej wspólnej aplikacji zgodnie z modelem M:N. Polega on na tym,
iĝ kaĝdy usïugodawca ma dostÚp do grupy nie tylko swoich klientów, ale
takĝe klientów firm konkurencyjnych. Natomiast kaĝdy usïugobiorca moĝe
kupiÊ usïugÚ od dowolnego dostawcy. Rezerwacja i zamawianie konkretnych
usïug odbywa siÚ poprzez wspólny interfejs dostÚpny w responsywnym serwisie internetowym. Tworzenie tego typu rozwiÈzañ informatycznych integrujÈcych usïugodawców i usïugobiorców niewÈtpliwie pozwala na zwiÚkszenie
dostÚpnoĂci i podniesienie jakoĂci róĝnego typu usïug.
Na opisane modele platform e-usïugowych warto spojrzeÊ przez pryzmat
satysfakcji ich uĝytkowników, czyli konsumentów zgïaszajÈcych zapotrzebowanie na usïugi. Ich zadowolenie z uĝytkowania tego typu oprogramowania
jest bowiem kluczowe dla procesów doskonalenia i rozwoju tego typu rozwiÈzañ informatycznych. Naleĝy jednak podkreĂliÊ, ĝe w przypadku systemów
pierwszego rodzaju, tj. tych, które pozwalajÈ na Ăwiadczenie usïug na odlegïoĂÊ, satysfakcja odbiorców wynika z jednej strony z poziomu zadowolenia
z dostarczonej e-usïugi, a z drugiej strony z jakoĂci oprogramowania, które
obsïuguje caïy proces. W przypadku systemów drugiego typu, które wspomagajÈ procesy dystrybucji usïug Ăwiadczonych jednak w Ăwiecie rzeczywistym,
badania satysfakcji uĝytkowników powinny odnosiÊ siÚ wyïÈcznie do pomiaru
i analizy zadowolenia konsumentów z uĝytkowania platform e-usïugowych,
które peïniÈ funkcjÚ poĂrednika pomiÚdzy dwiema stronami wymiany. Tego
typu badania sÈ przedmiotem zainteresowania autorów. Wb zwiÈzku z tym
w dalszej czÚĂci artykuïu przedstawiona zostanie, opierajÈca siÚ na dorobku
badañ marketingowych, propozycja pomiaru satysfakcji z uĝytkowania platform zarzÈdzania usïugami.
4. Szacowanie poziomu satysfakcji uĝytkowników
platform e-usïugowych
PodstawÈ koncepcji badania satysfakcji uĝytkowników systemów e-usïugowych bÚdzie okreĂlenie wartoĂci wskaěnika satysfakcji klientów CSI (Customer Satisfaction Index) (Kozielski, 2006), który jest jednym z kluczowych
mierników w tym zakresie. Wskaěnik ten pozwala oszacowaÊ poziom zadowolenia z poszczególnych atrybutów jakoĂci oprogramowania uznawanych
przez klientów za najwaĝniejsze (Mazurek-’opaciñska, 2005). Moĝna wiÚc
potraktowaÊ go jako ĂredniÈ waĝonÈ ocen satysfakcji uĝytkowników z tych
atrybutów. PodstawÈ uzyskania wskaěnika jest okreĂlenie, które cechy
44
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
oprogramowania e-usïugowego sÈ najistotniejsze dla badanej grupy uĝytkowników. W tym celu niezbÚdne jest opracowanie wïaĂciwej listy zawierajÈcej
atrybuty opisujÈce jakoĂÊ oprogramowania z punktu widzenia uĝytkownika
koñcowego. IstniejÈ róĝne podejĂcia i klasyfikacje tego typu atrybutów jak
np. wykorzystywany przez firmÚ IBM model CUPRIMDSO, stosowane
wbHewlett-Packard podejĂcie FURPS (Nafees 2011) czy teĝ metoda SUMI
(Mansor i in., 2012). Na podstawie analizy literatury z obszaru badañ nad
jakoĂciÈ oprogramowania autorzy zdecydowali, ĝe przy specyfikacji szczegóïowych cech opisujÈcych systemy e-usïugowe posïuĝÈ siÚ modelem McCalla
oraz obowiÈzujÈcym standardem ISO/IEC 2510.
Model McCalla (1977) jest znanym modelem jakoĂci, który opisuje atrybuty jakoĂci istotne zarówno dla twórców oprogramowania, jak i dla jego
odbiorców finalnych. W modelu tym wyszczególnione zostaïy trzy typy cech
jakoĂci produktu, które majÈ znaczenie dla (Kobyliñski 2007):
– programistów odpowiedzialnych za konserwacjÚ i utrzymanie systemu,
– programistów majÈcych za zadanie przeksztaïcanie systemu,
– uĝytkowników, którzy operacyjnie wykorzystujÈ system.
Ze wzglÚdu na to, ĝe przedmiotem badañ ma byÊ szacowanie satysfakcji
uĝytkowników, pod uwagÚ wziÚte zostaïy wyïÈcznie atrybuty z trzeciej grupy.
Zostaïy one wyszczególnione w tabeli 1 i mogÈ byÊ brane pod uwagÚ przy
okreĂlaniu najistotniejszych dla klientów cech produktu, jakim jest oprogramowanie e-usïugowe.
1. PoprawnoĂÊ (correctness) – zgodnoĂÊ programu z zaïoĝonymi celami
przedsiÚwziÚcia
1.1. SpójnoĂÊ (consistency) – jednolitoĂÊ elementów i moduïów systemu oraz jego
interfejsu
1.2. KompletnoĂÊ (completeness) – istnienie peïnego zestawu oczekiwanych przez
uĝytkownika funkcji systemu
2. WiarygodnoĂÊ (reliability) – stopieñ, w jakim program wykonuje zamierzone
funkcje z wymaganÈ precyzjÈ
2.1. DokïadnoĂÊ (accuracy) – dokïadnoĂÊ obliczeñ i sterowania
2.2. Prostota (simplicity) – stopieñ, w jakim system jest zrozumiaïy, jeĂli chodzi
ob strukturÚ, nawigacjÚ i treĂÊ
2.3. OdpornoĂÊ na bïÚdy (error tolerance) – odpornoĂÊ na uszkodzenia, które
mogÈ powstaÊ w przypadku bïÚdu
3. WydajnoĂÊ (efficiency) – czas reakcji systemu na zdarzenia zewnÚtrzne i dziaïania
uĝytkownika
3.1. EfektywnoĂÊ wykonania (execution efficiency) – wydajnoĂÊ programu w czasie
wykonywania operacji (czas reakcji programu na komendy uĝytkownika)
3.2. OperatywnoĂÊ (operability) – ïatwoĂÊ posïugiwania siÚ programem, ïatwoĂÊ
obsïugi
4. IntegralnoĂÊ (integrity) – stopieñ odpornoĂci programu lub danych
na nieuprawnione uĝycie lub modyfikacjÚ
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
45
Karol ’opaciñski, Leszek A. Maciaszek
cd. tab. 1
4.1. ’atwoĂÊ kontroli (auditability) – moĝliwoĂÊ sprawdzenia zgodnoĂci
zeb standardami oraz uzyskania przez uĝytkownika pomocy w systemie
4.2. KomunikatywnoĂÊ (instrumentation) – stopieñ, w jakim program monitoruje
swoje wïasne dziaïania, identyfikuje pojawiajÈce siÚ bïÚdy i w zrozumiaïy
sposób komunikuje siÚ w tym zakresie z uĝytkownikiem
4.3. Ochrona (security) – zastosowanie w systemie mechanizmów ochrony
programów i danych
5. UĝytecznoĂÊ (usability) – wysiïek, który musi byÊ wïoĝony w nauczenie siÚ
programu, w jego uĝycie, przygotowanie danych wejĂciowych i interpretacjÚ
danych wyjĂciowych
5.1. OperatywnoĂÊ (operability) – ïatwoĂÊ posïugiwania siÚ programem
ib dostosowywania go do indywidualnych preferencji
5.2. ’atwoĂÊ nauki (training) – stopieñ, w jakim system pomaga nowym
uĝytkownikom we wdroĝeniu siÚ do pracy
Tab. 1. Atrybuty jakoĂci uĝytkowej oprogramowania wedïug modelu McCalla. ½ródïo:
R.S.b Pressman (2001). Software Engineering. A Practitioner’s Approach – 5th edition.
McGraw-Hill Higher Education.
Zestaw atrybutów jakoĂci wyszczególniony w miÚdzynarodowym standardzie ISO/IEC 25010 pochodzi z zawartego w nim dokumentu SQuaRE, który
dokïadnie okreĂla zasady jakoĂci systemów informatycznych. Przedstawia on
m.in. model jakoĂci uĝytkowej (Quality in Use Model), który definiuje piÚÊ podstawowych charakterystyk opisujÈcych wyniki interakcji uĝytkowników z danym
systemem informatycznym. Szczegóïowe ich zestawienie widaÊ wb tabeli 2.
1. Satysfakcja (satisfaction) – stopieñ zaspokojenia potrzeb uĝytkownika w róĝnych
kontekstach jego uĝytkowania
1.1. PrzydatnoĂÊ (usefulness) – satysfakcja z osiÈgania celów postrzeganych jako
pragmatyczne, w tym z rezultatów i konsekwencji uĝytkowania systemu
1.2. Zaufanie (trust) – pewnoĂÊ, ĝe system zachowa siÚ zgodnie z przeznaczeniem
1.3. Zadowolenie (pleasure) – przyjemnoĂÊ z wypeïnienia swoich potrzeb dziÚki
uĝytkowniu systemu
1.4. Komfort (comfort) – zadowolenie wynikajÈce z dobrego samopoczucia, które
jest spowodowane warunkami wewnÚtrznymi i Ărodowiskowymi
2. SkutecznoĂÊ (effectiveness) – dokïadnoĂÊ i kompletnoĂÊ, z jakÈ uĝytkownicy
osiÈgajÈ okreĂlone cele
3. SprawnoĂÊ/produktywnoĂÊ (efficiency) – wielkoĂÊ uĝytych zasobów w odniesieniu
do kompletnoĂci i dokïadnoĂci, z jakÈ uĝytkownik osiÈga zamierzone cele
4. WolnoĂÊ od ryzyka (freedom from risk) – stopieñ, w jakim system zmniejsza
potencjalne ryzyko pogorszenia ekonomicznego statusu, zdrowia i bezpieczeñstwa
4.1. Minimalizowanie ryzyka ekonomicznego (economic risk mitigation) – stopieñ,
w jakim system chroni uĝytkownika przed ryzykiem ekonomicznym zwiÈzanym
np. z utratÈ danych, bïÚdami
4.2. Minimalizowanie ryzyk utraty zdrowia lub bezpieczeñstwa (health and safety
risk mitigation) – stopieñ, w jakim system chroni uĝytkownika przed ryzykiem
utraty bezpieczeñstwa w sieci, niekorzystnym wpïywem systemu na zdrowie
lub zachowanie itp.
46
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
cd. tab. 2
5. Pokrycie kontekstu (context coverage) – zdolnoĂÊ system do funkcjonowania
wb róĝnych kontekstach dziaïania
5.1. ElastycznoĂÊ (flexibility) – moĝliwoĂci program w zakresie dostosowywania siÚ
(zmiany struktury i treĂci) do indywidualnych potrzeb uĝytkownika
Tab. 2. Atrybuty jakoĂci uĝytkowej oprogramowania wedïug dokumentu SQuaRE (Systems and
software Quality Requirements and Evaluation). ½ródïo: ISO. (2011). Systems and software
engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) —
System and software quality models. International Standard ISO/IEC 25010:2011.
Jak widaÊ, wybrane atrybuty zawarte w Modelu McCalla oraz w modelu
jakoĂci uĝytkowej SQuaRE skïadajÈ siÚ z atrybutów szczegóïowych, które mogÈ
byÊ poddawane ocenie klientów. Naleĝy teĝ zauwaĝyÊ, ĝe pomimo iĝ oba modele
prezentujÈ róĝne podejĂcia do oceny jakoĂci, majÈ one wiele cech wspólnych.
Wyszczególniony w ten sposób kluczowe czynniki opisujÈce oprogramowanie moĝna poddaÊ ocenie przez uĝytkowników systemów e-usïugowych
w celu wyodrÚbnienia grupy najistotniejszych dla nich cech. Moĝe siÚ to
odbyÊ przy wykorzystaniu iloĂciowych metod badawczych, takich jak ankiety
audytoryjne lub internetowe. Jednakĝe najlepsze wyniki moĝna uzyskaÊ,
stosujÈc metody jakoĂciowe, które dodatkowo wskaĝÈ przyczyny udzielanych odpowiedzi i pozwolÈ na lepsze zrozumienie zachowañ respondentów
dotyczÈcych ich kontaktu z platformÈ e-usïugowÈ. W zwiÈzku z tym na
tym etapie warto przeprowadzaÊ wywiady zogniskowane lub burze mózgów
oparte na dyskusji z uĝytkownikami w mniejszych grupach.
Na bazie uzyskanych wyników bÚdzie moĝliwe okreĂlenie zestawu najbardziej
istotnych atrybutów systemu e-usïugowego, które bÚdÈ podstawÈ konstrukcji
kwestionariusza ankietowego. Ankieta powinna rozpoczynaÊ siÚ od czÚĂci wprowadzajÈcej, tzn. zawierajÈcej krótki opis badania oraz jego cele. Na koñcu
kwestionariusza powinna znajdowaÊ siÚ metryczka z pytaniami dotyczÈcymi cech
spoïeczno-demograficznych respondentów. NajwaĝniejszÈ czÚĂÊ ankiety bÚdÈ
stanowiÊ pytania pozwalajÈce na oszacowanie poziomu satysfakcji uĝytkowników
z poszczególnych cech oprogramowania. Pytania odnoszÈce siÚ do kolejnych
atrybutów powinny zawieraÊ piÚciostopniowÈ skalÚ (Kan, 2002) satysfakcji tj.:
1
bardzo
niezadowolony
2
niezadowolony
3
neutralny
4
5
zadowolony
bardzo
zadowolony
Dodatkowo kaĝda z cech powinna byÊ oceniona pod kÈtem jej waĝnoĂci
dla uĝytkownika przy wykorzystaniu piÚciostopniowej skali waĝnoĂci, tj.:
1
2
3
4
5
niewaĝna
maïo waĝna
doĂÊ istotna
waĝna
bardzo waĝna
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
47
Karol ’opaciñski, Leszek A. Maciaszek
Skonstruowane w ten sposób narzÚdzie badawcze warto przetestowaÊ
podczas badañ próbnych, a na tej podstawie opracowaÊ ostatecznÈ wersjÚ
kwestionariusza, który umoĝliwi zgromadzenie danych iloĂciowych, na podstawie których moĝna przystÈpiÊ do obliczania wskaěnika satysfakcji klientów
z uĝytkowania platformy e-usïugowej.
Obliczanie wskaěnika CSI odbywa siÚ ze wzoru:
N
CSI = / i = 1 w iw # s i , gdzie w iw =
wi
/
N
i=1
wi
,
(1)
gdzie:
CSI – wskaěnik satysfakcji uĝytkownika,
i
– atrybut systemu e-usïugowego,
N – liczba ocenianych atrybutów,
wiw – waga wzglÚdna i-tego atrybutu,
si – ocena zadowolenia z i-tego atrybutu systemu,
wi – waga i-tego atrybutu.
Uzyskana wartoĂÊ wskaěnika CSI pokazuje poziom ogólnej satysfakcji
uĝytkowników z wszystkich najistotniejszych cech systemu. Wynik warto
skonfrontowaÊ z czÈstkowymi ocenami waĝonymi poszczególnych atrybutów.
Umoĝliwi to identyfikacjÚ sïabych stron systemu, które wymagajÈ poprawy.
Ponadto analiza uzyskanych wyników powinna odbywaÊ siÚ w róĝnych przekrojach, tj. w ramach poszczególnych grup klientów bÈdě charakterystyk
systemu.
IstotnÈ kwestiÈ przy badaniach satysfakcji z wykorzystaniem wskaěnika CSI jest koniecznoĂÊ przeprowadzania ich w róĝnych okresach, np.
wbkolejnych miesiÈcach lub przed i po wprowadzeniu prac optymalizacyjnych
wb ramach platformy e-usïugowej. Tylko wówczas jest moĝliwe okreĂlenie
rzeczywistych efektów realizowanych modyfikacji produktu dla uĝytkowników koñcowych oraz planowanie dalszych dziaïañ tego typu.
5. Podsumowanie
Dynamiczny rozwój systemów e-usïugowych oraz wciÈĝ rosnÈca liczba
klientów z nich korzystajÈcych spowodowaïy, iĝ w centrum zainteresowania
dostawców tego typu systemów powinien stawiany byÊ uĝytkownik. Takie
podejĂcie jest zgodne z marketingowÈ zasadÈ orientacji na klienta, która
nie tylko wiÈĝe siÚ z badaniami oczekiwañ klientów, ale równieĝ podkreĂla istotnoĂÊ pomiaru satysfakcji z konsumpcji lub uĝytkowania produktów.
Regularne badania satysfakcji konsumentów naleĝy traktowaÊ jako kluczowy
warunek podnoszenia jakoĂci produktów, w tym równieĝ produktów takich
jak oprogramowane e-usïugowe.
W artykule podkreĂlono, iĝ warunkiem prawidïowego oszacowania
poziomu satysfakcji uĝytkowej tego typu oprogramowania jest przede wszyst48
DOI 10.7172/1644-9584.52.3
Badanie satysfakcji jako atrybutu jakoĂci systemów e-usïugowych
kim okreĂlenie zestawu atrybutów szczegóïowych opisujÈcych jego jakoĂÊ.
Zestaw takich atrybutów zostaï zaproponowany przez autorów na podstawie
analizy modeli jakoĂci oprogramowania, ze szczególnych uwzglÚdnieniem
cech istotnych dla uĝytkowników koñcowych. Przedstawiona w artykule propozycja procedury badawczej opiera siÚ na dorobku badañ marketingowych
oraz badañ nad jakoĂciÈ oprogramowania. Koncepcja badania bazuje na
zastosowaniu wskaěnika satysfakcji klientów CSI, którego okreĂlenie jest
moĝliwe dziÚki ocenie przez uĝytkowników zadowolenia ze szczegóïowych
cech danego systemu. Takie podejĂcie nie tylko pozwoli okreĂliÊ poziom
caïkowitej satysfakcji uĝytkowników systemów e-usïugowych, ale równieĝ
dostarczy informacji przydatnych w procesach modyfikacji i doskonalenia
funkcjonalnoĂci oraz interfejsu oprogramowania wspierajÈcego oferowanie
i realizacjÚ e-usïug.
Bibliografia
Batko, K. i Billewicz, G. (2013). E-usïugi w biznesie i administracji publicznej. W: B. Kos
(red.), Transformacja wspóïczesnej gospodarki jako przedmiot badañ ekonomicznych.
Katowice: Wydawnictwo Uniwersytetu Ekonomicznego.
Chojnacka, M. (2011). Wybrane aspekty pomiaru satysfakcji klienta – studium teoretyczno-empiryczne. W: T. Borys i P. Rogala (red.), Orientacja na klienta jako kryterium
doskonaïoĂci. Wrocïaw: Wydawnictwo Uniwersytetu Ekonomicznego.
Drucker, P.F. (1994). Menedĝer skuteczny. Kraków: Wydawnictwo Akademii Ekonomicznej.
Farris, P.W., Bendle, N.T., Pfeifer, P.E. i Reibstein, D.J. (2010). Marketing Metrics: The
Definitive Guide to Measuring Marketing Performance.b Upper Saddle River: Pearson
Education.
ISO. (2011). Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models. International
Standard ISO/IEC 25010:2011.
Kan, S.H. (2002). Metrics and Models in Software Quality Engineering. Addison Wesley.
Kobyliñski, A. (2007). ISO/IEC 9126 – Analiza modelu jakoĂci produktów programowych.
Katowice: Prace naukowe Akademii Ekonomicznej.
Kotler, P. (1994). Marketing Management – Analysis, Planning, Implementation, and Control. Prentice Hall.
Kozielski, R. (2006). Wskaěniki marketingowe. Kraków: Oficyna Wydawnicza.
Mansor, Z., Kasirun, Z.M., Yahya, S. i Arshad, N.H. (2012). The Evauation of WebCost
Using Software Usability Measurement Inventory (SUMI). International Journal of
Digital Information and Wireless Communications.
Marciniak, B. (2005). Badanie satysfakcji klientów. Problemy i metody badawcze. Marketing i Rynek, (5).
Mazurek-’opaciñska, K. (2002). Orientacja na klienta w przedsiÚbiorstwie. Warszawa:
Polskie Wydawnictwo Ekonomiczne.
Mazurek-’opaciñska, K. (2005). Badania marketingowe. Teoria i praktyka. Warszawa:
Wydawnictwo Naukowe PWN.
McCall, J.A., Richards, P.K., Walters, G.F. (1977). Factors in Software Quality. Griffiths Air
Force Base. New York: Rome Air Development Center Air Force Systems Command.
Nafees, T. (2011). Impact of User Satisfaction on Software Quality in Use. International
Journal of Electric & Computer Sciences, 11 (3).
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
49
Karol ’opaciñski, Leszek A. Maciaszek
Niedzielski, P.,bRychlik, K. ibMarkiewicz, J. (2008). InnowacyjnoĂÊ przedsiÚbiorstw sektora
usïugb –b nowe Ăcieĝki rozwoju. W: E. Okoñ-Horodyñska i A. Zachorowska-Mazurkiewicz (red.), Tendencje innowacyjnego rozwoju polskich przedsiÚbiorstw. Warszawa:
Instytut Wiedzy i Innowacji.
Nieĝurawski, L., Pawïowska, B. i Witkowska, J. (2010). Satysfakcja klienta. Strategia –
pomiar – zarzÈdzanie. Toruñ: Wydawnictwo Naukowe Mikoïaja Kopernika.
Pasquier, M. i Fastnach, R. (2001). Badanie satysfakcji klientów. ZarzÈdzanie na Ăwiecie,
(6).
Pawïowska, B. i Strychalska-Rudzewicz, A. (2005). Badania satysfakcji klienta w systemie zarzÈdzania jakoĂciÈ. Pozyskano z: http://statkiewicz.weii.tu.koszalin.pl/zpi/zj/
pawlowska.pdf.
Pressman, R.S. (2001). Software Engineering. A Practitioner’s Approach – 5th edition.
McGraw-Hill Higher Education.
Urbanek, G. (2004). JakoĂÊ, satysfakcja, lojalnoĂÊ, rentownoĂÊ – ïañcuch przyczynowo-skutkowy. Marketing i Rynek, (6).
Wawak, S. (2007). PodrÚcznik wdraĝania ISO 9001:2000. Gliwice: One Press Helion.
50
DOI 10.7172/1644-9584.52.3