Luiza Fabisiak - Zachodniopomorski Uniwersytet Technologiczny w

Transkrypt

Metoda oceny uŜyteczności
serwisów internetowych
Autoreferat rozprawy doktorskiej
mgr inŜ. Luiza Fabisiak
promotor:
dr hab. BoŜena Śmiałkowska
recenzenci:
dr hab. Izabela Rejer
Wydział Informatyki
Zachodniopomorski Uniwersytet Technologiczny w Szczecinie
dr hab. Waldemar Wolski, prof. US
Wydział Nauk Ekonomicznych i Zarządzania
Uniwersytet Szczeciński
Szczecin 2012
1
Spis treści
1.
Charakterystyka i aktualność problemu .......................................................................................... 3
2.
Przedmiot badań .............................................................................................................................. 3
3.
Metody naukowe stosowane podczas wykonywania badań ........................................................... 3
4.
Główny cel rozprawy ...................................................................................................................... 4
5.
Zadania do rozwiązania ................................................................................................................... 4
6.
Wartość teoretyczna ........................................................................................................................ 4
7.
Wartość praktyczna ......................................................................................................................... 5
8.
Akceptacja wyników przez społeczność naukową.......................................................................... 6
9.
Główne osiągnięcia pracy ............................................................................................................... 6
10. Struktura pracy ................................................................................................................................ 6
11. Ogólna charakterystyka zawartości pracy doktorskiej .................................................................... 6
12. Metoda wielokryterialnej oceny uŜyteczności serwisów internetowych ........................................ 8
12.1 Ogólny schemat metody............................................................................................................... 8
12.2 Ocena uŜyteczności serwisów internetowych na podstawie danych zawartych w
dziennikach logów ...................................................................................................................... 8
12.2.1 Wstępna obróbka danych ...................................................................................................... 11
12.2.2 Badanie istotności kryteriów oceny ...................................................................................... 11
12.2.3 Ocena wielokryterialna uŜyteczności serwisów internetowych ........................................... 14
12.3 Ocena uŜyteczności serwisów internetowych w oparciu o preferencje uŜytkowe .................... 17
12.4 Syntetyczna ocena uŜyteczności serwisów internetowych ........................................................ 19
12.5 Empiryczna weryfikacja metody ............................................................................................... 20
12.6 Analiza porównawcza metody syntetycznej oceny uŜyteczności serwisów internetowych z
innymi metodami ...................................................................................................................... 22
13. Spis publikacji własnych ............................................................................................................... 23
14. Zakończenie .................................................................................................................................. 24
2
1. Charakterystyka i aktualność problemu
Badania i ocena uŜyteczności serwisów internetowych, przynaleŜne do tzw. inŜynierii
oprogramowania, opierają się na naukowej obserwacji, pomiarze, projektowaniu
i modyfikowaniu stron internetowych, zgodnie z dostępnymi metodami i technikami.
Głównym celem tych działań jest zwiększenie łatwości uŜytkowania serwisów, wyznaczenie
walorów poznawczych, uŜyteczności i dostępności serwisów1. Ułatwienie uŜytkowania
i dopasowania walorów tych serwisów do zmiennych w czasie potrzeb uŜytkowych zwykle
róŜnych od tych, które uwzględniono w formie wymagań obowiązujących na etapie
tworzenia serwisu. Raz zbudowany serwis internetowy moŜe tracić na uŜyteczności ze
względu na zmienne potrzeby jego uŜytkowników, procesy starzenia się serwisów, rozwój
narzędzi programowych i sprzętowych w informatyce, rozwój cywilizacyjno-technologiczny,
upływ czasu, zmienną modę, zmienne uwarunkowania związane z zachowaniem
uŜytkowników w interakcji ze stroną internetową, a takŜe pod wpływem zmiany celów
podmiotu dla potrzeb, dla którego taki serwis utworzono.
W literaturze podjęto próbę sformalizowania metod oceny róŜnych serwisów
internetowych2 3. Powstaje równieŜ wiele organizacji zajmujących się badaniem szeroko
pojętej uŜyteczności stron internetowych4. Do stosowanych metod oceny serwisów naleŜą
metody badania preferencji uŜytkowników, badania historii odwiedzin, a takŜe metody
badania opinii ekspertów. Metody te koncentrują się na ocenie funkcjonalności stron bądź
ocenie uŜyteczności serwisów internetowych. W praktyce widoczny jest niedobór metod
i narzędzi o charakterze wieloaspektowym i systemowym, które słuŜyłyby do badania
uŜyteczności z punktu widzenia rzeczywistych i zmiennych w czasie preferencji
uŜytkowników5.
2. Przedmiot badań
Przedmiotem badań jest opracowanie metody oceny uŜyteczność serwisów
internetowych, która uwzględni zmienne preferencje uŜytkowników na dowolnym etapie
eksploatacji serwisu. Takie badanie ma sens z dwóch głównych powodów:
− wymagania uŜytkowników i tzw. uŜyteczność serwisu jest zmienna w czasie a metody
jej projektowania są ukierunkowane na stały w czasie jej charakter;
− ze względów biznesowych wskazane jest wydłuŜanie czasu Ŝycia systemów
informatycznych co moŜna osiągnąć poprzez monitorowanie uŜyteczności i ewentualne
jej doskonalenie wówczas, gdy ta uŜyteczność maleje.
3. Metody naukowe stosowane podczas wykonywania badań
W ocenie uŜyteczności serwisów internetowych widoczny jest niedobór metod
i narzędzi oraz występuje brak analizy systemowej, reengineeringu, metod reduktowych,
które słuŜyłyby do badania uŜyteczności z punktu widzenia rzeczywistych i zmiennych
w czasie preferencji uŜytkowników. Aby zrealizować cel rozprawy zaproponowano
syntetyczną ocenę uŜyteczności serwisów internetowych, która odzwierciedla preferencje
1
Phyo A.: Web Design – Projektowanie atrakcyjnych stron WWW. Gliwice: Helion, 2003
Nielsen J.: Projektowanie funkcjonalnych serwisów internetowych. Gliwice, Helion, 2003
3
Nielsen, J., Molich: Heuristic evaluation of user interfaces. Seattle, 1990, Proc. ACM CHI'90 Conf. (WA, 1-5 April)
4
Firm: Symetria, Ideacto sp. Zoo; Janmedia; WitFlow; Cal.pl; Money.pl
5
Raport interaktywne.com – uŜyteczność w Internecie – www.interaktywne.com – dostęp 05.2012
2
3
uŜytkowników oraz dane rzeczywiste wydobyte z tzw. dzienników logów. Zastosowano
równieŜ metody takie jak:
− analizę systemową;
− metodę inŜynierii systemów informatycznych (metody inŜynierii wymagań);
− analizę danych źródłowych ukierunkowaną na badanie istotności i wiarygodności tych
danych (metoda zbiorów przybliŜonych, metody statystyczne);
− metody wielokryterialnego wyboru;
− metody eksperymentalne;
− metody ankietowe.
4. Główny cel rozprawy
Za cel pracy przyjęto opracowanie metody6 oceny uŜyteczności dowolnego serwisu
internetowego, z uwzględnieniem zmiennych preferencji jego uŜytkowników.
NaleŜy zaznaczyć, Ŝe metoda oceny uŜyteczności serwisów internetowych, zgodnie
z inŜynierią wymagań, powinna być stałym elementem projektowania i reengineeringu
oprogramowania, które organizuje infrastrukturę serwisu.
W pracy formułuje się hipotezę, Ŝe opracowana metoda oceny uŜyteczności serwisów
internetowych moŜe być nowym istotnym elementem architektury systemu informatycznego,
wspomagającym proces odnawiania, modernizacji i przebudowy serwisu. Wówczas, gdy
uŜyteczność serwisów w ocenie eksperta przy uŜyciu opracowanej w pracy metody będzie
niewłaściwa to, powinna nastąpić przebudowa serwisu tak by jego uŜyteczność w przyszłości
była wyŜsza, przez co nastąpi lepsze dopasowanie serwisu do potrzeb jego uŜytkowników.
Metoda oceny uŜyteczności oprócz swoich podstawowych funkcji, moŜe wydłuŜyć cykl
Ŝycia serwisu.
5. Zadania do rozwiązania
W celu opracowania syntetycznej metody oceny uŜyteczności naleŜy:
− zweryfikować informację zawartą w dziennikach logów (historii odwiedzin, wewnętrzna
struktura serwisów) redukcja, czyszczenie danych;
− wybrać metodę wielokryterialną spośród innych metod do oceny uŜyteczności;
− uzyskane dane historyczne (dzienniki logów) ocenić wielokryterialnie;
− utworzyć ankietę odpowiednią do oceny preferencji uŜytkowników;
− dokonać wyboru odpowiedniej metody badania preferencji;
− ocenić preferencji uŜytkowników wybraną metodą;
− wyznaczyć wagi do oceny syntetycznej;
− obliczyć ocenę wynikową (syntetyczną) uwzględniającą oceny cząstkowe.
6. Wartość teoretyczna
Metoda oceny uŜyteczności serwisów internetowych będąca przedmiotem rozprawy
powinna być oparta danych historycznych oraz ocenie odwzorowującej bieŜące i przyszłe
preferencje uŜytkowników, bowiem Ŝadne z nich nie musi być oceną wystarczającą
6
Kotarbiński T.: Elementy teorii poznania, logiki formalnej i metodologii nauk: Wrocław, Ossolineum 1961 - Metoda, czyli
system postępowania, jest to sposób wykonywania czynu złoŜonego, polegający na określonym doborze i układzie jego
działań składowych, a przy tym uplanowiony i nadający się do wielokrotnego stosowania
4
(historyczna ocena nie musi być zgodna z bieŜącymi preferencjami uŜytkownika zaś przyszłe
preferencję są często w ogólności mało przewidywalne). Taka metoda została opracowana
w pracy. Nazwano ją metodą syntetyczną.
MoŜna ją scharakteryzować następującymi własnościami:
− uwzględni zmienne w czasie potrzeby uŜytkowników;
− odwzorowuje zmiany wymagań biznesowych serwisów internetowych w ich otoczeniu
uŜytkowym;
− zintegruje metodę oceny uŜyteczności w oparciu o dane historyczne oraz bieŜące
i przyszłe preferencje uŜytkowników tych serwisów;
− moŜe zminimalizować okres czasu, w którym serwis internetowy jest niedopasowany do
nowych potrzeb uŜytkowników;
− moŜe wpłynąć na wydłuŜenie cyklu Ŝycia serwisów internetowych;
− daje moŜliwość rozszerzenia funkcjonalności serwisów internetowych o wewnętrzne
mechanizmy takiej oceny.
Opracowana w pracy metoda jest nową formalną metodą w obszarze metod oceny
uŜyteczności serwisów internetowych. NaleŜy równieŜ do nowych metod inŜynierii
oprogramowania i inŜynierii wymagań.
7. Wartość praktyczna
Syntetyczna metoda oceny uŜyteczności serwisów internetowych opracowana
w pracy moŜe być elementem systemu informatycznego wspomagającego budowę,
reorganizację, restrukturyzację i modyfikację serwisu internetowego. Koncepcję takiego
systemu opartą na systematycznej metodologii oceny uŜyteczności serwisów internetowych
zaprezentowano na rys. 1.
Rysunek 1 System informatyczny do budowy restrukturyzacji, reorganizacji i modyfikacji serwisu
internetowego (SMSI)
Źródło: opracowanie własne
Pod pojęciem procesu odnawiania, modernizacji i przebudowy wybranego serwisu
internetowego rozumie się tu taką jego przebudowę by uczynić go bardziej uŜytecznym.
Ocena wartości serwisu moŜe być wyznaczona w tym systemie ze stosunkiem uŜyteczności
serwisu do kosztu spełnionej funkcji przez ten serwis. Zaprezentowany system
5
informatyczny naleŜy do klasy systemów CASE. UmoŜliwia teŜ automatyzację prac
w obszarze tzw. reengineeringu systemu oprogramowania internetowego. Jest równieŜ
zgodny z prowadzeniem tzw. auditingu (przeglądu) serwisu. Opracowana w pracy metoda
umoŜliwia równieŜ prowadzenie benchmarkingu zewnętrznego organizacji, która udostępnia
serwis internetowy, bowiem jej produkt (serwis) jest porównywalny pod względem,
uŜyteczności z innymi serwisami (serwisami podobnymi). Jest równieŜ narzędziem
w doskonaleniu działań organizacji w tzw. outsourcingu ukierunkowanym na zwiększanie
skuteczności i efektywności organizacji udostępniającej serwis.
8. Akceptacja wyników przez społeczność naukową
Czasopisma w których recenzenci oceniali wynik rozprawy:
− Metody Informatyki Stosowanej;
− Materiałach Polskiego Stowarzyszenia Zarządzania Wiedzą;
− Monografia naukowa Uniwersytetu Szczecińskiego, Towarzystwo Naukowe Organizacji
i Kierownictwa Oddział Szczecin, WNEiZ Uniwersytet Szczeciński, Komisja
Informatyki PAN;
− Zeszytach Naukowych Polskiego Stowarzyszenia Zarządzania Wiedzą;
− Metody Ilościowe w Badaniach Ekonomicznych;
− Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu.
Konferencje na których wyniki pracy zostały przedyskutowane:
− Konferencja „Strategie zarządzania e-biznesem w przedsiębiorstwach 2010”;
− Konferencja Infogryf “Rola informatyki w rozwoju regionalnym 2010”;
− Konferencja Polskie Towarzystwo Badań Operacyjnych i Systemowych BOS 2010;
− Konferencja Infotrendy “Problemy Społeczeństwa Informacyjnego 2011”;
− Konferencja międzynarodowa Sejmik Młodych Informatyków 2011;
− Konferencja „Strategie zarządzania e-biznesem w przedsiębiorstwach 2012”.
9. Główne osiągnięcia pracy
Nowością w pracy jest wielokryterialna i wieloaspektowa ocena uŜyteczności
serwisów internetowych, w której powiązano dwa źródła danych, a mianowicie dane
rzeczywiste z eksploatacji serwisów z danymi ankietowymi uzyskanymi w procesie
ankietowych badań preferencji uŜytkowników (ekspertów). Dzięki temu moŜliwe będzie
zautomatyzowanie procesów reorganizacji i takiej przebudowy serwisu, aby zwiększyć
uŜyteczność serwisu. MoŜna taką automatyzację uzyskać poprzez implementację
zaprezentowanej w pracy metody w systemie zgodnym z rys. 1.
10. Struktura pracy
Rozprawa doktorska zbudowana jest z siedmiu rozdziałów, literatury, załączników do
których naleŜą spis tabel oraz rysunków. Rozprawa doktorska liczy 134 strony.
W pracy zamieszczono wykaz uŜytej bibliografii, który obejmuje 212 pozycji. NaleŜą
do nich artykuły konferencyjne, polskie i zagraniczne strony internetowe, pozycje ksiąŜkowe
(głównie anglojęzyczne). Praca zawiera w formie załączników wykaz podstawowych
definicji, wykaz 40 tabel i 33 rysunków.
11.Ogólna charakterystyka zawartości pracy doktorskiej
W części pierwszej rozprawa zawiera opis problemu, a takŜe cel i hipotezę pracy.
6
Rozdział drugi zawiera wprowadzenie do uwarunkowań systemowych w ocenie
uŜyteczności serwisów internetowych. Przyjęta perspektywa badawcza zakłada koncentrację
uwagi na architekturze informacji oraz zachowaniach uŜytkowników serwisów. W dalszej
części rozdziału zostały przedstawione metody uŜyteczności oraz dokonano tu ich
porównanie. UŜyteczność zdefiniowano w kontekście norm ISO i wskazano na sposób jej
badania. Na podstawie przeglądu funkcjonują w piśmiennictwie naukowym definicji
uŜyteczności, w pracy przyjęto definicję, która jest najczęściej uŜywana i identyfikuje cechy
dystynktywne przynaleŜne do teorii uŜyteczności i funkcjonalności. Przyjęta definicja
pozwoliła na odpowiednią interpretację i identyfikację zachowań uŜytkowników
z włączeniem narzędzi realizujących funkcję dostępnych danych w strukturach stron
internetowych.
Przedmiotem rozdziału trzeciego jest odkrywanie wzorców zachowań uŜytkowników
stron internetowych. Scharakteryzowano tutaj narzędzia i techniki zachowań uŜytkowników
oraz dokonano charakterystyki i identyfikacji uŜytkowników. Przytoczono równieŜ
koncepcje dostępu do zasobów sieciowych – przy wykorzystaniu dzienników serwera
WWW. W tej części rozprawy scharakteryzowano wiarygodność informacji zawartą
w logach WWW, moŜliwości pobierania, reprezentacji oraz identyfikacji uzyskanych
danych.
W rozdziale czwartym przedstawiono wielokryterialny charakter metod, które mogą
posłuŜyć do oceny uŜytecznych serwisów internetowych. Określono rolę stosowanych
narzędzi w kontekście wspomagania decyzji, identyfikację cech wyszukiwawczych
w uŜyteczności oraz opisano metody oceny uŜyteczności w oparciu o badanie preferencji
uŜytkowników.
W rozdziale piątym przedstawiono autorską metodę syntetycznej oceny uŜyteczności
serwisów internetowych. Rozdział ten jest kluczowym rozdziałem pracy. Zostały w nim
szczegółowo zawarty opis metody wielokryterialnej i wieloaspektowej oceny uŜyteczności
serwisów internetowych. W metodzie tej tzw. syntetyczna ocena U jest wyznaczona jako
złoŜenie dwóch ocen cząstkowych. Oznaczono je w pracy symbolicznie jako:
− Zd - ocena uŜyteczności na podstawie dzienników logów (uŜyteczność obliczona
w oparciu o dane historyczne);
− PS - ocena uŜyteczności w wyniku badań ankietowych (badanie preferencji
uŜytkowników).
W rozdział piątym dokonano oceny syntetycznej metody oraz porównano ją z innymi
stosowanymi w praktyce metodami.
W rozdziale szóstym przedstawiono praktyczny przykład wykorzystania opracowanej
metody oceny uŜyteczności serwisów internetowych.
Metodę zaprezentowaną w pracy zweryfikowano w oparciu o dane empiryczne
uzyskane z eksploatacji serwisów internetowych - księgarni internetowych, działających na
terenie Polski i porównano otrzymany wynik (ranking) z rankingiem czasopisma Wprost
z 2009/2010 roku i dziennikarzy Money.pl. NaleŜy zaznaczyć, Ŝe badania przeprowadzono w
oparciu o dane z dwóch lat, podzielone na cztery okresy badawcze. Przedmiotem oceny było
pięć księgarni internetowych. Zestawione wyniki badań z rankingiem czasopisma Wprost
z 2009/2010 roku i dziennikarzy Money.pl, przedstawiają wysokość zgodność oceny
uŜyteczności tych przykładowych serwisów.
7
Rozdział siódmy zawiera podsumowanie metody, nowatorskie elementy pracy oraz
kierunki dalszych badań.
12.Metoda wielokryterialnej oceny uŜyteczności serwisów internetowych
12.1 Ogólny schemat metody
W celu oceny uŜyteczności dowolnego serwisu internetowego naleŜy:
1. Obliczyć uŜyteczność tego serwisu w oparciu o dane zawarte w dzienniku logów (ocena
cząstkowa Zd).
2. Ocenić uŜyteczność serwisu w oparciu o dane wynikające z badania preferencji grupy
uŜytkowników tego serwisu (ocena cząstkowa PS).
3. Dokonać ostatecznej oceny uŜyteczności U serwisu w postaci tzw. syntetycznej oceny
uŜyteczności w oparciu o Zd oraz PS.
Procedura ta została zaprezentowana schematycznie na rys. 2.
Rysunek 2 Schemat metody oceny uŜyteczności serwisów internetowych
Metody ocen cząstkowych Zd oraz PS i syntetyczną metodę oceny uŜyteczności U
serwisów internetowych zgodne z rys. 2 przedstawiono w kolejnych podrozdziałach 12.2,
12.3, 12.4 niniejszego autoreferatu.
12.2 Ocena uŜyteczności serwisów internetowych na podstawie danych
zawartych w dziennikach logów
Dzienniki logów serwisów internetowych dostarczają danych o uŜytkownikach i ich
zachowaniu na stronach internetowych. Są to dane gromadzone automatycznie w czasie
rzeczywistym eksploatacji tych serwisów.
Dla ogólności, aby ocenić uŜyteczność dowolnego serwisu w chwili t na podstawie
jego dziennika logów załóŜmy, Ŝe tym serwisem będzie serwis S0 z dziennikiem
symbolicznie oznaczonym, jako D0. Dziennik D0 dostarcza danych o charakterystycznych
cechach uŜytkowania serwisu S0, przy czym cechom tym odpowiadają zawarte w D0
atrybuty opisujące sposób uŜytkowania serwisu S0. Zbiór tych atrybutów w dzienniku D0 dla
serwisu S0 oznaczmy symbolem A0 zgodnie ze wzorem (1):
A0 = {a10 , a 20 ...a m0 }
(1)
gdzie:
a 0j - atrybut opisujący j-tą własność (cechę) sposobu uŜytkowania serwisu internetowego
S0 w dzienniku logów D0,
j ∈ {1,2,..., m0 }
8
mi - liczba atrybutów w dzienniku D0.
UŜyteczność serwisu S0 oznaczona symbolicznie jako Z d 0 jest zmienna w czasie a jej wartość
jest wartością nieznanej funkcji g, takiej, Ŝe:
Z d 0 (t ) = g ( A0 , ζ , t )
(2)
gdzie:
ζ - jest nieznanym i niezidentyfikowanym w dzienniku logów D0 zbiorem czynników,
mających wpływ na uŜyteczność serwisu S0,
t - czas,
A0 - zbiór atrybutów zdefiniowanych w dzienniku D0 serwisu S0, zdefiniowany wzorem
(1).
NaleŜy zaznaczyć, Ŝe przy braku znajomości funkcji g i zbioru ζ oraz przy braku
metod ich identyfikacji uŜyteczność Z d 0 (t ) serwisu S0 w chwili t moŜna wyznaczyć, jako
rangę wartości uŜyteczności serwisu S0 względem innych serwisów podobnych do S0
wyznaczoną na podstawie znanego zbioru atrybutów dostępnych w dziennikach logów. Jest
to wówczas rodzaj oceny kategorycznej, wyraŜającej rangę wartości. Dlatego w dalszych
rozwaŜaniach załoŜono, Ŝe w chwili t dostępne są dodatkowo serwisy podobne do S0
z dziennikami logów. Pod pojęciem serwisu podobnego przyjmuje się taki serwis, który
posiada ten sam zakres podstawowych funkcji przypisanych serwisowi. Serwisy podobne
powiązane są ze sobą nie tylko funkcjonalnością, ale równieŜ treścią, mają zwykle
podobnych odbiorców choć często równieŜ z indywidualnymi upodobaniami. Niech tymi
serwisami podobnymi do S0 są serwisy:
S1, S2,…, Sn
(3)
gdzie:
symbolem n oznaczono liczbę serwisów podobnych do serwisu S0, taką, Ŝe n ≥ 1
Zakładając, Ŝe dla kaŜdego serwisu Si gdzie i ∈ {1,2,..., n} w dowolnej chwili t dostępne
są dzienniki logów symbolicznie oznaczone jako Di i, Ŝe kaŜdy z dzienników Di serwisu Si
podobnego do S0 (dla i=1,2,…n) zawiera kolekcję mi atrybutów Ai świadczących o sposobie
uŜytkowania tych serwisów, tzn.
∀1<=i <=n ∃mi ∈I Ai = {a1i , a 2i ...ami i }
(4)
gdzie:
I - zbiór liczb całkowitych nieujemnych,
n - liczba rozwaŜanych dodatkowo serwisów,
i ∈ {1,2,..., n} ,
mi - liczba atrybutów w dzienniku Di
a ij - atrybut opisujący j-ty sposób uŜytkowania serwisu internetowego Si w dzienniku
logów Di,
j ∈ {1,2,..., mi }
moŜna rozwaŜyć zbiór wspólnych atrybutów ∆ zdefiniowany zgodnie ze wzorem (5):
9
n
∆ = I Ai
(5)
i =0
Zawiera on wspólne atrybuty charakteryzujące serwisów S0, S1, S2,…, Sn z punktu widzenia
ich uŜyteczność. Zbiór ∆ nie jest zbiorem pustym. Wynika to z tego, Ŝe w dziennikach logów
serwisów internetowych znajdują się choćby najczęściej uŜywane takie atrybuty jak: liczba
odwiedzin, czas przebywania na stronie i inne omówione w pracy doktorskiej 7.
ZałóŜmy, Ŝe zbiór ∆ zawiera p elementów, tzn. niech
∆ = {k1 , k 2 ,..., k p }
(6)
gdzie:
i ∈ {1,2,..., p} oznacza numer elementu w zbiorze ∆,
p - liczność zbioru ∆ ,
ki - i-ty element zbioru ∆.
Elementy zbioru ∆ są miarami uŜyteczności serwisów S0, S1, S2,…, Sn. Częstym zbiorem
kryteriów (elementów zbioru ∆) są zwykle: liczba odwołań do serwera przykładowe k1,
liczba uŜytkowników odwiedzających serwis przykładowe k2, strony w sieci, z których
uŜytkownicy wchodzą do serwisu przykładowe k3, strony, z których uŜytkownicy najczęściej
opuszczają serwis przykładowe k4, liczbę odwołań przykładowe k5, strony, z których
najczęściej kierowany jest „ruch” do serwisu atrybut k6, okres największych aktywności
odwiedzających przykładowy atrybut k7.
Dla serwisów S0, S1, S2,…, Sn oraz odpowiednich do nich dzienników D0, D1, D2,…, Dn
moŜna wówczas utworzyć macierz danych źródłowych Ω [ ξ x p] w której elementami
są wartości kolejnych kryteriów w kolejnych pozycjach dzienników logów, gdzie ξ jest
liczba wszystkich zapisów we wszystkich dziennikach logów począwszy od dziennika D0 do
Dn, a p jest licznością zbioru ∆.
W dalszych rozwaŜaniach załoŜono, Ŝe macierz Ω jest macierzą o wymiarze N x p
gdzie N jest liczbą wierszy macierzy Ω a p liczbą jej kolumn (liczbą atrybutów ze zbioru ∆).
Niektóre z atrybutów (miar) dzienników logów (elementy zbioru ∆) mogą być względnie
zaleŜne od siebie, istotne lub nie, z punktu widzenia badania uŜyteczności. Mogą teŜ
wymagać obliczenia (np. liczba odwołań, szybkość z jaką wczytywane są strony serwisu
i wyszukiwane są dane czy średnia liczba sesji na uŜytkownika). Mogą równieŜ zawierać
tzw. szumy informacyjne, które są wynikiem róŜnych błędów, jakie mogą pojawiać się
w danych pochodzących z dzienników logów. Istnienie takich szumów w danych zapisanych
w zbiorze Ω utrudnia wyodrębnienie informacji prawdziwych, pewnych i istotnych z punktu
widzenia wiarygodności oceny. Dlatego dysponując macierzą Ω naleŜy zastosować
odpowiednią metodę czyszczenia, porządkowani i walidacji danych zawartych w Ω ,
co zmniejszy ilość szumów informacyjnych. Ogólnie metody czyszczenia, porządkowania,
walidacji, normalizacji nazwano wstępną obróbką danych. Zaprezentowano je
w podrozdziale 12.2.1 autoreferatu. NiezaleŜnie od wstępnej obróbki danych dla zapewnienia
wiarogodności oceny uŜyteczności serwisów internetowych niezbędne jest wyznaczenie
spośród kryteriów ze zbioru ∆ tych kryteriów, które są istotne do oceny uŜyteczności.
7
Praca doktorska „Metoda ocen uŜyteczności serwisów internetowych”, rozdział III str. 31-51
10
Metodę tę nazwano w pracy redukcją kryteriów oceny uŜyteczności i zaprezentowano ją
w podrozdziale 12.2.2 niniejszego autoreferatu
12.2.1 Wstępna obróbka danych
Wstępna obróbka danych uzyskanych z dzienników logów D0, D1, D2,…, Dn
(n - liczba serwisów podobnych do S0) obejmuje:
1. Usuwanie wiersz i kolumn z macierzy Ω , które zawierają niepełne dane.
2. Obliczenie wartości kryteriów ze zbioru ∆ na podstawie danych zawartych w macierzy
Ω.
3. Normalizację danych (zamiana wartości zawartych w macierzy Ω na wartości
przynaleŜne do jednakowej przestrzeni odniesienia).
W celu otrzymania tablicy danych zawierające nieznane wartości atrybutów
do w pełni zdefiniowanej tablicy informacyjnej Ω naleŜy w tym zakresie zastosować trzy
uogólnienia. Pierwszy rodzaj obróbki wstępnej wynika z niekompletności danych
o wartościach atrybutów ze zbioru ∆ w dziennikach D0, D1, D2,…, Dn. Drugi przypadek
redukcji kryterium ki (i-ty element) ze zbioru ∆ w tablicy informacyjnej Ω występuje, przy
niesymetrycznej relacji prawdopodobieństw dla przypadków podobnych. Oznacza to, Ŝe
redukuje się te kryteria ki (i-ty element) ze zbioru ∆, dla których występuje zaleŜność
pomiędzy
innymi
kryteriami
kj (j-ty
element)
z
tego
zbioru
gdzie
( j ≠ i ) ∧ (1 ≤ i ≤ n ) ∧ (1 ≤ j ≤ n ) . Trzeci przypadek to normalizacja danych, przy której
następuje zamiana wartości zawartych w macierzy Ω na wartości przynaleŜne do
jednakowej przestrzeni odniesienia i jednostek pomiaru. Normalizacja jest niezbędna
wówczas, gdy wartości zawarte w macierzy Ω pochodzą z róŜnych zakresów. Jedną z metod
normalizacji jest min-max normalization, którą wykorzystano w pracy doktorskiej8.
Ostatecznie po wykonaniu czynności wstępnej (obróbki danych zawartych
w macierzy Ω (przypadek 1, 2, 3) z atrybutami ze zbioru ∆) uzyskuje się macierz Γ
z kryteriami ze zbioru Π . Zbiór kryteriów Π jest wówczas zgodny ze wzorem (7).
Π = {q1 , q2 ,..., qu } ⊆ ∆ ∧ u ∈ I ∧ u ≤ p
(7)
gdzie:
I - zbiór liczb całkowitych dodatnich,
∆ - zbiór kryteriów przed obróbką wstępną macierzy Ω ,
u - liczba kryteriów oceny uŜyteczności serwisów internetowych po obróbce wstępnej.
12.2.2 Badanie istotności kryteriów oceny
Aby przeprowadzić ocenę serwisów internetowych pod względem ich uŜyteczności
na podstawie atrybutów zawartych w macierzy danych Γ z kryteriami oceny Π , naleŜy
wybrać ze zbioru Π te kryteria, które są istotne z punktu widzenia celu oceny. Dodatkowo,
ze zbioru odróŜnialnych kryteriów Π i danych z tablicy Γ naleŜy odrzucić równieŜ te,
których usunięcie nie spowoduje utraty istotności wyników w procesie oceny. Taka metoda
usuwania danych nazywa się metodą wyznaczania reduktów.
Według definicji reduktem P nazywa się taki podzbiór zbioru dostępnych danych,
w którym obiekty są opisane na zbiorze kryteriów Φ i dla których algorytm wywodu wiedzy
8
Praca doktorska „Metoda ocen uŜyteczności serwisów internetowych”, rozdział 5.2.1 str. 74
11
(w tym przypadku oceny uŜyteczności serwisu internetowego) będzie osiągał ogólnie
zdefiniowaną funkcję zgodności 9.
Redukcja danych moŜe przyczynić się do:
– zwiększenia efektywności wywodu wiedzy o uŜyteczności serwisu;
– zmniejszenia czasu rozpoznawania wiedzy o tej uŜyteczności;
– wyeliminowania szumów i błędów ze zbioru danych;
– zmniejszenia wymagań, co do zasobów obliczeniowych metody;
– zmniejszenia złoŜoności struktury reprezentacji wiedzy o rozwaŜanym problemie;
– wskazanie kompromisu pomiędzy poziomem dostępu do danych a ich spójnością
i wartością przyjętej funkcji oceny.
Celem zastosowania wyŜej wymienionych przypadków redukcji zbioru Π macierzy
Γ jest uzyskanie najmniej licznego zbioru pozwalającego rozróŜnić warianty oceny
końcowej, a tym samym zredukować liczbę wymiarów oceny i pozostawić te atrybuty
ze zbioru Π , które są istotne do oceny uŜyteczności.
W procesie redukcji danych stosuje się metody polegające na selekcja cech
(atrybutów - kryteriów) za pomocą wyboru takiego podzbioru cech (atrybutów-kryteriów)
Φ , Ŝe Φ ⊆ Π ⊆ ∆ . MoŜna uzyskać stosując metody usunięcia ze zbioru Π kolumn
macierzy Γ o zbyt małej zmienności za pomocą tzw. statystycznej miary zmienności
atrybutu lub metody opartej na podobieństwie cech. Jedną z metod redukcji jest równieŜ
metoda badanie istotności danych.
Aby wyznaczyć względną istotności otrzymanych atrybutów (kryteriów) ze zbioru
Π posłuŜono się metodą zbiorów przybliŜonych10, która wymaga uzupełnienia macierzy
informacyjnej Γ o wektor atrybutów decyzyjnych d (uŜyteczność) zdefiniowany wzorem (8).
d 0 
 
d
d =  1
 ... 
 
d n 
(8)
gdzie:
di - oznacza uŜyteczność serwisu Si,
i - numer kolejnego serwisu, przy czym i ∈ I ∧ 0 ≤ i ≤ n ,
n - wyznacza liczbę analizowanych serwisów,
I - zbiór liczb całkowitych nieujemnych.
Uzyskaną w ten sposób macierz oznaczono symbolem Ψ . Jest ona zgodna z tab. 1.
Tabela 1 Macierz Ψ istotnych danych źródłowych do oceny uŜyteczności serwisów WWW z atrybutem
decyzyjnym d (po obróbce wstępnej i redukcji nieistotnych kryteriów)
S0
S1
S2
…
Sn
q1
Wartość kryterium q1 w D0
…
Wartość kryterium q1 w Dn
q2
…
Wartość kryterium q2 w Dn
…
qu
Wartość kryterium
Wartość kryterium
Wartość kryterium
…
Wartość kryterium
qu w D0
qu w D1
qu w D2
qu w Dn
d
d0
d1
d2
…
dn
9
Dominik A.: Analiza danych z zastosowaniem teorii zbiorów przybliŜonych. Warszawa, 2004, Praca Dyplomowa
Magisterska opiekun dr inŜ. R. Podraza
10
Pawlak Z., Skowron A.: A rough set approach for decision rules generation, ICS Research Report 23/93. Warszawa:
University of Technology, 1993
12
Dopiero tabela Ψ umoŜliwi analizę istotności kryteriów ze zbioru Π za pomocą metody
zbiorów przybliŜonych.
Ostatecznie w wyniku zastosowania redukatów (badanie istotności atrybutów zbioru
Π ) uzyskuje się zbiór niezaleŜnych i istotnych atrybutów zwanych w dalszej treści pracy
kryteriami oceny uŜyteczności serwisów w oparciu o dzienniki logów. Zbiór tych kryteriów
oznaczono symbolem Φ zgodnie ze wzorem (9)
(9)
Φ = {Q1 , Q 2 ,..., Q r }
gdzie r jest licznością zbioru Φ . NaleŜy zauwaŜyć, Ŝe liczby r oraz u i p (uŜyte we wzorach
6, 7) spełniają warunek (10), taki, Ŝe
r≤u≤ p
(10)
Φ⊆Π⊆∆
(11)
oraz, Ŝe
Tak wyznaczony zbiór Φ istotnych kryteriów opisanych w dziennikach D0, D1,…,Dn
serwisów podobnych S0, S1, S2,…, Sn moŜe posłuŜyć do oceny ich uŜyteczności, równieŜ
uŜyteczności S0.
Znając kryteria ze zbioru Φ w oparciu o dane z dzienników logów moŜna w tym celu
utworzyć tabelę Θ istotnych danych źródłowych oceny uŜyteczności serwisów. Tabelę
tę zaprezentowano w tab. 2.
Tabela 2 Macierz Θ istotnych danych źródłowych do oceny uŜyteczności serwisów WWW w oparciu o dane
z dzienników logów
S0
S1
Q1
Wartość kryterium Q1 w D0
Q2
…
…
…
Qr
Wartość kryterium Qr w D0
Wartość kryterium Qr w D1
…
Sn
…
Wartość kryterium Q1 w Dn
…
Wartość kryterium Q2 w Dn
…
…
…
Wartość kryterium Qr w Dn
Sformalizowana postać macierzy Θ jest zgodna ze wzorem (12),
o0,1 o0, 2
o
o1, 2
1,1
Θ=
 ...
...

o
o
 n,1 n, 2
... o0, r 
... o1, r 
... ... 

... on , r 
(12)
gdzie:
n+1 - liczba serwisów poddanych badaniu uŜyteczności,
r - liczność zbioru kryteriów Φ ,
oi , j - element tabeli Θ ,
i ∈{0,.., n}, j ∈{1,..,r} są numerem wierzy i kolumn macierzy Θ ,
Macierz Θ , zawierająca istotne kryteria oceny uŜyteczności serwisów S0,S1,…Sn oraz
wartości istotnych kryteriów wyznaczone na podstawie ich dzienników logów D0, D1,…Dn
jest tablicą informacyjną do wielokryterialnej oceny uŜyteczności serwisów S0,S1,…Sn.
13
12.2.3 Ocena wielokryterialna uŜyteczności serwisów internetowych
Aby ocenić uŜyteczność serwisów podobnych S0, S1,…, Sn na podstawie macierzy Θ
z wieloma istotnymi kryteriami ze zbioru Φ naleŜy wybrać odpowiednią metodę. Oznaczmy
poszukiwaną metodę oceny wielokryterialnej serwisów S0, S1,…Sn symbolem M.
Metoda M powinna umoŜliwić definiowanie wag róŜnych kryteriów ze zbioru Φ ze
względu na róŜne składowe posiadające róŜny wpływ na preferencje uŜytkowników. Ponadto
powinna umoŜliwić porównanie wszystkich serwisów S0, S1.,…, Sn pomiędzy sobą.
W wyborze poszukiwanej metody M nie dopuszcza się sytuacji, w której nie jest moŜliwe
porównanie kryteriów między serwisami. Warunek ten jest moŜliwy do osiągnięcia w tym
przypadku, poniewaŜ rozwaŜane serwisy są podobne funkcjonalnie (serwisy internetowe
powinny znajdować się w wybranej grupie tematycznej lub powinny zawierać podobną
strukturę informacyjną w opinii ekspertów) zgodnie z przyjętymi załoŜeniami metody.
Kolejnym problem wyboru odpowiedniej metody wielokryterialnej M jest istnienie w niej
moŜliwości rozmycia przedziałów oceny preferencji w wielokryterialnym wyborze.
Rozmycie to powinno występować ze względu na moŜliwość wystąpienia róŜnic między
serwisami pomimo ich podobieństwa (np. róŜna skala liczby uŜytkowników porównywanych
serwisów od kilku do wielu tysiącach uŜytkowników). Wybrana metoda M powinna
rozpatrywać problem porządkowania lub wyboru rangi oceny. W mniejszym stopniu
powinny tu być zastosowane metody ukierunkowane na sortowanie lub opis kryteriów.
Pozytywną cechą metody M jest równieŜ forma udostępniania wyników metody (naturalna
skala oceny wynikowej metody). Problem wyboru metody M jest równieŜ problemem
wielokryterialnym.
Do wyboru metody M spośród metod potencjalnie moŜliwych uŜyto metodę
ELECTRE I11. Metodę ELECTRE I w procesie analizy i wyboru metody M oceny
uŜyteczności serwisów internetowych zastosowano z następujących powodów:
− rozpatrywano wybór jednej metody M spośród wielu, tak by miała ona najlepszą
stosowalność w ocenie serwisów internetowych;
− wszystkie rozpatrywane kryteria wyboru f1, f2,…, ,f6 metody M mogą przyjmować tylko
wartości binarne 1 lub 0 (prawda, fałsz), wystarczające w jej wyborze;
− ze względu na ocenę kryteriów f1, f2,…, ,f6 w skali binarnej, nie ma potrzeby
wykorzystywania tzw. progów weta.
W celu uŜycia metody ELECTRE I sformułowano kryteria, które umoŜliwią wybór
najlepszej z dostępnych metod wielokryterialnych do oceny uŜyteczności serwisów.
Przyjętymi kryteriami wyboru metody M są kryteria oznaczone symbolicznie kryteria
f1, f2,…, f6 (tab. 3).
Tabela 3 Kierunki preferencji oraz wagi poszczególnych kryteriów
L.p.
f1
f2
f3
f4
f5
f6
Kryterium
czy metoda obejmuje zdefiniowanie wag?
czy metoda dopuszcza sytuację nieporównywalności wariantów oceny?
czy metoda zapewnia rozmycie przedziałów preferencji?
czy metoda rozpatruje problem porządkowania lub wyboru?
czy metoda umoŜliwia dekompozycję problemu oceny?
czy wartości kryteriów oceny są podawane w naturalnych języku czy skali ilościowej?
Kierunek preferencji
max
min
max
max
max
max
Waga
3
5
4
5
3
2
11
Fabisiak L., Ziemba P.: Metody Wielokryterialnego wspomagania decyzji w ocenie uŜyteczności serwisów internetowych.
Wrocław: Wydawnictwo Uniwersytetu Ekonomicznego, 2011, nr 20, s.303-312
14
Dla ustalenia wag kryteriów oceny f1, f2,…, f6 w metodzie ELECTRE I wykorzystano
skalę Likerta. Jest to technika pomiarowa oparta na wykorzystaniu standaryzowanych
kategorii odpowiedzi, która umoŜliwiła odpowiednie eksperckie dopasowanie wartości
liczbowej do badanego problemu. Aby wskazać jaką z rozwaŜanych w pracy doktorskiej
metod M1 - ELECTRE II, PROMETHEE II; M2 - ELECTRE III, ELECTRE IS,
PROMETHEE I; M3 - ELECTRE IV, MELCHIOR; M4 - ELECTRE Iv; M5 - TOPSIS; M6 UTA; M7 - AHP; M8 - ELECTRE TRI przyjąć za najlepszą posłuŜono się badaniem opinii
ekspertów. W takcie przeprowadzanej procedury obliczeniowej ELECTRE I uzyskano
macierz współczynników zgodności. W wyniku zastosowania metody ELECTRE I
otrzymano graf przewyŜszania zgodny z rys. 3.
Rysunek 3 Graf przewyŜszania obliczoną ELECTRE I
Dzięki zastosowaniu metody wielokryterialnej ELECTRE I uzyskano końcowe
zestawienie wyników, które potwierdza wybór metody AHP (rys. 3 metoda o numerze M7
o najwyŜszym przewyŜszeniu) na podstawie kryteriów f1, f2…, f6 oznacza to, Ŝe jako metodę
M słuŜącą do oceny uŜyteczności serwisu S0 oraz oceny uŜyteczności serwisów S1, S2,…, Sn
na podstawie danych zawartych w dziennikach logów serwisów D0, D1,…, Dn. W dalszych
obliczeniach przy pomocy tablicy Θ uŜyto metody AHP. Metoda ta wymaga:
1. Zbudowania macierzy porównań parami dla obiektów oceny S0, S1,…, Sn osobno
w ramach kaŜdego kryterium spośród kryteriów Q1, Q2,…, Qr przynaleŜnych do zbioru
Φ i macierzy Θ przy czym porównanie to prowadzi do powstania r+1 (k = r
w metodzie AHP) macierzy porównań; oznaczmy wyniki tych porównań jako macierze
A(1), A(2),…, A(r) zaś macierz porównań kryteriów Q1, Q2,…, Qr oznaczmy symbolem A(0);
2. Wyznaczenia rankingu indywidualnie dla kaŜdej z macierzy A(0), A(1), A(2),…, A(r);
3. Wyznaczenia rankingu wielokryterialnego dla serwisów S0, S1,…, Sn wg tego rankingu
kaŜdy serwis Si otrzyma ocenę uŜyteczności Z d i gdzie i ∈{0,1,...n} .
Procedury realizacji kroków 1, 2 i 3 zostały zaprezentowane w literaturze12 13 i w pracy
doktorskiej14. Ostatecznie w wyniku zastosowania metody AHP uzyskano ocenę
uŜyteczności serwisów S0, S1,…, Sn (a w szczególności uŜyteczność serwisu S0) w formie
wektora Zd zgodnego z następującym wzorem (13):
12
Saaty T L.: Axiomatic foundation of the analytic hierarchy process. Manage. Sci, 32:841-855, 1986
Saaty T.L.: How to make a decision: the analytic hierarchy process: European Journal of Operational Research,, 1990, t 48
14
Praca doktorska „Metoda ocen uŜyteczności serwisów internetowych”, rozdział 4.3 str. 60-64
13
15
Z d0 
Z 
d
Zd =  1 
 ... 


Z dn 
(13)
gdzie:
Z d i - uŜyteczność serwisu Si,
i ∈ {0,1,.., n},
n - liczba rozwaŜonych serwisów.
Schematycznie wyznaczanie oceny Z d 0 dla serwisu S0 zilustrowano na rys. 4
Rysunek 4 Algorytm oceny cząstkowej Zd (patrz: rys. 2) dla dowolnego serwisu S0
Otrzymana ocena Zd jest oceną cząstkową, która posłuŜyła w budowie ostatecznego modelu
metody w syntetycznej ocenie uŜyteczności serwisów internetowych.
16
12.3 Ocena uŜyteczności serwisów internetowych w oparciu o preferencje
uŜytkowe
Istotnym etapem metody oceny uŜyteczności serwisów internetowych jest ocena
przyszłych i aktualnych preferencji uŜytkowników (ocena Ps na rys. 2). Do rozwiązania tego
problemu wykorzystano metodę wielowymiarowej analizy funkcjonalności, czyli tzw.
metodę oceny punktowej15. NaleŜy zaznaczyć, Ŝe zastosowane kryteria są traktowane
równowaŜnie a skali preferencji przypisywano wartości współczynnikowe. Na podstawie
licznych publikacji16 w celu oceny preferencji uŜytkowników (ekspertów) serwisów
internetowych wytyczono następujące etapy:
– powołanie oceniającego zespołu ekspertów złoŜonego z przedstawicieli uŜytkowników
i potencjalnych uŜytkowników Internetu z określonej grupy badanych serwisów
internetowych;
– stworzenie szczegółowego formularza, czyli określenie kryteriów szczegółowych oceny
serwisów internetowych, ich hierarchii oraz zaleŜności pomiędzy czynnikami oceny;
– ocena ekspercka wybranych serwisów internetowych występujących w danej dziedzinie
oraz charakterystyka tych serwisów w badanym sektorze/branŜy;
– przypisanie kategoriom z grup kryteriów odpowiednich punktów na podstawie
przyjętych;
– zebranie wyników w formie tabel indywidualnych i zestawienia wyników w formie tabel
zbiorczych;
– analiza wyników ostatecznych i wyciągniecie wniosków.
W metodzie punktowej eksperci przypisują kryteriom oceny według skali od 0 do 1 gdzie
ocena 0 to brak cechy, 0,25 – niski (zadawalający) poziom cechy, 0,5 – średni (dostateczny)
poziom cechy, 0,75 – wysoki (dobry) poziom cechy, 1 – bardzo wysoki poziom cechy.
PoniewaŜ w badaniach opinii ekspertów moŜna stosować wiele skal to w celu oceny
preferencji stosuje się zwykle normalizację zgodną ze wzorem (14). Dostosowuje ona
uzyskane wartości badania tak, aby mieściły się one w określonym przedziale17.
P' ' S i =
w − Pmin
( Pnew max − Pnew min ) + Pnew min
Pmax − Pmin
(14)
gdzie:
P ' ' S i - nowa wartość którą chcemy uzyskać po normalizacji,
Pnewmin -nowa wartość minimalna,
Pnewmax -nowa wartość maksymalna,
Pmin- dotychczasowa wartość minimalna,
Pmax - dotychczasowa wartość maksymalna,
w - wartość oceny w dotychczasowej skali.
Po normalizacji danych zaprezentowana skala daje wyniki z przedziału od 0 do 1. Lepszą
gradację ocen w badaniu opinii ekspertów uzyskuje się stosując oceny wyznaczone
15
Chmielarz W.: Analiza atrybutów wybranych księgarni internetowych. Materiały konferencji HCI , 2009
Chmielarz W.: Metody oceny werbalnych księgarni internetowych Komputerowo: Zintegrowane Zarządzanie obszar:
Gospodarka oparta na wiedzy, 2010
17
Jain, A., Nandakumar, K., Ross, A.: Score normalization in multimodal biometric systems. Pattern Recognition 2005,
(38), No. 12,
16
17
w liczbach naturalnych. MoŜna wówczas stosować skalę preferencji zgodną z tab. 4.
Tabela 4 Skala preferencji uŜytkowników
Skala ekspercka
<0,1
0,11-0,2
0,21-0,3
0,31-0,4
0,41-0,5
0,51-0,6
0,61-0,7
0,71-0,8
0,81-0,9
0,91-1
Skala Preferencji
1
2
3
4
5
6
7
8
9
10
Po przyjęciu przez eksperta skali opartej na liczbach naturalnych, bazując na funkcji
odwzorowania z tab. 4 wyznacza się cząstkową ocenę PS, dla kaŜdego serwisu Si, gdzie
{i=0,1,…n}.
Ostatecznie w wyniku zastosowania metody punktowej zostaną uzyskane preferencję
uŜytkowników w ocenie uŜyteczności serwisów S0, S1,…, Sn (a w szczególności uŜyteczność
serwisu S0) w formie wektora PS zgodnego ze wzorem (15):
 PS 0 
P 
S
Ps =  1 
 ... 


 PS n 
(15)
gdzie:
PSi - preferencję uŜytkowników w ocenie uŜyteczności serwisu Si,
i ∈ {0,1,.., n},
n - liczba rozwaŜonych serwisów.
Schematycznie wyznaczanie oceny PS 0 dla serwisu S0 zilustrowano na rys. 5:
Rysunek 5 Algorytm oceny uŜyteczności dowolnego serwisu S0 metodą badania preferencji uŜytkowników
(ocena cząstkową Ps z rys. 2)
18
12.4 Syntetyczna ocena uŜyteczności serwisów internetowych
Ostateczna ocena uŜyteczności serwisów internetowych (rys. 2) jest połączenie oceny
cząstkowej Zd i oceny cząstkowej PS (podrozdział 12.2 i 12.3) badanych serwisów
internetowych. Uzyskaną w ten sposób ocenę nazwano syntetyczną. Uwzględnia ona
zarówno historyczne dane z rzeczywistego ich uŜytkowania jak i ocenę bieŜących
i przyszłych preferencji uŜytkowników. W metodzie syntetycznej ostateczną ocenę uzyskuje
się dzięki addytywności funkcji uŜyteczności, syntetyzując udziały obu ocen składowych
z uwzględnieniem stopnia – wagi tych udziałów oraz skali ich odniesienia do zakresu
uzyskanych wartości. W celu uzyskania jednolitej skali odniesienia PS i Zd. naleŜy dokonać
normalizacji tych ocen np. znormalizować Zd względem ocen PS. Wymaga to pomnoŜenia
wartości uzyskanej oceny Zd przez n rozwaŜanych serwisów.
W syntetycznej ocenie uŜyteczności serwisów internetowych dane uzyskane
z dzienników logów to dane rzeczywiste zaś dane preferencji, jako dane niepewne, niepełne
oraz wraŜliwe na dobór reprezentatywnej grupy uŜytkowników (ekspertów). Dlatego
w końcowej syntetycznej ocenie uŜyteczności w celu uwzględnienia wag obu ocen
wprowadzono specjalny współczynnik β . Wartość tego współczynnika moŜna określić
zasięgając opinii eksperta. W określeniu oceny wagi β moŜna zasięgnąć opinii eksperta.
Ekspert moŜe rozwaŜać, Ŝe prawdopodobieństwo wystąpienia błędu otrzymanych ocen
cząstkowych Zd względem PS zawsze jest znana. W przypadku, gdy oszacowanie takiego
prawdopodobieństwa nie jest moŜliwe lub nie jest obiektywne (prawdopodobieństwo
subiektywne lub mieszane) o doborze β decydują eksperci posługujący się własną wiedzą18
19 20
. Szerzej wybór wartości β opisano w pracy doktorskiej21.
Reasumując w celu wyznaczenia syntetycznej oceny uŜyteczności serwisów
internetowych w oparciu o dane z dzienników logów i badanie preferencji z zastosowaniem
normalizacji ocen Zd i PS względem siebie i wagi β otrzymuje się uŜyteczność Ui
badanego serwisu internetowego Si w tym równieŜ ocenę syntetyczną badanego serwisu
internetowego So zgodnie ze wzorem (16).
U
i
= β ⋅ Z d i ⋅ n + (1 − β ) ⋅ P S i
(16)
gdzie:
i ∈ {0,1,..., n}
Ui - uŜyteczność dowolnego serwisu internetowego Si,
PSi - uŜyteczność serwisu Si wyznaczona metodą badania preferencji uŜytkowników,
Z d i - uŜyteczność serwisu Si wyznaczona metodą AHP serwisów Si ,
n - liczba ocenianych serwisów,
β - waga oceny ( 0 ≤ β ≤ 1) .
Schematycznie wyznaczanie oceny U0 dla serwisu S0 zilustrowano na rys. 6:
18
Huang W.C., Chien-Hua C., Keelung T.: Using the ELECTRE II method to apply and analyze the differentiation theory.
Proceedings of the Eastern Asia Society for Transportation Studies, 2005
19
Hurwicz, L.: On the Concept and Possibility of Informational Decentralization. American Economic Review, 1969, 59(2)
20
Stąpor K.: Automatyczna klasyfikacja obiektów. Warszawa, Akademicka Oficyna Wydawnicza EXIT, 2005
21
Praca doktorska „Metoda ocen uŜyteczności serwisów internetowych”, rozdział 5.4 str. 89
19
Rysunek 6 Algorytm przedstawiający ocenę uŜyteczności serwisów internetowych U0
12.5 Empiryczna weryfikacja metody
W celu potwierdzenia słuszności zaproponowanej syntetycznej metody oceny
uŜyteczności rozwaŜono serwisy w księgarniach internetowych działających na terenie Polski
w okresie dwóch lat (2009-2010). Do badań wybrano pięć popularnych w Polsce księgarni
internetowych. Oceny dokonano w rozwaŜanym okresie co pół roku. Oceniono uŜyteczność
wybranych serwisów na podstawie dzienników logów oraz w opinii ekspertów. Badane
serwisy naleŜą do grupy serwisów podobnych funkcjonalnie (głównie funkcję przez
nierealizowane są takie same). Uzyskano tym samym oceny uŜyteczności tych
przykładowych serwisów. Ostatecznie porównano uzyskane oceny z ocenami serwisów
ogłoszonymi przez Wprost i portal Money.pl dla tego samego okresu dwóch lat 22.
Na etapie oceny cząstkowej Zd w celu dopasowania danych z dzienników logów do
tablicy informacyjnej został wyznaczony następujący zbiór kryteriów (atrybutów) oceny:
liczba uŜytkowników (k1), średnia liczba sesji na uŜytkownika (k2), czas (k3), liczba odsłon
(k4), współoglądalność (k5), zasięg (k6). W kolejnym kroku przeprowadzono badanie
istotność wybranych kryteriów. Zastosowano tu metody zbiorów przybliŜonych i uzyskano
wyniki zgodne z tab. 5.
Tabela 5 Istotność atrybutów za pomocą zbiorów przybliŜonych
Atrybut (kryterium oceny)
k1
k2
k3
k4
k5
k6
Względna istotność atrybutu
0.3043
0.0000
0.1304
0.2609
0.0000
0.1739
Atrybuty k2, k6 pośród sześciu badanych zostały następnie odrzucone poniewaŜ ich istotność
wynosi 0. Ostatecznie na podstawie metody AHP i kryteriów k1, k3, k4, k6 wyznaczono ocenę
cząstkową Zd zgodną z tab. 6 i 7.
Tabela 6 Zestawienie końcowe wyników w oparciu o dane z dzienników logów (2009) metodą AHP
2009 I-VI
Kryteria
Warianty
merlin.pl
empik.pl
wysyłkowa.pl
gandalf.com.pl
kolpoler.pl
Zd
0,142
0,098
0,315
0,353
0,093
2009 VI-XII
Kryteria
Warianty
merlin.pl
empik.pl
wysyłkowa.pl
gandalf.com.pl
kolpoler.pl
Zd
0,206
0,055
0,396
0,263
0,08
22
http://menager.money.pl/strategie/marketing_i_sprzedaz/artykul/internetowy; biznes; skazany;na;sukces,62,0,190270.html
dostęp 1.12.09, 1.12.10
20
Tabela 7 Zestawienie końcowe wyników w oparciu o dane z dzienników logów (2010) metodą AHP
2010 I-VI
Kryteria
2010 VI-XII
Kryteria
Zd
Warianty
merlin.pl
empik.pl
wysyłkowa.pl
gandalf.com.pl
kolpoler.pl
Warianty
0,393
0,156
0,075
0,319
0,057
Zd
0,231
0,102
0,37
0,255
0,042
merlin.pl
empik.pl
wysyłkowa.pl
gandalf.com.pl
kolpoler.pl
Po otrzymaniu oceny cząstkowej Zd syntetycznej oceny badanych serwisów
internetowych kolejnym etapem było wyznaczenie otrzymanie oceny cząstkowej PS na
podstawie badania opinii uŜytkowników. W tym celu opracowano formularz. Do oceny
w badaniu opinii uŜytkowników wykorzystano pięć kryteriów, które zostały wyznaczone
przez ekspertów na podstawie teorii Nielsena J. 23 24 o uŜyteczności serwisów internetowych.
Tymi kryteriami były: wizualizacja strony głównej; oferta serwisu internetowego; obsługa
procesu usługowego; asortyment i ceny; poprawność technologiczna – sprawdzenie
poprawności kodu.
Badanie preferencji uŜytkowników (ekspertów) odniesiono do tych samych serwisów,
jak w przypadku Zd. Wynik oceny PS dla badanych księgarni internetowych są zgodne
z tab. 8 i 9.
Tabela 8 Ocena uŜyteczności wynikająca z preferencji
uŜytkowników (2009)
e-księgarnie
empik.pl
wysyłkowa.pl
merlin.pl
gandalf.com.pl
kolpoler.pl
empik.pl
wysyłkowa.pl
merlin.pl
gandalf.com.pl
kolpoler.pl
P’’Si
2009 I-VI
0,65333333
0,373333333
0,813333333
0,586666667
0,386666667
2009 VI-XII
0,68
0,466666667
0,84
0,533333333
0,52
Tabela 9 Ocena uŜyteczności wynikająca z preferencji
uŜytkowników (2010)
PS
e-księgarnie
7
4
9
6
4
empik.pl
wysyłkowa.pl
merlin.pl
gandalf.com.pl
kolpoler.pl
7
5
9
6
6
empik.pl
wysyłkowa.pl
merlin.pl
gandalf.com.pl
kolpoler.pl
P’’Si
2010 I-VI
0,56
0,453333333
0,533333333
0,573333333
0,426666667
2010 VI-XII
0,666666667
0,773333333
0,653333333
0,813333333
0,68
PS
6
5
6
6
5
7
8
7
9
7
Końcowy wynik oceny uŜyteczności badanych księgarni internetowych (ocena
syntetyczna) wyznaczona na podstawie wzoru (16). Wyniki końcowe dla wartości β = 0,6
(dane rzeczywiste z dzienników logów w opinii eksperta są bardziej wiarygodne)
zaprezentowano w tab. 10 i 11.
Tabela 10 Ranking finalny księgarni internetowych
metodą syntetycznej oceny uŜyteczności 2009
Tabela 11 Ranking finalny księgarni internetowych
metodą syntetycznej oceny uŜyteczności 2010
2009
2010
Ranking
księgarnie internetowe
Wynik końcowy
Ranking
Wynik końcowy
I
II
III
IV
V
merlin.pl
gandalf.com.pl
empik.pl
wysyłkowa.pl
kolpoler.pl
4,122
3,324
3,0295
2,8665
2,2595
I
II
III
IV
V
gandalf.com.pl
merlin.pl
wysyłkowa.pl
empik.pl
kolpoler.pl
3,861
3,536
3,2675
2,987
2,5485
Aby ocenić uzyskaną metodą syntetyczną ocenę uŜyteczności przykładowych
serwisów internetowych wybranych księgarni internetowych dodatkowo porównano
23
24
Nielsen J.: Projektowanie funkcjonalnych serwisów internetowych. Gliwice, Helion, 2003
Nielsen, J., Molich: Heuristic evaluation of user interfaces. Seattle, Proc. ACM CHI'90 Conf. (WA, 1-5 April), 1990
21
uzyskane wyniki z rankingiem tych serwisów wg czasopisma Wprost z 2009/2010 roku
i opinii dziennikarzy portalu Money.pl. W tab. 12 i 13 zaprezentowano ocenę uzyskaną
z syntetycznej metody oceny uŜyteczności serwisów internetowych i według portalu
Money.pl i tygodnika Wprost.
Tabela 12 Ranking porównywalny księgarni internetowych metodą syntetycznej oceny uŜyteczności oraz
według portalu Money.pl i tygodnika Wprost w 2009
2009
Ranking wg syntetycznej
metody oceny
uŜyteczności
I
II
III
IV
V
Ranking wg portalu Money.pl i
tygodnika Wprost
merlin.pl
gandalf.com.pl
empik.pl
wysyłkowa.pl
kolpoler.pl
I
II
III
Brak serwisu w klasyfikacji
Tabela 13 Ranking porównywalny księgarni internetowych metodą syntetycznej oceny uŜyteczności oraz
według portalu Money.pl i tygodnika Wprost w 2010
2010
Ranking wg syntetycznej
metody oceny uŜyteczności
I
II
III
IV
V
gandalf.com.pl
merlin.pl
wysyłkowa.pl
empik.pl
kolpoler.pl
Ranking wg portalu Money.pl i
tygodnika Wprost
I
II
IV
III
Uzyskane wyniki w tab. 12 oraz 13 dowodzą porównywalnej słuszności syntetycznej metody
oceny uŜyteczności serwisów internetowych. Dodatkowo, przedstawione w tabelach wyniki
dowodzą, Ŝe w syntetycznej metodzie oceny uŜyteczności liczba uŜytych kryteriów oceny w
stosunku do rankingu portalu Money.pl i tygodnika Wprost jest mniejsza a metoda badawcza
mniej skomplikowana. Koszty badania uŜyteczności serwisów internetowych portalu
Money.pl i tygodnika Wprost są nieznane, ale duŜo wyŜsze niŜ te związane z zastosowaniem
syntetycznej metody opracowanej w pracy. Metody stosowane w obydwu przypadkach
uwzględniają preferencję uŜytkowników. Wartością dodaną w zaprezentowanej syntetycznej
metodzie oceny uŜyteczności jest uwzględnienie danych z dzienników logów. Metoda ta
usprawni pracę analityków przy dopasowaniem serwisów internetowych do bieŜących
potrzeb uŜytkownika w okresie eksploatacji tych serwisów.
12.6 Analiza porównawcza metody syntetycznej oceny uŜyteczności serwisów
internetowych z innymi metodami
W celu porównania dostępnych w literaturze metod oceny uŜyteczności serwisów
internetowych z syntetyczną metodą opracowaną w pracy doktorskiej zastosowano
następujące kryteria Albert B. 25:
– standardowa wielkość próby – ile osób podlega badaniu;
– otoczenie badawcze – naturalne (np.: dom, biuro) lub w laboratorium;
– miary badawcze – miary, które umoŜliwiają ocenę uŜyteczności takie jak liczbę kliknięć,
czas realizacji zadania, poprawność wykonywania zadania;
– badanie zachowań – czy moŜna śledzić zachowania uŜytkownika w trakcie badania,
– badania opinii – czy moŜna badać opinie i postawy w trakcie badań;
25
Albert B. Tedesco D, Beyond: The Usability Lab. Conducting Large-scale, On-Line User Experience Study. MA USA,
Morgan Kaufmann, 2010
22
– pytania potestowe – czy po zakończeniu badań moŜna zadać uŜytkownikowi jeszcze
dodatkowe pytania;
– przedmiot badania – co moŜe podlegać badaniu;
– wpływ moderatora – na ile jest silny wpływ moderatora na działania badanych
i zalecenia zaprezentowane w literaturze26. Wyniki tych porównań zestawiono w tab. 14.
Tabela 14 Porównanie metod badań uŜyteczności serwisów internetowych
Miary
badawcze
Wielkość
próby
Otoczenie
badawcze
Wpływ
moderatora
Pytania
potestowe
Badanie
zachowań
Badanie
opinii
Analiza
ruchu
Ankietowanie
uŜytkowników
Postacie i
scenariusze
dyskusyjne
Analiza
opinii
Testy
funkcjonaln
ości
Ocena
preferencji
Metoda
wielokryteria
lna
ilościowe
Ilościowe
jakościowe
jakościowe
jakościowe
jakościowe
jakościowe
jakościowe
ilościowe
duŜa/mała
mała
mała
mała
mała
duŜa/mała
mała
duŜa/mała
sztuczne
naturalne
sztuczne
sztuczne
naturalne
sztuczne
naturalne
naturalne
sztuczne
naturalne
naturalne
sztuczne
nie
tak/nie
tak
tak/nie
nie
nie
tak/nie
nie
nie
tak
tak
tak
tak
nie
tak
tak
tak
tak/nie
tak/nie
tak
nie
tak
tak
tak/nie
Grupy
tak
tak
nie
tak
tak
tak
tak
tak
Przedmiot
badań
wybrany
wszystkie
wybrany
wszystkie
wybrany
wybrany
wszystkie
wybrany
Czas badań
długi
krótki
długi
krótki
długi
krótki
cały czas
cały czas
długi
krótki
etap
duŜy
duŜy
mały
długi
krótki
etap
planowania
duŜy
mały
długi
krótki
Zastosowanie
długi
krótki
etap
planowania
duŜy
mały
Koszt
etap
planowania
duŜy
mały
cały czas
duŜy
mały
planowania
duŜy
mały
cały czas
mały
NaleŜy zaznaczyć, Ŝe poprzez analizę na podstawie kryteriów Albert B. zaproponowana
syntetyczna metoda oceny uŜyteczności serwisów internetowych spełnia kryteria w sposób
efektywny, szybszy oraz tańszy od oceny serwisów z innymi metodami.
13. Spis publikacji własnych
1 Fabisiak L.: Eksploracja danych w serwisach internetowych. Metody Informatyki
Stosowanej, 2009, nr 3 (20), s. 33-43, ISSN 1898-5297.
2 Fabisiak L.: Wolski W., Metody analizy wielokryterialnej w ocenie uŜyteczności
serwisów internetowych. Studia i materiały Polskiego Stowarzyszenia Zarządzania
Wiedzą, 2010, nr 27, s. 116-126, ISSN 1732-324X.
3 Fabisiak L.: Zastosowanie logiki rozmytej w ocenie uŜyteczności serwisów
internetowych. Studia i materiały Polskiego Stowarzyszenia Zarządzania Wiedzą, 2010,
nr 28, s.48-58, ISSN 1732-324X.
4 Fabisiak L.,: A comparison of multiple-criteria decision-making methods in evaluation
of website utility. Zeszyty Naukowe Uniwersytetu Szczecińskiego, Applied Informatics,
Methods and Algorithms, 2010, s.89-107, ISBN 978-83-751821-8-7.
5 Fabisiak L., Wolski W.: Ocena audiencji serwisów internetowych. Studia i materiały
Polskiego Stowarzyszenia Zarządzania Wiedzą, 2010, nr 32, s. 165-176, ISSN 1731324X.
6 Fabisiak L., Szarafińska M.: Analiza porównawcza metod wielokryterialnych w ocenie
audiencji serwisów internetowych. Metody Ilościowe w Badaniach Ekonomicznych,
2010, nr 2(6), s.232-241, ISBN 978-83-7583-240-2.
7 Fabisiak L., Ziemba P.: Wybrane metody analizy wielokryterialnej w ocenie
uŜyteczności serwisów internetowych. Zeszyty Naukowe Uniwersytetu Szczecińskiego,
Studia Informatica, 2011, nr 28, s.21-33, ISSN 1640-6818, ISSN 0867-1753.
26
Kocjan J. Wycena/analiza porównawcza http://www.gospodarka.pl/48850, Wycena analiza porownawcza,1,20,2.html
dostęp 30.04.10
23
8 Fabisiak L., Ziemba P.: Metody Wielokryterialnego wspomagania decyzji w ocenie
uŜyteczności serwisów internetowych .Wydawnictwo Uniwersytetu Ekonomicznego we
Wrocławiu, 2011, nr 20, s.303-312, ISSN 1899-3192.
14. Zakończenie
Celem niniejszej pracy było opracowanie metody oceny uŜyteczności dowolnego
serwisu internetowego, z uwzględnieniem zmiennych preferencji jego uŜytkowników. Aby
wskazać, Ŝe cel pracy został osiągnięty została przedstawiona syntetyczna metoda. Metodę
zweryfikowano na podstawie grupy serwisów internetowych i dokonano porównania metody
z innymi metodami oceny uŜyteczności dostępnymi w literaturze. Syntetyczna metoda oceny
uŜyteczności serwisów internetowych uwzględnia dwa aspekty oceny tych serwisów
a mianowicie preferencje uŜytkowników oraz historyczne dane rzeczywiste uzyskane
z dzienników logów. KaŜda z nich reprezentuje odmienne cechy strukturalne i tym samym w
róŜny sposób odwzorowuje oceny serwisów. Dzięki temu syntetyczna ocena uŜyteczności
jest metodą wieloaspektową.
Metoda ta ma charakter proceduralny, jest działaniem zaplanowanym i moŜliwym do
wielokrotnego stosowania. Uwzględniony w opracowanej metodzie, szeroki aspekt
zmienności preferencji uŜytkowników, ma dodatkowo adaptacyjny a nie sztywny
(jednokrotnie realizowany) charakter. Adaptacja polega tu na moŜliwości dopasowania zmian
w preferencjach uŜytkowników, gdzie zdefiniowanie przez eksperta kryteria, wyraŜają
odpowiednią funkcję przynaleŜności do serwisu internetowego w danej grupie badawczej.
Metoda ta moŜe być uŜyta w dowolnym rodzaju grup serwisów internetowych jak równieŜ w
dowolnej ilości. Liczba serwisów internetowych zaleŜna będzie od postawionego problemu
oceny uŜyteczności badanych serwisów. Dodatkowo metoda pozwala w czasie rzeczywistym
na:
1. Gromadzenie danych z dzienników logów, czyli stworzenie swoistej bazy wiedzy do
oceny uŜyteczności;
2. Gromadzenie danych do oceny preferencji uŜytkowników w badanych serwisach
internetowych.
W pracy proponuje się równieŜ włączenie metody oceny uŜyteczności serwisów
internetowych do architektury systemu informatycznego SMSI (rys 1) jako stały element.
W ten sposób udowodniono prawidłowość hipotezy w pracy, Ŝe opracowana metoda oceny
uŜyteczności serwisów internetowych moŜe być nowym istotnym elementem architektury
systemu informatycznego, wspomagającym proces odnawiania, modernizacji i przebudowy
serwisu w trakcie oraz po przeprowadzeniu badań oceny uŜyteczności. Pozwoli ona ocenić
nie tylko dopasowanie serwisów internetowych do preferencji uŜytkowników, serwisów
internetowych do otoczenia trendów panujących w Internecie, ale takŜe umoŜliwi
wprowadzenie skutków zmian (usprawnień) w danym momencie i stopnia realizacji strategii
biznesowych serwisów. Prawdziwość tej hipotezy wynika z przedstawionej w pracy
koncepcji systemu SMSI (rys 1).
Perspektywy dalszych badań na tym polu to połączenie metody oceny z bazą wiedzy
w jedno narzędzie do modyfikowania wewnętrznych struktur serwisów internetowych.
24

Luiza Fabisiak - Zachodniopomorski Uniwersytet Technologiczny w

Transkrypt

Podobne dokumenty

Nazwa: Architekt stron internetowych Kod: 251301 Synteza

Załącznik 2 do - Kongres tańca

Radosław Delida Wiarygodność informacji w Internecie Większość

Dyrektor Zespołu Placówek Kształcenia Zawodowego

pełny opis techniczny