Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na

Problemy ZarzÈdzania, vol. 13, nr 2 (52), t. 1: 136 – 149
ISSN 1644-9584, © Wydziaï ZarzÈdzania UW
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P
oparta na podejĂciu BI Scorecard Framework
Nadesïany 06.10.14 | Zaakceptowany do druku 24.11.14
Mirosïaw Dyczkowski*, Jerzy Korczak**, Helena Dudycz***
W artykule1 przedstawiono podejĂcie do ewaluacji systemów Business Intelligence (BI) zastosowane
wb projekcie InKoM. Metoda ewaluacji opiera siÚ na ramowej karcie wyników, przeznaczonej dla systemów i projektów dedykowanych menedĝerom maïych i Ărednich przedsiÚbiorstw (M¥P). OpracowujÈc
metodÚ ewaluacji, przeanalizowano i dostosowano do obszaru M¥P znane, dostÚpne na rynku komercyjne
ib niekomercyjne modele dojrzaïoĂci BI, standardy uĝytecznoĂci i ramowe karty wyników. Warto zauwaĝyÊ, ĝe ramowe karty wyników zostaïy rozszerzone o nowe kryteria oceny, zwiÈzane z innowacyjnymi,
opartymi na wiedzy funkcjonalnoĂciami stworzonymi w projekcie InKoM, zwïaszcza takimi jak ontologie
wiedzy ekonomicznej i finansowej oraz interaktywny, wizualny interfejs nawigacji i eksploracji oparty na
mapie pojÚÊ. Wybrane elementy rozszerzonej ramowej karty wyników oraz procedura jej zastosowania
w wielokryterialnej ewaluacji projektu InKoM sÈ przedstawione i omówione w prezentowanym artykule.
Sïowa kluczowe: ewaluacja systemu BI, Inteligentny kokpit menedĝerski, ramowa karta wyników, projekt
InKoM.
Multi-Criteria Evaluation of BI Systems for SMEs Based
on the BI Scorecard Framework Approach
Submited 06.10.14 | Accepted 24.11.14
The article presents an approach to evaluating the Business Intelligence (BI) systems applied to the InKoM
project. The evaluation method is based on a scorecard framework, oriented towards Decision Support
Systems (DSS) and DSS projects dedicated to managers of Small and Medium Enterprises (SME). To design
the method, known existing commercial and non-commercial BI maturity models, usability standards, and
scorecard frameworks have been analyzed and adapted to the SMEs area. Notably, the scorecard framework
was extended to the new evaluation criteria associated with innovative knowledge-based functions created in
the InKoM project, especially such as ontologies of economic and financial knowledge, and visual navigation
and exploratory interface based on topic maps. The selected elements of the scorecard framework and
usage in InKoM multi-criteria evaluation are illustrated and discussed in this paper.
Keywords: BI system evaluation, intelligent dashboard, scorecard framework, InKoM project.
JEL: M15
*
**
***
Mirosïaw Dyczkowski – dr, Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej, Katedra Technologii Informacyjnych.
Jerzy Korczak – prof. dr hab., Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej, Katedra Technologii Informacyjnych.
Helena Dudycz – dr hab., Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej,
Katedra Technologii Informacyjnych.
Adres do korespondencji: Uniwersytet Ekonomiczny we Wrocïawiu, ul. Komandorska 118/120, 53-345 Wrocïaw; e-mail: [email protected]; [email protected]; [email protected].
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
1. Wprowadzenie
Kadra kierownicza przedsiÚbiorstw i instytucji gospodarczych, szczególnie w przypadku dziaïania na rynkach konkurencyjnych oraz w warunkach
zmiennych, turbulentnych czy teĝ kryzysowych, aby podejmowaÊ racjonalne
decyzje, musi posiadaÊ aktualnÈ i adekwatnÈ wiedzÚ na temat sytuacji gospodarczej zarzÈdzanego obiektu i jego otoczenia. SkutecznoĂÊ i efektywnoĂÊ
dziaïañ menedĝerskich wspóïzaleĝy od moĝnoĂci identyfikacji oraz analizy
istotnych parametrów wpïywajÈcych na funkcjonowanie przedsiÚbiorstwa.
Wbtym obszarze powaĝne trudnoĂci wystÚpujÈ szczególnie w sektorze maïych
i Ărednich przedsiÚbiorstw (M¥P). Menedĝerowie takich obiektów gospodarczych nie majÈ dostÚpu do tak szerokiego spektrum informacji zarzÈdczych
ani nie dysponujÈ – jak ich korporacyjni koledzy – zespoïami analityków
w celu zbierania danych i ich interpretowania. WiÚkszoĂci firm z sektora
M¥P nie staÊ – ze wzglÚdów finansowych oraz kadrowych – na zewnÚtrzny
konsulting strategiczny. Do tego funkcjonujÈ one w zdecydowanie bardziej
niepewnym i ryzykownym otoczeniu biznesowym, a dopuszczalne marginesy
bïÚdów decyzyjnych sÈ znacznie wÚĝsze. Kadra kierownicza M¥P w takich
warunkach czÚsto dziaïa intuicyjnie i w rezultacie racjonalnoĂÊ podejmowanych decyzji jest zdecydowanie mniejsza (por. Gibcus, Vermeulen i Jong,
2009). Do tego dochodzi czÚsto aspekt braku u menedĝerów i wïaĂcicieli
M¥P eksperckiej (a w wielu przypadkach takĝe elementarnej) wiedzy dziedzinowej z obszarów ekonomii, rachunkowoĂci czy finansów.
WiÚkszoĂÊ dostÚpnych na rynku i eksploatowanych w przedsiÚbiorstwach
systemów Business Intelligence (BI) udostÚpnia funkcje analizy, agregacji,
eksploracji i wizualizacji danych (por. m.in. Schlegel, Sallam, Yuen ibTapadinhas, 2013; Dresner Advisory Services, 2013a). W wielu raportach i opracowaniach z tego zakresu jednakĝe podkreĂla siÚ, ĝe decydenci oczekujÈ
nowych rozwiÈzañ ICT, które nie tylko interaktywnie udostÚpniÈ odpowiednie i aktualne informacje o bieĝÈcej sytuacji ekonomicznej i finansowej
zarzÈdzanych firm, ale równieĝ dostarczÈ niezbÚdnych objaĂnieñ uwzglÚdniajÈcych ïÈczÈce je powiÈzania kontekstowe, w tym takĝe w kontekĂcie
wiedzy dziedzinowej.
Przykïadem takiego rozwiÈzania jest opracowany w ramach projektu
pt. „Inteligentny kokpit menedĝerski” system InKoM, który – rozszerzajÈc
dotychczasowe funkcjonalnoĂci systemu TETA BI m.in. o ontologie wiedzy
ekonomiczno-finansowej i ich reprezentacjÚ w postaci map pojÚÊ – umoĝliwiï
zaimplementowanie w aplikacji innowacyjnego interfejsu i systemu nawigacji
oraz moduïu eksploracji i interpretacji danych. Celem niniejszego artykuïu
jest przedstawienie podejĂcia do wielokryterialnej ewaluacji systemów BI,
które zastosowano podczas tego projektu2.
RealizujÈc projekt wielokrotnie (ex-ante, okresowo, ex-post po poszczególnych fazach itd.), musieliĂmy bowiem dokonywaÊ ocen zarówno jego
przebiegu, jak i tworzonych produktów czÈstkowych i koñcowych. Oceny
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
137
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
te byïy wykonywane z trzech najwaĝniejszych i w znacznej mierze róĝnych
perspektyw:
1) wymagañ Narodowego Centrum Badañ i Rozwoju, zdefiniowanych
wbregulacjach odnoĂnie raportowania projektu, w tym osiÈgniÚtych celów
i uzyskanych wyników,
2) wewnÚtrznej, a wiÚc zespoïu zarzÈdzajÈcego i wykonujÈcego projekt oraz
przyjÚtych przezeñ zasad i procedur samooceny,
3) zewnÚtrznej, a wiÚc zespoïu powoïanych spoza realizatorów ekspertów
(m.in. z obszaru BI, ekonomii, finansów i spoĂród uĝytkowników z sektora M¥P).
Aby tak zróĝnicowane dziaïania ewaluacyjne byïy prowadzone efektywnie
i skutecznie, naleĝaïo je dobrze zorganizowaÊ i obudowaÊ odpowiednim
instrumentarium. W kolejnych czÚĂciach artykuïu opisano zastosowane
wb projekcie InKoM podejĂcie do ewaluacji systemów klasy BI oraz pokazano wybrane oceny uzyskane dla stworzonego kokpitu menedĝerskiego.
Opisy te poprzedza skrótowa charakterystyka samego projektu i bÚdÈcego
jego wynikiem kokpitu menedĝerskiego.
2. Syntetyczny opis systemu InKoM
Inteligentny kokpit menedĝerski InKoM to produkt dedykowany kadrze
kierowniczej i wïaĂcicielom M¥P. Jego podstawowym celem jest proaktywne
wspomaganie tej grupy docelowej w procesach podejmowania decyzji na
wszystkich szczeblach zarzÈdzania, gïównie strategicznym i taktycznym, ale
takĝe – w okreĂlonych sytuacjach – operacyjnym. Wspomaganie decydentów
jest realizowane dziÚki zestawowi narzÚdzi, które dziaïajÈc interaktywnie,
wbduĝej mierze intuicyjnie, nie tylko udostÚpniajÈ adekwatne informacje oraz
wspierajÈ ich analizÚ, ale przede wszystkim objaĂniajÈ na bieĝÈco ïÈczÈce
je relacje semantyczne i zwiÈzki ze ěródïami danych, uïatwiajÈc tym samym
poruszanie siÚ po zïoĝonej przestrzeni pojÚÊ i wskaěników ekonomiczno-finansowych.
InKoM zostaï zaprojektowany jako rozszerzenie systemu informacyjnego
kierownictwa. W projekcie przyjÚto ontologiczne podejĂcie do tworzenia
konceptualnych modeli wiedzy dziedzinowej (opracowano 6 takich ontologii), które w systemie InKoM przyjÚïy postaÊ sieci semantycznej zapisanej
w sformalizowany sposób, zgodny ze standardem mapy pojÚÊ (TM ISO/
/IEC 13250:2003). RozwiÈzanie takie nie tylko umoĝliwiïo dostosowane
do dziedziny odwzorowanie wiedzy ekonomiczno-finansowej, ale przede
wszystkim spowodowaïo, ĝe aplikacja mapy pojÚÊ moĝe peïniÊ funkcjÚ interaktywnego, wizualnego interfejsu nawigacji i eksploracji danych miÚdzy
uĝytkownikami ab zasobami informacyjnymi (bazy transakcyjne, hurtownia
danych, kostki analityczne itp.) bez koniecznoĂci modyfikowania istniejÈcego
systemu BI (wb tym przypadku TETA BI, ale moĝe to byÊ rozszerzone na
dowolny system tej klasy). Wygenerowane pliki map pojÚÊ oraz przygotowane
138
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
scenariusze postÚpowania menedĝera w typowych sytuacjach decyzyjnych
zostaïy wïÈczone do zaprojektowanego przez TETA BI Center narzÚdzia do
przeglÈdania i wizualnego wyszukiwania informacji, które zostaïo nastÚpnie
zintegrowane z systemem TETA BI.
Menedĝer M¥P korzystajÈcy z udostÚpnionego w systemie interfejsu
moĝe w ïatwy sposób analizowaÊ sieÊ semantycznÈ wskaěników ekonomicznych i finansowych. Widzi bowiem relacje istniejÈce pomiÚdzy róĝnymi pojÚciami. Ma teĝ bieĝÈcy dostÚp do zapisanych w ontologiach ich skróconych
i peïnych opisów. Sprawia to, ĝe interpretacja wskaěników jest ïatwiejsza
oraz moĝe przyczyniÊ siÚ do skuteczniejszego znalezienia wyjaĂnienia wystÈpienia ich aktualnych wartoĂci. Zastosowane podejĂcie jest pomocne przy
analizie wskaěników ekonomicznych i finansowych przez menedĝerów M¥P,
dla których czÚsto duĝÈ trudnoĂciÈ jest okreĂlenie a priori przyczyn wystÈpienia niekorzystnej sytuacji, a tym samym zestawu danych analitycznych
wymaganych przy rozwiÈzywaniu konkretnego problemu decyzyjnego.
DrugÈ waĝnÈ grupÈ funkcjonalnoĂci systemu InKoM jest zestaw metod
eksploracji danych dedykowanych menedĝerom M¥P, obejmujÈcych m.in.
zagadnienia: grupowania obiektów, budowania klasyfikatorów, poszukiwania reguï decyzyjnych, badania powiÈzañ miÚdzy zjawiskami, symulacji
ib optymalizacji zadañ ekonomicznych, wyszukiwania zdarzeñ nietypowych,
wyznaczania sytuacji alertowych oraz prognozowania. Dodatkowo wïÈczono
do systemu ontologiÚ eksploracji danych, której zadaniem jest wspieranie
metodyczne menedĝera w procesie eksploracji. Wybrane metody i algorytmy
ekstrakcji wsparto prostÈ parametryzacjÈ, poïÈczonÈ z interaktywnÈ wizualizacjÈ, co znacznie uïatwia ich wykorzystanie w procesach podejmowania
decyzji. PracÚ w module eksploracji uïatwiajÈ wbudowane kreatory, umoĝliwiajÈce tworzenie zaawansowanych modeli eksploracji i nastÚpnie korzystanie z nich w procesie analityczno-decyzyjnym. ½ródïami danych dla moduïu
eksploracji mogÈ byÊ nie tylko systemy transakcyjne przedsiÚbiorstwa czy
hurtownia danych, ale takĝe – dziÚki wïÈczeniu do Inteligentnego kokpitu
menedĝerskiego narzÚdzi do przeszukiwania gïÚbokiego Internetu – nieindeksowane i nieustrukturalizowane zasoby sieciowe. Wpisuje to InKoM do
trendów rozwojowych systemów BI, w których m.in. akcentuje siÚ korzyĂci
wynikajÈce z ïÈczenia BI z problematykÈ data mining3.
Po syntetycznej prezentacji projektu i jego produktu moĝemy wróciÊ
do gïównego zagadnienia opracowania, a wiÚc do problematyki ewaluacji
systemów klasy BI.
3. Ewaluacja systemów klasy BI – przeglÈd
najwaĝniejszych podejĂÊ
Podstawowym celem kaĝdego systemu BI jest dostÚp do odpowiednich
danych we wïaĂciwym czasie, aby umoĝliwiÊ aktywne podejmowanie decyzji
(Wise, 2008). Uĝytkownicy systemów BI oczekujÈ dostÚpu do przydatnych
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
139
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
informacji i wiedzy poprzez ïatwy do zrozumienia oraz zastosowania interfejs.
Obok tradycyjnych rozwiÈzañ analitycznych korzystajÈcych z narzÚdzi ETL,
hurtowni danych itp. technologii, na rynku sÈ oferowane nowe generacje
systemów BI, takie m.in. jak: BI 2.0 i 3.0, systemy oparte na architekturze
SOA, udostÚpniane w modelach usïugowych typu SaaS, mobilne wersje BI
czy rozwiÈzania BI bazujÈce na technologiach big data itd. Bez wzglÚdu na
to, jakie aplikacje BI sÈ przedmiotem wdroĝenia, zawsze powinny one speïniaÊ potrzeby i oczekiwania uĝytkowników biznesowych. Zdaniem autorów
niniejszego opracowania pomocna w osiÈganiu tego celu jest systematyczna,
ciÈgïa i wielokryterialna ewaluacja systemów oraz projektów BI oparta na
sformalizowanych, zweryfikowanych w praktyce podejĂciach do procesu oceny
(por. Fedouaki, Okar i El Alami, 2013). Najwaĝniejsze z tych podejĂÊ to:
– modele dojrzaïoĂci BI,
– komercyjne i niekomercyjne ramowe modele oceny stosowane do porównania systemów, projektów BI i/lub ich producentów/dostawców,
– karty wyników zorientowane na BI,
– standardy uĝytecznoĂci i jakoĂci (jakoĂci uĝytkowej) systemów i/lub projektów BI,
– metody i narzÚdzia przeznaczone do oceny efektywnoĂci ekonomicznej
systemów i/lub projektów BI.
Istnieje wiele modeli dojrzaïoĂci Business Intelligence opracowanych
przez róĝnych autorów, z których najbardziej znanymi sÈ (dla zachowania
zgodnoĂci podajemy oryginalne nazwy): Business Intelligence Development
Model (BIDM), TDWI’s maturity model, Business Intelligence Maturity
Hierarchy, Hewlett Package Business Intelligence Maturity Model, Gartner’s
Maturity Models, Business Information Maturity Model, AMR Research’s
Business Intelligence and Performance Management Maturity Model, Infrastructure Optimization Maturity Model, Ladder of Business Intelligence
(LOBI) itd. Wszystkie te modele i przykïady ich wykorzystania sÈ szeroko
opisane, przeanalizowane i porównane w dostÚpnej literaturze i na stronach internetowych ich wïaĂcicieli, producentów oraz stosujÈcych je firm
konsultingowych (zob. m.in. HP, 2012; Eckerson, 2006; Farrokhi ibPokorádi,
2012; Fedouaki, Okar i El Alami, 2010; Hribar i RajteriÌ, 2010; Olszak,
2013; Olszak i Ziemba, 2012; PopoviÌ, Turk i JakliÌ, 2010).
Modele dojrzaïoĂci BI sïuĝÈ przede wszystkim skalowalnej (najczÚĂciej
wbskali piÚciostopniowej) ocenie dojrzaïoĂci rozwiÈzañ BI stosowanych wbprocesach decyzyjnych. Natomiast ramowe modele oceny BI sÈ bardziej przydatne
do ewaluacji projektów rozwojowych aplikacji BI oraz do porównywania systemów BI, projektów wdroĝeniowych i producentów lub dostawców. Naleĝy
podkreĂliÊ, ĝe nie ma jednego wzorca ramowego modelu oceny, a struktura
stosowanych kryteriów moĝe siÚ róĝniÊ w zaleĝnoĂci od przyjÚtych celów biznesowych i ograniczeñ. Szerokie opisy i sposoby uĝycia przykïadowych modeli
ramowych do ewaluacji systemów BI sÈ dostÚpne wb literaturze przedmiotu
oraz na portalach z zakresu BI i na stronach firm konsultingowych (zob.
140
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
m.in. Chandler i in., 2011; Howson, 2008; Howson, 2013; Dresner Advisory
Services, 2013a; 2013b; 2013c). Takĝe autorzy niniejszego artykuïu wybrane
modele ramowe przedstawili w pracy (Dyczkowski, Korczak i Dudycz, 2014)
i tam odsyïamy zainteresowanych po dodatkowe informacje.
CzÚsto twórcy i wïaĂciciele okreĂlonych ramowych modeli BI, na przykïad firmy konsultingowe, tworzÈ i oferujÈ na rynku karty wyników do
ewaluacji aplikacji tej klasy. Reprezentatywnym przykïadem takiego rozwiÈzania jest BI Scorecardâ (http://www.biscorecard.com/ oraz Howson, 2008;
2013). Karta wyników ewaluacji BI jest narzÚdziem do wspomagania procesu
oceny na podstawie wielopoziomowych, predefiniowanych hierarchicznych
struktur kryteriów oceny oraz technik punktowych (scoringowych), czÚsto
uzupeïnionych wektorem preferencji wartoĂciowanych przez uĝytkownika.
Zmiany punktacji ocen systemu i/lub projektu BI ze stanu „jak byïo” („as-was”) do stanu „jak jest” („as-is”) i/lub „jak bÚdzie” („to-be”) mogÈ byÊ
monitorowane i wizualizowane, a nastÚpnie moĝna je wykorzystaÊ w procesie
ciÈgïego doskonalenia prowadzonych programów rozwojowych BI. Struktura i wybrane elementy BI Scorecardâ zastosowane do ewaluacji systemu
InKoM sÈ opisane w punkcie 4 niniejszego opracowania.
Dwa ostatnie, ale nie mniej waĝne, „ěródïa wiedzy” niezbÚdne dla opracowania wielokryterialnego systemu ewaluacji BI to – jak wskazano wczeĂniej
– standardy (normy) uĝytecznoĂci i jakoĂci oraz metody i narzÚdzia stosowane do pomiaru efektywnoĂci ekonomicznej systemów i/lub projektów BI.
W pierwszej grupie najwaĝniejsze sÈ standardy ISO (IEEE, BSI) oceny
uĝytecznoĂci oraz jakoĂci oprogramowania i systemów informatycznych, takie
jak „stara” norma ISO/IEC 9126 (uĝytecznoĂÊ) oraz „nowy” SQuaRE (Systems and software Quality Requirements and Evaluation) a wiÚc normy
ISO/IEC 25000:2014, 25010:2011, 25051:2014 i ISO 9241-171:2008 (ergonomia interakcji czïowieka i systemu). Normy ISO okreĂlajÈ uĝytecznoĂÊ jako
zdolnoĂÊ dopasowania rozwiÈzañ informatycznych do potrzeb uĝytkowników,
mierzonÈ ïatwoĂciÈ nauki i obsïugi, skutecznoĂciÈ i efektywnoĂciÈ uzyskanych
wyników pracy oraz odczuwanÈ satysfakcjÈ z ïatwego osiÈgniÚcia oczekiwanego rezultatu w okreĂlonych warunkach uĝytkowania. ISO sformuïowaïo
równieĝ cztery podstawowe zasady, na których opiera siÚ uĝytecznoĂÊ. SÈ
to: ïatwoĂÊ uczenia siÚ, ïatwoĂÊ obsïugi, elastycznoĂÊ i niezawodnoĂÊ. Zasady
te przyjÚto w heurystycznej ocenie interfejsu uĝytkownika (kokpitu) bazujÈcego na mapie pojÚÊ i nawigacji wizualnej, jako istotnÈ skïadowÈ systemu
ewaluacji uĝytecznoĂci systemu InKoM (zob. Dudycz, 2011).
WaĝnÈ czÚĂciÈ ramowych modeli ewaluacji BI sÈ oceny efektywnoĂci
ekonomicznej systemów i/lub projektów BI (zob. m.in. Ghilic-Micu, Stoica
i Mircea, 2008; Whittemore, 2008). Ocena rozpatrywana z tej perspektywy
obejmuje procesy identyfikacji, kwantyfikacji i analizy kosztów, korzyĂci oraz
ryzyka, zwiÈzanych z wdraĝanymi rozwiÈzaniami BI, które sÈ wykonywane
zarówno przez pracowników dziaïów biznesowych, jak i sïuĝby informatyczne. WstÚpnej oceny efektywnoĂci powinno siÚ dokonaÊ przed rozpoProblemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
141
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
czÚciem projektu (a priori), kolejnych zaĂ – w celu weryfikacji wstÚpnych
oszacowañ i ciÈgïej poprawy efektywnoĂci rozwiÈzañ BI – po zakoñczeniu
wdroĝenia, a nastÚpnie po kaĝdym roku ich uĝytkowania.
Istnieje wiele podejĂÊ do oceny efektywnoĂci przedsiÚwziÚÊ informatycznych (w tym z obszaru BI). NajwaĝniejszÈ z nich jest metoda analizy
kosztów i korzyĂci (AKK/CBA), która bazuje na zdyskontowanych przepïywach pieniÚĝnych. AKK/CBA stosuje dobrze znane i powszechnie zalecane
szczegóïowe mierniki i wskaěniki, takie jak IRR (wewnÚtrzna stopa zwrotu),
MIRR (zmodyfikowana wewnÚtrzna stopa zwrotu), NPV (bieĝÈca wartoĂÊ
netto) czy ROI (stopa i/lub wielkoĂÊ zwrotu z inwestycji). W praktyce metoda
AKK/CBA jest uzupeïniana analizami TCO (peïnych kosztów posiadania),
w których stosuje siÚ kalkulatory TCO/ROI. Przykïadem takiego narzÚdzia
ukierunkowanego na omawianÈ klasÚ aplikacji jest TDWI Business Intelligence ROI Calculator (http://www.tdwi.org)4.
Wszystkie z przedstawionych „ěródeï wiedzy” mogÈ byÊ przydatne przy projektowaniu systemu i procedur wielokryterialnej ewaluacji projektów ibaplikacji
BI. Ale jak podkreĂlajÈ autorzy wielu prac, wiÚkszoĂÊ z nich byïa tworzona
zbmyĂlÈ o duĝych i wiÚkszych Ărednich przedsiÚbiorstwach (por. m.in. Fedouaki,
Okar i El Alami, 2010; Olszak i Ziemba, 2012). ¿adne zb tych narzÚdzi nie
uwzglÚdnia w naleĝytym stopniu specyfiki projektowania i wdraĝania systemów
BI w M¥P. Ponadto brak wytycznych okreĂlajÈcych, jak tworzyÊ systemy BI dla
tego sektora gospodarki, oraz rozwiÈzañ, które mogïyby sïuĝyÊ jako przykïady
referencyjne, najlepsze praktyki czy wrÚcz wzorce dla M¥P zamierzajÈcych je
wdroĝyÊ. Dlatego w kolejnej czÚĂci opracowania przeanalizujemy konieczne
modyfikacje podejĂcia do ewaluacji rozwiÈzañ BI, wynikajÈce wïaĂnie z wymagañ sektora M¥P oraz z nowych, innowacyjnych funkcjonalnoĂci systemów
tej klasy zaprojektowanych z myĂlÈ o tej grupie menedĝerów.
4. PodejĂcie BI Scorecard Framework – wybrane elementy
ewaluacji Inteligentnego kokpitu menedĝerskiego InKoM
4.1. Rozszerzone kryteria oceny w BI Scorecard Framework
Jak wskazano wczeĂniej, prezentowane w niniejszym opracowaniu podejĂcie do ewaluacji jest zorientowane na projekt InKoM i jego specyfikÚ, wymagania oraz ograniczenia. Moĝe byÊ ono – zdaniem autorów – zastosowane
w procesie oceny dowolnych systemów BI, ale jego istotÈ jest uwzglÚdnienie
wymagañ sektora M¥P oraz nowych, innowacyjnych funkcjonalnoĂci zaprojektowanych z myĂlÈ o menedĝerach tej grupy przedsiÚbiorstw. Dlatego teĝ
opracowujÈc podejĂcie, przyjÚto nastÚpujÈce podstawowe zaïoĝenia:
– uwzglÚdnienie ogóïu nowych funkcji i cech tworzonego kokpitu menedĝerskiego InKoM,
– moĝliwoĂÊ wykorzystania zarówno do okresowych i zdarzeniowych ocen
wewnÚtrznych (metodÈ samoewaluacji w ramach zespoïu projektowego)
142
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
oraz zewnÚtrznych (wykonywanych przez zewnÚtrznych ekspertów dziedzinowych i menedĝerów M¥P),
– zgodnoĂÊ z wymaganiami systemu monitorowania, ewaluacji i raportowania Narodowego Centrum Badañ i Rozwoju (w tym zwïaszcza w ramach
programu INNOTECH),
– ïatwoĂÊ uĝycia, wzglÚdnie niski koszt i pracochïonnoĂÊ procedur, otwartoĂÊ systemu kryteriów oceny oraz zrozumiaïoĂÊ dla menedĝerów M¥P.
OpracowujÈc podejĂcie dziaïano wedïug nastÚpujÈcego schematu:
– identyfikacja i analiza dostÚpnych, teoretycznych oraz stosowanych
wb praktyce podejĂÊ do ewaluacji systemów i projektów BI,
– wybór podejĂcia, które bÚdzie zastosowane w projekcie InKoM,
– modyfikacja (rozszerzenie) przyjÚtych kryteriów oceny w celu uwzglÚdnienia nowych funkcjonalnoĂci zaimplementowanych w systemie InKoM
i specyfiki sektora M¥P,
– ewaluacja (badanie pilotowe – testowanie podejĂcia, ewentualne wprowadzenie zmian kryteriów i uĝywanych technik, wdroĝenie podejĂcia
ib realizacja kolejnych ocen).
W wyniku szerokiej analizy, która objÚïa swym zakresem praktycznie
wszystkie opisane w literaturze przedmiotu oraz stosowane w praktyce
podejĂcia do ewaluacji systemów i projektów BI (por. poprzedni punkt
opracowania), zdecydowano siÚ zastosowaÊ w projekcie InKoM ramowÈ
kartÚ wyników bazujÈcÈ na rozwiÈzaniu BI Scorecardâ. Korzysta ono z hierarchicznej struktury predefiniowanych kryteriów, techniki punktowej oraz
jest stosowane i sprawdzone w praktyce, zarówno dla ocen komercyjnych,
jak teĝ dopuszcza zastosowanie do niekomercyjnej ewaluacji (samoewaluacji)
dowolnego systemu i/lub projektu BI.
W zwiÈzku z tym, ĝe rozwiÈzanie to – podobnie jak wszystkie pozostaïe
„gotowe” podejĂcia do ewaluacji – nie uwzglÚdniaïo w peïnym zakresie
specyfiki naszego projektu, jego produktu oraz wymagañ docelowej grupy
uĝytkowników, konieczna byïa modyfikacja (rozszerzenie) zestawu kryteriów
oceny. DokonujÈc jej, wykorzystano m.in. dostÚpnÈ wiedzÚ o krytycznych
czynnikach sukcesu wdroĝeñ systemów BI w sektorze M¥P. SÈ nimi przede
wszystkim (por. Fedouaki, Okar i El Alami, 2010; Olszak i Ziemba, 2012):
– dobre zdefiniowanie problemu i procesów biznesowych,
– dobrze zdefiniowane potrzeby i oczekiwania uĝytkowników,
– dostosowanie rozwiÈzania BI do wymagañ uĝytkowników,
– integracja systemu BI z innymi systemami transakcyjnymi i informacyjno-decyzyjnymi,
– odpowiednia jakoĂÊ danych, elastycznoĂÊ i zdolnoĂÊ reagowania wdraĝanych rozwiÈzañ BI na dynamicznie zmieniajÈce siÚ potrzeby i oczekiwania
uĝytkowników,
– stosowanie technologii i narzÚdzi adekwatnych dla sektora M¥P5,
– uĝytecznoĂÊ systemu BI, w tym przyjazny interfejs nawigowania i eksploracji.
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
143
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
Natomiast rozszerzenia kryteriów oceny zwiÈzanych z nowymi, innowacyjnymi funkcjonalnoĂciami systemu InKoM dotyczyïy przede wszystkim:
– ontologii dziedzinowych obejmujÈcych podstawowe pojÚcia z ekonomii
i finansów,
– algorytmów odkrywania wiedzy,
– mechanizmów wyszukiwania semantycznego,
– wizualnego interfejsu nawigacji i eksploracji oraz narzÚdzi objaĂniania
bazujÈcych na wiedzy dziedzinowej (ontologiach i mapach pojÚÊ).
W efekcie zmodyfikowano oraz rozszerzono zastosowanÈ w projekcie
InKoM ramowÈ kartÚ wyników m.in. o nastÚpujÈce kryteria poziomu podstawowego i szczegóïowego:
– integracja z ontologiami dziedzinowymi i mapami pojÚÊ,
– interaktywnoĂÊ kokpitu menedĝerskiego opartego na nowych narzÚdziach
wizualizacji (interfejs bazujÈcy na mapach pojÚÊ zgodnych ze standardem
TM – ISO/IEC 13250:2003),
– zaawansowane analizy (oparte na zaawansowanej eksploracji danych,
wb tym na metodach eksploracji dedykowanych menedĝerom M¥P oraz
na wbudowanych kreatorach),
– predefiniowane KPI (mierniki i wskaěniki) dedykowane menedĝerom
M¥P oraz narzÚdzia ich objaĂnienia (oparte na ontologiach dziedzinowych i mapach pojÚÊ).
Tak rozszerzonÈ kartÚ wyników uĝyto do ewaluacji projektu i systemu
InKoM.
4.2. Przykïadowe wyniki ewaluacji
Inteligentnego kokpitu menedĝerskiego InKoM
EwaluacjÚ Inteligentnego kokpitu menedĝerskiego InKoM prowadzono
na podstawie kategorii i podkategorii stosowanych w BI Scorecardâ, rozszerzonych o skïadowe wskazane i skrótowo omówione w poprzednim punkcie.
Proces oceniania realizowano, stosujÈc podejĂcie oparte na metodzie delfickiej. WartoĂci „jak byïo” uzyskano poprzez samoocenÚ wykonanÈ przez specjalistów firmy TETA BIC, która jest producentem i dystrybutorem systemu
TETA BI. Z kolei oceny „jak jest” otrzymano dziÚki ekspertyzom wewnÚtrznym (opracowanym przez zespoïy projektowe InKoM, w skïad których
wchodzili specjaliĂci z firmy TETA BIC i z Uniwersytetu Ekonomicznego
we Wrocïawiu) i wykonanym przez ekspertów zewnÚtrznych (opracowane
przez ekspertów z uczelni wyĝszych i/lub oĂrodków naukowo-badawczych
oraz menedĝerów M¥P). W zwiÈzku z tym, ĝe o trafnoĂci ocen uzyskiwanych
metodami eksperckimi, w tym delfickÈ, decyduje w duĝym stopniu wïaĂciwy
dobór ekspertów, w tabeli 1 przedstawiono strukturÚ zespoïu ekspertów
zewnÚtrznych. Zdaniem autorów zostali oni dobrani wb sposób wïaĂciwy,
gwarantujÈcy wysokÈ jakoĂÊ ewaluacji.
Wszyscy wewnÚtrzni i zewnÚtrzni eksperci dziedzinowi korzystali podczas
ewaluacji z dokumentacji projektowej (raportów okresowych i merytorycz144
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
nych, instrukcji obsïugi, specyfikacji projektowych i programowych itp.) oraz
mieli dostÚp do prototypu systemu InKoM (poprzez zdalny pulpit i/lub
wblaboratorium projektu znajdujÈcym siÚ na Uniwersytecie Ekonomicznym).
Dodatkowo potrzeby i oczekiwania dotychczasowych oraz nowych uĝytkowników systemu TETA BI zostaïy zweryfikowane poprzez badanie ankietowe
wykonane na grupie 40 menedĝerów oraz pracowników dziaïów IT. Zespóï
projektowy zrealizowaï takĝe uzupeïniajÈce oceny uĝytecznoĂci i efektywnoĂci ekonomicznej systemu InKoM, które sÈ wymagane przez NCBiR.
Dziedzina
Charakterystyka eksperta
Mapy pojÚÊ, ontologie,
systemy inteligentne
Jednostka naukowo-badawcza (zagraniczna),
nieb jest uĝytkownikiem TETA BI
HCI, ewaluacja uĝytecznoĂci
rozwiÈzañ ICT
Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI
Systemy BI, systemy SWD/DSS
Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI
Data mining, eksploracja danych Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI
Finanse i ekonomia
Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI
Menedĝer M¥P
Praktyka gospodarcza, nie jest
uĝytkownikiem TETA BI, brak wyksztaïcenia
ekonomiczno-finansowego
Menedĝer M¥P
praktyka gospodarcza, nie jest uĝytkownikiem
TETA BI, wyksztaïcenie ekonomiczno-finansowe
Menedĝer M¥P
Praktyka gospodarcza, jest uĝytkownikiem TETA
BI, brak wyksztaïcenia ekonomiczno-finansowego
Menedĝer M¥P
Praktyka gospodarcza, jest uĝytkownikiem TETA
BI, wyksztaïcenie ekonomiczno-finansowe
Menedĝerowie i/lub pracownicy
sïuĝb IT z M¥P (uczestnicy
badania ankietowego)
Uĝytkownicy systemów TETA ERP i/lub TETA
BI (40 osób)
Tab. 1. Struktura zespoïu zewnÚtrznych ekspertów dziedzinowych. ½ródïo: opracowanie
wïasne.
Zarówno procedura ewaluacji, jak i uzyskane wyniki byïy juĝ omówione
na kilku konferencjach (m.in. FedCSIS/AITM’2014, zob. https://fedcsis.org/)
i sÈ opublikowane (zob. Dyczkowski, Korczak i Dudycz, 2013), a wiÚc ze
wzglÚdu na okreĂlonÈ objÚtoĂÊ tego artykuïu ograniczymy siÚ do przedstawienia wyïÈcznie najwaĝniejszych oraz najbardziej znaczÈcych zmian wartoĂci
ocen, które uzyskano w systemie TETA BI po jego rozszerzeniu o produkty
projektu InKoM. SÈ one zawarte w tabeli 2.
Przeprowadzona i zaprezentowana w ograniczonym zakresie w niniejszym
tekĂcie ewaluacja systemu InKoM, zwïaszcza kategorie i podkategorie zwiÈzane z kategoriami odnoszÈcymi siÚ bezpoĂrednio do kokpitu menedĝerskiego
(por. tabela 2 i wytïuszczone oraz wyróĝnione kolorem szarym wypeïnieniem komórki), pokazuje potrzebÚ staïego doskonalenia stosowanych metod
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
145
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
oceny projektów i systemów BI (w tym takĝe ramowych kart wyników) i ich
dostosowywania do rozwiÈzañ dedykowanych sektorowi M¥P oraz nowych,
innowacyjnych technologii i koncepcji rozwojowych tej klasy aplikacji.
Kategoria i podkategoria ewaluacji
jak byïo
jak jest
Analizy (Ărednia wartoĂÊ dla wszystkich podkategorii)
1,00
2,20
Analizy predykcyjne (what if)
0,00
2,00
Zaawansowane analizy (oparte na zaawansowanej eksploracji
danych)
0,00
2,00
KPI/mierniki i wskaěniki (Ărednia wartoĂÊ dla wszystkich
podkategorii)
1,20
2,20
Predefiniowane KPI/mierniki i wskaěniki dedykowane
menedĝerom M¥P
1,00
3,00
InterakcyjnoĂÊ kokpitu (Ărednia wartoĂÊ dla wszystkich
podkategorii)
0,89
1,67
InterakcyjnoĂÊ oparta na nowych narzÚdziach wizualizacji
(interfejs bazujÈcy na mapach pojÚÊ zgodnych ze standardem
TM – ISO/IEC 13250:2003)
0,00
3,00
UdostÚpnianie i pozostaïe (Ărednia wartoĂÊ dla wszystkich
podkategorii)
1,00
1,75
Integracja z ontologiami dziedzinowymi i z mapami pojÚÊ
0,00
3,00
Tab. 2. Najwaĝniejsze i/lub najbardziej znaczÈce zmiany ocen. ½ródïo: opracowanie wïasne.
5. Podsumowanie
W niniejszej pracy zostaïo przedstawione podejĂcie do wielokryterialnej ewaluacji systemów i projektów BI, które opieraïo siÚ na ramowych
modelach oceny i stanowiÈcych ich instrumentarium kartach wyników.
W modelach tych rozszerzono i zmodyfikowano zestaw kryteriów oceny,
dostosowujÈc go z jednej strony do wymagañ sektora M¥P, z drugiej zaĂ
do nowych funkcjonalnoĂci implementowanych w innowacyjnych kokpitach
menedĝerskich, w tym szczególnie wizualnym interfejsie nawigacji i eksploracji opartym na mapie pojÚÊ, bazujÈcej na ontologiach dziedzinowych
ib dedykowanym module eksploracji wiedzy ekonomiczno-finansowej. System wielokryterialnej oceny zostaï zastosowany w Ărodowisku realizacyjnym
ibzarzÈdczym projektu InKoM podczas kolejnych ocen Inteligentnego kokpitu dla menedĝerów maïych i Ărednich przedsiÚbiorstw.
Dalsze badania bÚdÈ zorientowane na empirycznÈ weryfikacjÚ stworzonego modelu ramowego i kart wyników w M¥P, które wdroĝÈ aplikacjÚ
TETA BI z systemem InKoM, rozszerzenie kategorii oceny w celu wsparcia
analizy CBA i pomiaru ROI/TCO dla wdroĝeñ systemów klasy BI oraz na
stworzenie spoïecznoĂci ekspertów, która pozwoli na staïe doskonalenie
ib aktualizowanie narzÚdzi ewaluacji.
146
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
Przypisy
1
Niniejszy artykuï zostaï opracowany w ramach prac prowadzonych przez zespóï realizujÈcy projekt „Inteligentny kokpit menedĝerski” (InKoM). Projekt InKoM uzyskaï
wspóïfinansowanie Narodowego Centrum Badañ i Rozwoju w ramach I konkursu
programu INNOTECH, Ăcieĝka In-Tech, nr umowy INNOTECH-K1/IN1/34/153437/
NCBR/12.
2
System zrealizowaïo konsorcjum Uniwersytetu Ekonomicznego we Wrocïawiu (lider
projektu) i firmy UNIT4 TETA BI Center (czïonek konsorcjum i gïówny beneficjent
projektu). W przedsiÚwziÚciu wspóïuczestniczyï teĝ Credit Agricole Bank Polska.
Zaïoĝenia i istotÚ dziaïania kokpitu szeroko opisano m.in. w: Korczak, Dudycz ibDyczkowski, 2012a; 2012b; 2013a; 2013b; 2014.
3
Jest to niezwykle waĝne, gdyĝ informacja nieindeksowana stanowi ponad 80% zasobów
globalnego Internetu. WagÚ problemu w obszarze systemów BI podkreĂlajÈ m.in.
raporty Schlegel i in., 2013 i Dresner Advisory Services, 2013a oraz praca Howson,
2013.
4
Szerszy opis wymienionych metod i narzÚdzi wraz z przykïadem ich uĝycia przedstawiono w pracy: Dyczkowski (w druku).
5
W tej analizie przydatne sÈ raporty zawierajÈce oceny najwaĝniejszych z punktu
widzenia M¥P technologii i/lub narzÚdzi BI oraz ich zmiany w kolejnych latach.
Naleĝy zauwaĝyÊ, ĝe dostÚpne za lata 2012, 2013 i 2014 raporty wskazujÈ, ĝe najwiÚksze przyrosty wskazañ technologii i narzÚdzi „oczekiwanych” przez M¥P dotyczÈ
m.in.: kokpitów menedĝerskich, funkcjonalnoĂci realizowanych przez menedĝerów
„samoobsïugowo” oraz zaawansowanej wizualizacji, a wiÚc podstawowych rozwiÈzañ
zaimplementowanych w systemie InKoM. Zob. raport Dresner Advisory Services,
2013c, s. 15, 25, 35–36.
Bibliografia
Chandler, N., Hostmann, B., Rayner, N. i Herschel, G. (2011). Gartner’s Business Analytics
Framework. Gartner. Pozyskano z: http://www.gartner.com/imagesrv/summits/docs/na/
business-intelligence/gartners_business_analytics__219420.pdf.
HP. (2012). Describing the BI journey. The HP Business Intelligence (BI) Maturity Model.
HP> Pozyskano z: http://h20195.www2.hp.com/v2/GetPDF.aspx%2F4AA3-9723EEW.
pdf.
Dresner Advisory Services (2013a). Wisdom of Crowdsâ. Business Intelligence Market
Study. Dresner Advisory Services. Pozyskano z: http://www.informationbuilders.com/
tracker/email/new/pdf/2013_wisdom_of_crowds_bi_market_study.pdf.
Dresner Advisory Services (2013b). Wisdom of Crowdsâ. Mobile Computing/Mobile Business Intelligence Market Study. Dresner Advisory Services. Pozyskano z: https://www.
microstrategy.com/Strategy/media/downloads/white-papers/mobile_dresner-mobile-bi-study-2013.pdf.
Dresner Advisory Services (2013c). Wisdom of Crowdsâ. Small and Mid-Sized Enterprise
Business Intelligence Market Study. Dresner Advisory Services. Pozyskano z: http://
explore.tibco.com/rs/tibcospotfire/images/Wisdom_of_Crowds_SME_BI_Report-Licensed_to_TIBCO_Software-Copyright_2013.pdf.
Dudycz, H. (2011). Research on usability of visualization in searching economic information in topic maps-based application for return on investment indicator. W: J.bKorczak,
H. Dudycz i M. Dyczkowski (red.), Advanced Information Technologies for Management – AITM’2011. Intelligent Technologies and Applications. Wroclaw University
of Economics Research Papers (s. 45–58), (206).
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
147
Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz
Dudycz, H. (2012). The concept of using standard topic map in Business Intelligence
system. W: D. Birov i Y. Todorova (red.), Proceedings of the 5th International Conference
for Entrepreneurs, Innovation and Regional Development – ICEIRD 2012 (s.b228–235).
Sofia: St. Kliment Ohridski University Press.
Dyczkowski, M. (w druku). Analiza efektywnoĂci ekonomicznej zastosowania systemów klasy
business intelligence w sektorze M¥P. Podstawy metodyczne i przykïady uĝycia. Warszawa:
Wydawnictwo Naukowe Wydziaïu ZarzÈdzania Uniwersytetu Warszawskiego.
Dyczkowski, M., Korczak, J., Dudycz, H. (2014). Multi-criteria Evaluation of the Intelligent Dashboard for SME Managers based on Scorecard Framework. W: M. Ganzha,
L. Maciaszek i M. Paprzycki (red.), Proceedings of the 2014 Federated Conference on
Computer Science and Information Systems. Annals of Computer Science and Information Systems (s. 1147–1155). Warszawa: Polskie Towarzystwo Informatyczne/New
York: Institute of Electrical and Electronics Engineers.
Eckerson, W. (2006). Business Intelligence Maturity Model. The Data Warehousing Institute. Pozyskano z: http://www.eurim.org.uk/activities/ig/voi/03-01-06_Executive_Series_
Assessing_Your_BI_Maturity.pdf.
Farrokhi, V. i Pokorádi, L. (2012). The Necessities for Building a Model to Evaluate
Business Intelligence Projects – Literature Review. International Journal of Computer
Science & Engineering Survey, 3 (2), 1–10.
Fedouaki, F., Okar, C. i El Alami, S. (2013). A Maturity Model for Business Intelligence
System Project in Small and Medium-sized Enterprises: An Empirical Investigation.
International Journal of Computer Science Issues, 10 (6), 61–69.
Ghilic-Micu, B., Stoica, M., Mircea, M. (2008). A Framework for Measuring the Impact
of BI Solution. Referat wygïoszony na: The 9th WSEAS International Conference
on Mathematics & Computers in Business and Economics (MCBE ‘08). Pozyskano
z: http://www.wseas.us/e-library/conferences/2008/bucharest/mcbe/10mcbe.pdf.
Gibcus, P., Vermeulen, P.A.M. i Jong, J.P.J. (2009). Strategic Decision Making in Small
Firms: A Taxonomy of Small Business Owners. International Journal of Entrepreneurship and Small Business, 7 (1), 74–91.
Howson, C. (2008). Successful Business Intelligence: Secrets to Making BI a Killer Application. New York: McGraw-Hill.
Howson, C. (2013). Successful Business Intelligence, Second Edition: Unlock the Value of
BI & Big Data. New York: McGraw-Hill Education.
Hribar RajteriÌ, I. (2010). Overview of Business Intelligence Maturity Models. Management, 15 (1), 47–67.
Korczak, J., Dudycz, H. i Dyczkowski, M. (2012a). Intelligent Dashboard for SME Managers. Architecture and Functions. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.),
Proceedings of the Federated Conference on Computer Science and Information Systems
FedCSIS 2012 (s. 1003–1007). Warszawa: Polskie Towarzystwo Informatyczne/Los
Alamitos: IEEE Computer Society Press.
Korczak, J., Dudycz, H. i Dyczkowski, M. (2012b). Intelligent Decision Support for
SME Managers – Project InKoM. Business Informatics (Informatyka Ekonomiczna),
25 (3), 84–96.
Korczak, J., Dudycz, H. i Dyczkowski, M. (2013a). Design of Financial Knowledge in
Dashboard for SME Managers. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.),
Proceedings of the Federated Conference on Computer Science and Information Systems
FedCSIS 2012 (s. 1111–1118). Warszawa: Polskie Towarzystwo Informatyczne/Los
Alamitos: IEEE Computer Society Press.
Korczak, J., Dudycz, H. i Dyczkowski, M. (2013b). Specification of financial knowledge
– the case of Intelligent Dashboard for Managers. Business Informatics (Informatyka
Ekonomiczna), 28 (2), 56–76.
148
DOI 10.7172/1644-9584.52.11
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework
Korczak, J., Dudycz, H. i Dyczkowski, M. (2014). Inteligentny Kokpit Menedĝerski jako
innowacyjny system wspomagajÈcy zarzÈdzanie w M¥P. Informatyka Ekonomiczna
(Business Informatics), 31 (1), 288–303.
Olszak, C. (2013. Assessment of Business Intelligence Maturity in the Selected Organizations. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.), Proceedings of the
Federated Conference on Computer Science and Information Systems FedCSIS 2012
(s. 951–958). Warszawa: Polskie Towarzystwo Informatyczne/ Los Alamitos: IEEE
Computer Society Press.
Olszak, C. i Ziemba, E. (2012). Critical Success Factors for Implementing Business Intelligence Systems in Small and Medium Enterprises on the Example of Upper Silesia,
Poland. Interdisciplinary Journal of Information, Knowledge & Management, 7, 129–150.
PopoviÌ, A., Turk, T. i JakliÌ, J. (2010). Conceptual Model of Business Value of Business
Intelligence Systems. Management, 15 (1), 5–29.
Schlegel, K., Sallam, R.L., Yuen, D. i Tapadinhas, J. (2013). Magic Quadrant for Business
Intelligence and Analytics Platforms. Gartner. Pozyskano z: http://www.walmeric.com/
body/pm/2013_gartner_magic_quadrant_for_bi_and_analytics.pdf.
Whittemore, B. (2008). The Business Intelligence ROI Challenge: Putting It All Together.
Business Intelligence Best Practices. Pozyskano z: http://www.bi-bestpractices.com/
view/4782.
Wise, L. (2008). The Emerging Importance of Data Visualization. Pozyskano z: http://
www.dashboardinsight.com/articles/business-performance-management/the-emergingimportance-of-data-visualization-part-1.aspx.
Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015
149