Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na
Transkrypt
Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na
Problemy ZarzÈdzania, vol. 13, nr 2 (52), t. 1: 136 – 149 ISSN 1644-9584, © Wydziaï ZarzÈdzania UW DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework Nadesïany 06.10.14 | Zaakceptowany do druku 24.11.14 Mirosïaw Dyczkowski*, Jerzy Korczak**, Helena Dudycz*** W artykule1 przedstawiono podejĂcie do ewaluacji systemów Business Intelligence (BI) zastosowane wb projekcie InKoM. Metoda ewaluacji opiera siÚ na ramowej karcie wyników, przeznaczonej dla systemów i projektów dedykowanych menedĝerom maïych i Ărednich przedsiÚbiorstw (M¥P). OpracowujÈc metodÚ ewaluacji, przeanalizowano i dostosowano do obszaru M¥P znane, dostÚpne na rynku komercyjne ib niekomercyjne modele dojrzaïoĂci BI, standardy uĝytecznoĂci i ramowe karty wyników. Warto zauwaĝyÊ, ĝe ramowe karty wyników zostaïy rozszerzone o nowe kryteria oceny, zwiÈzane z innowacyjnymi, opartymi na wiedzy funkcjonalnoĂciami stworzonymi w projekcie InKoM, zwïaszcza takimi jak ontologie wiedzy ekonomicznej i finansowej oraz interaktywny, wizualny interfejs nawigacji i eksploracji oparty na mapie pojÚÊ. Wybrane elementy rozszerzonej ramowej karty wyników oraz procedura jej zastosowania w wielokryterialnej ewaluacji projektu InKoM sÈ przedstawione i omówione w prezentowanym artykule. Sïowa kluczowe: ewaluacja systemu BI, Inteligentny kokpit menedĝerski, ramowa karta wyników, projekt InKoM. Multi-Criteria Evaluation of BI Systems for SMEs Based on the BI Scorecard Framework Approach Submited 06.10.14 | Accepted 24.11.14 The article presents an approach to evaluating the Business Intelligence (BI) systems applied to the InKoM project. The evaluation method is based on a scorecard framework, oriented towards Decision Support Systems (DSS) and DSS projects dedicated to managers of Small and Medium Enterprises (SME). To design the method, known existing commercial and non-commercial BI maturity models, usability standards, and scorecard frameworks have been analyzed and adapted to the SMEs area. Notably, the scorecard framework was extended to the new evaluation criteria associated with innovative knowledge-based functions created in the InKoM project, especially such as ontologies of economic and financial knowledge, and visual navigation and exploratory interface based on topic maps. The selected elements of the scorecard framework and usage in InKoM multi-criteria evaluation are illustrated and discussed in this paper. Keywords: BI system evaluation, intelligent dashboard, scorecard framework, InKoM project. JEL: M15 * ** *** Mirosïaw Dyczkowski – dr, Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej, Katedra Technologii Informacyjnych. Jerzy Korczak – prof. dr hab., Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej, Katedra Technologii Informacyjnych. Helena Dudycz – dr hab., Uniwersytet Ekonomiczny we Wrocïawiu, Instytut Informatyki Ekonomicznej, Katedra Technologii Informacyjnych. Adres do korespondencji: Uniwersytet Ekonomiczny we Wrocïawiu, ul. Komandorska 118/120, 53-345 Wrocïaw; e-mail: [email protected]; [email protected]; [email protected]. Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework 1. Wprowadzenie Kadra kierownicza przedsiÚbiorstw i instytucji gospodarczych, szczególnie w przypadku dziaïania na rynkach konkurencyjnych oraz w warunkach zmiennych, turbulentnych czy teĝ kryzysowych, aby podejmowaÊ racjonalne decyzje, musi posiadaÊ aktualnÈ i adekwatnÈ wiedzÚ na temat sytuacji gospodarczej zarzÈdzanego obiektu i jego otoczenia. SkutecznoĂÊ i efektywnoĂÊ dziaïañ menedĝerskich wspóïzaleĝy od moĝnoĂci identyfikacji oraz analizy istotnych parametrów wpïywajÈcych na funkcjonowanie przedsiÚbiorstwa. Wbtym obszarze powaĝne trudnoĂci wystÚpujÈ szczególnie w sektorze maïych i Ărednich przedsiÚbiorstw (M¥P). Menedĝerowie takich obiektów gospodarczych nie majÈ dostÚpu do tak szerokiego spektrum informacji zarzÈdczych ani nie dysponujÈ – jak ich korporacyjni koledzy – zespoïami analityków w celu zbierania danych i ich interpretowania. WiÚkszoĂci firm z sektora M¥P nie staÊ – ze wzglÚdów finansowych oraz kadrowych – na zewnÚtrzny konsulting strategiczny. Do tego funkcjonujÈ one w zdecydowanie bardziej niepewnym i ryzykownym otoczeniu biznesowym, a dopuszczalne marginesy bïÚdów decyzyjnych sÈ znacznie wÚĝsze. Kadra kierownicza M¥P w takich warunkach czÚsto dziaïa intuicyjnie i w rezultacie racjonalnoĂÊ podejmowanych decyzji jest zdecydowanie mniejsza (por. Gibcus, Vermeulen i Jong, 2009). Do tego dochodzi czÚsto aspekt braku u menedĝerów i wïaĂcicieli M¥P eksperckiej (a w wielu przypadkach takĝe elementarnej) wiedzy dziedzinowej z obszarów ekonomii, rachunkowoĂci czy finansów. WiÚkszoĂÊ dostÚpnych na rynku i eksploatowanych w przedsiÚbiorstwach systemów Business Intelligence (BI) udostÚpnia funkcje analizy, agregacji, eksploracji i wizualizacji danych (por. m.in. Schlegel, Sallam, Yuen ibTapadinhas, 2013; Dresner Advisory Services, 2013a). W wielu raportach i opracowaniach z tego zakresu jednakĝe podkreĂla siÚ, ĝe decydenci oczekujÈ nowych rozwiÈzañ ICT, które nie tylko interaktywnie udostÚpniÈ odpowiednie i aktualne informacje o bieĝÈcej sytuacji ekonomicznej i finansowej zarzÈdzanych firm, ale równieĝ dostarczÈ niezbÚdnych objaĂnieñ uwzglÚdniajÈcych ïÈczÈce je powiÈzania kontekstowe, w tym takĝe w kontekĂcie wiedzy dziedzinowej. Przykïadem takiego rozwiÈzania jest opracowany w ramach projektu pt. „Inteligentny kokpit menedĝerski” system InKoM, który – rozszerzajÈc dotychczasowe funkcjonalnoĂci systemu TETA BI m.in. o ontologie wiedzy ekonomiczno-finansowej i ich reprezentacjÚ w postaci map pojÚÊ – umoĝliwiï zaimplementowanie w aplikacji innowacyjnego interfejsu i systemu nawigacji oraz moduïu eksploracji i interpretacji danych. Celem niniejszego artykuïu jest przedstawienie podejĂcia do wielokryterialnej ewaluacji systemów BI, które zastosowano podczas tego projektu2. RealizujÈc projekt wielokrotnie (ex-ante, okresowo, ex-post po poszczególnych fazach itd.), musieliĂmy bowiem dokonywaÊ ocen zarówno jego przebiegu, jak i tworzonych produktów czÈstkowych i koñcowych. Oceny Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 137 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz te byïy wykonywane z trzech najwaĝniejszych i w znacznej mierze róĝnych perspektyw: 1) wymagañ Narodowego Centrum Badañ i Rozwoju, zdefiniowanych wbregulacjach odnoĂnie raportowania projektu, w tym osiÈgniÚtych celów i uzyskanych wyników, 2) wewnÚtrznej, a wiÚc zespoïu zarzÈdzajÈcego i wykonujÈcego projekt oraz przyjÚtych przezeñ zasad i procedur samooceny, 3) zewnÚtrznej, a wiÚc zespoïu powoïanych spoza realizatorów ekspertów (m.in. z obszaru BI, ekonomii, finansów i spoĂród uĝytkowników z sektora M¥P). Aby tak zróĝnicowane dziaïania ewaluacyjne byïy prowadzone efektywnie i skutecznie, naleĝaïo je dobrze zorganizowaÊ i obudowaÊ odpowiednim instrumentarium. W kolejnych czÚĂciach artykuïu opisano zastosowane wb projekcie InKoM podejĂcie do ewaluacji systemów klasy BI oraz pokazano wybrane oceny uzyskane dla stworzonego kokpitu menedĝerskiego. Opisy te poprzedza skrótowa charakterystyka samego projektu i bÚdÈcego jego wynikiem kokpitu menedĝerskiego. 2. Syntetyczny opis systemu InKoM Inteligentny kokpit menedĝerski InKoM to produkt dedykowany kadrze kierowniczej i wïaĂcicielom M¥P. Jego podstawowym celem jest proaktywne wspomaganie tej grupy docelowej w procesach podejmowania decyzji na wszystkich szczeblach zarzÈdzania, gïównie strategicznym i taktycznym, ale takĝe – w okreĂlonych sytuacjach – operacyjnym. Wspomaganie decydentów jest realizowane dziÚki zestawowi narzÚdzi, które dziaïajÈc interaktywnie, wbduĝej mierze intuicyjnie, nie tylko udostÚpniajÈ adekwatne informacje oraz wspierajÈ ich analizÚ, ale przede wszystkim objaĂniajÈ na bieĝÈco ïÈczÈce je relacje semantyczne i zwiÈzki ze ěródïami danych, uïatwiajÈc tym samym poruszanie siÚ po zïoĝonej przestrzeni pojÚÊ i wskaěników ekonomiczno-finansowych. InKoM zostaï zaprojektowany jako rozszerzenie systemu informacyjnego kierownictwa. W projekcie przyjÚto ontologiczne podejĂcie do tworzenia konceptualnych modeli wiedzy dziedzinowej (opracowano 6 takich ontologii), które w systemie InKoM przyjÚïy postaÊ sieci semantycznej zapisanej w sformalizowany sposób, zgodny ze standardem mapy pojÚÊ (TM ISO/ /IEC 13250:2003). RozwiÈzanie takie nie tylko umoĝliwiïo dostosowane do dziedziny odwzorowanie wiedzy ekonomiczno-finansowej, ale przede wszystkim spowodowaïo, ĝe aplikacja mapy pojÚÊ moĝe peïniÊ funkcjÚ interaktywnego, wizualnego interfejsu nawigacji i eksploracji danych miÚdzy uĝytkownikami ab zasobami informacyjnymi (bazy transakcyjne, hurtownia danych, kostki analityczne itp.) bez koniecznoĂci modyfikowania istniejÈcego systemu BI (wb tym przypadku TETA BI, ale moĝe to byÊ rozszerzone na dowolny system tej klasy). Wygenerowane pliki map pojÚÊ oraz przygotowane 138 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework scenariusze postÚpowania menedĝera w typowych sytuacjach decyzyjnych zostaïy wïÈczone do zaprojektowanego przez TETA BI Center narzÚdzia do przeglÈdania i wizualnego wyszukiwania informacji, które zostaïo nastÚpnie zintegrowane z systemem TETA BI. Menedĝer M¥P korzystajÈcy z udostÚpnionego w systemie interfejsu moĝe w ïatwy sposób analizowaÊ sieÊ semantycznÈ wskaěników ekonomicznych i finansowych. Widzi bowiem relacje istniejÈce pomiÚdzy róĝnymi pojÚciami. Ma teĝ bieĝÈcy dostÚp do zapisanych w ontologiach ich skróconych i peïnych opisów. Sprawia to, ĝe interpretacja wskaěników jest ïatwiejsza oraz moĝe przyczyniÊ siÚ do skuteczniejszego znalezienia wyjaĂnienia wystÈpienia ich aktualnych wartoĂci. Zastosowane podejĂcie jest pomocne przy analizie wskaěników ekonomicznych i finansowych przez menedĝerów M¥P, dla których czÚsto duĝÈ trudnoĂciÈ jest okreĂlenie a priori przyczyn wystÈpienia niekorzystnej sytuacji, a tym samym zestawu danych analitycznych wymaganych przy rozwiÈzywaniu konkretnego problemu decyzyjnego. DrugÈ waĝnÈ grupÈ funkcjonalnoĂci systemu InKoM jest zestaw metod eksploracji danych dedykowanych menedĝerom M¥P, obejmujÈcych m.in. zagadnienia: grupowania obiektów, budowania klasyfikatorów, poszukiwania reguï decyzyjnych, badania powiÈzañ miÚdzy zjawiskami, symulacji ib optymalizacji zadañ ekonomicznych, wyszukiwania zdarzeñ nietypowych, wyznaczania sytuacji alertowych oraz prognozowania. Dodatkowo wïÈczono do systemu ontologiÚ eksploracji danych, której zadaniem jest wspieranie metodyczne menedĝera w procesie eksploracji. Wybrane metody i algorytmy ekstrakcji wsparto prostÈ parametryzacjÈ, poïÈczonÈ z interaktywnÈ wizualizacjÈ, co znacznie uïatwia ich wykorzystanie w procesach podejmowania decyzji. PracÚ w module eksploracji uïatwiajÈ wbudowane kreatory, umoĝliwiajÈce tworzenie zaawansowanych modeli eksploracji i nastÚpnie korzystanie z nich w procesie analityczno-decyzyjnym. ½ródïami danych dla moduïu eksploracji mogÈ byÊ nie tylko systemy transakcyjne przedsiÚbiorstwa czy hurtownia danych, ale takĝe – dziÚki wïÈczeniu do Inteligentnego kokpitu menedĝerskiego narzÚdzi do przeszukiwania gïÚbokiego Internetu – nieindeksowane i nieustrukturalizowane zasoby sieciowe. Wpisuje to InKoM do trendów rozwojowych systemów BI, w których m.in. akcentuje siÚ korzyĂci wynikajÈce z ïÈczenia BI z problematykÈ data mining3. Po syntetycznej prezentacji projektu i jego produktu moĝemy wróciÊ do gïównego zagadnienia opracowania, a wiÚc do problematyki ewaluacji systemów klasy BI. 3. Ewaluacja systemów klasy BI – przeglÈd najwaĝniejszych podejĂÊ Podstawowym celem kaĝdego systemu BI jest dostÚp do odpowiednich danych we wïaĂciwym czasie, aby umoĝliwiÊ aktywne podejmowanie decyzji (Wise, 2008). Uĝytkownicy systemów BI oczekujÈ dostÚpu do przydatnych Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 139 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz informacji i wiedzy poprzez ïatwy do zrozumienia oraz zastosowania interfejs. Obok tradycyjnych rozwiÈzañ analitycznych korzystajÈcych z narzÚdzi ETL, hurtowni danych itp. technologii, na rynku sÈ oferowane nowe generacje systemów BI, takie m.in. jak: BI 2.0 i 3.0, systemy oparte na architekturze SOA, udostÚpniane w modelach usïugowych typu SaaS, mobilne wersje BI czy rozwiÈzania BI bazujÈce na technologiach big data itd. Bez wzglÚdu na to, jakie aplikacje BI sÈ przedmiotem wdroĝenia, zawsze powinny one speïniaÊ potrzeby i oczekiwania uĝytkowników biznesowych. Zdaniem autorów niniejszego opracowania pomocna w osiÈganiu tego celu jest systematyczna, ciÈgïa i wielokryterialna ewaluacja systemów oraz projektów BI oparta na sformalizowanych, zweryfikowanych w praktyce podejĂciach do procesu oceny (por. Fedouaki, Okar i El Alami, 2013). Najwaĝniejsze z tych podejĂÊ to: – modele dojrzaïoĂci BI, – komercyjne i niekomercyjne ramowe modele oceny stosowane do porównania systemów, projektów BI i/lub ich producentów/dostawców, – karty wyników zorientowane na BI, – standardy uĝytecznoĂci i jakoĂci (jakoĂci uĝytkowej) systemów i/lub projektów BI, – metody i narzÚdzia przeznaczone do oceny efektywnoĂci ekonomicznej systemów i/lub projektów BI. Istnieje wiele modeli dojrzaïoĂci Business Intelligence opracowanych przez róĝnych autorów, z których najbardziej znanymi sÈ (dla zachowania zgodnoĂci podajemy oryginalne nazwy): Business Intelligence Development Model (BIDM), TDWI’s maturity model, Business Intelligence Maturity Hierarchy, Hewlett Package Business Intelligence Maturity Model, Gartner’s Maturity Models, Business Information Maturity Model, AMR Research’s Business Intelligence and Performance Management Maturity Model, Infrastructure Optimization Maturity Model, Ladder of Business Intelligence (LOBI) itd. Wszystkie te modele i przykïady ich wykorzystania sÈ szeroko opisane, przeanalizowane i porównane w dostÚpnej literaturze i na stronach internetowych ich wïaĂcicieli, producentów oraz stosujÈcych je firm konsultingowych (zob. m.in. HP, 2012; Eckerson, 2006; Farrokhi ibPokorádi, 2012; Fedouaki, Okar i El Alami, 2010; Hribar i RajteriÌ, 2010; Olszak, 2013; Olszak i Ziemba, 2012; PopoviÌ, Turk i JakliÌ, 2010). Modele dojrzaïoĂci BI sïuĝÈ przede wszystkim skalowalnej (najczÚĂciej wbskali piÚciostopniowej) ocenie dojrzaïoĂci rozwiÈzañ BI stosowanych wbprocesach decyzyjnych. Natomiast ramowe modele oceny BI sÈ bardziej przydatne do ewaluacji projektów rozwojowych aplikacji BI oraz do porównywania systemów BI, projektów wdroĝeniowych i producentów lub dostawców. Naleĝy podkreĂliÊ, ĝe nie ma jednego wzorca ramowego modelu oceny, a struktura stosowanych kryteriów moĝe siÚ róĝniÊ w zaleĝnoĂci od przyjÚtych celów biznesowych i ograniczeñ. Szerokie opisy i sposoby uĝycia przykïadowych modeli ramowych do ewaluacji systemów BI sÈ dostÚpne wb literaturze przedmiotu oraz na portalach z zakresu BI i na stronach firm konsultingowych (zob. 140 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework m.in. Chandler i in., 2011; Howson, 2008; Howson, 2013; Dresner Advisory Services, 2013a; 2013b; 2013c). Takĝe autorzy niniejszego artykuïu wybrane modele ramowe przedstawili w pracy (Dyczkowski, Korczak i Dudycz, 2014) i tam odsyïamy zainteresowanych po dodatkowe informacje. CzÚsto twórcy i wïaĂciciele okreĂlonych ramowych modeli BI, na przykïad firmy konsultingowe, tworzÈ i oferujÈ na rynku karty wyników do ewaluacji aplikacji tej klasy. Reprezentatywnym przykïadem takiego rozwiÈzania jest BI Scorecardâ (http://www.biscorecard.com/ oraz Howson, 2008; 2013). Karta wyników ewaluacji BI jest narzÚdziem do wspomagania procesu oceny na podstawie wielopoziomowych, predefiniowanych hierarchicznych struktur kryteriów oceny oraz technik punktowych (scoringowych), czÚsto uzupeïnionych wektorem preferencji wartoĂciowanych przez uĝytkownika. Zmiany punktacji ocen systemu i/lub projektu BI ze stanu „jak byïo” („as-was”) do stanu „jak jest” („as-is”) i/lub „jak bÚdzie” („to-be”) mogÈ byÊ monitorowane i wizualizowane, a nastÚpnie moĝna je wykorzystaÊ w procesie ciÈgïego doskonalenia prowadzonych programów rozwojowych BI. Struktura i wybrane elementy BI Scorecardâ zastosowane do ewaluacji systemu InKoM sÈ opisane w punkcie 4 niniejszego opracowania. Dwa ostatnie, ale nie mniej waĝne, „ěródïa wiedzy” niezbÚdne dla opracowania wielokryterialnego systemu ewaluacji BI to – jak wskazano wczeĂniej – standardy (normy) uĝytecznoĂci i jakoĂci oraz metody i narzÚdzia stosowane do pomiaru efektywnoĂci ekonomicznej systemów i/lub projektów BI. W pierwszej grupie najwaĝniejsze sÈ standardy ISO (IEEE, BSI) oceny uĝytecznoĂci oraz jakoĂci oprogramowania i systemów informatycznych, takie jak „stara” norma ISO/IEC 9126 (uĝytecznoĂÊ) oraz „nowy” SQuaRE (Systems and software Quality Requirements and Evaluation) a wiÚc normy ISO/IEC 25000:2014, 25010:2011, 25051:2014 i ISO 9241-171:2008 (ergonomia interakcji czïowieka i systemu). Normy ISO okreĂlajÈ uĝytecznoĂÊ jako zdolnoĂÊ dopasowania rozwiÈzañ informatycznych do potrzeb uĝytkowników, mierzonÈ ïatwoĂciÈ nauki i obsïugi, skutecznoĂciÈ i efektywnoĂciÈ uzyskanych wyników pracy oraz odczuwanÈ satysfakcjÈ z ïatwego osiÈgniÚcia oczekiwanego rezultatu w okreĂlonych warunkach uĝytkowania. ISO sformuïowaïo równieĝ cztery podstawowe zasady, na których opiera siÚ uĝytecznoĂÊ. SÈ to: ïatwoĂÊ uczenia siÚ, ïatwoĂÊ obsïugi, elastycznoĂÊ i niezawodnoĂÊ. Zasady te przyjÚto w heurystycznej ocenie interfejsu uĝytkownika (kokpitu) bazujÈcego na mapie pojÚÊ i nawigacji wizualnej, jako istotnÈ skïadowÈ systemu ewaluacji uĝytecznoĂci systemu InKoM (zob. Dudycz, 2011). WaĝnÈ czÚĂciÈ ramowych modeli ewaluacji BI sÈ oceny efektywnoĂci ekonomicznej systemów i/lub projektów BI (zob. m.in. Ghilic-Micu, Stoica i Mircea, 2008; Whittemore, 2008). Ocena rozpatrywana z tej perspektywy obejmuje procesy identyfikacji, kwantyfikacji i analizy kosztów, korzyĂci oraz ryzyka, zwiÈzanych z wdraĝanymi rozwiÈzaniami BI, które sÈ wykonywane zarówno przez pracowników dziaïów biznesowych, jak i sïuĝby informatyczne. WstÚpnej oceny efektywnoĂci powinno siÚ dokonaÊ przed rozpoProblemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 141 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz czÚciem projektu (a priori), kolejnych zaĂ – w celu weryfikacji wstÚpnych oszacowañ i ciÈgïej poprawy efektywnoĂci rozwiÈzañ BI – po zakoñczeniu wdroĝenia, a nastÚpnie po kaĝdym roku ich uĝytkowania. Istnieje wiele podejĂÊ do oceny efektywnoĂci przedsiÚwziÚÊ informatycznych (w tym z obszaru BI). NajwaĝniejszÈ z nich jest metoda analizy kosztów i korzyĂci (AKK/CBA), która bazuje na zdyskontowanych przepïywach pieniÚĝnych. AKK/CBA stosuje dobrze znane i powszechnie zalecane szczegóïowe mierniki i wskaěniki, takie jak IRR (wewnÚtrzna stopa zwrotu), MIRR (zmodyfikowana wewnÚtrzna stopa zwrotu), NPV (bieĝÈca wartoĂÊ netto) czy ROI (stopa i/lub wielkoĂÊ zwrotu z inwestycji). W praktyce metoda AKK/CBA jest uzupeïniana analizami TCO (peïnych kosztów posiadania), w których stosuje siÚ kalkulatory TCO/ROI. Przykïadem takiego narzÚdzia ukierunkowanego na omawianÈ klasÚ aplikacji jest TDWI Business Intelligence ROI Calculator (http://www.tdwi.org)4. Wszystkie z przedstawionych „ěródeï wiedzy” mogÈ byÊ przydatne przy projektowaniu systemu i procedur wielokryterialnej ewaluacji projektów ibaplikacji BI. Ale jak podkreĂlajÈ autorzy wielu prac, wiÚkszoĂÊ z nich byïa tworzona zbmyĂlÈ o duĝych i wiÚkszych Ărednich przedsiÚbiorstwach (por. m.in. Fedouaki, Okar i El Alami, 2010; Olszak i Ziemba, 2012). ¿adne zb tych narzÚdzi nie uwzglÚdnia w naleĝytym stopniu specyfiki projektowania i wdraĝania systemów BI w M¥P. Ponadto brak wytycznych okreĂlajÈcych, jak tworzyÊ systemy BI dla tego sektora gospodarki, oraz rozwiÈzañ, które mogïyby sïuĝyÊ jako przykïady referencyjne, najlepsze praktyki czy wrÚcz wzorce dla M¥P zamierzajÈcych je wdroĝyÊ. Dlatego w kolejnej czÚĂci opracowania przeanalizujemy konieczne modyfikacje podejĂcia do ewaluacji rozwiÈzañ BI, wynikajÈce wïaĂnie z wymagañ sektora M¥P oraz z nowych, innowacyjnych funkcjonalnoĂci systemów tej klasy zaprojektowanych z myĂlÈ o tej grupie menedĝerów. 4. PodejĂcie BI Scorecard Framework – wybrane elementy ewaluacji Inteligentnego kokpitu menedĝerskiego InKoM 4.1. Rozszerzone kryteria oceny w BI Scorecard Framework Jak wskazano wczeĂniej, prezentowane w niniejszym opracowaniu podejĂcie do ewaluacji jest zorientowane na projekt InKoM i jego specyfikÚ, wymagania oraz ograniczenia. Moĝe byÊ ono – zdaniem autorów – zastosowane w procesie oceny dowolnych systemów BI, ale jego istotÈ jest uwzglÚdnienie wymagañ sektora M¥P oraz nowych, innowacyjnych funkcjonalnoĂci zaprojektowanych z myĂlÈ o menedĝerach tej grupy przedsiÚbiorstw. Dlatego teĝ opracowujÈc podejĂcie, przyjÚto nastÚpujÈce podstawowe zaïoĝenia: – uwzglÚdnienie ogóïu nowych funkcji i cech tworzonego kokpitu menedĝerskiego InKoM, – moĝliwoĂÊ wykorzystania zarówno do okresowych i zdarzeniowych ocen wewnÚtrznych (metodÈ samoewaluacji w ramach zespoïu projektowego) 142 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework oraz zewnÚtrznych (wykonywanych przez zewnÚtrznych ekspertów dziedzinowych i menedĝerów M¥P), – zgodnoĂÊ z wymaganiami systemu monitorowania, ewaluacji i raportowania Narodowego Centrum Badañ i Rozwoju (w tym zwïaszcza w ramach programu INNOTECH), – ïatwoĂÊ uĝycia, wzglÚdnie niski koszt i pracochïonnoĂÊ procedur, otwartoĂÊ systemu kryteriów oceny oraz zrozumiaïoĂÊ dla menedĝerów M¥P. OpracowujÈc podejĂcie dziaïano wedïug nastÚpujÈcego schematu: – identyfikacja i analiza dostÚpnych, teoretycznych oraz stosowanych wb praktyce podejĂÊ do ewaluacji systemów i projektów BI, – wybór podejĂcia, które bÚdzie zastosowane w projekcie InKoM, – modyfikacja (rozszerzenie) przyjÚtych kryteriów oceny w celu uwzglÚdnienia nowych funkcjonalnoĂci zaimplementowanych w systemie InKoM i specyfiki sektora M¥P, – ewaluacja (badanie pilotowe – testowanie podejĂcia, ewentualne wprowadzenie zmian kryteriów i uĝywanych technik, wdroĝenie podejĂcia ib realizacja kolejnych ocen). W wyniku szerokiej analizy, która objÚïa swym zakresem praktycznie wszystkie opisane w literaturze przedmiotu oraz stosowane w praktyce podejĂcia do ewaluacji systemów i projektów BI (por. poprzedni punkt opracowania), zdecydowano siÚ zastosowaÊ w projekcie InKoM ramowÈ kartÚ wyników bazujÈcÈ na rozwiÈzaniu BI Scorecardâ. Korzysta ono z hierarchicznej struktury predefiniowanych kryteriów, techniki punktowej oraz jest stosowane i sprawdzone w praktyce, zarówno dla ocen komercyjnych, jak teĝ dopuszcza zastosowanie do niekomercyjnej ewaluacji (samoewaluacji) dowolnego systemu i/lub projektu BI. W zwiÈzku z tym, ĝe rozwiÈzanie to – podobnie jak wszystkie pozostaïe „gotowe” podejĂcia do ewaluacji – nie uwzglÚdniaïo w peïnym zakresie specyfiki naszego projektu, jego produktu oraz wymagañ docelowej grupy uĝytkowników, konieczna byïa modyfikacja (rozszerzenie) zestawu kryteriów oceny. DokonujÈc jej, wykorzystano m.in. dostÚpnÈ wiedzÚ o krytycznych czynnikach sukcesu wdroĝeñ systemów BI w sektorze M¥P. SÈ nimi przede wszystkim (por. Fedouaki, Okar i El Alami, 2010; Olszak i Ziemba, 2012): – dobre zdefiniowanie problemu i procesów biznesowych, – dobrze zdefiniowane potrzeby i oczekiwania uĝytkowników, – dostosowanie rozwiÈzania BI do wymagañ uĝytkowników, – integracja systemu BI z innymi systemami transakcyjnymi i informacyjno-decyzyjnymi, – odpowiednia jakoĂÊ danych, elastycznoĂÊ i zdolnoĂÊ reagowania wdraĝanych rozwiÈzañ BI na dynamicznie zmieniajÈce siÚ potrzeby i oczekiwania uĝytkowników, – stosowanie technologii i narzÚdzi adekwatnych dla sektora M¥P5, – uĝytecznoĂÊ systemu BI, w tym przyjazny interfejs nawigowania i eksploracji. Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 143 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz Natomiast rozszerzenia kryteriów oceny zwiÈzanych z nowymi, innowacyjnymi funkcjonalnoĂciami systemu InKoM dotyczyïy przede wszystkim: – ontologii dziedzinowych obejmujÈcych podstawowe pojÚcia z ekonomii i finansów, – algorytmów odkrywania wiedzy, – mechanizmów wyszukiwania semantycznego, – wizualnego interfejsu nawigacji i eksploracji oraz narzÚdzi objaĂniania bazujÈcych na wiedzy dziedzinowej (ontologiach i mapach pojÚÊ). W efekcie zmodyfikowano oraz rozszerzono zastosowanÈ w projekcie InKoM ramowÈ kartÚ wyników m.in. o nastÚpujÈce kryteria poziomu podstawowego i szczegóïowego: – integracja z ontologiami dziedzinowymi i mapami pojÚÊ, – interaktywnoĂÊ kokpitu menedĝerskiego opartego na nowych narzÚdziach wizualizacji (interfejs bazujÈcy na mapach pojÚÊ zgodnych ze standardem TM – ISO/IEC 13250:2003), – zaawansowane analizy (oparte na zaawansowanej eksploracji danych, wb tym na metodach eksploracji dedykowanych menedĝerom M¥P oraz na wbudowanych kreatorach), – predefiniowane KPI (mierniki i wskaěniki) dedykowane menedĝerom M¥P oraz narzÚdzia ich objaĂnienia (oparte na ontologiach dziedzinowych i mapach pojÚÊ). Tak rozszerzonÈ kartÚ wyników uĝyto do ewaluacji projektu i systemu InKoM. 4.2. Przykïadowe wyniki ewaluacji Inteligentnego kokpitu menedĝerskiego InKoM EwaluacjÚ Inteligentnego kokpitu menedĝerskiego InKoM prowadzono na podstawie kategorii i podkategorii stosowanych w BI Scorecardâ, rozszerzonych o skïadowe wskazane i skrótowo omówione w poprzednim punkcie. Proces oceniania realizowano, stosujÈc podejĂcie oparte na metodzie delfickiej. WartoĂci „jak byïo” uzyskano poprzez samoocenÚ wykonanÈ przez specjalistów firmy TETA BIC, która jest producentem i dystrybutorem systemu TETA BI. Z kolei oceny „jak jest” otrzymano dziÚki ekspertyzom wewnÚtrznym (opracowanym przez zespoïy projektowe InKoM, w skïad których wchodzili specjaliĂci z firmy TETA BIC i z Uniwersytetu Ekonomicznego we Wrocïawiu) i wykonanym przez ekspertów zewnÚtrznych (opracowane przez ekspertów z uczelni wyĝszych i/lub oĂrodków naukowo-badawczych oraz menedĝerów M¥P). W zwiÈzku z tym, ĝe o trafnoĂci ocen uzyskiwanych metodami eksperckimi, w tym delfickÈ, decyduje w duĝym stopniu wïaĂciwy dobór ekspertów, w tabeli 1 przedstawiono strukturÚ zespoïu ekspertów zewnÚtrznych. Zdaniem autorów zostali oni dobrani wb sposób wïaĂciwy, gwarantujÈcy wysokÈ jakoĂÊ ewaluacji. Wszyscy wewnÚtrzni i zewnÚtrzni eksperci dziedzinowi korzystali podczas ewaluacji z dokumentacji projektowej (raportów okresowych i merytorycz144 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework nych, instrukcji obsïugi, specyfikacji projektowych i programowych itp.) oraz mieli dostÚp do prototypu systemu InKoM (poprzez zdalny pulpit i/lub wblaboratorium projektu znajdujÈcym siÚ na Uniwersytecie Ekonomicznym). Dodatkowo potrzeby i oczekiwania dotychczasowych oraz nowych uĝytkowników systemu TETA BI zostaïy zweryfikowane poprzez badanie ankietowe wykonane na grupie 40 menedĝerów oraz pracowników dziaïów IT. Zespóï projektowy zrealizowaï takĝe uzupeïniajÈce oceny uĝytecznoĂci i efektywnoĂci ekonomicznej systemu InKoM, które sÈ wymagane przez NCBiR. Dziedzina Charakterystyka eksperta Mapy pojÚÊ, ontologie, systemy inteligentne Jednostka naukowo-badawcza (zagraniczna), nieb jest uĝytkownikiem TETA BI HCI, ewaluacja uĝytecznoĂci rozwiÈzañ ICT Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI Systemy BI, systemy SWD/DSS Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI Data mining, eksploracja danych Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI Finanse i ekonomia Uczelnia wyĝsza, nie jest uĝytkownikiem TETA BI Menedĝer M¥P Praktyka gospodarcza, nie jest uĝytkownikiem TETA BI, brak wyksztaïcenia ekonomiczno-finansowego Menedĝer M¥P praktyka gospodarcza, nie jest uĝytkownikiem TETA BI, wyksztaïcenie ekonomiczno-finansowe Menedĝer M¥P Praktyka gospodarcza, jest uĝytkownikiem TETA BI, brak wyksztaïcenia ekonomiczno-finansowego Menedĝer M¥P Praktyka gospodarcza, jest uĝytkownikiem TETA BI, wyksztaïcenie ekonomiczno-finansowe Menedĝerowie i/lub pracownicy sïuĝb IT z M¥P (uczestnicy badania ankietowego) Uĝytkownicy systemów TETA ERP i/lub TETA BI (40 osób) Tab. 1. Struktura zespoïu zewnÚtrznych ekspertów dziedzinowych. ½ródïo: opracowanie wïasne. Zarówno procedura ewaluacji, jak i uzyskane wyniki byïy juĝ omówione na kilku konferencjach (m.in. FedCSIS/AITM’2014, zob. https://fedcsis.org/) i sÈ opublikowane (zob. Dyczkowski, Korczak i Dudycz, 2013), a wiÚc ze wzglÚdu na okreĂlonÈ objÚtoĂÊ tego artykuïu ograniczymy siÚ do przedstawienia wyïÈcznie najwaĝniejszych oraz najbardziej znaczÈcych zmian wartoĂci ocen, które uzyskano w systemie TETA BI po jego rozszerzeniu o produkty projektu InKoM. SÈ one zawarte w tabeli 2. Przeprowadzona i zaprezentowana w ograniczonym zakresie w niniejszym tekĂcie ewaluacja systemu InKoM, zwïaszcza kategorie i podkategorie zwiÈzane z kategoriami odnoszÈcymi siÚ bezpoĂrednio do kokpitu menedĝerskiego (por. tabela 2 i wytïuszczone oraz wyróĝnione kolorem szarym wypeïnieniem komórki), pokazuje potrzebÚ staïego doskonalenia stosowanych metod Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 145 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz oceny projektów i systemów BI (w tym takĝe ramowych kart wyników) i ich dostosowywania do rozwiÈzañ dedykowanych sektorowi M¥P oraz nowych, innowacyjnych technologii i koncepcji rozwojowych tej klasy aplikacji. Kategoria i podkategoria ewaluacji jak byïo jak jest Analizy (Ărednia wartoĂÊ dla wszystkich podkategorii) 1,00 2,20 Analizy predykcyjne (what if) 0,00 2,00 Zaawansowane analizy (oparte na zaawansowanej eksploracji danych) 0,00 2,00 KPI/mierniki i wskaěniki (Ărednia wartoĂÊ dla wszystkich podkategorii) 1,20 2,20 Predefiniowane KPI/mierniki i wskaěniki dedykowane menedĝerom M¥P 1,00 3,00 InterakcyjnoĂÊ kokpitu (Ărednia wartoĂÊ dla wszystkich podkategorii) 0,89 1,67 InterakcyjnoĂÊ oparta na nowych narzÚdziach wizualizacji (interfejs bazujÈcy na mapach pojÚÊ zgodnych ze standardem TM – ISO/IEC 13250:2003) 0,00 3,00 UdostÚpnianie i pozostaïe (Ărednia wartoĂÊ dla wszystkich podkategorii) 1,00 1,75 Integracja z ontologiami dziedzinowymi i z mapami pojÚÊ 0,00 3,00 Tab. 2. Najwaĝniejsze i/lub najbardziej znaczÈce zmiany ocen. ½ródïo: opracowanie wïasne. 5. Podsumowanie W niniejszej pracy zostaïo przedstawione podejĂcie do wielokryterialnej ewaluacji systemów i projektów BI, które opieraïo siÚ na ramowych modelach oceny i stanowiÈcych ich instrumentarium kartach wyników. W modelach tych rozszerzono i zmodyfikowano zestaw kryteriów oceny, dostosowujÈc go z jednej strony do wymagañ sektora M¥P, z drugiej zaĂ do nowych funkcjonalnoĂci implementowanych w innowacyjnych kokpitach menedĝerskich, w tym szczególnie wizualnym interfejsie nawigacji i eksploracji opartym na mapie pojÚÊ, bazujÈcej na ontologiach dziedzinowych ib dedykowanym module eksploracji wiedzy ekonomiczno-finansowej. System wielokryterialnej oceny zostaï zastosowany w Ărodowisku realizacyjnym ibzarzÈdczym projektu InKoM podczas kolejnych ocen Inteligentnego kokpitu dla menedĝerów maïych i Ărednich przedsiÚbiorstw. Dalsze badania bÚdÈ zorientowane na empirycznÈ weryfikacjÚ stworzonego modelu ramowego i kart wyników w M¥P, które wdroĝÈ aplikacjÚ TETA BI z systemem InKoM, rozszerzenie kategorii oceny w celu wsparcia analizy CBA i pomiaru ROI/TCO dla wdroĝeñ systemów klasy BI oraz na stworzenie spoïecznoĂci ekspertów, która pozwoli na staïe doskonalenie ib aktualizowanie narzÚdzi ewaluacji. 146 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework Przypisy 1 Niniejszy artykuï zostaï opracowany w ramach prac prowadzonych przez zespóï realizujÈcy projekt „Inteligentny kokpit menedĝerski” (InKoM). Projekt InKoM uzyskaï wspóïfinansowanie Narodowego Centrum Badañ i Rozwoju w ramach I konkursu programu INNOTECH, Ăcieĝka In-Tech, nr umowy INNOTECH-K1/IN1/34/153437/ NCBR/12. 2 System zrealizowaïo konsorcjum Uniwersytetu Ekonomicznego we Wrocïawiu (lider projektu) i firmy UNIT4 TETA BI Center (czïonek konsorcjum i gïówny beneficjent projektu). W przedsiÚwziÚciu wspóïuczestniczyï teĝ Credit Agricole Bank Polska. Zaïoĝenia i istotÚ dziaïania kokpitu szeroko opisano m.in. w: Korczak, Dudycz ibDyczkowski, 2012a; 2012b; 2013a; 2013b; 2014. 3 Jest to niezwykle waĝne, gdyĝ informacja nieindeksowana stanowi ponad 80% zasobów globalnego Internetu. WagÚ problemu w obszarze systemów BI podkreĂlajÈ m.in. raporty Schlegel i in., 2013 i Dresner Advisory Services, 2013a oraz praca Howson, 2013. 4 Szerszy opis wymienionych metod i narzÚdzi wraz z przykïadem ich uĝycia przedstawiono w pracy: Dyczkowski (w druku). 5 W tej analizie przydatne sÈ raporty zawierajÈce oceny najwaĝniejszych z punktu widzenia M¥P technologii i/lub narzÚdzi BI oraz ich zmiany w kolejnych latach. Naleĝy zauwaĝyÊ, ĝe dostÚpne za lata 2012, 2013 i 2014 raporty wskazujÈ, ĝe najwiÚksze przyrosty wskazañ technologii i narzÚdzi „oczekiwanych” przez M¥P dotyczÈ m.in.: kokpitów menedĝerskich, funkcjonalnoĂci realizowanych przez menedĝerów „samoobsïugowo” oraz zaawansowanej wizualizacji, a wiÚc podstawowych rozwiÈzañ zaimplementowanych w systemie InKoM. Zob. raport Dresner Advisory Services, 2013c, s. 15, 25, 35–36. Bibliografia Chandler, N., Hostmann, B., Rayner, N. i Herschel, G. (2011). Gartner’s Business Analytics Framework. Gartner. Pozyskano z: http://www.gartner.com/imagesrv/summits/docs/na/ business-intelligence/gartners_business_analytics__219420.pdf. HP. (2012). Describing the BI journey. The HP Business Intelligence (BI) Maturity Model. HP> Pozyskano z: http://h20195.www2.hp.com/v2/GetPDF.aspx%2F4AA3-9723EEW. pdf. Dresner Advisory Services (2013a). Wisdom of Crowdsâ. Business Intelligence Market Study. Dresner Advisory Services. Pozyskano z: http://www.informationbuilders.com/ tracker/email/new/pdf/2013_wisdom_of_crowds_bi_market_study.pdf. Dresner Advisory Services (2013b). Wisdom of Crowdsâ. Mobile Computing/Mobile Business Intelligence Market Study. Dresner Advisory Services. Pozyskano z: https://www. microstrategy.com/Strategy/media/downloads/white-papers/mobile_dresner-mobile-bi-study-2013.pdf. Dresner Advisory Services (2013c). Wisdom of Crowdsâ. Small and Mid-Sized Enterprise Business Intelligence Market Study. Dresner Advisory Services. Pozyskano z: http:// explore.tibco.com/rs/tibcospotfire/images/Wisdom_of_Crowds_SME_BI_Report-Licensed_to_TIBCO_Software-Copyright_2013.pdf. Dudycz, H. (2011). Research on usability of visualization in searching economic information in topic maps-based application for return on investment indicator. W: J.bKorczak, H. Dudycz i M. Dyczkowski (red.), Advanced Information Technologies for Management – AITM’2011. Intelligent Technologies and Applications. Wroclaw University of Economics Research Papers (s. 45–58), (206). Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 147 Mirosïaw Dyczkowski, Jerzy Korczak, Helena Dudycz Dudycz, H. (2012). The concept of using standard topic map in Business Intelligence system. W: D. Birov i Y. Todorova (red.), Proceedings of the 5th International Conference for Entrepreneurs, Innovation and Regional Development – ICEIRD 2012 (s.b228–235). Sofia: St. Kliment Ohridski University Press. Dyczkowski, M. (w druku). Analiza efektywnoĂci ekonomicznej zastosowania systemów klasy business intelligence w sektorze M¥P. Podstawy metodyczne i przykïady uĝycia. Warszawa: Wydawnictwo Naukowe Wydziaïu ZarzÈdzania Uniwersytetu Warszawskiego. Dyczkowski, M., Korczak, J., Dudycz, H. (2014). Multi-criteria Evaluation of the Intelligent Dashboard for SME Managers based on Scorecard Framework. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.), Proceedings of the 2014 Federated Conference on Computer Science and Information Systems. Annals of Computer Science and Information Systems (s. 1147–1155). Warszawa: Polskie Towarzystwo Informatyczne/New York: Institute of Electrical and Electronics Engineers. Eckerson, W. (2006). Business Intelligence Maturity Model. The Data Warehousing Institute. Pozyskano z: http://www.eurim.org.uk/activities/ig/voi/03-01-06_Executive_Series_ Assessing_Your_BI_Maturity.pdf. Farrokhi, V. i Pokorádi, L. (2012). The Necessities for Building a Model to Evaluate Business Intelligence Projects – Literature Review. International Journal of Computer Science & Engineering Survey, 3 (2), 1–10. Fedouaki, F., Okar, C. i El Alami, S. (2013). A Maturity Model for Business Intelligence System Project in Small and Medium-sized Enterprises: An Empirical Investigation. International Journal of Computer Science Issues, 10 (6), 61–69. Ghilic-Micu, B., Stoica, M., Mircea, M. (2008). A Framework for Measuring the Impact of BI Solution. Referat wygïoszony na: The 9th WSEAS International Conference on Mathematics & Computers in Business and Economics (MCBE ‘08). Pozyskano z: http://www.wseas.us/e-library/conferences/2008/bucharest/mcbe/10mcbe.pdf. Gibcus, P., Vermeulen, P.A.M. i Jong, J.P.J. (2009). Strategic Decision Making in Small Firms: A Taxonomy of Small Business Owners. International Journal of Entrepreneurship and Small Business, 7 (1), 74–91. Howson, C. (2008). Successful Business Intelligence: Secrets to Making BI a Killer Application. New York: McGraw-Hill. Howson, C. (2013). Successful Business Intelligence, Second Edition: Unlock the Value of BI & Big Data. New York: McGraw-Hill Education. Hribar RajteriÌ, I. (2010). Overview of Business Intelligence Maturity Models. Management, 15 (1), 47–67. Korczak, J., Dudycz, H. i Dyczkowski, M. (2012a). Intelligent Dashboard for SME Managers. Architecture and Functions. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.), Proceedings of the Federated Conference on Computer Science and Information Systems FedCSIS 2012 (s. 1003–1007). Warszawa: Polskie Towarzystwo Informatyczne/Los Alamitos: IEEE Computer Society Press. Korczak, J., Dudycz, H. i Dyczkowski, M. (2012b). Intelligent Decision Support for SME Managers – Project InKoM. Business Informatics (Informatyka Ekonomiczna), 25 (3), 84–96. Korczak, J., Dudycz, H. i Dyczkowski, M. (2013a). Design of Financial Knowledge in Dashboard for SME Managers. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.), Proceedings of the Federated Conference on Computer Science and Information Systems FedCSIS 2012 (s. 1111–1118). Warszawa: Polskie Towarzystwo Informatyczne/Los Alamitos: IEEE Computer Society Press. Korczak, J., Dudycz, H. i Dyczkowski, M. (2013b). Specification of financial knowledge – the case of Intelligent Dashboard for Managers. Business Informatics (Informatyka Ekonomiczna), 28 (2), 56–76. 148 DOI 10.7172/1644-9584.52.11 Wielokryterialna ewaluacja systemu klasy BI dla M¥P oparta na podejĂciu BI Scorecard Framework Korczak, J., Dudycz, H. i Dyczkowski, M. (2014). Inteligentny Kokpit Menedĝerski jako innowacyjny system wspomagajÈcy zarzÈdzanie w M¥P. Informatyka Ekonomiczna (Business Informatics), 31 (1), 288–303. Olszak, C. (2013. Assessment of Business Intelligence Maturity in the Selected Organizations. W: M. Ganzha, L. Maciaszek i M. Paprzycki (red.), Proceedings of the Federated Conference on Computer Science and Information Systems FedCSIS 2012 (s. 951–958). Warszawa: Polskie Towarzystwo Informatyczne/ Los Alamitos: IEEE Computer Society Press. Olszak, C. i Ziemba, E. (2012). Critical Success Factors for Implementing Business Intelligence Systems in Small and Medium Enterprises on the Example of Upper Silesia, Poland. Interdisciplinary Journal of Information, Knowledge & Management, 7, 129–150. PopoviÌ, A., Turk, T. i JakliÌ, J. (2010). Conceptual Model of Business Value of Business Intelligence Systems. Management, 15 (1), 5–29. Schlegel, K., Sallam, R.L., Yuen, D. i Tapadinhas, J. (2013). Magic Quadrant for Business Intelligence and Analytics Platforms. Gartner. Pozyskano z: http://www.walmeric.com/ body/pm/2013_gartner_magic_quadrant_for_bi_and_analytics.pdf. Whittemore, B. (2008). The Business Intelligence ROI Challenge: Putting It All Together. Business Intelligence Best Practices. Pozyskano z: http://www.bi-bestpractices.com/ view/4782. Wise, L. (2008). The Emerging Importance of Data Visualization. Pozyskano z: http:// www.dashboardinsight.com/articles/business-performance-management/the-emergingimportance-of-data-visualization-part-1.aspx. Problemy ZarzÈdzania vol. 13, nr 2 (52), t. 1, 2015 149