Wiedza o krytycznych czynnikach sukcesu jako istotny element

dr Mirosław Dyczkowski
Katedra Teorii Informatyki
Akademia Ekonomiczna we Wrocławiu
e-mail: [email protected]
Wiedza o krytycznych czynnikach sukcesu
jako istotny element poprawy efektywności
przedsięwzięć informatycznych
w sferze zarządzania publicznego
1. Wprowadzenie
W ostatnich latach zastosowania technologii informacyjnych stały
się jednym z najważniejszych kierunków doskonalenia procesów zarządzania w sferze publicznej. W Polsce informatyzacja tego obszaru nabrała
przyspieszenia w ramach unijnych programów przedakcesyjnych. Po naszym przystąpieniu do struktur europejskich działania te są jeszcze mocniej wspomagane z budżetu Unii i w pełni wpisane w strategie i programy
wspólnotowe. Rośnie liczba prowadzonych projektów oraz przeznaczane
na nie środki1, zwłaszcza że zasilaniu ze źródeł zewnętrznych często towarzyszy wkład własny. Aby ponoszone nakłady przyniosły oczekiwane
rezultaty, przedsięwzięcia informatyczne w sferze zarządzania publicznego, powinna cechować m.in. efektywność, odnoszona zarówno do samego procesu realizacyjnego, jak i do produktów i/lub usług będących ich
1
Większość informacji na temat programów informatyzacji państwa i społeczeństwa oraz realizowanych projektów, w tym: podstawowe inicjatywy unijne i krajowe oraz dokumenty strategiczne,
analizy i raporty, opisy projektów rządowych (m.in. takich projektów jak: Ikonka, eContentPlus i
Wrota Polski), ponadsektorowych (m.in. takich jak: e-PUAP, STAP, CEPiK i Centralne Rejestry
Państwowe), sektorowych (m.in. takich jak: e-Deklaracje, e-Poltax i PESEL2) czy regionalnych
(m.in. portale Wrota poszczególnych województw czy regionów), regulacji ustanawiających dla
nich ramy organizacyjno-prawne itp. znajduje się na stronach ministerstw odpowiedzialnych i/lub
koordynujących poszczególne obszary informatyzacji oraz w portalach informacyjnych odpowiednich programów i projektów. Zob. m.in. witryny www.mswia.gov.pl, www.mf.gov.pl czy
www.mrr.gov.pl oraz umieszczone tam łącza do innych stron i/lub dokumentów.
wynikiem. Prowadząc badania efektywności projektów informatycznych
przedmiotem oceny jest na ogół zgodność w układzie plan ↔ wykonanie
podstawowych ich wymiarów, takich jak: zakres, czas, budżet i jakość.
Miary te i specyfikujące je szczegółowe metryki, wprawdzie nie do końca
oddają specyfikę obszaru IT, ale ze względu na ich uniwersalny charakter
oraz fakt, są one istotnym elementem umów definiujących przedsięwzięcia informatyczne oraz procedur ich ewaluacji, są one powszechnie stosowane w takich analizach2.
Autor niniejszego opracowania od kilku lat bada różne aspekty procesów organizowania i realizacji przedsięwzięć informatycznych. Od
2004 roku jednym z ważnych celów badań stała się identyfikacja krytycznych czynników sukcesu3. Aby było możliwe wartościowanie i weryfikowanie tych czynników, gromadzone są dane o skuteczności i efektywności realizacyjnej przedsięwzięć, obrazujące zgodność czasową, kosztową i funkcjonalną projektów oraz poziom spełniania przez zaimplementowane rozwiązania wymagań użytkowników.
Celem niniejszego opracowania jest szersza prezentacja wyników
analiz krytycznych czynników sukcesu przedsięwzięć informatycznych
prowadzonych w sektorze publicznym.
2
W praktyce stosuje się w tym obszarze wiele modeli badawczych, ale na ogół wszystkie sprowadzają się do porównywania specyfikacji funkcjonalnych, informacyjnych, technicznych itd. planowanych produktów informatycznych z uzyskanymi wynikami oraz zaplanowanych zasobów
(budżety, harmonogramy, zakupy usług itd.) z rzeczywistym ich zużyciem (kosztami, terminami
itp.). Por. H. Dudycz, M. Dyczkowski, Efektywność przedsięwzięć informatycznych. Podstawy
metodyczne pomiaru i przykłady zastosowań. Wydawnictwo AE, Wrocław 2006, rozdz. 2 i 3.
3
Zebrany w trakcie tych badań materiał autor częściowo zaprezentował m.in. w pracach:
M. Dyczkowski, Czynniki sukcesu przedsięwzięć informatycznych. Wstępne wyniki badania ankietowego. W: Ryzyko Przedsięwzięć Informatycznych RPI’2005. Politechnika Szczecińska, Wydział Informatyki, Szczecin 2005, s. 45-54; M. Dyczkowski, Wyniki badania kluczowych czynników sukcesu przedsięwzięć informatycznych. W: A. Nowicki [Red.] Informatyka ekonomiczna
zeszyt nr 9. Prace Naukowe Akademii Ekonomicznej, Wrocław 2006 nr 1144, s. 125-139;
M. Dyczkowski, Ocena przebiegu i efektów przedsięwzięć informatycznych. Wybrane wyniki
badań porównawczych z lat 2004-2007. W: T. Porębska-Miąc, H. Sroka [Red.] Systemy wspomagania organizacji SWO’2007. Prace Naukowe Akademii Ekonomicznej, Katowice 2007 (w
druku).
2. Podstawowe informacje o badaniu i jego środowisku
Wybór tematyki badania wynikał z przeświadczenia autora, że
znajomość tzw. krytycznych czynników sukcesu (KCS; ang. CSF – critical success factors) pozwolić powinna na poprawę efektywności przedsięwzięć informatycznych oraz produktów uzyskiwanych w ich wyniku.
Pozyskanie takiej wiedzy i jej zastosowanie w praktyce umożliwia bowiem stworzenie środowiska, które sprzyja pojawianiu się i utrzymywaniu warunków sprzyjających osiągnięciu założonych wyników projektów,
a zapobiega i/lub ogranicza zasięg występowania zjawisk negatywnych.
Dla autora, jako nauczyciela akademickiego, wiedza taka oprócz walorów
poznawczych czy utylitarnych, ma także wymiar edukacyjny (dydaktyczny i szkoleniowo-doradczy).
Zbieranie materiału źródłowego na potrzeby badania zostało przeprowadzone przez autora w dużej mierze przy pomocy studentów (jednolitych stacjonarnych i zaocznych studiów magisterskich oraz niestacjonarnych magisterskich studiów uzupełniających) w ramach przedmiotów
„Zintegrowane gospodarcze systemy informacyjne”, „Zarządzanie przedsięwzięciami informacyjnymi” oraz „Organizacja i zarządzanie przedsięwzięciami informatycznymi”, wykładanych na wrocławskiej Akademii
Ekonomicznej. Wybór tej właśnie grupy studentów wynikał z dwóch
podstawowych powodów. Po pierwsze, byli oni w większości zatrudnieni
w jednostkach, które właśnie prowadziły lub niedawno zakończyły badane przedsięwzięcia informatyczne, a więc mieli ułatwiony dostęp do
danych o ich charakterystykach i przebiegu. Często był to nawet udział
bezpośredni, gdyż studenci – jako pracownicy różnych działów, zarówno
merytorycznych, jak i służb informatycznych – wchodzili w skład zespołów projektowych, w tym w tak istotnych rolach, jak użytkownicy klu-
czowi lub kierownicy projektów. Po drugie, co nie mniej ważne, w trakcie zajęć uzyskali oni podstawową wiedzę z zakresu złożonych systemów
informatycznych, metodyk ich implementowania i oceny oraz zarządzania
przedsięwzięciami informatycznymi itd. Posiadanie tej wiedzy znacznie
ułatwiło prowadzenie badania, zarówno poprawne wypełnianie ankiety,
jak i zbieranie danych uzupełniających. Miało też walor edukacyjny, gdyż
studenci mogli zweryfikować w praktyce nabyte na uczelni umiejętności.
Badania zostały przeprowadzone w dwóch cyklach. Pierwszy z nich
zrealizowano w okresie październik 2004 – czerwiec 2005, natomiast
drugi od kwietnia 2006 do marca 2007 roku. W pierwszym cyklu zebrano
dane o charakterystykach ponad 250 przedsięwzięć informatycznych, z
których po weryfikacji materiału do dalszej analizy przyjęto 190. Podobną liczbę ankiet uzyskano w drugim cyklu, z tym że pozytywnie zweryfikowano nieco więcej, bo 203 zestawy danych. W ten sposób powstało
repozytorium opisów i metryk projektowych, które w chwili obecnej zawiera 393 zestawy danych, z których każdy opisuje 50 cech ilościowych i
jakościowych projektów IT, 9 charakterystyk opisowych i typologicznych
obiektów, w których je prowadzono oraz 4 atrybuty umożliwiające weryfikację zebranych opisów (m.in. dane ankietera i jego źródła informacji).
Repozytorium jest aktualnie przechowywane i przetwarzane w
dwóch formatach plików, z których podstawowym są arkusze (skoroszyty) programu Statistica (*.sta), a uzupełniającym arkusze (skoroszyty)
programu Excel (*.xls). W związku z tym, że zawiera ono zestawy danych na temat przedsięwzięć prowadzonych w różnych branżach (największymi grupami są przedsiębiorstwa przemysłowe oraz handlowe,
które łącznie stanowią nieco ponad 50% ogółu przebadanych firm), do
analiz przedstawionych w niniejszym opracowaniu – zgodnie z jego te-
matyką – został wyselekcjonowany podzbiór, w którym znalazły się te
zestawy, dla których cecha „branża” (identyfikująca podstawowy rodzaj
prowadzonej działalności) miała wartość „administracja” (administracja
publiczna, rządowa i samorządowa) lub „edukacja” (oświata, szkolnictwo/nauka wszystkich szczebli) lub „zdrowie” (ochrona zdrowia). Podzbiór ten zawiera charakterystyki 61 instytucji publicznych i zrealizowanych w nich przedsięwzięć informatycznych (arkusz źródłowy programu
Statitica ma wymiary 61 przypadków * 63 zmienne).
Tabela 1. Struktura instytucji publicznych w których analizowano przedsięwzięcia informatyczne
Struktura badanych
instytucji publicznych
Sfera (obszar działania instytucji)
Administracja
Liczba
Razem wg branż
Mikro (1-9)
34 55,74
0
0,00
Edukacja
Liczba
[%]
15 24,59
0
0,00
Zdrowie
Liczba
[%]
12 19,67
3 25,00
Razem
Liczba
[%]
61 100,00
3
4,92
7 46,67
1
8,33
22
36,07
8 23,53
7 46,67
4 33,33
19
31,15
Duża (250-1999)
6 17,65
1
6,67
4 33,33
11
18,03
Wielka (≥ 2000)
6 17,65
0
0,00
0
0,00
6
9,84
12 80,00
5 41,67
35
57,38
2 13,33
2 16,67
7
11,48
13 38,24
1
6,67
5 41,67
19
31,15
18 52,94
7 46,67
4 33,33
29
47,54
Regionalna
7 20,59
5 33,33
4 33,33
16
26,23
Ogólnokrajowa
9 26,47
2 13,33
2 16,67
13
21,31
Międzynarodowa
0 0,00
1 6,67
Źródło: opracowanie własne na podstawie wyników badań.
2 16,67
3
4,92
Wielkość
instytucji
14 41,18
Średnia (50-249)
Złożoność
struktury
Mała (10-49)
[%]
Jedna jednostka,
jedna lokalizacja
Wiele jednostek,
jedna lokalizacja
Wiele jednostek,
wiele lokalizacji
Skala
działania
Lokalna
18 52,94
3
8,82
W tab. 1 zestawiono najważniejsze informacje o strukturze instytucji publicznych, w których były prowadzone zbadane projekty. Jak widać
była ona bardzo zróżnicowana, zarówno pod względem wielkości instytu-
cji4, ich złożoności strukturalno-przestrzennej, jak i skali prowadzonej
działalności. Wynikało to z dużej różnorodności obiektów, nawet działających w tym samym obszarze5.
3. Charakterystyka badanych przedsięwzięć
Podobnie jak same obiekty były zróżnicowane opisane w ankietach
przedsięwzięcia informatyczne, o czym świadczą przedstawione w tym
punkcie informacje obrazujące wielkość ich budżetu i czasu realizacji
oraz opisujące syntetycznie ich zakres.
W tab. 2 zawarto dane o wielkości budżetu, natomiast w tab. 3 o
czasie realizacji, czyli dwóch najważniejszych wymiarach badanych projektów. Analizując je widać, że wprawdzie dominują przedsięwzięcia o
ograniczonym budżecie (w 67,21% jego wielkość wynosiła poniżej
100000 zł), ale trzeba też zauważyć – istotny w kontekście tematyki artykułu – spory udział projektów wymagających znacznych nakładów finansowych (budżet powyżej 1 mln miało 19,67% przedsięwzięć, przy czym
grupa powyżej 5 mln to aż 13,11% ich ogólnej liczby). W tej ostatniej
podgrupie znalazły się prawie wyłącznie projekty prowadzone w jednostka administracji publicznej. Natomiast jeżeli chodzi o czas realizacji,
to stosunkowo dużo ankiet opisywało dłużej trwające przedsięwzięcia
4
Wielkość instytucji mierzono w sposób uproszczony, posługując się wyłącznie liczbą zatrudnionych pracowników, przy czym przyjęte kryterium grupowania jest zgodne z systemami statystyki
państwowej (GUS) i unijnej (Eurostat).
5
Dla porządku należy wskazać, że w grupie „administracja” najwięcej było jednostek samorządowych (urzędy gminy, miasta i gminy, miasta, starostwa oraz ich wydzielone struktury, np. ośrodki
pomocy społecznej, urzędy pracy, inspektoraty nadzoru budowlanego itp., pojawił się też jeden
urząd marszałkowski) i administracji rządowej (szczebla wojewódzkiego i centralnego, m.in.
elementy struktury MSWiA oraz jednostki podległe Ministerstwom Sprawiedliwości – sądy i
prokuratury oraz Transportu – GDDKiA). Natomiast w grupie „edukacja” przeważały szkoły i
zespoły szkół różnych szczebli (od podstawowych, poprzez ponadpodstawowe, po wyższe, głównie publicznych, ale były też niepubliczne), wystąpiły też takie jednostki, jak duża biblioteka czy
okręgowa komisja egzaminacyjna. Grupa „zdrowie” została zdominowana przez przychodnie
(ogólne i specjalistyczne, publiczne i niepubliczne), ale pojawiły się też takie obiekty, jak zespoły
uzdrowisk, apteki i ich mini sieci oraz szpital.
informatyczne (projekty dłuższe niż pół roku stanowiły 42,62% ogółu),
co jest ważne z punktu widzenia badania czynników sukcesu, gdyż właśnie wtedy wiedza na ich temat jest najbardziej istotna. Podobnie jak w
przypadku wielkości budżetu, także i z punktu widzenia czasu trwania
prawidłowością było, że w grupie o najdłuższym czasie realizacji występowały prawie wyłącznie przedsięwzięcia z obszaru „administracja”.
Tabela 2. Wielkość budżetu badanych przedsięwzięć informatycznych
Wielkość
budżetu w zł
do 20000
do 100000
do 500000
do 1000000
do 5000000
ponad 5000000
Liczba
Skumulowowana
projektów liczba projektów
22
22
19
41
7
48
1
49
4
53
8
61
[%]
36,07
31,15
11,48
1,64
6,56
13,11
[%]
skumulowany
36,07
67,21
78,69
80,33
86,89
100,00
Źródło: opracowanie własne na podstawie wyników badań.
Tabela 3. Czas realizacji badanych przedsięwzięć informatycznych
Czas realizacji
projektu
do tygodnia
do miesiąca
do 3 miesięcy
do 6 miesięcy
do roku
ponad rok
Liczba
Skumulowowana
projektów liczba projektów
8
8
8
16
8
24
11
35
13
48
13
61
[%]
13,11
13,11
13,11
18,03
21,31
21,31
[%]
skumulowany
13,11
26,23
39,34
57,38
78,69
100,00
Źródło: opracowanie własne na podstawie wyników badań.
Dodatkowo na rys. 1 jest przedstawiony rozkład klas badanych
projektów IT. Autor w prowadzonych analizach stosował kilka odmiennych definicji tego pojęcia i tym samym różnych algorytmów obliczania
tej cechy. Przedstawiony na rysunku rozkład bazuje na normalizacji kategorii wielkości budżetu i czasu realizacji za pomocą 6-punktowej skali
typu Likerta (gdzie wartość „1” jest nadawana projektom o najniższym
budżecie – tu do 20000 zł albo o najkrótszym czasie realizacji – tu do
tygodnia itd.), a następnie na obliczaniu klasy projektu jako średniej
arytmetycznej z tak znormalizowanego budżetu i czasu6.
20
31,1%
18
16
Liczba obserwacji
14
12
10
8
14,8%
14,8%
13,1%
13,1%
13,1%
5
6
6
4
2
0
1
2
3
4
Klasa projektu
Rysunek 1. Rozkład klas badanych projektów informatycznych
Źródło: opracowanie własne na podstawie wyników badań.
Z budżetem i czasem realizacji jest ściśle powiązany trzeci z wymiarów przedsięwzięć, tj. zakres. Mimo że został on opisany w załącznikach do ankiet, nie jest w opracowaniu, ze względu na jego ograniczone
ramy, szerzej prezentowany. Dla porządku należy jednak zaznaczyć, że
6
W prowadzonych analizach wartość klasy projektu była też obliczana jako wartość pierwiastka
kwadratowego z iloczynu znormalizowanych wartości budżetu i czasu oraz jako odcięta część
całkowita z tak obliczonej wartości. W związku z tym, że rozkłady klas projektów niezależnie od
zastosowanego algorytmu były zbliżone, ze względu na ograniczone ramy artykułu, prezentowany
jest tylko jeden z nich.
analiza wykazała, że mamy do czynienia z bardzo zróżnicowanymi typologicznie przedsięwzięciami informatycznymi, przy czym przeważają
projekty sieciowo-internetowe oraz wdrożenia rozwiązań zintegrowanych, o charakterze modernizacyjnym i usprawniającym. Dodatkowo
trzeba wskazać, że wprowadzane rozwiązania zdecydowanie częściej niż
na przykład w grupie przedsiębiorstw (przemysłowych, handlowych itd.)
były oparte na aplikacjach firm polskich (np. w obszarze „edukacja”
znaczny udział miały systemy Sigma Optivum firmy Vulcan, a w sferze
„zdrowie” parokrotnie pojawiały się produkty firm Kamsoft i Optimus).
4. Wybrane oceny wyników badanych przedsięwzięć
Prezentację i omówienia listy czynników sukcesu należy zdaniem
autora poprzedzić ocenami wyników badanych przedsięwzięć, gdyż istotnym jest przy identyfikowaniu tych czynników, jak zakończyły się analizowane przedsięwzięcia informatyczne i jaka jest o nich opinia ankietowanych. W badaniu posłużono się zarówno ilościowymi ocenami zgodności, jak i ocenami jakościowymi. Te pierwsze dotyczyły zgodności budżetu i czasu7. Ze względu na ograniczone ramy artykułu zostały pominięte szczegółowe zestawienia wartości obu cech i ich rozkłady. Zastąpiono je wynikową miarą zgodności kontraktowej8. Jej wartość jest obli7
Zgodność budżetu mierzono relacją między rzeczywistym kosztem przedsięwzięcia a budżetem
zaplanowanym podczas inicjowania projektu, natomiast zgodność czasu oceniano relacją między
rzeczywistym czasem realizacji przedsięwzięcia a czasem zaplanowanym podczas inicjowania
projektu lub relacją terminów zakończenia rzeczywistego i planowanego. W ankietach posługiwano się przy ocenie każdej z badanych cech sześcioma klasami zgodności. W przypadku budżetu
poszczególne klasy zostały zdefiniowane następująco: (1) koszt ponad 100% > budżet, , (2) koszt
do 100% > budżet, (3) koszt do 50% > budżet, (4) koszt do 25% > budżet, (5) koszt ≅ budżet i (6)
koszt < budżet. Analogicznie określono klasy zgodności czasu realizacji. Por. M. Dyczkowski,
Czynniki…, op. cit., s. 49, M. Dyczkowski, Wyniki…, op. cit., s. 132 i M. Dyczkowski, Ocena…,
op. cit., tab. 5 i 6.
8
Zaproponowana nazwa miary wynika z tego, że budżet i czas realizacji są obok zakresu podstawowymi parametrami projektów IT zapisywanymi w dokumentacjach umów na ich realizację,
poczynając od SIWZ, kończąc na ostatecznych wersjach umów handlowych.
czana w analogiczny sposób jak w przypadku klasy projektu, a więc jako
średnia arytmetyczna ze znormalizowanych wartości zgodności budżetu i
czasu (gdzie wartość „1” jest nadawana projektom o najniższej zgodności,
natomiast „6” takim, w których jest ona najwyższa).
35
50,8%
30
Liczba obserwacji
25
20
15
21,3%
10
14,8%
5
6,6%
3,3%
3,3%
1
2
0
3
4
5
6
Klasa zgodności kontraktowej
Rysunek 2. Rozkład zgodności kontraktowej badanych projektów informatycznych
Źródło: opracowanie własne na podstawie wyników badań.
Na rys. 2 jest przedstawiony rozkład tak obliczonej zgodności kontraktowej przedsięwzięć informatycznych zrealizowanych w badanych
instytucjach publicznych. Widać z niego wyraźnie, że w ocenie ankietowanych projekty charakteryzowała wysoka i/lub bardzo wysoka zgodność
kontraktowa (dla 72,1% wartość tej miary wynosi 5 lub 6, co świadczy,
że ich koszt był mniejszy albo mieścił się w ramach zaplanowanego budżetu oraz zostały one wykonane przed albo w terminie). Średnia wartość
zgodności kontraktowej dla zbadanej grupy wynosi 4,23, a więc przekładając uzyskany wynik na szkolną skalę ocen daje to więcej niż dobry, ale
mniej niż dobry plus. Uzupełniając te informacje, trzeba dodać, że podana
wartość jest wynikową wyższej zgodności budżetu (4,62) od zgodności
czasu realizacji (4,33). Natomiast w poszczególnych sferach działalności
średnia wartość zgodności kontraktowej wyniosła odpowiednio: „administracja” – 3,94, „edukacja” – 4,67 i „zdrowie” – 4,5, a więc projekty w
instytucjach administracji publicznej uzyskały w przeprowadzonym badaniu wyraźnie niższą ocenę.
Jakościowe badanie zgodności przedsięwzięć prowadzono w dwóch
ujęciach, które umownie nazwano: zgodnością pierwotną oraz zgodnością
ostateczną. Zgodność pierwotną oceniano poprzez porównanie posiadanych cech i realizowanych przez produkt będący wynikiem przedsięwzięcia funkcji, z pierwotną specyfikacją wymagań użytkownika, sporządzoną
podczas inicjowania projektu, natomiast w zgodności ostatecznej dodatkowo uwzględniano dynamikę projektu, a więc zmiany wymagań wprowadzone w trakcie realizacji przedsięwzięcia9. Także w przypadku tych
cech – ze względu na ograniczone ramy artykułu – zostały pominięte
szczegółowe zestawienia wartości i ich rozkłady. Zastąpiono je wynikową
miarą zgodności funkcjonalnej10. Jej wartość jest obliczana w podobny
sposób jak w przypadku zgodności kontraktowej, a więc jako średnia
arytmetyczna ze znormalizowanych wartości zgodności pierwotnej i
ostatecznej (gdzie wartość „1” jest nadawana projektom o zgodności nie9
W ankietach posłużono się przy ocenie zgodności pierwotnej i ostatecznej ośmioma klasami, dla
których przyjęto następujące określenia: (1) niedostateczna (dla zgodności poniżej 40%), , (2)
bardzo niska (ponad 40%), (3) niska (ponad 50%), (4) częściowa (ponad 60%), (5) średnia (ponad
70%), (6) wysoka (ponad 80%), (7) bardzo wysoka (ponad 90%) i pełna (≅ 100%). Por.
M. Dyczkowski, Czynniki…, op. cit., s. 49, M. Dyczkowski, Wyniki…, op. cit., s. 133 oraz
M. Dyczkowski, Ocena…, op. cit., tab. 7 i 8.
10
Zaproponowana nazwa miary wynika z tego, że oceny zgodności pierwotnej i ostatecznej koncentrują się na funkcjonalności (cechach użytkowych) produktów i/lub usług informatycznych.
dostatecznej, natomiast „8” – gdyż skala jest w tym przypadku 8-punktowa – takim, w których jest ona pełna).
18
27,9%
27,9%
16
14
19,7%
Liczba obserwacji
12
16,4%
10
8
6
4
6,6%
2
1,6%
0
3
4
5
6
7
8
Klasa zgodności funkcjonalnej
Rysunek 3. Rozkład zgodności funkcjonalnej badanych projektów informatycznych
Źródło: opracowanie własne na podstawie wyników badań.
Na rys. 3 jest przedstawiony rozkład tak obliczonej zgodności funkcjonalnej przedsięwzięć informatycznych objętych badaniem w instytucjach publicznych. Widać z niego wyraźnie, że w ocenach ankietowanych
dominują wartości wysoka i bardzo wysoka (po 27,9% wskazań). Jeżeli
dodamy do tego projekty o pełnej zgodności, to łącznie wymagania funkcjonalne są spełniane na poziomie ponad 80% i wyższym przez produkty
i/lub usługi wytworzone w 72,2% zbadanych przedsięwzięć informatycznych. Średnia wartość zgodności funkcjonalnej dla zbadanej grupy wynosi 5,69, natomiast w poszczególnych sferach działalności odpowiednio:
„administracja” – 5,62, „edukacja” – 6,13 i „zdrowie” – 5,33. W
związku z odmienną skalą, aby zapewnić porównywalność ocen zgodności kontraktowej i funkcjonalnej, można posłużyć się zaproponowanym w
2004 roku przez Love i Iraniego11 wskaźnikiem ITbi (IT benchmark index), który jest obliczany według formuły:
ITbi = ∑ w , (0 ≤ IT
A* N
bi
≤ 1)
gdzie w to waga/wartość oceny, A to najwyższa możliwa waga/wartość, a
N to liczba uzyskanych ocen (respondentów).
Tak obliczona zgodność funkcjonalna wynosi 0,711 i jest niewiele
wyższa od wyliczonej w analogiczny sposób zgodności kontraktowej,
która równa się 0,705.
Dodatkowo zbierano dane o uogólnionej jakościowej ocenie wyników badanych przedsięwzięć informatycznych, do pomiaru której użyto
miary stopnia zaspokojenia potrzeb, wymagań i oczekiwań użytkowników przez produkt i/lub usługę, będący wynikiem przedsięwzięcia po
przekazaniu go do użytkowania. W uproszczeniu można przyjąć, że jest
to podejście w dużej mierze zgodne ze współczesnymi koncepcjami zarządzania jakością, gdzie najistotniejsze jest subiektywne odczucie satysfakcji z użytkowania wytworzonego i/lub zakupionego produktu czy
usługi. Użyta skala miar jakościowych była oparta na 4-stopniowej skali
typu Likerta, a więc możliwe było normalizowanie uzyskanych wyników
do „akademickiej” skali ocen (2÷5). Rozkład tak wyrażonych klas jakości
prezentuje rys. 4a. Mimo ogólnie dobrych ocen (udział projektów, których wynikiem były produkty uzyskujące noty wysoką i pełną wyniósł
11
Podano za pracą O.O. Ugwu, M.M. Kumaraswamy, Critical Success Factors for Construction
ICT Projects – Some Empirical Evidence and Lessons for Emerging Economics. “ITCon”, vol. 12
(2007), s. 236.
65,5%) należy zauważyć, że wynik przedsięwzięć „publicznych” jest
znacznie niższy od uzyskanego przez wszystkie zbadane projekty (tu
udział najlepszych not to 79,1%). Podobnie gorsza była znormalizowana
do „akademickiej” skali ocen miara satysfakcji, która w prezentowanej
grupie miała średnią wartość 3,8 wobec 3,95 dla ogółu przedsięwzięć.
35
35
47,5%
Liczba obserwacji
30
47,5%
30
25
39,3%
25
31,1%
20
20
15
15
18,0%
10
5
10
5
3,3%
0
8,2%
4,9%
0
2
3
4
5
(a)
3
4
5
6
(b)
Rysunek 4. Rozkłady klas (a) znormalizowanej jakości i (b) wyniku badanych projektów
Źródło: opracowanie własne na podstawie wyników badań.
Uzupełnieniem ocen zbadanych przedsięwzięć IT jest przedstawiony na rys. 4b rozkład klas ich wyniku. Użyta przez autora miara określa wynik projektu jako funkcję znormalizowanych miar zgodności kontraktowej, zgodności funkcjonalnej, jakości wyniku oraz klasy projektu,
przez co uwzględnia wpływ złożoności przedsięwzięcia informatycznego
na osiągane efekty12. Jak widać ponad połowa projektów (55,7%) znalazła się w dwóch najwyższych klasach oceny, co jest zjawiskiem pozytywnym. Średnia wartość tej miary wynosi 3,69 (w poszczególnych sfe12
W prowadzonych analizach wartość klasy wyniku projektu były obliczana według kilku formuł
przetwarzających wartość cech cząstkowych w poszczególnych zestawach danych, m.in. jako:
średnia arytmetyczna, pierwiastek iloczynu, odcięta część całkowita z pierwiastka iloczynu oraz
jako wskaźnik bazujący na indeksie typu ITbi. W związku z tym, że rozkłady klas wyniku projektów niezależnie od zastosowanego algorytmu były zbliżone, ze względu na ograniczone ramy
artykułu, prezentowany jest tylko jeden z nich, tj. rozkład oparty na średniej arytmetycznej.
rach działalności odpowiednio: „administracja” – 3,62, „edukacja” – 4,0
i „zdrowie” – 3,5), a wartość wskaźnika typu ITbi 0,615. Miary te są
wprawdzie także niższe niż w przypadku ogółu zgromadzonych w repozytorium autora przedsięwzięć informatycznych, ale i tak – szczególnie
na tle medialnych ocen efektów informatyzacji – są dobre. Dlatego ważne
są opinie respondentów, od których te oceny uzyskano o czynnikach,
które – ich zdaniem – przyczyniły się do sukcesu badanych przedsięwzięć. Informacje na ten temat zawiera następny punkt opracowania.
5. Krytyczne czynniki sukcesu badanych przedsięwzięć
Opracowując kwestionariusz ankietowy, który został następnie
użyty do zbierania materiału faktograficznego na temat czynników sukcesu, autor skorzystał z list takich czynników dostępnych w literaturze
przedmiotu13, z których wybrał piętnaście najczęstszych i uznanych za
najważniejsze (por. tab. 4). Przyjął bowiem założenie, że ankieterom łatwiej będzie pozyskiwać opinie metodą wyboru z listy możliwości, niż
drogą formułowania odpowiedzi. Kwestionariusz uzupełniono o możliwość dodawania czynników spoza listy, ale opcja ta była używana bardzo
13
W pierwszej kolejności były to wyniki badań Standish Group opublikowane w kolejnych wydaniach „Kronik Chaosu” (por. B. Czarnacka-Chrobot, Z najnowszych „Kronik Chaosu” Standish
Group, czyli czy uczymy się na błędach? W: J.K. Grabara, J.S. Nowak [Red.] Efektywność zastosowań systemów informatycznych. WNT, Warszawa 2004, s. 227-230), które następnie poszerzono
o czynniki najczęściej wskazywane w pracach innych autorów (dla obszaru projektów „publicznych” były to m.in. opracowania: D. Allen, T. Kern, M. Havenhand, ERP Critical Success Factors: an exploration of the contextual factors in public sector institutions. W: Proceedings of the
35th Hawaii International Conference on System Sciences, IEEE Computer Society 2002, rys. 1;
Z. Deželak, S. Sternad, S. Bobek, Comparative Analysis of E-Business Implementation Critical
Success Factors. W: Scientific Papers of University of Maribor, Organizacija, vol. 39, no. 3,
March 2006,, s. 171-173; J.L. Nielsen, Critical Success Factors for Implementing an ERP system
in a University Environment: A Case Study from the Australian HES. Faculty of Engineering and
Information Technology, Griffith University, June 2002; R. Plant, L. Willcocks, Critical Success
Factors in International ERP Implementations: A Case Research Approach. Working Paper Series
no 145. London School of Economics and Political Science, Department of Information Systems,
London May 2006, tab. 1; O.O. Ugwu, M.M. Kumaraswamy Critical…, op. cit. s. 234) i w powoływanych tam opracowaniach, a także wynikające z własnych doświadczeń i obserwacji autora.
rzadko (tylko 21 razy na 393 poprawnie wypełnione ankiety). Należy
zaznaczyć, że KCS nie tylko wybierano, ale także określano ich wagę
poprzez przypisanie im liczby porządkowej z przedziału 1-16, wyznaczającej ich pozycję na liście14 czynników. Jeżeli dany czynnik nie miał
znaczenia można go było pominąć.
W tab. 4 są zaprezentowane przetworzone dane na temat krytycznych czynników sukcesu dla badanych przedsięwzięć informatycznych.
W kolumnie 4 umieszczono informację o miejscach poszczególnych KCS
(pozwala to na porównanie z podobnymi listami opracowanymi przez
innych autorów; w tab. 4 pokazano w kolumnach 2 i 3 w celach porównawczych listy KCS opublikowane przez Standish Group). Natomiast w
kolumnie 5 jest podana waga poszczególnych KCS15, a w kolumnie 6
indeks oparty na wskaźniku porównawczym typu ITbi. Dodanie tego indeksu ma na celu zagwarantowanie porównywalności przedstawionych
wyników z podobnymi listami opracowywanymi na bazie badań, których
autorzy korzystali z innych skal ocen. Jest to zgodne – jak wskazano
wcześniej – z propozycją przedstawioną w 2004 roku przez Love i Iraniego dla prowadzących takie badania.
Analizując materiał zebrany w tab. 4 można wyciągnąć kilka istotnych wniosków odnoszących się do krytycznych czynników sukcesu
przedsięwzięć IT zrealizowanych w badanych instytucjach publicznych.
Po pierwsze, porównując kolumny 2 i 3 z kolumną 4 można zauważyć, że w ograniczonym zakresie są one zgodne z rezultatami uzyskanymi
przez Standish Group, publikowanymi w kolejnych „Kronikach Chaosu”.
14
Trzeba dodać, że określoną pozycję na liście mógł zajmować więcej niż jeden z czynników,
jeżeli były one zdaniem oceniającego równoważne, tj. więcej niż jednej pozycji można było przypisać taką samą liczbę.
15
Podana wartość jest średnią arytmetyczną ze znormalizowanych wg 6-punktowej skali typu
Likerta wag przypisanych poszczególnym KCS przez respondentów (gdzie „1” oznacza całkowity
brak wpływu danego KCS na wynik projektu, natomiast „6” wpływ najsilniejszy).
Tabela 4. Krytyczne czynniki sukcesu badanych przedsięwzięć informatycznych
Opisowe określenie krytycznego
czynnika sukcesu (KCS)16
Zaangażowanie przyszłego użytkownika
(użytkowników)
Wsparcie zarządu (kierownictwa, sponsora) organizacji (klienta)
miejsca KCS wg
„Kronik Chaosu”
Standish Group
20022000
2003
KCS projektów publicznych wg
badania własnego 2004-2007
miejsce
waga
indeks
2
1
5
4,43
0,738
1
2
9
3,98
0,664
Doświadczony kierownik projektu
3
3
0,699
4
4
6−7
2
4,20
Jasne cele biznesowe projektu
4,87
0,811
5
5
12
3,30
0,549
7*
6
1
5,00
0,833
6
7
4
4,48
0,746
8
8
13
3,18
0,530
9
9
6−7
4,20
0,699
3*
3*
3
4,85
0,809
brak
brak
10
3,87
0,645
brak
brak
8
4,18
0,697
brak
brak
14
2,57
0,429
brak
brak
11
3,79
0,631
brak
brak
15
2,39
0,399
---
---
16
1,16
0,194
Minimalizacja zakresu (skrócenie etapów
planowania, podział na podprojekty)
Sprawny proces ustalania wymagań (potrzeb, oczekiwań)
Zastosowanie standardów infrastruktury
(sprzętowej, programowej)
Praca zgodnie z formalną metodyką
(zarządzania i/lub realizacyjną)
Wiarygodne oszacowania parametrów
projektu (czasu, budżetu)
Wysoko wykwalifikowany i właściwe
dobrany zespół projektowy
Zespół projektowy skupiony wyłącznie
na projekcie (wydzielony strukturalnie i
w wymaganym wymiarze czasu)
Sprawna komunikacja w zespole i w
relacjach zespół otoczenie (komunikowanie się, dokumentowanie prac i udostępnianie ich wyników członkom zespołu)
Korzystanie z programów wspomagających procesy zarządzania i/lub realizacyjne
Ścisłe powiązanie celów przedsięwzięcia
ze strategią biznesową organizacji
(klienta)
Powiązanie celów przedsięwzięcia z
osobistymi celami członków zespołu
(motywowanie)
Inne
Źródło: opracowanie własne na podstawie pracy B. Czarnacka-Chrobot, Z najnowszych…, op. cit.,
s. 227-230 oraz wyników badań autora.
16
Znak * przy numerach miejsc oznacza częściową zgodność danego opisu z czynnikiem sukcesu
z pozycji o tym numerze, występującym w opracowaniach Standish Group. Por. B. CzarnackaChrobot, Z najnowszych…, op. cit., s. 227-230.
18
16
16
Miejsca wg średniej wagi wskazania
15
14
14
13
12
12
11
10
10
9
8
9
8
8
7
6
6
6
5
4
4
4
3
2
2
2
1
1
Wszystkie projekty
Projekty publiczne
KCS16
KCS15
KCS14
KCS13
KCS12
KCS11
KCS10
KCS9
KCS8
KCS7
KCS6
KCS5
KCS4
KCS3
KCS2
KCS1
0
Krytyczne czynniki sukcesu
Rysunek 5. Krytyczne czynniki sukcesu projektów publicznych na tle wszystkich projektów
Źródło: opracowanie własne na podstawie wyników badań.
Świadczy to o ich ograniczonej uniwersalności17. Należy przy tym dodać,
że zjawisko lokalności KCS, które potwierdzono niniejszymi badaniami
odnosi się nie tylko do przedsięwzięć IT prowadzonych w sferze publicznej. Widać to wyraźnie na rys. 5, na którym miejsca poszczególnych
KCS, określone na podstawie średniej wagi wskazania18 dla opisywanej
grupy projektów „publicznych”, zestawiono z danymi dla ogółu projektów, których charakterystyki zebrał autor. Najwyraźniej ograniczoną uniwersalność KCS w stosunku do informacji Standish Group (w tab. 4 różnica miejsc ≥ 5) można zaobserwować dla następujących czynników:
17
Tezę o ograniczonej uniwersalności krytycznych czynników sukcesu potwierdzają także raporty
z badań przeprowadzonych przez różne zespoły w kilkunastu krajach, które również wskazują, że
istotność, kolejność czy waga KCS są inne w gospodarkach wysoko rozwiniętych niż w rozwijających się, odmienne w krajach o różnych kulturach czy też w różnych typach przedsięwzięć (np.
projektach „klasycznych” i projektach e-biznesowych). Por. m.in. D. Allen, T. Kern,
M. Havenhand, ERP…, op. cit.; Z. Deželak, S. Sternad, S. Bobek, Comparative…, op. cit.;
R. Plant, L. Willcocks, Critical…, op. cit.; O.O. Ugwu, M.M. Kumaraswamy Critical…, op. cit.
18
Dla indeksu opartego na wskaźniku porównawczym typu ITbi kolejność KCS jest taka sama.
„wsparcie
zarządu”
(KCS2),
„minimalizacja
zakresu”
(KCS5),
„sprawny proces ustalania wymagań” (KCS6) oraz „praca zgodnie z
formalną metodyką” (KCS8). Natomiast za specyficzny dla projektów IT
realizowanych w instytucjach publicznych można uznać czynnik „zastosowanie standardów infrastruktury” (KCS7), gdyż w tej grupie – według
respondentów – jego istotność jest znacznie wyższa i zajmuje on 4 miejsce, podczas gdy dla ogółu zbadanych przedsięwzięć jest na miejscu 9
(por. rys. 5).
Po drugie, warto pokreślić, że badania przeprowadzone przez autora
wskazują na duże znaczenie KCS związanych ze zorientowanym na
efektywność IT podejściem do informatyzacji, gdyż czołową pozycję
zajmują (por. tab. 4 i rys. 5): „sprawny proces ustalania wymagań”
(KCS6, który jest na 1 miejscu w grupie projektów prowadzonych w instytucjach publicznych i jest to miejsce o jedną pozycję wyższe niż w
przypadku ogółu zbadanych przez autora przedsięwzięć oraz o 5-6 pozycji lepsze niż w „Kronikach Chaosu), „jasne cele biznesowe projektu”
(KCS4 – miejsce 2, wprawdzie o jedną pozycję niższe niż dla wszystkich
projektów, ale o 2 lokaty lepsze niż w badaniach Standish Group), a dodatkowo pojawiło się sporo wskazań na „ścisłe powiązanie celów przedsięwzięcia ze strategią biznesową organizacji (klienta)” (KCS14 zajmuje
miejsca 11).
Po trzecie, ważne jest także – zwłaszcza w kontekście tematyki
opracowania – zauważenie przez ankietowanych istotnej roli krytycznych
czynników sukcesu związanych z szeroko rozumianym zarządzaniem
opartym na wiedzy. W tym obszarze mieszczą się takie KCS jak (por. tab.
4 i rys. 5): „sprawny proces ustalania wymagań (potrzeb, oczekiwań)”
(KCS6 jest na 1 miejscu), „wysoko wykwalifikowany i właściwe dobrany
zespół projektowy” (KCS10 zajmuje miejsce 3), „doświadczony kierownik projektu” (KCS3 znalazł się na 6-7 miejscu), „wiarygodne oszacowania parametrów projektu (czasu, budżetu”) (KCS9 zajmuje miejsce 6-7)
oraz „sprawna komunikacja w zespole i w relacjach zespół otoczenie
(komunikowanie się, dokumentowanie prac i udostępnianie ich wyników
wszystkim członkom zespołu)” (KCS12 jest na 8 miejscu).
Po czwarte, pewnym zaskoczeniem – przynajmniej dla autora – jest
stosunkowo mała rola KCS związanych z metodycznym podejściem do
zarządzania przedsięwzięciami IT i jego wspomaganiem odpowiednim
oprogramowaniem, takich jak: „praca zgodnie z formalną metodyką (zarządzania i/lub realizacyjną)” (KCS8 zajmuje odległe 13 miejsce) oraz
„korzystanie z programów wspomagających procesy zarządzania i/lub
realizacyjne” (KCS13 jest jeszcze dalej, bo na 14 miejscu). Wydaje się,
że pewnym wytłumaczeniem jest dość znaczny udział w analizowanej
próbie przedsięwzięć małych i średnich (projekty klas 1÷3 stanowiły 59%
w grupie „publiczne”; por. rys. 1), gdzie nie są one newralgiczne.
Wreszcie po piąte, znacznie mniejsze znaczenie – istotnych w warunkach amerykańskich (1-2 miejsca według Standish Group, potwierdzane przez wcześniej powoływane badania z innych krajów) – takich
czynników jak: „wsparcie zarządu (kierownictwa, sponsora) organizacji
(klienta)” (KCS2 zajmuje miejsce 9) oraz „zaangażowanie przyszłego
użytkownika (użytkowników)” (KCS1 jest na 5 miejscu), pozwala sformułować dwie opinie:
1. wielu zarządzających polskimi instytucjami publicznymi – mimo
deklaracji oraz opracowywanych coraz to nowych inicjatyw i programów – nie przywiązuje w dalszym ciągu należytej wagi do informa-
tyzacji, jako drogi poprawy efektywności, sprawności czy skuteczności ich działania,
2. duża część przyszłych użytkowników sądzi, że od ich zaangażowania
zależy niewiele, gdyż większość decyzji projektowych jest podejmowana „poza nimi”, co w perspektywie utrudnia wdrożenie partycypacyjnych metod prowadzenia przedsięwzięć IT (np. opartych na istotnej roli tzw. użytkowników kluczowych i/lub wiodących).
6. Zamiast posumowania
Na zakończenie tej syntetycznej prezentacji należy podkreślić, że
badania są kontynuowane, a ich wyniki będą sukcesywnie publikowane.
Autor ma nadzieję, że gromadząc i upowszechniając wiedzę o krytycznych czynnikach sukcesu przedsięwzięć informatycznych prowadzonych
w sferze zarządzania publicznego, przyczyni się do poprawy efektywności procesów realizacyjnych i zarządzania, a pośrednio także produktów
i/lub usług, które są ich celem.
Bibliografia
Allen D., Kern T., Havenhand M., ERP Critical Success Factors: an exploration
of the contextual factors in public sector institutions. W: Proceedings of the 35th
Hawaii International Conference on System Sciences, IEEE Computer Society
2002, csdl2.computer.org/comp/proceedings/hicss/2002/1435/08/14350227.pdf,
5-08-2007.
Czarnacka-Chrobot B., Z najnowszych „Kronik Chaosu” Standish Group, czyli
czy uczymy się na błędach? W: J.K. Grabara, J.S. Nowak [Red.] Efektywność
zastosowań systemów informatycznych. WNT, Warszawa 2004, s. 209-238.
Deželak Z., Sternad S., Bobek S., Comparative Analysis of E-Business Implementation Critical Success Factors. W: Scientific Papers of University of Maribor, Organizacija, vol. 39, no. 3, March 2006, s. 169-175, organizacija.fov.unimb.si/index.php/organizacija/article/viewFile/74/73, 5-08-2007.
Dudycz H., Dyczkowski M., Efektywność przedsięwzięć informatycznych. Podstawy metodyczne pomiaru i przykłady zastosowań. Wydawnictwo Akademii
Ekonomicznej, Wrocław 2006.
Dyczkowski M., Czynniki sukcesu przedsięwzięć informatycznych. Wstępne
wyniki badania ankietowego. W: Ryzyko Przedsięwzięć Informatycznych
RPI’2005. Politechnika Szczecińska, Wydział Informatyki, Szczecin 2005, s. 4554.
Dyczkowski M., Ocena przebiegu i efektów przedsięwzięć informatycznych.
Wybrane wyniki badań porównawczych z lat 2004-2007. W: T. Porębska-Miąc,
H. Sroka [Red.] Systemy wspomagania organizacji SWO’2007. Prace Naukowe
Akademii Ekonomicznej, Katowice 2007 (w druku).
Dyczkowski M., Wyniki badania kluczowych czynników sukcesu przedsięwzięć
informatycznych. W: A. Nowicki [Red.] Informatyka ekonomiczna zeszyt nr 9.
Prace Naukowe Akademii Ekonomicznej, Wrocław 2006 nr 1144, s. 125-139.
Nielsen J.L., Critical Success Factors for Implementing an ERP system in a
University Environment: A Case Study from the Australian HES. Faculty of Engineering and Information Technology, Griffith University, June 2002, ecommerce.cit.gu.edu.au/ict/docs/theses/JNielsen_Dissertation_ERP.pdf, 5-08-2007.
Plant R., Willcocks L., Critical Success Factors in International ERP Implementations: A Case Research Approach. Working Paper Series no 145. London
School of Economics and Political Science, Department of Information Systems,
London May 2006, is2.lse.ac.uk/wp/pdf/WP145.PDF, 5-08-2007.
Ugwu O.O., Kumaraswamy M.M., Critical Success Factors for Construction
ICT Projects – Some Empirical Evidence and Lessons for Emerging Economics.
“ITCon”, vol. 12 (2007), s. 231-249, www.itcon.org/data/works/att/2007_16.
content.05475.pdf, 5-08-2007.
Summary
The paper presents results of a survey on critical success factors
(CFS) in IT projects established in public sector institutions (administration, education and health). The introductory part of the article contains
information on the most important characteristics of analysed IT projects
(budget, timeframe and scope). An assessment of the results of the project
(budget and duration variance, initial and final concurrence of results obtained and user’s satisfaction level) is presented subsequently. The main
part of the paper introduces data on CFS in various analytical perspec-
tives, including comparison to the „CHAOS Chronicles” of the Standish
Group. It has been proved that the knowledge about CFS is important to
improve IT project’s efficiency.