Lublin, 18.05.2015 r. Dr hab. Zbigniew Pastuszak, prof. nadzw

UNIWERSYTET MARII CURIE-SKŁODOWSKIEJ W LUBLINIE
Wydział Ekonomiczny
Lublin, 18.05.2015 r.
Dr hab. Zbigniew Pastuszak, prof. nadzw.
Uniwersytet Marii Curie-Skłodowskiej w Lublinie
Wydział Ekonomiczny
Instytut Zarządzania
Zakład Systemów Informacyjnych Zarządzania
Recenzja rozprawy doktorskiej mgr Agnieszki Janas
pt. Komputerowe wspomaganie doskonalenia baz wiedzy systemów konwersacyjnych
w oparciu o analizę treści rozmów biznesowych
napisanej pod kierunkiem prof. dr. hab. Jerzego Gołuchowskiego
1. Podstawa prawna
Podstawą przygotowania recenzji jest pismo Dziekana Wydziału Informatyki i Komunikacji Uniwersytetu
Ekonomicznego w Katowicach z dn. 31 marca 2015 r. i dołączona do pisma monografia o przywołanym
tytule.
Punkt odniesienia w opracowanej recenzji stanowi artykuł 13. (ust. 1, 2) Ustawy z dnia 14 marca 2003 r.
o stopniach naukowych i tytule naukowym oraz o stopniach i tytule w zakresie sztuki (Dz. U. Nr 65 z 2003 r.,
poz. 595, z późn. zm.).
2. Ocena problematyki rozpatrywanej w pracy
Treść recenzowanej rozprawy lokuje się w niezmiernie istotnym z punktu widzenia rozwoju społeczeństwa
informacyjnego w Polsce obszarze interakcji: człowiek-komputer, i wpisuje się w rozwijane od
kilkudziesięciu lat prace badawcze zmierzające do lepszego zrozumienia problemów występujących
w procesach współpracy użytkowników i systemów informatycznych. W odniesieniu do realnych procesów
gospodarczych można stwierdzić, że zaprezentowane w rozprawie rozważania stanowią nowe spojrzenie
na rozwój systemów zarządzania relacjami z klientem (CRM), przyczyniając się do automatyzacji procesów
pozyskiwania, przetwarzania i generowania wiedzy o tych relacjach. Jest to zagadnienie niezmiernie istotne
dla współczesnych przedsiębiorstw, zainteresowanych pozyskiwaniem wiedzy o potrzebach klientów,
pochodzącej z różnorodnych źródeł, i umożliwiającej optymalizację kosztów wykorzystania technologii
informacyjnych w procesach zarządzania. Fakt odniesienia się Autorki do tej tematyki wpisuje prowadzone
rozważania w obszar zainteresowania nauk ekonomicznych, a skoncentrowanie się na analizie
mikroekonomicznej relacji występujących w systemach konwersacyjnych (SK) w układzie:
przedsiębiorstwo-klient oraz wykorzystanie w rozprawie dedukcji, jako podstawowego narzędzia
pl. Marii Curie-Skłodowskiej 5, 20-031 Lublin, www.umcs.lublin.pl
tel: +48 81 537 54 62, fax: +48 81 537 54 62
e-mail: [email protected]
badawczego, pozwala na stwierdzenie, że Autorka posługuje się rozwiązaniami typowymi dla dyscypliny
nauki o zarządzaniu. W efekcie praca o takiej tematyce może być przedmiotem przewodu doktorskiego
w jednostce naukowej posiadającej uprawnienia naukowe w dziedzinie nauk ekonomicznych, w dyscyplinie
nauki o zarządzaniu.
Tworzenie i wykorzystanie systemów konwersacyjnych nie jest zagadnieniem nowym. Różnorodne
koncepcje zmierzające do antropomorfizacji systemów informatycznych, w szczególności nawiązujące do
schematu komunikacji Romana Osipowicza Jakobsona i odwołujące się do właściwego zdefiniowania
i utrzymania interakcji nadawcy i odbiorcy, w tym szczególnym przypadku, gdy jedną ze stron jest system
komputerowy, rozwijane są od lat 60. XX wieku. Udało się w tym czasie stworzyć różnorodne rozwiązania
eliminujące szereg problemów komunikacyjnych związanych z aktywnością czynnika ludzkiego i brakami
czynnika informatycznego, ale dynamiczne zmiany ich otoczenia, oddziaływanie środowiska
zewnętrznego, i ciągły rozwój marketingu relacyjnego powodują, że tematyka relacji człowiek-komputer
i rozwoju systemów konwersacyjnych, jest ciągle aktualne i stosunkowo nowa. Tym bardziej, że relacje te
odwołują się do ciągle ewoluujących narzędzi, wymagających tworzenia coraz nowszych baz wiedzy (BW).
Umiejętność zasilania baz wiedzy systemów konwersacyjnych w nową wiedzę, doskonalenia dialogu,
poprawy trafności odpowiedzi, synchronizacji kontaktów na różnych etapach obsługi przedi potransakcyjnej klienta, są zagadnieniem ciągle nowym i poruszanym w polskiej literaturze stosunkowo
rzadko. Skoncentrowanie się Autorki na zagadnieniu komputerowego wspomagania doskonalenia baz
wiedzy systemów konwersacyjnych w oparciu o analizę treści rozmów biznesowych jest potwierdzeniem
umiejętności wyboru aktualnej tematyki badawczej, posiadania dziedzinowej wiedzy umożliwiającej
stworzenie autorskiej metody, rozwijającej wybrany obszar badawczy, oraz umiejętności prowadzenia
własnej pracy badawczej nad wybraną tematyką. Takie podejście spełnia wymogi stawiane autorom
rozpraw doktorskich przez Ustawę i umożliwia realizację dalszych etapów przewodu doktorskiego.
3. Uwagi szczegółowe. Ocena merytoryczna zawartości rozprawy
Zanim przedstawię szczegółowe uwagi merytoryczne do recenzowanej dysertacji, skoncentruję się na kilku
drobnych uwagach o charakterze warsztatowym. Bardzo rzadko recenzenci otrzymują do recenzji prace
o tak wyjątkowo wysokiej jakości merytorycznej, przy jednoczesnym zachowaniu wysokiego poziomu
jakości składu tekstu, stylistyki, interpunkcji i doboru narzędzi wizualizacyjnych. Co prawda Doktorantka
nie ustrzegła się drobnych błędów interpunkcyjnych i usterek w procesie składu tekstu – jest to szczególnie
widoczne w sekcji wykazu literatury, gdzie nie wyjustowano tekstu, a część pozycji została umieszczona
bez zachowania kolejności alfabetycznej (np. s. 175: Bień – Bieniek – Bień – Bledose – Biernacki, itd.), ale
w trakcie czytania pracy trudno doszukać się – bardzo popularnych ostatnio w pracach doktorskich –
potocznych i niezrozumiałych sformułowań, błędów składu i korekty technicznej, błędów interpunkcyjnych
i in. Tak wysoka jakość warsztatowa pracy upoważnia do stwierdzenia, że zarówno Autorka pracy, jak i jej
Promotor bardzo rzetelnie podeszli do przygotowania rozprawy zarówno w sensie technicznym, jak
i merytorycznym, o czym piszę w dalszej części recenzji.
Przechodząc do analizy merytorycznej treści poszczególnych rozdziałów należy stwierdzić, że praca jest
spójna, ciąg wywodów Doktorantki jest logiczny, a formułowane wnioski cząstkowe bazują na
prezentowanych rozważaniach i potwierdzają sprawność Autorki w posługiwaniu się zastosowanymi
narzędziami i metodami badawczymi. Autorka posługuje się także sprawnie wybranymi metodami prostej
analizy efektywności procesów, a zaprezentowana autorska metodyka doskonalenia baz wiedzy systemów
konwersacyjnych w oparciu o analizę treści rozmów biznesowych, zawiera klarowny opis procedury
postępowania, bez istotnych zastrzeżeń metodologicznych. Dodatkowo Autorka stworzyła własną
koncepcję pomiaru i oceny jakości baz wiedzy systemu konwersacyjnego na podstawie analizy treści
2
rozmów, opierając się na posiadanej wiedzy ekonomicznej oraz umiejętnie wykorzystując dostępne metody
agregowania i analizy danych źródłowych.
Doktorantka, odwołując się do dorobku różnorodnych autorów zagranicznych i krajowych ulokowała
tematykę swojej pracy na styku kilku obszarów badań, w tym: zwiększenia trafności odpowiedzi
udzielanych przez systemy konwersacyjne i doskonalenia zarządzania dialogiem, modelowania dialogu
w celu zwiększenia wydajności prowadzonych przez SK rozmów, tworzenia narzędzi pozwalających na
sprawniejsze budowanie SK oraz tworzenia baz wiedzy SK, analizy dzienników konwersacji i rozwoju
narzędzi wspierających proces doskonalenia BW SK w oparciu o analizę treści rozmów. Wykazała się tym
samym sprawnością w prowadzeniu analizy i syntezy literatury przedmiotu, choć w moim przekonaniu
analizę tę należałoby wzbogacić przynajmniej o próbę odwołania do dorobku np. Jamesa Allena
z Department of Computer Science, University of Rochester, NY (wskaźnik cytowań wg Harzing’s Publish
or Perish na podstawie Google Scholar – blisko 90 000), Erica Horvitza z Adaptive Systems and Interaction
Microsoft Research (wskaźnik cytowań ponad 31 000), czy Stephanie Seneff ze Spoken Language
Systems Group przy Massachussets Institute of Technology (wskaźnik cytowań blisko 9 000), których
prace poświęcone były m.in. architekturze systemów konwersacyjnych i baz danych SK, niepewności,
użyteczności i błędom występującym w bazach danych SK, czy też np. narzędziom rozwoju architektury
systemów konwersacyjnych, w tym GALAXY-II, opartemu na architekturze klient-server, umożliwiającej
wykorzystanie dialogów języka mówionego do rozwoju autorskich aplikacji systemów konwersacyjnych.
Autorka postawiła następującą tezę rozprawy: „Analiza treści rozmów biznesowych (przebiegu
konwersacji) z wykorzystaniem informatycznych metod (komputera) dostarcza wartościowej wiedzy,
w oparciu o którą możliwe jest systematyczne doskonalenie BW SK” (s. 8). Do merytorycznego brzmienia
tej tezy odniosę się w końcowej części recenzji, natomiast obecnie stwierdzam, że teza ta została przez
Doktorantkę dowiedziona w przeprowadzonych badaniach, analizach i prezentacjach. Autorka osiągnęła
także założone cele, w tym:
a) cel poznawczy, jakim było w szczególności rozpoznanie anomalii w bazach wiedzy SK, problemów
projektowania, tworzenia, aktualizowania i rozbudowywania BW SK oraz ustalenie metod i narzędzi
wykorzystywanych w doskonaleniu BW SK,
b) cel metodologiczny – opracowanie metod doskonalenia BW SK na podstawie analizy treści rozmów
biznesowych,
c) oraz cel utylitarny, tj. przedstawienie prototypu systemu wspierającego proces doskonalenia BW SK
na podstawie analizy treści rozmów biznesowych, implementującego zaproponowane metody
doskonalenia BW SK.
Analizując zawartość rozprawy należy stwierdzić, że zarówno użyte metody badań, wykorzystany
w procesie badawczym materiał źródłowy, badania empiryczne treści rozmów 46. SK dostępnych na
polskich stronach WWW oraz 3. baz zawierających treści rozmów pozyskanych od rozmówców
utworzonego SK SAGA, a także skonstruowany na podstawie proponowanych w pracy metod system
ZUZA, wspomagający doskonalenie BW SK zapisanych w języku AIML, świadczą o sprawności Autorki
w posługiwaniu się dostępnymi źródłami wiedzy oraz umiejętnością jej wykorzystania do realizacji własnych
celów badawczych. Świadczą one o osiągnięciu przez Doktorantkę podstawowej samodzielności
naukowej; są spójne ze sobą, i przyczyniają się realizacji założonych celów pracy oraz dostarczają
dowodów naukowych na poparcie postawionej tezy pracy.
Ewidentnym przykładem własnego wkładu Autorki do rozwoju nauki o zarządzaniu jest zaproponowana
procedura doskonalenia BW, obejmująca: przygotowanie bazy wiedzy, wstępną analizę bazy, jej
doskonalenie, uruchomienie systemu z udoskonaloną bazą wiedzy oraz ocenę postępów prac
3
udoskonalających i sformułowanie założeń metodycznych przyczyniających się do doskonalenia bazy
wiedzy obejmujących m.in. analizę lingwistyczną, ocenę wiarygodności pobranych danych, metody
wykrywania anomalii w BW SK, eliminacji konfliktów między kategoriami, itd. Dodatkowym walorem
naukowym rozprawy jest także zaproponowanie przez Autorkę sposobu oceny jakości bazy wiedzy
systemu konwersacyjnego z wykorzystaniem takich parametrów jak: odsetek udzielonych odpowiedzi,
odsetek używanych reguł, liczba nieadekwatnych reakcji, czas trwania rozmowy i liczba przeprowadzonych
rozmów, skuteczność systemu konwersacyjnego mierzona odsetkiem adekwatnych odpowiedzi, czy liczba
powtórzeń reakcji systemu konwersacyjnego i wypowiedzi rozmówców. Autorka dokonała dodatkowo
weryfikacji użyteczności zaproponowanych metod doskonalenia baz wiedzy systemów konwersacyjnych
opartego na analizie treści rozmów biznesowych, umiejętnie wyciągnęła wnioski z tej analizy,
zaprezentowała logiczny wywód teoretyczny oraz stworzyła system komputerowy wspomagający
doskonalenie BW SK, co tworzy z dysertacji opracowanie kompletne w sensie metodycznym i utylitarnym.
Wskazała także obszary do prowadzenia dalszych badań (further research), co świadczy o doskonałej
znajomości poruszanej tematyki i umiejętności identyfikacji możliwości rozwoju zaproponowanych
rozwiązań.
Recenzowana rozprawa (o objętości 206 stron zasadniczego tekstu wraz z wykazem literatury, spisami
tabel i rysunków oraz załącznikiem w postaci szablonu projektowego systemu konwersacyjnego) ma
przejrzystą i poprawną strukturę. Otwiera ją rozbudowany wstęp do problematyki badawczej (8 stron),
w którym zamieszczono m.in. uzasadnienie podjęcia tematu, postawiono problem badawczy, określono
cele i tezę dysertacji, metody i narzędzia badawcze, a także scharakteryzowano strukturę pracy. Treść
rozprawy podzielono na 4 rozdziały, z których 2 mają charakter teoretyczny (rozdziały 1 i 2 – łącznie 90
stron), a rozdziały 3 i 4 przejawiają charakter praktyczny, odwołują się do podmiotu badań i obejmują
najistotniejszą część pracy, jaką jest prezentacja metod doskonalenia baz wiedzy systemów
konwersacyjnych oraz weryfikacji użyteczności zaproponowanych metod doskonalenia baz wiedzy
systemów konwersacyjnych opartego na analizie treści rozmów biznesowych.
Konkludując, Doktorantka wie, gdzie leży problem badawczy; wie, co zamierza badać; wie także, jak to
należy zrobić. Potwierdzają to zarówno sposób prowadzenia analizy, ciąg logicznych wywodów Autorki,
sposób analizy wyników przeprowadzonych badań oraz spójność koncepcji zaproponowanej metody
doskonalenia baz wiedzy systemów konwersacyjnych opartego na analizie treści rozmów biznesowych.
Analiza treści rozprawy nasuwa kilka pytań o charakterze zarówno ogólnym, jak i szczegółowym:
1) Jaka jest efektywność ekonomiczna systemu konwersacyjnego opartego na analizie treści rozmów
biznesowych; w jaki sposób, i przy wykorzystaniu wskaźników ekonomicznych (w kategorii kosztów
i przychodów), można oszacować sens stworzenia, wdrożenia, utrzymania i rozwoju takiego systemu
w praktyce działalności gospodarczej przedsiębiorstwa?
2) Przedstawione założenia metodyki doskonalenia baz wiedzy w oparciu o analizę treści rozmów
biznesowych (procedura doskonalenia baz wiedzy – rys. 7, s. 94), odwołują się do algorytmu
weryfikacji struktury bazy wiedzy, zapewniającego poprawę jakości tej bazy. Autorka ad hoc przyjmuje
ustalaną w algorytmie hierarchię postępowania, tj. przejście od usuwania błędów w kodzie poprzez
usunięcie reguł nadmiarowych i sprzecznych, następnie usunięcie zapętleń, po utworzenie
brakujących reguł. Czy przestawienie kolejności działań związanych z eliminacją reguł nadmiarowych,
reguł sprzecznych i zapętleń może mieć wpływ na końcowy wynik weryfikacji struktury bazy wiedzy
w aspekcie poprawy jej jakości?
3) O ile część parametrów zaproponowanych do oceny jakości BW SK jest stosunkowo łatwa do
określenia, o tyle część z nich np. liczba powtórzeń reakcji systemu konwersacyjnego i wypowiedzi
rozmówców – jest relatywnie trudna w pomiarze z powodu np. dużej liczby kombinacji możliwych
4
wypowiedzi w trakcie konwersacji użytkownika i systemu konwersacyjnego. Czy, a jeśli tak, to w jaki
sposób i ew. z wykorzystaniem jakich narzędzi, można zautomatyzować pomiar parametrów
określających jakość BW SK?
4) Autorka, kończąc prezentację wniosków 1-5 w podrozdziale 4.5 (ss. 167-168) formułuje konkluzję, że:
”Komputerowo wspomagana analiza treści rozmów biznesowych wspiera proces doskonalenia BW
SK”. Czy stwierdzenie to, stanowiące jednocześnie dowód postawionej w pracy tezy nie jest
truizmem? Czy istnieją argumenty, które mógłby przeczyć takiemu stwierdzeniu; czy można podać
argumenty przemawiające za jego przeciwieństwem, tj., że: ”komputerowo wspomagana analiza treści
rozmów nie wspiera procesu doskonalenia BW SK”?
4. Wniosek końcowy
Rozprawa doktorska powinna być potwierdzeniem dostrzegania przez Autorkę problemu badawczego
i umiejętności jego rozwiązania. Autorka taką umiejętność posiada. Zaproponowała autorską metodę
komputerowego wspomagania doskonalenia baz wiedzy systemów konwersacyjnych w oparciu o analizę
treści rozmów biznesowych oraz przeprowadziła wiarygodne, poprawne metodycznie analizy, prowadzące
do wniosku końcowego, potwierdzającego przyjętą tezę badawczą. Konkludując:

praca pod względem metodycznym została napisana w sposób poprawny,

treść dysertacji świadczy o istotnym poziomie wiedzy Autorki w zakresie analizy i badania
wybranego obszaru interakcji człowiek-komputer i funkcjonowania komputerowych systemów
konwersacyjnych oraz o dobrej znajomości literatury przedmiotu, na którą Autorka się powołuje,

dysertacja zawiera elementy oryginalne, będące wkładem Doktorantki w rozwój wiedzy na temat
budowy i doskonalenia baz wiedzy systemów konwersacyjnych znajdujących zastosowanie
w działalności organizacji gospodarczych, w tym również metod pomiaru jakości baz wiedzy
i tworzenia narzędzi komputerowych wspomagających doskonalenie jakości tych baz.
Uwzględniając powyższe uwagi uznaję, że recenzowana rozprawa doktorska mgr Agnieszki Janas spełnia
wymogi stawiane rozprawom doktorskim w obowiązującej Ustawie o tytule naukowym i stopniach
naukowych z dnia 14 marca 2003 r.; artykuł 13; ustępy 1-2 (DZ.U. Nr 65/2003 r., poz.595, z późn. zm.), tj.
w szczególności stanowi oryginalne rozwiązanie problemu naukowego, wykazuje ogólną wiedzę
teoretyczną Kandydatki w dyscyplinie nauki o zarządzaniu oraz umiejętność samodzielnego prowadzenia
pracy naukowej. Dlatego rekomenduję Wysokiej Radzie Wydziału Informatyki i Komunikacji Uniwersytetu
Ekonomicznego w Katowicach przedstawienie rozprawy do publicznej obrony.
5