Analiza wielokryterialna wiedzy reprezentowanej ontologicznie

Transkrypt

Analiza wielokryterialna wiedzy reprezentowanej
ontologicznie
Zastosowanie metod analizy semantycznej do zwiększenia
efektywności wykorzystania gridu
Katarzyna Wasielewska-Michniewska
Studia Doktoranckie IBS PAN
Techniki informacyjne - teoria i zastosowania
Zakres i cel pracy
Zadanie badawcze
Zaproponowanie metod wspomagających użytkownika przy
efektywnym wykorzystywaniu zasobów gridu z zastosowanie
agentów programowych, ontologicznej reprezentacji wiedzy oraz
wielokryterialnej oceny przy podejmowaniu decyzji.
Cele badawcze
1 Opracowanie metody reprezentacji wiedzy dziedzinowej
opartej na ontologii.
2 Zastosowanie analizy wielokryterialnej do wsparcia
użytkownika przy definiowaniu zadania oraz w określaniu
ograniczeń dotyczących wymaganego zasobu.
3 Wsparcie użytkownika przy wyborze optymalnej oferty
(kontraktu) określającej warunki wykonania zadania.
Motywacja
Grid jako narzędzie do rozwiązywania problemów
obliczeniowych dużej skali
Problemy z wykorzystaniem udostępnionych zasobów:
luka w komunikacji pomiędzy twórcami narzędzi a
użytkownikami
ciągłe wykorzystywanie jednej metody / algorytmu / biblioteki
do rozwiązania danego problemu
Integracja gridu z biznesem
Zastosowanie ontologii oraz agentów programowych w celu
dostarczenia inteligentnej infrastruktury
Wsparcie użytkownika o małej wiedzy technicznej w jego
współdziałaniu z gridem - jak wybrać odpowiednie narzędzie
do rozwiązania problemu?
Mechanizmy integrujące z warstwą ekonomiczną
Kontekst
Agents in Grid – inteligentne zarządzanie zasobami
udostępnianymi w gridzie z wykorzystaniem agentów
programowych oraz semantycznego przetwarzania danych.
Scenariusz: wyszukiwanie zasobu do wykonania zadania
Założenia:
grid jako środowisko otwarte, do którego może się przyłączyć
dowolny zasób,
wszyscy “użytkownicy” oraz udostępnione zasoby
reprezentowane są przez agenty programowe,
agenty działają w zespołach reprezentowanych przez liderów,
użytkownik ma do wykonania zadanie obliczeniowe, do
którego chce wykorzystać zasób dostępny na gridzie,
użytkownik ma wiedzę dotyczącą problemu oraz posiada
ogólną wiedzę na temat metody, natomiast nie jest pewien,
które narzędzie oraz konfiguracja zasobu będzie optymalna.
Kontekst
Założenia:
dowolny zasób,
Kontekst
Założenia:
dowolny zasób,
Kontekst
Założenia:
dowolny zasób,
Kontekst
Założenia:
dowolny zasób,
Przykładowy scenariusz
Krok 1
Użytkownik szuka zasobu o wskazanej konfiguracji (np. dostępna
pamięć większa niż 1024MB) do rozwiązania zadania z jego
dziedziny (np. znalezienie najmniejszej wartości własnej dla
macierzy symetrycznej).
użytkownik definiuje problem / własności danych
/konfigurację zasobu zgodnie ze swoim stanem wiedzy (różny
poziom szczegółowości)
wielokryterialna ocena “poprawności” wymagań użytkownika
Krok 2
Użytkownik chce określić warunki współpracy z dostawcą zasobu.
wielokryterialna ocena ofert kontraktów otrzymanych w
wyniku negocjacji
Wspomaganie użytkownika w ramach AiG I
Wyszukiwanie zasobu do wykonania zadania
1
Użytkownik wprowadza wymagania dotyczące zasobu oraz
zadania.
2
Agent użytkownika przeszukuje repozytorium z wiedzą
ekspercką i wybiera pasujące opinie eksperckie (analiza
wielokryterialna).
Bazując na opiniach eksperckich można wyróźnić trzy
sytuacje:
3
1
2
3
4
użytkownik prawidłowo i w pełni zdefiniował zadanie i
konfigurację zasobów (bez zmian)
można precyzyjniej określić metodę rozwiązania i/lub
optymalną konfigurację zasobów (rozszerzenie/modyfikacja)
wiedza ekspercka wskazuje na to, że należałoby zastosować
inną metodę i/lub inaczej skonfigurować zasoby (wskazanie
alternatyw)
Użytkownik akceptuje lub odrzuca zmodyfikowane wymagania.
Wspomaganie użytkownika w ramach AiG II
Wyszukiwanie zasobu do wykonania zadania
5
Agent użytkownika odpytuje system, o zarejestrowane zespoły,
które posiadają zasób o wskazanej konfiguracji.
6
Użytkownik wprowadza wymagania dotyczące kontraktu.
7
Agent użytkownika przystępuje do negocjacji z wybranymi
liderami zespołów.
8
Agent użytkownika wybiera optymalną ofertę kontraktu
(analiza wielokryterialna).
9
Następuje etap przesłania i wykonania zadania.
Wiedza ekspercka
Ontologia
Formalna, jawna specyfikacja współdzielonej konceptualizacji.
Ontologię specyfikuje się używając następujących konstruktów:
pojęcia opisujące elementy dziedziny,
własności opisujące cechy poszczególnych pojęć,
ograniczenia nałożone na wartości, jakie mogą przyjmować
cechy danego pojęcia,
związki miedzy pojęciami i aksjomaty (np. używając
aksjonamtu subclass można wskazać, że klasa
sparseSymmetricMatrix jest podklasą klasy SymmetricMatrix).
Ontologia dziedzinowa I
Podstawowe pojęcia - model koncepcyjny
Domain - identyfikuje dziedzinę wiedzy
Problem - hierarchia problemów
Ontologia dziedzinowa II
Algorithm - hierarchia algorytmów / metod, które można
wykorzystać do rozwiązania problemów
Data Element - typ danych, które stanowią wejście dla
algorytmów
Data Property - hierarchia własności danych wejściowych;
dla dziedziny obliczeniowej algebry liniowej własności są
podklasami Matrix Property lub Matrix Element Property
Domain Expert - eksperci (ludzi bądź systemy), którzy
wprowadzają do systemu opinie (rekomendacje) w ramach
przypisanych do nich dziedzin
Job Profile - profil zadania stanowiący powiązanie instancji
klas Problem, Algorithm, Data Element, Expert Opinion
Expert Opinion - opinie eksperckie wiążące instancje klasy
Domain Expert oraz Grid Entity
Ontologia dziedzinowa III
Testowe zastosowanie dla dziedziny: obliczeniowa algebra liniowa
W ontologii OWL można wyróźnić:
T-Box (terminologia - syntaktyka) – model koncepcyjny tj.
aksjomaty definiujące i opisujące pojęcia
A-Box (asercje - semantyka) – zawiera asercje dotyczące
instancji
A-Box + T-Box = baza wiedzy
Ontologia dziedzinowa IV
Wsparcie przy wyborze zasobu I
Definiowanie wstępnych wymagań
Profil zadania – ograniczenia na kombinację problemu, algorytmu,
oraz własności danych wejściowych, ew. konfiguracji zasobu.
Kluczowy element przy wyszukiwaniu opinii eksperckiej.
Opinie ekspertów powinny zostać zagregowane i skonfrontowane z
tym co określił użytkownik. Można wyróżnić dwie sytuacje:
1
użytkownik niedookreślił “tego co chce zrobić”
2
użytkownik zaproponował sformułowanie zagadnienia, które
nie jest optymalne
Wsparcie przy wyborze zasobu II
Wsparcie przy wyborze zasobu III
Opinie eksperckie
Opinie eksperckie wyrażone są semantycznie co pozwala na ich
reprezentację w postaci drzewa.
< o w l : N a m e d I n d i v i d u a l rdf:about = " AiGExpInst ;
eigenvalueJobProfile ">
< rdf:type rdf:resource = " AiGExpOnto ; JobProfile " / >
< A i G E x p O n t o : f o r P r o b l e m rdf:resource = " AiGExpInst ;
smallestEigenvalueProblem "/>
< A i G E x p O n t o : f o r M a t r i x rdf:resource = " AiGExpInst ;
sparseSymmetricMatrix "/>
< A i G E x p O n t o : h a s A l g o r i t h m rdf:resource = " AiGExpInst ;
eigenSolverJacobiMethod "/>
< A i G E x p O n t o : h a s e x p e r t O p i n i o n rdf:resource = " AiGExpInst ;
Opinion1ForEigenvalueProblem "/>
</ ow l : N a m e d I n d i v i d u a l >
< o w l : N a m e d I n d i v i d u a l rdf:about = " AiGExpInst ;
Opinion1ForEigenvalueProblem ">
< rdf:type rdf:resource = " AiGExpOnto ; ExpertOpinion " / >
< A i G E x p O n t o : h a s E x p e r t rdf:resource = " AiGExpInst ; HPCExpert1 " / >
Wsparcie przy wyborze zasobu IV
< A i G E x p O n t o : h a s R e c o m m e n d e d R e s o u r c e rdf:resource = " AiGExpInst ;
c o mp u t i n g E l e m en t " / >
< A i G E x p O n t o : f o r J o b P r o f i l e rdf:resource = " AiGExpInst ;
eigenvalueJobProfile "/>
</ o w l : N a m e d I n d i v i d u a l >
< o w l : N a m e d I n d i v i d u a l rdf:about = " AiGExpInst ; c o m p u ti n g E l e m e n t "
>
< rdf:type rdf:resource = " AiGExpInst ; D e f i n e d C o m p E l e m e n t " / >
</ o w l : N a m e d I n d i v i d u a l >
Wsparcie przy wyborze zasobu V
Wsparcie przy wyborze zasobu VI
Analiza wielokryterialna
Powinna pozwolić na wybranie zagregowanej opinii wyrażającej
pogląd na temat tego jaki zasób byłby najlepszy dla wykonania
zadania.
wielu ekspertów (decydentów), którzy mogą mieć różne
„wagi”
wiele kryteriów ilościowych i jakościowych, które mogą mieć
wagi istotnościowe
możliwość naturalnego / prostego uwzględnienia drzewiastej
struktury kryteriów
ograniczenia na kryteria mogą stanowić konkretne wartości
lub przedziały
Wsparcie przy wyborze zasobu
Rekomendacje
Wynik
Maksymalnie precyzyjne określenie tego, jakie zasoby (sprzęt i
oprogramowanie) są potrzebne aby rozwiązać zadanie oraz
ewentualnie zasugerowanie metody rozwiązania problemu.
W tej sytuacji może okazać się, że:
1
użytkownik prawidłowo i w pełni zdefiniował zadanie i
konfigurację zasobów (bez zmian),
2
wiedza ekspercka wskazuje na to, że można precyzyjniej
określić metodę rozwiązania i/lub optymalną konfigurację
zasobów (rozszerzenie / modyfikacja),
3
wiedza ekspercka wskazuje na to, że należałoby zastosować
inną metodę i/lub inaczej skonfigurować zasoby (wskazanie
alternatyw).
Wsparcie przy wyborze kontraktu I
Definiowanie wstępnych wymagań
W tym przypadku jeden ekspert (agent reprezentujący
użytkownika), wybiera najlepszą ofertę kontraktu spośród
otrzymanych ofert (lub stwierdza, że żadna z otrzymanych ofert
nie jest „dostatecznie dobra”).
Struktura problemu decyzyjnego generowana jest na podstawie
wymagań użytkownika.
Wsparcie przy wyborze kontraktu II
Wsparcie przy wyborze kontraktu III
Wymagania oraz oferty kontraktów wyrażone są semantycznie co
pozwala na ich reprezentację w postaci drzewa.
Wsparcie przy wyborze kontraktu IV
Analiza wielokryterialna
jeden ekspert
wiele kryteriów ilościowych i jakościowych, które mogą mieć
wagi istotnościowe
możliwość naturalnego / prostego uwzględnienia drzewiastej
struktury kryteriów
Metody analizy wielokryterialnej
Analytical Hierarchy Process (AHP; Thomas Saaty, 1970+)
PROMETHEE (B. Mareschal, J. P. Brans, C. Macharis,
1998)
Technique for Order Preference by Similarity to Ideal
Solution (TOPSIS; H.-S. Shih, H.-J. Shyur, E. S. Lee, 2008) i
Ontological Matchmaking
Analytical Hierarchy Process (AHP)
AHP – analiza wielokryterialna w przypadku złożonego problemu z
licznymi, antagonistycznymi oraz podlegającymi subiektywnej
ocenie kryteriami (o hierarchicznej strukturze), wspierająca analizę
skończonej ilości wariantów (alternatyw) przez wielu ekspertów;
możliwość oceny poziomu spójności dla wyrażonych preferencji.
Wsparcie przy wyborze zasobu I
AHP
1
Wybór kryteriów.
C1 , . . . , CM – zbiór kryteriów służących do oceny wariantów
2
Wybór ekspertów.
E = {ei }i=1,...,K – zbiór ekspertów
3
Numeryczna ocena i stworzenie rankingu wariantów.
Tworzenie hierarchicznej struktury problemu decyzyjnego.
Wsparcie przy wyborze zasobu II
AHP
Definicja preferencji oraz obliczanie ocen ważności dla
wszystkich elementów hierarchii.


1
c12 ... c1m
 c21
1 ... c2m 


(1)
 ...
... ... ... 
cm1 cm2 ... cmm
Wsparcie przy wyborze zasobu III
AHP
cij =
1
cji
, cii = 1
oceny ważności kryteriów z danego poziomu względem
rodzica to współczynniki znormalizowanego wektora
własnego c̄ dla maksymalnej wartości własnej λmax
(posiadającej wektor własny c z dodatnimi współczynnikami
ci > 0, i = 1, ..., m)
ci
c̄i = Pm
i=1
hasCPU
hasMemory
isRunningOS
ci
,
m
X
c¯i = 1
i=1
hasCPU
1
3
hasMemory
1
3
1
5
1
3
1
isRunningOS
3
5
1
lokalne wagi: hasCPU 0.2, hasMemory 0.68, isRunningOS 0.12
hasClockSpeed
hasCores
hasClockSpeed
1
3
hasCores
1
3
1
Wsparcie przy wyborze zasobu IV
AHP
lokalne wagi: hasClockSpeed 0.25, hasCores 0.75
hasTotalSize
hasAvailableSize
hasTotalSize
1
7
hasAvailableSize
1
7
1
lokalne wagi: hasTotalSize 0.12, hasAvailableSize 0.88
oceny wyliczone na każdym poziomie są wykorzystywane do
wyliczenia ważonych ocen na poziomie bezpośrednio pod
danym elementem - globalne oceny ważności dla każdego
ci , i = 1, ..., M
chasClockSpeed = c̄computingElement ∗ c̄CPU ∗ c̄hasClockSpeed = 0.025
chasCores = c̄computingElement ∗ c̄CPU ∗ c̄hasCores = 0.075
chasTotalSize = c̄computingElement ∗ c̄Memory ∗ c̄hasTotalSize = 0.041
chasAvailableSize = c̄computingElement ∗ c̄Memory ∗ c̄hasAvailableSize = 0.3
cisRunningOS = c̄computingElement ∗ c̄isRunningOS = 0.06
chasAlgorithm = c̄JobProfile ∗ c̄hasAlgorithm = 0.5
Badania spójności macierzy preferencji.
Wyznaczenie ocen ważności dla ekspertów.
Wsparcie przy wyborze zasobu V
AHP
HPCExpert1
HPCExpert2
HPCExpert3
HPCExpert1
1
1
5
3
HPCExpert2
5
1
7
HPCExpert3
1
3
1
7
1
wagi: HPCExpert1 0.28, HPCExpert2 0.07, HPCExpert3 0.65
Tworzenie rankingu końcowego.
macierz ocen, gdzie xijn , i = 1, ..., M, j = 1, ..., K – oceną
n-tego wariantu przez j-tego eksperta (o ważności
wj , j = 1, ..., K ) mając na uwadze i-te kryterium
C1
C2
...
CM
e1
n
x11
n
x21
...
n
xM1
e2
n
x12
n
x22
...
n
xM2
...
...
...
...
...
eK
n
x1K
n
x2K
...
n
xMK
Wsparcie przy wyborze zasobu VI
AHP
Ocena Mn n-ego wariantu jest wyliczana jako:
Mn =
M
X
i=1
(ci
K
X
xijn wj )
j=1
Wsparcie przy wyborze zasobu VII
AHP
Alternatywa 1
hasClockSpeed
hasCores
hasTotalSize
hasAvailableSize
isRunningOS
hasAlgorithm
HPCExpert1
1
3
5
1
7
1
HPCExpert2
3
-1
5
1
5
3
HPCExpert3
3
-1
1
1
3
1
M1 = 0.025 ∗ (0.28 ∗ 1 + 0.07 ∗ 3 + 0.65 ∗ 3) + 0.075 ∗ (0.28 ∗ 3 + 0.07 ∗
(−1) + 0.65 ∗ (−1)) + ... = 1.3
Alternatywa 2
hasClockSpeed
hasCores
hasTotalSize
hasAvailableSize
isRunningOS
hasAlgorithm
HPCExpert1
3
-1
5
1
5
3
HPCExpert2
1
-1
3
1
3
1
HPCExpert3
3
1
7
3
3
3
Wsparcie przy wyborze zasobu VIII
AHP
Alternatywa 3
hasClockSpeed
hasCores
hasTotalSize
hasAvailableSize
isRunningOS
hasAlgorithm
HPCExpert1
1
1
7
3
5
3
HPCExpert2
1
1
7
3
3
5
HPCExpert3
1
1
5
5
3
3
M2 = 2.87, M3 = 4.2
Podsumowanie - AHP
popularna metoda uwzględniająca wielu decydentów oraz
kryteria ilościowe i jakościowe
agregacja możliwa na poziomie wyrażania preferencji odnośnie
kryteriów oraz ocen dla alternatyw
hierarchiczna struktura problemu decyzyjnego - intuicyjna
dekompozycja problemu
skala werbalna pozwalająca ocenę wartości dla kryteriów
ilościowych i jakościowych
metoda sprawdzania spójności preferencji wprowadzonych
przez użytkownika / eksperta
problem rank reversal
krytyka odnośnie “naukowości” metody
PROMETHEE I
Metoda do grupowego podejmowania decyzji z grupy Outranking
methods.
Kroki obejmują:
1
Wybór decydentów E = {er }r =1,...,R
2
Wybór kryteriów C1 , . . . , CM (wspólnych oraz
indywidualnych dla danego decyndenta)
Konstrukcja tabeli ewaluacji (evaluation table) - wartości
fi (.) wyrażone numerycznie w odpowiednich jednostkach
3
Ci
wi
fi (.)
a
b
4
hasClockSpeed
0.025
f1 (.)
f1 (a)
f1 (b)
hasCores
0.075
f2 (.)
f2 (a)
f2 (b)
hasTotalSize
0.041
f3 (.)
f3 (a)
f3 (b)
...
...
...
...
...
Ocena alternatyw przez każdego z decydentów
PROMETHEE II
wyznaczenie wag kryteriów oraz
minimalizacja/maksymalizacja
PM
r
w1r , w2r , ..., wM
, i=1 wir = 1
przypisanie funkcji preferencji do kryteriów
Pi (a, b) = Gi (fi (a) − fi (b)), i = 1, ..., M - porównania parami
Gi - niemalejąca funkcja wyrażająca odchylenie pomiędzy
fi (a), fi (b)
ustalenie indywidualnego
rankingu alternatyw
PM
π r (a, b) =P i=1 Pi (a, b)wir
φ+r (a) = Px∈A π r (a, x) - moc alternatywy a
φ−r (a) = x∈A π r (x, a) - słabość alternatywy a
φr (a) = φ+r (a) − φ−r (a) - net flow alternatywy a
5
Wyznaczenie globalnego rozwiązania
wagi ekspertów
PR
ω1 , ω2 , ..., ωr , ..., ωR , r =1 ωr = 1
ustalenieP
globalnego rankingu alternatyw
R
ΦG (a) = r =1 φr (a)ωr
Podsumowanie - PROMETHEE
metoda zaprojektowana do grupowego podejmowania decyzji
nie wykorzystywany jest fakt, że dane są reprezentowane
ontologicznie
wagi dla wszystkich kryteriów wyznaczanie są bezpośrednio problem nie jest dekomponowany
TOPSIS + Dopasowanie ontologiczne I
Technique for order preference by similarity to ideal solution
Metoda bazująca na wyznaczeniu idealnej (PIS) oraz anty-idealnej
(NIS) alternatywy (najlepsza oraz najgorsza oferta). Celem jest
wybranie alternatywy “najbliżej” idealnej oraz “najdalszej” od
alternatywy negatywnie idealnej.
Alternatywa idealna (PIS)
wybór zasobu - alternatywy danego eksperta
wybór kontraktu - oferta z najlepszymi otrzymanymi wartościami
Alternatywa anty-idealna (NIS)
wybór zasobu - wprowadzona przez danego eksperta
wybór kontraktu - oferta z najgorszymi otrzymanymi wartościami
TOPSIS + Dopasowanie ontologiczne II
Dopasowanie ontologiczne
Wyznaczanie odległości pomiędzy ontologicznie wyrażonymi
alternatywami (instancjami), gdzie ontologia jest reprezentowana w
postaci grafu.
Odległości jest liczona w dwóch etapach:
1
dystans pomiędzy pojęciami w modelu koncepcyjnym opcjonalnie definiowany przez ekspertów,
2
dystans semantyczny pomiędzy instancjami - skalowanie
dystansów eksperckich wartościami wprowadzonymi przez
użytkownika.
TOPSIS + Dopasowanie ontologiczne I
Grupowa decyzja
Si+ - odległość i − tej alternatywy od alternatywy idealnej
Si− - odległość i − tej alternatywy od alternatywy anty-idealnej
Ci∗ =
Si−
+
Si +Si−
- odległość od alternatywy idealnej
Grupowe podejmowanie decyzji:
Agregacja zewnętrzna - operacje na wyznaczonych wagach i
ocenach poza procedurą TOPSIS
Agregacja wewnętrzna - agregacja indywidualnych preferencji
w ramach TOPSIS
Kroki:
1
2
Dla każdego k − ego eksperta wyznaczamy PIS V k+ i NIS
V k−
Dla każdego eksperta liczymy odległość i − ej alternatywy od
PIS Sik+ i NIS Sik−
TOPSIS + Dopasowanie ontologiczne II
Grupowa decyzja
3
Dla grupy liczymy zagregowaną odległość i − ej alternatywy
od PIS Si+ = Si1+ ⊗ ... ⊗ SiK + i NIS Si− = Si1− ⊗ ... ⊗ SiK −
4
Dla grupy liczymy odległość i − ej alternatywy od idealnej
Ci∗ =
5
Si−
+
Si +Si−
Wybieramy alternatywę o maksymalnej Ci∗
Podsumowanie - TOPSIS + dopasowanie ontologiczne
globalna alternatywa idealna i negatywnie idealna wyznaczana
na podstawie zagregowanych alternatyw ekspertów
metoda dopasowania ontologicznego jest wygodna gdy
informacje są reprezentowane ontologicznie
nieznaczny problem rank reversal w porównaniu do innych
metod
eksperci poza opinią idealną powinni wprowadzić również
negatywnie idealną
eksperci powinni zdefiniować dystanse dla modelu
koncepcyjnego
nie ma możliwości sprawdzenia spójności wprowadzonych
danych
Inne rozpatrywane metody I
Generalized Regression with Intensities of Preference (GRIP)
intuicyjna metoda wskazywania preferencji przez decydenta
(holistyczne porównanie parami alternatyw referencyjnych) częściowy porządek na podzbiorze alternatyw referencyjnych
decydent wskazuje tylko preferencje, których jest pewny, nie
musi oceniać wszystkich kombinacji alternatyw względem
kryteriów
budowanie modelu preferencji - zbiór liniowych ograniczeń
wynik - necessary/possible relations na zbiorze alternatyw
jak skonstruować zbiór alternatyw referencyjnych?
wsparcie dla wielu decydentów?
Podsumowanie
Problem dopasowania metody analizy wielokryterialnej do
wiedzy reprezentowanej ontologicznie okazał się nietrywialny.
Proponowane rozwiązanie poza wyborem “najlepszej
alternatywy” powinno również uwzględniać:
pomoc przy ulepszeniu specyfikacja wymagań,
wybór spośród wielu alternatyw, które spełniają wymagania
użytkownika.
AHP wydaje być się metodą najlepiej “dopasowaną”
natomiast wzbudza wiele kontrowersji.
Dalsza praca ma na celu zidentyfikowanie oraz zastosowanie
metody alternatywnej dla AHP.
Dziękuję

Analiza wielokryterialna wiedzy reprezentowanej ontologicznie

Transkrypt

Podobne dokumenty

ZGODA NA WYKORZYSTANIE WIZERUNKU osoby niepełnoletniej

Rola sprawozdawczości finansowej w podejmowaniu optymalnych

Kieszeń 2017 karta zgloszenia

Matryca weryfikacji efektów kształcenia

opłaty za materiały - rejestr cen i wartości nieruchomości

KARTA ZGŁOSZENIA UCZESTNICTWA W KONFERENCJI

Oświadczenie - zał. nr 2.1 do siwz

Formularz zgłoszeniowy do rekrutacji

202 13 Kart część rekreacja Putkamer35m

203 13 Kart część rekreacja Dzrewuccy