Teoria L. Floridiego. Problem relewancji pozn

Transkrypt

Problem relewancji poznawczej jako problem relewancji informacji
Problem relewancji w Information Retrieval (IR) i naukach o informacji (LIS)
Teoria informacji semantycznej L. Floridiego
Definicje relewancji poznawczej - L. Floridi
Uwagi krytyczne
Filozofia Informacji, Wykład VII - Teoria L.
Floridiego. Problem relewancji poznawczej.
Artur Machlarz
9 kwietnia 2012
Artur Machlarz
Filozofia Informacji, Wykład VII - Teoria L. Floridiego. Problem relewancji p
Uwagi krytyczne
Plan wykładu
1
2
Problem relewancji w Information Retrieval (IR) i naukach o informacji
(LIS)
Ogólny problem relewancji w LIS
Problem relewancji w IR
Strategie ustalania rankingu dokumentów
3
4
S-teorie i A-teorie
Formuła bazowa i jej probabilistyczne modyfikacje
Ostateczna definicja relewancji
Prawdziwość informacji
5
Uwagi krytyczne
Krytyka koncepcji Floridiego
Artur Machlarz
Uwagi krytyczne
Problematyka teoriopoznawcza - perspektywa informacyjna
Wg Keitha Devlina
“W przypadku prób zrozumienia rozumowania i komunikacji
najbardziej znaczące postępy osiągnięto w naszych czasach dzięki
czemuś, co będę nazywał postawą informacyjną. Jej punktem
wyjścia jest potraktowanie mózgu ludzkiego jako procesora
informacji - urządzenia, które mże przyswajać sobie, magazynować i
przetwarzać informacje. (...) Poznanie można traktować jako proes
nabywania informacji, rozumowanie zaś jako środek wzbogacania
zasobu informacji przez wyprowadzenie nowych informacji z
informacji już posiadanych. (...) Podobnie komunikację można
traktować jako środek przekazywania informacji posiadanych przez
jedną osobę innej osobie.”
K. Devlin, Żegnaj Kartezjuszu, Warszawa 1999, ss. 317-318 .
Artur Machlarz
Uwagi krytyczne
Podobnie jak Devlin, o perpektywie informacynej wyraża się Dretske:
Jeśli ma być nawiązany jakikolwiek kontakt między filozofią i całym
bogactwem istotnego materiału w naukach kognitywnych, to muszą
być zbudowane pewne mosty, przynajmniej na poziomie terminologii,
między filozoficznym ujęciem wiedzy, przekonań i percepcji a tymi z
nauk, które zajmują się tymi samymi aspektami życia umysłowego.
Dlatego, wg Dretskego, centralnym pojęciem wokół którego należy
budować całą filozofię poznania, jest pojęcie informacji.
F. Dretske, Knowledge and Information, MIT Press 1981, s. viii.
Artur Machlarz
Uwagi krytyczne
W dotąd omawianych teoriach mieliśmy do czynienia z koncepcją
informacji jako czynnika wiedzotwórczego. Próby podania miary
informatywności były jednocześnie próbami podania miary nadwyżki
wiedzy, która może być uzyskana dzięki informacji, albo przynajmniej,
bardziej ogólnie, miary bliżej nieokreślonej korzyści, którą możemy dzięki
informacji odnieść.
Artur Machlarz
Uwagi krytyczne
Problem relewancji poznawczej jako problem relewancji
informacji
Problem relewancji informacji jest doskonałą egzemplifikacją ujęcia
szczególnego problemu teoriopoznawczego z perspektywy
teorio-informacyjnej.
Artur Machlarz
Uwagi krytyczne
Problem relewancji poznawczej jako problem relewancji
informacji
Ogólny problem relewancji poznawczej postawiony jest (w koncepcji
Floridiego) jako problem relewancji informacji w ujęciu
„subiektywistycznym”:
czy w ogóle, a jeśli tak, to w jakim stopniu, określona informacja
może być podstawą rozwoju wiedzy o świecie, podstawą wyborów,
skutecznych działań, procesów decyzyjnych.
Artur Machlarz
Uwagi krytyczne
Ogólne warunki adekwatności definicji relewancji
Odpowiedni opis relewancji spełnić będzie musiał cały szereg warunków:
mimo całej złożoności zjawiska i wieloznaczności pojęcia
“relewancji”, należy założyć, że możliwe jest jego systematyczne
opisanie,
Artur Machlarz
Uwagi krytyczne
opisanie,
opis nie może ograniczać się do opisu jednej wybranej formy
aktywności poznawczej,
Artur Machlarz
Uwagi krytyczne
opisanie,
będzie uwzględniał subiektywne potrzeby i dyspozycje agenta,
Artur Machlarz
Uwagi krytyczne
opisanie,
będzie dopuszczał stopniowalność,
Artur Machlarz
Uwagi krytyczne
opisanie,
będzie dopuszczał stopniowalność,
a przede wszystkim będzie wyjaśniał wiedzotwórczy aspekt
informacji (ujęcie L. Floridiego i F. Dretskego).
Artur Machlarz
Uwagi krytyczne
Z tego, że własności systemowe nie determinują wartości dokumentu dla
odbiorcy w literaturze IR zdawano sobie sprawę mniej więcej od lat
70-tych ub. wieku. Problem relewancji w LIS jest współcześnie stawiany
jako problem satysfakcji użytkownika systemu
informacyjno-wyszukiwawczego:
co konstytuuje satysfakcję odbiorcy i jak tą satysfakcję
systematycznie opisać?
Artur Machlarz
Uwagi krytyczne
Z tego, że własności systemowe nie determinują wartości dokumentu dla
odbiorcy w literaturze IR zdawano sobie sprawę mniej więcej od lat
70-tych ub. wieku. Problem relewancji w LIS jest współcześnie stawiany
jako problem satysfakcji użytkownika systemu
informacyjno-wyszukiwawczego:
co konstytuuje satysfakcję odbiorcy i jak tą satysfakcję
systematycznie opisać?
Np. Abraham Bookstein zwracając uwagę na fakt, że własności systemu
nie determinują jednoznacznie reakcji odbiorcy na dostarczany przez
system dokument, zaproponował zdefiniowanie relewancji właśnie w
kategoriach satysfakcji odbiorcy z produktu wyjściowego danego systemu
informacyjno-wyszukiwawczego. (Abraham Bookstein, Relevance, w:
„Journal of the American Society for Information Science”, 30 (5), 269).
Artur Machlarz
Uwagi krytyczne
Problem relewancji w IR - przykłady definicji
W literaturze z dziedziny IR problem relewancji jest ujmowany raczej od
strony systemu informacyjno-wyszukiwawczego (pełnokrwista postać
odbiorcy tam nie występuje):
jest to problem adekwatności odpowiedzi systemu do pytania
zadanego w ramach danego systemu (w języku danego systemu).
Artur Machlarz
Uwagi krytyczne
W literaturze z dziedziny IR problem relewancji jest ujmowany raczej od
strony systemu informacyjno-wyszukiwawczego (pełnokrwista postać
odbiorcy tam nie występuje):
jest to problem adekwatności odpowiedzi systemu do pytania
zadanego w ramach danego systemu (w języku danego systemu).
Które dokumenty obejmowane przez dany system
informacyjno-wyszukiwawczy odpowiadają bardziej lub mniej
zapotrzebowaniu użytkownika wyrażonemu w języku tego systemu.
Artur Machlarz
Uwagi krytyczne
Przykład (dość prosty) definicji relewancji w IR:
r: DxQ→
− R
D = d1 , d2 , d3 ... dn – zbiór dokumentów
Q = q1 , q2 , q3 ... qn – zbiór możliwych pytań
R = zbiór wartości, np. 0, 1.
za: Reginald Ferber, Information Retrieval. Suchmodelle und
Data-Mining Verfahren fuer Textsammlungen und das Web, Heidelberg
2003, s. 86.
Artur Machlarz
Uwagi krytyczne
Uwagi:
W powyższym przykładzie mamy tylko alternatywę: dokument di
będzie należał do zbioru dokumentów relewantnych do zapytania
albo nie.
Artur Machlarz
Uwagi krytyczne
Uwagi:
W powyższym przykładzie mamy tylko alternatywę: dokument di
będzie należał do zbioru dokumentów relewantnych do zapytania
albo nie.
W tej definicji nie dopuszczamy wpływu innych dokumentów (np.
cytowań, linkowań itp.) do oceny relewancji.
Artur Machlarz
Uwagi krytyczne
Ta definicja pozwala jednak na sformułowanie służących ewaluacji
systemów wyszukiwawczych definicji pojęć precyzji (Precision) i
dokładności (Recall):
Precyzja oznacza udział relewantnych dokumentów w całym zbiorze
wybranych.
Dokładność oznacza udział odnalezionych relewantnych
dokumentów w całym zbiorze dokumentów relewantnych.
Artur Machlarz
Uwagi krytyczne
wybranych.
Optymalna jest oczywiście taka sytuacja, gdy mamy pełny zbiór
relewantnych dokumentów i tylko takich. Obie z tych miar mogą
przyjmować wartości z przedziału (0, 1).
Artur Machlarz
Uwagi krytyczne
wybranych.
Optymalna jest oczywiście taka sytuacja, gdy mamy pełny zbiór
relewantnych dokumentów i tylko takich. Obie z tych miar mogą
przyjmować wartości z przedziału (0, 1).
Polecam interesujący wykład Daniela Tunkelanga dotyczący problemu
relewancji w IR (z serii googletechtalks na youtube.com):
http://www.youtube.com/watch?v=4LZNqV4qZR0
Artur Machlarz
Uwagi krytyczne
Ogólnie rzecz biorąc strategie ustalania hierarchii dokumentów jako
wyniku wyszukiwania w dowolnym systemie
informacyjno-wyszukiwawczym można podzielić na:
centralnie zarządzane, dopuszczające ingerencję ludzi,
w pełni zautomatyzowane, oparte na różnych indeksach oraz innych
czynnikach pozwalających na oszacowanie wartości wyniku
wyszukiwania (indeksy, logiczna struktura dokumentu, związki z
innymi dokumentami).
Artur Machlarz
Uwagi krytyczne
Wady i zalety obu rodzajów systemów są odmienne i zależne od
przyjętych zasad postępowania, wielkości zbioru itp.
Artur Machlarz
Uwagi krytyczne
Wady i zalety obu rodzajów systemów są odmienne i zależne od
przyjętych zasad postępowania, wielkości zbioru itp.
Rysunek: Przykład wyjątkowego elektronicznego katalogu - Ossolineum.
Trudno uznać ten system wyszukiwawczy za udane przeniesienie katalogu do
wersji elektronicznej.
Artur Machlarz
Uwagi krytyczne
Systemy mieszane (przykłady):
systemy oparte na ocenach użytkowników lub ewaluacji wyników
przez ekspertów;
dopuszczające ingerencję “ręczną” wyszukiwarki zautomatyzowane
(np. Google).
Artur Machlarz
Uwagi krytyczne
Algorytm Google - podstawowe zasady
Google jest w Polsce najbardziej popularną wyszukiwarką internetową.
Podstawowymi deklarowanymi ideami leżącymi u podstaw ustalania
rankingu wyników są:
1
Najlepsze lokalnie wyniki, które są dostępne dla całego świata.
2
Prosty interfejs.
3
Pełna automatyzacja.
Ostatni warunek jest uzasadniony przekonaniem, że subiektywny osąd jest
zawsze obarczony indywidualnymi preferencjami. “Ręczne” interwencje
podejmowane są w przypadku złamania zasad Google odnośnie np.
pornografii dziecięcej, stron zawierających wirusy (w Polsce ingerencja na
większą skalę miała miejsce niedawno w odniesieniu do porównywarek
cenowych).
Por. http://googleblog.blogspot.com/2008/07/introduction-to-googleranking.html
Artur Machlarz
Uwagi krytyczne
Algorytm Google - wersja historyczna-uproszczona
Słynny PageRank Google jest oparty na analizie struktury sieci.
Podstawowa historyczna wersja wyglądała mniej więcej tak:
Zakładamy, że witryna internetowa A jest linkowana przez strony
T1 , ..., Tn .
Przyjmujemy stały parametr d - współczynnik tłumienia (dumping
factor ) = 0,85.
C(x) - ilość linków wychodzących ze strony x.
PR(A) = (1 − d) + d(PR(T 1)/C (T 1) + ... + PR(Tn)/C (Tn))
Artur Machlarz
Uwagi krytyczne
Słynny PageRank Google jest oparty na analizie struktury sieci.
Podstawowa historyczna wersja wyglądała mniej więcej tak:
Zakładamy, że witryna internetowa A jest linkowana przez strony
T1 , ..., Tn .
Przyjmujemy stały parametr d - współczynnik tłumienia (dumping
factor ) = 0,85.
C(x) - ilość linków wychodzących ze strony x.
PR(A) = (1 − d) + d(PR(T 1)/C (T 1) + ... + PR(Tn)/C (Tn))
Zabawna ilustracja zmian algorytmu Google:
http://www.outrider.dk/Google-Algorithm-Changes-1998-2012
Artur Machlarz
Uwagi krytyczne
Naturalnie strukturalna analiza pozwala tylko na poprawienie jakości
hierarchii dokumentów, nie służy jednak jako podstawa ich wyboru z
całego zbioru możliwości. Ta część zadania (właściwie logicznie pierwsza)
jest oparta na analizie zawartości treściowej - tzn. różnego typu indeksów
charakteryzujących zawartość dokumentów.
Artur Machlarz
Uwagi krytyczne
Podsumowanie
W literaturze IR i LIS rzadko dąży się do sformułowania uogólnień
odnośnie wszelkiego rodzaju aktywności poznawczej. Raczej korzysta się
z analiz epistemologicznych i psychologicznych (i naturalnie także
logicznych) do szczegółowego opisu sytuacji poszukiwania informacji i do
budowy sztucznych systemów informacyjno-wyszukiwawczych.
Artur Machlarz
Uwagi krytyczne
Teoria informacji Freda Dretskego
Teoria informacji i teoria relewancji L. Floridiego.
Artur Machlarz
Uwagi krytyczne
Definicja informacji semantycznej
Relewantna może być informacja w sensie semantycznym. Podstawą
teoretyczną koncepcji relewancji jest teoria informacji semantycznej, w
ramach której:
pojęcie informacji semantycznej nie pozostaje niezdefiniowane,
definicja informacji semantycznej zawiera warunek prawdziwości fałszywa informacja nie jest informacją.
Artur Machlarz
Uwagi krytyczne
Informacja musi być prawdziwa ze względu na wiedzotwórczy aspekt
informacji:
Informacja jest czymś służącym rozwojowi wiedzy a jeśli
wiedza wymaga prawdziwości, to informacja także jej wymaga.
Fred Dretske, Knowledge and the Flow of Information, CSLI Publications
1999, s. 45.
Artur Machlarz
Uwagi krytyczne
Wprowadzenie warunku prawdziwości do definicji informacji semantycznej
skutkuje podziałem agentów na:
semantycznie zdolnych oraz
Artur Machlarz
Uwagi krytyczne
Wprowadzenie warunku prawdziwości do definicji informacji semantycznej
skutkuje podziałem agentów na:
semantycznie zdolnych oraz
operujących wyłącznie niezinterpretowanymi danymi (niezdolnymi do
oceny odniesienia informacji).
Artur Machlarz
Uwagi krytyczne
Zasada pomiaru informatywności
Zdanie opisuje pewną sytuację. Im większa ilość dopuszczonych
alternatywnych sytuacji względem sytuacji, o której informację niesie
sygnał, tym mniejsza informatywność a większa semantyczna niepewność.
Artur Machlarz
Uwagi krytyczne
Teoria informacji na bazie semantyki sytuacyjnej
Wartość informacji semantycznej niesionej przez σ(γ(σ)) jest określona w
teorii Floridiego przez pole powierzchni między przebiegiem funkcji ι(σ) w
przedziale wyznaczonym przez wskaźnik θ(σ) - czyli stopień
potwierdzenia formuły przez sytuację) a osią x:
γ(σ) =
Rθ
ι(σ)dx
0
Im większe wyznaczone pole przez przebieg funkcji ι(σ), tym większa
niepewność.
Artur Machlarz
Uwagi krytyczne
Teoria informacji na bazie semantyki sytuacyjnej
Rysunek: Wartość informacyjna dla czynnika θ(σ) = 0,25. Ilustracja za: L.
Floridi, Semantic Conceptions of Information, w: Stanford Encyclopedia of
Philosophy, http://plato.stanford.edu/entries/information-semantic/
Artur Machlarz
Uwagi krytyczne
Zasada pomiaru informatywności
Miara informatywności jest w teorii Floridiego związana z większą bądź
mniejszą precyzją w opisie określonej sytuacji: im większa ilość
dopuszczonych alternatywnych sytuacji względem sytuacji, o której
informację niesie sygnał, tym mniejsza informatywność przekazu.
Wskaźnik oznaczający stopień potwierdzenia danej formuły osiąga w
przypadku tautologii wartość maksymalną: 1 – dowolna sytuacja jest
bowiem jej potwierdzeniem. W przypadku sytuacji dokładnie
odpowiadających treści formuły, wskaźnik ten ma wartość 0: żadna inna
sytuacja nie jest wtedy odniesieniem treści formuły. Informatywność
formuły jest zatem tym większa im mniej sytuacji może ją potwierdzać.
Stopień informatywności Floridi oblicza jako dopełnienie do wartości
maksymalnej 1.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Systemowe i subiektywistyczne określenie relewancji
W koncepcji relewancji Floridiego pojawia się znany z IR i LIS podział na
teorię relewancji zorientowaną na system (S-teorie) lub na dyspozycje
agenta (A-teorie).
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
S-teoria
W S-teoriach stopień relewancji mierzy się niezależnie od potrzeb
agenta. Przykład (sformułowany już wyżej):
r: DxQ→
− R
D = d1 , d2 , d3 ... dn – zbiór dokumentów
Q = q1 , q2 , q3 ... qn – zbiór możliwych pytań
R = zbiór wartości, np. 0, 1.
za: Reginald Ferber, Information Retrieval. Suchmodelle und
Data-Mining Verfahren fuer Textsammlungen und das Web, Heidelberg
2003, s. 86.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Analiza relewancji w kontekście dyspozycji agenta
Własności systemu nie determinują jednoznacznie reakcji odbiorcy na
dostarczany przez system dokument:
Ta sama informacja dla dwóch różnych agentów może być mniej lub
bardziej relewantna.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Ta sama informacja dla tego samego agenta może być w różnych
okolicznościach bardziej lub mniej relewantna.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Ta sama informacja dla tego samego agenta może być w różnych
okolicznościach bardziej lub mniej relewantna.
Jednocześnie jednak, jeśli dwóch agentów mających identyczny obraz
świata otrzyma tą samą informację, ich obraz świata ulega zmianie.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Formuła bazowa
Opis relewancji poznawczej obejmujący dyspozycje agenta Floridi
rozpoczyna od formuły:
R (i) ⇔ (Q (a, q, d, c, l) ∧ S (i, q, d, c, l))
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Probabilistyczna modyfikacja formuły bazowej
W probabilistycznej modyfikacji formuły bazowej zamiast prostej
koniunkcji pytania i odpowiedzi mamy iloczyn prawdopodobieństw:
postawienia pytania i uzyskania odpowiedzi spełniającej warunek
maksymalnej dokładności i precyzji.
R (i) = P (Q (a, q, d, c, l)) x P (A (i, q, d, c, l))).
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Kolejna probabilistyczna modyfikacja formuły bazowej
Kolejna modyfikacja pozwala uniknąć trudności związanych z
modyfikacją pierwszą:
R (i) = P (A (i, q, d, c, l)), gdy P (Q (a, q, d, c, l)) = 1
R (i) = P (I a (i, q, d, c, l ) →
− Q (a, q, d, c, l)) x P (A (i, q, d, c,
l)), gdy 0 6 P (Q (a, q, d, c, l)) 6 1
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Ostateczna wersja formuły pozwalającej określić wartość relewancji
informacji:
R (i) = P (A (i, q, d, c, lm )), gdy P (Q (a, q, d, c, lm )) = 1
R (i) = P (I a (ni, d, ln ) →
− Q (a, q, d, c, ln )) x P (A (i, q, d, c,
lm )), gdy 0 6 P (Q (a, q, d, c, lm )) 6 1
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Własności sformułowanej definicji
Informacja ni nie jest w tej formule zależna od zawartości
informacyjnej i.
Formuła określająca wartość R (i) może zostać przełożona na sieć
zależności warunkowych i przedstawiona w sieci Bayesowskiej.
Włącza do kwestii relewancji problem etyczny.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
Warunek prawdziwości informacji
jeśli analizujemy poznawczą relewancję w kategoriach dążeń
poznawczych, oczywistym jest, że dezinformacja nie czyni
żadnej [pozytywnej] istotnej różnicy w agenta obrazie świata.
Wręcz przeciwnie, jest ona szkodliwa. Bardzo kłopotliwa jest
sytuacja, gdy o 13.15 odjeżdża pociąg, o którym powiedziano
nam, że odjedzie o 14.25. (...)
Luciano Floridi, Understanding Epistemic Relevance, w: Erkenntnis 69/1,
s. 84.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
jeśli analizujemy poznawczą relewancję w kategoriach dążeń
poznawczych, oczywistym jest, że dezinformacja nie czyni
żadnej [pozytywnej] istotnej różnicy w agenta obrazie świata.
Wręcz przeciwnie, jest ona szkodliwa. Bardzo kłopotliwa jest
sytuacja, gdy o 13.15 odjeżdża pociąg, o którym powiedziano
nam, że odjedzie o 14.25. (...)
Luciano Floridi, Understanding Epistemic Relevance, w: Erkenntnis 69/1,
s. 84.
Wniosek: nie możemy uznać informacji i za relewantną, jeśli informacja i
nie jest prawdziwa.
Artur Machlarz
Uwagi krytyczne
S-teorie i A-teorie
W przyjętej formule:
R (i) = P (I a (ni, d, ln ) →
− Q (a, q, d, c, ln )) x P (A (i, q, d, c, lm )),
gdy 0 6 P (Q (a, q, d, c, lm )) 6 1
warunek prawdziwości wyrażony jest nie wprost:
R (i) = 0, gdy P (Q (a, q, d, c, lm ) = 0.
Artur Machlarz
Uwagi krytyczne
Każdy organizm, także ameba, ma pewne potrzeby informacyjne,
których realizacja umożliwia funkcjonowanie w środowisku
naturalnym; dla takich organizmów niektóre informacje są zatem
bardziej relewantne, inne mniej.
Artur Machlarz
Uwagi krytyczne
Brak uzależnienia poziomu R (i) od możliwości dedukcyjnych agenta.
Artur Machlarz
Uwagi krytyczne
Brak uzależnienia poziomu R (i) od możliwości dedukcyjnych agenta.
Koncepcję relewancji poznawczej Floridiego dotyka cała krytyka
prawdziwościowo określonej definicji informacji.
Artur Machlarz
Uwagi krytyczne
Czy warunkiem tego, żeby R (i) było większe niż 0 musi być prawdziwość
informacji i?
Agent może mieć do czynienia ze zdaniami, których prawdziwości
nie może skontrolować, ale to nie oznacza, że nie mogą one być dla
niego wartościowe poznawczo.
Oszacowanie wartości relewancji przed faktem byłoby w tym
przypadku możliwe tylko o ile informacja uprzednio byłaby znana, a
zatem nie byłoby mowy o informacji o dostępności nowej informacji
odnośnie danej dziedziny.
Brak precyzyjnie określonych podstaw klasyfikacji agentów na
zdolnych do rozumienia znaczeń i operujących wyłącznie na
niezinterpretowanych danych (Aaron Sloman, James Fetzer).
Artur Machlarz
Uwagi krytyczne
Dziękuję za uwagę i zapraszam do stawiania pytań!
Artur Machlarz
e-mail: [email protected]
www: http://www.uni.opole.pl/∼machlarz
Artur Machlarz

Teoria L. Floridiego. Problem relewancji pozn

Transkrypt

Podobne dokumenty

Mariusz Gulczyński, Zwiastuny cywilizacji racjonalnego dostatku

Christopher Wilson

Zarządzanie strategiczne

Historia badań językoznawczych. III. Zróżnicowanie funkcjonalne w

Wyszukiwanie podstawowe książki - BUW-u

model kodowy i model inferencyjny

podstawowego