Grzegorz Zieliński1 Wykorzystanie sztucznych sieci neuronowych

Grzegorz Zieliński1 Wykorzystanie sztucznych sieci neuronowych

Grzegorz Zieli ski1
Wykorzystanie sztucznych sieci neuronowych
do prognozowania upadło ci przedsi biorstw
1. Czym s sztuczne sieci neuronowe (SSN) ?
Inspiracj
dla powstania dziedziny SSN było zafascynowanie ludzkim mózgiem,
składaj cym si z 10 miliardów komórek nerwowych (neuronów), które – wzajemnie ze sob
współpracuj c - przetwarzaj w sposób równoległy przepływaj ce przez nie sygnały.
Sztuczne sieci neuronowe s strukturami zło onymi ze sztucznych neuronów, b d cych
uproszczonymi odpowiednikami komórek nerwowych. Poniewa
neuron zachowuje si
tak samo, b d c równie
pojedynczy sztuczny
elementem składowym sieci,
to
przedstawienie zasady jego działania stanowi klucz do zrozumienia, jak działa cała sztuczna
sie neuronowa.
Analizuj c uproszczony model działania sztucznego neuronu (Rys. 1) mo na wyró ni
nast puj ce etapy:
•
Na wej cie neuronu trafia wektor sko czonej liczby sygnałów wej ciowych (X1, X2,
…, Xn).
•
Wprowadzone na wej cia dane s przemna ana przez warto ci wag (W1, W2, …, Wn),
które okre laj stopie wa no ci informacji, stanowi te swojego rodzaju „pami ”
neuronu, zapami tuj
bowiem zwi zki mi dzy danymi przepływaj cymi mi dzy
wej ciem i wyj ciem.
•
Nast puje sumowanie iloczynów wag i sygnałów wej ciowych czyli obliczane jest
tzw. pobudzenie neuronu, które przy zastosowaniu odpowiedniej funkcji aktywacji
zamieniane jest na sygnał wyj ciowy czyli warto
ko cow zwracan przez neuron.
Rys. 1. Model działania sztucznego neuronu
1
Student III roku Informatyki i ekonometrii, Koło Naukowe Metod Sztucznej Inteligencji Wy szej Szkoły
Zarz dzania i Administracji w Zamo ciu. Opiekun mgr in . Andrzej Burda
Działanie sztucznej sieci neuronowej opiera si
na podobnych zasadach, co zostało
zobrazowane na przykładowej, 3-warstwowej sieci neuronowej (Rys. 2.).
•
Dane (sygnały wej ciowe) po przemno eniu przez współczynniki wag zostaj
wprowadzone do sieci poprzez warstw wej ciow (warstwa 1). Dobór odpowiednich
warto ci wag tak, aby jak najlepiej odwzorowywały one istotno
wprowadzanych
danych, nazywany jest procesem uczenia sieci.
•
Warto ci generowane (zwracane) przez neurony warstwy 1 po przemno eniu przez
wagi stanowi sygnały wej ciowe dla warstwy 2. Analogiczna zale no
pomi dzy warstw
2 i warstw
istnieje
3. Warstwa 2 umieszczona pomi dzy warstw
wej ciow i wyj ciow nosi nazw warstwy ukrytej (po redniej). W zale no ci od
zło ono ci problemu badawczego warstw po rednich mo e by wi cej ni jedna, aby
zasymulowa
skomplikowane zale no ci pomi dzy przepływaj cymi przez sie
danymi (mo e te nie by
•
adnej – przy modelowaniu banalnych zagadnie ).
Przetworzone dane trafiaj
na wej cia ostatniej warstwy, zwanej wyj ciow
(warstwa 3), która zwraca ko cowy wynik działania sieci. Przedstawiona na Rys. 2
warstwa wyj ciowa zawiera 3 neurony, jednak e ich liczba jest uzale niona od
po danych wyników działania SSN – przykładowo przy problemach klasyfikacji
obiektu do 8 grup liczba neuronów w warstwie wyj ciowej mo e wynie
klasyfikacja typu tak/nie wymaga
8, za
mo e tylko 1 neuronu. Liczba neuronów w
pozostałych warstwach tak e jest dobierana w zale no ci od parametrów
realizowanego modelu.
Rys. 2 Model 3-warstwowej sztucznej sieci neuronowej
SSN dzi ki takim cechom jak:
•
zdolno
do uczenia si oraz uogólniania wiedzy nabytej w procesie trenowania,
•
odporno
•
równoległe i rozproszone przetwarzanie du ej ilo ci danych (tak e rozmytych,
na uszkodzenia,
niekompletnych i chaotycznych),
•
brak konieczno ci programowania przy poszukiwaniu algorytmu rozwi zania danego
problemu,
znajduj szerokie zastosowanie w wielu dziedzinach współczesnej nauki, m.in. w badaniu
stanu finansowego przedsi biorstw czy ocenie wiarygodno ci kredytowej.
2. Istota upadło ci przedsi biorstw
Z ekonomicznego punktu widzenia o upadło ci przedsi biorstw najogólniej mo na
powiedzie ,
e wi e si
ona z brakiem mo liwo ci samodzielnego kontynuowania
działalno ci bez udzielania pomocy finansowej z zewn trz.
W aspekcie prawnym za jest to ustalony na drodze s dowej przymus rozpocz cia procesu
zaspokajania wierzycieli. Wi e si to z post powaniem prawnym obejmuj cym okre lone
procedury, np.: ogłoszenie upadło ci, rozpocz cie procesu upadło ciowego, likwidacja b d
restrukturyzacja firmy, powołanie syndyka masy upadło ciowej, itp.
Według polskiego prawa upadło ciowego i naprawczego przesłankami do ogłoszenia
upadło ci mog by :
•
niewypłacalno
•
warto
przedsi biorstwa (brak mo liwo ci regulowania zobowi za );
posiadanego maj tku wystarczaj ca na pokrycie kosztów post powania.
3. Definicja przedsi biorstwa zagro onego upadło ci z punktu widzenia prowadzonej
analizy
Jedn z pierwszych kwestii do rozwa enia przy budowie modelu prognozowania stanu
finansowego przedsi biorstw było zdefiniowanie firmy zagro onej upadkiem z punktu
widzenia prowadzanej analizy.
W literaturze spotyka si ró ne podej cia przy definiowaniu bankrutów – oprócz decyzji o
upadło ci wydanej przez s d, cz sto spotykan
rozpocz cia procesu układowego b d
praktyk
jest branie pod uwag
faktu
naprawczego (które według polskiego prawa
upadło ciowego i naprawczego s tak e cz ci post powania upadło ciowego), b d te
same zło enie wniosku o upadło . Takie podej cie jednak mo e by obarczone bł dem –
cz
wniosków jest składana przez wierzycieli z zamiarem wywarcia presji na spółkach, aby
zacz ły regulowa wobec nich zobowi zania.
Z kolei przy ocenie mo liwo ci kredytowych cz sto za bankruta uznaje si firmy maj ce stale
zwi kszaj ce si opó nienia w spłatach kredytu.
Zdefiniowanie bankruta zale y wi c od punktu widzenia prowadzonej analizy – w przypadku
moich bada decydowała ustalona na drodze s dowej decyzja o ogłoszeniu upadło ci. Na tej
podstawie zbiór przedsi biorstw u ytych w budowie modelu podzielono na dwie grupy:
upadłe (bankruci) i niezagro one (zdrowe).
4. Dobór materiału statystycznego niezb dnego do oszacowania modelu
Model oparty jest na przedsi biorstwach notowanych na Giełdzie Papierów
Warto ciowych w Warszawie (GPW) w latach 2001-2005.
ródłem szczegółowych informacji na temat ka dej z 328 spółek były ich roczne
sprawozdania
finansowe,
zgromadzone
i
odpłatnie
udost pnione
przez
serwis
www.notoria.pl.
W ród całej grupy spółek - zgodnie z przyj tym kryterium - wyró ni mo na było 18
bankrutów. Do ka dego z nich dobrano od 2 do 5 przedsi biorstw zdrowych, zwa aj c na ten
sam sektor działalno ci, ten sam rynek notowa i najmniejsz ró nic w warto ci aktywów.
Ł cznie dało to zbiór 76 spółek u ytych do szacowania modelu.
5. Okre lenie zmiennych obja niaj cych
Pocz tkowo korzystaj c z modelu Katarzyny Szarzec i Doroty Appenzeller
opracowany tak e dla spółek notowanych na GPW (lata 2000-2002) wybrano 5 zmiennych.
Trzy spo ród zmiennych zaproponowanych przez autorki, które zostały u yte w moim
modelu to:
•
mar a zysku operacyjnego (wska nik zyskowno ci przedsi biorstwa),
•
wska nik płynno ci bie cej (wska nik płynno ci),
•
dług/EBITDA (wska nik zadłu enia).
Spo ród grupy wska ników sprawno ci działania rotacja zapasów została zast piona rotacj
nale no ci, bowiem niektóre ze spółek oferowały działalno
usługow , wi c nie posiadały
zapasów, za odrzucenie tych przypadków uszczupliłoby jeszcze prób badawcz .
Pi t zmienn , któr posłu yły si autorki był cykl operacyjny (rotacja zapasów + rotacja
nale no ci). Poniewa
składow
cyklu operacyjnego jest rotacja zapasów argument
odrzucenia poprzedniego miernika jest słuszny tak e i w tym przypadku, ponadto maj c po
jednej zmiennej z ka dej grupy wska ników (zyskowno ci, płynno ci, zadłu enia i
sprawno ci działania) lepszym rozwi zaniem wydało si wprowadzenie do modelu jako pi tej
zmiennej miernika rynkowego – warto ci ksi gowej na jedn
akcj .
Ostatecznie do modelu wybranych zostało 5 zmiennych obja niaj cych:
•
wska nik płynno ci bie cej = maj tek obrotowy / zobowi zania krótkoterminowe,
•
mar a zysku operacyjnego = zysk operacyjny / przychody ze sprzeda y netto,
•
rotacja
nale no ci
=
(nale no ci
krótkoterminowe
/
przychody
netto
ze
sprzeda y)*360,
•
dług/EBITDA = (zobowi zania i rezerwy / (zysk (strata) z działalno ci operacyjnej +
amortyzacja),
•
warto
ksi gowa na jedn akcj .
Warto ci zmiennych odnosz si do roku poprzedzaj cego bankructwo.
6. Przygotowanie odpowiedniego zbioru wej ciowego dla modelu sieci neuronowej
Neuronowy model prognozowania upadło ci firm był budowany przy u yciu
wbudowanego modułu Neural Networks (Sieci Neuronowe) pakietu STATISTICA. Wymagało
to przygotowania zbioru danych wej ciowych w odpowiedniej formie.
Aby zbudowa efektywnie działaj c sztuczn sie neuronow nale y przede wszystkim
najpierw nauczy j rozpoznawa charakterystyczne cechy wprowadzanych danych, podaj c
jej odpowiednie wzorce – w tym przypadku – zbudowa zbiór ucz cy, zawieraj cy spółki
upadłe i zdrowe i „podpowiedzie ” sieci, które z nich s tymi „dobrymi”, a które „złymi”.
Jednak, aby sie nie dopasowała si zbyt dobrze do znanych sobie przypadków (problem
przeuczenia sieci), co mogłoby skutkowa bł dn interpretacj nowych, nieznanych spółek,
nale y tak e utworzy tzw. zbiór walidacyjny, słu cy do monitorowania procesu uczenia. Z
kolei zbiór testowy, zawieraj cy dane nie uj te w grupie ucz cej, słu y do oceny skuteczno ci
sieci.
Uwzgl dniaj c wymagania wła ciwego procesu uczenia, wygenerowano 10 zestawów danych
o losowej zawarto ci spółek. Ka dy zestaw pod wzgl dem budowy wygl dał identycznie –
składał si z 47 spółek podzielonych na 3 zbiory:
•
ucz cy: 11 bankrutów i 22 spółki zdrowe,
•
walidacyjny: 4 bankrutów i 4 spółki zdrowe,
•
testowy: 3 bankrutów i 3 spółki zdrowe.
Generator zestawów był napisany tak, aby spółka zdrowa była dobrana z grupy
przedsi biorstw „dobrych” odpowiadaj cych spółce-bankrutowi (pod wzgl dem rynku
notowa , sektora i warto ci aktywów). W zbiorze ucz cym liczba zdrowych spółek była
dwukrotnie wy sza od upadłych. W rzeczywisto ci proporcja ta jest jeszcze wi ksza, lecz ze
wzgl du na niedu
liczebno
próby nie mo na było jej zamodelowa . W zbiorach
walidacyjnym i testowym spółki dobre i złe umieszczone zostały w stosunku 1:1, aby
zapewni efektywn klasyfikacj firm.
Tabela 1. Przykładowy zestaw danych wej ciowych.
Zestaw danych wej ciowych (Tabela 1) opisany był nast puj cymi wła ciwo ciami:
•
Zbiór - okre lenie przynale no ci spółki do zbioru ucz cego (u), walidacyjnego (w)
lub testowego (t);
•
Nazwa spółki – nie brana pod uwag
w przetwarzaniu danych przez program,
sygnalizuj ca wyst pienie konkretnej spółki w danym zestawie i ułatwiaj ca
odnalezienie konkretnego przypadku;
•
Stan – bankruci z przypisan warto ci 0, spółki zdrowe oznaczone 1;
•
5 zmiennych zastosowanych w modelu do opisania kondycji finansowej spółek;
7. Proces uczenia sieci – dobór parametrów sieci i optymalizacja modelu
W przeprowadzonych badaniach szybko okazało si – po testowaniu ró nych
rodzajów sieci na tym samym zbiorze danych wej ciowych – e perceptron wielowarstwowy
daje zdecydowanie lepsze rezultaty ni sieci liniowe, sieci o radialnych funkcjach bazowych
(radial basis functions) czy probabilistyczne sieci neuronowe (probabilistic neural networks).
Potwierdzona została, spotykana w wielu przypadkach z literatury, słuszno
u ycia
perceptronu do budowy modelu opartego na wska nikach finansowych.
Ze wzgl du na mał zło ono
budowanego modelu (tylko 5 zmiennych obja niaj cych)
wystarczyło zastosowa 1 warstw ukryt z ilo ci neuronów nie przewy szaj c ilo ci
zmiennych wej ciowych – czyli liczba neuronów w warstwie po redniej wahała si od 1 do 5.
Liczba neuronów w warstwie wej ciowej równa była liczbie zmiennych obja niaj cych (jeden
neuron na wej ciu przetwarzał dane odpowiadaj ce jednej zmiennej wej ciowej), za w
warstw wyj ciow stanowił jeden neuron, zwracaj cy rezultat działania sieci.
Spo ród liniowej i logistycznej funkcji aktywacji, ta druga dawała lepsze efekty przy zamianie
stanu pobudzenia neuronu na sygnał wyj ciowy.
Z kolei, je li chodzi o wybór metody uczenia, najlepsz opcj okazało si zastosowanie
kombinacji algorytmu wstecznej propagacji bł dów (przy przebiegu 100 epok) oraz metoda
gradientów sprz onych (maksymalnie 500 epok). Takie poł czenie do
szybko zapewniało
stabilne działanie sieci, bo poni ej 200. epoki w drugiej fazie uczenia – metodzie
gradientowej.
Generuj c sieci na podstawie 10 ró nych zestawów spółek otrzymałem dla ka dego z
zestawów najwydajniejsze pod wzgl dem klasyfikacji bankrut/„nie-bankrut” sieci.
Jednak ka dy zestaw miał losowe przyporz dkowanie spółek do danego zbioru (ucz cego,
walidacyjnego, testowego), co ró nicowało wyniki zwracane przez poszczególne sieci. W
celu uogólnienia (u rednienia) wyników, otrzymywanych na wyj ciu najlepszych sieci dla
ka dego zestawu danych, zbudowany został model kombinowany, co przeło yło si na lepsz
wydajno
przy rozpoznawaniu stanu zagro enia przedsi biorstw. Opracowane zostały 2
podej cia:
•
Model kombinowany (dla zachowania czytelno ci toku post powania oznaczany dalej
jako MK I), w skład którego wchodziło po jednej najlepszej sieci dla ka dego z 10
zestawów wej ciowych spółek (czyli ł cznie 10 sieci w MK I);
•
Model kombinowany (dalej MK II) zło ony z 10 modeli kombinowanych (mk1, mk2,
…, mk10) (zawieraj cych po 5 najlepszych sieci) utworzonych dla ka dego zestawu
danych wej ciowych (ł cznie w MK II znalazło si 47 sieci – dla mk6, mk8 i mk9 wybrano
po 4 najlepsze sieci, gdy pozostałe odbiegały pod wzgl dem efektywno ci).
Poni ej przedstawiono zestawienia modeli kombinowanych (Tabela 2). Pierwsze 10 wierszy
to modele kombinowane dla ka dego z 10 zestawów danych wej ciowych – mk1, ..., mk10,
kolejne dwie pozycje to modele kombinowane omówione powy ej – dla wiersza o indeksie
281 – MK I, za o indeksie 282 – MK II. Jak wida modele kombinowane mk1, …, mk10
tworzone na podstawie pojedynczych zestawów w wi kszo ci charakteryzuj
si lepsz
wydajno ci na ka dym ze zbiorów (Train/Select/Test Performance) i mniejszymi bł dami
(Train/Selekt/Test Error) ni modele MK I I MK II, lecz nale y wzi
pod uwag , e ich
wynik b dzie obarczony wi kszym bł dem przy analizowaniu spółek, które nie wchodziły w
skład danego zestawu. Modele MK I i MK II maj lepsz zdolno
do uogólniania i przy
klasyfikacji typu bankrut/„nie-bankrut” – w odniesieniu do grupy wszystkich przedsi biorstw
– popełniaj mniej bł dów.
Tabela 2. Zestawienie grup zbiorczych wraz z ich charakterystykami.
Wykresy zale no ci zmiennej obja nianej (stan finansowy przedsi biorstwa, gdzie 1 – bardzo
dobry, 0 – bardzo zły, przy skali ci głej) od poszczególnych zmiennych obja niaj cych (Rys.
3 – wska nik płynno ci bie cej, Rys. 4 – mar a zysku operacyjnego) jednoznacznie pokazuj ,
e model MK II (oznaczona czerwonym kolorem linii na wykresie, MK I – niebieski kolor
linii) posiadła wi ksz zdolno
do generalizowania (uogólniania), bowiem wykresy s
bardziej „wygładzone”, a wi c zale no
zmiennej wej ciowej od zmiennych wyj ciowych
jest bardziej stabilna, mniej podatna na losowe warto ci. Ostatecznie to model MK II (47
sieci) posłu ył za model najbardziej optymalny i został on wykorzystana w ko cowym
procesie testowania.
Rys. 3. Wykres zale no ci stanu finansowego przedsi biorstwa od wska nika płynno ci bie cej.
Rys. 4. Wykres zale no ci stanu finansowego przedsi biorstwa od mar y zysku operacyjnego.
8. Testowanie oszacowanego modelu i wyniki prognoz.
Testowanie oszacowanego modelu zostało przeprowadzone na zbiorze 76 spółek –
tych samych, które zostały wykorzystanych do budowy poszczególnych zestawów.
Niew tpliwie wynik takiego testowania jest w jakim
stopniu obarczony zawy onym
prawdopodobie stwem wła ciwej klasyfikacji bankrut/„nie-bankrut” (przy dosy
małej
liczebno ci próby była to niemal konieczno ), jednak stanowi to niedu y „udział” w tym, e
oszacowany model ma charakteryzuje si bardzo dobrymi skłonno ciami predykcji upadło ci
przedsi biorstw. Wyniki działania zbudowanego modelu zaprezentowane s na Rys. 7.
Rys. 5. Zestawienie rzeczywistych i oszacowanych stanów finansowych przedsi biorstw.
Za warto
warto
graniczn , ró nicuj c przedsi biorstwo zdrowe od bankruta przej ta została
0,5 zmiennej obja nianej. Oszacowane warto ci powy ej 0,5 wskazywały na dobry
stan spółki, za poni ej – na zagro enie upadło ci .
W ród spółek zdrowych, dla 43 z nich sie zwróciła warto
całkowita pewno
1 (co mo na interpretowa jako
dobrej kondycji finansowej), dla 14 sie
wygenerowała wynik z
przedziału <0,5;1> (tutaj wyst puje pewne ryzyko przy stwierdzeniu, e firma jest zdrowa),
za jedna spółka została bł dnie oceniona jako bankrut (warto
W
przypadku
przedsi biorstw,
które
w
zwrócona przez sie 0,413)
rzeczywisto ci
prezentuj cych warto ci rzeczywiste, bowiem warto
upadły
(brak
„słupków”
stanu finansowego dla spółek upadłych
wynosi 0), dla 13 z nich model wskazywał warto
0, czyli pewno
bankructwa
(analogicznie brak „słupków” odpowiadaj cych oszacowanym warto ciom stanu finansowego
dla tych przypadków), za dla pozostałych 5 zwrócona została warto
co oznacza mo liwo
z przedziału <0;0,5),
obarczenia pewnym ryzykiem diagnozy upadło ci firmy. Zatem adna
„spółka-bankrut” nie została sklasyfikowana bł dnie.
Ł cznie wi c tylko w jednym na 76 przypadków neuronowy model dokonał nietrafnej oceny,
przy czym warto zauwa y , e zaklasyfikował spółk zdrow do grupy bankrutów (bł d I
rodzaju), co obarczone jest mniejsz „szkodliwo ci ”, bowiem w przypadku kredytodawców
pojawia si koszt utraconych korzy ci, podczas gdy bł d II rodzaju (wskazanie potencjalnego
bankruta jako przedsi biorstwa niezagro onego upadło ci ) nara a ju na strat kapitału.
Warto ci obu rodzajów bł dów wyniosły odpowiednio: bł d I rodzaju – 0% (0 bł dów
klasyfikacji na 18 przypadków), bł d II rodzaju – 1,72% (1 na 58). Ł czna efektywno
modelu wyniosła 98,68% (75 trafnych klasyfikacji na 76 przypadków).
9. Podsumowanie
Sztuczne sieci neuronowe dzi ki swoim zaletom znajduj
zastosowanie w wielu
dziedzinach nauki. W stosunkowo niedługim czasie powstało wiele neuronowych modeli,
które sprawdziły si tak e w prognozowaniu stanu finansowego przedsi biorstw, daj c nawet
lepsze rezultaty ni klasyczne metody ekonometryczne. Oprócz lepszej wydajno ci modeli
zbudowanych w oparciu o sieci neuronowe, podej cie to jest te bardziej uniwersalne – nie
ma potrzeby budowania modelu od pocz tku dla gospodarki krajowej ka dego pa stwa czy
dla ró nych rynków - maj c gotowy model wystarczy zastosowa inne zmienne obja niaj ce i
szybko podda sie ponownemu procesowi trenowania. Ponadto nie musz by spełnione
pewne wymagania, jakie s wymagane przy metodach klasycznych prognozowania upadło ci
przedsi biorstw (stosunek spółek zdrowych do upadłych 1:1). Posiadaj c wiedz na temat
działania SSN, metod uczenia czy te architektury łatwo mo na realizowa ró ne modele do
rozwi zywania zło onych problemów czy zagadnie . Ponadto narz dzia słu ce do budowy
SSN, takie jak STATISTICA pozwalaj na generowanie w łatwy i przyjazny u ytkownikowi
sposób ró nego rodzaju podsumowa
i analiz ułatwiaj cych zrozumienie problemu i
interpretacj chocia by wyników ko cowych.
Cho wci
trwaj dyskusje co do wi kszej skuteczno ci prognozowania pomi dzy metodami
neuronowej i klasycznymi metodami, to zbudowany modelu dowodzi słuszno ci u ycia
sztucznych sieci neuronowych w dziedzinie predykcji bankructw, co wi cej – jego wysoka
efektywno
wydaje si stawia SSN, je li nie na szczycie, to bynajmniej w czołówce metod
prognozowania stanów zagro enia finansowego przedsi biorstw.
Literatura:
1. T. Korol, B. Prusak, Upadło
przedsi biorstw a wykorzystanie sztucznej inteligencji,
CeDeWu Sp. z o.o., Warszawa 2005
2. Michael R. Tyran, Wska niki finansowe, Oficyna Ekonomiczna, Kraków 2005
3. Ryszard Tadeusiewicz, Sieci neuronowe, Pa stwowa Oficyna Wydawnicza RM,
Warszawa 1993
4. D. Witkowska, Sztuczne sieci neuronowe i metody statystyczne. Wybrane zagadnienia
finansowe, Wydawnictwo C.H. Beck, Warszawa 2002
5. J.
urada, M. Barski, W. J druch, Sztuczne sieci neuronowe, Wydawnictwo Naukowe
PWN, Warszawa 1996
6. Pomoc pakietu STATISTICA (STATISTICA Electronic Manual)
7. Strona internetowa: www.gpw.com.pl
8. Strona internetowa: www.notoria.pl