Spis treści

Spis treści
Przedmowa
7
1. Wstęp
1.1. Podstawy biologiczne działania neuronu . . . . . . . . . . . . . . . . . . .
1.2. Pierwsze modele sieci neuronowej . . . . . . . . . . . . . . . . . . . . . . .
1.3. Przegląd zastosowań sieci neuronowych . . . . . . . . . . . . . . . . . . . .
9
9
12
14
2. Modele neuronów i metody ich uczenia
2.1. Perceptron . . . . . . . . . . . . . . . .
2.2. Neuron sigmoidalny . . . . . . . . . . .
2.3. Neuron radialny . . . . . . . . . . . . . .
2.4. Neuron typu adaline . . . . . . . . . . .
2.5. Instar i outstar Grossberga . . . . . . .
2.6. Neurony typu WTA . . . . . . . . . . .
2.7. Model neuronu Hebba . . . . . . . . . .
2.8. Model stochastyczny neuronu . . . . . .
2.9. Zadania i problemy . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
17
18
19
24
25
27
30
34
37
39
3. Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego
3.1. Sieć jednowarstwowa . . . . . . . . . . . . . . . . . . . . . . .
3.2. Sieć wielowarstwowa perceptronowa . . . . . . . . . . . . . .
3.2.1. Struktura sieci perceptronowej . . . . . . . . . . . . .
3.2.2. Algorytm propagacji wstecznej . . . . . . . . . . . . .
3.3. Grafy przepływowe w zastosowaniu do generacji gradientu . .
3.4. Algorytmy gradientowe uczenia sieci . . . . . . . . . . . . . .
3.4.1. Zależności podstawowe . . . . . . . . . . . . . . . . . .
3.4.2. Algorytm największego spadku . . . . . . . . . . . . .
3.4.3. Algorytm zmiennej metryki . . . . . . . . . . . . . . .
3.4.4. Algorytm Levenberga-Marquardta . . . . . . . . . . .
3.4.5. Algorytm gradientów sprzężonych . . . . . . . . . . .
3.5. Dobór współczynnika uczenia . . . . . . . . . . . . . . . . . .
3.6. Metody heurystyczne uczenia sieci . . . . . . . . . . . . . . .
3.6.1. Algorytm Quickprop . . . . . . . . . . . . . . . . . . .
3.6.2. Algorytm RPROP . . . . . . . . . . . . . . . . . . . .
3.7. Program komputerowy MLP do uczenia sieci perceptronowej
3.8. Porównanie efektywności algorytmów uczących . . . . . . . .
3.9. Elementy optymalizacji globalnej . . . . . . . . . . . . . . . .
3.9.1. Algorytm symulowanego wyżarzania . . . . . . . . . .
3.9.2. Elementy algorytmów genetycznych . . . . . . . . . .
3.10. Metody inicjalizacji wag . . . . . . . . . . . . . . . . . . . . .
3.11. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
40
41
44
44
45
49
54
54
56
57
59
61
62
65
65
67
67
69
74
76
80
85
87
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
Spis treści
4. Problemy praktycznego wykorzystania sieci neuronowych
4.1. Zdolności generalizacyjne sieci neuronowych . . . . . . . . . . . . . .
4.1.1. Zależności podstawowe . . . . . . . . . . . . . . . . . . . . .
4.1.2. Miara VCdim . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.3. Zależności między błędem generalizacji i miarą VCdim . . . .
4.1.4. Przegląd metod zwiększania zdolności generalizacyjnych sieci
ronowej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2. Wstępny dobór architektury sieci . . . . . . . . . . . . . . . . . . . .
4.3. Dobór optymalnej architektury sieci pod względem generalizacji . . .
4.3.1. Metody wrażliwościowe redukcji sieci . . . . . . . . . . . . . .
4.3.2. Metody redukcji sieci z zastosowaniem funkcji kary . . . . . .
4.4. Wtrącanie szumu do próbek uczących . . . . . . . . . . . . . . . . .
4.5. Zwiększanie zdolności generalizacyjnych przez użycie wielu sieci . . .
4.6. Przykłady zastosowań sieci perceptronowej . . . . . . . . . . . . . .
4.6.1. Rozpoznawanie i klasyfikacja wzorców binarnych . . . . . . .
4.6.2. Rozpoznawanie wzorców na podstawie obrysu zewnętrznego .
4.6.3. Sieć neuronowa do kompresji danych . . . . . . . . . . . . . .
4.6.4. Identyfikacja obiektów dynamicznych . . . . . . . . . . . . . .
4.6.5. Predykcja obciążeń systemu elektroenergetycznego . . . . . .
4.7. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . .
. . .
. . .
. . .
neu. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
89
89
89
90
91
93
98
101
102
107
109
111
113
114
122
128
132
135
139
5. Sieci neuronowe radialne
5.1. Podstawy matematyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2. Sieć neuronowa radialna . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3. Metody uczenia sieci neuronowych radialnych . . . . . . . . . . . . . . . .
5.3.1. Proces samoorganizacji w zastosowaniu do adaptacji parametrów
funkcji radialnych . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3.2. Algorytm probabilistyczny doboru parametrów funkcji radialnych .
5.3.3. Algorytm hybrydowy uczenia sieci radialnych . . . . . . . . . . . .
5.3.4. Algorytmy uczące oparte na propagacji wstecznej . . . . . . . . . .
5.4. Metody doboru liczby funkcji bazowych . . . . . . . . . . . . . . . . . . .
5.4.1. Metody heurystyczne . . . . . . . . . . . . . . . . . . . . . . . . .
5.4.2. Metoda ortogonalizacji Grama-Schmidta . . . . . . . . . . . . . . .
5.5. Program komputerowy uczenia sieci radialnych . . . . . . . . . . . . . . .
5.6. Przykład zastosowania sieci radialnej w aproksymacji . . . . . . . . . . . .
5.7. Porównanie sieci radialnych
z sieciami sigmoidalnymi . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.8. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
141
142
144
149
6. Sieci SVM
6.1. Sieć liniowa SVM w zadaniu klasyfikacji . . . . . . . . . . . . . . . . . . .
6.1.1. Sieć nieliniowa SVM w zadaniu klasyfikacji . . . . . . . . . . . . .
6.2. Interpretacja mnożników Lagrange’a w rozwiązaniu sieci . . . . . . . . . .
6.3. Problem klasyfikacji przy wielu klasach . . . . . . . . . . . . . . . . . . . .
6.4. Sieci SVM do zadań regresji . . . . . . . . . . . . . . . . . . . . . . . . . .
6.5. Przegląd algorytmów rozwiązania zadania dualnego . . . . . . . . . . . . .
6.6. Program komputerowy uczenia sieci SVM . . . . . . . . . . . . . . . . . .
6.7. Przykłady zastosowania sieci SVM . . . . . . . . . . . . . . . . . . . . . .
6.7.1. Problem klasyfikacyjny dwu spiral . . . . . . . . . . . . . . . . . .
6.7.2. Rozpoznawanie tekstur . . . . . . . . . . . . . . . . . . . . . . . .
6.7.3. Wykrywanie uszkodzeń elementów w obwodzie filtru elektrycznego
6.8. Porównanie sieci SVM z innymi rozwiązaniami neuronowymi . . . . . . .
6.9. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
173
174
180
188
189
191
194
198
200
200
202
203
206
210
151
154
156
158
160
161
162
166
168
171
172
7. Specjalizowane struktury sieci neuronowych
212
7.1. Sieć kaskadowej korelacji Fahlmana . . . . . . . . . . . . . . . . . . . . . . 212
7.2. Sieć Volterry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
Spis treści
5
7.2.1. Struktura i zależności uczące sieci . . . . . . . . . . . . . . . . . . 219
7.2.2. Przykłady zastosowań sieci Volterry . . . . . . . . . . . . . . . . . 222
7.3. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
8.
9.
Sieci rekurencyjne jako pamięci asocjacyjne
8.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . .
8.2. Sieć autoasocjacyjna Hopfielda . . . . . . . . . . . .
8.2.1. Zależności podstawowe . . . . . . . . . . . .
8.2.2. Tryb uczenia sieci Hopfielda . . . . . . . . .
8.2.3. Tryb odtworzeniowy sieci Hopfielda . . . . .
8.2.4. Program Hop win . . . . . . . . . . . . . . .
8.3. Sieć Hamminga . . . . . . . . . . . . . . . . . . . .
8.3.1. Struktura sieci i algorytm doboru wag . . .
8.3.2. Działanie sieci Hamminga . . . . . . . . . .
8.3.3. Program Shamming uczenia sieci . . . . . .
8.4. Sieć typu BAM . . . . . . . . . . . . . . . . . . . .
8.4.1. Opis działania sieci . . . . . . . . . . . . . .
8.4.2. Zmodyfikowany algorytm uczący sieci BAM
8.4.3. Zmodyfikowana struktura sieci BAM . . . .
8.5. Zadania i problemy . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Sieci rekurencyjne tworzone na bazie perceptronu
9.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . .
9.2. Sieć perceptronowa ze sprzężeniem zwrotnym . . . . .
9.2.1. Struktura sieci RMLP . . . . . . . . . . . . .
9.2.2. Algorytm uczenia sieci RMLP . . . . . . . . .
9.2.3. Dobór współczynnika uczenia . . . . . . . . .
9.2.4. Współczynnik wzmocnienia sygnału . . . . . .
9.2.5. Wyniki symulacji komputerowych . . . . . . .
9.3. Sieć rekurencyjna Elmana . . . . . . . . . . . . . . .
9.3.1. Struktura sieci . . . . . . . . . . . . . . . . . .
9.3.2. Algorytm uczenia sieci Elmana . . . . . . . . .
9.3.3. Uczenie z wykorzystaniem momentu . . . . . .
9.3.4. Przykładowe wyniki symulacji komputerowych
9.4. Sieć RTRN . . . . . . . . . . . . . . . . . . . . . . . .
9.4.1. Struktura sieci i algorytm uczący . . . . . . .
9.4.2. Wyniki eksperymentów numerycznych . . . .
9.5. Zadania i problemy . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
229
229
231
231
234
235
236
239
239
241
242
245
245
248
249
255
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
sieci Elmana
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
257
257
257
257
259
261
261
262
267
267
268
271
272
275
275
277
281
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10. Sieci samoorganizujące się na zasadzie współzawodnictwa
10.1. Zależności podstawowe sieci samoorganizujących się przez współzawodnictwo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.1. Miary odległości między wektorami . . . . . . . . . . . . . . . . .
10.1.2. Normalizacja wektorów . . . . . . . . . . . . . . . . . . . . . . . .
10.1.3. Problem neuronów martwych . . . . . . . . . . . . . . . . . . . .
10.2. Algorytmy uczące sieci samoorganizujących . . . . . . . . . . . . . . . . .
10.2.1. Algorytm Kohonena . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.2. Algorytm gazu neuronowego . . . . . . . . . . . . . . . . . . . . .
10.2.3. Program Kohon . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.4. Porównanie algorytmów samoorganizacji . . . . . . . . . . . . . .
10.3. Sieć odwzorowań jedno- i dwuwymiarowych . . . . . . . . . . . . . . . .
10.4. Odwzorowanie Sammona . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.5. Zastosowania sieci samoorganizujących . . . . . . . . . . . . . . . . . . .
10.5.1. Kompresja danych . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.5.2. Wykrywanie uszkodzeń w urządzeniach . . . . . . . . . . . . . . .
10.5.3. Krótkoterminowe prognozowanie obciążeń systemu elektroenergetycznego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
282
283
284
285
286
287
289
289
291
293
295
299
300
300
303
306
6
Spis treści
10.6. Sieć hybrydowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
10.7. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
11. Sieci samoorganizujące typu korelacyjnego
11.1. Funkcja energetyczna sieci korelacyjnych . . . . . . . . .
11.2. Sieci neuronowe PCA . . . . . . . . . . . . . . . . . . . .
11.2.1. Wprowadzenie matematyczne . . . . . . . . . . . .
11.2.2. Relacja między przekształceniami PCA i SVD . .
11.2.3. Estymacja pierwszego składnika głównego . . . . .
11.2.4. Algorytmy estymacji wielu składników głównych .
11.3. Sieci neuronowe do ślepej separacji sygnałów . . . . . . .
11.3.1. Zależności wstępne . . . . . . . . . . . . . . . . . .
11.3.2. Niezależność statystyczna sygnałów . . . . . . . .
11.3.3. Struktura rekurencyjna sieci separującej . . . . . .
11.3.4. Algorytm Heraulta-Juttena dla sieci rekurencyjnej
11.3.5. Algorytm Cichockiego uczenia sieci rekurencyjnej
11.3.6. Program ślepej separacji BS . . . . . . . . . . . .
11.3.7. Sieć jednokierunkowa do separacji sygnałów . . . .
11.3.8. Toolbox ICALAB . . . . . . . . . . . . . . . . . .
11.4. Zadania i problemy . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
315
315
317
317
320
321
323
325
325
326
327
328
330
330
334
339
340
12. Podstawy matematyczne systemów rozmytych
12.1. Operacje na zbiorach rozmytych . . . . . . . . . . . . . . . . . . . . . .
12.2. Miary rozmytości zbiorów rozmytych . . . . . . . . . . . . . . . . . . . .
12.3. Rozmytość a prawdopodobieństwo . . . . . . . . . . . . . . . . . . . . .
12.4. Reguły rozmyte wnioskowania . . . . . . . . . . . . . . . . . . . . . . .
12.5. Systemy wnioskowania rozmytego Mamdaniego-Zadeha . . . . . . . . .
12.5.1. Fuzyfikator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.5.2. Defuzyfikator . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.5.3. Model Mamdaniego-Zadeha jako układ uniwersalnego aproksymatora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.6. Model wnioskowania Takagi-Sugeno-Kanga . . . . . . . . . . . . . . . .
12.7. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
342
344
346
347
349
350
353
356
13. Sieci
13.1.
13.2.
13.3.
362
362
366
367
368
371
373
378
381
385
386
388
391
393
396
396
397
399
402
406
neuronowe rozmyte
Struktura sieci rozmytej TSK . . . . . . . . . . . . . . . . . . . . . . .
Struktura sieci Wanga-Mendela . . . . . . . . . . . . . . . . . . . . . .
Algorytmy samoorganizacji w zastosowaniu do uczenia sieci rozmytej
13.3.1. Algorytm grupowania górskiego . . . . . . . . . . . . . . . . .
13.3.2. Algorytm C-means . . . . . . . . . . . . . . . . . . . . . . . . .
13.3.3. Algorytm Gustafsona-Kessela samoorganizacji rozmytej . . . .
13.4. Generacja reguł wnioskowania sieci rozmytej . . . . . . . . . . . . . .
13.5. Algorytm hybrydowy uczenia sieci rozmytej TSK . . . . . . . . . . . .
13.6. Modyfikacje sieci TSK . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.6.1. Algorytm wyznaczania liczby reguł wnioskowania . . . . . . .
13.6.2. Przykład numeryczny . . . . . . . . . . . . . . . . . . . . . . .
13.6.3. Uproszczona sieć TSK . . . . . . . . . . . . . . . . . . . . . .
13.7. Sieć hybrydowa rozmyta . . . . . . . . . . . . . . . . . . . . . . . . . .
13.8. Przykłady zastosowań sieci rozmytych . . . . . . . . . . . . . . . . . .
13.8.1. Estymacja stężenia składników mieszaniny gazowej . . . . . . .
13.8.2. Rozpoznawanie składników mieszanin gazowych . . . . . . . .
13.8.3. Rozpoznawanie gatunków piwa na podstawie zapachu . . . . .
13.9. Adaptacyjny algorytm samoorganizacji dla sieci rozmytej . . . . . . .
13.10. Zadania i problemy . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
357
358
361
Bibliografia
407
Skorowidz
419