spis treści
Transkrypt
spis treści
SPIS TREŚCI Przedmowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IX 1. Wstęp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2. Wybrane zagadnienia sztucznej inteligencji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8. 2.9. 2.10. 2.11. 2.12. . . . . . . . . . . . . 5 5 7 8 10 12 13 14 15 17 18 19 3. Metody reprezentacji wiedzy z wykorzystaniem zbiorów przybliżonych . . . . . . . . . . . 20 3.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. Wprowadzenie . . . . . . . . . . . . . . . . . Rys historyczny sztucznej inteligencji . . . Systemy ekspertowe . . . . . . . . . . . . . . Robotyka . . . . . . . . . . . . . . . . . . . . . Przetwarzanie mowy i języka naturalnego . Heurystyki i strategie poszukiwań . . . . . Kognitywistyka . . . . . . . . . . . . . . . . . Inteligencja mrówek . . . . . . . . . . . . . . Sztuczne życie . . . . . . . . . . . . . . . . . Boty . . . . . . . . . . . . . . . . . . . . . . . . Perspektywy rozwoju sztucznej inteligencji Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4. Metody reprezentacji wiedzy z wykorzystaniem zbiorów rozmytych typu 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 21 28 36 38 45 50 Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Podstawowe pojęcia i definicje teorii zbiorów rozmytych . . . . . . . Operacje na zbiorach rozmytych . . . . . . . . . . . . . . . . . . . . . . Zasada rozszerzania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Liczby rozmyte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Normy trójkątne i negacje . . . . . . . . . . . . . . . . . . . . . . . . . . Relacje rozmyte i ich właściwości . . . . . . . . . . . . . . . . . . . . . Przybliżone wnioskowanie . . . . . . . . . . . . . . . . . . . . . . . . . . 4.8.1. Podstawowe reguły wnioskowania w logice dwuwartościowej 4.8.2. Podstawowe reguły wnioskowania w logice rozmytej . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1. 4.2. 4.3. 4.4. 4.5. 4.6. 4.7. 4.8. Wprowadzenie . . . . . . . . . . Pojęcia podstawowe . . . . . . . Aproksymacja zbioru . . . . . . Aproksymacja rodziny zbiorów Analiza tablic decyzyjnych . . . Zastosowanie programu LERS . Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 52 63 69 72 79 90 94 94 95 VI Spis treści 4.8.3. Reguły wnioskowania dla modelu Mamdaniego 4.8.4. Reguły wnioskowania dla modelu logicznego . 4.9. Rozmyte systemy wnioskujące . . . . . . . . . . . . . . . . 4.9.1. Baza reguł . . . . . . . . . . . . . . . . . . . . . . . 4.9.2. Blok rozmywania . . . . . . . . . . . . . . . . . . . 4.9.3. Blok wnioskowania . . . . . . . . . . . . . . . . . 4.9.4. Blok wyostrzania . . . . . . . . . . . . . . . . . . . 4.10. Zastosowania zbiorów rozmytych . . . . . . . . . . . . . . 4.10.1. Rozmyta metoda Delphi . . . . . . . . . . . . . . . 4.10.2. Ważona rozmyta metoda Delphi . . . . . . . . . . 4.10.3. Rozmyta metoda PERT . . . . . . . . . . . . . . . 4.10.4. Podejmowanie decyzji w otoczeniu rozmytym . 4.11. Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 100 103 104 105 105 112 114 114 117 118 121 131 5. Metody reprezentacji wiedzy z wykorzystaniem zbiorów rozmytych typu 2 . . . . . . . . . 132 5.1. 5.2. 5.3. 5.4. 5.5. 5.6. 5.7. 5.8. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . Podstawowe definicje . . . . . . . . . . . . . . . . . . . Ślad niepewności . . . . . . . . . . . . . . . . . . . . . . Osadzone zbiory rozmyte . . . . . . . . . . . . . . . . . Podstawowe operacje na zbiorach rozmytych typu 2 Relacje rozmyte typu 2 . . . . . . . . . . . . . . . . . . Redukcja typu . . . . . . . . . . . . . . . . . . . . . . . . Rozmyte systemy wnioskujące typu 2 . . . . . . . . . 5.8.1. Blok rozmywania . . . . . . . . . . . . . . . . . 5.8.2. Baza reguł . . . . . . . . . . . . . . . . . . . . . 5.8.3. Blok wnioskowania . . . . . . . . . . . . . . . 5.9. Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 133 136 137 139 144 146 151 151 153 153 158 6. Sieci neuronowe i algorytmy ich uczenia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 6.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2. Neuron i jego modele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1. Budowa i działanie pojedynczego neuronu . . . . . . . . . . . . 6.2.2. Perceptron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.3. Model Adaline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.4. Model neuronu sigmoidalnego . . . . . . . . . . . . . . . . . . . . 6.2.5. Model neuronu Hebba . . . . . . . . . . . . . . . . . . . . . . . . . 6.3. Sieci jednokierunkowe wielowarstwowe . . . . . . . . . . . . . . . . . . . 6.3.1. Budowa i działanie sieci . . . . . . . . . . . . . . . . . . . . . . . 6.3.2. Algorytm wstecznej propagacji błędów . . . . . . . . . . . . . . 6.3.3. Algorytm wstecznej propagacji błędów z członem momentum 6.3.4. Algorytm zmiennej metryki . . . . . . . . . . . . . . . . . . . . . 6.3.5. Algorytm Levenberga–Marquardta . . . . . . . . . . . . . . . . . 6.3.6. Rekurencyjna metoda najmniejszych kwadratów . . . . . . . . . 6.3.7. Dobór architektury sieci . . . . . . . . . . . . . . . . . . . . . . . . 6.4. Sieci rekurencyjne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.1. Sieć Hopfielda . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.2. Sieć Hamminga . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4.3. Sieci wielowarstwowe ze sprzężeniem zwrotnym . . . . . . . . 6.4.4. Sieć BAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 159 159 161 167 172 177 178 178 180 187 188 189 191 193 199 200 203 205 205 Spis treści VII 6.5. Sieci samoorganizujące z konkurencją 6.5.1. Sieci typu WTA . . . . . . . . 6.5.2. Sieci typu WTM . . . . . . . . 6.6. Sieci typu ART . . . . . . . . . . . . . . 6.7. Sieci radialne . . . . . . . . . . . . . . . 6.8. Probabilistyczne sieci neuronowe . . . 6.9. Uwagi . . . . . . . . . . . . . . . . . . . . 7. Algorytmy ewolucyjne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 207 212 216 220 225 227 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 7.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.2. Problemy optymalizacji a algorytmy ewolucyjne . . . . . . . . . . . . . . . . . . . . . . . 7.3. Rodzaje algorytmów zaliczanych do algorytmów ewolucyjnych . . . . . . . . . . . . . . 7.3.1. Klasyczny algorytm genetyczny . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.2. Strategie ewolucyjne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.3. Programowanie ewolucyjne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.3.4. Programowanie genetyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4. Zaawansowane techniki w algorytmach ewolucyjnych . . . . . . . . . . . . . . . . . . . . 7.4.1. Eksploracja i eksploatacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.2. Metody selekcji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.3. Skalowanie funkcji przystosowania . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.4. Szczególne procedury reprodukcji . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.5. Metody kodowania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.6. Rodzaje krzyżowań . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.7. Rodzaje mutacji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.8. Inwersja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.5. Algorytmy ewolucyjne w projektowaniu sieci neuronowych . . . . . . . . . . . . . . . . . 7.5.1. Algorytmy ewolucyjne do uczenia wag sieci neuronowych . . . . . . . . . . . . 7.5.2. Algorytmy ewolucyjne do określania topologii sieci neuronowej . . . . . . . . . 7.5.3. Algorytmy ewolucyjne do uczenia wag i określania topologii sieci neuronowej 7.6. Algorytmy ewolucyjne a systemy rozmyte . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.6.1. Systemy rozmyte do kontroli ewolucji . . . . . . . . . . . . . . . . . . . . . . . . . 7.6.2. Ewolucja systemów rozmytych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.7. Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 230 231 232 250 266 266 269 269 269 272 273 274 277 278 279 280 280 283 285 288 288 290 297 8. Metody grupowania danych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.1. 8.2. 8.3. 8.4. 8.5. 8.6. 8.7. 8.8. 8.9. 8.10. 8.11. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . Podziały ostre i rozmyte . . . . . . . . . . . . . . . . Miary odległości . . . . . . . . . . . . . . . . . . . . . Algorytm HCM . . . . . . . . . . . . . . . . . . . . . . Algorytm FCM . . . . . . . . . . . . . . . . . . . . . . Algorytm PCM . . . . . . . . . . . . . . . . . . . . . . Algorytm Gustafsona–Kessela . . . . . . . . . . . . . Algorytm FMLE . . . . . . . . . . . . . . . . . . . . . Kryteria jakości grupowania . . . . . . . . . . . . . . Ilustracja działania algorytmów grupowania danych Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 301 305 307 308 310 311 313 314 315 317 9. Systemy neuronowo-rozmyte typu Mamdaniego, logicznego i Takagi–Sugeno . . . . . . . . 318 9.1. Wprowadzenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 VIII Spis treści 9.2. Opis wykorzystywanych problemów symulacyjnych . . . . . . . . 9.2.1. Polimeryzacja . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.2. Modelowanie statycznej funkcji nieliniowej . . . . . . . . . 9.2.3. Modelowanie nieliniowego obiektu dynamicznego . . . . 9.2.4. Modelowanie smaku ryżu . . . . . . . . . . . . . . . . . . . . 9.2.5. Rozpoznawanie gatunku wina . . . . . . . . . . . . . . . . . 9.2.6. Klasyfikacja kwiatu irysa . . . . . . . . . . . . . . . . . . . . 9.3. Systemy neuronowo-rozmyte typu Mamdaniego . . . . . . . . . . . 9.3.1. Systemy typu A . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.2. Systemy typu B . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.3. Systemy typu Mamdaniego w zadaniach modelowania . . 9.4. Systemy neuronowo-rozmyte typu logicznego . . . . . . . . . . . . 9.4.1. Systemy typu M1 . . . . . . . . . . . . . . . . . . . . . . . . . 9.4.2. Systemy typu M2 . . . . . . . . . . . . . . . . . . . . . . . . . 9.4.3. Systemy typu M3 . . . . . . . . . . . . . . . . . . . . . . . . . 9.5. Systemy neuronowo-rozmyte typu Takagi–Sugeno . . . . . . . . . 9.5.1. Systemy typu M1 . . . . . . . . . . . . . . . . . . . . . . . . . 9.5.2. Systemy typu M2 . . . . . . . . . . . . . . . . . . . . . . . . . 9.5.3. Systemy typu M3 . . . . . . . . . . . . . . . . . . . . . . . . . 9.6. Algorytmy uczenia systemów neuronowo-rozmytych . . . . . . . . 9.7. Ocena działania systemów neuronowo-rozmytych . . . . . . . . . . 9.7.1. Kryteria oceny modeli z uwzględnieniem ich złożoności 9.7.2. Metoda linii izokryterialnych . . . . . . . . . . . . . . . . . . 9.8. Uwagi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 319 320 320 320 321 321 322 322 324 325 335 336 342 347 352 353 355 356 358 373 374 376 382 10. Elastyczne systemy neuronowo-rozmyte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.1. 10.2. 10.3. 10.4. 10.5. 10.6. Wprowadzenie . . . . . . . . . . . . . . Miękkie normy trójkątne . . . . . . . . Parametryzowane normy trójkątne . . Przełączane normy trójkątne . . . . . . Systemy elastyczne . . . . . . . . . . . . Algorytmy uczenia . . . . . . . . . . . . 10.6.1. Operatory podstawowe . . . . . 10.6.2. Funkcje przynależności . . . . 10.6.3. Funkcje zakresowe . . . . . . . 10.6.4. H -funkcje . . . . . . . . . . . . 10.7. Przykłady symulacyjne . . . . . . . . . 10.7.1. Polimeryzacja . . . . . . . . . . 10.7.2. Modelowanie smaku ryżu . . . 10.7.3. Klasyfikacja kwiatu irysa . . . 10.7.4. Rozpoznawanie gatunku wina 10.8. Uwagi . . . . . . . . . . . . . . . . . . . . Literatura . . . . . . . . . . . . . . . . . . . . . . . Skorowidz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 383 386 389 394 395 401 402 403 404 407 408 410 412 414 416 417 433