Sieci neuronowe - Kognitywistyka

Sylabus
Wydział:
Nazwa przedmiotu:
Nazwa przedmiotu w j.
angielskim:
Kod przedmiotu:
Tytuł/stopień oraz imię i
nazwisko wykładowcy:
Semestr (zimowy lub
letni):
Liczba godzin zajęć:
Liczba punktów ECTS:
Język wykładowy:
Efekty kształcenia
Humanistyczny
Sieci neuronowe
Neural Networks
Prof. Włodzisław Duch
letni
30
4
Student po zakończeniu tych zajęć pozytywnym zaliczeniem laboratorium
i zdaniem egzaminu powinien:
zdefiniować, opisać, wyliczyć zagadnienia związane z algorytmami
rozproszonego przetwarzania adaptacyjnego, sieciami neuronowymi,
podstawowych metod i pojęć tej dziedziny;
posiadać umiejętność oceny złożoności obliczeniowej różnych
algorytmów sieci neuronowych;
zastosować odpowiednie algorytmy i metody uczenia w zależności od
napotkanego problemu;
ocenić możliwości rozwiązania danego problemu za pomocą algorytmów
sieciowych.
Treści programowe;
program przedmiotu (w
wersji przedkładanej
studentom)
Wstęp "Sieci neuronowe" omawia kluczowe zagadnienia związane z
algorytmami powstałymi na skutek inspiracji neurobiologicznych.
Obejmuje podstawowe wiadomości na temat neurobiologii,
Zajęcia ze wstępu do inteligencji obliczeniowej i uczenia maszynowego są
dobrym uzupełnieniem do tego wykładu.
1. Wstęp: czym zajmuje się dziedzina.
Co to jest efektywna algorytmizowalność; sieci neuronowe, inteligencja
obliczeniowa i sztuczna inteligencja; problemy warte rozwiązania i źródła,
z których czerpie się inspiracje; uczenie nadzorowane, nienadzorowane i
uczenie z krytykiem.
2. Inspiracje Biologiczne: sieci neuronowe.
Inspiracje biologiczne: rys historyczny; cele modelowania; ogólne
własności modeli neuronowych; inteligentne zachowania sieci;
główne aspekty modeli neuronowych; reguły uczenia sieci.
3. Neurony logiczne, modele binarne.
BCM, najprostsza Binarna Pamięć Skojarzeniowa;
CMM, macierze korelacji, zastosowania do słowników;
BAM, dwukierunkowa progowa pamięć asocjacyjna;
4. Binarne modele pamięci skojarzeniowych.
SDM, rozproszona pamięć komórkowa;
RAM-nets, czyli model n-ek;
model CMAC
5. Sieć Hamminga i ucząca się macierz; Adaline, Madaline i sieci liniowe.
Ucząca się macierz Steinbucha;
Adaline.
Madaline
Sieci z elementami liniowymi
6. Perceptrony.
Perceptrony jednowarstwowe;
Uczenie się perceptronu.
Demonstracje za pomocą programu Neurosolutions.
7. Perceptrony z dużym marginesem.
Nieliniowa reguła delta.
Maksymalizacja marginesów klasyfikatora
Algorytm Adatron
Demonstracje za pomocą programu Neurosolutions.
8. MLP - perceptrony wielowarstwowe.
Wsteczna propagacja błędów: uogólniona reguła delta, minimalizacja
błędów
Własności wielowarstwowych perceptronów
9. Ulepszenia wstecznej propagacji błędów.
Procedury minimalizacji błędu
Lokalne minima, funkcje kosztu, inicjalizacja parametrów
Upraszczanie sieci - regularyzacja
10. Algorytmy konstruktywistyczne.
Korelacja kaskadowa
Algorytm wieżowy
Algorytm piramidowy
Algorytm "upstart"
Algorytm "kafelkowy"
Kilka przykładów zastosowań
11. Radialne Funkcje Bazowe i algorytmy aproksymacyjne.
Teoria RBF
Sieci RAN
Sieci probabilistyczne: estymatory Bayesowskie
Lokalne uczenie się sieci modyfikujących swoją strukturę
Klasyfikator Coopera
Dalsze przykłady zastosowań
12. Model Hopfielda.
Sieci ze sprzężeniami zwrotnymi
Model Hopfielda
Zastosowania w modelowaniu pamięci autoasocjacyjnej i optymalizacji
13. Sieci dynamiczne.
Maszyny Boltzmana i Helmholtza
Neurodynamika
14. Samoorganizacja - uczenie bez nadzoru.
Samoorganizujące się odwzorowanie topologiczne Kohonena
Growing Cell Structures
Przykłady zastosowań
Przykłady wizualizacji
15. Uczenie konkurencyjne.
Mapy ekwiprobabilistyczne
Reguła: zwycięzca bierze wszystko, procesy konkurencyjne w sieciach
Gaz neuronowy
Demonstracje w Javie
Literatura
Korbicz J, Obuchowicz A, Uciński D, Sztuczne sieci neuronowe.
Podstawy i zastosowania. Akademicka Oficyna Wydawnicza, Warszawa,
1994
Stanisław Osowski Sieci neuronowe w ujęciu algorytmicznym
Wydawnictwa Naukowo-Techniczne 1996
J. Żurada, M. Barski, W. Jędruch Sztuczne sieci neuronowe
Wydawnictwo Naukowe PWN 1996
Ryszard Tadeusiewicz, Tomasz Gąciarz, Barbara Borowik, Bartosz Lepe,
Odkrywanie właściwości sieci neuronowych przy użyciu programów w
języku C#. Polska Akademia Umiejętności 2008
Warunki i forma
zaliczenia
Maksymalna liczba
studentów
Egzamin pisemny