Zagadnienia na wykładzie

Wstęp do sieci neuronowych – dzienniczek zajęć
Prowadzący:
Maja Czoków, Jarosław Piersa – wykład
Termin:
wtorki, 14 – 16 AULA
Ilość godzin:
30h wykład + 30h laboratorium
Lista osób:
na USOSie widnieje 65
Warunki zaliczenia: Egzamin pisemny + ustny, zwolnienie z egzaminu za wybitną pracę
na laboratoriach i uzyskanie oceny BDB+ do dnia 2011-02-16
Laboratoria:
Maja Czoków x2, Jarosław Piersa x1
Docelowy rocznik: 5inf, 4inf; pierwszeństwo w udziale w zajęciach ma 5inf
Egzamin:
2011-02-11 piątek, godziny 12-16, sala S3
Literatura:
• R. Rojas Neural Networks, A Systematic Introduction, Springer 1996,
• P. Peretto, Introduction to Modeling Neural Networks, Cambridge University Press 1994,
• C. Bishop, Neural Networks for Pattern Recognition, Oxford University Press 1995.
Dzienniczek zajęć:
Data
Materiał
W01
Sprawy organizacyjne:
2010-10-05 Podane warunki zaliczania zajęć oraz egzaminu, plan wykładu, literatura,
Perceptrony:
Ogólne informacje o neuronach jako komórkach,
Model perceptronu prostego, dynamika, możliwości klasyfikacji, postacie funkcji
aktywującej, Podany algorytm SPLA wraz z dowodem poprawności,
W01
Dokończone uczenie perceptronu prostego, algorytmy uczenia PLA, RLA, dowód
2010-10-05 poprawności, RBF – informacje ogólne,
W03
Dokończony RBF (+ przypomnienie z poprzednich zajęć) postacie funkcji bazowych,
2010-10-19 wykorzystanie RBF do rozwiązania problemu XOR, przedstawiona maszyna
Adaline, dynamika i algorytm uczenia z dowodem poprawności, podany GDA
(Gradient Descent Algorithm)
W04
Maszyny Liniowe, dynamika, uczenie, zastosowania,
2010-10-24 równoważności ML i perceptronów;
konstrukcja Kesslera
Sieci skierowane:
Podane definicje i proste przykłady sieci skierowanych, dynamika, uwagi ogólne,
nie było uczenia, podane czym są sieci wielowarstwowe (MLP)
2010-11-02 Wykładu nie będzie – godziny rektorskie
W05
Przedstawione algorytmy konstrukcyjne dla skierowanych sieci neuronowych:
2010-11-09 algorytm wieżowy + dowód, piramidalny, kafelkowy i upstart, do tego szybkie
przykładowe działanie
W06
Algorytm wstecznej propagacji błędu:
2010-11-16 Przypomniane pobieżnie sieci skierowane oraz sigmoidalne funkcje aktywujące,
podany algorytm
wstecznej propagacji błędu (Back-Error Propagation), dowód
algorytmu, modyfikacje: propagacja z pędem, uwagi ogólne dotyczące zbieżności
algorytmu
Data
Materiał
W07
Podane modyfikacje algorytmu propagacji, quickprop, propagacja wsteczna drugiego
2010-11-23 rzędu,
Uczenie bez nauczyciela
Podane paradygmaty uczenia z nauczycielem (jako przypomnienie)
oraz bez nauczyciela, sformułowane zagadnienie, przedstawione algorytmy K-means
oraz art2,
W08
Samoorganizacja topologiczna, algorytm Kohonena i jego modyfikacje, informacje
2010-11-30 o różnych metrykach. Analiza składowych głównych: reguła Hebba oraz reguła Oja.
W09
Sieci rekurencyjne :
2010-12-07 Definicja, przykłady, uwagi ogólne, modelowanie i dynamika. Sieci Hopfielda,
definicja, przykład zastosowania, konstrukcja autoasocjatora graficznego, analiza
teoretyczna: postać funkcji
energetycznej, zbieżność, stabilność wzorca,
odzyskiwanie obrazu.
W10
Przypomnienie: model Sieci Hopfielda, konstrukcja autoasocjatora graficznego,
2010-12-14 wykorzystanie do optymalizacji grafowej, dwupodział grafu, kolorowanie, cykl
Hammiltona przydział zadań. Podane
postacie wag i pól zewnętrznych
z wyprowadzeniem. Uwagi dotyczące przechowywania wagi.
Ustalony termin egzaminu: 2011-02-11 piątek 12-16.
W11
Łańcuchy Markowa (Markov Chains), przykład, definicja, własności, macierz
2010-12-21 przejść, stan stacjonarny, tw. o istnieniu stanu stacjonarnego (bez dowodu),
symulowanie łańcuchów Markowa, algorytmy MCMC,
W12
Uczenie Hebbowskie, analiza składowych głównych (PCA) (dokończenie) Maszyny
2011-01-04 Boltzmanna, interpretacja termodynamiczna sieci neuronowych, symulowane
wyżarzanie, schematy chłodzenia,
W13
Uczenie Maszyn Boltzmanna, zagadnienie, algorytm, poprawność, zastosowanie
2011-01-11 na przykładzie autoasocjatora graficznego, działanie i dynamika
Kilka uwag o generalizacji sieci neuronowych, zjawisku przeuczenia sieci, prosty
model walidacji danych,
W14
Walidacja modelu, walidacja krzyżowa, „leave one out”, testowanie jakości uczenia,
2011-01-18 błędy pierwszego i drugiego rodzaju, regresja liniowa,
Krótkie powtórzenie liczb zespolonych i logik wielowartościowych
W15
Omówiona forma egzaminu
2011-01-25
Dokończone zespolone sieci neuronowe, algorytmy genetyczne – biologiczna
motywacja, paradygmat, ogólny schemat, przykładowe zastosowanie, do tego krótki
wstęp o algorytmach ewolucyjnych