Nowe trendy w obliczeniach neuronowych

Nowe trendy w obliczeniach neuronowych
Projekt
Zasady zaliczenia
1. Projekty realizowane są indywidualnie lub w dwuosobowych zespołach.
2. Rozliczenie projektu odbywa się na ostatnich zajęciach w semestrze, gdzie student
przedstawia następujące części:
• Raport (w formie pisemnej i elektronicznej)
• Program
• Krótką prezentację (max. 10 min)
Obecność na ostatnich zajęciach jest obowiązkowa dla wszystkich osób i
zaprezentowanie trzech powyższych części jest warunkiem koniecznym do
uzyskania zaliczenia.
3. Raport i program oddawane są w pięciu etapach cząstkowych:
• Etap 1: Zgłoszenie tematu (do 3 zajęć)
Raport (ok. 0.5 strony A4)
- Skład grupy projektowej
- Temat projektu
- Abstrakt/streszczenie projektu
(cel projektu, wybór zbioru danych,
wybór modelu i algorytmu uczenia)
Program
• Etap 2: Wybór zbioru danych (do 5 zajęć)
Raport (ok. 0.5 – 1 strony A4)
- Opis zbioru danych
- Typ danych (rzeczywiste czy
binarne, długość wektora cech itp.)
- Wstępne przetwarzanie danych
(np. normalizacja, centering,
binaryzacja)
- Podział zbioru danych na część
treningową, walidacyjną i testową
Program
- Podział danych na odpowiednie
podciągi
- Implementacja mechanizmu
pozwalającego wczytać/zapisać
dane
- Implementacja mechanizmów
wstępnego przetwarzania danych
- Implementacja mechanizmu
pozwalającego zwizualizować dane
(np. wyświetlić obraz)
- Implementacja mechanizmu
transformującego w obie strony
dane (np. w postaci obrazu) do
danych w postaci wektora.
• Etap 3: Wybór modelu i algorytmu uczenia (do 9 zajęć)
Raport (ok. 2 strony A4)
- Opis rozpatrywanego problemu
(np. zadanie klasyfikacji zdjęć).
Zastosować odpowiedni formalizm
matematyczny
- Opis użytego modelu (np. RBM,
DBN, DBM, Convolutional NN,
Spiking NN). Zastosować
odpowiedni formalizm
matematyczny
- Uzasadnienie dlaczego wybrany
model nadaje się do
rozpatrywanego problemu
- Opis algorytmu uczenia (np.
Stochastic Gradient Descent,
Contrastive Divergence,
Backpropagation)
- Opis kontroli błędów na etapie
implementacji (np. gradienty
empiryczne, monotoniczność
funkcji celu)
Program
- Implementacja odpowiedniej klasy
pozwalającej na stworzenie modelu
o ustalonej strukturze (np. z
odpowiednią liczbą warstw
ukrytych, liczbą jednostek ukrytych,
liczbą jednostek wyjściowych,
warstw splotowych)
- Implementacja algorytmu uczenia
- Implementacja odpowiedniego
mechanizmu zakończenia uczenia
(np. early stopping)
- Implementacja odpowiednich
mechanizmów pozwalających
sprawdzić poprawność kodu (np.
gradienty empiryczne, zachowanie
funkcji celu w trakcie uczenia)
• Etap 4: Strojenie modelu i eksperyment (do 12 zajęć)
Raport (ok. 3 strony A4)
- Opis parametrów, które podlegają
strojeniu (np. krok uczenia, liczba
jednostek ukrytych, parametry
regularyzacji, momentum)
- Opis sposobu strojenia (np.
przeszukiwanie skali
logarytmicznej, generowanie
losowych zestawów)
- Wyniki eksperymentu: jakość na
zbiorze testowym w zależności od
różnych parametrów, krzywe
uczące dla najlepszego zestawu
parametrów. Ewentualnie inne
badania
- Dyskusja na temat wyników i
wnioski autorów
Program
- Implementacja mechanizmu, który
pozwala na automatyczne
wykonanie eksperymentu
(wczytanie odpowiednich ciągów
danych, sprawdzenie różnych
parametrów z użyciem ciągu
walidacyjnego lub techniki crossvalidation, zapisanie do pliku
wyników wraz z ostateczną
strukturą użytego modelu)
• Etap 5: Wstęp teoretyczny i bibliografia (do 14 zajęć)
Raport (ok. 1-1.5 strony A4)
- Wstęp do tematyki rozpatrywanej
w projekcie. Uzasadnienie istoty
Program
problemu i potencjalne
zastosowania
- Ulokowanie problemu w
literaturze.
- Odpowiednie referencje
bibliograficzne (autorzy, tytuł
pracy, tytuł czasopisma/nazwa
konferencji, numer, strony, rok
wydania).
4. Ostateczna postać raportu ma mieć następującą strukturę:
I. Autorzy, tytuł, abstrakt (etap cząstkowy 1)
II. Wstęp teoretyczny (etap cząstkowy 5)
III. Opis problemu (etap cząstkowy 3)
IV. Opis modelu (etap cząstkowy 3)
V. Opis algorytmu uczenia (etap cząstkowy 3)
VI. Opis eksperymentu/zbioru danych (etap cząstkowy 2)
VII. Strojenie modelu i prezentacja wyników (etap cząstkowy 4)
VIII. Dyskusja i wnioski (etap cząstkowy 4)
IX. Bibliografia (etap cząstkowy 5)
5. Zaliczenie każdego etapu cząstkowego może się odbyć jedynie do deadline’u
przewidzianego dla danego etapu. I tak kolejno:
•
•
•
•
•
Etap 1: do 3 zajęć
Etap 2: do 5 zajęć
Etap 3: do 9 zajęć
Etap 4: do 12 zajęć
Etap 5: do 14 zajęć
6. Za każdy etap oddany w terminie można uzyskać 0.5 lub 1 punkt, przy czym:
• 0.5 pkt, gdy część założeń dla danego etapu nie została wykonana lub etap
zawiera błędy merytoryczne/implementacyjne;
• 1 pkt, gdy zostały zrealizowane wszystkie założenia dla danego etapu.
7. Ostateczna ocena za projekt zależy od liczby zdobytych punktów:
Liczba punktów
<3
3
3.5
4
4.5
5
Ocena
2.0
3.0
3.5
4.0
4.5
5.0
8. Ocenę celującą może uzyskać projekt, który zdobył 5 punktów i charakteryzuje się
wyróżniającą jakością merytoryczną (może być przeformułowany do publikacji).