Nowe trendy w obliczeniach neuronowych
Transkrypt
Nowe trendy w obliczeniach neuronowych
Nowe trendy w obliczeniach neuronowych Projekt Zasady zaliczenia 1. Projekty realizowane są indywidualnie lub w dwuosobowych zespołach. 2. Rozliczenie projektu odbywa się na ostatnich zajęciach w semestrze, gdzie student przedstawia następujące części: • Raport (w formie pisemnej i elektronicznej) • Program • Krótką prezentację (max. 10 min) Obecność na ostatnich zajęciach jest obowiązkowa dla wszystkich osób i zaprezentowanie trzech powyższych części jest warunkiem koniecznym do uzyskania zaliczenia. 3. Raport i program oddawane są w pięciu etapach cząstkowych: • Etap 1: Zgłoszenie tematu (do 3 zajęć) Raport (ok. 0.5 strony A4) - Skład grupy projektowej - Temat projektu - Abstrakt/streszczenie projektu (cel projektu, wybór zbioru danych, wybór modelu i algorytmu uczenia) Program • Etap 2: Wybór zbioru danych (do 5 zajęć) Raport (ok. 0.5 – 1 strony A4) - Opis zbioru danych - Typ danych (rzeczywiste czy binarne, długość wektora cech itp.) - Wstępne przetwarzanie danych (np. normalizacja, centering, binaryzacja) - Podział zbioru danych na część treningową, walidacyjną i testową Program - Podział danych na odpowiednie podciągi - Implementacja mechanizmu pozwalającego wczytać/zapisać dane - Implementacja mechanizmów wstępnego przetwarzania danych - Implementacja mechanizmu pozwalającego zwizualizować dane (np. wyświetlić obraz) - Implementacja mechanizmu transformującego w obie strony dane (np. w postaci obrazu) do danych w postaci wektora. • Etap 3: Wybór modelu i algorytmu uczenia (do 9 zajęć) Raport (ok. 2 strony A4) - Opis rozpatrywanego problemu (np. zadanie klasyfikacji zdjęć). Zastosować odpowiedni formalizm matematyczny - Opis użytego modelu (np. RBM, DBN, DBM, Convolutional NN, Spiking NN). Zastosować odpowiedni formalizm matematyczny - Uzasadnienie dlaczego wybrany model nadaje się do rozpatrywanego problemu - Opis algorytmu uczenia (np. Stochastic Gradient Descent, Contrastive Divergence, Backpropagation) - Opis kontroli błędów na etapie implementacji (np. gradienty empiryczne, monotoniczność funkcji celu) Program - Implementacja odpowiedniej klasy pozwalającej na stworzenie modelu o ustalonej strukturze (np. z odpowiednią liczbą warstw ukrytych, liczbą jednostek ukrytych, liczbą jednostek wyjściowych, warstw splotowych) - Implementacja algorytmu uczenia - Implementacja odpowiedniego mechanizmu zakończenia uczenia (np. early stopping) - Implementacja odpowiednich mechanizmów pozwalających sprawdzić poprawność kodu (np. gradienty empiryczne, zachowanie funkcji celu w trakcie uczenia) • Etap 4: Strojenie modelu i eksperyment (do 12 zajęć) Raport (ok. 3 strony A4) - Opis parametrów, które podlegają strojeniu (np. krok uczenia, liczba jednostek ukrytych, parametry regularyzacji, momentum) - Opis sposobu strojenia (np. przeszukiwanie skali logarytmicznej, generowanie losowych zestawów) - Wyniki eksperymentu: jakość na zbiorze testowym w zależności od różnych parametrów, krzywe uczące dla najlepszego zestawu parametrów. Ewentualnie inne badania - Dyskusja na temat wyników i wnioski autorów Program - Implementacja mechanizmu, który pozwala na automatyczne wykonanie eksperymentu (wczytanie odpowiednich ciągów danych, sprawdzenie różnych parametrów z użyciem ciągu walidacyjnego lub techniki crossvalidation, zapisanie do pliku wyników wraz z ostateczną strukturą użytego modelu) • Etap 5: Wstęp teoretyczny i bibliografia (do 14 zajęć) Raport (ok. 1-1.5 strony A4) - Wstęp do tematyki rozpatrywanej w projekcie. Uzasadnienie istoty Program problemu i potencjalne zastosowania - Ulokowanie problemu w literaturze. - Odpowiednie referencje bibliograficzne (autorzy, tytuł pracy, tytuł czasopisma/nazwa konferencji, numer, strony, rok wydania). 4. Ostateczna postać raportu ma mieć następującą strukturę: I. Autorzy, tytuł, abstrakt (etap cząstkowy 1) II. Wstęp teoretyczny (etap cząstkowy 5) III. Opis problemu (etap cząstkowy 3) IV. Opis modelu (etap cząstkowy 3) V. Opis algorytmu uczenia (etap cząstkowy 3) VI. Opis eksperymentu/zbioru danych (etap cząstkowy 2) VII. Strojenie modelu i prezentacja wyników (etap cząstkowy 4) VIII. Dyskusja i wnioski (etap cząstkowy 4) IX. Bibliografia (etap cząstkowy 5) 5. Zaliczenie każdego etapu cząstkowego może się odbyć jedynie do deadline’u przewidzianego dla danego etapu. I tak kolejno: • • • • • Etap 1: do 3 zajęć Etap 2: do 5 zajęć Etap 3: do 9 zajęć Etap 4: do 12 zajęć Etap 5: do 14 zajęć 6. Za każdy etap oddany w terminie można uzyskać 0.5 lub 1 punkt, przy czym: • 0.5 pkt, gdy część założeń dla danego etapu nie została wykonana lub etap zawiera błędy merytoryczne/implementacyjne; • 1 pkt, gdy zostały zrealizowane wszystkie założenia dla danego etapu. 7. Ostateczna ocena za projekt zależy od liczby zdobytych punktów: Liczba punktów <3 3 3.5 4 4.5 5 Ocena 2.0 3.0 3.5 4.0 4.5 5.0 8. Ocenę celującą może uzyskać projekt, który zdobył 5 punktów i charakteryzuje się wyróżniającą jakością merytoryczną (może być przeformułowany do publikacji).