Laboratorium 1 - 17 maja 2014 (Metody regresji) Tematy: 1. Model

Laboratorium 1 - 17 maja 2014 (Metody regresji)
Tematy:
1. Model Regresji liniowej
• interpretacja modelu
• sprawdzanie dopasowania modelu
• testy istotności zmiennych
• transformacje zmiennych (metoda Boxa-Coxa)
• selekcja zmiennych
• predykcja
• zmienne nominalne
2. Drzewa regresyjne
• konstrukcja drzewa
• interpretacja modelu
• predykcja
3. Lasy Losowe
• konstrukcja lasu losowego
• predykcja
• miary istotności oparte na lasach losowych
4. Analiza składowych głównych (PCA)
5. Regresja składowych głównych (PCR)
6. Regresja częściowych najmmniejszych kwadratów (PLSR)
7. Metoda najbliższego sąsiada
Zadanie do samodzielnego wykonania:
• Porównaj działanie metod (regresja liniowa, drzewa, lasy losowe, metoda PCR, metoda
PLSR, metoda najbliższego sąsiada) na zbiorze danych Housing używając metod:
– podziału na zbiór treningowy (służący do budowy modelu) i zbiór testowy (służący
do oceny modelu)
– wielokrotnego podziału na zbiór treningowy i testowy lub kroswalidacji (pakiet R
cvTools).
• W przypadku regresji liniowej warto dokonać selekcji zmiennych; w przypadku PCR/PLSR
wyboru liczby składowych głównych; w przypadku metody najbliższego sąsiada warto zbadać jaki jest wpływ liczby sąsiadów na jakość predykcji.