Inteligentne Systemy Autonomiczne

Inteligentne Systemy
Autonomiczne
Uwagi ogó
ogólne
Pamięć jest istniejącym przez pewien czas efektem doświadczenia.
Pamięć pozornie jest jednolita, ale w rzeczywistości bardzo
zróżnicowana: przestrzenna, wzrokowa, słuchowa, rozpoznawcza,
deklaratywna, semantyczna, proceduralna, jawna, utajona ...
Pamięć
Pamięć
W oparciu o wykład
Prof. Randall O'Reilly
University of Colorado,
Prof. Jaap Murre
University of Amsterdam oraz
Prof. Włodzisława Ducha
Uniwersytet Mikołaja Kopernika
1
EE141
Janusz
Tu badamy mechanizmy, więc podstawowy podział to:
‰ Pamięć synaptyczna (fizyczne zmiany w synapsach), długotrwała i
wymagająca aktywacji by wywrzeć jakiś wpływ na działanie.
‰ Pamięć dynamiczna, aktywna, chwilowe pobudzenia, wpływa na
bieżące działanie.
‰ Torowanie długotrwałe, oparte na pamięci synaptycznej, ulegającej
szybkiej modyfikacji – semantyczna i proceduralna są wynikiem
wolnych procesów.
2
‰ Torowanie krótkotrwałe, oparte na pamięci aktywnej.
EE141
A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie
Uwagi ogó
ogólne
3 regiony
PC – tylna kora ciemniowa i kora
ruchowa; rozproszenie rep, pamięć
przestrzenna, torowanie długotrwałe,
skojarzenia, wnioski, schematy.
FC – kora przedczołowa, izolowane
rep, kontrola przerwań, p. robocza.
HC – formacja hipokampa, pamięć
epizodyczna, przestrzenna, deklaratywna, rzadkie reprezentacje, dobra
separacja wzorców.
‰Uczenie powolne, statystycznie istotne zależności => pamięć
proceduralna i semantyczna, korowa; szybkie => epizodyczna, HC.
‰Utrzymywanie aktywnej informacji i jednocześnie przyjmowanie nowej,
np. mnożenie w pamięci 12*6, wymaga FC.
3
EE141
Wolne/szybkie uczenie
4
EE141
Komplementarne systemy uczenia
Neuron uczy się prawdopodob.
warunkowego, korelacji
pomiędzy pożądaną
aktywnością a sygnałami
wejściowymi; optymalna wartość
0.7 osiągana jest szybko tylko
przy małej stałej uczenia 0.005
‰Każde przeżycie to mały fragment niepewnej potencjalnie przydatnej
wiedzy o świecie => stabilność obrazu świata wymaga powolnego
uczenia, integracja prowadzi do zapominania indywidualnych zdarzeń.
‰Istotne nowe informacje uczymy się po jednokrotnej ekspozycji.
‰Lezje formacji hipokampa wywołują amnezję następczą.
5
‰System neuromodulacji osiąga kompromis stabilności/plastyczności.
EE141
6
EE141
1
Aktywna pamięć
pamięć i torowanie (priming)
Torowanie
Rozproszone nakładające się reprezentacje w PC
mogą sprawnie zapisać informacje o świecie, ale jest
mało precyzyjne i zaciera się z upływem czasu.
FC – kora przedczołowa, przechowuje izolowane
reprezentacje; zwiększa stabilność pamięci.
Efekty torowania są widoczne u osób z uszkodzonym
hipokampem, torowanie korowe w PC jest możliwe.
Wyróżnimy wiele form torowania:
‰ trwanie (krótkie, długie),
‰ typ informacji (wzrokowa, leksykalna),
‰ podobieństwo (powtarzanie, semantyczne).
7
EE141
Typowe: dopełnianie rdzeni, po przeczytaniu listy na której są słowa
dostajemy rdzenie i trzeba do nich dopisać końcówki, np.
rea--Jeśli wcześniej na liście była reakcja to jest ona zwykle wybierana.
Odstęp czasu może być rzędu godziny, więc pamięć aktywna nie może
być za to odpowiedzialna.
Homofony: read, reed.
Dopełnianie: "It was found that the ...eel is on the ...", w którym ostatnie
słowo to „orange, wagon, shoe, meal” słyszany jest jako:
"peel is on the orange",
"wheel is on the wagon",
"heel is on the shoe"
"meel is on the table".
Polskie przykłady?
8
EE141
Model torowania
Eksploracja modelu
View TrainLog i ocena wyniku:
Projekt wt_priming.proj.gz, chapter 9
View Events: pierwsze 3 mają te same wzorce wejściowe, ale inne
wyjściowe, w sumie 13 par x 2 wyjścia = 26 kombinacji, IA - IB
Uwaga: nie uczymy się jeszcze list AB-AC tylko wpływu douczania.
podobieństwo wzorca
wyjściowego, sumarycznie jako
żółta linia, nazwa najbardziej
podobnego zdarzenia, mierzy
sm_nm = binarne błędy w
nazwach najbliższych zdarzeń,
część odpowiedzi mało podobna
do podawanych: A Ù B.
Na niebiesko both_err = 1 tylko jeśli nie jest to jeden z dwóch
dopuszczalnych wzorców wyjściowych.
Szum pomaga przełamać impasy ale powoduje też niewielki brak
stabilizacji już nauczonych wzorców.
9
EE141
Dalsze testy
Uczenie ABAB-AC
Test_logs: najpierw sprawdzimy czy są jakieś tendencje, a potem czy da
się nauczyć sieci by po prezentacji IA a potem IB zmieniała preferencje.
wt_update=Test, Test robi jedną epokę, sprawdzić Trial1_TextLog:
ev_nm jest albo IA, albo IB, a sm_nm raz 0 raz 1, przypadkowo.
W Epoch1_TextLog widać, że zawsze jest jedna z dwóch odpowiedzi,
w sumie 13/26, czyli połowę razy, nie ma tendencji.
Sprawdzamy czy jedna ekspozycja coś zmienia.
wt_update => On_Line, uczenie po każdym zdarzeniu,
Run Test, istotnie częstość wzrasta do 18 a potem 25 razy.
Wnioski: sama redukcja błędów daje zmieszane wyjścia A, B, sieć bez
kWTA nie nauczy się takiego zadania.
Kora ciemieniowa może być odpowiedzialna za długotrwałe torowanie.
11
EE141
10
EE141
Ludzie potrafią się nauczyć dwóch list, par słów A-B, a potem A-C, np.
okno-rozum
rower-śmieci
....
a potem:
okno-pociąg
rower-chmura
bez większej interferencji, wypadając dobrze w testach dla AB i AC.
Sieci z samą korekcją błędów zapominają katastroficznie!
Interferencja wynika z używania tych samych elementów i wag by
nauczyć się różnych asocjacji.
Trzeba używać różne jednostki, lub uczyć z kontekstem.
12
EE141
2
Model ABAB-AC
Model ABAB-AC
hid_kwta 12=>4 by zmniejszyć liczbe aktywnych elementów.
Test, ale bez zmian.
Projekt ab_ac_interference.proj.gz
View Events_AB, Events_AC,
Wyjście: raz A, raz C, ale kontekst rozróżnia.
Replikacja katastroficznego uczenia:
View: Train_graph_log, czerwona = błędy,
żółte = testy na AB.
Zwiększyć wariancję wartości początkowych.
wt_var 0.25=>0.4
Silniejszy wpływ kontekstu
fm_context 1=>1.5
Uczenie Hebbowskie hebb 0.01=>0.05
Zmniejszyć szybkość uczenia lrate => 0.1, Batch
Nic tu wyraźnie nie pomaga chociaż katastrofa ulega osłabieniu ...
Test pokazuje, że po nauczeniu AC sieć zapomina AB, wiele jednostek
13
w warstwie ukrytej bierze udział w uczeniu obu list.
EE141
Hipokamp
Potrzebne są wyraźnie dwa systemy uczenia, szybki i powolny –
kora i hipokamp.
14
EE141
Wię
Więcej anatomii
Anatomia i połączenia struktur
formacji hipokampa: sygnały
docierają z jedno i
wielomodalnych obszarów
skojarzeniowych przez
węchomózgowie (EC).
Hipokamp = król kory mózgowej
Obustronne połączenia z:
opuszką węchową,
korą oczołodołową,
korą wyspy,
górnym zakrętem skroniowym,
korą zakrętu obręczy.
15
EE141
16
EE141
Wię
Więcej anatomii
Formacja hipokampa
Model uwzględnia struktury:
zakręt zębaty (DG),
obszary CA1 i CA3,
korę węchomózgowia (EC).
Pct Act = % aktywności.
Sporadyczna aktywizacja
Reprezentacje w CA3 i CA1
są skupione na specyficznych
bodźcach, podczas gdy w
podporze i korze
węchomózgowia są mocno
rozproszone.
17
EE141
18
EE141
3
Formacja hipokampa
Formacja hipokampa
‰
Polaczenia w hipokampie
‰
19
EE141
Lokalizacja hipokampa
20
EE141
Formacja hipokampa
Separacja i koniunkcja wzorcó
wzorców
¾Hipokamp szybko kojarzy
różnorodne reprezentacje kory.
¾Tworzy pamięć epizodyczna
¾Uzupełnia odtworzone z pamięci
pobudzenia i separuje je w klarownie
wyodrębnione pojęcia
¾Rzadkie kodowanie ułatwia
separacje pojęć
CA1 separuje poprzez koniunkcje wzorcow
(representations)
‰
Gyrus i inne struktury hipokampa
21
EE141
22
EE141
Model hipokampa
Eksploracja modelu hipokampa
Projekt hip.proj.gz
Nauka skojarzeń AB – AC bez interferencji.
Autoskojarzenia: EC_in = EC_out, odwracalne transformacje.
Sygnały wejściowe wchodzą przez
węchomózgowie (EC_in), do
zakrętu zębatego DG i obszaru CA3,
DG wpływa również na CA3, gdzie
otrzymane sygnały moga byc
uzupelnione przez asocjacje.
CA3 ma silne połączenia wewnętrzne.
CA1 ma nieco bardziej rozproszone
rzadkie reprezentacje => EC_out.
EC: 144 el = 4*36; 1 z 4 aktywna.
DG: 625 el, CA3: 240 el
CA1: 384 el = 12 kol * 32 el
23
EE141
Jest tez w stanie odtworzyć oryginalne
pobudzenie z EC poprzez odwracalne
połączenia
BuildNet, View_Train_Trial_Log pokaże statystykę.
Wejście zawiera informacje o wzorcu wejściowym, wyjściowym i liście.
StepTrain: jednostki wybrane z poprzedniego kroku mają białe obwódki.
Częściowe nakrywanie się wzorców w EC_in, DG, CA3, CA1.
Epoka treningowa: 10 elementów listy + 3 zbiory testowe: AB, AC, nowe
View Test_Logs => tekst i graf log
train_updt = no_updt do logu testowania,
Run zrobi 3 epoki, w Text_log są wyniki, 70% pamiętanych z listy AB i
100% z listy AC.
Ustawić test_uodt = no_updt, sieć szybciej skończy 3 epoki tren/test.
Analiza testu: test_updt = Cycle_updt, Clear Trial1_1_Text_log
24
StepTest, widać samo A + kontekst, widzimy jak dopełnia się wzorzec.
EE141
4
Dalsza eksploracja
Podsumowanie
Targ w Network pokazuje jaki wzorzec był uczony, act Ù targ
W TextLog,
stim_er_on = ułamek jednostek błędnie aktywnych w EC_out,
stim_er_off = błędnie nieaktywnych w EC_out.
Model hipokampa może się szybko, sekwencyjnie nauczyć skojarzeń
AB – AC bez zbytniej interferencji. Wystarczyła do tego reguła
kontrastywna Hebba, CPCA i odpowiednia architektura.
Na Trial_1_GraphLog widać po każdym teście
te dwie liczby, dla znanych wzorców są małe,
przypomnienia prawidłowe, dla nowych są
duże, ale on ~0,5 a off ~0.8, sieć rzadko
konfabuluje.
By przejść do listy AC wyłaczamy Test_updt = Trial_updt (lub no_updt)
i StepTest aż w text_log zmienic się epc_ctrl na 1, to są zdarzneia dla
listy AC: sieć ich nie rozpoznaje (rmbr=0) bo się jeszcze ich nie uczyła.
Train_Epcs=5, train_env=Train_AC,
25
Run i sprawdź wyniki.
EE141
Pamięć
Pamięć
1.
Wagi (długoterminowe, wymagają pobudzenia) vs aktywizacje
(krótkoterminowe, juz pobudzone, może wpływać na przetwarzanie)
2.
Oparte na wagach
3.
Kora ma stany początkowe ale cierpi na katastroficzne wpływy.
Hipokampus może uczyć sie szybko bez wpływów używając rzadkich
odseparowanych reprezentacji wzorcow
Oparte na aktywizacji
¾
¾
Kora wykazuje stany początkowe ale
nie nadaje sie do pamięci krótkoterminowej
4.
Współpraca aktywizacji i pamięci w oparciu o wagi
5.
Wideo
1.
2.
pamiec krotkoterminowa u szympansow -30 sek
Porownanie ze studentami – 30 sek
27
EE141
Koniunkcja wzorców odbywa się w CA1.
Sugeruje to komplementarną rolę hipokampa, uzupełniającą powolne
mechanizmy uczenia się korowego.
Hipokamp może zapamiętywać epizody pomagające w orientacji
przestrzennej, tworzyć koniunktywne reprezentacje łączące różne
bodźce razem szybciej niż kora.
26
EE141
Torowanie krótko trwające: uwaga i wpływ na szybkość reakcji.
Poza czasem trwania treść pamięci i efekty wynikające z podobieństwa
podobne są do torowania długotrwałego.
Projekt act_priming.proj.gz.
Dopełnianie rdzeni lub homofonia, ale bez uczenia, tylko wpływ
pozostałości po ostatniej aktywacji.
Sieć nauczona jest serii IA-IB.
Test ma serię wzorców i odpowiedzi A i B, pokazujemy jej A na wyjściu,
sieć odpowiada A; teraz pokazujemy wzorzec dla B ale włączona jest
tylko faza – (brak uczenia), odpowiedź sieci to raz A, raz B.
LoadNet, View TestLogs,Test
Korelacje poprzednich odpowiedzi A z B zależą od szybkości zaniku
aktywacji; sprawdzić efekt act_decay 1 => 0, tendencja do zostawiania a.
28
Przeanalizować wpływ na wyniki w test_log.
EE141
Aktywne podtrzymywanie
Model podtrzymywania
Projekt act_maint.proj.gz: aktywne podtrzymywanie informacji w pamięci
roboczej pomimo zakłóceń, szybko dostępna, nie wymaga zmian
synaptycznych. Konieczna jest rekurencja, sieć atraktorowa z dużym
basenem atrakcji, odpornym na szum.
Video – przypominanie z opóźnieniem – 30 sek
Procesy analizy danych ze środowiska nie wymagają takich sieci, bo są
sterowane przez napływające informacje.
Aktywacja powinna się rozpływać umożliwiając skojarzenia i wnioskowanie,
dopóki mamy zewnętrzne sygnały to wystarczy, np. jeśli zapisujemy
rezultaty pośrednich operacji na kartce.
Przy braku zewnętrznych aktywacji musimy polegać na aktywnie
utrzymywanej reprezentacji w pamięci roboczej, która ma poważne
ograniczenia (słynne 7±2 Millera, a nawet 4±2 dla złożonych obiektów).
Najpierw model bez atraktorów, który wymaga zewnętrznych sygnałów,
potem rozproszone reprezentacje, ale płytkie atraktory, mało odporne na
szum; w końcu głębokie ale zlokalizowane, co uniemożliwia skojarzenia.
29
EE141
Separacja wzorców nie pozwala na skojarzenia, wnioskowanie oparte
na podobieństwie, sprawne kodowanie wielowymiarowych informacji.
Pamięć
Pamięć aktywna kró
krótkotrwał
tkotrwała
Pamięć nie jest jednorodna
¾
¾
Interferencja wynika z używania tych samych jednostek, w CA3
dochodzi do separacji jednakowych wzorców (representations)
uczonych w innym kontekście.
Projekt act_maint.proj.gz.
3 obiekty, 3 elementy (cechy)
r.wt, View Grid_log, Run: jeśli jest input aktywacja się utrzymuje, ale po
usunięciu rozpływa się (sieć się rozmarzyła ...).
Sprawdzić wpływ wt_mean =0.5, wt_var = 0.1, 0.25, 0.4
Net_Type Higher_order: dodajemy kombinację par cech.
30
EE141
Defaults, Run, dodać noise_var=0.01, sieć zapomina ...
5
Izolowane reprezentacje
Pamięć
Pamięć robocza
Kora przedczołowa gra centralną rolę w utrzymywaniu
aktywnej pamięci roboczej i ma własności, o które
chodzi: izolowane samopobudzające się sieci
atraktorowe o rozległych basenach.
Neuroanatomia, połączenia i mikrokolumny PFC =>
specjalizowany obszar dla aktywnej pamięci.
Default by wrócić do początkowych parametrów.
Net_type = isolated
Brak połączeń między ukrytymi jednostkami, ale
jest rekurencja, aktywacja się nie rozpływa.
Szum = 0.01 nie przeszkadza, ale
dla 0.02 już czasami się psuje.
Warto uczyć się skupiać pomimo szumu?
‰
Inne zadanie: czy bodziec S(t) = S(t+2)?
‰
Parametry: env_type = Maint_updt,
sieć Isolated, szum 0.01
Grid_log, Run: są dwa wejścia, Input 1 i 2,
wt_scale 1=>2, zmienia siłę połączeń lokalnych.
Sieć można przełączyć od szybkiej aktualizacji do trwałego utrzymywania.
Jak to zrobić automatycznie?
31
Dopamina i dynamiczna regulacja nagrody w PFC.
EE141
Rola dopaminy
Blokowanie dopaminy
ma zły wpływ na
pamięć roboczą, a jej
wspomaganie ma
wpływ pozytywny.
‰
Typowe eksperymenty wymagają opóźnionego wyboru i pokazują
różnicę pomiędzy PC, IT, które mają tylko chwilowe reprezentacje
bodźców, i PFC, która utrzymuje je dłużej.
Pamięć
Pamięć robocza
TD – temporal
Difference in RL
Jądra podstawy mogą również regulować działanie PFC.
32
EE141
Projekt pfc_maint_updt.proj.gz
Dopamina (DA)
dochodzi z VTA
(środmózgowie).
DA wzmacnia siłę
pobudzeń
zewnętrznych,
regulując dostęp do
pamięci roboczej.
VTA wykazuje taką
skokową aktywność.
Dynamiczna „bramka”
AC dodana o sieci z
rekurencją i uczenia w
oparciu o różnice
czasowe (TD).
Wejścia: A, B, C, D
Ignore, Store, Recall
decyduje co z nimi robić
33
EE141
Model PFC
r.wt: jednoznaczne połączenia między wejściem, ukrytymi i PFC.
AC ma połączenia z warstwą ukrytą i PFC, ale połączenia zwrotne AC =>
PFC służa tylko do modulacji.
Act, Step: obserwujemy fazy – i +, na początku aktywność PFC i AC jest
zerowa, są dwa kroki + by zmienić najpierw wagi PFC, a potem zrobić
właściwą propagację sygnału.
Kiedy pojawi się sygnał R (przypomnienia) sieć nie zadziała na razie
poprawnie, nagroda w AC jest 0.
Początkowo sieć „nie wie o co chodzi”, uczenie tylko na Store, Ignore
warstwy ukrytej 2, ale czasami ale szum w PFC spowoduje pojawienie
się prawidłowej odpowiedzi i nagrody.
View Epch_log, obserwuj zmianę wag jednostki AC, r.wt
Wagi S => AC powinny wzrosnąć i błąd spadnie, żółta linia to liczba
nietrafionych przewidywań AC.
View, Grid_log, Clear, act, Step. Store wprowadza dane do PFC, a Ignore
35
nie. Po przypomnieniu (Recall) PFC jest zerowane.
EE141
‰
A. PR – przestrzenna.
B. PR - przestrzenna, działania zależne od woli (self-ordered tasks).
C. PR - przestrzenna, obiektów i werbalna, działania zależne od woli i
myślenie analityczne.
D. PR - obiektów, myślenie analityczne.
PFC jest pamięcią roboczą, AC = adaptujący się krytyk jest systemem
nagrody (dopaminowym) kontrolującym odnawianie informacji w PFC,
warstwa ukryta reprezentuje korę ciemieniową, ukryta 2 mapuje do
wyjścia (kora czołowa). AC uczy się przewidywać przyszła nagrodę,
modulując siłę wewnętrznych połączeń PFC.
34
EE141
A-nie B
Interakcje pomiędzy pamięcią aktywną i synaptyczną - wagi już się
zmieniły ale pamięć aktywna jest w innym stanie: co zwycięży?
Takie interakcje widoczne są w rozwijającym się mózgu dzieci ~ 8
miesięcznych (Piaget 1954), doświadczenia robiono też na zwierzętach.
Zabawka (jedzenie) chowana jest w pudełku A i po krótkiej przerwie
dziecko (zwierzę) może ją stamtąd wyciągnąć. Po kilku powtórzeniach w
A zabawka chowana jest w miejscu B; dzieci szukają nadal w A.
Pamięć aktywna nie działa u dzieci
równie sprawnie co synaptyczna, lezje
w okolicach kory przedczołowej
wywołują u dorosłych ludzi i rezusów
podobne efekty.
Dzieci robią mniej błędów patrząc w
kierunku miejsca, gdzie schowano
zabawkę, niż sięgając po nią. Jest
wiele interesujących wariantów tego
typu doświadczeń i wyjaśnień na
różnym
poziomie.
EE141
36
6
Projekt AA-nie B
Eksperyment 1
Model procesu decyzyjnego: wiemy, że informacja o miejscu i obiektach
jest rozdzielona, więc taką informację podjemy na wejściu: miejsce A, B,
C, zabawka T1 lub T2 i przykrywka C1 lub C2.
Pamięć synaptyczna realizowana za pomocą standardowego uczenia
Hebbowskiego CPCA, a pamięć aktywna jak wzajemne połączenia
pomiędzy reprezentacjami sieci w warstwie ukrytej.
Warstwy wyjściowe : decyzje o kierunku patrzenia i sięgania.
Kierunek patrzenia jest zawsze aktywowany
w czasie każdego doświadczenia, sięganie
rzadziej, tylko po przysunięciu całego układu
do dziecka, więc te połączenia podlegać
będą słabszemu uczeniu.
Tendencja początkowa: zgodność patrzenia i
sięgania na A (waga 0.7). Wszystkie wejścia
połączone z ukrytymi neuronami, wagi 0.3.
37
EE141
Projekt ab.proj.gz.
rect_ws =0.3 decyduje o sile pobudzeń
rekurencyjnych w ukrytej warstwie (pamięć
robocza), zmiana tego parametru symuluje
dojrzewanie dziecka.
View Events: 3 rodzaje zdarzeń, wstępny pokaz
4x, potem A 2x, potem B 1 x. Zdarzenie ma 4
segmenty czasowe:
1) start, pretrial – schowki przykryte;
2) prezentacja, zabawka chowana do A;
3) oczekiwanie – zabawka w A;
4) wybór – możliwe sięganie.
Tylko widoczne elementy są aktywne.
View: Grid_log, Run robi cały eksperyment,
wyłącza podglądanie (display).
ViewPre pokazuje na Grid_log, aktywuje się A
ViewA pokazuje testy A, po poduczeniu.
ViewB pokazuje testy B: sieć robi błąd.
38
EE141
Dalsze eksperymenty
Inne rodzaje pamię
pamięci
Aktywność w ukrytej warstwie rozpływa się w stronę reprezentacji
skojarzonej z A.
rect_ws 0.3 => 0.75 dla dojrzałego dziecka.
Run, ViewB
Chociaż pamięć synaptyczna się nie zmieniła to sprawniejsza pamięć
robocza umożliwia podejmowanie właściwego działania.
Tradycyjne podejście do pamięci zakłada funkcjonalne, kognitywne,
monolityczne kanoniczne reprezentacje w pamięci.
Z modelowania wynika, że jest wiele oddziaływujących ze sobą
systemów odpowiedzialnych za pamięć, o różnej charakterystyce,
odmiennych reprezentacjach i typie informacji.
Spróbować dla rect_ws = 0.47 i 0.50
Co się dzieje? Nie ma żadnego działania – wahanie?
Wyniki zależą od długości opóźnienia, dla krótszego jest mniej błędów.
Delay 3=>1
Zrobić testy dla rect_ws = 0.47 i 0.50
Co się dzieje dla bardzo małego dziecka?
rect_ws = 0.15, delay = 3;
Słaba rekurencja, słabe uczenie dla A.
Pamięć rozpoznawcza: czy element listy był wcześniej widziany?
Wystarczy sygnał „poznaję”, przypomnienie nie jest konieczne.
Model hipokampa jest tu też przydatny, pozwala na przypomnienie, ale
to jest za dużo – w pamięci rozpoznawczej główną rolę wydają się
odgrywać okolice kory okołowęchowe (perirhinal cortex).
Dopełnianie brakującej informacji (cued recall).
Swobodne przypominanie – efekty położenia na liście (najlepiej na
początku i końcu), oraz grupowanie (chunking) informacji.
39
EE141
40
EE141
Uczenie się
się kategorii
Dynamika kanoniczna
Kategoryzacja w psychologii - wiele teorii. Klasyczne eksperymenty:
Shepard et. al (1961), Nosofsky et al. (1994).
Problemy o wzrastającym stopniu złożoności, podział na kategorie C1,
C2, 3 binarne własności: kolor (czarny/biały), rozmiar (mały/duży),
kształt (Ο,Ì).
Typ I : jedna własność określa kategorię.
Typ II: dwie własności, XOR, np. Kat A: (czarny,duży) lub (biały,mały),
kształt dowolny.
Typ III-V: jedna własność + coraz więcej wyjątków.
Typ VI: brak reguły, wyliczanka
Trudności i szybkość uczenia się: Typ I < II < III ~ IV ~ V < VI
Co dzieje się w mózgu w czasie uczenia się definicji kategorii na
przykładach? Złożona neurodynamika <=> najprostsza dynamika
(kanoniczna). Dla wszystkich reguł logicznych można napisać
odpowiednia równania.
Dla problemów typu II, czyli XOR:
V ( x, y, z ) = 3 xyz +
∂V
= −3 yz − ( x 2 + y 2 + z 2 ) x
∂x
∂V
= −3xz − ( x 2 + y 2 + z 2 ) y
y& = −
∂y
∂V
= −3 xy − ( x 2 + y 2 + z 2 ) z
z& = −
∂z
x& = −
41
EE141
2
1 2
( x + y2 + z2 )
4
Przestrzeń
cech
42
EE141
7
Uczenie
Wbrew wię
ększoś
wi
kszości
większości
Punkt widzenia
Lista: choroby C lub R, symptomy PC, PR, I
Neurodynamika
Choroba C kojarzy się z symptomami (PC, I), choroba
R z (PR, I); C występuje 3 razy częściej niż R. (PC, I)
=> C, PC => C, I => C.
Przewidywania „wbrew większości” (Medin, Edelson
1988). Chociaż PC + I + PR => C (60%)
to PC + PR => R (60%)
Baseny atraktorów neurodynamiki?
PDF w przestrzeni {C, R, I, PC, PR}.
Interpretacja psychologiczna (Kruschke
1996): PR ma znaczenie ponieważ jest to
symptom wyróżniający, chociaż PC jest
częstszy. Aktywacja PR + PC częściej
prowadzi do odpowiedzi R ponieważ
gradient
w kierunku R jest większy.
EE141
Psychologia
I+PC jest częstsze => silniejsze
połączenia synaptyczne, większe
i głębsze baseny atrakcji.
Symptomy I, PC są typowe dla C
ponieważ występują częściej.
Aby uniknąć atraktorów koło I+PC
prowadzących do C, tworzy się
głębszy i bardziej zlokalizowany
atraktor koło I+PR.
Dla rzadkiej choroby R symptom I
nie jest jednoznaczny, więc
uwaga skupia się nad PR
skojarzonym z R.
43
44
EE141
Testowanie
Podsumowanie
Punkt widzenia
Neurodynamika
‰
Wiedza kształtująca się w pamięci jest
‰
Zachowanie i hamowanie wiedzy są wynikiem
dynamicznego przetwarzania informacji raczej niż z
gory ustalonych struktur oddziaływań
Rozpoznanie polega na umiejętności odróżnienia
wcześniej nauczonych pobudzeń od nowych,
nieznanych pobudzeń
Hipokamp zapewnia wysokiej jakości rozpoznanie o
wysokim progu gwarantującym kojarzenie poznanych
wcześniej pobudzeń
Torowanie przyczynia się do powolnego budowania
niezmienniczych reprezentacji
Dwa mechanizmy uczenia
Psychologia
ƒ obudowana, dynamiczna, ciągła, pojawiająca się
Aktywacja samego I prowadzi do
C ponieważ więcej przykładów
I+PC tworzy większy wspólny
basen atrakcji niż I+PR.
I => C, zgodnie z oczekiwaniami,
more frequent stimuli I+PC are
recalled more often.
Activation by I+PC+PR leads
frequently to C, because I+PC
puts the system in the middle of
the large C basin and even for PR
geadients still lead to C.
I+PC+PR => C because all
symptoms are present and C is
more frequent (base rates again).
‰
‰
‰
PC+PR => R because R is distinct
Activation by PR+PC leads more
frequently to R because the basin symptom, although PC is more
common.
of attractor for R is deeper, and
the gradient at (PR,PC) leads to R.
45
EE141
‰
ƒ W oparciu o wagi połączeń
ƒ W oparciu o aktywizacje neuronow
46
EE141
Podsumowanie
‰
‰
‰
‰
‰
‰
‰
Kora wspomaga rozpoznanie naprowadzając na ślad
Kora prowadzi do nie stymulowanych skojarzeń
Kora odpowiedzialna jest za pamięć roboczą
współdziałając z hipokampem
Sekwencje zgrupowanych reprezentacji przechowane
są w pamięci długoterminowej
Pamięć oparta o aktywizacje wymaga połączenia
szybkiego uaktualniania z ze stabilna reprezentacja
Hipokamp używa rzadkich odseparowanych
reprezentacji do szybkiego uczenia bez mieszania
pojęć
Torowanie (ślad) pamięci może być długoterminowe
(w oparciu o wagi) lub krótkoterminowe (w oparciu o
aktywizacje)
47
EE141
8