vOICe – to see… …with your ears…

vOICe – to see…
…with your ears…
Łukasz Trzciałkowski
[email protected]
2007-10-30
Zmysł słuchu…
• …to zmysł umożliwiający odbieranie (percepcję)
fal dźwiękowych.
• Jest on wykorzystywany przez organizmy żywe
do komunikacji oraz rozpoznawania otoczenia.
• Narządami słuchu u człowieka są uszy:
– Narządy odbierające fale dźwiękowe
i przekształcające je w drgania mechaniczne,
a następnie w impulsy nerwowe.
Łukasz Trzciałkowski
2
Ucho - budowa
•
•
•
•
•
•
•
•
•
•
•
•
1 - czaszka
2 - przewód słuchowy zewnętrzny
3 - małżowina uszna
4 - błona bębenkowa
5 - okienko owalne
6 - młoteczek
7 - kowadełko
8 - strzemiączko
9 - kanał półkolisty
10 - ślimak
11 - nerw słuchowy
12 - trąbka Eustachiusza
Łukasz Trzciałkowski
3
Na czym polega słyszenie ?
• Ucho zewnętrzne – małżowina, przewód słuchowy i
błona bębenkowa – gromadzi fale dźwiękowe z
otoczenia (powietrze).
• Ucho środkowe – młoteczek, kowadełko
strzemiączko – błona powodują przeniesienie
drgań przez ucho środkowe aż do ucha
wewnętrznego (powietrze).
• Ucho wewnętrzne - błona podstawna, komórki
słuchowe – reagują na różne tony
i przetwarzają je na impulsy elektryczne (ciecz).
Łukasz Trzciałkowski
4
Zmysł wzroku…
• … –zmysł umożliwiający odbieranie bodźców
świetlnych ze środowiska oraz ogół czynności
związanych z analizą tych bodźców.
• Narządem wyspecjalizowanym do rejestrowania
obrazu jest oko.
– rozpoznawanie kształtów,
– ocena odległości obiektów od oka,
– rozróżnianie barw.
Łukasz Trzciałkowski
5
Oko - budowa
Łukasz Trzciałkowski
6
Na czym polega widzenie ?
• Ludzkie oko można z grubsza przyrównać do
aparatu fotograficznego, którego obiektyw
tworzą dwie soczewki plusowe – rogówka i
soczewka. Jako system czuciowy, oko jest
głównym narzędziem, dzięki któremu odnosimy się
do otaczającego nas świata.
• To, co tak naprawdę widzimy to nie są obrazy
odbite w siatkówce, lecz wynik ich kompleksowego
przetwarzania przez ośrodkowy układ nerwowy.
• Obraz, który powstaje na siatkówce jest obrazem
rzeczywistym, odwróconym i pomniejszonym.
Łukasz Trzciałkowski
7
Synestezja
• … zdolność, w której doświadczenia jednej
modalności zmysłowej wywołują również
doświadczenia, charakterystyczne dla innych
modalnośći zmysłowych.
– np. odbieranie niskich dźwięków wywołuje wrażenie
miękkości,
– barwa niebieska odczuwana jest jako chłodna
• Niektóre osoby charakteryzują się szczególnym
nasileniem tej zdolności. John Lennon.
Łukasz Trzciałkowski
8
Synestezja
• Istnieją dwie teorie tłumaczące owe zjawisko:
– Jedna mówi, że istnieje więcej połączeń synaptycznych
pomiędzy neuronami przenoszacymi "zmysłowe
informacje",
– a druga - że ilość połączeń synaptycznych jest taka
sama, a mieszanie się odbieranych doswiadczeń wynika
z tego iż zachwiana jest równowaga pomiędzy
hamowaniem i wyciszaniem docierajacych impulsów w
mózgu.
Łukasz Trzciałkowski
9
Co z niewidomymi ?
• Jak „dźwięki” otaczającego świata mogą
informować niewidomego ?
• Co pomaga niewidomym walczyć z kalectwem i
„unormalniać” codzienne życie ?
• Czy istnieje rozwiązanie ?
• Może implanty odbierające
bodźce wzrokowe ?
Łukasz Trzciałkowski
10
Implant oka
• Naukowcy z Uniwersytetu Stanford w Kaliforni
przedstawili projekt implantu oka, który ma zająć miejsce
światłoczułych komórek znajdujących się w siatkówce
chorego oka. Inne implanty wykorzystują moduł, który
przekształca światło w elektroniczne impulsy, które
dochodzą do mózgu przez włókna nerwowe. Ten zaś działa
inaczej. Będzie umieszczony w siatkówce i będzie zmieniał
światło w substancje, stymulujące komórki nerwowe.
Wykorzysta do tego elektrody. Implant będzie wykonany z
polimerowego materiału, który jest przyjazny dla oka.
Wciąż trwają prace badawcze nad implantem.
Łukasz Trzciałkowski
11
Czy każdy niewidomy jest
synestetą ?
• Odpowiedź brzmi NIE – raczej rzadko się to
zdarza. Możnaby powiedzieć:
„Wszyscy jesteśmy synestetami ale nieliczni z
nas sobie to uświadamiają”
• Jednak wiele przypadków wskazuje na to iż słuch
osoby niewidomej jest bardzo wyostrzony.
http://serwisy.gazeta.pl/kraj/1,34314,573764.html
– INTERNET i NIEWIDOMI (polecam artykuł)
Łukasz Trzciałkowski
12
the vOICe
• System wykorzystujący kamerę wideo do
przetwarzanie zbieranych w czasie rzeczywistym
obrazów do generowania dźwięków.
• Działanie systemu ma na celu umożliwienie
osobom niewidomym powrót do „normalnego”
życia. (oczywiście nadal w ograniczonym
znaczeniu)
Łukasz Trzciałkowski
13
the vOICe
• Projekt ten stanowi pewnego rodzaju ścieżkę do
poznania właściwości ludzkiego mózgu – w
kontekście uczenia się z wykorzystaniem zmysłu
słuchu jako zmysłu bazowego.
• Istnieje przekonanie, że zmysł słuchu oraz
pozostałe zmysły u osób niewidomych
„wyostrzają się” – dlatego projekt vOICe – budzi
tak wiele emocji i jest pozytywnie traktowany
przez wiele organizacji z całego świata.
Łukasz Trzciałkowski
14
Okulary używane w the vOICe
Łukasz Trzciałkowski
15
Łukasz Trzciałkowski
16
MATLAB i dźwięki
• [sound,fs] = wavread (‘sound.wav');
– Otwieranie pliku wav (dźwięk i częstotliwość )
• left=sound(:,1); right=sound(:,2);
– Odseparowanie kanałów
• time=(1/fs) * length(left);
t=linspace(0,time,length(left));
plot(t,left)
– Wykres lewego kanału
• time=(1/fs)*2000;
t=linspace(0,time,2000);
plot(t,left(1:2000))
– Wykres fragmentu lewego kanału
Łukasz Trzciałkowski
17
MATLAB i dźwięki
• soundsc(left,fs)
soundsc(right,fs)
– Lewy kanał mono
- Prawy kanał mono
• soundsc(sound,fs)
– Stereo cały plik
• wavwrite( )
– funkcja zapisująca tablice jako dźwięk
• left=flipud(left);
– Odwraca tablicę 123 -> 321
Łukasz Trzciałkowski
18
Referencje
• http://gaia.oticon.pl/eprise/main/Oticon/PL_pl/SEC_AboutHearing/Le
arnAboutHearing/Products/SEC_Gaia/AboutHearing/HearingAndHe
aringLoss/REUSE02_HowTheEarWorks
– Jak działa ucho ?
• http://www.widzimisie.pl/index/section/233/0/0/jak+dzia+a+wzrok.h
tml?Finlife=9b468ab51519e475bcec5d8f8f53e3cc
– Jak działa wzrok ?
• http://www.oko.info.pl/index.php?body=4301
– Oko człowieka
• http://www.seeingwithsound.com/
– vOICe
• http://pl.wikipedia.org/
– Ogólne informacje
Łukasz Trzciałkowski
19