Opis projektu: System rozpoznawania gestów dłoni na podstawie

Politechnika Wrocławska
Projekt zespołowy
Opis projektu:
System rozpoznawania gestów dłoni na
podstawie miopotencjałów oraz czuciowego
sprzężenia zwrotnego dla zręcznej protezy dłoni.
2013
1
Problem projektu
Głównym problemem projektu jest stworzenie kompleksowego systemu, który mógłby umożliwić przywrócenie osobom po utracie dłoni, jej podstawowych funkcji manipulacyjnych i czuciowych. Odzyskanie przynajmniej częściowej funkcjonalności utraconej dłoni pozwoli na znaczne
zwiększenie komfortu życia osoby poszkodowanej, umożliwiając jej łatwy powrót do trybu życia
prowadzonego przed utratą dłoni(w przypadku osób, które utraciły dłoń w wyniku wypadku,
choroby przewlekłej) oraz łatwiejsze znalezienie pracy. Oprócz oczywistego aspektu ekonomicznego jest to bardzo ważne w kontekście zdrowia psychicznego osoby poszkodowanej.
Rysunek 1: Schemat ideowy systemu
2
Cel projektu
W ramach projektu zostanie zrealizowany system badawczy do testowania algorytmów rozpoznawania założonego zestawu ruchów dłoni na podstawie sygnałów EMG z mięśni przedramienia
oraz czuciowego sprzężenia zwrotnego umożliwiającego osobie z protezą odczuwanie nacisku na
poszczególnych polach czuciowych protezy oraz temperatury dotykanego obiektu. System powinien zapewniać funkcjonalność potrzebną do wykorzystania go w przyszłości, w odpowiednio
zminiaturyzowanej wersji, do sterowania rzeczywistą bioprotezą dłoni.
3
Prowadzenie dokumentacji oraz upowszechnianie wyników
Dokumentacja projektu będzie realizowana w postaci strony internetowej zawierającej:
• materiały multimedialne prezentujące osiągnięte rezultaty,
• schematy zbudowanych układów elektronicznych,
• materiały dotyczące wykorzystanych algorytmów,
• dokumentację kodów źródłowych z wykorzystaniem systemu Doxygen,
• raporty z wykonania poszczególnych etapów projektu.
1
4
Założenia projektowe oraz ich realizacja
4.1
Podstawowe założenia projektowe
• Wykorzystanie zestawu akwizycji bagnolii firmy Delsys do wzmacniania sygnałów EMG,
• Wykorzystanie środowiska Matlab do przetwarzania, analizy i klasyfikacji sygnałów,
• Wybór najlepszej metody przetwarzania sygnałów w celu określenia cech oraz stworzenie
sieci neuronowej w celu precyzyjnej klasyfikacji gestów,
• Opracowanie systemu sensorycznego do czuciowego sprzężenia zwrotnego temperatury i
siły nacisku chwytanego obiektu,
• Wykorzystanie miniaturowych czujników temperatury oraz rezystorów grzejnych typu
thick film w układzie przenoszącym czucie ciepła z prostezy na ciało człowieka,
• Układ przenoszący zmysł nacisku działający w oparciu o modulację intensywności wibracji w zależności od siły nacisku,
• Wykonanie elementu ubioru zapewniającego prawidłowe pozycjonowanie elementów pomiarowych oraz elementów wykonawczych do czuciowego sprzężenia zwrotnego; na mapie
ciała człowieka.
4.2
Plan pracy
1. Zakup niezbędnych elementów pomiarowych i wykonawczych
2. Wstępna identyfikacja optymalnego układu elektrod pomiarowych systemu Bagnolli firmy
Delsys
3. Uruchomienie komunikacji pomiedzy środowiskiek matlab a systemem bagnolli firmy delsys
4. Opracowanie systemu pomiaru temperatury i siły nacisku na wybrane obszary dłoni 1
tydz
5. Wytworzenie rękawicy z czujnikami
6. Testy pilotażowe
7. Wizualizacja pobranych danych w srodowisku matlab
8. Opracowanie metody odwzorowania pomiarów na elementy wykonawcze umieszczone na
ciele człowieka
9. Diagnoza i selekcja ruchów rozpoznawanych za pomocja analizy EMG możliwych do wdrożenia w protezie
10. (K) - Stworzenie bazy danych próbek sygnałów odpowiadających każdemu z założonych
ruchów (2 tyg)
11. Rozmieszczenie elementów wykonawczych na ciele człowieka gwarantujące jednoznaczność
interpretacji bodzców
12. (K) Analiza próbek sygnałów w celu wyodrębnienia cech charakterystycznych (3 tyg)
2
13. (K) Wykonanie koszulki sensorycznej
14. (K) Stworzenie sieci neuronowej i nauczenie jej tworzenia powiązań między cechami charakterystycznymi a gestami. (4 tyg)
15. (K) Nauka rozpoznawania bodźców działających na protezę poprzez sygnały docierające
z kamizelki 2 tyg
16. Opracowanie systemu umożliwiającego wykorzystanie przetworzonych danych w celu
3
7d
7d
6d
6d
6d
6d
Wstępna identyfikacja optymalnego układu elektrod pomiarowych systemu Bagnolli firmy Delsys
Uruchomienie komunikacji pomiedzy środowiskiek matlab a systemem bagnolli firmy delsys
Opracowanie systemu pomiaru temperatury i siły nacisku na wybrane obszary dłoni
Wytworzenie rękawicy z czujnikami
Wizualizacja pobranych danych w srodowisku matlab
Testy pilotażowe
15d
Analiza próbek sygnałów w celu wyodrębnienia cech charakterystycznych
7d
7d
Stworzenie sieci neuronowej i nauczenie jej tworzenia powiązań między cechami charakterystycznymi a gestami
Nauka rozpoznawania bodźców działających na protezę poprzez sygnały docierające z kamizelki
Opracowanie systemu umożliwiającego wykorzystanie przetworzony danych w celu sterowania ruchami protezy
Kamień milowy
7d
7d
Wykonanie koszulki sensorycznej
Kamień milowy
14d
15d
Rozmieszczenie elementów wykonawczych na ciele człowieka gwarantujące jednoznaczność interpretacji bodzców
Diagnoza i selekcja ruchów rozpoznawanych za pomocja analizy EMG możliwych do wdrożenia w protezie
Stworzenie bazy danych próbek sygnałów odpowiadających każdemu z założonych ruchów
14d
14d
Opracowanie metody odwzorowania pomiarów na elementy wykonawcze umieszczone na ciele człowieka
Kamień milowy
14d
Praca
Zakup niezbędnych elementów pomiarowych i wykonawczych
Nazwa
2013, 3. kw.
lip
cze
kwi
maj
2013, 2. kw.
4.3
Budżet
Części:
Czujniki temperatury
Czujniki nacisku
Elektronika
Silniczki wibracyjne
Rezystory grzejne
Okablowanie
Tekstylia
Suma
5
Ilość:
3szt.
4szt.
4-20szt.
3-4szt.
-
Orientacyjny koszt:
120zł
50zł
160zł
50zł
40zł
30zł
50zł
500zł
Zarządzanie projektem
Decyzje podejmowane większością głosów, w przypadku sytuacji nierozstrzygalnej metodami
demokratycznymi decyzję podejmuje kierownik zespołu.
• Kody źródłowe oprogramowania umieszczone w repozytoriach typu Git.
• Wszelkie prace pisemne będą rozwijane w oparciu o usługę Docs, firmy Google, następnie
składane w systemie Latex i przechowywane w repozytorium,
• Komunikacja zapewniona drogą elektroniczną, spotkania wszystkich członków grupy co 2
tygodnie. Doraźne spotkania w celu rozwiązywania napotkanych problemów.
5.1
Odpowiedzialność za poszczególne zadania
Projekt został podzielony na 2 główne grupy podwykonawcze:
Rysunek 2: podział na grupy podwykonawcze
5
6
Członkowie grupy projektowej
6