Referaty sesja 1p.indd - Pomiary Automatyka Robotyka

Pomiary Automatyka Robotyka 2/2009
dr in. Andrzej Grabowskia
prof. dr hab. Robert Kosiskia,b
dr in. Marek Dwiareka
(a) Centralny Instytut Ochrony Pracy - Pastwowy Instytut Badawczy
(b) Politechnika Warszawska, Wydzia Fizyki
UKAD NEURONOWY ANALIZUJCY OBRAZY STEREOSKOPOWE
W CELU IDENTYFIKACJI POOENIA PRACOWNIKA
WZGLDEM STREF NIEBEZPIECZNYCH
Nowoczesne systemy produkcji staj si coraz bardziej elastyczne, wobec czego
wymagaj równie elastycznych systemów bezpieczestwa, które mona atwo
dostosowa do rónych procesów technologicznych. Waciwoci takie posiadaj
wizyjne systemy bezpieczestwa (VBPD - Vision Based Protective Devices).
W niniejszej pracy przedstawiamy ukad sztucznych sieci neuronowych do
identyfikacji sytuacji niebezpiecznych. Sekwencja obrazów z dwóch kamer jest
przesyana do komputera PC, a nastpnie jest analizowana przez ukad
komórkowych sieci neuronowych (CNN) zrealizowany programowo. Ukad ten
wykrywa obecno nowego obiektu pojawiajcego si w polu bezpieczestwa
(PB) i okrela jego pooenie i prdko wzgldem ruchomych elementów
maszyny (takich jak np. rami robota przemysowego). Eksperymenty
przeprowadzone z wykorzystaniem obrazów syntetycznych (wygenerowanych za
pomoc technik rzeczywistoci wirtualnej) i rzeczywistych obrazów o niskich
parametrach jakociowych (kamery internetowe) wskazuj, e prezentowany
system jest w stanie dokona prawidowej identyfikacji sytuacji niebezpiecznej
podczas pracy w czasie rzeczywistym.
ARTIFICIAL NEURAL NETWORK FOR WORKER PRESENCE
IDENTIFICATION IN DANGEROUS ZONES USING STEREOVISION
Modern production processes becomes more and more flexible. Therefore there is
a need that devices used in workplace also support flexibility as much as possible.
Such characteristics have Vision Based Protective Devices (VBPDs). We present
a neural system for the advanced recognition of danger situation for safety
control. The sequence of the images from two cameras located above the work
stand is presented to the system of cellular neural networks (CNNs) realized in the
PC computer. They detect a new object appearing in a Safety Field (SF), define
its position with respect to the moving parts of machine (e.g. the arm of the robot)
and perform the feature extraction of its image. Experiments conducted using
artificial images (virtual environment) and low quality images (internet cameras)
indicate that our system can work in a real time and detect successively
dangerous situations.
1. WPROWADZENIE
Osignicie niezakóconej pracy w przemyle wymaga zastosowania rónych typów systemów bezpieczestwa wykrywajcych obecno pracownika. Konieczne to jest zwaszcza
w przypadku, gdy obszary pracy maszyny i czowieka nie mog by od siebie cakowicie odseparowane. Klasyczne systemy bezpieczestwa takie jak maty czue na nacisk, kurtyny
wietlne oraz lasery skanerowe maj pewne wady, w szczególnoci uniemoliwiaj bd powanie utrudniaj prac, nawet w obszarze odlegym od ruchomych elementów maszyny, co
142
automation 2009
Pomiary Automatyka Robotyka 2/2009
moe przyczynia si do spadku wydajnoci pracy. Ukady te mog by wraliwe na pojawiajce si niewielkie obiekty, które nie mog spowodowa sytuacji niebezpiecznej. Ponadto
w przypadku skanerów laserowych i kurtyn wietlnych skanowana przestrze ograniczona
jest do jednej paszczyzny (warto zaznaczy, e systemy wyposaone w kamery s tego ograniczenia pozbawione).
W ostatnich latach mona zaobserwowa powszechny trend modyfikacji urzdze niezwizanych z zagadnieniami bezpieczestwa do tego, aby mona je byo zastosowa w systemach
bezpieczestwa [1]. Dobrym przykadem s wanie powszechnie stosowane w przemyle
kamery, m.in. do kontroli jakoci produkcji. Kamery s wykorzystywane równie na np. zrobotyzowanym stanowisku przenoszenia, na którym system wizyjny rozpoznaje i na bieco
analizuje pooenie elementów, przekazujc niezbdne informacje do ukadu sterowania trajektori ruchu i pooeniem kocówki robota.
Obecnie kamery znajduj coraz szersze zastosowanie w zagadnieniach dotyczcych bezpieczestwa (wymagania dotyczce wizyjnych systemów bezpieczestwa przedstawione s w
[2]). Okazuje si, ze wyposaone w kamery systemy bezpieczestwa mog z powodzeniem
zastpi w pewnych zastosowaniach skanery laserowe oraz kurtyny wietlne (tego typu produkty s ju komercyjnie dostpne). Ponadto systemy tego typu charakteryzuj si wiksz
elastycznoci. Zasada ich dziaania opiera si na detekcji przez kamer promieniowania
elektromagnetycznego emitowanego przez urzdzenie w zakresie nie widzialnym dla ludzi.
Emitowana wizka odbija si od odblaskowej tamy i powraca do kamery. W ten sposób system bezpieczestwa moe zareagowa, jeeli w obszarze pomidzy emiterem a elementem
odblaskowym pojawi si jaki obiekt (np. rka pracownika).
Wykorzystanie ukadów wizyjnych w systemach bezpieczestwa moemy podzieli na dwie
róne kategorie [1]:
a) monitorowanie okrelonego obszaru w celu wykrycia obecnoci ludzi
b) zapobieganie kolizji pracownika z ruchomymi elementami maszyny (np. ramieniem
robota) lub pojazdami.
W obu wymienionych przypadkach wizyjny system bezpieczestwa musi poprawnie odrónia pracownika od otoczenia w obrbie strefy obserwowanej przez kamery. W ostatnich latach opracowano wiele rónych metod. Jedn z nich jest naoenie odpowiednich deseni (czsto stosowan form jest czarno-biaa szachownica) na elementy wystpujce na stanowisku
pracy, które s w polu obserwacji kamer [3], [4]. Zakócenie regularnoci deseni jest sygnaem powstania sytuacji niebezpiecznej, lub te moe posuy do lokalizacji pooenia pracownika [5]. Z rozwizaniem takim cz si jednak pewne trudnoci, gdy naoenie deseni
jest czsto trudne do wykonania (zwaszcza w przypadku, gdy na stanowisku pracy znajduj
si przedmioty o skomplikowanym ksztacie). System taki jest w duej mierze odporny na
powstawanie cieni oraz zmiany owietlenia, jednake jak wynika z przeprowadzonych bada
nie dziaa prawidowo dla niskiego i bardzo wysokiego natenia wiata [6].
Obraz rejestrowany przez wikszo kamer jest zapisywany w formacie RGB (Red, Green,
Blue). Innym czsto uywanym modelem przestrzeni barw jest HSV (Hue, Saturation, Value)
posiadajcy równie trzy skadowe: czstotliwo wiata (H), nasycenie koloru (S) oraz warto (V). Obraz pochodzcy z kamery moe by rzutowany na dwuwymiarow przestrze HS.
Pominicie skadowej V umoliwia dalsz analiz obrazów, której wyniki bd niezalene od
natenia owietlenia (aczkolwiek jej wyniki s silnie zalene od barwy wiata). Analiza taka
umoliwia poprawne wyszukanie elementów o okrelonym, wyróniajcym si od otoczenia
kolorze [6]. Elementami takimi mog by np. kamizelki lub kaski noszone przez pracowni-
automation 2009
143
Pomiary Automatyka Robotyka 2/2009
ków, co umoliwia wykrycie ich obecnoci w strefie obserwowanej przez kamer. System
taki nie jest w stanie wykry obecnoci osób nie posiadajcych na sobie elementów
o okrelonej barwie. Nawet w przypadku, gdy pracownik ma na sobie odpowiedni kamizelk, niektóre czci ciaa (np. rce) nadal nie bd wykrywane przez system. Podobnym podejciem do problemu jest wykorzystanie kamer rejestrujcych obraz w podczerwieni oraz
wyszukiwanie elementów, które s dobrze widoczne w tym zakresie widma promieniowania
elektromagnetycznego [6]. W przypadku dalekiej podczerwieni (FIR) powan trudno
w analizie obrazu stanowi obecne w otoczeniu róda ciepa oraz zjawisko remanencji
termicznej.
Istnieje te niewielka liczba opracowa systemów bezpieczestwa, które potrafi w sposób
inteligentny analizowa otoczenie robota [1]. Odseparowanie pracownika od robota moe
wpywa negatywnie na elastyczno produkcji. W pewnych przypadkach korzystne moe
by bowiem, aby mogli ze sob wspópracowa. Uwaa si, e umoliwienie pracy robota
bezporednio w obecnoci czowieka moe pozwoli na dalsze zredukowanie kosztów
produkcji przemysowej [1], [7]. W literaturze przedstawiono kilka przykadowych scenariuszy wspópracy czowieka i robota [8], [9], m.in. wykorzystanie ramienia robota w celu
pomocy czowiekowi w manipulowaniu bd przenoszeniu rónych obiektów [10], [11], [12].
Innym przykadem jest moliwo uczenia robota przez czowieka, który znajdujc si w pobliu dziaajcego robota wskazuje mu now sekwencj ruchów za pomoc wskanika laserowego [13].
W tego typu przypadkach wspópracy czowieka i robota dobrym rozwizaniem jest wykorzystanie wizyjnego systemu bezpieczestwa. Na podstawie obrazów z kamery stale obliczana jest odlego pomidzy pracownikiem i robotem. Warto ta jest porównywana
z wartoci minimaln, poniej której istnieje ryzyko kolizji. W najprostszym przypadku
dziaanie maszyny jest zatrzymywane, gdy pracownik pojawia si w strefie zagroenia monitorowanej przez kamer [14]. W przypadku bardziej wyrafinowanych systemów (które bior
pod uwag nie tylko pooenie ale i zachowanie czowieka), moliwe jest bardziej zaawansowane dziaanie zapobiegajce powstaniom sytuacji niebezpiecznych (np. poprzez zmian ruchu ramienia robota) [7], [8], [9], [15].
Naley zauway, e roboty pracuj dzisiaj prawie wycznie za ogrodzeniem ochronnym,
odseparowane od operatora aplikacji. Natomiast dziki zastosowaniu wizyjnego systemu
bezpieczestwa operator moe np. umieci element bezporednio w chwytaku robota.
Równoczenie za, dziki wyeliminowaniu koniecznoci penego odseparowania obszaru
pracy robota, operator ma swobodny dostp oraz niezakócony widok na cay proces
produkcyjny.
2. UKAD NEURONOWY
Automaty komórkowe i sztuczne sieci neuronowe zainspiroway powstanie komórkowych
sieci neuronowych (CNN) [16]. S to ukady m u n identycznych komórek (neuronów), gdzie
m jest liczb kolumn, a n liczb wierszy. Fundamentaln waciwoci CNN jest powtarzajcy si i taki sam dla kadej komórki (z wyjtkiem brzegowych) schemat pocze synaptycznych (cloning template). Zasig pocze synaptycznych dany jest liczb r. Stan neuronu
xi,j(t) jest okrelony przez macierze [A] (wpyw sygnaów wyjciowych - feedback matrix),
[B] (wpyw sygnaów wejciowych - control matrix) i [I] (zewntrzna polaryzacja) [5]. Rozmiar macierzy [A] i [B] wynosi (2r+1)u (2r+1), a stan wyjciowy neuronu yi,j(t)= f[xi,j(t)]
jest okrelony przez funkcj aktywacji f. Rozmiar CNN odpowiada rozmiarowi macierzy
144
automation 2009
Pomiary Automatyka Robotyka 2/2009
CCD kamery TV, co pozwala na przyporzdkowanie neuronu pojedynczemu pikselowi obrazu TV.
Dynamika sieci neuronowej (z czasem dyskretnym) jest opisywana równaniem:
hij (t 1)
r
r
¦ ¦a
k r l r
i k , j l
ij
xi k , j l (t ) y ij (t 1)
r
r
¦ ¦b
k r l r
i k , j l
ij
u i k , j l (t )
f (hij )
(1)
3. DZIAANIE SYSTEMU
Sekwencja uzyskiwanych z kamer obrazów jest przekazywana do karty frame grabbera
komputerze klasy PC. Nastpnie, po dokonaniu obróbki wstpnej obrazy przesyane s do
ukadu neuronowego zrealizowanego programowo w komputerze. Ukad neuronowy ma
posta poczonego kaskadowo ukadu komórkowych sieci neuronowych. Ukad ten
porównuje nadchodzce obrazy i analizuje nowe elementy, które si na nich pojawiy.
W pocztkowej fazie dane z obu kamer analizowane s równolegle przez dwie niezalene
sieci komórkowe. Nastpnie na podstawie porównania wyników analizy przeprowadzonej
przez te sieci badane s: wielko obrazu przedmiotu, które si pojawi w polu
obserwowanym przez kamery oraz jego prdko. Ponadto ustalane jest aktualne pooenie
ramienia
robota oraz pooenie nowego obiektu wzgldem ramienia. Na podstawie analizy tych
informacji ukad decyzyjny rozstrzyga, czy powstaa sytuacja jest bezpieczna, jest sytuacj
zagroenia, czy jest sytuacj niebezpieczn.
Rys. 1. Aktualny obraz z kamery (a), wynik porównania aktualnego obrazu z obrazem
referencyjnym (b), obraz nowego obiektu po usuniciu szumu
W pierwszym etapie dziaania sieci naley sprawdzi, czy w obszarze obserwowanym przez
kamery nie pojawi si nowy obiekt. Przyjto, e obrazy przekazywane przez kamer s sygnaami wejciowymi do sieci. Kademu pikselowi obrazu odpowiada neuron sieci komór-
automation 2009
145
Pomiary Automatyka Robotyka 2/2009
kowej. Pocztkowy stan komórki ij odpowiada jasnoci odpowiedniego piksela obrazu wzorcowego.
Warto sygnau wyjciowego yij zaley od stanu komórki xij i wartoci sygnau wejciowego
uij. Dodatkowo w celu uniewraliwienia ukadu na zmian natenia owietlenia dokonywana
jest równie analiza obrazu w przestrzeni barw HSV - Hue, Saturation, Value (w sposób
analogiczny jak dla przestrzeni barw RGB). Szczególna uwaga powicona jest skadowej V
(value), odpowiadajcej wanie nateniu wiata. Monitorowanie zmiany tej wartoci dla
poszczególnych pikseli oraz caego obrazu pozwala m.in. na wykrycie czy zmiany
obserwowane w przestrzeni RGB s tylko skutkiem zmiany natenia wiata (czyli wanie
skadowej V), które powsta mogy np. na skutek pojawienia si nowego róda wiata.
Przebieg procesu identyfikacji nowego obiektu przedstawiony jest na rys.1. Ukad neuronowy
analizuje aktualny obraz z kamery (rys.1a) porównujc go do obrazu referencyjnego. Wynik
tej analizy przedstawiony jest na rys.1b. Obraz ten moe by zaszumiony, dlatego te
kolejnym etapem dziaania ukadu neuronowego jest usuniecie szumów. Efekt tego dziaania
przedstawiony jest na rys.1c.
W niektórych warunkach, zwizanych midzy innymi z szybko zmieniajcym si owietleniem, korzystne moe okaza si wykrywanie nowego obiektu na podstawie obserwacji zaburze w naniesionym na powierzchni podogi regularnym wzorcu [1], [4], [6]. Przykadem
takiego pasywnego wzorca moe by kratownica (rys. 2a). W celu przyspieszenia wymaganych oblicze analizowany obraz jest w pierwszej kolejnoci zamieniany z obrazu kolorowego na obraz czarno biay. Nastpnie obraz ten jest analizowany przez sie komórkow zaprojektowan w celu wykrywania krawdzi pionowych oraz krawdzi poziomych.
Kolejnym krokiem jest zastosowanie odpowiedniego szablonu umoliwiajcego wykrywanie
elementów pasywnego wzorca (w przypadku szachownicy s to pojedyncze kwadraty).
W tym celu wykorzystywany jest odpowiedni szablon, którego wielko (okrelona przez
zmienn r) dostosowana jest do rozmiaru pojedynczego kwadratu. Efekt dziaania sieci
opartej na tym szablonie przedstawiony jest na rys. 2b, gdzie czerwonymi punktami
zaznaczone te elementy wzorca, które wedug sieci neuronowej nie zostay znieksztacone.
Zdecydowana wikszo oblicze wykonywana jest tylko przy pierwszym uruchomieniu
ukadu, wówczas ukad neuronowy wyszukuje optymalny rozmiar szablonu oraz pooenie
pojedynczych kwadratów. W trakcie waciwego dziaania nie jest sprawdzany stan
wszystkich neuronów, ale tylko tych, które znajdoway si w geometrycznym rodku
wykrytych w pocztkowej fazie kwadratów. Wielokrotnie zmniejsza to ilo wymaganych
oblicze i pozwala na znaczce skrócenie czasu potrzebnego sieci neuronowej na dokonanie
analizy obrazu.
Warto podkreli, e prezentowana sie neuronowa jest w stanie wykry pojedyncze kwadraty, zarówno czarne jak i biae (w [2] zakada si, e minimalny rozmiar obiektu, który powinien zosta wykryty jest trzykrotnie wikszy od rozmiaru pojedynczego elementu wzorca).
Wpywa to pozytywnie na dokadno wykrywania pooenia nowego obiekty znajdujcego
si strefie obserwowanej przez kamery.
W celu identyfikacji pooenia i orientacji w przestrzeni ruchomych elementów maszyn,
takich jak rami robota, zastosowano znacznik skadajcy si z dwóch pasków o barwach
nasyconych (czystych) w standardzie RGB, umieszczonych na osi obrotu ramienia robota
(rys.1a). Takie umieszczenie znacznika bardzo znacznie zmniejsza deformacje jego ksztatu
zwizane z ruchem ramienia robota. Pooenie znacznika jest znajdowane na podstawie
porównywania histogramów barw obiektów widzianych przez gówn kamer TV.
146
automation 2009
Pomiary Automatyka Robotyka 2/2009
Naley podkreli, e równie inne nasycone barwy mog zosta zastosowane, np. znacznik
skadajcy si z pasków o barwach zielonej i ótej. Umoliwia to systemowi identyfikacj
wielu rónych obiektów znajdujcych si w strefie obserwowanej przez kamery. Ponadto
dziki zastosowaniu odpowiedniego szablonu sieci neuronowej (który pozwala na
rozrónianie wielu obiektów, które pojawiaj si w strefie obserwowanej przez kamery),
moliwa jest równie poprawna identyfikacja wielu znaczników o takich samych barwach.
Znaczniki te mog by umieszczone nie tylko na ruchomym ramieniu robota, ale równie na
innych ruchomych obiektach mogcych stanowi zagroenie dla ycia i zdrowia pracownika.
Rys. 2. Przykadowa scena z naniesionym pasywnym wzorcem w formie szachownicy (a).
Wynik dziaania sieci komórkowej wyszukujcej elementy pasywnego wzorca obecnego
w analizowanym obrazie (b). Czerwonymi punktami zaznaczono te elementy (kwadraty),
które zostay wykryte.
4. EKSPERYMENTY
Eksperymenty byy przeprowadzone z wykorzystaniem ukadu wizyjnego skadajcego si
z dwóch kamer internetowych (Labtec webcam 3300). Kamery te rejestroway obraz
z prdkoci 15 ramek na sekund w rozdzielczoci 320 na 200 punktów - s to wartoci
typowe dla tej klasy urzdze. Algorytmy zostay zaimplementowane z wykorzystaniem
jzyka C.
Wpyw owietlenia na prawdopodobiestwo wykrycia obiektu oraz redni odlego na jak
wnika obiekt w stref obserwowan przez kamery zanim zostanie wykryty przez system, jest
przedstawiony w tab.1. Kamery byy umieszczone na wysokoci 2 m nad podoem. rednia
prdko obiektu (którym by szecian o dugoci boku równym 5 cm - wykorzystano
szeciany o rónych barwach) wynosia 1,2 m/s. Jak wynika z eksperymentów system dziaa
prawidowo dla szerokiego zakresu owietlenia (od 100 lx do 600 lx - rednie owietlenie
zautomatyzowanego stanowiska pracy jest rzdu 300 lx), pomimo zastosowania systemu
akwizycji o niskich parametrach jakociowych rejestrowanych obrazów (proste kamery
internetowe). Z powyszego wynika, e opracowany system nie wymaga specjalnych
warunków dotyczcych owietlenia miejsca pracy. Równie ekstrakcja pozostaych cech
obiektu (rozmiar i prdko) przebiegaa prawidowo w tym zakresie owietlenia.
W nastpnym etapie eksperymentów wykorzystano obrazy syntetyczne wygenerowane
z wykorzystaniem technik rzeczywistoci wirtualnej. W wirtualnym rodowisku umieszczono
dwie kamery, z których obraz by przesyany bezporednio do ukadu komórkowych sieci
automation 2009
147
Pomiary Automatyka Robotyka 2/2009
neuronowych CNN. Podstawow zalet wykorzystania technik rzeczywistoci wirtualnej jest
to, e zarówno dokadne pooenia jak i prdkoci wszystkich obiektów s znane (zbdny jest
wówczas dodatkowy system do detekcji pooenia obiektów w przestrzeni trójwymiarowej),
co pozwala na szybk ocen odpowiedzi ukadu neuronowego. Jak wynika
z przeprowadzonych eksperymentów rónica r pomidzy rzeczywistym pooeniem rodka
geometrycznego obiektu a lokalizacj wyznaczon przez CNN, jest niewielka i nie zaley od
pooenia obiektu w przestrzeni. Jest bardzo wana zaleta w porównaniu do systemów wizyjnych wyposaonych w jedn kamer, dla których r ronie bardzo szybko wraz ze wzrostem
odlegoci obiektu od rodka obrazu. Z przeprowadzonych eksperymentów wynika, e rednia warto r maleje nieznacznie wraz z zmniejszaniem wielkoci obserwowanego obiektu,
np. r = 2,7 cm dla szecianu o boku a = 40 cm; r = 2,1 cm dla a = 20 cm; oraz r = 1,5 cm
dla a =10 cm (kamery znajdoway si w odlegoci 5 m nad podoem). Otrzymano podobne
wyniki niezalenie od tego jaka tekstura podoa bya zastosowana (przetestowano system dla
100 rónych tekstur), nawet w przypadku, gdy tekstura podoa i obiektu byy takie same.
Tab. 1. Wpyw natenia owietlenia na efektywno dziaania systemu. Wyniki s
urednieniem po 100 niezaleznych powtórzeniach.
Natenie owietlenia [lx]
100
350
600
Prawdopodobiestwo wykrycia obiektu [%]
100
100
100
15
13
rednia odlego, jak pokona obiekt przed 15
wykryciem go przez system wizyjny [cm]
5. PRZYKADY ZASTOSOWANIA
Lokalizacja biecego pooenia ruchomych elementów, takich jak rami robota, pozwala na
ograniczenie zatrzyma robota, gdy sytuacje, w których obiekt naruszajcy pole
bezpieczestwa (PB) jest odlegy od ramienia nie gro bezporedni kolizj i wystarczajce
jest tylko spowolnienie robota. Na rys. 3. widzimy pole bezpieczestwa PB i sektor
niebezpieczny RF, który jest wycinkiem pola PB opartym na kcie rodkowym E. Naruszenie
pola PB powoduje tylko zwolnienie robota, natomiast przy naruszeniu pola RF jest wysyany
sygna zatrzymujcy robota. Forma pola strefy RF moe by dowolnie zdefiniowana w
zalenoci od tego, jaki obiekt powinna otacza (np. na rys. 3 przedstawiona jest posta pola
PB i RF w przypadku ruchomego wózka transportujcego produkowane elementy).
W przemyle roboty najczciej s zamknite w celach i cakowicie odseparowane od ludzi.
Jednake pomimo tego, e w literaturze przedstawiono wiele potencjalnych scenariuszy
wspópracy czowieka z robotem, pokazujc, e moe ona przynie redukcj kosztów
produkcji, rozwizania takie istniej nadal tylko w stadium laboratoryjnym. Tym niemniej
istniej równie pewne sytuacje, kiedy dziaajcy robot nie jest w peni odseparowany od
ludzi, co zdarza si np. na targach i wystawach (gdzie w pobliu robota mog znale si
ludzie nie wiadomi ryzyka). Zgodnie z przepisami w takich warunkach roboty mog by
pozbawione urzdze ochronnych, np. mog by pozbawione oson. W takich przypadkach
korzystne jest zastosowanie wizyjnego systemu bezpieczestwa.
Interesujcym przykadem potencjalnego zastosowania omawianego systemu jest równie
linia montaowa znajdujca si w jednej z polskich fabryk, której schemat przedstawiony jest
na rys. 4. Linia skada si z 9 gniazd montaowych oraz poruszajcego si z prdkoci kilku
metrów na sekund wózka (jest on oznaczony na ilustracji numerem 1). Jeeli którekolwiek
148
automation 2009
Pomiary Automatyka Robotyka 2/2009
z gniazd skoczy wykonywanie elementu zostaje o tym automatycznie powiadomiony ruchomy wózek, który odbiera przygotowany element i przewozi go do dalszej obróbki zostawiajc go w punkcie oznaczonym numerem 2. Po kadej operacji wykonania elementu gniazdo musi zosta przygotowane przez obsugujcego je pracownika do produkcji kolejnego
elementu (cay cykl produkcyjny trwa kilka minut). W tym celu pracownik czasami musi
wej w obszar, w którym porusza si wózek (1). Wówczas ruch wózka zostaje zatrzymany,
gdy pracownik narusza stref wykrywania kurtyny wietlnej (oznaczon czerwon lini).
Ze wzgldu na due rozmiary linii (jej dugo wynosi okoo 30 m) moe to powodowa niepotrzebne przestoje w produkcji. Praca wózka jest zatrzymywana, gdy wózek znajduje si
daleko od pracownika (lub np. zmierza do gniazda, które znajduje si pomidzy wózkiem
a pracownikiem) oraz nawet, gdy nie istnieje ryzyko kolizji gdy wózek, co prawda porusza
si, ale oddala si od pracownika. Zastosowanie wizyjnego systemu bezpieczestwa, który
w sposób inteligentny bdzie analizowa zachowanie si pracowników oraz prdko
i pooenie wózka wzgldem pracowników moe przyczyni si w tym przypadku do zwikszenia wydajnoci produkcji, poprzez redukcj liczby zakóce cigoci realizacji procesu
technologicznego.
g
g
Rys. 3. Zmodyfikowane pole bezpieczestwa PB. Pojawienie si obiektu w obszarze RF,
który jest wycinkiem pola PB o kcie rodkowym E, powoduje wyczenie robota (a). Rami
robota zaznaczono na óto. Ksztat pól PB i RF dla przypadku linii montaowej z rys.4 (b).
Rys. 4. Schemat linii montaowej o dugoci okoo 30 m. Czerwon lini oznaczono
lokalizacj fotobariery. Numerem 1 oznaczono pooenie ruchomego wózka. Caa linia
obsugiwana jest przez dwóch pracowników.
automation 2009
149
Pomiary Automatyka Robotyka 2/2009
6. PODSUMOWANIE
System bezpieczestwa przedstawiony w tej pracy moe by uywany do efektywnego
okrelania pooenia pracownika wzgldem stref niebezpiecznych. Identyfikacja pooenia
ruchomych elementów maszyny (takich jak np. rami robota) pozwala na definiowanie
ruchomych stref, które s szczególnie niebezpieczne (RF). Prezentowany system moe by
atwo dostosowany do rónych procesów technologicznych. Uytkownik moe okrela
parametry pracy systemu, takie jak obszar pola bezpieczestwa (PB). Nastpnie moe
[vmin, vmax] obiektów
równie okreli minimalny rozmiar D0 i zakres prdkoci
pojawiajcych si w strefach PB i RF, które mog stworzy zagroenie. System zapamituje
informacje o zaistniaych sytuacjach niebezpiecznych w celu ich póniejszej analizy.
Jak wynika z eksperymentów, opracowany system bezpieczestwa oparty na komórkowych
sieciach neuronowych moe efektywnie pracowa w czasie rzeczywistym. Czas analizy
obrazów przeprowadzany przez system jest krótszy ni 20 ms. Prezentowany system jest
inteligentnym narzdziem do zapobiegania wypadkom, a take zapobiegania przypadkowym
zakóceniom cigoci procesu technologicznego, na zautomatyzowanych stanowiskach pracy
m.in. wyposaonych w roboty przemysowe. System ten moe by stosowany równie do
innych celów, jak inteligentny nadzór pomieszcze i budynków, i wydaje si, e jest on
konkurencyjny w stosunku do standardowych systemów bezpieczestwa.
Acknowledgements: The research was supported by the Ministry of Science and Higher
Education, National Program ”Improvement of Safety and Working Conditions” project No.
4.R.03, CIOP-PIB (2008-2010). A.G. acknowledges financial support from the Foundation
for Polish Science (FNP 2008).
7. LITERATURA
[1] T. Bomer, „Vision based protective devices (VBPD) – a vision becomes reality”, proceedings of 3rd Int. Conf. SIAS 2003, session 7, p. 7-11, Nancy France.
[2] IEC 61496-4. Safety of machinery. Electro-sensitive protective equipment. Part 4. Particular requirements for equipment using vision based protective devices (VBPD).
[3] Report of the Project „Development for the international standards in the field of safety
of machinery – a vision based protective devices (VBPD)”, The Japanese National
Committee for IEC/TC44 Prepared by the Japan Machinery Federation (2001).
[4] Japanese Machinery Federation, Report of the Project „Development for the International Standards in the field of Safety of Machinery – a vision-based protective devices
(VBPD)”, IEC 44/343/INF, 2001-10.
[5] F. Gardeux, J. Marsot, J. P. Buchweiller, „Detection of persons in danger zones: Contributions and difficulties of artificial vision” 3rd Int. Conf. SIAS (2003).
[6] F. Gardeux, “Detection of persons based on digital vision: advantages and limits”,
INRS, HST, ND 2276-208-07 (2007).
[7] M. Hägele, W. Schaaf, E. Helms, „Robot Assistants at Manual Workplaces: Effective
Co-operation and Safety Aspects”, Proceedings of the 33rd ISR (International Symposium on Robotics) October 7 – 11, 2002.
[8] Kruger J., Nickolay B., Schulz O., „Image-based 3D-surveillance in man-robotcooperation”, 2nd IEEE International Conference on Industrial Informatics, Berlin,
411-420, June 2004.
[9] B. Koch, „Human and robots – a great tem”, Fraunhofer magazine 2.2002, 40-41.
150
automation 2009
Pomiary Automatyka Robotyka 2/2009
[10] J. E. Colgate, W. Wannasuphoprasit, M. A. Peshkin: „Cobots: Robots for Collaboration
with Human Operators”. In: Proceedings of the International Mechanical Engineering
Congress and Exhibition, Atlanta, GA, DSC-Vol. 58, 433-39.
[11] O. Khatib: „Mobile Manipulation: The Robotic Assistant.” In: Journal of Robotics and
Autonomous Systems, vol. 26, 1999, 175-183.
[12] R. D. Schraft, S. Thiemermann: „Direct manrobot cooperation in a flexible assembly
cell”, In:Proceedings of the 33rd International Symposium on Robotics, ISR 2002,
October, 7 – 11, 2002.
[13] Stopp, A. Baldauf, T. Hantsche, R. Horstmann, S. Kristensen, S. Lohnert, F. Priem,
C. Ruescher, B. The Manufacturing Assistant: Safe, Interactive Teaching of Operation
Sequences. In Proc. of the 11th IEEE Int. Workshop on Robot and Human interactive
Communication, ROMAN2002, Berlin, Germany, September 25-27, 2002, 386-391.
[14] K.HAMAJIMA, J.LUand K.ISHIHARA, „Object Zone Detection Method with Omnidirectional Vision Sensors”, Specific Research Reports of the National Institute of Industrial Safety, NIIS-SRR-NO.33 (2005)
[15] J.LU, K.HAMAJIMA and W.JIANG, „Monitoring a Wide Manufacture Field Automatically by Multiple Sensors”, ACTA AUTOMATICA SINICA, Vol. 32, No. 6,
956-967, November, 2006
[16] R.A. Kosiski „Sztuczne sieci neuronowe - dynamika nieliniowa i chaos”, Wyd. Naukowo-Techniczne, Warszawa, (2007)
automation 2009
151