System wizyjny sterujący zrobotyzowanym stanowiskiem spawania

System wizyjny sterujący zrobotyzowanym stanowiskiem spawania

System wizyjny sterujący zrobotyzowanym stanowiskiem spawania otworów
Autoreferat rozprawy doktorskiej
mgr inż. Piotr Fiertek
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Promotor: prof. dr hab. inż. Maciej Niedźwiecki
Recenzenci: dr hab. inż. Marian Wysocki, prof. PRz
Katedra Informatyki i Automatyki
Politechniki Rzeszowskiej
prof. dr hab. inż. Bogdan Wiszniewski
Katedra Inteligentnych Systemów Interaktywnych
Politechniki Gdańskiej
1. Wprowadzenie
Nieustanne dążenie do zwiększania elastyczności zrobotyzowanych stanowisk
produkcyjnych wymusza wyposażenie robota w szereg czujników służących do rozpoznania
otaczającego go środowiska i wypracowania inteligentnej reakcji na zaistniałe zdarzenia.
W tym celu roboty wyposaża się między innymi w czujniki odległości, czujniki dotykowe
oraz czujniki siły. Choć ich wykorzystanie zwiększa wydajność robota, nie pozwalają one na
otrzymanie w krótkim czasie takiej ilości informacji, jaka jest osiągalna dzięki zastosowaniu
techniki wizyjnej. Systemy wizyjne umożliwiają wydobywanie, identyfikację oraz
interpretację informacji uzyskanej w wyniku analizy obrazów trójwymiarowej sceny. Wraz z
czujnikami odległości, systemy wizyjne należą do bezdotykowych systemów pomiarowych,
dzięki czemu zdobywanie informacji o otoczeniu robota jest dużo bezpieczniejsze niż w
przypadku zastosowania czujników dotykowych. Systemy takie umożliwiają lokalizację
i rozpoznawanie obiektów w przestrzeni trójwymiarowej za pomocą jednej lub większej
liczby kamer (stereowizja) lub przy zastosowaniu oświetlenia strukturalnego (kamery 3D).
Jedną ze specyficznych dziedzin zastosowania systemów wizyjnych w robotyce jest
nadzorowanie, sterowanie lub ocena wyników procesu spawania. Do wykrywania położenia
spawanej szczeliny można wykorzystać czujniki indukcyjne, jednak takie rozwiązanie
narażone jest na błędy spowodowane silnymi zakłóceniami elektromagnetycznymi
pojawiającymi się podczas procesu spawania, powodującymi niewłaściwą pracę czujnika.
Wykrywanie położenia spawanych krawędzi i szczelin możliwe jest również przy użyciu
triangulacyjnego laserowego czujnika odległości. Jest to jednak proces czasochłonny.
Zamontowanie na robocie systemu wizyjnego pozawala na uzyskanie zacznie większej ilości
informacji przy jednoczesnej obserwacji większego obszaru, dzięki czemu możliwe jest
skrócenie czasu analizy spawanej powierzchni, a tym samym skrócenie całkowitego czasu
realizacji procesu technologicznego. Spawalnicze systemy wizyjne potrafią lokalizować
spoinę eliminując niepewności pozycjonowania punktu startowego z błędem niejednokrotnie
mniejszym niż 25 mikronów, przy czym typowe dokładności pozycjonowania głowicy
spawalniczej, umieszczonej na ramieniu robota, wynoszą około 0,1 mm. Systemy wizyjne
wspomagające proces spawania można podzielić na dwie grupy: systemy wyznaczające
położenie spawanych szczelin i generujące wymaganą trajektorię palnika przed spawaniem
oraz systemy śledzące i nadzorujące proces spawania w czasie rzeczywistym.
System wizyjny opisywany w rozprawie doktorskiej należy do pierwszej z wymienionych
grup. Jego zadaniem jest nadzorowanie zrobotyzowanego stanowiska spawalniczego,
realizującego spawanie gęsto upakowanych rurek do sita wymiennika ciepła. Podczas
projektowania systemu wizyjnego zakładano, że położenie spawanego wymiennika ciepła
znane jest z pewnym niewielkim błędem. Oznacza to, że robot przed przystąpieniem do
spawania otworów musi za pomocą systemu wizyjnego wstępnie wyznaczyć położenie
i geometrię spawanego sita. Po zakończeniu etapu rozpoznania sita, realizowany jest etap
drugi polegający na lokalnym rozpoznawaniu i spawaniu otworów. Proces rozpoznania
każdego otworu rozpoczyna się od ustawienia kamery (jej osi optycznej) prostopadle do
płaszczyzny spawanego otworu. Następnie pobrany z kamery obraz jest przetwarzany w celu
rozpoznawania i lokalizacji otworu. Wykorzystywany przy rozpoznawaniu obrazu wzorzec
otworu obejmuje punkty krawędzi otworu, na podstawie których generowana jest trajektoria
palnika. Wyznaczona trajektoria jest następnie przesyłana do robota, który odpowiednio ją
wydłuża w celu wykonania nakładki spawu i wygaszenia łuku palnika. Wydłużenie trajektorii
polega na wykorzystaniu punktów już istniejącej trajektorii - palnik przemieszcza się wzdłuż
tej samej ścieżki po której poruszał się podczas spawania otworu.
Poza opisem działania stanowiska produkcyjnego, w rozprawie skoncentrowano się
przede wszystkim na opisie zastosowanych technik przetwarzania sygnału wizyjnego.
Otrzymany z kamery obraz jest wykorzystywany do precyzyjnego wyznaczenia położenia
otworu (z rurką w środku) na powierzchni sita, przed rozpoczęciem procedury spawania. Ze
względu na licznie występujące zakłócenia, jest to wymaganie niezwykle trudne do spełnienia.
Poprzez zakłócenia obrazu rozumiane są między innymi różnego rodzaju zabrudzenia
występujące na powierzchni sita bądź górnej powierzchni rurki, nierównomierne oświetlenie
sceny oraz odblaski występujące wewnątrz rurki lub pochodzące od jej wgnieceń. Dodatkowo
trzeba się liczyć z tym, że krawędź widocznego na obrazie otworu może być częściowo
niewidoczna z powodu obecności sąsiednich spoin. Położenie krawędzi w takich miejscach
nie może być wyznaczone bezpośrednio z obrazu lecz musi być estymowane na podstawie
znajomości kształtu wzorca otworu, dopasowanego do znalezionych, zachowanych
fragmentów krawędzi otworu.
2. Cel i teza rozprawy
Celem niniejszej rozprawy było opracowanie, implementacja i weryfikacja algorytmów
przetwarzania i rozpoznawania obrazu, w celu wyznaczenia trajektorii głowicy spawającej,
zapewniającej prawidłowe przyspawanie rurki do powierzchni sita.
Otrzymane wyniki badań pozwoliły na postawienie następującej tezy rozprawy:
Zastosowanie dedykowanych technik przetwarzania obrazu pozwala na precyzyjną
lokalizację spawanych otworów mimo obecności licznych zakłóceń i zniekształceń
pojawiających się w trakcie spawania. W celu uzasadnienia przyjętej tezy określono w
pracy cele związane z kolejnymi etapami przetwarzania sygnału wizyjnego, takimi jak
niezawodne wyszukiwanie na obrazie interesującego nas otworu, dopasowywanie wzorca
strukturalnego otworu do obrazu otrzymanego z kamery w celu zwiększenia dokładności
wstępnej lokalizacji otworu na obrazie, tworzenie i obróbka obrazu pomocniczego
(umożliwiającego wykrycie wewnętrznej i zewnętrznej krawędzi rurki oraz krawędzi sita)
oraz wybór właściwych punktów krawędzi otworu, a następnie dopasowanie do nich wzorca.
Na końcu przebadano opracowane algorytmy zarówno pod względem dokładności lokalizacji
otworów jak niezawodności ich rozpoznawania.
Dowodem słuszności tezy postawionej w rozprawie jest to, że opisane algorytmy od kilku
lat z powodzeniem wykorzystywane są na zrobotyzowanych stanowiskach przeznaczonych do
spawania wymienników ciepła.
3. Zawartość pracy i uzyskane wyniki
Do najważniejszych, oryginalnych osiągnięć autora zaliczyć można:
1) Opracowanie mechanizmu adaptacyjnego doboru parametrów progowania obrazu,
polegającego na wprowadzeniu sprzężenia zwrotnego od informacji o sukcesie lub
porażce wstępnej lokalizacji otworu. Rozwiązanie to pozwoliło na zwiększenie odsetka
prawidłowo zlokalizowanych otworów (na wstępnym etapie przetwarzania obrazu) do
blisko 100%.
2) Opracowanie algorytmu rekonstrukcji obrazu otworu na podstawie znalezionych,
rozdzielonych obiektów, otrzymanych w wyniku segmentacji obrazu. Ważnym
elementem zaproponowanego algorytmu jest łączenie dwóch sąsiadujących obiektów za
pomocą operacji dylatacji i erozji w buforze pomocniczym i przeniesienie wyniku
operacji z powrotem do obrazu źródłowego, dzięki czemu uzyskuje się połączenie dwóch
obiektów bez ingerencji w kształt obiektów sąsiednich.
3) Opracowanie złożonego mechanizmu wyznaczania położenia punktów krawędziowych
otworu. W przeciwieństwie do tradycyjnych rozwiązań, w których zakłada się, że
krawędzie są na obrazie dobrze widoczne, w przypadku spawania mamy do czynienia z
całym wachlarzem różnych utrudnień powodujących, że takie uproszczone podejście
prowadzi do wielu fałszywych wykryć krawędzi, a tym samym do błędnej lokalizacji
otworu. W pracy zaproponowano szereg metod poprawiających niezawodność lokalizacji
punktów krawędziowych, takich jak kryteria wyboru właściwej krawędzi, szukanie
punktów krawędziowych na obrazie pomocniczym, łączenie znalezionych punktów
krawędzi w linie i wybór linii reprezentujących krawędź otworu oraz wykonanie
ponownych przekrojów obrazu na podstawie wzorca otworu dopasowanego do wcześniej
znalezionych punktów krawędziowych.
4) Opracowanie miar jakości rozpoznawania otworu na obrazie.
4. Publikacje
Wyniki prac związanych z realizacją rozprawy doktorskiej zostały opublikowane w sześciu
artykułach zaprezentowanych na krajowych konferencjach naukowych.
1.
2.
3.
4.
5.
6.
P. Fiertek. System wizyjny sterujący zrobotyzowanym stanowiskiem spawania
wymienników ciepła. W K. Tchoń, editor, Postępy Robotyki, Sterowanie, percepcja i
komunikacja, p. 381–390, Polska Wrocław, 2006.
P. Fiertek. Łączenie obiektów na obrazie. W K. Malinowski and L. Rutkowski,
editors, Sterowanie i Automatyzacja: Aktualne problemy i ich rozwiązania,
p. 175–184, Polska Warszawa, 2008. EXIT.
P. Fiertek. System wizyjny zrobotyzowanego stanowiska spawania wymienników
ciepła. W K. Malinowski and L. Rutkowski, editors, Sterowanie i Automatyzacja:
Aktualne problemy i ich rozwiązania, p. 571–582, Polska Warszawa, 2008. EXIT.
P. Fiertek. Wstępna lokalizacja otworów w wizyjnym systemie spawania wymienników
ciepła. In K. Tchoń and C. Zieliński, editors, Postępy Robotyki, p. 728–738,
Warszawa, 2014. Oficyna Wydawnicza Politechniki Warszawskiej.
P. Fiertek, M. Niedźwiecki, D. Ściebura. Usuwanie odblasków linii laserowej. Prace
Naukowe Politechniki Warszawskiej. Elektronika, z. 175, t. 1:221–230, 2010.
P. Fiertek, K. Olejnik. Wyznaczanie położenia trójwymiarowego sita w przestrzeni
roboczej robota. W K. Tchoń and C. Zieliński, editors, PROBLEMY ROBOTYKI,
volume 1, p. 101–110, Polska Warszawa, 2008. Oficyna Wydawnicza Politechniki
Warszawskiej.