Teză de doctorat. Algoritmi de procesare a imaginii pentru aplicaţii de urmărire a obiectelor în mişcare. Adrian Burlacu

Transcription

1 Teză de doctorat Algoritmi de procesare a imaginii pentru aplicaţii de urmărire a obiectelor în mişcare Adrian Burlacu 2009

2 Comisia de doctorat pentru susţinerea tezei: prof. univ. dr. ing. FLORINA UNGUREANU preşedinte Universitatea Tehnică Gheorghe Asachi din Iaşi prof. univ dr. ing. VASILE MANTA membru Universitatea Tehnică Gheorghe Asachi din Iaşi (conducător ştiinţific) prof.univ.dr.ing. NICOLAE ŢĂPUŞ membru Universitatea Politehnica Bucureşti prof. univ. dr. ing. MIRCEA IVĂNESCU membru Universitatea din Craiova prof. univ. dr. ing. CORNELIU LAZĂR membru Universitatea Tehnică Gheorghe Asachi din Iaşi

3 Menţiuni Această lucrare este rezultatul cercetărilor efectuate în perioada oct feb în domeniul Ştiinţa Calculatoarelor în cadrul Universităţii Tehnice Gh. Asachi Iaşi. Deosebite mulţumiri se îndreaptă spre grupul Siemens PSE Braşov care în perioada mi-a acordat un sprijin financiar important. Pe parcursul studiilor doctorale am beneficiat de finanţare UEFISCU în baza unui contract tip PNII-TD ( ). Finalizarea cercetărilor şi publicarea rezultatele obţinute nu ar fi putut fi realizate fără sprijinul şi îndrumarea regretatului prof. dr. ing. Dan Gâlea, coordonator iniţial al tezei de doctorat, şi al prof. dr. ing. Vasile Manta, coordonatorul actual al tezei. Aş dori sa mulţumesc în mod deosebit d-lui prof. dr. ing. Corneliu Lazăr, pentru colaborarea fructuoasă avută pe parcursul cercetărilor pentru elaborarea tezei de doctorat, cercetări ce au condus la multiple rezultate publicate împreună. Apreciez foarte mult sprijinul didactic şi moral, pasiunea si răbdarea de care a dat dovadă în decursul tuturor activităţilor de cercetare, şi nu numai. De asemenea doresc să amintesc o parte din cadrele didactice, ce fac parte din colectivul Universităţii Tehnice Gh. Asachi Iaşi, care mi-au oferit suportul informaţional ori de câte ori a fost necesar. Printre aceştia de numără prof. dr. ing. Doru Pănescu, prof. dr. ing. Daniel Condurache, prof. dr. ing. Octavian Păstrăvanu, prof. dr. ing. Teohari Ganciu, prof. dr. ing. Mihaela Matcovschi, conf. dr. ing. Lavinia Ferariu, şefl. dr. ing. Florin Ostafi.

4 Trebuie să aduc mulţumiri domnilor dr. Enric Cervera, Universitatea Jaume I şi prof. Francois Chaumette, Universitatea Rennes I, pentru posibilităţile acordate prin schimburi de experienţă în cadrul laboratoarelor de cercetare pe care le conduc. Atât în cadrul laboratorului de cercetare în robotică şi inteligenţă artificială din Universitatea Jaume I, Castellon Spania, cât şi în cadrul laboratorului de cercetare în sisteme servoing vizuale din cadrul Universităţii Rennes I, am petrecut momente deosebite şi foarte productive cu privire la cunoştinţele acumulate. Nu în ultimul rând aş dori să mulţumesc familiei care m-a susţinut cu maximum de entuziasm pe tot parcursul studiilor doctorale, oferindu-mi suportul moral necesar. Le urez succes totodată colegilor de generaţie de la doctorat, şi nu numai, mulţumindu-le în acelaşi timp pentru mediul deosebit creat.

5 Cuprins Capitolul 1. Introducere 1.1. Sisteme servoing Trasături vizuale utilizate în proiectarea legilor de control bazate pe imagini Legi de control bazate pe imagini Rezumatul tezei Diseminarea rezultatelor 7 Capitolul 2. Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 2.1. Introducere Algoritmi de detecţie a punctelor de interes folosind metode spaţiale Operator pentru detecţia punctelor de interes Detectorul Smith Detectorul Harris Algoritmi de detecţie a punctelor de interes invariante la modificarea factorului de scalare Algoritmul de detecţie SIFT Algoritmul de detecţie Harris-Laplace Algoritmi de detecţie a punctelor de interes folosind metode frecvenţiale Modelul congruenţei fazelor Utilizarea congruenţei fazelor în analiza bidimensională Evaluarea performanţelor algoritmilor de detecţie Algoritmi de urmărire a trăsăturilor vizuale Sisteme servoing Concluzii 45

6 Capitolul 3. Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 3.1 Introducere Implementarea şi testarea algoritmilor de detecţie a punctelor de interes Algoritmul Harris Detectorul SIFT Detectarea punctelor de interes prin congruenţa fazelor Implementarea şi testarea algoritmilor de urmărire a punctelor de interes Criterii de evaluare a performanţelor punctelor de interes în aplicaţii servoing Criteriu de evaluare a erorii de poziţionare pentru algoritmii de detecţie a 61 punctelor de interes Criterii de evaluare a robusteţii algoritmilor de detecţie a punctelor de 62 interes 3.5 Rezultate experimentale Analiza secvenţelor de imagini cu dinamică controlată Analiza robusteţii punctelor de interes pentru aplicaţii în sisteme servoing Concluzii 74 Capitolul 4. Estimarea mişcării obiectelor în secvenţe de imagini 4.1 Introducere Urmărirea punctelor de interes invariante la scalări Descriptorul SIFT Implementare şi testare Estimarea mişcării utilizând filtrarea Kalman Filtrarea Kalman Algoritm de estimare a mişcării Implementare şi testare Concluzii 100

7 Capitolul 5. Aplicaţii în sisteme servoing vizuale 5.1 Introducere Arhitectura bazată pe imagini Mişcarea camerei Simulator Tehnici de control bazate pe imagini Regulator PI bazat pe imagini Regulator predictiv bazat pe imagini Concluzii 129 Capitolul 6 Concluzii 6.1 Contribuţii Analiza performanţelor trăsăturilor vizuale tip punct de interes Tehnici de urmărire a punctelor de interes Estimarea mişcării obiectelor Aplicaţii în sisteme servoing vizuale Direcţii viitoare de cercetare 134

8

9 Capitolul 1. Introducere 1.1 Sisteme servoing 1.4 Rezumatul tezei 1.2 Trăsături vizuale utilizate în proiectarea 1.5 Diseminarea rezultatelor legilor de control bazate pe imagini 1.3 Legi de control bazate pe imagini Procesarea imaginilor generează trăsături vizuale cu ajutorul cărora pot fi dezvoltaţi algoritmi de urmărire a obiectelor pe parcursul secvenţelor de imagini. În această lucrare sunt analizate principalele tehnici de detecţie a trăsăturilor vizuale tip punct de interes şi includerea acestora în aplicaţii servoing pentru controlul roboţilor manipulatori. Sistemele de conducere bazate pe imagine (visual servoing) au apărut la confluenţa dintre multiple arii de cercetare precum robotică, teoria sistemelor, proiectarea aplicaţiilor de timp real, vedere computerizată. Proiectarea legilor de control bazate pe feedback vizual necesită trăsături vizuale cu proprietăţi bine definite: stabilitate, robusteţe şi acurateţe. În lucrarea de faţă sunt propuse două noi criterii de evaluare a performanţelor trăsăturilor vizuale pentru aplicaţii servoing. O soluţie pentru urmărirea obiectelor în secvenţe de imagini cu perturbaţii tip ocluzie de obiecte, modificare a scalei şi a fluxului de lumină, o constituie utilizarea algoritmilor de estimare a mişcării. În această lucrare s-a propus un nou algoritm de estimare a mişcării obiectelor caracterizate prin puncte de interes, algoritm bazat pe filtrarea Kalman. Proprietăţile trăsăturilor vizuale împreună cu algoritmii de estimare a mişcării obiectelor sunt incluse în metodele de proiectare a tehnicilor avansate de control bazate pe imagini. Pentru îmbunătăţirea performanţelor

10 2 Introducere unei structuri de reglare ce utilizează trăsături vizuale, au fost utilizate tehnici avansate de control precum controlul predictiv. A fost dezvoltat un predictor bazat pe imagini, iar în urma implementării, testării şi validării, a fost proiectat un regulator predictiv bazat pe puncte de interes. Arhitectura de control, ataşată unei structuri tip cameră montată pe efector (eng. eye-in-hand ), conţine regulatorul predictiv bazat pe imagini şi un model dinamic dezvoltat pentru un robot cu şase grade de libertate. Arhitectura a fost implementată, testată şi evaluată în raport cu o arhitectură clasică dezvoltată în jurul unui regulator tip PI bazat pe imagini. 1.1 Sisteme Servoing Senzorul vizual reprezintă o modalitatea de a extrage informaţii despre mediul de lucru fără a intra în contact cu elementele ce îl compun. Incluzându-se în rândul tipurilor de senzori clasici (inductivi, ultrasunete, etc.), vederea artificială este cea mai nouă metodă de a genera referinţe pentru conducerea unui sistem automatizat. Aplicaţiile ce sunt construite pe baza tehnicilor utilizate în sistemele servoing acoperă diferite arii de cercetare precum: - preluarea şi depunerea obiectelor folosind roboţi manipulatori; - planificarea traiectoriei roboţilor mobili; - urmărirea obiectelor în mişcare; - controlul vehiculelor autonome; - generarea traiectoriei optime pentru aterizarea avioanelor. În lucrarea de faţă sunt considerate aplicaţii ale sistemelor servoing în configuraţia denumită eye-in-hand compusă dintr-un robot manipulator şi o cameră montată pe efectorul acestuia. Proiectarea unei legi de control bazate pe feedback vizual conţine etape bine definite: - modelarea senzorului vizual; - detecţia trăsăturilor vizuale ce caracterizează obiectele din scena de lucru; - generarea unei comenzi optime de mişcare a camerei pentru a minimiza eroarea dintre poziţia prezentă a trăsăturilor vizuale şi o configuraţie dorită.

11 Introducere 3 Asigurarea unei robusteţi ridicate a oricărui sistem servoing tip eye-in-hand necesită în prealabil o analiză în profunzime a modelului dinamic ataşat robotului manipulator, precum şi o analiză a stabilităţii transformării informaţiilor din planul imaginii în spaţiul articulaţiilor robotului. 1.2 Trăsături vizuale utilizate în proiectarea legilor de control bazate pe imagini Analiza şi procesarea unei imagini conduc la extragerea trasaturilor vizuale ce pot fi folosite pentru a caracteriza starea unui obiect în raport cu senzorul vizual. De-a lungul timpului, diferite tipuri de trăsături vizuale au fost utilizate pentru a proiecta legi de control dedicate sistemelor servoing. Astfel au fost considerate regiuni omogene, contururi de obiecte, puncte de interes, momente ale imaginii sau funcţia imagine în totalitate. Lucrarea de faţă se referă la utilizarea trăsăturilor tip punct de interes în sistemele servoing. De-alungul timpului acest tip de trăsături a fost analizat şi evaluat (Forsyth şi Ponce, 2003), performanţele fiind relevate atât prin proprietăţi de descriere a obiectelor, cât şi prin calitatea informaţiei conţinute, necesară în special generării fluxului optic din secvenţe de imagini. În acelaşi timp, calitatea punctelor de interes se reflectă şi în proprietăţile tip stabilitate şi robusteţe a legilor de control proiectate pentru conducerea roboţilor manipulatori. Trăsăturile tip punct de interes constituie un subiect de interes în cercetările întreprinse asupra metodelor de preprocesare şi procesare a imaginilor, fiind propuse multiple tehnici de detecţie spaţiale sau frecvenţiale. O parte din aceste tehnici au fost implementate, iar performanţele analizate folosind imagini ce surprind etape din diferite task-uri ale sistemelor servoing. Identificarea poziţiei trăsăturilor punct de interes pe parcursul unei secvenţe de imagini este o etapă foarte importantă în reconstrucţia traiectoriei obiectelor. Modalităţile de urmărire a trăsăturilor tip punct de interes diferă în funcţie de proprietăţile secvenţei de imagini analizate: perioada de eşantionare, modificarea fluxului luminos, modificări ale scalei. Au fost implementaţi şi testaţi diferiţi algoritmi de urmărire, rezultatele fiind utilizate pentru a decide ce algoritm poate fi

12 4 Introducere folosit pentru reconstrucţia traiectoriei efectorului unui robot manipulator într-o aplicaţie servoing. 1.3 Legi de control bazate pe imagini Arhitectura de conducere bazată pe imagini a sistemelor robotizate prezintă în general rezultate satisfăcătoare: convergenţa către poziţia dorită este asigurată, iar, datorită buclei închise utilizată în schema de control, sistemul este stabil şi robust în raport cu erorile de calibrare a camerei, erorile de calibrare a robotului, şi erorile de măsurare a poziţiei trăsăturilor vizuale din planul imaginii. Totuşi, există situaţii în care stabilitatea sistemului servoing poate fi deficitară (Chaumette şi Hutchinson, 2006). Instabilitatea sistemului rezultă din imposibilitatea păstrării în mod continuu în planul imaginii a trăsăturilor vizuale, fapt datorat fie calităţii trăsăturilor considerate, fie perturbaţiilor asupra stării obiectelor (ocluzie, părăsire a scenei de lucru) în planul imaginii survenite în urma modificării poziţiei camerei. Analiza performanţelor trăsăturilor tip punct de interes a vizat până în prezent aplicaţii de reconstrucţie a traiectoriei, vedere stereoscopică, urmărire obiecte ţintă. În literatura de specialitate nu au fost dezvoltate până în prezent criterii de evaluare a performanţelor trăsăturilor vizuale dedicate exclusiv aplicaţiilor în sisteme servoing. În prezenta lucrare sunt propuse două criterii de evaluare a performanţelor punctelor de interes dezvoltate exclusiv pentru aplicaţii în sisteme servoing. Se utilizează tehnici de analiză a calităţii trăsăturilor folosind descriptori vizuali bazaţi pe momente ale imaginii şi tehnici de inventariere a similitudinilor dezvoltate pe baza distanţei Mahalanobis. Un alt obiectiv realizat al acestei lucrări a fost dezvoltarea, implementarea şi testarea unui algoritm de estimare a mişcării obiectelor caracterizate prin trăsături punct de interes. Este propusă o tehnică de estimare a mişcării obiectelor dezvoltată pe nucleul filtrului Kalman şi incluzând proprietăţi de caracterizare a mulţimii trăsăturilor punct de interes prin izomorfism cu proprietăţile centrului de greutate ataşat. Luând în considerare restricţiile ce pot să apară în proiectarea unui sistem servoing, restricţii de tip dinamic pentru robotul manipulator şi cinetic pentru camera video, proiectarea unei legi de control bazate pe feedback vizual trebuie realizată prin includerea

13 Introducere 5 tehnicilor avansate de conducere a sistemelor automatizate. Pentru a genera o traiectorie referinţă a camerei este dezvoltat un algoritm predictiv de control bazat pe imagini. Un predictor construit pe baza trăsăturilor tip punct de interes calculează estimări viitoare ale traiectoriei trăsăturilor. Metoda propusă utilizează proprietăţile matricei de interacţiune pentru a transforma traiectoriile predictate din planul imaginii pentru trăsăturile vizuale în semnale de comandă pentru camera video. Principiile de proiectare a tehnicilor de control bazate pe feedback vizual au fost utilizate pentru a dezvolta structuri de reglare ce conţin atât regulatoare PI bazate pe imagini, cât şi regulatoare predictive bazate pe imagini. A fost realizată o evaluare a performanţelor celor două structuri de reglare, iar rezultatele experimentale au fost prezentate şi analizate. 1.4 Rezumatul tezei Lucrarea este structurată după cum urmează: Capitolul 2, intitulat Detecţia şi urmărirea punctelor de interes în aplicaţii servoing, este dedicat descrierii analitice a principalelor metode de extragere a trăsăturilor vizuale tip punct de interes. Sunt descrise metode bazate pe variaţia funcţiei imagine, pe proprietăţi de arie, pe analiza comportării gradientului semnalului bidimensional. Aceste trei metode fac parte din categoria celor spaţiale. În plus, se prezintă şi o metodă de detecţie a trăsăturilor tip punct de interes utilizând analiza în frecvenţă, metoda congruenţei fazelor. Pentru o robusteţe ridicată, metodele de detecţie trebuie să furnizeze rezultate satisfăcătoare şi în cazul modificării fluxului luminos şi/sau modificarea factorului de scalare. Sunt prezentate două dintre tehnicile dezvoltate special pentru detectarea trăsăturilor punctiforme invariante la scalări, ambele făcând apel la construirea spaţiului scalărilor pentru un semnal bidimensional şi transpunerea detecţiei trăsăturilor tip punct de interes în identificarea extremelor funcţiei imagine în acest spaţiu. Evaluarea performanţelor trăsăturilor vizuale reprezintă o etapă fundamentală în proiectarea legilor de control bazate pe feedback vizual. În capitolul 2 sunt descrise

14 6 Introducere criteriile de evaluare a calităţii trăsăturilor tip punct de interes prezente în literatura de specialitate. Totodată se subliniază faptul că nu există raportări ale unor criterii de evaluare a performanţelor punctelor de interes dedicate aplicaţiilor din sisteme servoing. La finalul capitolului sunt descrise două tehnici de urmărire a punctelor de interes, tehnici utilizate în special pentru reconstrucţia mişcării obiectelor în secvenţe de imagini. Capitolul 3, intitulat Analiza indicilor de performanţă pentru algoritmii de detecţie a punctelor de interes, prezintă rezultatele implementării şi testării algoritmilor de extragere a trăsăturilor vizuale tip punct de interes. Fie că este analizată stabilitatea, repetabilitatea sau acurateţea, criteriile de evaluare a performanţei utilizate în caracterizarea algoritmului de detecţie trebuie să conţină proprietăţi specifice ale aplicaţiilor considerate. În cazul aplicaţiilor servoing sunt propuse criterii noi de evaluare a stabilităţii şi robusteţii punctelor de interes. Pentru analiza stabilităţii se utilizează secvenţe de imagini cu dinamică controlată, în timp ce robusteţea este evaluată prin proprietăţile extrase din gradul de răspândire a mulţimii punctelor de interes considerate pentru descrierea obiectelor din scena de lucru. Cele două criterii propuse devin astfel modalităţi de rejectare a trăsăturilor punct de interes ce pot induce perturbaţii în comportarea sistemelor servoing. Capitolul 4, intitulat Estimarea mişcării obiectelor în secvenţe de imagini, prezintă algoritmi de urmărire a trăsăturilor tip punct de interes ale căror performanţe nu depind de dinamica scenei de lucru. Astfel, modificarea factorului de scalare, juxtapunerea obiectelor sau părăsirea parţială a scenei de lucru sunt probleme ce trebuie rezolvate de un algoritm robust de urmărire a trăsăturilor vizuale. Este propus spre analiză un algoritm de estimare a mişcării obiectelor dezvoltat de autor, algoritm construit pe nucleul filtrului Kalman şi pe proprietăţile mulţimii trăsăturilor tip punct de interes extrase. Algoritmul este implementat, testat şi validat, iar rezultatele experimentale sunt prezentate şi analizate din punct de vedere al performanţelor în raport cu abordarea bazată pe metoda cross-correlation. Capitolul 5 intitulat Aplicaţii în sisteme servoing vizuale sintetizează metodele de bază pentru proiectarea legilor de control bazate pe imagini. O primă lege de control bazată pe feedback vizual utilizează legea de reglare PID pentru regulatorul bazat pe imagini. Implementarea, validarea şi testarea algoritmului de control bazat pe imagini a

15 Introducere 7 fost realizată folosind un toolbox Matlab dedicat sistemelor servoing. Analiza performanţelor trăsăturilor tip punct de interes în aplicaţii servoing a fost realizată prin dezvoltarea unei extensii a toolboxului dedicat sistemelor servoing al cărei obiectiv principal constă în includerea imaginilor reale ca şi semnale de intrare. Necesitatea dezvoltării unor arhitecturi de control robuste şi stabile, care să poată include multiple tipuri de restricţii ce apar în sistemele servoing şi să îmbunătăţească performanţele în timp real, a condus la utilizarea tehnicilor avansate de control precum controlul predictiv. În capitolul 5 se propune un model al senzorului vizual care, împreună cu o abordare de analiză prin decuplare pe articulaţii a robotului manipulator, a condus la proiectarea unui predictor bazat pe imagini, nou în literatura de specialitate. A fost dezvoltat un regulator predictiv ce utilizează predictorul propus pentru a estima traiectoria trăsăturilor în planul imaginii. Regulatorul predictiv a fost implementat, testat şi validat, performanţele fiind evaluate în raport cu un regulator tip PI bazat pe imagini. 1.5 Diseminarea rezultatelor Această lucrare se bazează aproape în totalitate pe articole publicate sau acceptate spre publicare. Articolele au fost publicate în reviste de specialitate (4) sau conferinţe internaţionale (12), rezultatele fiind apreciate prin indexare în baze de date: 3 ISI Proceedings şi 2 ISI INSPEC. Capitolul 3 conţine rezultate publicate în: (Burlacu şi Lazăr, 2006 a): Burlacu A., Lazăr C.: Performance Analysis of Point Features Using Image Sequences with Controlled Motion, Scientific Bulletin of Politehnica University of Timisoara, Trans. On Automatic Control and Computer Science, Vol. 51 (56), No. 2, 2006, pp , ISSN X (Burlacu şi Lazăr, 2006 b): Burlacu A., Lazăr C.: Motion-Based Object Detection and Tracking in Image Sequences, Proc. of 5 th International Conference on Advanced Engineering Design, Prague, June 2006, (CD-ROM), ISBN: (Best Paper Award Student Competition).

16 8 Introducere (Burlacu şi Lazăr, 2006 c): Burlacu A., Lazăr C.: Recovering trajectories in image sequences using point features, Buletinul Institului Politehnic din Iasi, Tomul LII (LVI), Fasc. 7A, Secţia Constructii de Masini, pp , 2006, ISSN (Lazăr şi Burlacu, 2006): Lazăr C., Burlacu A.: Detection and Tracking of Feature Points in Image Sequences, Proc. of 12 th IEEE Conference on Methods and Models in Automation and Robotics MMAR 2006, Międzyzdroje, August 2006, ISBN (Burlacu şi Lazăr, 2007): Burlacu A., Lazăr C., Evaluation of Scale Invariant Features for Visual Servoing Tasks, Proc. of 16 th International Conference on Control Systems and Computer Science, Bucuresti, May, 2007, pp , ISBN (Boghiu, et. al., 2007): Boghiu B., Burlacu A., Lazăr C., Image features detection using phase congruency, Proc. of 9 th International Symposium on Automatic Control and Computer Science, Iasi, November 16-17, 2007, CD-ROM, ISSN X. Rezultatele prezentate în capitolul 4 sunt publicate în: (Burlacu, et al., 2007): Burlacu A., Copot C., Lazăr C., SIFT Based Algorithm for Point Feature Tracking, The Annals of Dunarea de Jos University of Galati, Fascicle III, 2007 pp , ISSN X. (Lazăr şi Burlacu, 2007 a): Lazăr C., Burlacu A.: Performance Evaluation of Point Feature Detectors for Eye-in-Hand Visual Servoing, Proc. of 5 th IEEE International Conference of Industrial Informatics, Vienna, vol.1, pp , July 23-26, 2007, ISBN (Lazăr şi Burlacu, 2007 b): Lazăr C., Burlacu A.: Scale Invariant Features Evaluation Using Image-Based Moments, Prep. of 4 th IFAC Conference on Management and Control of Production and Logistics, Sibiu, vol.1, pp , September, 2007, ISBN

17 Introducere 9 (Burlacu şi Lazăr, 2009): Burlacu A., Lazar C., Visual feature tracking using Kalman filter, submitted at the 17th International Conference on Control Systems and Computer Science, Bucharest, May 26-29, 2009 Capitolul 5 este realizat plecând de la rezultatele publicate în: (Lazăr şi Burlacu, 2007 c): Lazăr C., Burlacu A.: ARIMAX MIMO model for image based visual servo control, Proc. of 9 th International Symposium on Automatic Control and Computer Science, Iasi, November 16-17, 2007, CD- ROM, ISSN X. (Burlacu şi Lazăr, 2008 a): Burlacu A., Lazăr C., Image Features Detection using Phase Congruency and Its Application in Visual Servoing, Proc. of IEEE 4 th International Conference on Intelligent Computer Communication and Processing, Cluj Napoca, August 28-30, 2008, pp , ISBN (Burlacu şi Lazăr, 2008 b): Burlacu A., Lazar C., Image based predictive controller for visual servoing systems, accepted at Buletinul institutului Politehnic Iasi, Secţia Automatică şi Calculatoare, XLXIV (LVII), fasc.1-4, 2008, ISSN (Lazăr şi Burlacu, 2008 a): Lazăr C., Burlacu A., Predictive control strategy for image based visual servoing of robot manipulators, Proc. of 9 th International Conference on Automation and Information, Bucharest, June 24-26, pp 18, 91-97, 2008, ISBN (Invited Paper). (Lazăr şi Burlacu, 2008 b): Lazăr C., Burlacu A., Modeling of visual servo openloop for robot manipulators, Proc. of IEEE International Symposium on Industrial Electronics, Cambridge, June 30-July 2, 2008, CD-ROM, ISBN (Lazăr şi Burlacu, 2008 c): Lazăr C., Burlacu A., Dynamic Simulation Model for Image Based Visual Servo Control Systems, Proc. of 11 th International Conference on Optimization of Electrical and Electronic Equipment, Vol. III, pp , Brasov, May 22-24, 2008, ISBN

18 10 Introducere

19 Capitolul 2. Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 2.1 Introducere 2.5 Evaluarea performanţelor algoritmilor de detecţie 2.2 Algoritmi de detecţie a punctelor de 2.6 Algoritmi de urmărire a trăsăturilor interes folosind metode spaţiale vizuale 2.3 Algoritmi de detecţie a punctelor de 2.7 Sisteme servoing interes invariante la modificarea factorului de scalare 2.4 Algoritmi de detecţie a punctelor de 2.8 Concluzii interes folosind metode frecvenţiale În acest capitol sunt prezentate principalele tehnici de procesare a imaginii pentru detecţia punctelor de interes ce vor fi folosite în prezenta teză de doctorat pentru aplicaţii în sisteme servoing vizuale. Punctele de interes fac parte din mulţimea trăsăturilor vizuale ce pot fi utilizate în sistemele servoing pentru a controla mişcarea unui robot manipulator. Proprietăţile punctelor de interes influenţează în mod direct proiectarea legii de control bazată pe feedback vizual şi de aceea se impune analiza performanţelor acestora. Proiectarea unei legi de control bazate pe feedback vizual se bazează pe utilizarea unor trăsături vizuale a căror dinamică trebuie monitorizată pe parcursul secvenţelor de imagini. Pentru realizarea acest obiectiv au fost utilizate tehnici de urmărire care împreună cu diferite criterii de evaluare a performanţelor punctelor de interes relevă calităţile acestui tip de trăsături vizuale.

20 12 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 2.1 Introducere Senzorul vizual reprezintă una dintre componentele fundamentale ale unui robot, permiţând investigarea mediului de lucru fără a fi necesar contactul cu elementele acestuia (Siciliano şi Khatib, 2008). Sistemele servoing au fost dezvoltate utilizând tehnici din analiza şi procesarea în timp real a imaginilor, robotică, teoria controlului şi a sistemelor, cu scopul de a conduce un robot manipulator folosind o lege de control bazată pe feedback vizual (fig 2.1). Obiect f * + e Regulator bazat v* c _ pe imagini Amplif. putere Robot + Camera f Extragere trăsături Imagine Fig.2.1 Sistem servoing Mediul de lucru, compus dintr-un robot manipulator şi obiecte, este analizat folosind un senzor vizual. Obiectele sunt caracterizate de trăsături vizuale f care sunt comparate cu o configuraţie dorită * f, eroarea rezultată fiind informaţia utilizată pentru generarea legii de control. Pentru orice sistem de vedere artificială noţiunea de trăsătură vizuală este foarte importantă. Având drept intrare o formă de caracterizare a imaginii (spaţială sau frecvenţială), algoritmii de procesare a imaginii extrag trăsături şi generează în acelaşi timp informaţii despre proprietăţile acestora. Astfel, pentru trăsăturile vizuale se poate considera următoarea clasificare: trăsături globale şi trăsături locale. Trăsăturile globale surprind caracteristici ale întregului semnal bidimensional (imaginea), un exemplu

21 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 13 elocvent fiind histograma. Trăsăturile locale conţin informaţii ce definesc proprietăţile unei anumite zone a unui obiect dintr-o imagine. Alegerea utilizării uneia din cele două categorii de trăsături depinde de tipul aplicaţiei considerate, trăsăturile globale reprezentând o măsură a întregii imagini. Necesitatea caracterizării unui obiect dintr-o imagine a condus la dezvoltarea metodelor de modelare a fundalului şi a componentelor scenei de lucru. În general o metodă universal valabilă este imposibil de proiectat, modelarea regăsindu-se de multe ori inclusă în probleme de segmentare. Totuşi, utilizând trăsături vizuale locale se pot construi descriptori vizuali pentru caracterizarea exclusivă a obiectelor. Proprietăţile necesare pentru ca trăsăturile vizuale detectate să genereze informaţii utile sunt stabilitatea, repetabilitatea, acurateţea, invarianţa la modificări ale factorului de scalare. O imagine monocromă, cu 256 niveluri de gri, este modelată cu ajutorul unei funcţii de două variabile, definită astfel: [ ] [ ] [ ] I : 0, N 0, M 0,255, (2.1) I unde NI MI reprezintă rezoluţia imaginii. Analiza proprietăţilor funcţiei imagine conduce la trei mari categorii de trăsături vizuale: i) Trăsături tip regiune omogenă funcţia imagine nu variază pe nici o direcţie; ii) Trăsături tip muchie funcţia imagine variază pe o singură direcţie; iii) Trăsături tip punct de interes funcţia imagine variază pe două direcţii; În cadrul acestei lucrări se face apel la ultima categorie de trăsături vizuale, iar capitol de faţă este dedicat descrierii algoritmilor de procesare a imaginii utilizaţi pentru extragerea punctelor de interes, algoritmi ce vor fi folosiţi în celelalte capitole. I 2.2 Algoritmi de detecţie a punctelor de interes folosind metode spaţiale În această secţiune sunt prezentaţi trei algoritmi de detecţie a punctelor de interes, fiecare reprezentând o abordare diferită în analiza proprietăţilor funcţiei imagine. Sunt analizate variaţiile funcţiei imagine pe patru direcţii (Shapiro, 2000), proprietăţile tip arie a regiunilor de interes (Smith, 1997) şi comportarea funcţiei de autocorelaţie locală (Harris, 1988).

22 14 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Operator pentru detecţia punctelor de interes Algoritmul de determinare a punctelor de interes descris în (Shapiro, 2000), calculează variaţia intensităţii nivelurilor de gri v i dintr-o imagine de-alungul a patru direcţii (verticală, orizontală şi cele două diagonale), considerând o vecinătate 3 3 centrată pe un poziţie I ( xy, ) (fig.2.2). I(x-1,y-1) I(x,y-1) I(x+1,y-1) I(x-1,y) I(x,y) I(x+1,y) x i=1 i=3 I(x-1,y+1) I(x,y+1) I(x+1,y+1) i=4 y i=2 Fig Vecinătate 3 3 Variaţiile vi, i = 1,4 sunt calculate cu ajutorul formulelor : ( ( ) ( ) ( ) ( ) ) ( ) ( ) ( ) ( ) v ( x, y) = m ax I x + 1, y I x, y, I x 1, y I x, y ( ) ( ( ) ( ) ( ) ( )) ( ( ) ( ) ( ) ( )) v ( x, y) = max I x, y 1 I x, y, I x, y + 1 I x, y v ( x, y) = max I x 1, y + 1 I x, y, I x + 1, y 1 I x, y v ( x, y) = max I x + 1, y + 1 I x, y, I x 1, y 1 I x, y. (2.2) Evaluând cele patru variaţii conform (2.2), următoarea etapă reprezintă determinarea minimului mulţimii { vi i = 1,4}. Dacă valoarea minimului depăşeşte un anumit prag ales: [ ] [ ] min{ v ( x, y) i = 1,4;( x, y) 0, N 0, M } α (2.3) i i I I atunci poziţia ( x, y ) este declarată punct de interes. Valoarea parametrului α poate fi ajustată în raport cu distribuţia zgomotului din imagine pentru a controla calitatea punctelor de interes detectate.

23 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 15 Algoritmul nu conţine elemente de preprocesare a imaginii precum filtrare sau ajustare contrast. Pentru a obţine informaţii utile din rezultatele experimentale se recomandă o etapă intermediară de preprocesare a imaginii. În plus, pentru a contribui la creşterea robusteţii detectorului, este necesară şi o etapă de suprimare a non-maximului în vecinătăţi de dimensiune Detectorul Smith Smith a dezvoltat un algoritm de detectare a punctelor de interes (Smith, 1995), pornind de la forma circulară a unei vecinătăţi 7 7, prezentată în figura 2.3, Fig Vecinătate circulară iar centrul măştii l-a numit nucleu. Algoritmul de detectare a punctelor de interes constă în compararea intensităţii nivelului de gri, ataşat fiecărui pixel din vecinătatea circulară, cu intensitatea nivelului de gri ataşat nucleului. Reunind într-o mulţime pixelii ce au aproximativ aceeaşi intensitate cu a nucleului, cardinalul acestei mulţimi reprezintă aria şi este denumită în literatura de specialitate Univalue Segment Assimilating Nucleus (USAN). În figura 2.4, măştile circulare conţin atât zone USAN (negru) cât şi zone care nu corespund din punct de vedere al intensităţii nucleului (alb), cazurile a, b, d, precum şi un caz de includere completă a măştii într-o zonă omogenă a imaginii, cazul c. Se observă că suprafaţa USAN atinge valoarea maximă când masca este suprapusă pe o zonă omogenă (fig.2.4, c) (nu apar variaţii importante ale funcţiei imagine), scade la jumătate în momentul în care avem o muchie (fig.2.4, b) (variaţie pe o singură direcţie a funcţiei imagine) şi scade sub

24 16 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing jumătate în locaţii tip punct de interes (fig.2.4, d) (variaţii pe ambele direcţii ale funcţiei imagine). Pentru a calcula valoarea ariei USAN pentru o poziţie generică din planul imaginii se utilizează relaţia (Smith, 1995): crr (, ) = 100 e 0 I( r) I( r0 ) t 6, (2.4) unde r 0 reprezintă poziţia nucleului, r poziţia unui pixel din interiorul măştii diferit de nucleu, t diferenţa de intensitate setată, c valoarea comparaţiei. Fig Patru măşti circulare plasate în diferite poziţii in imagine. Sumând toate valorile pentru fiecare pixel din mască rezultă modalitatea de calcul a valorii USAN cu relaţia: nr ( ) = crr (, ). (2.5) 0 0 r După calcularea valorii funcţiei n (.), aceasta se compară cu o valoare teoretică notată prin g, denumită prag geometric. Pentru ca un nucleu sa fie etichetat punct de interes trebuie ca USAN-ul ataşat să aibă o valoare mai mică decât jumătate din maximul posibil al măştii, 3700 şi să fie un minim local. Utilizarea pragului geometric g implică afectarea formei punctelor de interes detectate. Aceste puncte de interes sunt numite generic colţuri şi, de exemplu, pentru o valoare mică a parametrului g forma va fi de unghi ascuţit. Un alt parametru care contribuie la îmbunătăţirea performanţelor algoritmului de detecţie este diferenţa de intensitate setată, t. Acest parametru se numeşte prag de calitate şi, în funcţie de valoarea pe care o are algoritmul, va produce mai multe

25 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 17 sau mai puţine puncte de interes. Alegerea valorilor celor 2 parametri g şi t se realizează în funcţie de proprietăţile imaginii: zgomot, contrast, ocluzie între obiecte, iluminare, etc. Un caz de singularitate al detectorului Smith îl reprezintă zonele tip umbră dintr-o imagine, exemplificate în figura 2.5: Fig Exemplu de răspunsuri false returnate de operatorul Smith Rejectarea punctelor de interes false se realizează în două etape: se determină valoarea USAN maximă pentru toţi pixelii de pe o zonă 5 5 cu ajutorul formulei: g n( r0), n( r0) < g Rr ( 0) = (2.6) 0, nr ( 0) g se calculează poziţia centrului de greutate al suprafeţei USAN. Utilizând poziţia centrului de greutate se determină distanţa dintre acesta şi nucleul măştii. Validarea punctului de interes se face pentru poziţiile cu distanţe seminificative faţă de centrul de greutate (fig. 2.6). a) b) Fig Poziţia nucleului faţă de centrul de greutate al suprafeţei USAN: a) în cazul unui colţ real; b) în cazul unui colţ fals.

26 18 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Suprafaţa USAN trebuie să prezinte proprietăţi de uniformitate astfel încât toţi pixelii ce aparţin măştii şi se află pe direcţia dintre nucleu şi centrul de greutate trebuie să facă parte din suprafaţa USAN. Această ultimă condiţie este utilă în cazul imaginilor cu un nivel ridicat de zgomot Detectorul Harris Algoritmul dezvoltat de Harris (Harris şi Stephens, 1988) are ca obiectiv identificarea unor puncte de interes cu anumite proprietăţi bine definite: număr redus în comparaţie cu trăsături tip muchie; invarianţă la rotaţie şi mici fluctuaţii de iluminare; invarianţă la modificări liniare ale factorului de scalare; invarianţă la transformări afine. Principiul de detecţie se bazează pe analiza proprietăţilor funcţiei de autocorelaţie locală pentru o poziţie generică ( x, y ). Fie funcţia de autocorelaţie c definită de: cxy (,, Δx, Δ y) = wuv (, )[ Iu ( +Δ xv, +Δy) Iuv (, )] 2, (2.7) ( uv, ) W( xy, ) unde prin W( x, y ) s-a notat o vecinătate centrată în ( x, y ) iar prin wuv (, ) nucleul gaussian e 2 2 ( u x) ( v y) 2 2 σ I( u+δ x, v+δ y) se poate aproxima prin:. Utilizând dezvoltarea Taylor până la ordinul 1, funcţia I( u+δ xv, +Δy) Iuv (, ) + Ix( uv, ) Δ x+ Iy( uv, ) Δy Δx = Iuv (, ) + Ix( uv, ) Iy( uv, ), Δ y unde I, I sunt derivatele parţiale ale funcţiei I( xy, ) şi pot fi calculate în discret prin: x y I I x y [ 1 0 1] [ ] = I = I. Din (2.7) şi (2.8) rezultă că funcţia de autocorelaţie poate fi transpusă în forma: T (2.8) (2.9)

27 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 19 Δx cxy (,, Δx, Δy) wuv (, ) Ix( uv, ) Iy( uv, ) y = Δ 2 wuvi (, ) x( x, y) wuvi (, ) x( x, yi ) y( x, y) W W x [ x y Δ = Δ Δ ]. 2 w( u, v) Ix( x, y) Iy( x, y) w( u, v) Iy( x, y) Δ y W W Se introduce notaţia: 2 (2.10) 2 wuvi (, ) x( x, y) wuvi (, ) x( x, yi ) y( x, y) W W Axy (, ) = 2 w( u, v) Ix( x, y) Iy( x, y) w( u, v) Iy( x, y). (2.11) W W Această matrice se găseşte într-o izomorfie cu funcţia de autocorelaţie, rezultând astfel posibilitatea evaluării proprietăţilor funcţiei c (.) prin proprietăţile matricei A. Structurând simbolic matricea A sub forma: b c Axy (, ) = c d (2.12) şi făcând apel la strânsa legătură între valorile proprii şi direcţiile vectorilor proprii ataşaţi, rezultă trei cazuri: i) dacă λ1, λ 2 (cele două valori proprii ale lui A ) sunt mici, atunci funcţia de autocorelaţie indică o regiune omogenă. ii) Dacă λ1 λ2 atunci trăsătura găsită este muchie; iii) Dacă λ 1 şi λ 2 sunt mari atunci avem un punct de interes. Evaluarea celor 3 cazuri se poate realiza prin ataşarea unei funcţii răspuns : unde [ ] 2 R( A) = det( A) k Tr( A), (2.13) det( A) = λ λ = bd c ; Tr( A) = λ + λ = b+ d, iar k o constantă cu valori cuprinse între 0.04 şi Astfel, pentru R > 0, avem o trăsătură tip punct de interes, pentru R < 0 avem o muchie iar, dacă R este o valoare mică rezultă existenţa unei zone omogene (figura 2.7). Conform algoritmului propus de Harris, fiecărui punct de interes i se poate ataşa o valoare de colţ (cornerness value) pentru a putea controla calitatea trăsăturilor extrase:

28 20 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 2 2 Tr( A) Ix + Iy cv = = det( A) I I I I 2 2 x y x y 2. (2.14) Comparând cv din (2.14) cu o valoare de prag putem creşte sau descreşte numărul de puncte de interes detectate. λ 2 regiunea marginilor 4 3 regiune omogenă regiunea colţurilor regiunea marginilor λ Fig Principiul funcţiei de auto-corelaţie 2.3 Algoritmi de detecţie a punctelor de interes invariante la modificarea factorului de scalare În secţiunea anterioară au fost prezentate principiile de funcţionare a trei din cei mai importanţi algoritmi de detecţie a punctelor de interes. Aceşti algoritmi îşi păstrează proprietăţile doar în cazul secvenţelor de imagini cu factor de scalare 1 (distanţa dintre planul de mişcare a obiectelor şi cameră este constantă). Multe aplicaţii, în special cele de urmărire, conţin analiza secvenţelor de imagini cu factor de scalare variabil. În acest caz este necesar modificarea principiului de detecţie a punctelor de interes prin includerea proprietăţii de invarianţă la scalări. Din multitudinea algoritmilor de detecţie a punctelor de interes invariante la scalări, ce au fost propuşi în ultimii ani, cele mai utilizate metode sunt algoritmul SIFT (Scale Invariant Feature Transform) propus de (Lowe, 1999) şi algoritmul Harris-Laplace (Mokolajczyk, 2004).

29 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Algoritmul de detecţie SIFT Extragerea punctelor de interes invariante la scalări se bazează pe identificarea locaţiilor stabile în raport cu principiul de construcţie a spaţiului scalărilor enunţat în (Lindberg, 1998). Spaţiul scalărilor reprezintă concatenarea rezultatelor unor filtrări succesive asupra unei imagini cu un anumit nucleu. S-a demonstrat (Lindberg, 1998) faptul că unicul nucleu ce poate fi folosit pentru generarea unui spaţiu piramidal al scalărilor este nucleul Gaussian: 2 2 x + y 2 ( ) 2 1 σ Gxy (,, σ ) = e. (2.15) 2 2πσ Unicitatea este consecinţa proprietăţilor nucleului Gaussian: liniaritate, separabilitate, cauzalitate şi structură de semigrup. Fie aplicaţia L: A 3 3, (2.16) definită ca produs de convoluţie între funcţia imagine (2.1) şi nucleul Gaussian (2.15): Lxy (,, σ ) = Gxy (,, σ ) Ixy (, ). (2.17) Această funcţie generează o succesiune de filtrări ale imaginii, filtrări dependente de parametrul σ. Considerând σ ca fiind funcţia: definită prin: σ :[ o, o ] [0, S 1], (2.18) min max S σ( os, ) = σ 2. (2.19) unde o reprezintă una din octavele axei nivelului de scalare (σ ), iar S numărul de subniveluri ataşat fiecărei octave. Prin s s-a notat indexul subnivelului din octava o. 0 Construcţia spaţiului scalărilor ataşat unei imagini I( xy, ) se realizează recursiv prin filtrări succesive şi modificări ale dimensiunilor imaginii. Alegerea parametrilor de start descrisa în (Lowe, 2004) presupune impunerea unui număr de S = 5 niveluri pe octavă, octava maximă ( o max o+ s ) egală cu 4, iar cea minimă ( o min ) cu -1. Din această ultimă iniţializare rezultă că, la începutul algoritmului rezoluţia imaginii se dublează: N M = 2N 2M, (2.20) o o I I

30 22 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing unde No Mo reprezintă rezoluţia imaginii pe octavă. Algoritmul dezvoltă recursiv filtrări ale imaginii până în momentul îndeplinirii condiţiei s+ 1 = S. În acest caz dimensiunea imaginii va deveni: N + M + N M = o+ i o+ i o i 1 o i (2.21) Când o= o spaţiul scalărilor este complet şi va avea o formă piramidală. Din spaţiul max scalărilor se generează spaţiul diferenţelor de filtrări Gaussiene (DoG) folosind relaţia: Dxy (,, σ ) = Lxyk (,, σ) Lxy (,, σ), (2.22) unde 1 k = 2 s. Spaţiul scalărilor se utilizează în găsirea poziţiilor Pxyσ (,, ) în care valoarea funcţiei DP ( ) este mai mare decât valorile tuturor celor 26 de vecini din cubul centrat în P. Fie: Λ= σ σ > (2.23) ' ' { Pxy (,, ) P V333 ( xy,, ), DP ( ) DP ( ) } mulţimea extremelor locale ale funcţiei D (.) în spaţiul scalărilor. În continuare se doreşte rafinarea mulţimii Λ impunând criterii de stabilitate în vecinătatea fiecărui element ξ Λ. Metoda de rafinare constă în determinarea punctelor de extrem ale funcţiei D (.) în vecinătatea punctelor ξ. Folosind dezvoltarea Taylor : δ( x +Δ x) δ( x ) + δ( x ) Δ x+ Δx H ( x ) Δx (2.24) T 1 T δ 0 pentru funcţia Dxyσ (,, ) şi transformând de fiecare dată originea în punctul ξ, se poate analiza offsetul faţă de ξ : unde : T 2 D( ξ ) 1 T D( ξ ) D( ξ + τ) = D( ξ) + τ + τ τ, 2 τ 2 τ (2.25) τ = ( xy,, σ ) T (2.26) T D D D D =. (2.27) τ x y σ

31 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 23 Pentru determinarea extremelor funcţiei D (.) (extreme notate τ ) se derivează (2.25) şi se egalează cu 0: ecuaţie echivalentă cu: din care rezultă: T D τ = 0, τ τ (2.28) D D D x+ y+ σ = 0, τ x y σ (2.29) D D D D x+ + y+ σ 2 x x x y x σ D D D D x+ y+ + σ 0 2 =. (2.30) yx y y yσ D D D D x+ y+ σ + 2 σ x σ y σ σ Ecuaţia (2.30) poate fi rescrisă matricial prin: 2 D τ D τ τ + = 0 2 iar offsetul unui punct ξ Λ este dat de relaţia: 1, (2.31) 2 D D ˆ τ =. (2.32) 2 τ τ Calitatea punctelor de interes detectate cu ajutorul algoritmului descris, se regăseşte în proprietăţile offsetului τ. Dacă: şi: x x < 0.5; y y < 0.5; σ σ < 0.5 (2.33) τ ξ τ ξ τ ξ ( ˆ ξ ) D τ < 0.03, (2.34) atunci sunt îndeplinite condiţiile de stabilitate pentru ξ. Pentru eliminarea răspunsurilor tip muchie se analizează proprietăţile valorilor proprii ale matricei Hessian: H Dxx Dxy = Dyx D. (2.35) yy

32 24 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Valorile proprii ale matricei H sunt proporţionale cu valoarea curburii principale a funcţiei D (.). Notând cu λ L valoare proprie cu magnitudinea mai mare, cu λ S a doua valoare proprie, iar cu r valoarea raportului unde Inegalitatea ( ) ( ) Tr H Det H λ L λ, rezultă: S ( λ + λ ) ( r + 1) 2 2 L S = =, (2.36) λλ r L ( ) = xx + yy 2 ( ) = Tr H D D Det H D D D ( ) ( ) Tr H Det H S xx yy xy ( r + 1) 2. (2.37) < (2.38) r conduce la eliminarea punctelor de interes pentru care raportul curburilor principale depăşeşte o valoare r. Determinarea poziţiilor punctelor de interes ce verifică condiţiile de stabilitate se efectuează folosind ecuaţia: unde prin τ ξ s-a notat offsetul lui ξ. ˆ ξ = ξ + τ (2.39) ˆξ Algoritmul de detecţie Harris-Laplace Conform multiplelor evaluări efectuate asupra algoritmilor de detecţie a punctelor de interes (Schmid 2003, Tisamanyan 2006), algoritmul Harris prezintă performanţe foarte bune pentru imagini cu factor de scalare constant. Necesitatea dezvoltării de algoritmi fiabili şi robuşti, pentru extragerea punctelor de interes din secvenţe de imagini cu factor de scalare variabil, a condus la combinarea detectorului Harris (prezentat în 2.1.3) şi Laplacianul Gaussianului (LoG) descris în (Lindberg, 1998). Principiul constă în utilizarea operatorului Laplacian pentru stabilirea nivelului de scalare ataşat punctelor de interes extrase cu detectorul Harris. Astfel, ambii detectori utilizează aceleaşi poziţii în planul imaginii pentru diferite rezoluţii, rezultând astfel o invarianţă la schimbări

33 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 25 semnificative ale scalării. Algoritmul conţine o etapă dedicată construirii unui spaţiu al scalărilor pentru valori ale parametrului σ arbitrar selectate: σ n n = k σ 0, (2.40) unde k este factorul de scalare dintre niveluri succesive. Pentru fiecare nivel sunt extrase puncte de interes prin stabilirea maximului local în vecinătatea octoconectată a poziţiei ( x, y ). Calitatea punctelor de interes detectate este stabilită prin găsirea locaţiilor de maxim în raport cu parametrul σ : F( x, y, σ ) > F( x, y, σ ) (2.41) n unde l { n 1, n+ 1} şi F( x, y, σ ) este mai mare decât o valoare de prag. Sunt rejectate n poziţii pentru care Laplacianul nu reprezintă extreme sau răspunsul este sub o valoare de prag: l σ 2 L ( x, y, σ ) + L ( x, y, σ ) > α (2.42) n xx n yy n Iterativ, algoritmul Harris-Laplace se poate descrie astfel: se caută maximele locale în raport cu parametrul σ ( k ) pentru poziţia ( ) ( x, y ) k. Dacă nu se detectează maxime locale poziţia este rejectată; se caută poziţii ( xy, ) k ( + 1) în planul imaginii, cât mai apropiate de ( ) ( x, y ) k, ( k 1) ce corespund punctelor de interes detectate cu Harris şi au scala σ + ; k 1 k Se reia primul pas dacă σ + ( k+ 1) ( k) σ sau ( x, y) ( x, y) ; 2.4 Algoritmi de detecţie a punctelor de interes folosind metode frecvenţiale În secţiunile 2.2 şi 2.3, detectarea unui punct de interes în domeniul spaţial a constat în analiza variaţiei funcţiei imagine pe cele două direcţii ataşate unei imagini. Modelul energiei locale utilizează ca ipoteză de lucru faptul că punctele de interes sunt localizate în poziţii din planul imaginii unde componentele transformatei Fourier sunt în fază (Morrone şi Owens, 1987). Această ipoteză implică o analiză a congruenţei fazelor, congruenţă ce variază de la valoarea 1 (indicând un punct de interes) descrescător spre 0 (indicând o poziţie nesemnificativă). Adimensionalitatea congruenţei fazelor conduce la posibilitatea definirii unui prag pentru îmbunătăţirea calităţii punctelor de interes extrase.

34 26 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Modelul congruenţei fazelor Componentele locale ale transformatei Fourier ataşate unei poziţii generale ( x, y ) au fiecare o amplitudine Am ( x, y ) şi o fază φ ( x m, y ). În figura 2.8 sunt reprezentate componentele Fourier folosind vectori complecşi sumarizaţi. Magnitudinea vectorului de la origine până la punctul de sfârşit al componentelor Fourier reprezintă energia locală, Ex ( ), iar φ ( x) faza vectorului. Fig Diagrama polară a componentelor seriei Fourier la o anumită locaţie a semnalului Calculul măsurii congruenţei fazelor PC 1 se face cu (Morone şi Burr, 1988): Ex ( ) PC = 1 A ( ) m x. (2.43) m Dacă toate componentele Fourier sunt în fază, atunci toţi vectorii complecşi ataşaţi vor fi aliniaţi iar valoarea lui PC 1 va fi 1, altfel, dacă nu există congruenţă a fazelor, valoarea va tinde la 0. Compararea măsurii congruenţei fazelor cu valori tip prag conduce la detectarea muchiilor şi/sau punctelor de interes. Utilizarea undinelor pentru determinarea proprietăţilor frecvenţiale locale ale unui semnal, conduce la păstrarea informaţiilor despre faza componentelor. Este necesară utilizarea de filtre liniare în fază precum undine non-ortogonale, care sunt în perechi tip cuadratură simetrică-antisimetrică. Dacă se notează cu η un semnal unidimensional, iar e M n şi o M n fiind wavelet-ul par-simetric (cosinus), respectiv impar-simetric (sinus) la o

35 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 27 scală n, atunci se poate afirma că răspunsurile fiecărei perechi de filtre formează un vector de răspuns ( ), ( ) ( ) e, ( ) = o en x on x I x Mn I x Mn. (2.44) Amplitudinea transformatei la o anumită scală ataşată undinei, este dată de formula: iar faza este dată de formula: ( ) ( ) ( ) 2 2 n n n A x = e x + o x, (2.45) ( ) ( x) ata n2 e ( x), o ( x) φ =. (2.46) n n n Pentru fiecare punct component al semnalului, va rezulta un şir de vectori de răspuns, numărul de vectori de răspuns fiind dat de numărul de scale folosite în construirea wavelet-urilor. Aceşti vectori de răspuns pot fi utilizaţi în acelaşi fel în care vectorii componenţi ai seriei Fourier sunt utilizaţi în calcularea congruenţei fazelor. De remarcat este faptul că se doreşte obţinerea de informaţii în urma analizei unei plaje largi de frecvenţe din semnal deoarece congruenţa fazelor prezintă interes doar în cazul în care mai mulţi termeni ai transformatei Fourier de frecvenţă diferită sunt în fază. Având aceste trei componente este posibilă calcularea congruenţei fazelor. Totuşi, există nişte probleme ce pot apărea în calcularea congruenţei fazelor: calcularea congruenţei fazelor devine nefavorabilă dacă toate componentele seriei Fourier au amplitudinea foarte mică; dacă valoarea lui E(x) se află în interiorul cercului de zgomot valoarea congruenţei fazelor îşi pierde semnificaţia; în cazul în care transformata Fourier este formată dintr-un singur termen, valoarea congruenţei fazelor va fi întotdeauna 1 A n = E( x). n Prima problemă poate fi rezolvată prin adăugarea la numitor a unei constante de valoare foarte mică, ε, pentru a evita împărţirea la o valoare nulă: unde: PC 1 ( x) = n n ( ) ( ) E x, (2.47) A x + ε

36 28 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 2 2 ( ) ( ) ( ) E x = F x + H x, (2.48) F, H fiind proiecţiile pe axa reală şi axa imaginară a vectorului Ex ( ) (Fig.2.8). Un caz aparte îl reprezintă calcularea congruenţei fazelor în prezenţa zgomotului. Dacă semnalul este zgomot alb de tip gaussian, poziţia vectorului de răspuns în cazul aplicării unor undine pereche în cuadratură la o anumită scală va forma o distribuţie gaussiană 2D în planul complex. În acest caz este interesant de urmărit distribuţia magnitudinilor vectorilor de răspuns, ce vor forma o distribuţie Rayleigh. Luând în considerare zgomotul, (Kovesi, 1999) rezultă: PC 1 ( x) = n ( ) ( ) E x T, (2.49) A x + ε unde operatorul înseamnă că valoarea este egală cu ea însăşi dacă este pozitivă şi 0 în caz contrar. Parametrul T reprezintă un prag de limitare a zgomotului considerat şi se calculează ca o combinaţie între media şi dispersia distribuţiei Rayleigh. n Utilizarea congruenţei fazelor în analiza bidimensională Metoda prezentată în este valabilă pentu cazul 1D. Se doreşte aplicarea acestei metode pentru a scoate în evidenţă trăsăturile prezente într-o imagine (un semnal discret 2D). În cele ce urmează, se va prezenta modul în care informaţiile prezentate pot fi folosite în cazul analizei unui semnal 2D. Pentru calculul congruenţei fazelor, este nevoie de o pereche de filtre pentru defazarea semnalului cu 90 de grade, lucru realizat pentru analiza semnalului 1D prin utilizarea filtrelor impare-simetrice. Deoarece nu se pot construi filtre pare-simetrice, simetrice din punct de vedere rotativ, un semnal de tip imagine poate fi analizat aplicându-se filtrele uni-dimensionale pe mai multe direcţii, iar răspunsurile obţinute să fie combinate într-un anumit fel. Trei aspecte trebuie avute în considerare: modelul filtrelor bi-dimensionale; numărul direcţiilor luate în considerare; modul în care răspunsurile obţinute pe fiecare direcţie

37 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 29 vor fi folosite în continuare. Filtrele unidimensionale prezentate în capitolele anterioare pot fi adaptate pentru cazurile 2D prin aplicarea unei funcţii de distribuţie perpendicular pe direcţia filtrelor. Astfel, convoluţia cu un semnal 2D de tip imagine poate fi implementată prin realizarea unei convoluţii 1D cu funcţia de distribuţie, urmată de o convoluţie 1D pe direcţia perpendiculară pe cea a wavelet-urilor. Deoarece, informaţiile despre faze sunt cele care prezintă interes, trebuie avut în vedere ca efectuarea convoluţiei cu funcţia de distribuţie să nu altereze informaţiile despre faze din imagine. Cel mai des întâlnit model de distribuţie este cel Gaussian. Acesta are avantajul de a scădea modularea în amplitudine a componentelor seriei Fourier dar, în acelaşi timp nu afectează fazele, astfel încât informaţiile despre faze, în punctele unde apar anumite trăsături, vor rămâne neschimbate. Dacă, de exemplu, se foloseşte o funcţie de distribuţie rectangulară, anumite faze din semnal vor fi inversate deoarece funcţia de transfer (o funcţie sinus) conţine şi valori negative. În acest caz, valoarea de congruenţă a fazelor pentru anumite trăsături va fi eronată. Un lucru important ce trebuie avut în considerare este faptul că toate posibilele trăsături ce pot fi detectate pe anumite direcţii au o pondere egală şi toate posibilele conjuncţii de trăsături ce pot apărea într-un punct pe diferite orientări (de exemplu colţuri sau intersecţii de tip T ) sunt tratate în mod asemănător. Este important, de asemenea, ca ponderarea valorii energiei ce este utilizată în calcularea valorii de congruenţă a fazelor cu valoarea de distribuţie a frecvenţelor să fie făcută după însumarea valorilor energiilor obţinute pe toate direcţiile analizate. Deoarece se doreşte ca valoarea finală obţinută pentru congruenţa fazelor să fie o valoare normalizată, fiecare răspuns obţinut pe o anumită orientare va avea o influenţă proporţională cu energia calculată pe acea direcţie. Pentru fiecare punct din imagine se calculează valoarea energiei, E(x), pentru fiecare orientare, se compensează influenţa zgomotului, se ponderează în funcţie de plaja de distribuţie a frecvenţelor şi se însumează energiile. Suma obţinută este normalizată prin împărţirea acesteia la amplitudinea răspunsului fiecărui wavelet în punctul respectiv. Ecuaţia de calculare a congruenţei fazelor pentru cazul 2D devine: PC 2 ( x) = ( ) ( ) Δφ ( ) A ( x) + ε W x A x x T, (2.50) o n 0 no no o o n no

38 30 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing unde o reprezintă indexul orientării. Se observă din ecuaţia (2.50), realizarea compensării influenţei zgomotului pentru fiecare orientare în parte. Zgomotul identificat cu ajutorul undinei de scală minimă poate varia semnificativ de la o orientare la alta, datorită fenomenului de corelaţie a zgomotului de-a lungul liniilor de scanare ce poate apărea în procesul de digitizare a imaginii. 2.5 Evaluarea performanţelor algoritmilor de detecţie Calitatea trăsăturilor vizuale, extrase dintr-o imagine achiziţionată folosind o cameră montată pe efectorul unui robot manipulator, reprezintă una din condiţiile necesare în asigurarea premiselor proiectării unei legi de control bazate pe imagini care să prezinte performanţe tip stabilitate, robusteţe, validitate în timp real. Multitudinea aplicaţiilor precum recunoaşterea formelor (Marques de Sa, 2001), detectarea obiectelor în mişcare (Forsyth şi Ponce, 2003), analiza şi descrierea scenelor (Ma, et al. 2005), etc., au constituit puncte de start în analiza performanţelor trăsăturilor vizuale. Totuşi, în literatura de specialitate nu există criterii de evaluare a performanţelor trăsăturilor vizuale utilizate în sisteme servoing. Trăsăturile tip puncte de interes, utilizate în special pentru aplicaţii de estimare a fluxului de mişcare (Shapiro, 2000), de modelarea vederii panoramice (Peer şi Salina, 2002), visual servoing (Chaumette şi Hutchinson, 2006), necesită proprietăţi tip stabilitate, robusteţe, acurateţe. În acest subcapitol sunt prezentate cele mai cunoscute metode de evaluare a performanţelor algoritmilor de detecţie a trăsăturilor tip punct de interes. În general criteriile de performanţă măsoară calitatea punctelor de interes pentru aplicaţii precum recunoaşterea obiectelor sau reconstrucţia 3D. Sunt aplicabile oricărui tip de scenă de lucru şi nu necesită o modelare anterioară sau un nivel înalt de caracterizare a trăsăturilor utilizate. Evaluarea algoritmilor de detecţie a punctelor de interes este concentrată în general în jurul următoarelor patru criterii: 1. stabilitate reprezintă proprietatea unui punct de interes de a fi detectat pe parcursul unei întregi secvenţe de imagini;

39 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing repetabilitate reprezintă compararea stabilităţii punctelor de interes, dintr-o anumită scenă de lucru, prin modificarea parametrilor şi condiţiilor de achiziţie a imaginilor; 3. acurateţe reprezintă proprietatea unui punct de interes prin care poziţia ataşată în planul imaginii este transpusă prin parametrii intrinseci şi extrinseci ai camerei cât mai aproape de poziţia 3D; 4. conţinutul de informaţie reprezintă proprietatea de unicitate a vecinătăţii unui punct de interes; Faţă de cele patru criterii amintite anterior, mai poate fi considerat ca proprietate ataşată algoritmilor de detecţie numărul de puncte de interes extrase, denumită rată de detecţie. O trecere în revistă a criteriilor de evaluare a performanţelor algoritmilor de detecţie, atât pentru muchii cât şi pentru puncte de interes este prezentată în (Schmid, et al 2000). Tot în această lucrare sunt propuse noi abordări pentru repetabilitatea punctelor de interes la diferite transformări aplicate scenei de lucru. Se definesc două mulţimi de puncte de interes: M1 = { p1 H1 ip1 Ii} M = { p H p I }, (2.51) unde i i i1 i 1 H ij reprezintă transformarea homografică între imaginile I i şi I j. Măsura invarianţei punctelor de interes (şi în acelaşi timp a stabilităţii) trebuie să ţină cont de condiţiile de incertitudine ataşate algoritmilor de detecţie. Un punct de interes invariant la transformări omogene nu este în general detectat într-o poziţie fixă ( p i ), plauzibilă fiind o vecinătate de o anumită dimensiune ε. Schmid denumeşte acest tip de măsură ε -repetabilitate. mulţimea: Perechile de puncte de interes ( p1, p i ) ce corespund unei vecinătăţi se definesc prin R( ε ) = {( p, p ) dist( H p, p ) < ε}. (2.52) i 1 i 1i 1 i Rata de repetabilitate se defineşte utilizând : Ri ( ε ) ri ( ε ) =, (2.53) min( n, n ) unde n1 = card{ M1}; ni = card{ M i}. 1 i

40 32 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Conţinutul de informaţie este descris printr-un vector de patru componente dezvoltat conform ecuaţiei: LL x x + LL y y LxxLxLx + 2LxyLxLy + LyyLyL y V =, (2.54) Lxx + Lyy LxxLxx + 2LxyLxy + LyyLyy unde pentru poziţia ( x, y ), funcţia Li ((, ), ) 1... i n x y σ reprezintă convoluţia imaginii I cu nucleul derivatelor gaussiene Gi 1... i n (( x, y), σ ) pentru ik { x, y}. De observat că V (1) reprezintă magnitudinea la pătrat a gradientului în timp ce V (3) este Laplacianul. Distanţa dintre doi vectori de descriere a conţinutului de informaţie V 1 şi V 2 este dată de distanţa Mahalanobis: d ( V, V ) = (( V V ) C ( V V )), (2.55) M T 1 1/ unde matricea C reprezintă matricea de covarianţă ataşată incertitudinii descriptorilor datorată zgomotului. O altă abordare a evaluării performanţelor algoritmilor de detecţie a punctelor de interes o regăsim în (Tissainayagam şi Sutler, 2004). Autorii propun următoarea modalitatea de calcul a numărului de colţuri stabile: unde: F n SC = a(, i t), (2.56) t= 1 i= 1 1, dacă colţul ia fost identificat în tcadre ait (, ) =, (2.57) 0, altfel unde n reprezintă numărul total de colţuri iar F numărul total de cadre al secvenţei de imagini. Pentru fiecare cadru se poate identifica abaterea colţurilor detectate folosind: unde CD t = n 2 2 1/2 {(,) bit ([ xi() t xi( t 1)] + [ yi() t yi( t 1)]) } i= 1 n i= 1 bit (, ), (2.58)

41 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 33 1, dacă colţul i a fost identificat pentru d cadre bit (, ) =. (2.59) 0, altfel Media abaterilor punctelor de interes (notată μ ), varianţa abaterii colţurilor 2 σ şi procentajul de colţuri stabile identificate cu succes, reprezintă indicatori utili pentru evaluarea performanţelor algoritmilor de detecţie. Aceşti indicatori se pot calcula astfel: media abaterilor punctelor de interes F 1 μ( CD) = CDt (2.60) F d varianţa abaterii colţurilor σ t= d 1 (2.61) F 2 2 ( CD) = ( CDt μcd) F d t= d procentajul de colţuri stabile pentru cadrul t SC p = N M I I (2.62) Diferenţa între criteriile de evaluare a performanţei algoritmilor de detecţie a punctelor de interes propuse în (Tissainayagam şi Sutler, 2004) faţă de (Schmid, 2004) îl reprezintă necesitatea ataşării unui algoritm de urmărire cu ajutorul căruia să fie identificat fiecare corespondent pentru punctele de interes. Totodată ambele articole propun criterii de evaluare a performanţelor algoritmilor de detecţie a punctelor de interes fără a face legătura cu aplicaţii concrete tip determinarea fluxului de mişcare, randare sau sisteme servoing. În (Martinez-Fonte, et al 2004), (Moreels şi Perona, 2007) se prezintă abordări probabilistice de evaluare a performanţelor algoritmilor de detecţie. Folosind parametrii de calibrare ai camerei si algoritmi de urmărire, se definesc: nr_false_alarms false_rate= nr_attempted_matches nr_database nr_detections detection_rate=. nr_attempted_matches (2.63) Pentru generarea secvenţelor de imagini sunt stocate diferite proiecţii 2D ale obiectelor 3D.

42 34 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Criteriile de evaluare a performanţelor trăsăturilor vizuale descrise în acest subcapitol, au fost folosite îndeosebi pentru dezvoltarea unor aplicaţii de tipul recunoaştere de obiecte, construire flux de mişcare, reconstrucţie 3D folosind nori de puncte. Utilizarea evaluării performanţelor punctelor de interes se regăseşte şi în aplicaţii de dezvoltare a metodelor de calibrare a camerelor (Feng, et al, 2008). 2.6 Algoritmi de urmărire a trăsăturilor vizuale Multitudinea aplicaţiilor pentru care au fost dezvoltaţi algoritmi de urmărire a obiectelor în secvenţe de imagini sunt prezente în domenii precum: animaţie, robotică, aeronautică, aplicaţii militare, etc. Diferite categorii rezultă din atitudinea cinematică şi dinamică a obiectelor urmărite faţă de senzorul vizual. În categoria de aplicaţii pentru care algoritmii de urmărire sunt dezvoltaţi considerând ipoteza de obiect dinamic se detaşează aplicaţiile de reconstrucţie a traiectoriei pentru autovehicule şi roboţi mobili. În (Betke, et al., 2000) se propune un algoritm de urmărire bazat pe regiuni de interes. Marele dezavantaj îl reprezintă posibilitatea intersectării regiunilor cu aceleaşi proprietăţi, dar care caracterizează în acelaşi timp atât obiecte staţionate cât şi aflate în mişcare. Pentru îmbunătăţirea acestui algoritm s-a propus adăugarea de informaţii de tipul model 3D al zonei de căutare. O altă modalitate de urmărire a obiectelor aflate în mişcare îl constituie caracterizarea obiectului prin mulţimea vectorilor săi de mişcare şi construirea unei traiectorii non-influenţabile de apariţia sau dispariţia instantanee a trăsăturilor vizuale (Savier şi Sayed, 2006). Totuşi, perturbaţia poate deveni importantă în cazul creşterii sau scăderii semnificative a raportului dintre apariţia şi dispariţia trăsăturilor vizuale (de exemplu analiza traiectoriilor autovehiculelor în intersecţii). Utilizând o transformare de tip rang, transformare non-parametrică, se ataşează o valoare în funcţie de numărul de pixeli vecini dintr-o fereastră de dimensiuni reduse, al căror nivel de gri este mult mai scăzut decât al centrului ferestrei (Anderson, et al 2007). Deşi teoretic metoda prezintă proprietăţi de invarianţă la schimbări ale fluxului luminos,

43 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 35 în practică s-au observat erori de urmărire în cazul umbririi scenei de lucru şi o modificare substanţială a rangurilor ataşate. Dezvoltarea de algoritmi pentru reconstituirea traiectoriei obiectelor în secvenţe de imagini este un proces foarte important pentru utilizarea vederii artificiale în sisteme de control a roboţilor. Proiectarea legilor de reglare bazate pe feedback vizual necesită în principal stabilirea corespondenţelor între poziţiile trăsăturilor vizuale din cadre succesive (Chaumette şi Hutchinson, 2006). Un algoritm de detecţie robust a trăsăturilor vizuale ce descriu obiectul împreună cu o metodă de urmărire, cu performanţe ale timpilor de rulare foarte bune, constituie premisele proiectării unui sistem performant de control bazat pe imagini. Tehnicile de urmărire dedicate aplicaţiilor servoing pot fi împărţite în două mari categorii (Marchand şi Chaumette, 2005): bazate pe trăsături sau pe model. În cazul urmăririi bazate pe trăsături vizuale primitivele considerate pentru descrierea obiectelor sunt de natură geometrică (colţuri, centroizi, contur, regiuni de interes, etc.). Cea de a doua tehnică este derivată din cunoştinţe de tipul model 3D al obiectelor din scena de lucru. Pentru cea de a doua tehnică avantajele se constituie într-o robusteţe de nivel înalt pentru scene de lucru complexe plus o putere mare de predicţie în cazul mişcărilor afectate de ocluzia dintre obiecte. Dezavantajul tehnicilor de urmărire bazate pe model 3D îl reprezintă timpul necesar procesării informaţiilor şi identificării obiectelor în scena de lucru. Dintre metodele de urmărire propuse în literatura de specialitate, două sunt de departe cele mai utilizate: metoda bazată pe regiuni de interes şi metoda bazată pe proprietăţi ale gradientului funcţiei imagine. Obiectivul metodelor de estimare a mişcării bazate pe zone de interes este de a considera un model al obiectului ţintă utilizând informaţii tip intensitate bidimensională, grupate în vecinătatea poziţiei unei trăsături vizuale, şi de a calcula locaţia într-un cadru nou prin comparaţia noilor date extrase cu modelul considerat. Această vecinătate care descrie proprietăţile unei trăsături vizuale se numeşte zona de interes. Datele sunt comparate în mod uzual prin utilizarea unui model parametric simplu de mişcare tip deplasare afină (translaţie sau rotaţie), iar optimalitatea determinării noii locaţii rezultă din metodele de corelaţie discrete. Metodele de estimare a

44 36 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing mişcării bazate pe zone de interes sunt în general simple, eficiente şi cu un nivel scăzut al efortului computaţional. O problemă fundamentală a algoritmilor de urmărire bazaţi pe zone de interes este criteriul de selecţie a acestor zone. Una din abordările prezente în literatura de specialitate o reprezintă setarea pe parcursul întregii secvenţe de imagini a zonei de interes ca fiind aceeaşi cu cea extrasă în primul cadru. Avantajul acestei abordări este faptul ca la fiecare etapă algoritmul de urmărire foloseşte ca date primare informaţii nemodificate de dinamica procesului de achiziţie. Totuşi, inadaptabilitatea la schimbări a zonei de interes reprezintă un dezavantaj major. Din această cauză pot să apară situaţii precum imposibilitatea urmăririi obiectului după o transformare ce conduce la ieşirea din cadru a unei parţi din obiect. Alternativa metodei de selecţie a zonei de interes bazată pe primul cadru al secvenţei de imagini, este utilizarea informaţiilor extrase din cadrul t-1 pentru cadrul t. Dezavantajul acestei abordări este că algoritmul tinde să se îndepărteze în timp de modelul original al obiectului pentru că nu există certitudinea calculului fără erori a noii locaţii a obiectului. Cross-correlation este un algoritm de urmărire a locaţiilor zonelor de interes utilizând similarităţi ale nivelurilor de gri. Utilizarea metodei pentru algoritmi de urmărire a mişcării este motivată prin înglobarea sumei pătratelor distanţelor: 2 * 2 * ( Δ, Δ ) = (, ) (, ) I, I +Δ +Δ, (2.64) xy, d x y I xy Ix xy y unde I( x+δ x, y+δ y) este un cadru al secvenţei de imagini iar I * ( xy, ) este cadrul referinţă. Prin Δx, Δy s-au notat variaţiile poziţiei dintre cadrul de referinţă şi cadrul curent în direcţiile x şi y. Suma este calculată după toţi pixelii din zona de interes. Dezvoltând (2.64) rezultă: d ( Δx, Δ y) = I ( xy, ) 2 I( xyix, ) ( +Δ xy, +Δ y) + I( x+δ xy, +Δy), (2.65) 2 *2 * 2 * I, I xy, Deoarece în ecuaţia (2.65) termenul I * ( xy, ) este constant iar termenul * ( Δ, Δ ) = (, ) ( +Δ, +Δ ) xy, I 2 ( x+δ x, y+δ y) este aproximativ constant rezultă că: s x y I x y I x x y y. (2.66) este o măsură a similarităţii dintre zona de interes şi cadrul curent.

45 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 37 Există dezavantaje în utilizarea ecuaţiei (2.66) pentru estimarea mişcării cum ar fi: ecuaţia (2.66) rezultă din presupunerea că energia imaginii este aproximativ constantă. Dacă energia I 2 ( xy, ) variază cu poziţia, estimarea mişcării prin ecuaţia (2.65) poate conduce la inexactităţi; dimensiunea ferestrei s( Δx, Δ y) depinde de dimensiunea zonei de interes. Apar erori la estimări ale mişcării când avem de-a face cu schimbări de scală; ecuaţia (2.66) nu este invariantă la schimbări de amplitudine în funcţia imagine cauzate de schimbări ale fluxului luminos pe parcursul secvenţei de imagini. Pentru îmbunătăţirea estimării mişcării via cross-correlation au fost propuse diferite modalităţi de calcul a coeficientului de corelaţie precum: c( Δx, Δ y) = +Δ +Δ * * [ I ( x, y) I ][ I( x x, y y) I] xy, * * 2 2 [ I ( xy, ) I ] [ (, ) ] xy, Ix+Δ xy+δy I xy, (2.67) * unde I este media aritmetica a nivelurilor de gri din zona de interes, iar I este media aritmetică a zonei de căutare. Această metodă de urmărire poate fi folosită în condiţia în care se presupune că distanţa de deplasare este relativ mică în comparaţie cu dimensiunile obiectului din imagine. Fiind determinat un punct de interes P i din imaginea I 1, se caută vecinul care se aseamănă cel mai mult din imaginea I 2 (fig.2.9). Primul pas este de a determina trăsăturile vizuale de interes (de ex: colţurile) din imaginea I 1 achiziţionată la momentul t. Al doilea pas îl constituie realizarea corespondenţelor între punctele de interes detectate în imaginea I 1 şi punctele corespunzătoare din imaginea I 2 achiziţionată la momentul t+δt. Căutarea se realizează într-o vecinătate centrată în pixelul P i de coordonate (x i, y i ), (P i fiind pe rând, fiecare colţ detectat în imaginea I 1 ), mărimea acestei vecinătăţi fiind corelată cu amplitudinea mişcării. Se caută în imaginea I 2 cea mai bună aproximare a colţului P i din imaginea I 1. Pentru realizarea acestei operaţii se utilizează o matrice (mască) de comparaţie care are ca element central intensitatea pixelului P i, iar celelalte elemente reprezintă intensităţile vecinilor (dimensiunea acestei matrice este stabilită în prealabil de utilizator).

46 38 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Punct de interes (xi,yi) Cea mai buna xi,,yi Vecinatate de cautare mască Imaginea I1 Imaginea I2 Punct initial (xi,yi) Vector de mişcare Punct final (xf,yf) Fig. 2.9 Estimarea vectorilor de mişcare Primul pas este de a determina trăsăturile vizuale de interes (de ex: colţurile) din imaginea I 1 achiziţionată la momentul t. Al doilea pas îl constituie realizarea corespondenţelor între punctele de interes detectate în imaginea I 1 şi punctele corespunzătoare din imaginea I 2 achiziţionată la momentul t+δt. Căutarea se realizează într-o vecinătate centrată în pixelul P i de coordonate (x i, y i ), (P i fiind pe rând, fiecare colţ detectat în imaginea I 1 ), mărimea acestei vecinătăţi fiind corelată cu amplitudinea mişcării. Se caută în imaginea I 2, cea mai bună aproximare a colţului P i din imaginea I 1. Pentru realizarea acestei operaţii se utilizează o matrice (mască) de comparaţie care are ca element central intensitatea pixelului P i, iar celelalte elemente reprezintă intensităţile vecinilor (dimensiunea acestei matrice este stabilită în prealabil de utilizator). În construcţia vectorului de mişcare, punctul de coordonate (x i, y i ) este considerat ca fiind iniţial (coada vectorului de mişcare), iar punctul de coordonate (x f, y f ) determinat în imaginea I 2, care aproximează cel mai bine colţul P i, este considerat final (vârful vectorului de mişcare). Masca de comparaţie este deplasată prin vecinătatea de căutare din imaginea I 2, reţinându-se pixelul pentru care vecinătatea acestuia aproximează cel mai bine masca de comparaţie. Fiecare pereche de pixeli astfel găsită este memorată întrun vector numit vector de mişcare. În figura 2.10, este evidenţiat modul de determinare a vectorilor de mişcare. Se consideră două cadre succesive I( t 0), I( t 1) şi poziţia unei

47 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 39 trăsături bidimensionale x( t 0). Dacă prin aplicarea algoritmului de detecţie a corespondenţilor rezultă perechea ( x( t0); x( t 1)) atunci vectorul de mişcare va avea originea in x( t 0) şi vârful în proiecţia d( x ) a lui x( t 1) pe cadrul I( t 0). x t 1 t 0 x(t 0 ) d(x) t x(t 1 ) I(t 0 ) I(t 1 ) y Fig.2.10 Vectorul de mişcare x( t0) d( x) Spre deosebire de Cross-corelation, algoritmul Gradient Vector Matcher nu face o căutare pixel cu pixel în imaginea I 2, ci încearcă să găsească colţul corespondent dintr-o mulţime mult mai mică de pixeli. Astfel, primul pas este de a determina colţurile, atât din imaginea I 1 cât şi din imaginea I 2, folosind unul din operatorii de detecţie a trăsăturilor vizuale de interes. Gradient Vector Matcher a fost dezvoltat în principal pentru trăsături extrase via detectorul Harris. Pentru fiecare colţ detectat în imaginea I 1 se testează care colţ dintre cele detectate în imaginea I 2 îl aproximează cel mai bine realizându-se astfel perechi de colţuri corespondente (fig. 2.11). Fig Căutarea colţului corespondent în cazul GVM

48 40 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Această tehnică de urmărire foloseşte cât mai multe informaţii posibile rezultate în urma procesului de detecţie a colţurilor. În acest scop, sunt folosite şi comparate trei atribute: I (intensitatea nivelului de gri), I x (valoarea variaţiei funcţiei intensitate de-a lungul axei x), I y (valoarea variaţiei funcţiei intensitate de-a lungul axei y). I x şi I y sunt calculate prin extragerea rădăcinii pătrate a gradienţilor filtraţi < I 2 x > si < I 2 y > pentru fiecare pixel în parte, şi calculând media pe o mască de suprafaţă 3x3. Un vector este construit cu cele trei componente, (I, I x, I y ) şi comparat cu vectorul echivalent colţului curent (figura 2.12). Fig Gradient Vector Matcher (GVM) Comparând doi vectori, se calculează valoarea m(v,w) între punctul curent si fiecare punct candidat, conform relaţiei: v w m( v, w) =. (2.68) vw Deoarece schimbările liniare ce apar în I duc la schimbări atât în I x şi I y, această metodă nu este sensibilă la schimbări liniare a condiţiilor de iluminare. Pixelul candidat, care are cea mai mică valoare m(v,w), este considerat ca fiind colţul corespondent, atâta timp cât m este mai mic decât o valoare de prag predefinită. Utilizarea trăsăturilor bidimensionale (Lazăr şi Burlacu, 2007a) pentru caracterizarea obiectelor conduce la algoritmi rapizi şi robuşti pentru scene de lucru cu o complexitate medie. Ţinând cont de principala caracteristică a trăsăturilor bidimensionale (aceea de variaţie pe două direcţii a funcţiei imagine) se pot genera vectori de mişcare atât pe baza proprietăţilor tip vecinătate cât şi pe baza proprietăţilor tip structură a trăsăturii vizuale. Avantajul tehnicii de urmărire a obiectelor utilizând trăsături vizuale (în special trăsături bidimensionale) îl reprezintă simplitatea şi fidelitatea de reconstituire a mişcării în secvenţe cu obiecte bine definite (fără ocluzii).

49 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Sisteme servoing Senzorul vizual reprezintă una dintre componentele fundamentale ale unui robot, permiţând investigarea mediului de lucru fără a fi necesar contactul cu elementele acestuia (Siciliano şi Khatib, 2008). Visual servoing reprezintă o fuziune a rezultatelor obţinute din cercetări ale mai multor domenii cum ar fi analiza şi procesarea in timp real a imaginilor, robotică, teoria controlului si a sistemelor, proiectarea aplicaţiilor in timp real. Aparute la începutul anilor 80, sistemele servoing au determinat un interes major printre cercetători, cele mai importante centre fiind Institute of Computer Science and Applied Mathematics, Christian-Albrechts-University of Kiel, Germania, INRIA Institut National de Recherche en Informatique et en Automatique, din University of Rennes, Franţa, Robotic Institute, Carnegie-Mellon University, Pittsburgh, USA, Department of Electrical and Computer Engineering, University of Illinois sau CSIRO Division of Manufacturing Technology, Kenmore, Australia. În (Weiss, 1984) se face pentru prima dată o descriere completă a celor două arhitecturi fundamentale ale sistemelor servoing: arhitectura bazată pe poziţie şi arhitectura bazată pe imagine. Fiecare din cele două arhitecturi prezintă avantaje şi dezavantaje pentru procesele de timp real (Hutchinson, et al 1996). Arhitectura bazată pe poziţie se constituie în calcularea unei erori reprezentate în sistemul Cartezian si necesită atât un model al obiectului ( de obicei de tip CAD), cât si o cameră perfect calibrată pentru a obţine o estimare a poziţiei si orientării obiectului (Mezouar şi Chaumette, 2002). Avându-se drept unul din scopurile principale stabilitatea globală a sistemelor servoing, s-a constatat faptul că arhitectura bazată pe poziţie suferă limitări masive din punct de vedere al robusteţii si descrierii matematice a modelelor necesare implementărilor fizice. Astfel, au fost create aşa numitele metode hibride, pentru a se compensa deficientele iniţiale (Andreff, et al 2002), (Kyrki, et al 2004), (Schramm, et al, 2004). În cazul celei de-a doua arhitecturi, bazată pe imagine, se evită folosirea unui model al obiectului prin măsurarea unui semnal eroare în planul imaginii, semnal mapat direct în comenzile elementului de execuţie al robotului (Spong, et al 2006).

50 42 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Ambele arhitecturi folosesc trăsături vizuale ce pot fi privite drept mărimi de caracterizare a proprietăţilor obiectelor în planul imaginii. Dacă pentru arhitectura bazată pe poziţie trăsăturile sunt folosite pentru a caracteriza poziţii prin corelarea planului imaginii cu spaţiul tridimensional, în cazul arhitecturii bazate pe imagine aceste trăsături conduc la formarea matricei Jacobian, matrice ce reprezintă maparea între vitezele obiectelor proiectate în planul imaginii şi mediul de lucru al robotului. Singularităţile care pot să apară în cazul matricei Jacobian, plus imposibilitatea controlului direct asupra vitezelor dezvoltate de robot în spaţiul tridimensional, conduc la dificultăţi în proiectarea regulatorului. Creşterea numărului de grade de libertate ale roboţilor incluşi în sisteme servoing (Drummond şi Cipolla, 2002), plus complexitatea mărită a obiectelor din scena de lucru (Fujimotto, 2003), au condus la necesitatea implementării de noi metode pentru proiectarea legii de control. Astfel, una din soluţiile propuse vizează controlul predictiv (Gangloff, 2003) având scopul de a creşte viteza de răspuns a sistemului servoing. Tehnicile de conducere a roboţilor trebuie să ofere capabilitatea de a modifica automat poziţii si traiectorii, şi de a se adapta variaţiilor de task-uri sau ale spaţiilor de lucru. Senzorii bazaţi pe vederea artificială permit obţinerea flexibilităţii dorite, iar introducerea lor în structurile de conducere a roboţilor a dat naştere la sistemele de urmărire vizuale, numite sisteme servoing. Aceste sisteme sunt capabile să măsoare poziţiile relative dintre efectorul robotului si obiectele din spaţiul de lucru. Prelucrarea şi interpretarea informaţiilor din imagini 2D pentru estimarea poziţiilor necesită extragerea trăsăturilor din imagini care sunt corelaţi cu modelele obiectelor. Erorile dintre poziţiile dorite si cele măsurate sunt exprimate in funcţie de descriptorii f, rezultând arhitectura sistemului servoing bazat pe imagini din Fig Descriptorii includ componente structurale ale imaginii cum ar fi puncte, linii si arii, dar si parametrii cantitativi ataşaţi. În figura 2.13 este prezentat sistemul servoing utilizat pe parcursul elaborării tezei de doctorat în testarea algoritmilor, sistem compus dintr-un robot manipulator ABB IRB 1400 şi o cameră monocromă drept senzor vizual. Structurile de control bazate pe imagini necesită o atenţie deosebită acordată algoritmilor de conducere care trebuie să depindă de relaţiile dintre poziţiile relative si descriptori. În sistemele servoing, rolul vederii artificiale este de a efectua măsurători care afectează dinamica întregului sistem.

51 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing 43 Fig.2.13 Sistem sevoing bazat pe imagini Regulatorul utilizat în acest caz foloseşte un feedback vizual, numindu-se regulator bazat pe imagini şi trebuie să asigure stabilitatea si o comportare adecvată în regim tranzitoriu. În literatura de specialitate nu există încă metode de analiză şi sinteză a regulatoarelor bazate pe imagini bine definite in raport cu termenii din teoria controlului automat, iar proiectarea acestor regulatoare se face utilizând strategii ad-hoc. Controlul vizual bazat pe imagini (eng. Image based visual servo control) utilizează ca intrare o eroare, determinată prin măsurări în planul imaginii, pentru a poziţiona efectorul unui robot manipulator: * et ( ) = f( t) f. (2.69) Parametrii din ecuaţia (2.69) sunt definiţi astfel: vectorul f ( t) = ( u, v) reprezintă un set de poziţii curente ale trăsăturilor vizuale şi f* conţine poziţiile dorite pentru îndeplinirea task+ului. Viteza camerei va fi notată cu v c. Matricea Jacobian a imaginii 6 J R k f realizează legătura între f şi c unde: v (Chaumette şi Hutchinson, 2006) f = J, (2.70) f v c

52 44 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing pentru o singură trăsătură. J f 2 2 λ u uv λ + u 0 v z z λ λ = 2 2 λ v λ v uv 0 u z z λ λ (2.71) În ecuaţia (2.71) s-a notat prin λ distanţa focală a camerei şi prin z distanţa raportată la a treia axă de coordonate a sistemului ataşat camerei (eng. depth axis). Utilizând ( ) rezultă imediat că relaţia dintre viteza camerei şi variaţia în timp a erorii de poziţionare poate fi exprimată prin : e = J f v c. (2.72) Considerând v c ca semnal de intrare pentru sistemul de comandă a robotului, cel mai simplu mod de a utiliza controlul bazat pe imagine este reducerea erorii cu un factor exponenţial folosind legea de control: 1 vc λj f e =. (2.73) Dacă matricea Jacobian nu este pătratică, atunci pentru inversarea ei se utilizează o T formă de inversare generalizată ( ) 1 J + = J J J, având condiţia necesară ca rangul T f f f f lui J f, calculat pentru un număr de cel puţin 4 trăsături, să fie 6. Din succesiunea de ecuaţii anterioare rezultă că acurateţea legii de control bazată pe imagine depinde de calitatea erorii generată de poziţionarea trăsăturilor punctiforme şi determinarea corespondenţilor în cadre succesive. Totodată, privind în ansamblu structura de reglare reprezentată în figura 2.1, se ridică întrebări asupra potenţialelor probleme de stabilitate şi robusteţe (Chaumette, 1998), (Mezouar şi Chaumette, 2002). Proiectarea legii de control (2.73) necesită, în mod exclusiv, performanţe bine stabilite ataşate trăsăturilor vizuale utilizate: repetabilitate, robusteţe, acurateţe. Cum s-a observat şi în subcapitolul 2.5, nu există criterii de performanţă dedicate exclusiv analizei proprietăţilor trăsăturilor vizuale utilizate în sistemele servoing. Multitudinea de trăsături vizuale propuse pentru proiectarea legii de control bazate pe imagini (Mansard, et al. 2007), cum ar fi puncte de interes (Hutchinson, 1996), contur (Marchand şi Chaumette, 2004), momente ale imaginii (Tahri şi Chaumette, 2004), conduce la ideea găsirii unor criterii de evaluare a performanţelor uniform valabile.

53 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing Concluzii În acest capitol au fost prezentate metode de detecţie a punctelor de interes, trăsături vizuale recomandate pentru utilizarea în proiectarea legilor de control bazate pe imagini prin prisma performanţelor ataşate. Au fost descrise metode de detecţie spaţiale şi frecvenţiale, invariante la transformări în plan, dar şi la variaţia factorului de scalare. Multitudinea aplicaţiilor ce utilizează trăsături vizuale tip punct de interes (reconstituirea traiectoriei obiectelor în secvenţe de imagini, reconstrucţia 3D a obiectelor, etc.) au condus la dezvoltarea de criterii de evaluare a performanţelor acestui tip de trăsături vizuale. Totuşi, pentru aplicaţii mai complexe, cum este cazul sistemelor servoing, criteriile de performanţă existente pentru evaluarea calităţii punctelor de interes nu sunt suficiente pentru a analiza utilitatea acestora în proiectarea legilor de control. Rezultă necesitatea dezvoltării unor criterii de evaluare a performanţelor dedicate sistemelor servoing, care să poată decide asupra proprietăţilor tip repetabilitate, robusteţe, acurateţe, necesare trăsăturilor vizuale utilizate în proiectarea legilor de control bazate pe feedback vizual. Legile de control a roboţilor, bazate pe feedback vizual, utilizează ca informaţie de bază modificarea poziţiei trăsăturilor vizuale în planul imaginii. Este necesară astfel introducerea metodelor de urmărire a trăsăturilor vizuale în secvenţe de imagini pentru stabilirea corespondenţelor între cadre succesive. Dintre metodele de urmărire existente în literatura de specialitate au fost descrise metoda bazată pe zone de interes şi metoda bazată pe proprietăţi de gradient.

54 46 Detecţia şi urmărirea punctelor de interes în aplicaţii servoing

55 Capitolul 3. Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 3.1 Introducere 3.4 Criterii de evaluare a performanţelor punctelor de interes în aplicaţii servoing 3.2 Implementarea şi testarea algoritmilor 3.5 Rezultate experimentale de detecţie a punctelor de interes 3.3 Implementarea şi testarea algoritmilor 3.6 Concluzii de urmărire a punctelor de interes Dezvoltarea aplicaţiilor ce utilizează trăsături vizuale este direct influenţată de performanţele algoritmilor de detecţie. Fie că este vorba de stabilitate, repetabilitate sau acurateţe, criteriile de performanţă utilizate trebuie să includă, în analiza algoritmilor de detecţie, proprietăţi specifice ale aplicaţiilor considerate. Utilizarea trăsăturilor bidimensionale în diferite tipuri de aplicaţii precum generarea de informaţii asupra structurilor 3D din probleme de mişcare (Cooke şi Whotmough, 2005), recunoaşterea obiectelor într-o scenă de lucru (Amit, 2002), urmărirea traiectoriei obiectelor în secvenţe de imagini (Shapiro 2000), controlul roboţilor manipulatori în task-uri tip servoing (Song, et al, 2006), au necesitat în prealabil analiza performanţelor diferiţilor algoritmi de extragere. O trăsătură tip punct poate fi folosită pentru a descrie un obiect dacă ea este iterată la fiecare aplicare a algoritmului de extragere. Astfel, utilizând secvenţe de imagini achiziţionate pentru aceeaşi scenă de lucru, s-au propus criterii precum

56 48 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes stabilitate, acurateţe, robusteţe. După cum s-a descris şi în subcapitolul 2.5 nu există multe criterii de evaluare a performanţelor algoritmilor de detecţie a trăsăturilor vizuale pentru visual servoing. În această secţiune sunt prezentate criterii noi de stabilitate a punctelor de interes rezultate în urma analizei secvenţelor de imagini cu dinamică controlată (Burlacu and Lazăr, 2006 a) şi criterii noi de robusteţe a trăsăturilor bidimensionale utilizabile în aplicaţii servoing (Lazăr şi Burlacu, 2007 a), (Lazăr şi Burlacu, 2007 b). 3.1 Introducere Performanţele sistemelor de control bazate pe feedback vizual dedicate roboţilor manipulatori sunt strâns legate de performanţele trăsăturilor vizuale utilizate. Proiectarea legii de reglare pe baza punctelor de interes necesită în prealabil stabilirea calităţii acestora. Evaluarea calităţii punctelor de interes ce caracterizează obiectele din planul imaginii asigură premisele dezvoltării unei strategii de control robuste. Diferitele tehnici de procesare a imaginii pentru extragerea punctelor de interes nu au fost evaluate până în prezent exclusiv pentru aplicaţii servoing. Secvenţele de imagini ce surprind un task prestabilit pot fi utilizate ca date de intrare pentru algoritmii de evaluare a punctelor de interes, dedicate sistemelor servoing. Astfel, considerând o configuraţie de start a punctelor de interes se doreşte generarea unei traiectorii în planul imaginii care să includă la un moment dat poziţiile punctelor de interes din configuraţia dorită. 3.2 Implementarea şi testarea algoritmilor de detecţie a punctelor de interes Dezvoltarea algoritmilor de detecţie a punctelor de interes a fost realizată folosind Image Processing Toolbox din mediul de programare Matlab 7.1. Implementarea şi testarea algoritmilor dezvoltaţi are drept scop validarea performanţelor analitice descrise

57 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 49 în secţiunea 2.5. În continuare sunt prezentate metodele de implementare şi rezultatele experimentale pentru algoritmul Harris, SIFT şi metoda congruenţei fazelor Algoritmul Harris Algoritmul se bazează pe utilizarea proprietăţilor funcţiei de autocorelaţie, după cum a fost descris în secţiunea Implementarea este compusă din două etape: o primă etapă în care sunt calculate valorile funcţiilor de autocorelaţie pentru fiecare pixel din imagine; o a doua etapă în care se determină valoarea de maxim local a acestei funcţii intr-o vecinătate definită de utilizator. Deoarece această metodă de detecţie a punctelor de interes este foarte sensibilă la zgomot, trebuie parcursă o etapă de preprocesare a imaginilor considerate. Primul pas al acestui algoritm, după citirea imaginii, este cel în care imaginea color este transformată în imagine grayscale (imagine în nuanţe de gri), rezultând un tablou imagine (matrice m n) compus din nuanţe de gri. Pentru a realiza acest lucru, o variantă este utilizarea funcţiei liniare rgb2gray din toolbox-ul de Image Processing al softwareului Matlab. Utilizând imaginea grayscale algoritmul parcurge următoarele etape: Intrări: A(x,y) - imaginea grayscale, pragul α Ieşiri: trăsăturile (puncte de interes) obiectului din imagine pentru fiecare pixel din imaginea A - se calculează I x intensitatea gradientului pe x - se calculează I y intensitatea gradientului pe y - se calculează I 2 x, I 2 y, I xy - se calculeză valoarea cv cu ajutorul formulei 2.14: 2 2 Ix Iy cv = < >+< > < I >< I > < I I > sfârşit x y x y - se caută valoarea cv care este mai mică decât valoarea pragului - pozitiile (x,y) pentru fiecare cv< α sunt stocate într-o matrice - afişarea rezultatelor Calcularea intensităţii gradientului se realizează prin implementarea ecuaţiilor (2.9) folosind funcţia conv2 din mediul de lucru Matlab. Cele două măşti sunt folosite pentru a

58 50 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes calcula variaţia intensităţii, iar filtrul Gaussian se foloseşte pentru a elimina zgomotul. Algoritmul calculează valoarea cv (2.14) pentru fiecare pixel şi o compară cu o valoare de prag, valoare stabilită de utilizator. Dacă valoarea cv-ului este sub acest prag atunci pixelul este numit punct de interes. Cu cât valoarea cv-ului este mai mică cu atât punctul de interes este mai bine definit. Numărul punctelor de interes detectate se modifică neliniar în raport cu parametrul α. O primă serie de imagini analizate au fost achiziţionate folosind arhitectura eye-to-hand. Aceste imagini (Fig.3.1) surprind transformări tip translaţie în planul imaginii a unui efector şi a unei piese rectangulare. Fig.3.1 Rezultate detectare puncte de interes folosind algoritmul Harris, efector-obiect scena nr.1 În figura 3.2 sunt surprinse patru stagii dintr-o aplicaţie de prindere a unei piese rectangulare folosind un braţ manipulator ABB. Efectorul robotului manipulator dezvoltă atât mişcări de rotaţie cât si de translaţie. Punctele de interes detectate caracterizează atât efectorul cât şi piesa rectangulară. Fig. 3.2 Rezultate detectare puncte de interes folosind algoritmul Harris, efector-obiect scena nr.2 Arhitectura eye-to-hand permite achiziţionarea de secvenţe de imagini fără scalare şi în acelaşi timp fără fluctuaţii neliniare ale iluminării. Dacă sunt considerate spre

59 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 51 analiză secvenţe de imagini achiziţionate prin arhitectura eye-in-hand se observă modificări ale factorului de scalare şi neliniarităţi ale fluxului de iluminare (Fig.3.3). Fig.3.3 Rezultate detectare puncte de interes folosind algoritmul Harris, obiect rectangular nr.1 Din rezultatele experimentale rezultă faptul că a fost realizată identificarea punctelor de interes din punct de vedere a poziţiilor din planul imaginii asociate vizual cu zone în care funcţia imagine variază pe două dimensiuni Detectorul SIFT Acest algoritm a fost implementat urmărind paşii descrişi în capitolul anterior în secţiunea 2.3.1, şi este format din două etape: 1. Detectarea extremelor în spaţiul scalărilor; 2. Localizarea trăsăturilor. Primul pas îl reprezintă crearea spaţiului scalărilor, prin construirea unei structuri piramidale conform relaţiei (2.17), apoi sunt filtrate respectivele imagini cu un nucleu Gaussian de pondere σ (2.15). Iniţial valoarea parametrului σ este egal cu 1.5, aceasta variind conform relaţiei (2.19). După realizarea piramidei se construieşte spaţiul DoG făcând scăderea a două imagini succesive ce aparţin aceleiaşi octave. Filtrarea unei imagini se poate realiza prin utilizarea funcţiei imfilter, în timp ce masca filtrului este generată cu fspecial. În implementarea considerată, nucleul utilizat pentru operaţia de filtrare a fost creat într-o funcţie separată.

60 52 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Intrări: I(x,y)- imaginea, ord- marimea nucleului Gaussian σ - ordinul de filtrare al Gaussianului Ieşiri: A(x,y)- imaginea filtrată pentru fiecare pixel din fereastra Gaussianului - se calculează nucleul gaussian cu ajutorul formulei 2.15: 1 ( x2+ y2 )/2 σ 2 G( x, y, σ ) = e 2 2πσ sfârşit - se filtrează imaginea cu nucleul calculat la pasul anterior Odată construit spaţiul DoG se determină extremele din acest spaţiu. Pentru fiecare octavă se iau toate punctele (pixelii) pe rând şi se compară valoarea nivelului de gri a acestor puncte cu valoarea fiecărui vecin din cei 26 de vecini, cum este arătat în figura 2.8. Dacă valoarea nivelului de gri a punctului este mai mare sau mai mică decât valoarea fiecărui din cei 8 vecini ai săi de pe acelaşi nivel, se trece mai departe şi se compară cu valoarea celor 9 vecini corespunzători de pe nivelul anterior, în caz contrar punctul respectiv nu este punct de extrem. Dacă valoare punctului este mai mare sau mai mică şi decât valoarea celor 9 vecini de pe nivelul anterior, se compară valoarea punctului cu valoare celor 9 vecini de pe nivelul următor şi, dacă această valoare este mai mare decât a celor 9 vecini, atunci punctul respectiv devine punct de extrem, în caz contrar punctul nu prezintă nici un interes, adică nu este punct de extrem. Intrări: I(x,y)- imaginea, spaţiul scalării L(x,y,σ) Ieşiri: coordonatele punctelor de extrem (xp,yp) pentru toţi pixelii din spaţiul scalărilor - se aleg acei pixeli care verifică inegalitatea: L(x,y,σ)>L(x t,y t,σ t ), unde x t - aparţine {x-1, x, x+1} y t - aparţine {y-1, y, y+1} σ t - aparţine {σ-1, σ, σ+1}, cu condiţia ca (x,y,σ) (x t,y t, σ t ) sfârşit

61 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 53 După detectarea extremelor, pentru o mai bună stabilitate a punctelor de extrem se impun câteva condiţii, şi anume: valoarea nivelului de gri a punctului de interes trebuie să fie mai mică decât valoarea unui prag, valoarea acestui prag fiind stabilită de utilizator, dacă aceasta valoare nu este setată, ea este implicit egală cu 3. Punctele de extrem care îndeplinesc această condiţie sunt numite trăsături punctiforme sau puncte de interes. Testarea algoritmului de detecţie a punctelor de interes invariante la scalări a fost realizată utilizând secvenţe de imagini achiziţionate folosind arhitectura eye-in-hand, şi care surprind evoluţia poziţiei unui obiect (atât circular cât si rectangular) în planul imaginii într-o aplicaţie tip prindere. a) b) c) d) e) f) Fig. 3.4 Detecţia punctelor de interes invariante la scalări folosind algoritmul SIFT, obiect circular Fig. 3.5 Detecţia punctelor de interes invariante la scalări folosind algoritmul SIFT, obiect rectangular În urma analizei rezultatelor experimentale se observă faptul că poziţiile punctelor de interes invariante la scalări, extrase cu algoritmul SIFT, sunt centroizi ale unor zone circulare de mici dimensiuni în raport cu aria obiectelor analizate.

62 54 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Detectarea punctelor de interes prin congruenţa fazelor Metoda de detecţie a trăsăturilor tip punct de interes utilizând analiza în frecvenţă, prezentată în secţiunea 2.4, a fost implementată pentru analiza unei imagini grayscale. Forma pseudocod a implementării realizată în Matlab este următoarea: Iniţializarea parametrilor folosiţi. Se aplică transformata Fourier imaginii. Pentru fiecare orientare: 1. se calculează unghiul filtrului; 2. se iniţializează Wavelet-ul; 3. se iniţializează acumulatorii pentru filtrele pare / impare, amplitudine, energie; 4. se determină informaţiile specifice filtrelor pentru orientarea curentă; 5. pentru fiecare scală: se construieşte filtrul; se realizează convoluţia dintre transformata Fourier a imaginii şi filtrele pare / impare; se salvează rezultatele convoluţiei; se calculează Wavelet-ul pentru scala următoare; 6. se calculează amplitudinea maximă pe toate scalele folosite; 7. se calculează media pătratică a răspunsului obţinut la utilizarea filtrului cu cea mai mică scală pentru estimarea zgomotului; 8. se calculează media ponderată a răspunsului obţinut; 9. se calculează valoarea energiei; 10. are loc compensarea zgomotului estimat; 11. se calculează funcţia de ponderare pentru orientarea curentă; 12. se aplică funcţia de ponderare; 13. se actualizează valorile acumulatorilor pentru amplitudine şi energie totală; 14. se actualizează matricea orientărilor unde energia curentă este mai mare decât energia maximă găsită până în acest moment sub o altă orientare; se normalizează matricea energiei totale cu matricea amplitudinilor totale; se converteşte matricea orientărilor în grade.

63 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 55 Testarea algoritmului descris a fost realizată folosind atât imagini sintetice cât şi imagini reale. Imaginile sintetice constituie o colecţie de figuri geometrice în plan (figura 3.6 a) reprezentate prin nivel de gri 255 pe un fundal uniform cu nivel de gri 0. În urma analizei pe baza metodei congruenţei fazelor au fost obţinute rezultatele din figura 3.6 b. Fig.3.6.a) Imagine sintetică.b) Rezultatul obţinut aplicând algoritmul de calculare a congruenţei fazelor. Pentru a se pune mai bine în evidenţă valorile obţinute prin aplicarea algoritmului de calculare a congruenţei fazelor pe imaginea din figura 3.6, s-a utilizat funcţia Matlab imagesc. Aceasta realizează o auto-scalare a valorilor prezente în imagine. Valorii minime prezente în imagine îi corespunde culoarea albastră iar valorii maxime îi corespunde culoarea roşie, celelalte valori fiind reprezentate cu nuanţe formate din combinarea celor 2 culori (figura 3.7). Fig Reprezentarea cu ajutorul culorilor a intervalului [0 255] (cazul uint8 pentru reprezentarea imaginilor în Matlab). Se observă că punctelor din imaginea originală (figura 3.6 a), unde vizual se evidenţiază o trăsătură de tip muchie sau colţ, le corespund valori mari de congruenţă a fazelor (figura 3.6 b). Dacă se doreşte găsirea muchiilor într-o imagine, este de ajuns aplicarea unei valori de prag pe imaginea cu valorile obţinute pentru congruenţa fazelor. Dacă se doreşte extragerea colţurilor, o post-procesare mai avansată a imaginii

64 56 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes congruenţelor fazelor este necesară. Se poate utiliza ca informaţie suplimentară imaginea orientărilor (fiecare pixel are valoarea în grade a orientării sub care a fost obţinută valoarea maximă a energiei locale) (figura 3.8). Fig Imaginea orientărilor pentru care energia locală este maximă (6 orientări au fost luate în considerare). Se observă că în vecinătatea punctelor corespunzătoare colţurilor are loc o variaţie puternică a orientărilor. Pentru găsirea trăsăturilor de tip muchie, respectiv colţ, se folosesc următoarele măsuri: a = b = 2 c = 2 ( PC( θ ) cos( θ )), ( PC( θ ) cos( θ ))( PC( θ ) sin( θ )) 2 ( PC( θ ) sin( θ )), 1 M = c + a m = c + a 2 b b ( a c) 2, 2 ( a c), unde PC ( θ ) reprezintă valoarea de congruenţă a fazelor pentru orientarea θ. Aplicând o valoare de prag pe matricea M se pot determina trăsăturile de tip muchie (figura 3.9), iar aplicând valoarea de tip prag pe matricea m se pot determina trăsăturile de tip punct de interes (figura 3.10).,

65 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 57 Fig Colţurile detectate în cazul unei imagini sintetice. Fig Muchiile detectate în cazul unei imagini sintetice. În al doilea caz considerat, algoritmul a fost testat având ca intrare o imagine grayscale reală. Imaginea redă apucătorul robotului IRB2400, robot ce face parte din celula de fabricaţie din cadrul laboratorului de robotică al facultăţii (figura 3.11 a). Pentru captarea imaginii s-a folosit sistemul Optim Master al celulei de fabricaţie. Sistemul Optim Master asigură un fundal relativ constant şi o iluminare relativ uniformă. Rezultatul obţinut în urma aplicării metodei de calcul a congruenţei fazelor este reprezentat în figura 3.11 b).

66 58 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Fig a)apucătorul robotului IRB2400 b) Rezultatul obţinut aplicând algoritmul de calculare a congruenţelor fazelor. Fig a) Reprezentarea punctelor de interes detectate b) Reprezentarea muchiilor detectate. Setarea unui prag asupra valorilor obţinute prin aplicarea algoritmului de calcul a congruenţei fazelor conduce la posibilitatea caracterizării obiectelor prin trăsături vizuale de diferite tipuri. Rezultatele obţinute pe imaginile reale pentru detecţia trăsăturilor tip punct de interes sunt ilustrate în figura 3.12 a), iar trăsăturile vizuale tip muchie sunt reprezentate în figura 3.12 b). În urma testării efectuate a rezultat faptul că performanţele algoritmului de detecţie a puntelor de interes pe baza algoritmului de calcul a congruenţei fazelor sunt bune (Boghiu, et al., 2007), totuşi nivelul computaţional necesar procesării în timp real este unul ridicat.

67 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Implementarea şi testarea algoritmilor de urmărire a punctelor de interes Utilizând metoda cross-correlation împreună cu detectorul Harris a fost dezvoltat un algoritm pentru estimarea mişcării trăsăturilor bidimensionale ce caracterizează un obiect în scena de lucru observată cu ajutorul unei arhitecturi eye-to-hand. Intrări: masca de comparaţie, vecinătatea de căutare, ( xt, yt) - coordonatele punctului de interes din cadrul t Ieşiri: ( xt+ 1, yt+ 1) - coordonatele punctului de interes în cadrul t+1 pentru fiecare colţ din imaginea model - masca de comparaţie parcurge vecinătatea de căutare - se face corelarea dintre mască şi vecinătate folosind funcţia normxcorr2 - se determină poziţiile în care există corelare - se salvează coordonatele punctelor de interes din cadrul t+1, ( xt+ 1, yt+ 1) - se afişează rezultatele sfârşit Pentru cadrul t 0 dintr-o secvenţă de imagini au fost extrase poziţiile punctelor de interes cu ajutorul detectorulului Harris. Pentru fiecare poziţie a fost definită o vecinătate 3 3 în I( t 0) şi s-a considerat o fereastră de căutare în I( t 1). Utilizând ecuaţia (2.67) se caută, dacă există, zona de corespondenţă a vecinătăţii considerate. Se reţine centrul acelei zone. Implementarea şi testarea (Burlacu şi Lazăr, 2006c) a fost realizată in mediul Matlab, iar pentru testare s-au considerat secvenţe de imagini ce prezintă o aplicaţie de prindere utilizând efectorul unui robot ABB IRB2400. Întreaga scenă de lucru este caracterizată prin puncte de interes extrase cu ajutorul detectorului Harris (figura 3.2), dar pentru estimarea mişcării sunt de interes doar vectorii de mişcare ataşaţi efectorului (figura 3.13). Rezultatele experimentale obţinute relevă performanţe bune ale algoritmului de reconstrucţie a traiectoriei dezvoltat cu ajutorul metodei bazate pe vecinătăţi, atât pentru transformări tip rotaţie cât şi pentru transformări tip translaţie. Algoritmul de determinare a vectorilor de mişcare folosind Gradient Vector Matcher a fost implementat şi testat pe secvenţe de imagini ce reprezintă succesiuni dintro aplicaţie tip prindere obiect în efectorul unui robot manipulator. În figura 3.14 sunt

68 60 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes prezentate 5 cadre ale secvenţei de imagini şi trăsăturile extrase prin detectorul Harris, iar în figura 3.15 vectorii de mişcare: Fig Vectori de mişcare generaţi cu ajutorul metodei cross-correlation (a) (b) (c) (d) (e) Fig.3.14 Cadre extrase din secvenţa de imagini ce descriu aplicaţia de prindere Fig.3.15 Vectori de mişcare reconstituiţi prin metoda Gradient Vector Matcher

69 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 61 Comparând performanţele celor două metode de determinare a vectorilor de mişcare (Burlacu şi Lazăr, 2006b) se poate concluziona faptul că, pentru secvenţe de imagini achiziţionate cu arhitectura eye-to-hand, comportarea metodei bazată pe zone de interes este mai performantă decât metoda bazată pe proprietăţi de gradient. 3.4 Criterii de evaluare a performanţelor punctelor de interes în aplicaţii servoing În această secţiune sunt prezentate două criterii noi de evaluare a performanţelor trăsăturilor tip punct de interes dezvoltate pentru aplicaţii servoing Criteriu de evaluare a erorii de poziţionare pentru algoritmii de detecţie a punctelor de interes Vom considera ca ipoteză primară de analiză secvenţele de imagini în care distanţa dintre planul de lucru şi centrul camerei este constantă, iar unghiul dintre planul de lucru şi planul imaginii este de 0 grade. Analizele de stabilitate a algoritmilor de detecţie a punctelor de interes realizate până în prezent au utilizat doar imagini statice, singurele variaţii provenind de la erorile de achiziţionare a camerei de luat vederi sau simulări tip transformări geometrice a imaginii. În lucrarea de faţă o nouă abordare este propusă. Astfel, considerând drept informaţie cunoscută apriori mişcarea obiectelor în scenă şi având constantă distanţa parcursă între două cadre, putem introduce analiza stabilităţii pe secvenţe de imagini cu dinamică controlată. Fie un punct de interes descris de poziţia P= ( u, v) în planul imaginii. Presupunem că modificările survenite asupra poziţiei P sunt cauzate de o transformare omogenă: T( P) = P. (3.1) Dacă notăm prin ( u, v ) coordonatele centrului imaginii, atunci coordonatele lui P pot fi calculate utilizând: c c

70 62 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes * u u+ ru cosθ 1 sinθ 0 u uc * v v rv sinθ cosθ 1 0 v v = + + c (3.2) unde [ r r ] T reprezintă vectorul translaţie, iar θ unghiul de rotaţie al camerei în jurul u v axei z. Incluzând ecuaţia (3.1) în (2.58) rezultă noua formă de evaluare a erorii de poziţionare: CD t = n * 2 * 2 1/2 { bit (, ) ([ u i( t) ui( t 1)] + [ y i( t) vi( t 1)] ) } i= 1 n i= 1 bit (, ) (3.4) Având în vedere faptul că se evită utilizarea algoritmilor de corespondenţă a punctelor de interes între cadre succesive, este necesară definirea unei vecinătăţi de căutare. Setarea unei anumite dimensiuni a vecinătăţii va conduce la modificarea calităţii punctelor de interes identificate în secvenţe de imagini. Din ecuaţia (3.4) rezultă posibilitatea calculării următorilor indicatori de performanţă: media abaterilor punctelor de interes varianţa abaterii colţurilor σ F 1 μ( CD) = CDt ; (3.5) F d t= d 1 ; (3.6) F 2 2 ( CD) = ( CDt μcd) F d t= d procentajul de colţuri stabile pentru cadrul t SC p = N M I I. (3.7) Criterii de evaluare a robusteţii algoritmilor de detecţie a punctelor de interes Pentru a evalua robusteţea algoritmilor de detecţie a punctelor de interes, două criterii sunt introduse: rata de repetabilitate şi gradul de răspândire. Primul criteriu este derivat din criteriul de repetabilitate propus în (Schmid, et al., 2000) pentru a arăta cum

71 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 63 schimbările condiţiilor de achiziţie a imaginilor influenţează detecţia trăsăturilor punctiforme. Al doilea criteriu este unul nou şi permite o analiză a răspândirii trăsăturilor punctiforme raportate la o configuraţie dorită, dintr-o secvenţă de imagini. Utilizând criteriul de repetabilitate se poate stabili gradul de dependenţă a trăsăturilor punctiforme de condiţiile achiziţionării imaginilor precum: rotaţia imaginii, variaţii ale iluminării, scalări şi schimbări ale poziţiei camerei faţă de scena de lucru. În cazul unui algoritm de detecţie trăsăturile punctiforme f i sunt considerate a fi repetabile pe parcursul unei secvenţe de imagini dacă conţin la fiecare cadru trăsăturile punctiforme f d ce caracterizează dispunerea dorită a obiectelor din scenă. Pentru a evalua rata de repetabilitate, trăsăturile punctiforme ale unui obiect dintr-o imagine sunt caracterizate prin utilizarea descriptorilor invarianţi bazaţi pe momente ale imaginii (Chaumette, 2004). Prin includerea momentelor funcţiei imagine în descrierea obiectelor în scena de lucru se evită utilizarea algoritmilor de urmărire tip punct la punct. Folosind forma funcţiei imagine din (2.1) orice obiect poate fi descris ca o mulţime de n trăsături punctiforme. Cele n trăsături punctiforme ce caracterizează complet obiectul sunt extrase cu ajutorul unui algoritm de detecţie prezentat în capitolul 2 şi vor forma o mulţime notată cu A. Se transformă o imagine I într-o imagine binară G astfel: ( ) ( ) 1, I xy, A G( x, y) =. (3.8) 0, I xy, A Pentru imaginea binară G momentul de ordin p+q este definit prin: m pq MI NI p q = x y G x y. (3.9) i= 1 j= 1 (, ) Centroidul mulţimii trăsăturilor punctiforme poate fi obţinut utilizând următoarele relaţii: x c = m m, y m =. (3.10) c 00 m00 Cunoscând coordonatele centroidului, imaginea binară G poate fi caracterizată de mulţimea ordonată: 2 2 { k c k c } ( ) ( ) ( ) d k = x x + y y, k = 1, n, (3.11) care reprezintă distanţele euclidiene dintre centroid şi toate cele n tăsături punctiforme ale mulţimii A.

72 64 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Utilizând d( k ) pot fi estimate, momentul de ordin r : şi momentul de ordin r centrat : m r 1 n r n k = 1 d( k) (3.12) = 1 n r d( k) m1. (3.13) μr = n k = 1 Pentru descrierea trăsăturilor punctiforme sunt utilizaţi următorii descriptori bazaţi pe momentul m 1 şi pe momentele μ r, cu r = 2,3, 4 (Sonka et al, 2000): ( ) 1/2 μ1 μ3 μ4 1, 2, 3/2 3 2 m1 ( μ2) ( μ2) F = F = F =. (3.14) Cu ajutorul descriptorilor Fi, i = 1,3, s-a definit un nou mod de a calcula rata de repetabilitate pentru un cadru j dintr-o secvenţă de imagini având cadrul final N (configuraţia dorită): Fi j Ri =, i = 1,3, j = 1, N. (3.15) j F in Descriptorii F sunt calculaţi utilizând trăsăturile punctiforme ale cadrelor j = 1, N şi j relaţia (3.14). Rata de repetabilitate R i j permite analiza entităţilor ce influenţează achiziţia imaginii, precum parametrii camerei, poziţia relativă a camerei faţă de scenă sau condiţiile de iluminare, pentru fiecare descriptor F i care reprezintă o mulţime de trăsături punctiforme ale obiectelor. Pentru evaluarea globală a descriptorilor F i i-am grupat pe aceştia în vectorul descriptor: T = 1, 2, j j 3j Pentru analiza convergenţei vectorilor descriptori către Φ j F F F. (3.16) de achiziţionare a imaginilor, am utilizat distanţa Mahalanobis: d T 1 (, ) = ( ) C ( ) 1/2 M j j d j d j d Φ d în raport cu diferite condiţii Φ Φ Φ Φ Φ Φ. (3.17)

73 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 65 Vectorul Φ d conţine descriptorii F i N ai trăsăturilor punctiforme dorite f d din ultimul cadru. Matricea de covarianţă C captează variabilitatea vectorilor descriptori Φ j datorată condiţiilor de achiziţionare şi este definită prin: {( )( ) } T j d j d C = E Φ Φ Φ Φ, (3.18) unde prin E{ i} se înţelege valoarea aşteptată a argumentului. Dezvoltând produsul ( )( ) T j d j d Φ Φ Φ Φ, matricea de covarianţă poate fi aproximată prin: 1 N T T j j d d j 1 C = Φ Φ Φ Φ. (3.19) N = Distanţa Mahalanobis este fundamentală pentru analiza gradului de răspândire a trăsăturilor punctiforme dintr-o secvenţă de imagini, grad raportat la cadru final şi în diferite condiţii de achiziţionare. 3.5 Rezultate experimentale Algoritmii de evaluare a performanţelor punctelor de interes descrise în şi au fost implementaţi şi testaţi folosind imagini ce surprind schimbări în scene de lucru compuse din elementele unei celule de fabricaţie Analiza secvenţelor de imagini cu dinamică controlată Algoritmii de extragere a punctelor de interes descrişi în secţiunea 2.2 au fost implementaţi, iar performanţele lor au fost analizate folosind secvenţe de imagini cu dinamică controlată şi criteriile de stabilitate introduse în secţiunea Mediul de lucru s-a constituit din efectorul unui robot manipulator tip ABB 2400 şi o piesă rectangulară. Pentru a achiziţiona imaginile s-a folosit sistemul de vedere artificială OptiMaster. Acest sistem de vedere artificială permite achiziţionarea de imagini monocrome cu rezoluţia Pentru a crea secvenţe de imagini cu dinamică controlată s-a considerat un algoritm simplu prin care primului cadru al secvenţei de imagini îi corespunde o poziţie

74 66 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes centrală în planul imaginii ansamblului efector-piesă. Din această poziţie s-au realizat translaţii orizontale, stânga şi dreapta, de 6.1 cm pentru încă 8 cadre. Analizând translaţia de 6.1 cm prin prisma parametrilor intrinseci ai camerei (Forsyth şi Ponce, 2005) a rezultat o translaţie de 22 pixeli în planul imaginii pentru fiecare cadru. S-au realizat detectări ale trăsăturilor tip punct, iar rezultatele sunt evidenţiate în figura 3.16: puncte de interes cadru Harris Smith IPO Fig Număr de puncte de interes detectate pe cadru. Parametrii aleşi pentru detecţia iniţială din cadrul central al fiecărui algoritm au fost: cornerness value=1000 pentru detectorul Harris, pragul de cantitate=29 pentru Detectorul Smith şi variaţia minimă=26 pentru Interest Point Operator. Din punct de vedere al numărului de puncte de interes detectate pe cadru detectorul Harris prezintă o medie de 75 trăsături pe când detectorul Smith şi detectorul Interest Point Operator au media în jurul valorii de 110. Cum pentru aplicaţii de timp real este necesar un minim de trăsături ce pot descrie complet obiectul, rezultă că detectorul Harris prezintă cele mai bune performanţe. În figura 3.17 sunt prezentate rezultatele obţinute pentru cadrul central şi pentru al treilea cadru din stânga. Al doilea experiment a fost realizat pentru determinarea numărului de puncte de interes stabile, ecuaţia 2.56, al fiecărui algoritm pe fiecare cadru. Rezultatele sunt relevate de graficul din figura Pentru o mai bună interpretare a rezultatelor prezentate în figura 3.18 se poate analiza procentajul de colţuri stabile pe fiecare cadru, figura Din ultimele date experimentale reprezentate în figura anterioară rezultă un grad de stabilitate de aproximativ 81.5% (Harris), mult superior performanţelor celorlalţi doi algoritmi (32% Interest Point Operator şi 27 % Smith).

75 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 67 a) b) c) d) e) f) Fig.3.17 Puncte de interes extrase pentru cadrul central a) Harris, b) IPO, c) Smith şi pentru cadrul al treilea din stânga d) Harris, e)ipo, f) Smith. Nr. Colţuri stabile cadru Fig Număr colţuri stabile pe cadru Harris Smith IPO colţuri stabile % cadru Harris Smith IPO Fig Procentaj colţuri stabile pe cadru

76 68 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes Ultimul experiment a constat în determinarea erorii de poziţionare pentru fiecare a algoritm de extragere a colţurilor. Ca ipoteză de lucru au fost considerate doar acele puncte de interes ce definesc partea superioară a efectorului, acele puncte de interes ce au y-ul mai mic decât 250. Experimentele realizate au condus la concluzia că singurul algoritm a cărui stabilitate permite analiza erorii de poziţionare, fără a fi necesar un proces de urmărire în prealabil, este detectorul Harris. În figura 3.20 este prezentată eroare de poziţie pentru fiecare din cele 8 cadre: eroare de poziţionare 1,4 1,2 1 0,8 0,6 0,4 0, cadru Figura Eroare de poziţie Harris Pentru fiecare translaţie se calculează media şi varianţa erorii de poziţie: μ left =0.85, σ 2 left=0.075 şi μ right =0.8, σ 2 right= Analiza robusteţii punctelor de interes pentru aplicaţii în sisteme servoing Controlul manipulatoarelor bazat pe vedere artificială este utilizat preponderent în conducerea acestora spre configuraţii de prindere a obiectelor, configuraţii ce pot fi definite utilizând trăsăturile vizuale (Burlacu şi Lazăr, 2007), (Lazăr şi Burlacu 2007 a), (Lazăr şi Burlacu, 2007b). Fie: f ( uv, ) T = (3.20) coordonatele din planul imaginii ale unei trăsături bidimensionale şi vitezele corespunzătoare. ( uv, ) T f = (3.21)

77 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 69 Algoritmii de control bazaţi pe imagini (eng. Imaged based visual servo control) utilizează ca intrare o eroare, determinată prin măsurări în planul imaginii, pentru a poziţiona efectorul unui robot manipulator: * et ( ) = f( t) f. (3.22) O primă evaluare de performanţe s-a realizat pentru algoritmii Harris şi SIFT. Cei doi detectori au fost angrenaţi în extragerea trăsăturilor dintr-o secvenţă de imagini achiziţionate cu o cameră montată pe efectorul unui manipulator într-o aplicaţie de prindere a unui obiect rectangular (figura 3.21). Fig.3.21 Spaţiul de lucru, analiză Harris vs SIFT Cele 8 cadre analizate au fost împarţite în două: primele patru constituind schimbări de poziţie a camerei în raport cu scena de lucru, iar celelalte patru conţin rotaţia imaginii pentru a se atinge poziţia dorită a camerei. Trăsăturile detectate de fiecare din cei doi algoritmi sunt prezentate în figurile 3.22, Cadrul numărul 8 reprezintă poziţia dorită a camerei pentru a putea efectua operaţia de prindere a obiectului de către efectorul robotului manipulator. Utilizând criteriile de robusteţe şi stabilitate prezentate în secţiunea 3.4, performanţele celor doi algoritmi sunt stabilite folosind următoarele grafice din figurile 3.24, 3.25.

78 70 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes a) rotaţia imaginii cadrele (8,7,6,5) b) schimbarea poziţiei camerei cadrele (4,3,2,1) Figura Secvenţa de imagini şi trăsături extrase cu detectorul Harris a) rotaţia imaginii cadrele (8,7,6,5) b) schimbarea poziţiei camerei cadrele (4,3,2,1) Figura Secvenţa de imagini şi trăsături extrase cu detectorul SIFT Stability 1,4 1,3 1,2 1,1 0,9 1 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Harris Frames Sift robusteţe Harris cadru a) b) Figura 3.24: a) stabilitatea algoritmilor Harris şi SIFT; b) Robusteţea algoritmilor Harris şi SIFT Sift

79 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 71 Eroare de pozitionare(harris) cadru Eroare de pozitionare (Sift) cadru a) b) Figura 3.25: Eroarea de poziţie a) Harris b) SIFT Cum analiza rezultatelor primului experiment în baza criteriilor de stabilitate şi robusteţe scot în evidenţa performanţe mai bune ale detectorului SIFT decât pentru detectorul Harris (Lazăr şi Burlacu, 2007), pentru a analiza performanţele trăsăturilor punctiforme în aplicaţii servoing se va folosi algoritmul SIFT pentru a detecta poziţii de interes în planul imaginii. O secvenţă de imagini a fost achiziţionată, secvenţă ce prezintă un sistem servoing compus dintr-un robot ABB cu 6 grade de libertate ce are o cameră montată pe efector (Figura 3.26). Fig.3.26 Spaţiul de lucru- analiză SIFT Task-ul pe care sistemul servoing îl are de îndeplinit este de a prinde în efectorul robotului un obiect circular (banda scotch). Secvenţa de imagini este compusă din 24 de cadre, fiecare cadru având dimensiunea de 640x480, cadrele fiind obţinute prin eşantionarea semnalului vizual la o perioadă de o secundă. Ultimul cadru reprezintă poziţionarea dorită a camerei faţă de obiect. Analiza performanţelor a fost realizată printr-o raportare inversă, iar cadrul al 24-lea a reprezentat referinţa sistemului. Au fost

80 72 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes considerate condiţii diferite de achiziţionare a cadrelor pe parcursul întregii secvenţe. Astfel sunt prezente modificări în planul imaginii datorate transformărilor afine ale obiectului (translaţie şi rotaţie), schimbării poziţiei camerei faţă de obiect şi diferite stagii de scalare. O prima iteraţie a reprezentat-o descompunerea secvenţei de imagini în trei părţi: primele 8 cadre conţin schimbări ale poziţiei camerei faţă de obiect, cadrele de la 9 până la 16 captează o mişcare de rotaţie a obiectului în planul imaginii, iar ultimele 8 cadre reprezintă atingerea poziţiei finale a camerei (de apucare a obiectului de către efector). În figura 3.27 sunt afişate 6 cadre : primul cadru a), al 5-lea b), al 8-lea c), al 12-lea d), al 16-lea e) şi cadrul numărul 24 f). Poziţia dorită a camerei este atinsă în cadrul 24. a) b) c) d) e) f) Figura 3.27: Cadre ale secvenţei de imagini cu trăsături punctiforme obţinute cu detectorul SIFT. După cum a fost prezentat în secţiunea 2.2.1, algoritmul SIFT conţine diferiţi parametri ce trebuiesc acordaţi pentru o comportare optimă a detectorului de trăsături punctiforme. Pentru această aplicaţie au fost considerate următoarele valori: σ = 1.4, r = 10, α = 5. Utilizând criteriile prezentate în secţiunea 3.4 putem analiza performanţele punctelor de interes din punct de vedere a stabilităţii şi a gradului de răspândire. Se calculează descriptorii bazaţi pe momente ale imaginii folosind (3.14) şi

81 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 73 apoi pentru fiecare descriptor se determină rata de repetabilitate (3.15) în cele trei stagii raportată la cadrul final. Pentru primele 8 cadre (schimbarea poziţiei camerei faţă de obiect) rezultatele sunt prezentate în figura Rata de repetabilitate este descrisă de graficul din figura 3.28 a) iar gradul de dispersie bazat pe distanţa Mahalanobis în figura 3.28 b). rată de F1 F2 F3 repetabilitate frames distanţa Mahalanobis frames a) b) Fig Schimbarea poziţiei camerei faţă de scena de lucru a) rata de repetabilitate, b) distanţa Mahalanobis Dacă se consideră limitele de stabilitate ale ratei de repetabilitate cuprinse în intervalul [0.8,1.2], se observă că distanţele Mahalanobis sunt mai mari pentru trăsăturile tip punct situate în afara zonei precizate. Prin prisma acestui rezultat se poate concluziona că mulţimea trăsăturilor tip punct extrase cu ajutorul algoritmului SIFT în cadrele 1, 3, 4, 5 au calitate redusă pentru aplicaţiile tip servoing. Începând cu cadrul numarul 9 şi până la cadrul 16 este cuprinsă mişcarea de rotaţie realizată de obiect în planul imaginii. Pentru această etapă ratele de repetabilitate ale descriptorilor bazaţi pe momente sunt prezentate în figura 3.29 a) iar gradul de dispersie în figura 3.29 b). Cadrele pentru care a fost obţinută o rată de repetabilitate în limita de stabilitate sunt 9, 12-16, în timp ce cadrele 10 şi 11 prezintă din punct de vedere al detectării cu algoritmul SIFT trăsături tip punct cu o rată de repetabiliate situată în afara intervalului de stabilitate. Această concluzie este mai bine accentuată de reprezentarea grafică a distanţelor Mahalanobis figura 3.29 b). Ultimele 8 cadre ale secvenţei de imagini analizate surprind modificări ale axei z pentru ipoteza de paralelism între planul imaginii şi planul scenei de lucru. Rata de repetabilitate reprezentată în figura 3.30 a) prezintă un grad de robusteţe ridicat pentru cadrele 19-24, rezultat confirmat şi de comportarea distanţei Mahalanobis (figura 3.30 b)

82 74 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes rată de repetabilitate F1 F2 F3 distanţa Mahalanobis cadru cadru a) b) Fig. 3.29: Rotaţia imaginii a) rata de repetabilitate, b) distanţa Mahalanobis. rată repetabilitate 1,1 1,05 1 0,95 F1 F2 F3 distanţă Mahalanobis 2,5 2 1,5 1 0,9 0, cadru 0, cadru a) b) Fig. 3.30: Schimbarea scalei a) rata de repetabilitate, b) distanţa Mahalanobis În concluzie, criteriile de evaluare a performanţelor algoritmilor de detecţie a punctelor de interes propuse în acest capitol sunt utile în relevarea stabilităţii şi robusteţii trăsăturilor extrase. 3.6 Concluzii În acest capitol au fost prezentate şi analizate rezultatele obţinute în urma implementării algoritmilor de detecţie a trăsăturilor tip punct de interes. Pentru studierea calităţii trăsăturilor detectate au fost propuse două noi criterii de evaluare a performanţelor pentru aplicaţii tip servoing. Astfel, au fost testate, în baza noilor criterii, stabilitatea punctelor de interes în secvenţe de imagini cu dinamică controlată şi robusteţea acestora în secvenţe de imagini cu perturbaţii tip modificare flux luminos sau modificare a factorului de scalare. Dezvoltarea criteriului de robusteţe are la bază construirea descriptorilor bazaţi pe momente ale imaginii pentru caracterizarea mulţimii

83 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes 75 punctelor de interes. În plus, diferenţele dintre descriptori au fost relevate prin utilizarea distanţei Mahalanobis. Studiul calităţii punctelor de interes a relevat performanţe ridicate pentru detectorul Harris (în cazul secvenţelor de imagini cu factor de scalare 1) şi SIFT (în cazul secvenţelor de imagini cu factor de scalare variabil). A fost realizat, în acelaşi timp şi un studiu comparativ privind performanţele algoritmilor de urmărire bazaţi pe cross-correlation şi gradient vector matcher. Rezultatele au demonstrat o comportare mai bună pentru metoda cross-correlation în cadrul secvenţelor de imagini achiziţionate pentru o aplicaţie servoing.

84 76 Analiza indicilor de performanţă pentru algoritmi de detecţie a punctelor de interes

85 Capitolul 4. Estimarea mişcării obiectelor în secvenţe de imagini 4.1 Introducere 4.3 Estimarea mişcării utilizând filtrarea Kalman 4.2 Urmărirea punctelor de interes 4.4 Concluzii invariante la scalări Detectarea şi urmărirea trăsăturilor vizuale ale unui obiect reprezintă unul dintre obiectivele fundamentale de cercetare al ultimilor ani în domeniul vederii computerizate. Fie că sunt considerate aplicaţii de identificare a obiectelor prin proprietăţi de mişcare (Shapiro, 2000) sau aplicaţii de reconstituire a traiectoriei (Forsyth şi Ponce, 2003), metoda de estimare a fluxului optic reprezintă o etapă fundamentală în proiectarea algoritmilor de procesare a secvenţelor de imagini sau a semnalelor video. Estimarea mişcării face parte din categoria metodelor de urmărire a trăsăturilor vizuale, fiind semnificativă în rezolvarea problemelor ce rezultă din juxtapunerea obiectelor sau părăsirea parţială a scenei de lucru. O clasificare a metodelor de estimare a mişcării se referă la modul în care sunt considerate ipotezele de lucru: mişcare în planul imaginii (mişcare 2-D) sau mişcare în spaţiul cartezian (mişcare 3-D). Algoritmii dezvoltaţi pentru estimarea mişcării se bazează pe calcularea unei posibile stări a sistemului obiecte fundal în funcţie de informaţiile dobândite apriori. În proiectarea algoritmilor de reconstrucţie a mişcării obiectelor în secvenţe de imagini, metodele de estimare sunt utilizate pentru aproximarea poziţiei unor trăsături vizuale de interes. Ipoteza anterior prezentată defineşte aşa numita problemă a corespondenţelor. Estimarea mişcării poate fi privită ca o problemă retrogradă sau antegradă, în funcţie de

86 78 Estimarea obiectelor în secvenţe de imagini modul în care vectorul de mişcare este definit de la momentul t la momentul t de la t +Δ t sau Δ t la t. Estimarea antegradă prezintă performanţe mai bune pentru compensarea mişcării, aceasta realizându-se prin elemente predictive ataşate fiecărui cadru. Dezvoltarea unui algoritm de reconstrucţie a mişcării ce include o etapă de estimare, necesită formularea unor condiţii suplimentare rezultate din natura câmpului de mişcare. Succesul unui astfel de algoritm rezultă din găsirea unei soluţii continue şi unice a secvenţei de imagini analizate. În construirea unui algoritm de reconstrucţie a mişcării se pot întâlni situaţii care influenţează cele două proprietăţi fundamentale ale soluţiilor propuse: existenţă şi unicitate. Astfel, nu există soluţie pentru reconstituirea mişcării dacă nu poate fi găsită o corespondenţă pentru trăsăturile vizuale derivate din analiza fundalului. Această situaţie este denumită problema ocluziei şi se referă la acoperirea/neacoperirea unei suprafeţe dintr-un obiect în mişcare datorată ocluziei cu un obiect static. Dacă coordonatele deplasării (sau vitezei) fiecărui pixel sunt considerate variabile independente, atunci numărul necunoscutelor va fi dublu faţă de cel al observaţiilor. Această situaţie conduce la aşa numita problemă a aperturii. Algoritmii de estimare a mişcării din literatura de specialitate se împart în mai multe categorii în funcţie de metoda considerată: pe zone de interes (Hu, et. al., 2004), pe proprietăţile funcţiei gradient (Ray şi Acton, 2004) sau pe estimatori de stare (Funk, 2003). Caracterizarea obiectelor în planul imaginii se realizează prin detectarea unor trăsături vizuale care pot fi tip regiune, contur sau trăsături bidimensionale (colţuri şi/sau centroizi). Abordările considerate sunt dezvoltate în jurul unor modele ce surprind dinamica scenei de lucru prin proiecţia informaţiilor în planul imaginii. În (Li şi Jilkov, 2003) sunt prezentate cele mai importante moduri de proiectare a modelelor pentru analiza mişcării obiectelor în secvenţe de imagini, algoritmii fiind dezvoltaţi în principal pentru scene de lucru cu factor de scalare zero. Această ipoteză presupune ca distanţă dintre camera şi planul de lucru este constantă pe parcursul întregului algoritm. Pentru descrierea obiectelor în secvenţe de imagini în care factorul de scalare nu este nul, au fost propuşi diferiţi algoritmi de detecţie a trăsăturilor invariante la scalări (Lowe, 2004), (Schmid, 2003). Au fost construiţi descriptori vizuali care împreună cu minimizarea unei norme au condus la dezvoltarea unor metode de recunoaştere a obiectelor în secvenţe de imagini.

87 Estimarea obiectelor în secvenţe de imagini 79 În acest capitol este propus un algoritm de estimare a mişcării în condiţii de scalabilitate nenulă. Metoda este derivată din algoritmul de filtrare Kalman pentru urmărirea trăsăturilor vizuale, în care se include ca parametru de modelare nivelul de scalare a cadrului curent faţă de un cadru anterior. Se consideră faptul că mişcarea în planul imaginii pentru factor de scalare nenul poate fi modelată ca o mişcare într-un spaţiu tridimensional, în care planul imaginii reprezintă primele două dimensiuni iar a treia dimensiune este nivelul de scalare intre cadre consecutive. Capitolul este organizat după cum urmează: în subcapitolul 4.1 sunt prezentate trei dintre metodele principale de estimare a mişcării, una bazată pe zone de interes, a doua pe proprietăţile funcţiei gradient, iar a treia utilizează un descriptor dezvoltat pe proprietăţi tip magnitudine şi orientare. Subcapitolul 4.2 este structurată în două părţi, în prima sunt descrise principiile de bază ale algoritmului Kalman, în timp ce în partea a doua este propus un algoritm de estimare a mişcării pentru secvenţe de imagini cu factor de scalare variabil. Algoritmul propus combină procedura de estimare Kalman cu informaţii obţinute din trăsăturile vizuale şi cu parametrii de descriere a scalabilităţii. Subcapitolul 4.3 este dedicat rezultatelor experimentale, iar concluziile se regăsesc în subcapitolul Introducere Dezvoltarea algoritmilor de estimare a mişcării în secvenţe de imagini se realizează prin considerarea mai multor ipoteze de lucru: fundal staţionar, modificări ale dimensiunilor obiectului urmărit, ocluzie sau părăsire temporară a scenei de lucru, modificări ale vitezei obiectului urmărit (Burlacu şi Lazăr, 2009). În subcapitolul 4.2 sunt descrise două metode de estimare a mişcării: una ce utilizează proprietăţile anumitor zone de interes din imagine, iar a doua face apel la proprietăţile tip gradient ale funcţiei imagine. 4.2 Urmărirea punctelor de interes invariante la scalări În această secţiune este prezentat un algoritm de urmărire pentru trăsăturile vizuale extrase prin detectorul SIFT. Totodată sunt prezentate şi rezultate experimentale obţinute în urma implementării şi testării algoritmului pentru o aplicaţie tip servoing.

88 80 Estimarea obiectelor în secvenţe de imagini Descriptorul SIFT Extragerea şi urmărirea punctelor de interes invariante la scalări, propusă în (Lowe, 2004), reprezintă o succesiune de patru etape. Primele două (detectarea extremelor în spaţiul scalărilor şi localizarea punctelor de interes) au fost descrise în secţiunea În continuare se descrie modalitatea de determinare a două proprietăţi, magnitudinea şi orientarea fiecărui punct de interes şi construirea descriptorului ataşat. Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei orientări şi a unei magnitudini bazate pe proprietăţile funcţiei imagine. Scala trăsăturilor, calculată conform secţiunii 2.3.1, este folosită pentru a selecta nivelul de filtrare a imaginii cu nucleul Gaussian. Magnitudinea gradientului, M, şi orientarea, θ, sunt calculate folosind diferenţa pixelilor: M( x, y) = ( L L ) + ( L L ), (4.1) 2 2 x+ 1, y x 1, y x, y+ 1 x, y 1 θ(x,y) = tan -1 ((L x,y+1 L x,y-1 ) / (L x+1,y L x-1,y )). (4.2) Histograma orientărilor este formată din gradientul orientărilor tuturor punctelor din interiorul ferestrei circulare în jurul punctului de interes. Această histogramă a orientărilor conţine 8 indici, acoperind cele ale orientării (figura 4.1 (a)). magnit c1 c2 c3 c4 c5 c6 c7 c8 orientare (a) (b) Figura 4.1 (a) Histograma orientărilor; (b) Orientări fundamentale Până acum se cunosc locaţia, scala şi orientarea fiecărei trăsături, următorul pas este alcătuirea descriptorului pentru regiunea locală a imaginii. Pentru o mai bună stabilitate a punctelor detectate şi pentru performanţe mai bune, magnitudinea şi orientarea se

89 Estimarea obiectelor în secvenţe de imagini 81 calculează pentru întreaga vecinătatea de 16x16 din jurul fiecărei trăsături, nu numai pentru trăsătura în sine. În figura 4.2 sunt prezentate trăsăturile unui obiect detectate cu ajutorul detectorului SIFT: Figura 4.2 Trăsăturile obiectului detectate cu SIFT Prima dată se calculează magnitudinile şi orientările punctelor din vecinătatea de 16x16 a fiecărei trăsături (figura 4.3 (a)) şi, folosind scala punctului de interes, se selectează nivelul Gaussianului pentru filtrarea imaginii. (a) (b) Figura 4.3 Vecinătatea de 16x16 a trăsăturii (a) Orientarea şi magnitudinea celor 256 de pixeli din vecinătate; (b) Descriptorul trăsăturii Pentru eficienţă, gradienţii sunt calculaţi pentru toate nivelurile, piramidei aşa cum s-a descris în secţiunea Vecinătatea de 16x16 din jurul fiecărei trăsături este împărţită în blocuri de 4x4, iar la rândul lor, aceste blocuri alcătuiesc fiecare câte o histogramă (figura 4.3 (b)).

90 82 Estimarea obiectelor în secvenţe de imagini Orientările unei histograme sunt divizate în b indici (figura 4.1 (a)) şi apoi se calculează magnitudinea indicilor cu ajutorul următoarei formule: hr(, l m) ( k) = M( x, y)(1 θ ( x, y) ck / Δk), (4.3) xy, rlm (, ) unde c k este orientarea fiecărui indice, coordonatele pixelilor din subregiunea rlm. (, ) Δ k este o constantă egală cu 360, iar (x,y) sunt 2b Descriptorul este format dintr-un vector de 128 de componente care conţine valorile tuturor orientărilor histogramei. Lungimea vectorului este bn 2, unde b este numărul orientărilor în histogramă, aici b=8, iar n este lăţimea blocului, în timp ce parametrul Δ k =22.5. În final trăsăturile vectorului sunt normalizate pentru a reduce efectele schimbării de iluminare Implementare şi testare Una din cele mai importante probleme evidenţiate în aplicaţiile ce derivă din procesarea de imagini este aceea a urmăririi şi recunoaşterii trăsăturilor într-o secvenţă de imagini, chiar dacă imaginile din secvenţă sunt achiziţionate la scale diferite, chiar dacă imaginile sunt rotite. Această problemă poate fi rezolvată folosind distanţa Euclideană. Astfel, se compară vectorul (descriptorul) pentru imaginea model cu vectorul pentru imaginea din secvenţă. Punctele de interes sau trăsăturile pentru care această distanţă este mai mică decât un prag impus de utilizator sunt punctele care pot fi urmărite cu succes în secvenţa de imagini. Acest prag, ce poate fi denumit distanţă limită, trebuie să fie cât mai mic pentru a asigura convergenţa algoritmului. Secvenţa de imagini, pentru care a fost testat algoritmul de urmărire bazat pe descriptor tip magnitudine şi orientare, este prezentată în figura 4.4. Secvenţa de imagini este compusă din 12 cadre achiziţionate la momente de timp diferite, fiecare cadru conţine un obiect circular (banda de scotch) surprins la valori diferite ale factorului de scalare. Imaginea model reprezintă configuraţia dorită, iar ultimul cadru reprezintă punctul de start al algoritmului. Folosind o configuraţie eye-in-hand se analizează

91 Estimarea obiectelor în secvenţe de imagini 83 performanţele algoritmului de urmărire descris în În primul pas se detectează trăsăturile obiectului din imaginea model folosind algoritmul prezentat în capitolul 2 (subcapitolul 2.3.1). În pasul al doilea se detectează trăsăturile obiectului din următorul cadru, iar pentru fiecare trăsătură a imaginii model se identifică corespondentul. După cum a fost prezentat, fiecare trăsătură este caracterizată de o vecinătate pe baza căreia se formează un descriptor. Pentru a urmări obiectul în secvenţa de imagini, se compară fiecare descriptor din imaginea model cu fiecare descriptor din cadrele ce compun secvenţa analizată. După cum se poate observa în Fig. 4.4 numărul trăsăturilor detectate în imaginea model rămâne constant pe întreaga secvenţă de imagini, chiar dacă scala variază. imaginea model -(1) (3) (5) (7) (9) (12) Fig. 4.4 Urmărirea trăsăturilor cu SIFT În urma experimentelor efectuate s-a arătat că trăsăturile obiectului din imaginea model sunt corect urmărite în secvenţa de imagini (Fig. 4.4). Cu puncte roşii sunt indicate trăsăturile obiectului, iar cu verde este indicat corespondentul său din imaginea model. După cum se observă, această corespondenţă s-a realizat corect (Fig. 4.4), chiar dacă factorul de scalare este variabil.

92 84 Estimarea obiectelor în secvenţe de imagini Pentru o mai bună relevare a modalităţii de urmărire se pot transpune informaţiile obţinute din planul imaginii în spaţiul tridimensional simulându-se în acest mod mişcarea camerei (Fig. 4.5). Fig. 4.5 Mişcarea camerei în spaţiul 3D Performanţele sunt analizate comparând trăsăturile obiectului din imaginea model, cu cele ale obiectului din secvenţa de imagini. Aplicând detectorul SIFT întregii secvenţe de imagini, se detectează trăsăturile obiectului pentru fiecare imagine din secvenţă. După cât se vede în Fig. 4.4 şi Fig. 4.5 rezultatele experimentale arată o bună corespondenţă a trăsăturilor, astfel obiectul putând fi urmărit cu succes în decursul unei secvenţe de imagini. Totodată, aceste rezultate arată o bună stabilitate a trăsăturilor în raport cu variaţia scalei, adică aceste trăsături detectate cu algoritmul SIFT sunt invariante la scalare. 4.3 Estimarea mişcării utilizând filtrarea Kalman În această secţiune este descris un nou algoritm de estimare a mişcării obiectelor în scena de lucru, obiectele fiind caracterizate prin trăsături vizuale tip punct de interes.

93 Estimarea obiectelor în secvenţe de imagini Filtrarea Kalman Filtrul Kalman reprezintă un set de ecuaţii matematice pe baza cărora se pot dezvolta algoritmi de tip predicţie-corecţie ce minimizează eroarea estimată în anumite restricţii. Domenii vaste de aplicaţii au utilizat filtrarea Kalman, printre acestea numărându-se navigaţia autonoma, arie de cercetare în care au fost realizate cele mai multe investigaţii şi raportări ştiinţifice. Pentru a proiecta estimarea intr-un mod optim este necesară construirea unui funcţii de cost pentru estimări incorecte. Această funcţie cost trebuie să aibă două proprietăţi: să fie nenegativă şi, în acelaşi timp, să fie descrescătoare din punct de vedere a erorii de estimare. Algoritmul bazat pe filtrare Kalman conduce la estimarea stării sistem discret descris de o ecuaţie stohastică liniară: n x pentru un x = Ax + Bu + w, (4.4) k k 1 k k 1 cu măsurătorile n z : Cele două variabile aleatoare zk = Hxk + vk. (4.5) w k şi v k modelează zgomotul ce apare în proces şi în măsurători. Se presupune că aceste două variabile aleatoare sunt independente una faţă de cealaltă şi au o distribuţie normală de probabilitate: p( w) N(0, Q) p() v N(0, R) (4.6) În practică, matricea de covarianţă Q a procesului şi matricea de covarianţă R a zgomotului din etapă de măsurare se pot modifica la fiecare iteraţie sau măsurătoare. Totuşi pentru algoritmii angrenaţi în aplicaţii ce implică procesare de imagine aceste matrice se consideră a fi constante. Matricea A de dimensiune n n generează informaţii ale stării sistemului pentru pasul k raportat la pasul k-1, fiind denumită matricea de tranziţie a stării. Se definesc xˆ starea estimată apriori la pasul k, considerând informaţii anterioare pasului k, şi xˆ starea estimată aposteriori la pasul k cunoscând măsurătorile z k. Astfel, rezultă erorile estimate în mod apriori şi aposteriori, notate: k k n n

94 86 Estimarea obiectelor în secvenţe de imagini e ˆ k = xk xk, e = x xˆ, k k k şi matricele de covarianţă a erorii definite apriori şi aposteriori: T Pk = E[ ekek ], T P = E[ e e ]. k k k (4.7) (4.8) Filtrarea Kalman estimează starea unui proces utilizând un algoritm bazat pe reacţie negativă, construită din date obţinute în urma unor măsurători. Astfel, ecuaţiile filtrului se împart în două categorii: ecuaţii de corecţie în timp şi ecuaţii de corecţie cu ajutorul măsurătorilor. Ecuaţiile de corecţie în timp sunt responsabile pentru proiectarea în avans a stării curente, rezultând astfel o estimare apriori. Ecuaţiile de corecţie prin măsurare sunt utilizate în reacţia negativă rezultând înglobarea ultimei măsurători efectuate asupra procesului în estimarea apriori, pentru a se obţine o îmbunătăţire regăsită în estimarea aposteriori. Se poate considera faptul că ecuaţiile de corectare în timp sunt similare unor ecuaţii tip predictor, iar ecuaţiile de corecţie prin măsurare pot fi privite ca ecuaţii tip corector. Ecuaţiile dedicate pentru corecţie în timp sunt: xˆ ˆ k = Axk 1 + Buk, (4.9) T P = AP A + Q, iar prin efectuarea măsurătorilor înglobarea măsurătorilor în ecuaţia: matricei (4.13): k k 1 z k se generează starea estimată aposteriori prin xˆ = xˆ + K ( z Hxˆ ). (4.10) k k k k k Din (4.10) rezultă necesitatea dezvoltării unei metode de calcul pentru x k K k pentru a minimiza o măsură a erorii. Se formează matricea de covarianţă din şi a T P = E[( x xˆ )( x xˆ ) ]. (4.11) k k k k k Înlocuind (4.5) şi (4.10) în (4.11) rezultă : T P {[( ˆ ) ( ( ˆ k = E xk xk Kk H xk xk) + v k) ] T T [( x xˆ ) K ( H( x xˆ ) + v ) ] }. k k k k k k Folosind estimarea aposteriori pentru matricea de covarianţă a erorii: (4.12)

95 Estimarea obiectelor în secvenţe de imagini 87 se rescrie ecuaţia (4.12): P = ( I K H) P, (4.13) k k K P= ( I KHP ) ( I KH) T + KRK T. (4.14) k k k k k k Ecuaţia (4.14) reprezintă expresia generală de updatare a matricii de covarianţă a erorii. Alegerea matricei K k trebuie realizată astfel încât să se obţină o minimizare a urmei lui P k, deoarece termenii primei diagonale reprezintă estimarea variantei erorii lui x ˆk. Prelucrând (4.14) se obţine: T T T P= P K HP P HK + K ( HP H + R) K. (4.15) k k k k k k k Două formule de diferenţiere matricială prezentate în (Brown şi Hwang 1992): dtracemm [ ( 1 2)] T dm 1 1 = M 2 ( 1 2 M M pătratică) (4.16) T dtracemmm [ ( )] = 2M1M 3 ( M 3 simetrică) (4.17) dm T T împreună cu proprietatea : trace( P H K ) = trace( K HP ) conduc la: k k k k K = P H ( HP H + R) (4.18) T T 1 k k k Soluţia obţinută în (4.18) se numeşte amplificarea Kalman. Combinând toate informaţiile se pot descrie recursiv etapele buclei de updatare prin metoda Kalman: Iniţializare: Se introduc matricile A, B, H, R, Q, precum şi ˆx 0 şi P 0. Etapa 1: Se predictează folosind ecuaţia (4.14) starea xˆk. Etapa 2: Se calculează matricea de amplificare Kalman cu ecuaţia (4.19). Etapa 3: Se corectează x ˆk cu măsurătorile z k utilizând ecuaţia (4.10). Etapa 4: Se predictează aposteriori matricea de covarianţă (4.13). Abordarea Kalman considerată până în acest moment estimează starea unui vector pentru un model liniar al unui sistem dinamic. Totuşi, dacă sistemul este neliniar se poate adapta procedura Kalman printr-o etapă de liniarizare. Algoritmul rezultat poartă numele de filtru Kalman extins (Welch şi Bishop, 2001). O astfel de extensie este posibilă dacă se ţine cont de faptul că filtrul Kalman este descris prin ecuaţii cu diferenţe finite pentru cazul sistemelor discrete.

96 88 Estimarea obiectelor în secvenţe de imagini Dezvoltarea algoritmului extins Kalman are ca punct de start considerarea unui sistem dinamic neliniar descris de următorul model al stărilor: xk = a( xk 1, uk, wk 1), (4.19) z = h( x v ), k k k unde, a şi h sunt funcţii neliniare, iar, ca şi în cazul filtrului Kalman standard, w k şi v k modelează zgomotul procesului, respectiv zgomotul de măsură fiind considerate variabile aleatoare independente de distribuţie Gaussiană şi medie 0. În practică nu se cunosc valorile zgomotului w k şi v k la fiecare moment de timp. Totuşi se poate aproxima vectorul stare precum şi vectorul de măsurători fără a lua în considerare zgomotul prin: x ( ˆ k = a xk 1, uk,0), (4.20) z = h( x,0). k k Ţinând cont de ecuaţiile (4.20) rezultă noile ecuaţii ce descriu liniarizarea modelului (4.19): unde x k şi x x + A( x xˆ ) + Ww, (4.21) k k k 1 k 1 k 1 z z + H( x x ) + Vv, (4.22) k k k k k z k sunt starea actuală şi vectorul de măsurători. Matricea A reprezintă matricea Jacobian a derivatelor parţiale în raport cu x : ai Ai (, j) = ( xˆ k 1, uk,0). (4.23) x j Prin W s-a notat matricea Jacobian a derivatelor parţiale în raport cu w : a i Wij (, ) = ( xˆ k 1, uk,0). (4.24) w Derivând parţial funcţia h în raport cu vectorul x şi apoi în raport cu v rezultă modul de calcul pentru matricele H şi V : Eroarea de estimare se poate calcula cu ecuaţia: j h i Hij (, ) = ( xˆ k 1,0), x j (4.25) h i Vij (, ) = ( xˆ k 1,0). v xk k k j e x x, (4.26)

97 Estimarea obiectelor în secvenţe de imagini 89 iar eroarea de măsurare cu relaţia: e z z. (4.27) zk k k Dezvoltând ecuaţiile ( ) rezultă: e ( ˆ x A x 1 1), k k xk + ε k e He + η, zk xk k (4.28) unde prin ε k şi η k au fost notate noile variabile aleatoare independente de medie 0, pentru modelarea zgomotelor de proces şi de măsură. Matricele de covarianţă a celor doua variabile aleatoare sunt T WQW şi T VRV. Ecuaţiile (4.28) sunt liniare şi prezintă proprietăţi similare cu cele ale ecuaţiilor de bază (4.4) şi (4.5). Utilizând ecuaţiile (4.28), estimarea aposteriori a stării pentru procesul neliniar se calculează prin: unde e ˆk este estimarea erorii de predicţie: xˆ = x + eˆ, (4.29) k k k eˆ = K e. (4.30) k k z k Substituind (4.30) în (4.29) şi ţinând cont de ecuaţia (4.27), rezultă ecuaţia de estimare a stării pentru extinderea filtrului Kalman: xˆ = x + K ( z z ). (4.31) k k k k k Ataşând subscriptul k matricelor jacobian AW,, H, V, deoarece aceste matrici sunt variante în timp, algoritmul de calcul pentru filtrul Kalman extins se poate descrie în următoarele două etape: Etapa 1: ecuaţiile de predicţie în timp : xˆ = a( xˆ, u,0) k k 1 k P = A P A + W Q W T T k k k 1 k k k 1 k Etapa 2: ecuaţiile de corecţie prin măsurători: K = P H ( H P H + V RV ) T T T 1 k k k k k k k k k xˆ = xˆ + K ( z h( xˆ,0)) k k k k k P = ( I K H ) P k k k k (4.32) (4.33)

98 90 Estimarea obiectelor în secvenţe de imagini Algoritm de estimare a mişcării Estimarea mişcării poate fi descrisă ca fiind procesul de determinare a locaţiei unui ansamblu de trăsături vizuale pe parcursul unei secvenţe de imagini. Aplicaţiile variază de la a urmări trăsăturile ce descriu un obiect, până la a decide prezenţa sau absenţa în cazul ocluziei între entităţi. Ideal, un algoritm de estimare a mişcării trebuie sa fie capabil să localizeze un obiect (sau ansamblul de trăsături ce descriu obiectul) la orice moment de timp. Perturbaţiile ce afectează sistemul considerat (obiect fundal) conduc la diferite erori ce trebuie minimizate pentru a dezvolta un algoritm de estimare a mişcării fiabil. Abordarea via filtrare Kalman (Funk, 2003) este aplicabilă atât în ipoteze de lucru staţionare cât şi nonstaţionare. Algoritmul presupune o modelare dinamică a sistemului care să includă şi aproximări ale zgomotelor ce afectează, atât sistemul cât şi măsurătorile efectuate asupra sistemului. În funcţie de ipotezele de lucru asupra modelului de reprezentare în timp a modificărilor survenite asupra stării sistemului, descrierea mişcării obiectului în planul imaginii variază în complexitate. O primă ipoteză o reprezintă viteza constantă de deplasare a trăsăturilor vizuale în planul imaginii. Notând cu f = [ f, f ] T poziţia trăsăturilor în planul imaginii şi cu x y v= [ v, v ] T viteza acestora, rezultă o reprezentare a stării sistemului de forma x y În acest caz matricea de interacţiune devine (Forsyth şi Ponce, 2003): unde f x = v. 1 0 Δt Δt A =, (4.34) Δ t reprezintă perioada aferentă analizei cadrelor consecutive în secvenţa de imagini, perioadă ce dictează ecuaţia de mişcare: f = f + ( Δ t) v, ( v = v ) (4.35) i i 1 i 1 i i 1 De observat este şi faptul că, în etapă efectuării măsurătorilor doar componenta poziţie este necesară de analizat. Astfel, în cazul ipotezei viteză constantă matricea măsurătorilor devine:

99 Estimarea obiectelor în secvenţe de imagini H = (4.36) Modelul de reprezentare pentru ipoteza acceleraţie constantă asociază stării sistemului un vector cu 6 componente compus din poziţia, viteza şi acceleraţia trăsăturilor vizuale [ ] T x = f v a, cu a = [ a, a ] T. În acest caz ecuaţiile de mişcare (4.35) devin: x y f = f + ( Δt) v i i 1 i 1 v = v + ( Δt) a i i 1 i 1 a i = a i 1, (4.37) iar matricea de interacţiune este: 1 0 Δt t 0 0 Δ Δt 0 A = (4.38) Δt Ansamblul de trăsături vizuale utilizate pentru descrierea obiectului trebuie alese astfel încât să nu introducă la rândul lor perturbaţii în analiza sistemului. Astfel proprietăţile fundamentale ale trăsăturilor extrase sunt stabilitatea şi robusteţea. În literatura de specialitate sunt prezentate aplicaţii de estimare a mişcării obiectelor descrise atât prin contur (Rhody, 2006; Li, Chaumette şi Tahri, 2005) cât şi prin trăsături bidimensionale (colţuri, centroizi). Utilizarea trăsăturilor bidimensionale în estimarea mişcării prezintă atât avantaje cat şi dezavantaje. Avantajul principal este scăderea timpului de procesare, având în vedere numărul sensibil mai mic de trăsături bidimensionale aferente unui obiect în comparaţie cu numărul de muchii ce compun conturul. Dezavantajul major îl constituie faptul că algoritmul de extragere a trăsăturilor bidimensionale va introduce un timp mai lung de procesare decât algoritmii de extragere a conturului. În acelaşi timp se doreşte ca trăsăturile selectate sa nu introducă la rândul lor alte perturbaţii, tip zgomot, asupra stării sistemului. În concluzie, performanţele algoritmului de detecţie a trăsăturilor bidimensionale (Lazăr şi Burlacu, 2006) influenţează în mod direct estimarea stării sistemului.

100 92 Estimarea obiectelor în secvenţe de imagini În acest subcapitol este dezvoltat un algoritm de estimare a mişcării a obiectelor în secvenţe de imagini cu factor de scalare variabil. Algoritmul este compus din etape succesive ce permit analiza secvenţelor de imagini cu transformări liniare între cadre consecutive. Mişcarea obiectelor poate fi analizată în funcţie de atitudinea cinematică faţă de cameră şi invers. Situaţiile ce pot fi întâlnite sunt: obiecte mobile cameră statică, obiecte statice cameră mobilă, obiecte mobile cameră mobilă. Algoritmul propus este dedicat secvenţelor de imagini în care obiectele sunt statice, iar camera este mobilă. Se consideră în acelaşi timp ipoteza de paralelism între planul imaginii şi scena de lucru. Proiectarea unui model al obiectului constă în extragerea unor trăsături bidimensionale caracteristice. Trăsăturile bidimensionale utilizate în prezentul algoritm de estimare a mişcării sunt extrase cu ajutorul detectorului Harris (Harris şi Stephens, 1988) şi reprezintă colţuri ale obiectului. Aplicarea detectorului de trăsături bidimensionale pe primele m cadre conduce la obţinerea unor locaţii de interes ce nu variază în planul imaginii. Aceste locaţii aparţin fundalului şi vor fi anulate prin diferenţe succesive: I( k+ 1) I( k). În spaţiul euclidian camera dezvoltă o mişcare caracterizată de schimbări liniare ale înălţimii şi orientării faţă de scena de lucru. Aceşti parametri, notaţi σ şi θ, vor constitui date de intrare pentru algoritmul de estimare a mişcării. Dezvoltarea algoritmului de estimare a mişcării utilizează o proprietate fundamentală: modificarea factorului de scalare şi orientarea camerei se regăsesc în mod liniar în atitudinea cinematică a trăsăturilor bidimensionale faţă de un punct fix invariant. Pentru modificarea factorului de scalare acest punct este centrul de greutate, notat prin G = [ x, y ], al ansamblului de trăsături bidimensionale M = { f f = [ f, f ]}. Determinarea coordonatelor centrului i i xi yi de greutate se realizează cu ajutorul ecuaţiilor: x G n f = = n xi i= 1 i= 1 ; yg n n f yi G G. (4.39) Algoritmul dezvoltat propune o izomorfie între estimarea mişcării obiectului şi estimarea mişcării centrului de greutate în raport cu datele extrase din mişcarea camerei.

101 Estimarea obiectelor în secvenţe de imagini 93 Astfel, pentru cadrele identate de la k > m, algoritmul face apel la procedura Kalman pentru a predicta apriori starea centrului de greutate în cadrul k+1: Gˆk = + 1 AG. k În Fig. 4.6 este reprezentată o configuraţie de trăsături bidimensionale { f k i = 1, n} k k şi centrul lor de greutate G = [ x, y ]. k G G Modificările de poziţionare şi orientare a camerei în spaţiul tridimensional sunt dictate de o comandă cu structură vectorială alcătuită din 6 componente şi având forma din ecuaţia (4.34): T r = v v v 0 0 ω (4.40) x y z z unde vx, vy, v z reprezintă vitezele de deplasare pe direcţiile x, yz,, iar ω z este viteza unghiulară. O modificare în valorile semnalului de comandă ataşat mişcării camerei este echivalentă cu o schimbare în atitudinea cinematică a trăsăturilor bidimensionale faţă de centrul de greutate (modificare a factorului de scalare) sau faţă de centrul imaginii (modificare a orientării). i k f 1 k f 2 k f 5 G k k f 3 k f 4 Fig.4.6 Configuraţie trăsături bidimensionale Definiţia 1: Factorul de scalare σ reprezintă valoarea raportului dintre distanţa cameră scenă de lucru la momentul (k+1) şi distanţa cameră scenă de lucru la momentul (k).

102 94 Estimarea obiectelor în secvenţe de imagini Definiţia 2: Numim orientare a camerei o funcţie θ : [0,2 π), θ = θ( t) care verifică θ = ω z. Valorile distanţelor menţionate in definiţia 1 se deduc din proprietăţile vitezei pe direcţia z. Dacă notăm cu l k distanţa dintre cameră şi scena de lucru la momentul k atunci l v t. În figura 4.7 sunt reprezentate poziţiile unei trăsături generice la momentul = k + 1 i Δ k+ 1 z k şi a centrului de greutate pentru ansamblul de trăsături din care face parte. Totodată, este reprezentată şi poziţia estimată a centrului de greutate prin procedura Kalman, Gˆk + 1 şi transformarea poziţiei trăsăturii în raport cu această estimare, notată F 1, folosind relaţia: F = Gˆ + ( G f ). (4.41) k 1 k+ 1 k 1 k f 1 F 1 G k Gˆk + 1 Fig. 4.7 Poziţie estimată a trăsăturii bidimensionale în raport cu estimarea apriori a poziţiei centrului de greutate Includerea factorului de scalare σ în configuraţia poziţiei trăsăturilor bidimensionale raportată la centrul de greutate se regăseşte prin necesitatea îndeplinirii a două condiţii pentru estimarea notată F 2 : de direcţie şi modul. Condiţia de direcţie se transpune în apartenenţa lui F 2 la dreapta Gˆk + 1F1 (figura 4.8).

103 Estimarea obiectelor în secvenţe de imagini 95 k f 1 F 2 F 1 G k Gˆk + 1 Fig Poziţii estimate ale trăsăturii bidimensionale in raport cu factorul σ Scriind ecuaţia dreptei prin două puncte şi impunând ca F 2 să verifice această ecuaţie, condiţia de direcţie se regăseşte în ecuaţia: F x F y F x F y x y 2 k+ 1 2 k+ 1 = x y 1 k+ 1 1 k+ 1 Condiţia de modul reprezintă egalitatea următoarelor două rapoarte: x 2 y 2 2 k+ 1 2 k+ 1 = x 2 y k k+ 1. (4.42) ( F x ) + ( F y ) 1. (4.43) ( F x ) ( F y ) σ x y Ecuaţiile (4.42) şi (4.43) formează un sistem în necunoscutele F2, F 2. Soluţia sistemului, ţinând cont şi de faptul că lungimea unui segment este întotdeauna un număr pozitiv, va fi: x k F2 = xk + 1(1 σ) + σ F1 (4.44) y y F = y (1 σ) + σ F 2 k Mişcarea de rotaţie a camerei în jurul axei z cu unghiul θ se regăseşte printr-o transformare omogenă raportată la centrul imaginii, Fig Folosind proprietăţile vectorilor liberi şi notând prin: cos(2 π θ) sin(2 π θ) 0 L = sin(2 π θ) cos(2 π θ)

104 96 Estimarea obiectelor în secvenţe de imagini tensorul de rotaţie, poziţia trăsăturii bidimensionale (figura 4.9) se calculează cu ajutorul ecuaţiei: ˆ k + 1 f F i 0 0 ( ) 2 = + L I Gˆ F 3 k (4.45) k f 1 F 2 ˆ k f i + 1 θ G ˆk Gˆk + 1 Centrul imaginii Fig.4.9 Poziţie estimată a trăsăturii bidimensionale in raport cu factorul θ În etapa următoare, algoritmul compară valorile estimate a poziţiilor trăsăturilor bidimensionale cu măsurătorile efectuate via detectorul Harris la momentul k+1. Se verifică, în vecinătatea de dimensiune 7x7 a poziţiilor estimate apriori pentru trăsăturile bidimensionale fˆi, k, dacă există poziţii ale măsurătorilor. Dacă în toate vecinătăţile există poziţii ale trăsăturilor bidimensionale extrase la momentul k+1 se reiterează algoritmul de estimare folosind drept informaţii de calcul aceste poziţii, iar dacă numărul este mai mare sau mic se reiterează algoritmul de estimare folosind poziţiile estimate. Estimarea mişcării este un proces ce poate fi realizat online, dar aplicaţiile sunt exclusiv axate pe urmărirea conturului, cat şi offline prin analiza secvenţelor de imagini compuse din cadre achiziţionate la anumite intervale de timp. Pentru un interval Δ t = 1s

105 Estimarea obiectelor în secvenţe de imagini matricea de tranziţie a sistemului devine, în virtutea ecuaţiei (4.34): A =, iar matricea de tranziţie a măsurătorilor prezentă doar în corecţia poziţiei este definită prin: H = Implementare şi testare Algoritmul de estimare a mişcării obiectelor în secvenţe de imagini cu factor de scalare nenul dezvoltat în prezentul subcapitol, a fost implementat şi testat utilizând software-ul Matlab şi un mediu de lucru compus din obiecte fixe şi un robot ABB IRB2400 având o cameră montată pe efector (Fig. 4.10). Imaginile achiziţionate sunt monocrome şi prezintă o rezoluţie de 640x480. Implementarea şi testarea algoritmului de estimare a mişcării a fost realizată folosind o unitate de calcul compusă din procesor cu frecvenţă de lucru 2.4 Ghz, memorie RAM 1GB, memorie video dedicată 128 MB. Fig Configuraţie spaţiu de lucru. Algoritmul de estimare a mişcării dezvoltat a fost evaluat prin comparaţie cu algoritmul de estimare a mişcării bazat pe cross-correlation. În secţiunea rezultate

106 98 Estimarea obiectelor în secvenţe de imagini experimentale ne vom referi la algoritmul de estimare a mişcării propus prin acronimul KME (Kalman Motion Estimator). Cu ajutorul camerei montate pe efector a fost achiziţionată o primă secvenţă de 1 imagini compusă din 6 cadre achiziţionate la o frecvenţă de 1[ s ]. Cadrele surprind modificări survenite în planul imaginii în concordanţă cu modificări ale poziţiei şi orientării camerei în spaţiul tridimensional. Considerând primul cadru achiziţionat drept poziţie de start a camerei se generează un semnal de comandă pentru mişcarea camerei de tipul : [ ] r = v 0 v T k x z unde v = 10 mm/ s iar v = 15 mm/ s. Acest semnal de comandă se transpune în planul x z p p imaginii printr-un vector de mişcare = [ ] v v x y [ px / s ], unde px reprezintă o prescurtare a unităţii fundamentale pixel. În figura 4.11 este reprezentată succesiunea de 5 estimări din secvenţa de imagini şi poziţiile reale ale trăsăturilor extrase cu ajutorul procedurii dezvoltate pe baza algoritmului Harris. Fig Traiectorii cross-correlatio şi traiectorii KME. Traiectoriile trăsăturilor bidimensionale via cross-correlation sunt simbolizate cu roşu, în timp ce estimările via KME sunt reprezentate prin culoarea verde. Performanţele obţinute pentru algoritmul propus sunt bune, eroarea de predicţie nu depăşeşte pragul de 10 pixeli. În plus un dezavantaj al algoritmului cross-correlation îl constituie ajustarea periodică necesară asupra dimensiunii ferestrei de căutare. Dacă, presupunând ca ipoteză

107 Estimarea obiectelor în secvenţe de imagini 99 de lucru, obiectul în poziţia de start se află în aproprierea uneia din limitele imaginii atunci dimensiunea ferestrei de căutare va fi mică (aproximativ 30x30 pixeli). Odată cu deplasarea obiectului în planul imaginii dimensiunea ferestrei de căutare trebuie modificată ajungând în prezentul experiment şi până la 70x70. Estimarea de mişcare a centrului de greutate (verde) urmăreşte cu fidelitate traiectoria reală (roşu) (figura 4.12). Analizând rezultatele cu privire la traiectoria centrului de greutate se poate concluziona faptul că, pentru secvenţa considerată, ambii algoritmi au obţinut performanţe bune. Fig.4.12 Estimarea mişcării centrului de greutate A doua secvenţă de imagini achiziţionată, compusă tot din 6 cadre, surprinde ocluzia parţială a obiectului. Testul condus a constat în evaluarea traiectoriei estimată de cei doi algoritmi. Algoritmul KME estimează cu fidelitate traiectoria, în timp ce crosscorrelation prezintă deficienţe în urmărirea obiectului în zona de ocluzie, (Fig.4.13), interpretând greşit drept colţuri zone de confluenţă obiect umbră. Eroarea survenită în estimarea via cross-correlation se regăseşte şi în traiectoria centrului de greutate, după cum este ilustrat şi în figura În cazul acesta, rezultatele obţinute via KME sunt superioare celor obţinute prin utilizarea metodei bazate pe crosscorrelation.

108 100 Estimarea obiectelor în secvenţe de imagini Fig Estimarea traiectoriei KME (verde) şi cross-correlation (roşu) Fig Traiectorie centru de greutate KME (verde) şi cross-correlation (roşu) 4.4 Concluzii În acest capitol a fost propus un algoritm de estimare a mişcării obiectelor în secvenţe de imagini cu scalabilitate nenulă. Fiecare obiect este caracterizat de o mulţime de trăsături vizuale. Pentru algoritmul propus au fost alese trăsături bidimensionale (colţuri) detectate cu ajutorul unei proceduri dezvoltate pe baza principiului propus în (Harris şi Stephens, 1988). Algoritmul propune o tehnică de estimare a mişcării utilizând

109 Estimarea obiectelor în secvenţe de imagini 101 proprietăţi ale unor locaţii invariante din planul imaginii. Dintre aceste locaţii fac parte centrul de greutate al mulţimii trăsăturilor ce caracterizează obiectul si centrul imaginii. Folosind ca ipoteză de lucru paralelismul dintre planul imaginii şi scena de lucru, se utilizează procedura bazată pe filtrare Kalman pentru a estima mişcarea centrului de greutate. Datele de intrare considerate reprezintă mişcare în spaţiul tridimensional al camerei. Doi parametri caracterizează această mişcare, înălţimea faţă de scena de lucru şi rotaţia în jurul axei perpendiculare pe scena de lucru. Aceste informaţii sunt transpuse în modelări de mişcare a mulţimii de trăsături vizuale ce caracterizează obiectul. Pentru validarea algoritmului au fost considerate secvenţe de imagini ce surprind modificări ale unei scene de lucru monitorizate cu ajutorul unei camere montate pe efectorul unui robot manipulator. Rezultatele experimentale au scos în evidenţa performanţele algoritmului propus ca fiind bune în ipotezele de lucru menţionate anterior.

110 102 Estimarea obiectelor în secvenţe de imagini

111 Capitolul 5. Aplicaţii în sisteme servoing vizuale 5.1 Introducere 5.3 Tehnici de control bazate pe imagini 5.2 Arhitectura bazată pe imagini 5.4 Concluzii Sistemele servoing vizuale reprezintă o fuziune a rezultatelor obţinute din cercetări ale mai multor domenii, cum ar fi analiza şi procesarea in timp real a imaginilor, robotică, teoria controlului si a sistemelor, proiectarea aplicaţiilor in timp real. În (Weiss, 1984) se face pentru prima dată o descriere completă a celor două arhitecturi fundamentale ale sistemelor servoing vizuale: arhitectura bazată pe poziţie şi arhitectura bazată pe imagine. Fiecare din cele două arhitecturi prezintă avantaje şi dezavantaje pentru procesele de timp real (Hutchinson, et al. 1996). 5.1 Introducere Arhitectura bazată pe poziţie are drept principiu de funcţionare minimizarea unei erori reprezentate în sistemul Cartezian şi necesită atât un model al obiectului (de obicei de tip CAD), cât şi o cameră perfect calibrată pentru a obţine o estimare a poziţiei si orientării obiectului (Mezouar şi Chaumette, 2002). Arhitectura bazată pe imagine (Fig.5.1) evită folosirea unui model al obiectului prin măsurarea unui semnal eroare în planul imaginii, semnal mapat direct în comenzile elementului de execuţie al robotului (Spong, et al 2006).

112 104 Aplicaţii în sisteme servoing Obiect f * + e Regulator bazat v* c _ pe imagini Amplif. putere Robot + Camera f Extragere trăsături Imagine Fig.5.1 Arhitectură bazată pe imagine Considerând ca obiectiv principal stabilitatea globală a sistemelor servoing vizuale, s-a constatat faptul că arhitectura bazată pe poziţie suferă limitări masive din punct de vedere a robusteţii şi descrierii matematice a modelelor necesare implementărilor fizice. Astfel, aşa numitele metode hibride, au fost create pentru a se compensa deficientele iniţiale (Andreff, et al 2002), (Kyrki, et al 2004), (Schramm, et al, 2004). Dezvoltarea unei arhitecturi de control a roboţilor manipulatori bazată pe imagini presupune parcurgea a două etape: planificarea mişcării camerei în raport cu o sarcină definită utilizând trăsăturile vizuale din planul imaginii şi transformarea traiectoriei camerei în semnal de referinţă pentru articulaţiile robotului. În acest capitol sunt analizate separat cele două etape, în subcapitolul 5.2 mişcarea camerei pentru secvenţe de imagini reale, în timp ce modelarea sistemului robot împreună cu senzorul vizual reprezintă obiectivul principal al subcapitolului 5.3. Sunt prezentate modalităţi de proiectare a legilor de control bazate pe feedback vizual tip P sau PI, cât şi tehnici avansate precum regulator predictiv bazat pe imagini. 5.2 Arhitectura de control bazată pe imagini În această secţiune sunt analizate mişcări ale camerei în raport cu diferite transformări ale trăsăturilor în planul imaginii, transformări generate în urma aplicării unei viteze calculate pe baza unei legi de control proporţionale. Obiectivul principal al oricărui sistem de control bazat pe imagini este de genera o traiectorie a camerei video

113 Aplicaţii în sisteme servoing 105 pentru a minimiza o eroare de poziţionare a trăsăturilor vizuale curente faţă de o configuraţie dorită, eroare definită prin: et () f() t f unde f () t sunt poziţiile trăsăturilor la un moment t iar * =, (5.1) * f reprezintă configuraţia dorită. Ecuaţia (5.1) reprezintă formularea generală a semnalului de intrare în regulatorul proiectat pe baza modelelor de mişcare a trăsăturilor vizuale în planul imaginii. Implementarea, testarea şi validarea diferitelor regulatoare analizate a fost realizată prin utilizarea unui simulator dedicat sistemelor servoing vizuale. Simulatorul a fost dezvoltat prin crearea unei extensii ataşate unui toolbox Matlab existent in literatura de specialitate (Cervera, 2002). Extensia constă în includerea imaginilor reale ca şi semnale de referinţă (Burlacu şi Lazăr, 2008a), rezultatele obţinute descriind mişcarea camerei în spaţiul cartezian pentru îndeplinirea unor task-uri bine definite Mişcarea camerei Semnalul f utilizat în ecuaţia (5.1) conţine măsurători efectuate asupra imaginii (de exemplu coordonatele unor puncte de interes, sau parametri ai unor curbe în planul imaginii). Aceste măsurători sunt folosite pentru crearea unui vector de n componente (trăsături vizuale), măsurătorile fiind influenţate de parametrii intrinseci ai camerei. Arhitecturile ce definesc sistemele servoing vizuale diferă în funcţie de modalitatea de proiectare a vectorului f. Arhitectura bazată pe imagine (fig. 5.1) (eng. Image based Visual Servoing) conţine în f un set de trăsături vizuale care sunt imediat valabile din imagine. Vectorul de referinţă a buclei închise, * f, este comparat cu vectorul valorilor curente, f, obţinut cu ajutorul unui sistem de vedere artificială compus dintr-o cameră video şi un bloc de extragere a trăsăturilor vizuale. Regulatorul bazat pe imagini analizează eroarea et () şi generează semnalul de control v * c, vector de dimensiune 6 1 reprezentând semnalele ce compun viteza camerei. Modelarea în buclă deschisă a unui sistem servoing vizual poate fi descrisă printr-un sistem multivariabil care primeşte ca semnale de intrare componentele vectorului v * c şi generează ca semnale de ieşire componentele vectorului de trăsături vizuale f.

114 106 Aplicaţii în sisteme servoing Pentru proiectarea clasică a unui regulator bazat pe imagini se consideră = ( v, ω ), vectorul viteză spaţială compus din vitezele liniare ale originii sistemului vc c c de coordonate ataşat camerei şi vitezele unghiulare ale aceluiaşi sistem. Pornind de la: f = f( q, t), (5.2) unde q reprezintă vectorul coordonatelor generalizate, rezultă că f f f = q +. (5.3) q t Termenul f q poate fi descompus sub forma: f f r = q r q, (5.4) unde r reprezintă o modalitate de descriere a jacobianului robotului. q Relaţia dintre f şi v c este dată de ecuaţia: unde prin L f f = Lv, (5.5) f c k 6 a fost notată matricea de interacţiune a vectorului trăsăturilor f. Termenul Jacobian al trăsăturilor este de asemenea utilizat în literatura de specialitate pentru erorii: L f. Din (5.1) şi (5.5) rezultă relaţia dintre viteza camerei şi variaţia în timp a e = Lv, (5.6) unde Le = Lf. Pentru a asigura o comportare exponenţial negativă a erorii (de exemplu e = λe) şi considerând v c semnalul de intrare în controllerul robotului se obţine : e c v c = L e, (5.7) λ + e unde 6 k L + e reprezintă pseudo-inversa Moore-Penrose a matricei L e, calculată prin: L = ( L L ) L, (5.8) + T 1 T e e e e

115 Aplicaţii în sisteme servoing 107 când L e este de rang minim 6. În sistemele servoing reale sunt necunoscute atât L e cât şi L + e. De aceea sunt necesare aproximări sau estimări a uneia din cele două matrice (se notează cu L ˆe + aproximarea lui L + e ). Utilizând această notaţie legea de control devine : v c = λ Lˆ + e. (5.9) e Prin închiderea buclei de control şi presupunând că robotul poate realiza comanda v c rezultă: e L Lˆ + = λ e. (5.10) Ecuaţia (5.10) caracterizează comportarea reală a sistemelor de control bazate pe feedback vizual, reprezentând totodată baza de analiză a stabilităţii sistemului considerat folosind teoria Lyapunov. Un punct P= ( X, Y, Z) în spaţiul cartezian va fi proiectat în planul imaginii într-o poziţie exprimată în pixeli: X u = λα + c Z Y v= λ + cv, Z e e u, (5.11) unde ( c, c, λ, α ) reprezintă parametrii intrinseci ai camerei. Astfel ( c, c ) sunt u v coordonatele centrului imaginii, λ este distanţa focală iar α reprezintă raportul dimensiunilor unui pixel. Viteza unui punct în spaţiul cartezian poate fi corelată cu viteza unei camere = ( v, ω ) prin relaţia: v c c c u v X = vx ωyz + ωzy P = vc ωc P Y = vy ωzx + ωxz Z = vz ωxy + ωyx. (5.12) Dacă se notează ( x, y ) proiecţia în perspectivă a lui P şi ţinând cont de relaţia: P P X xp = Z Y yp = Z (5.13)

116 108 Aplicaţii în sisteme servoing rezultă că: relaţie ce poate fi restrânsă prin: v v x = + x + x y + x v + y Z Z v v y = y y x y x Z + Z + + x x 2 P p p pωx (1 p) y pωz y y 2 P p (1 p) ωx p pωy pωz x y P P = L v ( xp, yp, z) c (5.14). (5.15) Parametrul Z reprezintă a treia coordonată a punctului P raportat la sistemul ataşat camerei, iar matricea de interacţiune L ( x, y, z) este dată de: L ( xp, yp, z) P P 1 xp 2 0 xpyp (1 + xp) yp Z Z =. (5.16) 1 y p yp xpyp xp Z Z Folosind acelaşi raţionament se identifică relaţia dintre proiecţia în planul imaginii şi viteza camerei. unde: L u = L v v ( uvz,, ) c ( uvz,, ) 2 2, (5.17) 2 2 λ u uv λ + v 0 v z z λ λ =. (5.18) λ v λ + v uv 0 u z z λ λ Simulator În literatura de specialitate sunt propuse diferite medii de simulare a arhitecturilor servoing. Un toolbox pentru mediul Matlab (Visual Servoing Toolbox) a fost dezvoltat la Universitatea Jaume I sub îndrumarea prof. Eric Cervera (Cervera, 2003). Facilităţile pe care le înglobează acest toolbox permit simularea şi analiza performanţelor diferitelor legi de reglare dezvoltate pentru sisteme servoing vizuale. Principalele arhitecturi ale sistemelor de control bazate pe feedback vizual sunt incluse în scheme Simulink. Image

117 Aplicaţii în sisteme servoing 109 based Visual Servoing (IBVS) (fig.5.2) se prezintă ca o schemă Simulink ce permite utilizatorului să proiecteze legi de control utilizând o mulţime de trăsături punctiforme din planul imaginii pentru a controla deplasarea în spaţiu a unei camere în spaţiul 3D, fără a lua în considerare modelul dinamic al robotului. Fig. 5.2 Schema Simulink IBVS (model dinamic al robotului egal cu 1) Poziţia şi orientarea dorite pentru a considera finalizată deplasare camerei sunt cunoscute, însă doar trăsăturile vizuale ce compun configuraţia dorită * f sunt utilizate în legea de control. Cunoscând poziţia iniţială a camerei (pentru care se ataşează un sistem de coordonate), se determină parametrii mişcării de rototranslaţie necesari minimizării diferenţei dintre poziţia la un moment t şi poziţia dorită. Aceşti parametri sunt calculaţi folosind informaţii obţinute pe baza trăsăturilor vizuale extrase la momentul t, notate cu f, şi cele dorite plus proprietăţile matricei Jacobian calculată la fiecare iteraţie. Matricea de interacţiune conţine coordonate ale punctelor în spaţiul 3D obţinute din coordonatele trăsăturilor vizuale din planul imaginii şi parametrii intrinseci ai camerei. Trăsăturile vizuale utilizate reprezintă coordonate sintetice în planul imaginii alese de utilizator. Prima etapă reprezintă setarea unei poziţii şi orientări de start a camerei. A doua etapă constă în alegerea numărului de vârfuri ale unui poligon ce va simboliza conturul unui obiect virtual. Folosind o interfaţă dedicată, denumită vsbrowser, utilizatorul setează configuraţia dorită raportată la cameră a poligonului ales. Din aceste informaţii simulatorul descris de schema Simulink (fig.5.2) calculează componentele

118 110 Aplicaţii în sisteme servoing vitezei necesare minimizării erorii dintre configuraţia dorită şi configuraţia curentă. Algoritmul de proiectare a legii de control urmează paşii descrişi în secţiunea 5.2.1, având finalizare în ecuaţia 5.9. Prin extinderea acestui Toolbox s-a permis introducerea imaginilor reale ca intrări în algoritmul de proiectare a legii de control, proiectarea unui model ataşat camerei şi ulterior introducerea unui model al dinamicii robotului. Pornind de la schema 5.2 s-a renunţat la utilizarea trăsăturilor vizuale sintetice în proiectarea legilor de control bazate pe feedback vizual, căutându-se o metoda de preanaliză a secvenţelor de imagini achiziţionate într-un task servoing. Schema de proiectare se prezintă ca în figura 5.3, unde prin RbI s-a notat regulatorul bazat pe imagini (eng. Image based Controller). Blocul denumit Extragere Trăsături are rolul de a analiza proprietăţile imaginilor reale şi de a detecta puncte de interes pentru caracterizarea obiectelor ce formează scena de lucru. Utilizarea blocului dedicat extragerii trăsăturilor tip punct de interes este necesară în etapa de iniţializare a componentelor structurilor vectoriale * f şi f. Extragere Trăsături f * f L + RbI v c Frame Motion Tc b ( k ) Jacobian Depth z * T c b (0) x 0 f(k) xc b c f ( k) T ( k) Image x Inv. x o f (0) x Inv. Pr. x b f f(0) Extragere Trăsături (0) T o b (0) Fig. 5.3 Simulator pentru arhitectura bazată pe imagine Considerăm cazul camerei montate pe efector, cunoscut în literatura de specialitate drept eye-in-hand. Utilizând un algoritm dezvoltat pe baza detectorului Harris, sunt extrase trăsăturile vizuale tip punct de interes ale obiectului. Cele n trăsături

119 Aplicaţii în sisteme servoing 111 detectate reprezintă colţurile obiectelor din scena de lucru şi compun configuraţia dorită conţinută într-o matrice n 2, notată * f. Pornind de la o poziţie cunoscută a camerei, se determină cu ajutorul unui algoritm bazat pe cross-correlation corespondenţii trăsăturilor vizuale ce vor compune matricea notată prin f. Informaţiile cunoscute sunt: matricea de transformare omogenă ce caracterizează poziţia şi orientarea dorite pentru cameră, parametrii intrinseci ai camerei şi distanţa dintre poziţia dorită şi planul imaginii. Această abordare este considerată doar pentru 2D servo control. Obiectivul principal este determinarea matricei de transformare omogenă a poziţiei de start a camerei. Sunt patru parametri ce trebuie calculaţi: unghiul de rotaţie θ în planul imaginii, δ x şi δ y ce caracterizează translaţia în planul imaginii şi distanţa z dintre poziţia de start a camerei şi scena de lucru. Pentru determinarea valorii parametrului θ putem folosi ecuaţia: * f (1,:) f(1,:) θ = a cos( ), (5.19) * f (1,:) f(1,:) unde f * (1,:) reprezintă prima linie a matricei f *. Calcularea translaţiei trăsăturilor vizuale în planul imaginii se bazează pe proprietăţile centrului de greutate a mulţimii trăsăturilor. Poziţiile centrelor de greutate pentru mulţimea de trăsături vizuale ce caracterizează poziţia de start cât şi pentru mulţimea ce caracterizează poziţia dorită sunt calculate prin: n n * * f (:,1) f (:,2) f (:,1) f (:,2) * i= 1 * i= 1 i= 1 i= 1 xg = ; yg = ; xg = ; yg =. (5.20) n n n n Parametrii δ x şi δ y rezultă prin rezolvarea unor ecuaţii algebrice simple: x * G G y * G n δ = x x ; δ = y y. (5.21) Distanţa z dintre poziţia de start a camerei şi scena de lucru poate fi calculată din informaţiile cunoscute utilizând: z ( f (1,1) x ) 2 2 * G G * = z + z. (5.22) * * 2 * * 2 ( f (1,1) xg ) + ( f (1,2) yg ) G + ( f (1,2) y Folosind cei patru parametri calculaţi anterior putem determina matricea de transformare omogenă a camerei ce caracterizează poziţia de start. ) n * z

120 112 Aplicaţii în sisteme servoing Pentru a determina un model al senzorului vizual, se ataşează bazei robotului, camerei şi respectiv obiectului, sisteme de coordonate Rb, Rc, R o. Transformările omogene între sistemele de coordonate sunt date de matricele b T c şi b T o (fig. 5.4). b T c R c R o R b b T o Fig. 5.4 Sisteme de coordinate ale robotului, camerei şi obiectului Calcularea poziţiei şi orientării camerei x c, dependentă de viteza v c, se realizează prin blocul denumit Frame Motion, (Fig. 5.5). T c b (0) v c (k) b O x I T ( k) c Fig. 5.5 Blocul Frame Motion Construcţia acestui bloc face apel la un operator O de transformare a semnalului v c în matrice omogenă după cum urmează: 0 ωz ωy vx ωz 0 ωx v y Ov ( c ) = ω y ω x 0 vz (5.23) Etapele ulterioare aplicării operatorului O reprezintă o înmulţire şi o integrare b b (blocul I din fig.5.5), rezultatul este adunat la T (0) şi astfel se obţine T ( k ). Inversa b c matricei T ( k ) este calculată, iar rezultatul T ( k ) este înmulţit cu vectorul de coordonate c b c c omogene b x o, rezultând vectorul c x f de coordonate ale obiectului raportat la sistemul de coordonate al camerei. Informaţia din x c f reprezintă semnal de intrare în blocul Image, bloc ce conţine parametrii intrinseci ai camerei ( p, p ) şi coordonatele centrului imaginii ( u0, v 0). Blocul Image calculează, folosind metoda proiecţiei în perspectivă, coordonatele exprimate în pixeli ale punctelor de interes: x y

121 Aplicaţii în sisteme servoing 113 x y f = p + u ; f = p + v. (5.24) i i xi x 0 yi y 0 zi zi Astfel modelarea senzorului vizual este încheiată, semnalul de intrare vc ( k ) este transformat în puncte de interes f ( k ). Analiza performanţelor simulatorului propus pentru arhitectura de control bazată pe imagini s-a realizat prin analiza traiectoriilor camerei video pentru transformări fundamentale ale poziţiei unui obiect în planul imaginii. a) b) c) d) e) f) g) Fig. 5.6 Transformare tip rotaţie a) poziţie de start; b) poziţie dorită; c) estimarea traiectoriei; d) traiectoria trăsăturilor pentru legea proporţională; e) traiectoria camerei; f) eroarea în planul imaginii; g) comportament viteze unghiulare şi liniare.

122 114 Aplicaţii în sisteme servoing a) b) c) d) e) f) g) Fig. 5.7 Transformare tip scalare a) poziţie de start; b) poziţie dorită; c) estimarea traiectoriei; d) traiectoria trăsăturilor pentru legea proporţională; e) traiectoria camerei; f) eroarea în planul imaginii; g) comportament viteze unghiulare şi liniare. Pentru a achiziţiona secvenţe de imagini ce surprind îndeplinirea a diferite taskuri servoing, a fost utilizată o configuraţie tip eye-in-hand construită dintr-un robot cu şase grade de libertate IRB2400 ce are ataşată o cameră video pe efector şi o scenă de lucru cu obiecte rectangulare. Secvenţa de imagini achiziţionată surprinde îndeplinirea unui task de prindere a obiectului rectangular în efector. Imaginile ce formează secvenţa de imagini sunt monocrome cu o rezoluţie de 640x480. Sunt analizate transformări tip rotaţie (figura 5.5), translaţie (figura 5.6) şi modificare a factorului de scalare (figura 5.7)

123 Aplicaţii în sisteme servoing 115 pentru îndeplinirea task-ului şi atingerea configuraţiei dorite. Legea de control proiectată şi considerată pentru realizarea simulărilor este una de tip proporţional, având parametrul de amplificare egal cu a) b) c) d) e) f) g) Fig. 5.8 Transformare tip translaţie a) poziţie de start; b) poziţie dorită; c) estimarea traiectoriei; d) traiectoria trăsăturilor pentru legea proporţională; e) traiectoria camerei; f) eroarea în planul imaginii; g) comportament viteze unghiulare şi liniare. Rezultatele experimentale surprind mişcarea camerei în decursul a 30 s de simulare, observând o îndeplinire a task-ului dorit (regim staţionar) după o perioadă de timp de aproximativ 20s. Imaginile ce ilustrează poziţia de start şi poziţia de stop a

124 116 Aplicaţii în sisteme servoing obiectului sunt prezentate în (fig. 5.6 a-b, 5.7 a-b, 5.8 a-b). O traiectorie ipotetică calculată pe baza unui algoritm dezvoltat prin metoda cross-correlation este evidenţiată în (fig. 5.6 c, 5.7 c, 5.8 c). Comportarea sistemului servoing vizual fără model dinamic al robotului este descrisă prin analiza a patru indicatori. Traiectoriile trăsăturilor vizuale (fig.5.6 d, 5.7 d, 5.8 d) scot în evidenţă îndeplinirea task-ului de atingere a configuraţiei dorite (simbolizată prin puncte roşii), plecând de la o configuraţie de start (simbolizată prin puncte galbene). Eroare poziţiei trăsăturilor la un moment t în raport cu corespondentul din configuraţia dorită (fig. 5.6 f, 5.7 f, 5.8 f) ilustrează o comportare tip element de ordinul I. Eroarea conţine două valori pentru fiecare trăsătură fiind calculate diferenţele dintre cele două componente ale trăsăturii la momentul t şi corespondentul din configuraţia dorită. Realizarea traiectoriilor trăsăturilor în planul imaginii este derivată din traiectoria camerei în spaţiul Cartezian, (fig. 5.6 e, 5.7 e, 5.8 e), traiectorie generată pe baza semnalului de comandă 5.8 g). * v c, a cărui structură este reprezentată în (fig. 5.6 g, 5.7 g, 5.3 Tehnici de control bazate pe imagini Arhitecturile de conducere a roboţilor manipulatori pot fi proiectate folosind atât regulatoare PID bazate pe imagini, cât şi tehnici avansate de control (de exemplu abordări predictive). Utilizând tehnici bazate pe metoda Lyapunov (Dixon, et.al, 2003a) s-a propus construirea unei metode de aproximare a informaţiilor legate de distanţe necunoscute pentru o singură cameră, în timp ce tehnici adaptive au fost dezvoltate în (Dixon, et al, 2003b) pentru a estima distanţele faţă de planul camerei. O altă abordare este propusă în (Fujimoto, 2003), unde un regulator al poziţiei împreună cu un traductor la nivelul articulaţiilor robotului, formează sistemul de reglare. În această secţiune se propune un model pentru roboţi manipulatori cu 6 grade de libertate utilizaţi în sisteme servoing (Lazăr şi Burlacu, 2008b), simulările fiind realizate pe o structură de control cu regulator PI bazat pe imagini şi o arhitectură ce conţine un regulator predictiv bazat pe imagini.

125 Aplicaţii în sisteme servoing Regulator PI bazat pe imagini Modelul unui sistem servoing vizual în buclă deschisă este compus din două părţi: prima include dinamica robotului, denumit VCMD (eng. Virtual Cartesian Motion Device) (Hashimoto şi Naritsugu, 1998) iar a doua parte conţine dinamica indusă de camera video şi procesul de achiziţie a imaginii. Reprezentarea buclei închise, cu cele două părţi componente ale buclei deschise şi regulatorul bazat pe imagini, este ilustrată în figura 5.9. Semnalul de intrare în VCMD este viteza de referinţă * v c exprimată în spaţiul Cartezian, deci este necesară o conversie în spaţiul articulaţiilor pentru a putea fi aplicat celor şase niveluri de control al vitezei articulaţiilor robotului. Această transformare este realizată folosind inversa matricei Jacobian viteză de referinţă pentru fiecare articulaţie 1 J r ataşată robotului, rezultând vectorul * v q. Fiecărei articulaţii îi este ataşată o buclă de reglare a vitezei, buclă ce conţine un regulator C care asigură performanţele impuse. Transformarea vitezei articulaţiei v q în spaţiul Cartezian este realizată prin aplicarea Jacobianului robotului J r. Din viteza camerei v c, poziţia camerei x c poate fi obţinută utilizând integrarea numerică. VCMD model f * e v * + c v* c RbI ZOH J 1 _ r * v q f * 1 v q * 6 v q + _ + _ Model Robot Extragere trăsături C 1 v q6 C 6 Model sistem de vedere artificială i v q1 x o Obiect ix ( c, x o) Model Cameră v q H(s) J r v c Fig Sistem servoing vizual Regulatoarele de viteză Ci, i = 1,6 pot fi proiectate astfel încât să fie asigurată decuplarea fiecărei articulaţii, lucru valabil pentru marea majoritate a roboţilor industriali. Modelul VCMD este neliniar, fapt datorat structurii Jacobianului robotului şi dependenţei

126 118 Aplicaţii în sisteme servoing dinamicii robotului de poziţia x q a articulaţiilor. Matricea Jacobian este dependentă de poziţia obiectului în raport cu robotul şi de variaţia lui x q. Presupunând, ca ipoteză de lucru, nonexistenţa singularităţilor lui J r în spaţiul de lucru a robotului, rezultă modificări lente pentru J r în raport cu x q şi se poate admite faptul ca deplasarea robotului pe o perioadă de eşantionare este mult redusă. Deci J r este constant între două eşantioane consecutive, presupunere validă în aplicaţiile reale dacă robotul nu se găseşte în spaţiul de lucru într-o zonă de singularitate. Modelul dinamicii robotului este neliniar datorită efectelor generate de forţe precum Coriolis, centrifugă şi gravitaţională. Când robotul îşi modifică configuraţia cu viteză mare atunci neliniarităţile devin semnificative. În cazul sistemelor servoing vizuale vitezele articulaţiilor sunt controlate individual, regulatoarele buclelor de reglare, C 1 C 6, (Fig. 5.9), sunt astfel proiectate pentru a elimina efectele neliniare generate de perturbaţiile de încărcare. O singură comportare neliniară mai apare, aceea a matricei de inerţie. Inerţia articulaţiilor variază limitat în raport cu poziţia x q a robotului şi astfel matricea de inerţie poate fi considerată constantă în jurul unei poziţii date pentru robot. Mai mult, se poate liniariza modelul VCMD într-o vecinătate a lui x q pentru care modelul dinamicii robotului şi J r sunt considerate constante. În baza tuturor acestor ipoteze, regulatorul de viteză ataşat robotului poate fi modelat folosind o matrice de transfer H() s validă în jurul poziţiei curente x q a robotului: v = H() s v. (5.25) q Matricea de transfer H() s poate fi obţinută utilizând metode de identificare (Cuvillon, et.al., 2006). Astfel, pentru fiecare articulaţie, un semnal pseudo-aleator binar având o dimensiune maximă şi o amplitudine optimă pentru a fi în vecinătatea poziţiei de lucru, este aplicat ca viteză de referinţă * q * v q, iar ieşirea este achiziţionată în multiple seturi de date. Unul din aceste seturi este utilizat pentru determinarea modelului şi estimarea parametrilor, iar celelalte seturi de date pentru validare. Dacă regulatoarele de viteză Ci, i = 1,6 din bucla internă sunt proiectate pentru a controla viteza camerei v c, viteza de rototranslaţie poate fi controlată pentru a obţine un

127 Aplicaţii în sisteme servoing 119 model diagonal liniar pentru sistemul cu şase grade de libertate (Fujimoto, 2003). În acest caz este valabilă presupunerea că fiecare articulaţie este decuplată pentru o frecvenţă mai mică decât frecvenţa de tăiere a buclei interne. Perioada de eşantionare a buclei interne este aleasă de obicei din intervalul 0.2 1[ms] şi frecvenţa de tăiere este [rad/s] (Fujimoto şi Himura, 2001). Cum regulatorul de viteză este de obicei unul tip proporţional cu C ( s) = K, bucla internă a sistemului poate fi modelată în regiunea i v frecvenţelor mai mici decât frecvenţa de tăiere, fapt exprimat prin: k v () s = H () s v () s = I v () s. (5.26) + * v * c 0 c 6 c s kv Din modelul (5.26) rezultă necesitatea poziţionării blocului ZOH din figura 5.9 după regulatorul RbI, pentru a utiliza semnalul v * () s ca şi intrare a buclei interne, astfel rezultând modelul linearizat pentru VCMD din figura 5.10: s v* c () z v* v* c () s q () s vq () s vc () s 1 ZOH J r H(s) J r vc () z Fig Model liniarizat pentru VCMD caracterizat prin : ( ) Gz = z Z H s s (5.27) 1 ( ) (1 ) 0( )/ Testarea şi analiza modelului de decuplare propus pentru robot s-a realizat folosind schema de simulare 5.2 la care au fost adăugate două blocuri: primul reprezintă modelul din ecuaţia 5.27, iar al doilea este un regulator discret tip PI. Structura simulatorului este ilustrată în figura Fig Simulator cu model dinamic al robotului inclus

128 120 Aplicaţii în sisteme servoing În figura 5.12 sunt reprezentate comportările a patru elemente definitorii pentru sistemul servoing vizual cu model dinamic al robotului inclus. Traiectoriile trăsăturilor vizuale ilustrate în (fig a) subliniază atingerea configuraţiei dorite simbolizată prin puncte roşii, plecând de la o configuraţie de start, simbolizată prin puncte verzi. Pentru o analiză în profunzime a traiectoriilor trăsăturilor în planul imaginii au fost ilustrate erorile de poziţie (fig c) ale fiecărei trăsături în raport cu corespondentul din configuraţia dorită. Astfel se observă o comportare dinamică de tipul element de ordin II cu întârziere, fapt datorat includerii modelului VCMD. a) b) c) d) Fig Comportarea sistemului servoing cu model dinamic al robotului manipulator inclus pentru un regulator PI: a) traiectoria trăsăturilor în planul imaginii, b) traiectoria camerei în spaţiul Cartezian, c) eroarea în planul imaginii, d) componentele vectorului viteză al camerei

129 Aplicaţii în sisteme servoing 121 Pentru aducerea trăsăturilor în configuraţie dorită camera urmează o traiectorie ilustrată în (fig.5.12 b), traiectorie generată de semnalul v * c a cărui structură, de pe parcursul simulării, este prezentată în (fig.5.12.d) Regulator predictiv bazat pe imagini Creşterea numărului de grade de libertate ale roboţilor incluşi în sisteme servoing (Drummond şi Cipolla, 2002) plus complexitatea mărită a obiectelor din scena de lucru (Fujimotto, 2003) au condus la necesitatea implementării de noi metode pentru proiectarea legii de control. Astfel una din soluţiile propuse vizează controlul predictiv (Gangloff, 2003) având scopul de a creşte viteza de răspuns a sistemului servoing. Includerea strategiilor de control predictiv în sistemele servoing a fost explorată prin utilizarea modelelor de tip ARIMAX multivariabil (Lazăr şi Burlacu, 2007c) ce permit implementarea tehnicilor avansate de proiectare a regulatoarelor predictive bazate pe imagini (Burlacu şi Lazăr, 2008b). În (Sauvee, et al, 2006) o structură de reglare bazată pe imagine ce conţine un regulator predictiv neliniar este propusă, considerându-se un model dinamic pentru articulaţii şi restricţii provenite din limitări ale cuplului şi vizibilităţii proiecţiei în perspectivă. În figura 5.13 este prezentată structura de control bazată pe trăsături vizuale, observându-se două bucle: una internă pentru reglarea vitezei camerei şi una externă ce implementează algoritmul de reglare bazat pe imagini. Bucla internă de tip VCMD este privită ca un sistem analog, deoarece perioada de eşantionare este foarte mică (de obicei 1 ms). buclă internă f * e(k) e * c (k) * L + + RPbI vc ( k ) v c + v * c q * 1 ZOH k Robot V J _ rc + _ Regulator _ de viteză J q rc v c T v c (k) f(k) ix ( c, xo) x o (k) senzor vizual Fig Structură de control bazată pe imagini

130 122 Aplicaţii în sisteme servoing În această secţiune se propune utilizarea MBPC în controlul sistemelor servoing pentru un braţ manipulator cu 6 grade de libertate ce are o cameră video montată pe efector (configuraţie eye-in-hand). Sistemul are ca task principal preluarea unui obiect imobil caracterizat prin trăsături vizuale tip punct de interes. Principala dificultate în proiectarea unei strategii predictive este construirea unui predictor performant. Din acest motiv a fost dezvoltat un nou predictor bazat pe imagini, ce permite calcularea evoluţiilor viitoare ale trăsăturilor vizuale pe un orizont H p. Modelul considerat pentru regulatorul bazat pe imagini este reprezentat în figura 5.14 şi este compus dintr-un model discret al buclei interne VCMD plus un model al senzorului vizual. VCMD vc * ( k ) vc * () s v c (s) EOZ I6 Gs () T 1 I6 Gz ( ) v c (k) SV ( u ( k), v ( k), z ( k )) i i i L f ( k+ 1) f( k) T Fig Modelul sistemului pentru calculul predicţiilor Se consideră că la fiecare perioadă de eşantionare, senzorul vizual compus din cameră video şi un bloc de extragere a trăsăturilor vizuale, generează coordonatele ( u ( k), v ( k )) trăsăturilor în planul imaginii. Componenta z ( k ), care reprezintă a treia i i coordonată a trăsăturilor în spaţiul Cartezian, raportându-se la sistemul camerei, va fi extrasă din proprietăţi de mişcare generate de vc ( k 1). Folosind forma discretă a ecuaţiei (5.5) şi ţinând cont de modelul discret al buclei interne rezultă: f k+ = f k + TL G z v k, (5.28) 1 * ( 1) ( ) k ( ) c( ) care reprezintă predicţia pe un pas a evoluţiei trăsăturilor vizuale. Recursiv se obţin predictorii pentru următorii paşi : 1 * f( k+ 2) = f( k+ 1) + TLk+ 1G( z ) vc( k+ 1) 1 * f( k+ i) = f( k+ i 1) + TLk+ i 1G( z ) vc( k+ i 1) f k+ H = f k+ H + TL G z v k+ H 1 * ( p) ( p 1) k+ H 1 ( ) ( 1). p c p i (5.29)

131 Aplicaţii în sisteme servoing 123 Predictorul general f ( k+ i) este calculat utilizând predicţiile evoluţiilor trăsăturilor în pasul anterior f ( k+ i 1), din care sunt extrase şi informaţiile necesare calculului Jacobianului imaginii L k + i 1 şi a comenzii viitoare v * c ( k+ i 1). Algoritmul de predicţie este iniţializat cu trăsăturile f (.) la pasul k ce sunt obţinute din senzorul vizual utilizând un detector de trăsături vizuale adecvat. Controlul erorii trăsăturilor în planul imaginii exprimate în coordonatele spaţiului Cartezian, este dat de: + e ( k+ i) = L ( f d f( k+ i)), i = 1, H. (5.30) c Funcţia cost ce trebuie minimizată este definită ca o formă pătratică compusă din erori exprimate în spaţiul Cartezian şi un vector de intrări tip trăsătură pe un orizont de control H c : H p Hc 1 T * T * c c c c i= 1 i= J = e ( k+ i) Qe ( k+ i) + v ( k+ i) Rv ( k+ i) 2 2, (5.31) unde Q şi R reprezintă matrice tip pondere, pozitiv definite şi simetrice. Limitele imaginii introduc restricţii de vizibilitate pentru a asigura existenţa în planul imaginii în permanenţă a trăsăturilor. Această restricţie e sintetizată: min min max max ( ui( k), vi( k)) [ u, v ; u, v ] p (5.32) şi inclusă în funcţia cost pentru a garanta validitatea fizică a soluţiei a strategiei predictive. Implementarea, testarea şi validarea predictorului propus în ecuaţia (5.29) au fost realizate prin dezvoltarea unor rutine Matlab care să îndeplinească obiective diferite precum calcularea matricei de interacţiune, transformarea prin proiecţia în perspectivă a punctelor din spaţiul Cartezian în planul imaginii, modelarea mişcării camerei prin determinarea matricei de transformare omogenă ataşate. Pentru determinarea orientării camerei obţinute după aplicarea unei viteze de rotaţie a fost utilizată reprezentarea roll ϕ, pitch ϑ, yaw ψ, reprezentare ce generează o matrice de rotaţie (Siciliano, et al., 2009) via ecuaţia:

132 124 Aplicaţii în sisteme servoing cc css sc csc + ss b Rc = sc sss + cc ssc cs sϑ cϑsψ cϑcψ ϕ ϑ ϕ ϑ ψ ϕ ψ ϕ ϑ ψ ϕ ψ ϕ ϑ ϕ ϑ ψ ϕ ψ ϕ ϑ ψ ϕ ψ. (5.33) Dezvoltând ecuaţia (5.28), forma utilizată în implementare este dată de ecuaţia : kt v 1 T kv f ( k+ 1) = f( k) f( k 1) + Lkvc( k) 1+ kt 1+ kt 1+ kt v v v (5.34) Cei doi parametri au fost setaţi pe valorile k = 160; T = 1. v Estimarea traiectoriei punctelor de interes în planul imaginii pentru un sistem servoing al cărui VCMD este modelat via ecuaţia (5.27) este analizată pentru fiecare tip de mişcare. În figura 5.15 se prezintă rezultatele în urma aplicării unei viteze de translaţie pe direcţia x în spaţiul cartezian, transformată în translaţie pe direcţia y în planul imaginii. a c e b d f Fig.5.15 Estimarea mişcării trăsăturilor pe baza modificării valorilor componentelor vectorului viteză a) grafic de modificare a componentei v x, b) traiectorii puncte de interes pentru modificarea componentei v x, c) grafic de modificare a componentei v y, d) traiectorii puncte de interes pentru modificarea componentei v y, e) grafic de modificare a componentei v z, f) traiectorii puncte de interes pentru modificarea componentei v z.

133 Aplicaţii în sisteme servoing 125 Eficienţa predictorului este evidenţiată şi prin combinarea semnalelor ce compun viteza camerei şi interpretarea traiectoriilor rezultate din planul imaginii. În figura 5.16 b) este prezentată diagrama traiectoriilor punctelor de interes în planul imaginii pentru o viteză a camerei compusă 5.16 a). a) b) Fig a) grafic modificare componente viteză cameră, b) traiectorii puncte de interes Dinamica robotului inclusă în modelul ataşat pentru VCMD se regăseşte în traiectoriile de mişcare ale punctelor de interes în planul imaginii, putându-se estima cu acurateţe poziţia la fiecare iteraţie în funcţie de viteza camerei, considerată drept semnal de referinţă. În concluzie, predictorul propus poate fi utilizat în estimarea mişcării trăsăturilor obiectelor, mişcare datorată modificării poziţiei şi orientării camerei video. Analiza calităţii structurii de control cu regulator predictiv bazat pe imagini, descrisă în figura 5.13, a fost realizată prin dezvoltarea unui program în mediul Matlab care necesită drept date de intrare poziţiile de start a punctelor de interes şi poziţiile ce formează configuraţia dorită, reprezentate în spaţiul cartezian. Modelul de proiecţie în perspectivă a fost realizat pentru o imagine cu rezoluţia Iterativ, se minimizează funcţia cost dată de ecuaţia (5.31), salvându-se viteza optimă la fiecare pas k. În funcţie de orizontul de predicţie şi orizontul comenzii, complexitatea funcţiei de cost variază. Testele realizate au vizat evaluarea performanţelor abordării predictive în raport cu modalităţi clasice de control (PI). Au fost analizate transformări fundamentale precum translaţie, modificare factorului de scalare, rotaţie, rezultatele experimentale fiind prezentate în figurile 5.17, 5.19, 5.21, pentru regulatorul PI bazat pe imagini, şi în figurile 5.18, 5.20, 5.22, pentru regulatorul predictiv bazat pe imagini.

134 126 Aplicaţii în sisteme servoing a) b) c) d) Fig Regulator PI: Translaţie pe direcţia x a) traiectorie puncte de interes; b) eroare în planul imaginii; c) comportare componente viteză cameră; d) traiectorie cameră. a) b) c) Fig Regulator Predictiv: translaţie pe direcţia x a) traiectorie puncte de interes; b) eroare în planul imaginii; c) comportare componente viteză cameră;

135 Aplicaţii în sisteme servoing 127 a) b) c) d) Fig Regulator PI: modificare factor scalare a) traiectorie puncte de interes; b) eroare în planul imaginii; c) comportare componente viteză cameră; d) traiectorie cameră. a) b) c) Fig Regulator Predictiv: modificare factor de scalare a) traiectorie puncte de interes; b) eroare în planul imaginii; c) comportare componente viteză cameră;