PFC Correspondència d'imatges a un robot mòbil

Aplicacions futures relacionades

Eugenio Sánchez — 2007-05-09T15:34:47Z

Localització d'un robot mòbil a partir del descriptors invariants de les imatges obtingudes a partir d'una càmara. - Conclusions

Affine Covariant Features

Eugenio Sánchez — 2007-05-07T11:28:17Z

Font: Affine Covariant Regions

Affine Covariant Region Detectors: Harris-Affine & Hessian-Affine

Linux binaries	Example of use	Displaying regions in Matlab
Harris-Affine & Hessian-Affine	prompt>./h_affine.ln -haraff -i img1.ppm -o img1.haraff -thres 1000	matlab>> display_features ('img1.haraff','img1.ppm',1,1)

Region Descriptors

Implementation based on the publications and source code provided by the authors, see publications for details.

compute_descriptors.ln.gz - computes steerable filters, SIFT descriptor, moments, differential invariants, complex filters, shape context, spin images, PCA-SIFT. Run ./compute_descriptors.ln without options for details.

Example of use

prompt>./compute_descriptors.ln -sift -i img1.ppm -p1 img1.haraff -o1 img1.haraff.sift

matlab>>normalize_regions('img1.png','img1.haraff');

Mètode General

Eugenio Sánchez — 2007-05-07T10:59:16Z

La correspondència d'imtges és una tasca molt important en molts problemes de visió per computador.

L'eficiència i l'eficàcia és fonamental. Per tot això el mètode general que es realitzarà serà el següent:

1.- Extreure els punts característics de les imatges: D'aquesta manera estalviam espai i tractam només els punts claus pel reconeixement d'imatges.

2.- Segmentació radial: Dividim els punts característics de forma radial per a que sigui més fàcil la seva manipulació i comparació davant canvis geomètrics com la rotació, escalat i traslació.

IMBLI

Eugenio Sánchez — 2007-04-26T15:07:44Z

Nou mètode per la correspondència d'imatges amb deformacions geomètriques i variacions fotomètriques significatives.

Es troben les característiques locals invariants.

Es determina la posició, l'escala i l'orientació de les regions. Cada regió es representarà amb el nou descriptor.

El descriptor és un histograma de dos dimensions. Amb aquesta nova representació s'aconsegueix una major distinció i robustesa davant la deformació d'imatges.

Correspondència d'imatges

Eugenio Sánchez — 2006-10-09T10:30:42Z

Les tècniques i mètodes que es desenvolupen darrerament permeten trobar les correspondències entre imatges en situacions complicades. Aquestes són la rotació, il·luminació i escala amb un difícil reconeixement automatitzat.

En un primer moment s'havia de segmentar la imatge completa per després particionar-la (linealment o angularment) i comparar-la amb les altres imatges.

Els nous mètodes permeten extreure de les imatges originals uns descriptors característics.

Tot això permet que el consum de recursos (temps d'execució i memòria) sigui molt més baix de forma que s'automatitzi com a procés en un robot o en un sistema de temps real.

SIFT en c++

Eugenio Sánchez — 2006-10-09T10:21:47Z

Codi Font i executable - Experimentació

LIDIM

Eugenio Sánchez — 2006-08-16T15:19:00Z

Correspondència d'imatges amb un descriptor basat en SIFT però més eficientment computacionalment.

És una aproximació per comparar dues imatges amb canvis de rotació, escala i il·luminació basat en característiques locals invariants.

Podem diferenciar dues passes:

1.- S'encerclen regions associades a l'imatge a una posició amb un radi.

2.- Aquestes regions estan representades per un nou descriptor (ignorant la resta de l'imatge i estalviar així espai). S'evalua aquest nou descriptor a l'imatge a comparar fent una serie d'experiments per veure si coincideixen.

SIFT

Eugenio Sánchez — 2006-08-15T13:52:00Z

Algoritme per extreure els punts claus d'una imatge i veure així les correspondències entre imatges des de diferents punts de vista i reconéixer objectes.

1. Detecció als extrems de l'escala-espai: cada pixel es compara amb els seus 8 pixels veinats. I a la vegada els 9 pixels (corresponent pixel+8 veinats) amb les sèries de 9 pixels de les demés imatges.

2. Localització del punt clau: els punts claus s'agafen dels extrems a l'escala-espai.

3. Assignació d'orientació: per cada punt clau, d'una finestra de 16x16, és computat amb les dirección del gradient dels histogrames utilitzant interpolació bilinear.

4. Descriptor punt clau: representació a un vector de dimensió 128.

Una implementació oberta del SIFT

Documents

Eugenio Sánchez — 2006-08-14T15:58:00Z

[1].- Edge image description using angular radial partitioning.

[2].- Object Recognition from Local Scale-Invariant Features.

[3].- Real-time image-based topological localization in large outdoor environments.

[4].- Sketch-based image matching using angular partitioning.

[5].- Vision based topological markov localization.

[6].- Sketch-Based Image Retrival Using Angular Partitioning.

Partició angular amb transformacions de Fourier que me vàres comentar per utilitzar a les imatges i relacionat amb anteriors articles com [1],[4].

[7].- Robust Image Matching Algorithm

Un bon algoritme que compara pixel per pixel. Aquest podria utilitzar-se com a tasca secundària, no prioritaria, que no sigui en temps real per confirmar la correcta correspondència d'imatges.

[8].- Real Time Pattern Matching Using Projection Kernels - Proceedings of the Ninth IEEE International Conference on Computer Vision (ICCV'03)

Un article que troba un patró (un bocí d'imatge) a una altra imatge, podria servir com reconeixement de regions per saber si es tracta de imatges similars.

[9].- Local Invariant Descriptor For Image Matching

Extreure uns descriptors de la imatge, similars als SIFT (scale invariant feature transform que s'explica a l'article [2]).

El procés comença en detectar regions locals invariants. Una vegada finalitzat el procés es guarden les noves imatges (els descriptors de les imatges) dividides en 4 x 4 subregions i cadascuna amb 8 orientacions diferents (té similituts amb els articles de la partició angular) creant uns descriptors (vectors) de 128 = 4 x 4 x 8.

Finalment es realitza la correspondència d'imatges en un temps menor als descriptors SIFT amb pràcticament la mateixa precisió.

[10]. Image Matching Based on A Local Invariant Descriptor. Lei Qin, Wen Gao. International Conference on Image Processing(ICIP2005), Genova, pp422-425, Sep.11-14, 2005

Basat en l'anterior article troba les correspondències entre dues imatges amb deformacions geomètriques i variacions fotomètriques amb un alt percentatge de fiabilitat. Tot això basat en característiques invariants.

Amb un nou descriptor (histograma de dos dimensions) per cada regió invariant

Objectius

Eugenio Sánchez — 2006-08-11T16:02:00Z

L'objectiu del PFC és aportar els coneixements sobre aquesta tècnica i així:

Explicar l'aportació de la Visió per Computador a la Robòtica Mòbil.

Completar el sistema odomètric i sensorial de mesures al robot. Això permetrà aumentar la robustesa, fiabilitat i minimització d'errors.

Dotar d'un sistema senzill i escalable que podrà realiztar més funcions i tasques en el futur.