ES2561732B2 - Dispositivo de calibración multirresolución para sistemas de visión artificial - Google Patents

Abstract

Superficie plana o tridimensional, a modo de placa de calibración, que se caracteriza porque sobre ella se han dibujado con precisión un conjunto de marcadores fiduciarios de distinto tamaño, que no se solapan y cuya posición relativa sobre la superficie es conocida con gran exactitud. Opcionalmente, los marcadores fiduciarios tienen forma de cuadriculas regulares compuestas de celdas cuadradas que están coloreadas en dos tonos de diferente luminosidad, tienen el mismo número de filas y columnas, pero distinto tamaño de celda.

Description

DISPOSITIVO DE CALIBRACIÓN MULTIRRESOLUCIÓN PARA SISTEMAS DE VISIÓN ARTIFICIAL

OBJETO DE LA INVENCIÓN

El objeto de la presente invención tal y como se expresa en el enunciado de esta memoria descriptiva consiste en un objeto sobre el que se han impreso unos motivos geométricos en forma de códigos reconocibles a distintas escalas. Dichos motivos pueden ser interpretados como marcas fiduciarias únicas lo que, unido a su peculiar disposición y escala en esta invención, permite estimar la orientación y posición relativa del objeto independientemente de la cercanía del sistema óptico a calibrar.

CAMPO DE APLICACIÓN DE LA INVENCIÓN

La presente invención se encuadra en el área técnica de los sistemas de medida fotométricos, más concretamente en la de las placas de calibrado que permiten determinar con precisión parámetros de sistemas de adquisición de imagen mediante técnicas de visión artificial, tales como la distancia focal, alineamiento de las lentes, distorsión geométrica, posición y orientación.

ANTECEDENTES DE LA INVENCIÓN

Generalmente se asume que la imagen se forma en los instrumentos ópticos de acuerdo con el modelo simplificado 'pin-hole', de manera que cada punto en 3D de la escena a fotografiar se proyecta en un punto en la imagen. Cuando se trata de sistemas de adquisición y visualización en tiempo real y la imagen obtenida no es geométricamente consistente con este modelo paraxial ideal, en lugar de aplicar modelos más complejos, se añaden algunos términos de corrección para considerar el efecto de las desviaciones, también conocidas como aberraciones.

La aberración más fácil de caracterizar es la distorsión geométrica, muy común en cámaras de gran angular y lentes de bajo coste. Tal y como indica su nombre, al distorsionar la imagen, los píxeles de una cámara en perspectiva pueden sufrir notables desplazamientos a lo largo de las direcciones radiales, lo que degrada las medidas de profundidad en sistemas estéreo. Por ello se han ideado en los últimos 50 años numerosos métodos y aparatos de calibración para determinar los parámetros del modelo de formación de la imagen considerando este tipo de aberración.

En la década de 1960, Duane C. Brown, que trabajaba en el ámbito de la fotogrametría, propuso un método para determinar la distorsión geométrica de las lentes basado en el axioma por el que las líneas rectas son invariantes a la transformación en perspectiva (aunque dejan de ser paralelas). Esta técnica, publicada en (Brown, 1971), y con añadidos posteriores en (Fryer y Brown, 1986), se conoce popularmente como el método de la 'plomada'. Se puede encontrar una revisión histórica exhaustiva en Clarke y Fryer (1998). Dicha técnica fue adoptada por la comunidad de visión artificial, donde se publicaron versiones simplificadas que han sido protegidas en forma de patentes, como por ejemplo como la estadounidense US6002525.

El método de la "plomada" requiere que la optimización para la búsqueda de parámetros se realice simultáneamente respecto a los parámetros asociados a las líneas rectas (que se desconocen) y a los parámetros de distorsión (que son también desconocidos). Por ello numerosos autores han presentado enfoques alternativos. Ejemplos muy conocidos son los trabajos de Devernay y Faugeras (2001) y Bing (1999), que fue registrado como la patente estadounidense US6101288. Estos métodos tratan de ajustar iterativamente los parámetros de distorsión con el fin de reducir al mínimo el error de distorsión provocado en las líneas.

Desafortunadamente, exhiben una lenta convergencia y pueden llegar a ser inestables con los niveles de distorsión elevados; a menos que se tomen medidas especiales, como en Swaminathan y Nayar (2000).

Actualmente, se tienden a estimar simultáneamente los parámetros extrínsecos (posición y orientación) e intrínsecos (distancia focal, descentrado del sensor, distorsión geométrica...) de una cámara. La gran mayoría de las implementaciones software de estos artículos, se diseñan de manera que sean capaces de trabajar con formas geométricas regulares y repetitivas que son fácilmente detectables por algoritmos básicos de procesado de imagen, de ahí la popularidad del uso de cuadriculas perfectamente regulares como objetos de referencia en el proceso de calibración de las cámaras. Típicamente se recurre a tableros de ajedrez o dameros bicolores, cuyas esquinas son identificadas como puntos característicos.

Así, los parámetros del modelo de cámara se obtienen mediante el análisis de la posición de un objeto de dimensiones determinadas de antemano, con un patrón fácilmente identificable. Los métodos más populares son el de Tsai (1987) que puede apoyarse en objetos de referencia 3D, y el de Zhang (2000), especialmente pensado para placas de calibración planas.

El método de calibración de Tsai presupone que algunos parámetros físicos de la cámara son proporcionados por el fabricante, lo cual reduce la dificultad del proceso de optimización y permite acotar el valor inicial de la estimación. Requiere un conjunto mínimo de puntos característicos (n>8) en cada una de las imágenes y resuelve un sistema de n ecuaciones lineales sobre la base de la restricción de alineamiento radial. El modelo de distorsión radial es de segundo orden, si no se consideran términos que afecten al centrado de la imagen y la distorsión. El método es lo suficientemente flexible para ser aplicado en imágenes estáticas o en secuencias de vídeo, siempre que se conozcan con precisión las coordenadas relativas de cada uno de los puntos distinguibles sobre la superficie del objeto de calibración.

El método de calibración de Zhang es más genérico, por lo que puede abordarse la estimación de todos los parámetros del modelo de cámara, sin que el fabricante o el operador tenga que proporcionar pistas iníciales. Tal y como se detalla en el artículo de Remondino, F., y Fraser, C. (2006), el procedimiento requiere capturar previamente imágenes de una cuadrícula en forma de tablero de ajedrez plano que se coloca frente a la cámara en diferentes orientaciones (al menos 3), a modo de placa de calibración bidimensional. Una vez identificada la posición 2D de las esquinas de cada celda del tablero en las imágenes, se utilizan dichas capturas junto con el patrón de tablero de ajedrez para calcular una transformación proyectiva en el conjunto de las imágenes. A partir de estos datos, se obtiene una estimación de los parámetros extrínsecos (para cada posición del tablero) e intrínsecos de la cámara incluyendo los coeficientes que describen la distorsión geométrica del sistema óptico, mediante una serie de estrategias numéricas.

Todos estos métodos, y sus variantes, se apoyan en el uso de objetos de referencia o calibración, cuyas características geométricas son determinantes en la correcta estimación de los parámetros del modelo de cámara.

El uso de placas de calibración con un patrón en forma de tablero de ajedrez se ha llegado a convertir en el estándar de la industria, en parte debido a su sencillez (se puede adquirir en cualquier tienda de juguetes) y en parte porque la práctica totalidad de los paquetes software y librerías de calibración (como OpenCV) están preparados para utilizar imágenes con este patrón.

Sin embargo, el patrón en forma de damero presenta importantes inconvenientes.

El tablero de ajedrez es una figura simétrica, por lo que no es posible distinguir si el tablero ha rotado 180º a partir de los puntos característicos que forman las esquinas de las celdas. Lo cual da lugar a una indefinición respecto a la posición y, por tanto, no permite estimar bien los parámetros extrínsecos de la cámara (relacionados con la posición y la orientación de la misma).

Debido a la regularidad del patrón, tampoco es posible distinguir exactamente qué celdas son visibles y cuáles no cuando una parte del tablero está ocluida por objeto o simplemente se sale del campo de visión de la cámara (si no se hace un seguimiento de los puntos a lo largo de una secuencia, tan sólo se pueden identificar las celdas de forma relativa). Este factor tiene como consecuencia que las implementaciones actuales de los algoritmos de calibración requieren que el damero sea completamente visible en las imágenes que se utilizan para la calibración.

Si el tablero de ajedrez se encuentra en un ángulo con cierta inclinación respecto a la cámara, los algoritmos de detección de esquinas tienden a fallar en algunas de las celdas (especialmente en las más alejadas), por lo que las imágenes en esas posiciones no pueden ser utilizadas, al no ser posible determinar la correspondencia con las celdas cuyas esquinas no han sido detectadas, de forma similar al caso anterior.

Además, en configuraciones ópticas como el modo macro o aquellas en las que la apertura de la cámara es grande y, por tanto, la zona de enfoque se reduce, puede llegar a ser necesario un damero de muy pequeñas dimensiones para que no se emborrone parte de su superficie al tomar las imágenes. Ya que el efecto de desenfoque provoca también fallos en la detección de los puntos característicos del tablero, y dado que el algoritmo no funciona si no se captan todas las esquinas del damero, un tablero de tamaño estándar no es útil en este caso (bien porque no cabe, debido a la cercanía en modo macro, o por la estrechez del plano de enfoque si la apertura es grande). El segundo tipo de configuración, con una apertura grande, es muy habitual en el uso de cámaras de alta velocidad, donde el tiempo de exposición es especialmente corto y como consecuencia es necesario captar tanta luz como sea posible para evitar imágenes con altos niveles de ruido. El uso de minúsculos tableros de ajedrez para asegurar la diversidad de orientaciones que requieren los algoritmos basados en los métodos propuestos por Zhang y Tsai resulta poco conveniente, ya que no es sencillo mantenerlos en la zona de enfoque y además es necesario cubrir todo el área de la imagen. Así el patrón del damero requiere la toma de imágenes cuya captura es particularmente compleja en estos casos.

La presente invención ofrece una solución alternativa a estos problemas que facilita el proceso de calibración mediante un objeto de caras planas sobre las que se han impreso unos motivos geométricos en forma de códigos reconocibles a distintas escalas. Dichos motivos pueden ser interpretados como marcas fiduciarias únicas lo que, unido a su peculiar disposición y escala, en esta invención, permite estimar con gran precisión los parámetros del modelo de cámara descrito, en un amplio rango de orientaciones y distancias a la cámara.

Referencias:

Brown, D.C., 1971: Close-range camera calibration. PE&RS, Vol. 37(8), pp.855-866

Clarke, T.A. and Fryer, J.G., 1998: The development of camera calibration methods and models. The Photogrammetric Record, Vol. 16(91), pp. 51-66

Devernay, F., y Faugeras, O., 2001: Straight lines have to be straight. Machine vision and applications, 13(1), 14-24.

Fryer, J. and Brown, D., 1986: Lens distortion for close-range photogrammetry. PE&RS, Vol. 52(1), pp.51-58

Remondino, F., y Fraser, C. (2006). Digital camera calibration methods: considerations and comparisons. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 36(5), 266-272.

Swaminathan, R., y Nayar, S. K., 2000: Nonmetric calibration of wide-angle lenses and polycameras. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22(10), 1172-1178.

Tsai, R.Y., 1987: A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Int. Journal Robotics and Automation, Vol. 3(4), pp. 323-344

Zhang, Z., 2000: A flexible new technique for camera calibration. IEEE Trans. on PAMI, Vol. 22(11), pp. 1330-1334

EXPLICACIÓN DE LA INVENCIÓN

La mayor parte de los métodos de calibración requieren tomar un buen número de fotografías de un objeto, cuya geometría es bien conocida, en diferentes orientaciones.

Los objetos más utilizados para este fin son los dameros planos cuyas celdas están coloreadas alternadamente en blanco y negro, de forma similar a un tablero de ajedrez. La regularidad de la cuadrícula reduce el coste computacional de los algoritmos de detección de puntos característicos y la estimación de la curvatura que provoca la óptica en las líneas percibidas del tablero. Sin embargo, como ya se ha comentado, la sencillez de este patrón de calibración conlleva una ambigüedad respecto a posibles giros y una reducción en la precisión de la estimación al tener que descartar imágenes en las que el tablero sólo aparece parcialmente o tiene una inclinación mayor a 60°respecto del plano de imagen. Estos problemas se agravan cuando la cámara tiene que enfocar una zona muy cercana (modo macro) o se configura con una gran apertura (como suele suceder en escenas poco iluminadas o cuando el tiempo de exposición es muy pequeño).

Por ello, en esta invención se propone un objeto de calibración que comprende un patrón no simétrico con elementos que pueden ser identificados de forma independiente. De manera que pueda determinarse la orientación y la posición del objeto respecto de la cámara sin importar cual sea ésta, incluso cuando el objeto es sólo parcialmente visible.

El objeto de calibración puede ser tridimensional, preferiblemente con caras planas en las que se impresiona el patrón con precisión. Por simplicidad los ejemplos de esta descripción se ciñen al caso bidimensional, con un tablero plano, que pueden ser fácilmente extrapolados a las caras de un objeto tridimensional más complejo.

En lugar de formar un tablero regular con celdas cuadradas, el conjunto de motivos sobre la superficie del objeto de calibración está compuesto por marcadores o marcas fiduciarias de distintos tamaños, cada una de ellas con un patrón diferente que permite identificarlas individualmente.

De esta forma, los puntos característicos, que se extraen de las imágenes en distintos ángulos, están asociadas a las marcas fiduciarias en esta invención.

El hecho de que no se pueda extraer una parte de los puntos característicos, no implica que se tengan que rechazar esas imágenes en el proceso de calibración. Ya que el resto de puntos se pueden utilizar al reconocer las marcas fiduciarias de las que forman parte y, por tanto, es posible distinguirlos y determinar sus posiciones relativas sobre la superficie cuya imagen se captura.

Las marcas fiduciarias deben ser únicas y representar un símbolo en un diccionario cuyo diseño no coincida con otro que sólo suponga una rotación de 90°, 180°o 270°. De esta forma, al reconocer el código también se puede deducir su orientación respecto a la cámara. Por tanto, quedan descartadas las formas semejantes a los tableros de ajedrez donde no se cumple esta condición.

Sin embargo, se pueden aprovechar algunas características de los dameros que facilitan y abaratan el coste computacional de la detección de esquinas y líneas en los algoritmos de procesado de imagen, como por ejemplo su regularidad y el hecho de estar formados por cuadrículas de colores.

Por ello, las marcas fiduciarias del ejemplo de realización preferente de esta invención se han realizado a modo de pequeñas cuadrículas, cuyas celdas están coloreadas para representar el símbolo del diccionario con una cierta codificación. La codificación más simple es la binaria, que puede representarse con sólo dos colores, lo que permite mantener una gran separación en luminancia entre éstos, al igual que suele hacerse al colorear las celdas de los tableros de ajedrez tradicionales.

A mayor distancia de Hamming entre las representaciones de los símbolos en el diccionario, menor será la posibilidad de interpretar erróneamente alguna de las marcas fiduciarias dibujadas en la superficie del objeto.

Otro aspecto que facilita el proceso de detección, es la colocación de un marco alrededor de cada marca fiduciaria, de un grosor uniforme y un color distintivo respecto al resto de la superficie del objeto, que puede ser, por ejemplo, del color de menor luminosidad si el código es binario.

Resulta conveniente que las marcas fiduciarias tengan forma cuadrada, ya que es suficiente con extraer los puntos correspondientes a las esquinas de cada marca fiduciaria identificada para calcular la homografía de cada vista y con ellas, se calculan a su vez, los parámetros extrínsecos de la cámara.

Al cubrir la superficie del objeto de calibración con multitud de marcas fiduciarias de distintos tamaños, se mejora la capacidad del sistema de calibración para obtener información en situaciones adversas, como la presencia de oclusiones (al quedar parcialmente tapado el objeto de calibración durante la captura), las tomas en las que algún extremo del objeto se sale del encuadre o cuando sólo una porción está en el plano de enfoque.

La diversidad en el tamaño de las marcas fiduciarias es clave en dicha mejora. Ya que permite que al menos una parte de las marcas fiduciarias pueda ser reconocida con independencia de la distancia y el ángulo entre la cámara y el objeto de calibración. De esta forma los puntos característicos asociados a las marcas fiduciarias reconocidas se utilizan como datos de entrada en algoritmos como el de Zhang y Tsai para estimar la posición y orientación de la cámara, así como su distancia focal y los factores de corrección de la distorsión geométrica.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

La figura 1 muestra un ejemplo de arte previo. El epígrafe 1a se corresponde con una vista frontal de un damero de calibración típico, compuesto por celdas de color blanco y negro. El dibujo 2a se corresponde con una representación de una captura de imagen de dicho damero en uno de los casos patológicos, dado que una porción del mismo está más allá de la zona de encuadre de la cámara. Dada la simetría y regularidad del tablero, no es posible determinar a qué celdas pertenecen los puntos característicos que están más allá de los límites de la imagen.

La figura 2 representa una vista frontal de una marca fiduciaria de ejemplo (1), que se asocia con un código único. La marca fiduciaria está compuesta por una cuadrícula en la que se ha coloreado cada una de las celdas (2) en dos posibles tonos de diferente valor de luminosidad, blanco en las celdas tipo (2) y gris oscuro en las celdas tipo (3). La marca fiduciaria, sirve a su vez como elemento constructivo del patrón que se imprime sobre la superficie de la placa de calibración multirresolución. Cada una de estas marcas es identificada de forma independiente por el sistema óptico.

La figura 3 representa una vista frontal de un ejemplo de realización del dispositivo de calibración multirresolución, donde se distingue el conjunto de motivos geométricos que forman las distintas marcas fiduciarias de ejemplo (1), que son reconocidas por el sistema óptico de forma individual y global (al conocer su posición relativa). La disposición en rectángulos (o anillos) concéntricos con marcadores de distintos tamaños favorece la detección de los puntos característicos de un conjunto próximo de marcadores; incluso en configuraciones extremas, cuando sólo una porción de la placa es visible desde la cámara o cuando la placa de calibración está muy cerca de la cámara.

La figura 4 ilustra una captura de la placa de calibración representada en la figura 3 bajo condiciones en las que la zona de enfoque es muy estrecha. El emborronamiento, producido por las limitaciones físicas del sistema óptico de captura, hace que una parte de los puntos característicos no pueda ser recuperado. Sin embargo, en la zona central las marcas fiduciarias de menor tamaño se pueden aprovechar para la calibración, al estar bien enfocadas y reconocerse esas marcas (y sus puntos característicos) de forma independiente al resto.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

En la figura 3 se muestra una realización particular de la invención, cuyo patrón puede estar impreso sobre una placa plana de metacrilato.

Cada una de las marcas fiduciarias está formada por una cuadrícula de 5 × 5 celdas cuadradas cuyo color depende de la codificación binaria de un símbolo en un diccionario. En este caso se ha coloreado el valor 0 en negro y el valor 1 en blanco.

Cada una de las marcas está rodeada por un marco de una celda de grosor. Por lo que se puede considerar que cada una de las marcas fiduciarias forman una pequeña cuadrícula de 7 × 7 celdas, en la que la primera y última de las filas, y la primera y la última de las columnas están coloreadas siempre del mismo tono para componer el marco. Así, la regularidad de la zona exterior favorece la detección, mientras que la zona interna de cada marca fiduciaria se utiliza para la identificación.

La codificación binaria empleada incluye bits redundantes que permiten la detección y corrección de errores. Además sólo son válidos aquellos marcadores fiduciarios que son invariantes a rotaciones de 90, 180 y 270 grados.

En este ejemplo, cada marcador tiene un código interno de 5 palabras de 5 bits cada una. La codificación empleada es una ligera modificación del código Hamming. En total, cada palabra solo tiene 2 bits de información de los 5 bits empleados. Los otros 3 son empleados para detección de errores. Como consecuencia, puede llegar a utilizarse hasta 1024 identificadores diferentes.

La principal diferencia entre el código Hamming estándar y el que se ha aplicado en este caso es que el primer bit se han invertido. De esta manera se evita utilizar un rectángulo completamente negro como marcador válido para poder reducir falsos positivos con los objetos del entorno.

Los marcadores mantienen la misma orientación y están separados unos de otros por una distancia inferior a la mitad del lado de la marca fiduciaria para cada posible tamaño

5 de celda. Cuando están agrupados por tamaños, como los rectángulos concéntricos del ejemplo de la figura 3, se puede introducir una separación que favorezca la regularidad conjunto, y con ella la detección de las regiones correspondientes a las marcas fiduciarias y sus esquinas.

La reducción en el tamaño de la celda de los marcadores en la zona central permite que

10 sus puntos característicos sean detectados y asociados a las marcas fiduciarias correspondientes incluso cuando el objeto de calibración está muy cerca y tiene una notable inclinación frente a la cámara, como se muestra en la captura de la figura 4.

Son posibles, e igualmente efectivos, muchos otros muchos patrones de disposición de los marcadores (o marcas fiduciarias) de distintos tamaños. Como, por ejemplo, en filas

15 alternando el tamaño de los mismos.

Una vez descrita suficientemente la naturaleza del presente invento, así como un ejemplo de realización preferente, solamente queda por añadir que dicha invención pude sufrir ciertas variaciones en forma y materiales, siempre y cuando dichas alteraciones no varíen sustancialmente las características que se reivindican a continuación.

Claims (4)

1. REIVINDICACIONES

   1. Dispositivo de calibración en forma de superficie plana o tridimensional sobre la que se han dibujado con precisión un conjunto de marcadores fiduciarios de distinto tamaño, que

   5 no se solapan y cuya posición relativa sobre la superficie es conocida con gran exactitud, caracterizado porque los marcadores fiduciarios de la zona central tienen un tamaño de celda inferior a los del contorno exterior, con o sin un margen entre los marcadores de distinta escala.
2. 2. Dispositivo de calibración, según las reivindicación anterior, caracterizado porque los

   10 marcadores fiduciarios se disponen en rectángulos concéntricos, siendo más pequeño el tamaño de los que se sitúan en el centro y progresivamente mayor a medida que los anillos tienen un mayor perímetro.
3. 3. Dispositivo de calibración en forma de superficie plana o tridimensional sobre la que se han dibujado con precisión un conjunto de marcadores fiduciarios de distinto tamaño, que

   15 no se solapan y cuya posición relativa sobre la superficie es conocida con gran exactitud, caracterizado porque los marcadores fiduciarios se disponen en filas alternando el tamaño de los mismos.
4. 4. Dispositivo de calibración, según cualquiera de las reivindicaciones anteriores, caracterizado porque los marcadores fiduciarios tienen forma de cuadriculas regulares

   20 compuestas de celdas cuadradas que están coloreadas en dos tonos de diferente luminosidad, cada marcador tiene el mismo número de filas y columnas, y se agrupan en función de los distintos tamaños de celdas.

   DIBUJOS