ES2384086T3 - Sistema de captación de imagen 3D - Google Patents
Sistema de captación de imagen 3D Download PDFInfo
- Publication number
- ES2384086T3 ES2384086T3 ES09727607T ES09727607T ES2384086T3 ES 2384086 T3 ES2384086 T3 ES 2384086T3 ES 09727607 T ES09727607 T ES 09727607T ES 09727607 T ES09727607 T ES 09727607T ES 2384086 T3 ES2384086 T3 ES 2384086T3
- Authority
- ES
- Spain
- Prior art keywords
- model
- location
- images
- views
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Dispositivo destinado a calcular un modelo tridimensional de un objeto (101, 201) que comprende:- Un instrumento de bolsillo portátil que comprende múltiples fuentes de energía direccionales (106-109) dispuestas de manera que iluminen direccionalmente el objeto, y un ensamblaje de detección de captación de imagen (104) que presenta al menos dos puntos de vista separados en el espacio (111, 112) en posiciones mutuamente fijas, estando el ensamblaje de detección de captación de imagen dispuesto de forma que registre una serie de imágenes del objeto en cada punto de vista cuando el objeto está iluminado por cada una de las fuentes. - Al menos un modelo de localización (102, 103, 202:401) que presenta características geométricas predeterminadas (402-408), estando dispuesto el modelo de localización de forma que, cuando esté en uso, sea visible al menos para uno de los puntos de vista simultáneamente con el objeto. - Un procesador (110) colocado de forma que analice las imágenes registradas en los puntos de vista, de manera que: - Determine la orientación y la localización de cada punto de vista relativa al modelo para cada imagen de la serie de imágenes. - Genere datos fotométricos para el objeto utilizando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación desde cada fuente de energía. - Genere datos geométricos y que comprenda un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción 25 estereoscópica mediante triangulación óptica, con el fin de proporcionar la forma bruta del objeto. - Combine los datos geométricos y los datos fotométricos utilizando los estos últimos datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de construir el modelo tridimensional.
Description
Sistema de captación de imagen 3D
[0001] La presente invención hace referencia a un dispositivo y a un método para la
captación de imágenes tridimensionales (3D) y, en particular, a la captación de imágenes 3D y la medición de la superficie de objetos. [0002] La captación de imágenes 3D es la adquisición en formato digital de la
geometría (forma física) de una zona de la superficie de un objeto real. En algunos casos, también se pueden obtener las propiedades de reflectancia material del objeto. Se puede considerar una zona de la superficie de un objeto como una subzona de la superficie física del mismo. El sistema se puede extender hasta incluir la captación de imágenes de zonas de superficie extensas, lo que significa que el sistema es capaz de obtener una zona más amplia que la obtenida mediante el dispositivo de captación de imágenes desde una única posición de visualización (por ejemplo, la zona de superficie en más de un lado de un objeto 3D). El sistema puede capturar parcial o íntegramente la forma de la superficie y las características materiales de un objeto o escena, así como las propiedades métricas de la forma. Entre los ejemplos de propiedades de reflectancia del material se incluyen el color difuso de la superficie y una medición de la cantidad de reflexión especular exhibida por el material, tanto como valor absoluto, como componente espectral.
[0003] Las aplicaciones para la captación de imágenes 3D se pueden encontrar en una amplia variedad de áreas, como el diagnóstico por imagen del cuerpo humano para fines médicos, la recogida de datos para su traducción en la producción de videojuegos y películas, la captación de modelos arquitectónicos, ingeniería inversa para diseño asistido por ordenador (CAD), y la recogida de datos con fines archivísticos, como la arqueología. Se conocen diversos sistemas para la adquisición en 3D de la forma de un objeto, pero los típicos sistemas existentes exhiben una o más de las siguientes limitaciones en este aspecto:
- •
- Tan sólo adquieren geometría y no reflexión material.
- •
- No son portátiles, por lo que no permiten la toma in situ.
- •
- No alcanzan una resolución (muestras por unidad de área) adecuada para obtener una reproducción convincente o un análisis detallado.
- •
- No capturan un área lo suficientemente amplia del sujeto (que puede ser, por ejemplo, un muro o suelo entero, o un objeto con auto-oclusión que no puede
conseguirse desde una única posición de visualización como, por ejemplo, una parte del cuerpo humano).
- •
- No ofrecen una forma adecuada de “coser”, que es la combinación de múltiples secciones pequeñas de la información capturada en una sección más amplia y continua de forma automatizada.
- •
- El sistema emplea hardware complejo y/o prohibitivamente costoso como, por ejemplo, brazos robóticos automatizados, componentes manufacturados de precisión, etc.
- •
- El sistema necesita una calibración compleja y requiere mucho tiempo.
- •
- La calibración del dispositivo de captación de imágenes y de cualquier otra geometría del sistema debe llevarse a cabo como procedimientos separados, lo que resulta en una multitud de errores de calibración del sistema.
- •
- Los principales parámetros físicos del sistema no tienen relación con un estándar de medición.
- •
- Las mediciones resultantes no concuerdan con un estándar metrológico.
- •
- El sistema requiere técnicas estereoscópicas “activas” basadas en, por ejemplo, bandas láser proyectadas que hacen que resulte inadecuado para, por ejemplo, su uso médico debido a cuestiones relativas a la seguridad o aceptabilidad del sistema.
[0004] La presente invención tiene como objetivo solucionar, al menos parcialmente,
los inconvenientes citados con anterioridad. [0005] Mostafa et al en “Integrating Stereo and Shape from Shading" IMAGE PROCESSING, 1999. ICIP 99. Actas. 1999 Conferencia Internacional en Kobe, Japón 24-28 OCT. 1999, Piscataway, NJ, E.E.U.U., IEEE, US, vol. 3, 24 de octubre de 1999, páginas 130-134, describe la integración de información geométrica escasa con información adquirida usando la técnica de forma-por-sombreado que puede recuperar una superficie 3D de un objeto a partir de una imagen obtenida usando una única fuente de luz.
[0006] Según una primera forma de realización de la invención, se revela un instrumento de bolsillo portátil para calcular un modelo tridimensional de un objeto. El aparato comprende un instrumento de bolsillo portátil que incluye múltiples fuentes de energía direccionales dispuestas de modo que iluminen direccionalmente el objeto. El instrumento también incluye un ensamblaje de captación de imágenes que tiene al menos dos puntos de vista separados en el espacio en posiciones mutuamente fijas, y
dispuestos de modo que registren una serie de imágenes de un objeto en cada punto de vista cuando cada fuente ilumina el objeto. Al menos un modelo de localización que tenga unas características geométricas predeterminadas es visible para al menos uno de los puntos de vista simultáneamente con el objeto. Se coloca un procesador para 5 analizar las imágenes registradas en los puntos de vista, y así determinar la orientación y la localización de cada punto de vista en relación al modelo para cada imagen en la serie de imágenes, y generar información fotométrica para el objeto usando la orientación y la localización de los puntos de vista calculadas, junto con la información de la imagen y la dirección de la iluminación a partir de la fuente de 10 energía. El procesador se coloca, además, de forma que genere información geométrica y que comprenda un modelo tridimensional de armazón del objeto llevado a cabo mediante la reconstrucción estereoscópica usando triangulación óptica para obtener la forma bruta del objeto, y combinar la información geométrica y fotométrica usando la información fotométrica para ofrecer un detalle geométrico de alta
15 frecuencia sobre la forma bruta y, así, construir el modelo tridimensional. [0007] De este modo, el aparato es capaz de ofrecer al menos dos puntos de vista separados del objeto. En el caso de dos puntos de vista, a menudo se habla de “par estéreo”, aunque se apreciará que se pueden usar más de dos puntos de vista, y esto puede que incremente la precisión y/o el alcance visible del aparato. Las palabras
20 “estéreo” y “estereoscópico” tal y como se emplean aquí pretenden abarcar el procesamiento de imágenes desde dos, tres o más puntos de vista, y no restringir la presente revelación a únicamente puntos de vista pares. [0008] Las fuentes de energía direccionales pueden ser, por ejemplo, un flash fotográfico estándar, un conjunto de diodos LED de alto brillo, o una lámpara de flash
25 de xenón o un “flash de anillo”, aunque se apreciará que la energía no necesita estar en el espectro de luz visible. Las fuentes pueden comprender cualquier método que genere energía direccional, como radiación electromagnética, en adelante “luz”, entendiéndose que esto no se limita a la radiación en el espectro visible. Un filtro óptico apropiado, como los filtros polarizantes, por ejemplo, pueden incluirse
30 preferentemente con las fuentes y/o conjunto de captación de imagen para reducir la visibilidad de reflejos directos de la(s) fuente(s) direccional(es) en los puntos de vista. Cuando se aplica energía direccional de luz visible, se pueden incluir sensores en los puntos de vista incluyendo, por ejemplo, dos o más cámaras digitales estándar, o cámaras de vídeo, o sensores y lentes CMOS fijados adecuadamente. En el caso de
35 otros tipos de energía direccionales, se adoptan sensores apropiados para la energía
direccional empleada. Se puede disponer un sensor discreto en cada punto de vista, u
otra alternativa sería situar un único sensor detrás de una lente partida.
[0009] Según una forma de realización de la invención, la dirección de la iluminación
puede conocerse en relación a los puntos de vista. Esto se puede lograr, por ejemplo,
5 si las múltiples fuentes de energía están fijas en relación a los puntos de vista. [0010] Si la dirección de la iluminación no se conoce en relación a los puntos de vista, entonces el/los modelo(s) de localización pueden iluminarse mediante las fuentes, además de ser visibles para al menos uno de los puntos de vista en cada imagen de la serie de imágenes. Por ejemplo, la fuente puede desplazarse entre las imágenes en la
10 serie de imágenes, en cuyo caso puede usarse el modelo para identificar la dirección de la iluminación. [0011] El modelo o modelos comprenden preferentemente un conjunto
predeterminado de características geométricas (por ejemplo, un patrón impreso) de modo que la posición relativa del dispositivo de captación de imágenes y el modelo 15 puedan determinarse representando ópticamente el modelo. Se pueden diseñar funciones del patrón para que actúen como balizas altamente potenciales para los algoritmos de procesamiento de imágenes. También se puede ofrecer una función de localización de la fuente de energía de conocidas dimensiones para facilitar el cálculo de la posición relativa de la(s) fuente(s) en relación a los modelos. Se puede tratar, por
20 ejemplo, de un cono o pirámide de dimensiones conocidas. El modelo puede incluir, además, una porción de calibración de color para facilitar una calibración de la respuesta de color y/o corrección en el dispositivo de captación de imágenes.
[0012] Cada modelo puede, además, incorporar opcionalmente una o más funciones únicas que permiten a un modelo en particular ser identificado excepcionalmente de 25 una forma automatizada. Un ejemplo de esto sería un “código de barras” impreso en 1D o 2D. Otro ejemplo sería la inclusión de un Dispositivo de Identificación por Radiofrecuencia, o una etiqueta de identificación por radiofrecuencia (RFID). Otro ejemplo puede incluir un marcador retrorreflectante o más ordenados siguiendo un patrón. Otro ejemplo más sería la inclusión de un chip EEPROM incrustado o similar 30 en el modelo. Cualquiera de estas funciones se puede usar como “llave” para unir las imágenes registradas con el objeto y/o asegurar un solo uso del modelo. El modelo puede incorporar marcadores adicionales que permiten un reconocimiento y/o medición automáticos frente a un estándar métrico. Opcionalmente, un transceptor de etiqueta de identificación por radiofrecuencia de corto alcance permite la comunicación 35 entre los modelos incorporando la etiqueta de identificación por radiofrecuencia y el
resto del aparato. Opcionalmente, el hardware de la interfaz del aparato permite la comunicación entre los modelos que incorporan chips EEPROM o similares y el resto del aparato.
[0013] Las funciones de identificación únicas también pueden incluirse en modelos
5 para usarse con otros sistemas de adquisición de imágenes 3D. Por consiguiente, según otro aspecto de la invención, se prevé un aparato para calcular un modelo tridimensional de un objeto, comprendiendo al menos un escáner de captación de imágenes dispuesto para generar al menos un modelo 3D del objeto. El aparato incluye, además, al menos un modelo de localización que tiene funciones geométricas
10 predeterminadas y una función de identificación única que permite que se distinga dicho modelo de otros modelos. El modelo de localización se dispone cuando esté en uso para que sea detectado por el escáner simultáneamente con el objeto. Se dispone un procesador para analizar la imagen o imágenes registradas por el sensor, de modo que se construya el modelo tridimensional. La presente invención también prevé un
15 modelo de localización que presenta una función de identificación única. [0014] Según una forma de realización de la presente invención, el aparato incluye diversos modelos de localización. Los sensores y la fuente pueden localizarse en una primera posición en la que al menos dos primeros modelos son visibles para los sensores simultáneamente con una primera porción del objeto, y pueden desplazarse
20 a una segunda posición en la que al menos uno de los dos primeros modelos es aún visible para los sensores simultáneamente con al menos uno de los otros modelos y una segunda porción del objeto que coincide con la primera porción. Los sensores registran imágenes de ambas posiciones, y la información de las imágenes se combina para generar un modelo que cubre la primera y la segunda porción del objeto.
25 [0015] En otras palabras, el uso de múltiples modelos permite que las imágenes de porciones en superposición de un objeto de grandes dimensiones se usen para construir una imagen de una porción mayor del objeto que sería imposible de otra forma. Además, se pueden utilizar múltiples modelos con otros métodos de obtención de información geométrica (p. ej. un trazador de líneas láser) y su uso no se limita a la
30 disposición que emplea estéreo pasivo. [0016] El procesador incluye preferentemente formas de guardar imágenes procedentes del dispositivo de captación de imágenes y llevar a cabo ciertas funciones del procesamiento de imágenes, reconstrucción 3D y representación de la superficie u objeto bajo inspección, y otras funciones como: la reconstrucción de cualquier
35 condición de iluminación separada, la extracción de un estándar métrico, la extracción de un estándar de color, la extracción y registro de un único identificador, y el cumplimiento de un único uso del modelo. Típicamente, podría tratarse de un ordenador de sobremesa o portátil con un monitor, disco duro y el resto de componentes comunes.
5 [0017] El sistema adopta principios metrológicos de modo que, al menos según las formas de realización de la invención: las mediciones se realicen en relación a modelos estándar que son, en principio, sencillos de localizar en comparación con estándares metrológicos superiores; toda la captación de imágenes se lleva a cabo usando unos datos coordinados fijos o un conjunto de datos coordinados. Y toda
10 calibración del sistema puede, en principio, llevarse a cabo usando “modelos” como objetos de referencia. Una característica particular de una forma de realización del sistema es la capacidad para manejar de manera efectiva extensas áreas de superficie que no tienen cabida en una única vista de la escena por la cámara. La combinación de datos geométricos estereoscópicos pasivos y datos fotométricos elimina la
15 necesidad de una luz estampada como, por ejemplo, una proyección de un trazador de líneas láser. [0018] El sistema es apropiado para una captura portátil, es decir, puede desplazarse hasta un objeto o superficie amplia para que pueda ser captado “in situ”. En uso, se capta preferentemente una serie de imágenes de la superficie con un modelo o más
20 colocados sobre o alrededor de la superficie de modo que puedan obtenerse imágenes simultáneamente con la superficie. Se obtiene un conjunto de imágenes estéreo desplazando la fuente direccional y disparando dicha fuente de manera sincronizada con la captura de imágenes estéreo (dos o más puntos de vista). Si la fuente direccional es luz, entonces dichas imágenes se llaman imágenes fotométricas
25 estéreo. El procesamiento se realiza entonces (potencialmente “sin conexión” después de la captura) para reconstruir la superficie bajo inspección. Una reconstrucción fotométrica del área de superficie que se adquiere puede ejecutarse procesando un conjunto de imágenes que disponen de una iluminación direccional variable desde un “lado” de los dos puntos de vista estéreo. Una reconstrucción estereoscópica pasiva
30 del área de superficie que se pretende obtener puede llevarse a cabo procesando un par de imágenes o más. [0019] Según otro aspecto de la presente invención, se prevé un método para calcular un modelo tridimensional de un objeto. El objeto se ilumina direccionalmente con múltiples fuentes de energía alojadas en un instrumento de bolsillo portátil. Se registra
35 una serie de imágenes del objeto en cada uno de, al menos, dos puntos de vista
separados en el espacio en posiciones mutuamente fijas. Las imágenes de al menos uno de los puntos de vista también incluyen al menos un modelo de localización que presenta unas funciones geométricas predeterminadas. La localización y la orientación de cada punto de vista relativa al modelo se determinan a partir de las imágenes 5 registradas. Los datos fotométricos para el objeto se generan a partir de las imágenes registradas usando la localización y la orientación calculadas de los puntos de vista junto con la dirección de la iluminación. La información geométrica que comprende un modelo tridimensional de armazón del objeto se genera llevando a cabo una reconstrucción estereoscópica usando triangulación óptica con el fin de obtener la
10 forma bruta del objeto. La información geométrica y fotométrica se combinan usando la información fotométrica para ofrecer un detalle geométrico de alta frecuencia de la forma bruta y así construir el modelo tridimensional. [0020] A continuación, se describen algunas formas de realización de la presente invención a modo de ejemplo y en referencia a los dibujos que se adjuntan, en los que:
15 − La Figura 1 muestra un aparato para obtener una imagen en 3D de un objeto. − La Figura 2 muestra el aparato de la Figura 1 en uso capturando una sección de un teléfono móvil. − La Figura 3 muestra un aparato alternativo en uso capturando una sección de una pared. 20 − La Figura 4 muestra un modelo de localización ejemplar. − La Figura 5 muestra una organización típica para estéreo fotométrico “tradicional”. − La Figura 6 muestra una ilustración geométrica de la determinación de alcance estereoscópico.
25 − La Figura 7 muestra el aparato de la Figura 1 en uso capturando un área de superficie amplia mediante la captación de imágenes en múltiples regiones en superposición.
− La Figura 8 muestra el aparato de la Figura 3 en uso capturando un área de superficie amplia mediante la captación de imágenes en múltiples regiones en 30 superposición. − La Figura 9 ilustra un sistema ejemplar para combinar imágenes obtenidas desde diferentes puntos de vista. [0021] La Figura 1 muestra un aparato 100 para capturar una imagen 3D de un objeto
101. El aparato 100 incluye un dispositivo de captación de imágenes 104 que 35 comprende dos cámaras 111, 112 y cuatro fuentes de energía direccionales 106-109
fijadas rígidamente a las cámaras 111, 112. Tal y como se muestra en este ejemplo, el dispositivo 104 se está usando para capturar parte de la superficie de un miembro humano, aunque ha de tenerse en cuenta que su aplicación no se limita al cuerpo humano, y que el dispositivo podría usarse para cualquier objeto que presente unas 5 características similares en gran parte, o secciones de objetos más grandes, o superficies de entornos como paredes o suelos. Se coloca un modelo de localización o más 102, 103 sobre o cerca del objeto 101 de modo que sean visibles por el dispositivo de captación de imágenes 104 simultáneamente con la superficie del objeto
101. Dichos modelos 102, 103 deben situarse en el campo de visión de las cámaras
10 111, 112 para que se pueda llevar a cabo la reconstrucción. Aunque sólo se necesita un modelo 102, 103 para reconstruir la imagen, el área de superficie del objeto 101 que puede obtenerse cuando se usa un solo modelo es limitado. Incrementar el número de modelos permite que el sistema cubra un área tan extensa como resulte necesaria. Se puede usar cualquier método apropiado para fijar los modelos como, por
15 ejemplo, sujetarlas usando un soporte autoadhesivo de “un solo uso”, o cinta adhesiva de doble cara. [0022] En este ejemplo se asume que el dispositivo de visión 104 es portátil e incluye una carcasa y asas asociadas 105, aunque se podrá observar que esta configuración física no es prescriptiva y que el dispositivo podría tener cualquier forma apropiada y
20 podría sujetarse, por ejemplo, mediante un trípode en lugar del asa. Debido a que las fuentes de luz están fijadas rígidamente en relación a las cámaras, las posiciones de las fuentes de luz relativas a la cámara son conocidas. Una función opcional del sistema es un transceptor de radio incorporado en el interior de la carcasa 105 para comunicarse con unas etiquetas de identificación por radiofrecuencia identificables
25 excepcionalmente y alojadas en los modelos de localización asociados 102, 103. Otra función opcional del sistema es un hardware de interfaz para comunicarse con un EEPROM identificable excepcionalmente o dispositivos similares en los modelos de localización asociados. [0023] Las fuentes de luz direccionales 106-109 se operan simultáneamente con
30 ambas cámaras 111, 112, de modo que cada cámara obtenga una serie de imágenes 2D del objeto 101 y modelo(s) 102, 103. Las imágenes 2D obtenidas por las cámaras se procesan entonces mediante un medio de procesamiento para generar una representación 3D del objeto 101, tal y como se describe con más detalle más adelante. El medio de procesamiento se representa en este ejemplo como un
35 ordenador portátil 110, aunque debe tenerse en consideración que el procesamiento se puede realizar también mediante un procesador “a bordo”. Debe tenerse en cuenta que el procesamiento puede efectuarse tanto online (p. ej. durante o inmediatamente después de la captura), u offline, en cuyo caso se almacena una serie de imágenes en, por ejemplo, una memoria externa, y se procesan posteriormente. [0024] Tal y como se expuso anteriormente, el sistema de captación de imágenes no se limita a captar imágenes del cuerpo humano. La Figura 2 muestra una forma de realización portátil similar a la invención en uso para captar imágenes de una región de la superficie de un objeto inanimado, en esta ocasión de un teléfono móvil 201. En este caso, sólo se requiere utilizar un único modelo de localización 202 dispuesto cerca del objeto para que el dispositivo de captación de imágenes 104 lo reconozca simultáneamente con el objeto. [0025] En la Figura 3 se muestra una configuración de hardware alternativa. En este ejemplo, se usa un aparato 300 alternativo para capturar imágenes 3D de un entorno amplio como es el área de una pared 301. En este ejemplo, una sola fuente de luz 302 (como, por ejemplo, un flash fotográfico manual) se puede desplazar de manera independiente respecto a una cámara 303 instalada en un trípode 304. La cámara 303 captura una serie de imágenes con la fuente de luz 302 en una posición diferente para cada imagen. Se dispone una variedad de modelos 305-310 en la pared 301 separados entre ellos. Cada modelo incluye una función de “localización de luz” 404 tal y como se muestra en la Figura 4 y se describe con más detalle más adelante. La función de localización de luz 404 de cada modelo se usa para aclarar la posición de la fuente de luz direccional en cada imagen a través del procesamiento de las imágenes de los modelos. El procesamiento de imágenes se puede llevar a cabo mediante un dispositivo de procesamiento especializado 311, aunque debe entenderse que se puede usar cualquier medio de procesamiento adecuado. [0026] La serie de imágenes tomadas por la cámara 303 se procesan para adquirir datos 3D y propiedades de superficie material. La resolución de muestreo de los datos resultantes se relaciona directamente con la resolución de la cámara 303. La cámara 303 en sí también se puede desplazar entre las imágenes de forma que se obtengan imágenes de toda la pared en secciones (descritas con más detalle más adelante). Debe tenerse en cuenta que el dispositivo de captación de imágenes 104 de las Figuras 1 y 2 también puede emplear un enfoque similar para trazar la superficie de un objeto 101 en secciones. Hay diversos motivos por los que puede resultar necesaria la captación de imágenes de objetos como el 101, 201, 301 en secciones:
1) La resolución del dispositivo de captación de imágenes frente a la resolución de la reconstrucción deseada sobre el tamaño de la superficie es inadecuado si se toman imágenes de toda el área en una sección.
2) La cantidad de producción de energía por parte de la fuente de luz direccional 5 sobre el área completa de la superficie es inadecuada para la reconstrucción de la superficie con la energía reflejada.
3) La región de interés sobre la superficie del objeto no puede percibirse desde una única posición debido a la auto-oclusión del objeto (p. ej. no es posible observar toda el área de la superficie de un miembro humano desde un único
10 punto de vista). [0027] Las figuras 3, 7, 8 y 9 ilustran el principio de obtener la imagen de una región amplia de la superficie de un objeto 101, 301 en secciones. Se puede observar en la Figura 3 que el área de visión 312 de la cámara 303 contiene sólo un subconjunto de la pared completa 301, y cuatro modelos 305, 306, 308 y 309 del conjunto entero de
15 seis modelos 305-310. Al obtener imágenes de múltiples secciones de la pared, se puede construir un plano 3D de toda la superficie. Esto se muestra también en las figuras 8 y 9. [0028] De manera similar, la Figura 7 ilustra el dispositivo de captación de imágenes 104 de la Figura 1 en tres posiciones diferentes 705, 706, 707, en cada una de las
20 cuales las cámaras 111, 112 poseen un campo de visión diferente 708, 709, 710. Cada campo de visión contiene un subconjunto del total del área de la superficie del objeto 701 del que se van a obtener imágenes, y también contiene al menos dos de los modelos de localización 702, 703, 704. La clave para combinar de manera automatizada las vistas en un modelo único y coherente es el uso de múltiples
25 modelos de localización, y esto se describe con más detalle más adelante. [0029] A continuación se describen dos técnicas principales de adquisición para obtener datos 3D. La primera es la reconstrucción fotométrica, en la que la orientación de la superficie se calcula a partir de la variación observada en la energía reflejada contra el ángulo de incidencia conocido de la fuente direccional. Esto proporciona un
30 plano normal de superficie de una resolución relativamente elevada junto con un plano de la reflexión de la superficie relativa (o color libre de iluminación), que puede integrarse para ofrecer información de profundidad o alcance que especifica la forma 3D de la superficie del objeto. La producción de un óptimo detalle de alta frecuencia es inherente a este método de adquisición, pero también nos encontramos frente a la
35 introducción de un flujo de baja frecuencia, o curvatura, más que la geometría métrica
absoluta debido a la naturaleza del ruido presente en el proceso de captación de imágenes. El segundo método de adquisición es la reconstrucción estereoscópica pasiva, que calcula la profundidad de la superficie basada en la triangulación óptica. Esto se basa en principios conocidos de paralaje óptico. Esta técnica proporciona 5 generalmente una buena información de baja frecuencia imparcial (la forma bruta subyacente a la superficie del objeto), pero es ruidoso o carece de detalle de alta frecuencia. Por tanto, los dos métodos pueden considerarse complementarios. Un sistema que combina información de ambas modalidades a través del uso de un modelo de localización o más puede producir una reconstrucción 3D superior en un
10 paquete portátil y compacto. [0030] Una función opcional del sistema revelado aquí es la aplicación de un filtro óptico en el dispositivo de captación de imágenes y de las fuentes direccionales. El objetivo es reducir la visibilidad de la reflexión especular de las fuentes direccionales en las imágenes adquiridas, lo que puede conducir a artefactos en las imágenes que
15 pueden confundir al software de reconstrucción. Esto se puede conseguir, por ejemplo, usando un conjunto de filtros polarizadores circulares orientados adecuadamente. La filtración óptica posee beneficios particulares cuando se usa con el procesamiento de captación de imágenes llevado a cabo por los dos métodos de reconstrucción 3D empleados por el sistema aquí descrito.
20 [0031] La Figura 4 muestra un modelo de localización ejemplar (adecuado para su uso como los modelos de localización 102, 103, 202, 305-310, 702-4 de las Figuras 1-3 o 7) en detalle. Un lector experto en la materia entenderá que, por naturaleza, podrían usarse varias configuraciones para un modelo, tanto en 2D como en 3D, para llevar a cabo la localización del dispositivo de captación de imágenes y de las fuentes de
25 energía direccionales, y que muchas de las características anteriormente descritas son opcionales o reemplazables por equivalentes funcionales. En este ejemplo, el modelo es un bloque planar plano 401 con un patrón estampado de dimensiones métricas y precisión conocidas, que consta de:
1. Un borde grueso negro con una línea central blanca 402.
30 2. Una función de localización clara, mostrada en este ejemplo como una zona central blanca 403 sobre la que un cono 404 sujeto al bloque que, cuando es iluminado por una fuente de luz direccional (como, por ejemplo, una fuente de luz fotométrica 302), proyecta una sombra triangular (no se muestra). En otra forma de realización de la patente, una pirámide mate se puede usar en el
35 interior de un cono. Si se emplea una pirámide, el dispositivo de captación de imágenes observará que los lados de la pirámide, cuando son iluminados por una fuente de luz direccional, varían su intensidad. La necesidad de la función de localización de luz se determina por la configuración de la fuente de luz del sistema escogida.
- 3.
- Un marcador de orientación 405, que elimina la simetría rotacional de 90º del bloque, y una codificación opcional 406, en este ejemplo un código de barras, que identifica de manera excepcional un modelo de localización particular. Lo anterior podría combinarse potencialmente en una sola función.
- 4.
- Un Dispositivo de Identificación por Radiofrecuencia (etiqueta de identificación por radiofrecuencia) insertado (no se muestra), que puede ser empleado, además, para identificar de manera inequívoca el modelo mediante el uso de un transceptor de radio de corto alcance en la carcasa 105 del dispositivo portátil.
- 5.
- Un dispositivo EEPROM insertado o similar (no se muestra), que puede ser empleado, además, para identificar de manera inequívoca el modelo mediante comunicación con el dispositivo portátil. Esto se puede conseguir aproximándolo a un área de acoplamiento adecuada en la carcasa 105 del dispositivo portátil (no se muestra).
- 6.
- Una función de calibración de color 407 que comprende, por ejemplo, una región que posee un patrón coloreado diseñado para facilitar la calibración de respuesta de color y/o corrección en el dispositivo de captación de imágenes.
- 7.
- Un dispositivo retrorreflectivo 408 que, cuando está iluminado por una fuente que posee una situación de origen similar al dispositivo de captación de imágenes, prevé una función altamente identificable en la imagen que actúa como “baliza”. Esto puede ayudar a la detección del modelo en la imagen por parte de las rutinas de procesamiento de imágenes.
[0032] La operación del dispositivo de captación de imágenes 104 que se muestra en las Figuras 1 y 2, en la que se usa luz como fuente de energía direccional y un par de cámaras estéreo como dispositivo de captación de imágenes, se describirá ahora en términos de las funciones desarrolladas, concretamente la localización mediante un modelo (con identificación opcional), reconstrucción 3D fotométrica, reconstrucción 3D estereoscópica pasiva y reconstrucción 3D a través de la integración de datos fotométricos y estereoscópicos. También se describe la combinación de múltiples puntos de vista en una única reconstrucción 3D continua.
[0033] La primera función del sistema es localizar el dispositivo de captación de imágenes 104 en relación a un modelo o más apreciables desde cada punto de vista, desde los que se toman imágenes del objeto y, en caso de que se usen múltiples puntos de vista, la posición relativa de todos los modelos. En el ejemplo de la Figura 1, 5 el campo de visión inicial de las cámaras estéreo 111, 112 incluye una sección de la superficie y dos modelos de localización 102, 103. La localización de la cámara óptica se determina por la orientación del sistema de la cámara estéreo en el espacio (en concreto el rollo de la cámara, los ángulos de inclinación y guiñada junto con las efectivas coordenadas centrales de la cámara X,Y,Z en unidades métricas como, por 10 ejemplo, en milímetros) en relación a un marco de coordenadas absoluto definido en un modelo de localización. Puesto que los modelos de localización poseen un tamaño métrico conocido, la orientación relativa de las cámaras estéreo puede determinarse de manera métrica dadas ciertas propiedades de captación de imágenes de las cámaras como, por ejemplo, largos focales y la relación proyectiva entre las dos
15 cámaras, tal y como se define, por ejemplo, en Essential Matrix (R, I. Hartley y A. Zisserman "Multiple View Geometry in Computer Vision". Cambridge University Press, ISBN: 0521623049 2000). [0034] La calibración geométrica tanto de una cámara individual como de un sistema de cámara estéreo o multivista es una técnica conocida y puede llevarse a cabo en un
20 enfoque basado en la toma de imágenes de un modelo de calibración, extrayendo ciertas funciones y usando geometría proyectiva para determinar los parámetros que especifican las propiedades de imagen del sistema de cámara estéreo. J-Y Bouguet describe la implementación de una técnica de tales características en "Camera Calibration Toolbox for Matlab" http://www.vision.caltech.edu/bougueti/calib
25 doc/index.html Con conocimientos de las características de captura de imagen del sistema de la cámara, se puede realizar la localización de la cámara óptica desde un único punto de vista (p. ej. usando una única imagen de un par estéreo) de un modelo de localización. Esto conlleva desarrollar rutinas de procesamiento de imágenes para detectar ciertas funciones (como la delgada línea blanca 402 en el modelo de
30 ejemplo), y luego aplicar geometría proyectiva para calcular una homografía entre el marco de coordenadas desde el modelo hasta la cámara. En el caso de las vistas estéreo del modelo, dado un sistema estéreo calibrado, se puede obtener una precisión de estimación de orientación y/o verificar los parámetros de calibración. También se pueden usar, en principio, múltiples vistas de los modelos para generar
35 parámetros físicos clave necesarios para describir (o calibrar) la cámara, permitiendo, por tanto, y de manera potencial, que los mismos estándares métricos definan la posición de la cámara y los parámetros necesarios para una reconstrucción precisa. [0035] El sistema emplea un modelo de localización o más situado encima o cerca de la superficie del objeto sujeto a inspección. Tal y como se ha tratado anteriormente, en
5 el ejemplo de la Figura 1 el punto de vista de las cámaras 111, 112 permite tomar imágenes de los modelos 102, 103 y, en aquellos emplazamientos en los que están visibles múltiples modelos, se puede determinar la orientación de las cámaras estéreo 111, 112 en relación a cada uno de los modelos 102, 103 a la vista. Una orientación canónica puede ser (arbitrariamente) elegida como la forma computada de un modelo
10 individual, o como una transformación de cualquiera o de todos estos marcos de coordenadas. Una visión canónica es un solo marco de coordenadas en el que se proyectan todas las vistas del presente grupo de modelos. Además, el mapeo de transformación entre los marcos de coordenadas relativas de los modelos 102, 103 pueden ser calculados trivialmente mientas se obtienen imágenes de los mismos
15 simultáneamente desde el mismo punto de vista. El uso de múltiples modelos y el cálculo de la orientación relativa entre los modelos es clave para obtener imágenes de una superficie más extensa en secciones. [0036] La Figura 7 ilustra el sistema de la Figura 1 en uso capturando un área de superficie extensa, de nuevo en este ejemplo la parte superior de un pie humano 701.
20 Se sujetan tres modelos de localización 702, 703, 704 al pie 701, y se observa el pie colocando el dispositivo de captación de imágenes 104 y hardware asociado en tres posiciones 705, 706, 707. Cada campo de visión 708, 709, 710 se superpone con, al menos, uno de los otros campos de visión y contiene al menos dos de los tres modelos 702, 703, 704. La calibración del sistema de cámara estéreo permanece
25 constante y, puesto que se puede calcular la orientación relativa entre cada modelo en cada visión (p. ej. modelo de mapeo 702 a 703, 703 a 704 y 702 a 704), se puede determinar un mapeo completo que determine la orientación relativa de todos los modelos junto con la orientación relativa para las diferentes posiciones 705, 706, 707. [0037] Puesto que cada modelo proporciona una localización independiente desde un
30 único punto de vista, no es necesario combinar estimaciones de posición entre puntos de vista, evitando así la acumulación de errores en la estimación de orientación que pueden derivarse del registro de imágenes (conocido como “deriva”), lo que deja tan sólo los errores acumulados asociados con la transformación entre las coordenadas de visión canónica. En principio, se puede tomar una imagen separada del conjunto de
35 modelos para definir un único sistema de coordenadas global en caso de que la
acumulación de errores entre las visiones canónicas se considere inaceptable. Esto
supone un beneficio significativo del presente sistema sobre los métodos de “rastreo”
basados en cámaras.
[0038] Con el fin de llevar a cabo este proceso, es necesario identificar cada modelo
5 en cada vista de la escena de forma consistente. Tal y como se ha mencionado en referencia a la Figura 4, cada modelo de localización 401 incluye una codificación como, por ejemplo, un código de barras 406, que se usa para identificar de manera inequívoca ese modelo de localización. Cada modelo es, por tanto, único mientras la codificación pueda ser detectada con certeza, lo cual no sería necesario si:
10 1) Los modelos de localización se colocan de manera irregular y las vistas superpuestas contienen (al menos) dos modelos en común. 2) La localización es lo suficientemente precisa. [0039] La orientación relativa entre los pares de modelos de localización puede usarse entonces para identificarlas de manera inequívoca. De nuevo, dependiendo de
15 la irregularidad de la situación y precisión de la estimación de orientación, puede que resulte o no necesario usar un marcador de orientación 405 (tal y como se muestra en la Figura 4) para eliminar la simetría de 90º de los modelos. Una alternativa a la codificación mediante barras, dependiendo de la sensibilidad y alcance relativos del sistema del dispositivo de identificación por radiofrecuencia empleado, sería emplear
20 una etiqueta de dispositivo de identificación por radiofrecuencia insertado para facilitar la identificación inequívoca de los modelos. Otra alternativa sería utilizar un chip EEPROM insertado o similar en el modelo con un hardware de comunicación apropiado para facilitar la consecución de una identificación inequívoca. [0040] Los beneficios de la identificación inequívoca de modelos no se limita al caso
25 en el que se usan múltiples modelos para obtener imágenes de una superficie extensa en secciones. La identificación inequívoca puede proporcionar metadatos adicionales sobre las imágenes capturadas por el sistema y ayudar en el procesamiento o almacenamiento de los archivos de imagen resultantes. Un ejemplo en particular se hallaría en el diagnóstico por imágenes en el campo de la medicina, en el que se
30 puede usar una codificación del objetivo para facilitar el aprovisionamiento del escáner único con los historiales electrónicos de los pacientes. Un identificador único también ayudaría en los ensayos clínicos al proporcionar un análisis retrospectivo de los datos. Si el objetivo ha de situarse directamente sobre la piel del paciente, entonces no se debe volver a utilizar en otro paciente debido a la posibilidad de infección cruzada. Se
35 podría conservar una lista no volátil de los códigos de identificación de los modelos en el dispositivo de captación de imágenes y usarla para evitar el procesamiento en modelos reutilizados, y así alentar la práctica sanitaria. En otro ejemplo de un proceso industrial, el método de captación de imágenes que aquí se presenta podría aplicarse para verificar la precisión de los componentes con la codificación del objetivo proporcionando un análisis retrospectivo completo para la administración del control de calidad. En un ejemplo más general, al asignar códigos específicos a los modelos y al controlar su distribución física, el identificador inequívoco podría proporcionar una “filigrana” para determinar el creador de la imagen 3D. [0041] La segunda función del sistema es llevar a cabo una recuperación fotométrica de la superficie del objeto sujeto a inspección. El principio subyacente a la recuperación fotométrica es el estéreo fotométrico. En la forma canónica del estéreo fotométrico, se adquiere una serie de imágenes fotométricas de la superficie, estando la máquina estática en relación a la superficie del objeto, pero con una variación geométrica en la dirección de la iluminación entre las imágenes. La Figura 5 ilustra dicho sistema. Se desea capturar información geométrica de la superficie de un objeto
501. Para conseguirlo, se obtienen imágenes mediante un único punto de vista de una cámara 502, mientras que se ilumina de manera individual mediante una serie de fuentes de luz idénticas 503-505. Normalmente, se utilizará un mínimo de tres fuentes de luz. [0042] El estéreo fotométrico requiere un modelo aproximativo de las propiedades de reflectancia del material de la superficie. En general, esto se puede modelar (en un único punto de la superficie) mediante la Función de Distribución de Reflectancia Bidireccional (BRDF). Un modelo simplificado se usa comúnmente con el fin de facilitar la manejabilidad del problema. Un ejemplo sería el modelo de la Ley del Coseno de Lambert. En este simple modelo, la intensidad de la superficie tal y como la observa la cámara depende sólo de la cantidad de energía irradiante que se recibe por parte de la fuente de luz y de los efectos escorzados debidos a la geometría de la superficie sobre el objeto. Se podría expresar de la siguiente manera:
[0043] Aquí / representa la intensidad observada por la cámara en un único punto del objeto, P la energía de luz irradiante que se recibe en ese punto, N el vector normal de la superficie del objeto relativa, L la dirección del objeto relativa normalizada de la iluminación que se recibe, (coma) y p la reflectancia de Lambert del objeto en ese punto.
[0044] Normalmente, la variación de P en la superficie del objeto será determinada en un paso de calibración previo y, por lo tanto, puede ser compensada. L también estará normalmente determinada por la calibración. En principio, los dos pasos de calibración pueden llevarse a cabo usando información obtenida mediante la captación de 5 imágenes de los modelos. En la configuración de la Figura 5, la cámara y el objeto permanecen estáticos y, por tanto, el área de superficie observado por la cámara en un píxel específico permanece igual. Por consiguiente, las intensidades observadas en el píxel de una cámara en concreto en un conjunto de imágenes con una dirección lumínica variante pueden ser consideradas como un conjunto de muestras
10 fotométricas. Si el total de las direcciones lumínicas es M (siendo M > 2), cuadrando múltiples (Eqn 1) se podría encontrar una solución para N y p en un sentido de mínimos cuadrados a través de un seudoinverso:
[0045] Aquí, la información adicional de que N debe estar normalizada permite que se
15 recupere p como la norma de N. Por tanto, dado un adecuado modelo de reflectancia de superficie manejable, PS se puede usar para obtener la geometría de un objeto como un plano normal de superficie y de las propiedades materiales (por ejemplo, los coeficientes de reflectancia de Lambert p posiblemente no homogéneos). Nótese que PS no se limita sólo a la recuperación de la reflectancia de Lambert simple. La
20 aplicación de modelos más sofisticados permite la reflectancia de color y la medición de, por ejemplo, la reflexión especular para su recuperación. Un enfoque alternativo (o adicional) es proporcionar una filtración óptica del dispositivo de captación de imágenes y de la fuente de luz con el fin de reducir la visibilidad de la reflexión especular en las imágenes.
25 [0046] Hay diversos problemas potenciales con la configuración “tradicional” de PS mostrada en la Figura 5. En primer lugar, la necesidad de hardware de múltiples fuentes de luz física puede resultar en algunas aplicaciones costoso y presentar inconvenientes para la captura portátil. En segundo lugar, cuando no se conoce previamente la dirección de la luz relativa, la calibración de la dirección de luz entrante
30 y la variación de la energía lumínica irradiante que se recibe conlleva tiempo. El uso de los modelos de localización previamente tratados palan estos problemas.
[0047] Como función opcional, los modelos de localización pueden proporcionar una forma en la que la dirección de la luz pueda determinarse a partir de una sola imagen. Esto se puede conseguir calculando la orientación relativa del modelo de localización. Después, (en el caso de que la función de localización de la luz 404 sea un cono) observar la sombra triangular proyectada por el cono en el plano 403 del modelo. La dirección de la luz entrante puede encontrarse en relación al rayo proyectado desde el vértice de la sombra triangular (que está en el plano del modelo) a través de la punta del cono 404, que tiene unas dimensiones conocidas en relación al marco de coordenadas del modelo. En el caso de una pirámide mate, puesto que se conoce la dirección normal de la superficie de los cuatro lados de la pirámide, las intensidades relativas de los lados se pueden usar de forma análoga a la Eqn 2 para calcular un rayo en dirección a la fuente de luz. [0048] Se puede calcular la intensidad de la luz entrante (P) muestreando, en el caso de la función de localización de la luz en un cono, a partir de las partes sin ensombrecer del modelo de localización. En el caso de la función de localización de la luz en una pirámide, se puede usar con el mismo fin el área del plano que rodea a la pirámide en el modelo de localización. Estas regiones 403 son blancas y planas de manera uniforme, por lo que cualquier variación en la intensidad lumínica en esta región aparecerá como un cambio en la intensidad del píxel en la imagen de la cámara. Se pueden combinar las muestras de diversos modelos de localización presentes en la imagen y, dado que se usa una fuente de luz bien difusa, la variación en P será leve. Asumiendo que los modelos están distribuidos por la imagen, se puede considerar a las muestras como colectivamente representativas de la variación en P en la región visible de la superficie. Así, se puede introducir una función interpolada 2D
(p. ej. un bicuadrático) para calcular los valores de P en posiciones arbitrarias en la imagen. [0049] Otra función opcional de los modelos de localización es la de facilitar la calibración y/o corrección de la variación en la respuesta de color en el sistema de captación de imágenes, p. ej., un “balance blanco” de una cámara. Esto se puede conseguir procesando las imágenes de los modelos ya que se conoce su reflectancia, que tiene p. ej. regiones en blanco y negro. Los métodos para conseguirlo serán bien conocidos por aquellos expertos en la materia. Esta función puede incorporar, además, una función de calibración de color específico 407 en el modelo, el cual posee regiones coloreadas de reflectancia conocida. Esto permitiría una comparación directa entre la respuesta de color en la captación de imágenes y la reflectancia base conocida. [0050] La tercera función del sistema es llevar a cabo una reconstrucción estereoscópica pasiva usando la triangulación óptica. Obsérvese que esta técnica no
5 proporciona la adquisición de las propiedades de reflectancia material per se, y es probable (dado que se emplea el mismo dispositivo de captación de imágenes) que produzca información geométrica de resolución más baja que aquella producida con el enfoque fotométrico. El beneficio reside en las características del ruido de los datos recuperados, que son complementarios a la reconstrucción fotométrica.
10 [0051] A los efectos de la presente discusión, se considera que el dispositivo de captación de imágenes adquiere imágenes de la superficie del objeto desde dos puntos de vista ligeramente separados, es decir, desde un par de imagen estéreo. Dado que la relación proyectiva entre los dos puntos de vista estéreo se conoce a través de una calibración previa, se puede determinar la información en profundidad
15 estableciendo una correlación entre puntos 2D y las imágenes que forman el par estéreo. La reconstrucción de la información de alcance usando los puntos de vista estéreo se describe, por ejemplo, en R, I. Hartley y A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, ISBN: 0521623049 2000, y se ilustra en relación a la Figura 6. Asumiendo un modelo “pin-hole” estándar, un plano
20 601 cruza dos puntos 602, 603 que representan los centros de los puntos de vista de la cámara separados, dos planos 605, 606 que representan los planos de la imagen de la cámara, y un tercer punto 604 en la superficie del objeto. Las imágenes 607, 608 en los planos conceptuales de las imágenes captadas por la cámara del punto de la superficie del objeto 604 son las intersecciones de los rayos 609, 610 desde los
25 centros de la cámara hasta el punto de la superficie de la cámara 604. Por tanto, para un punto dado 607, el punto correspondiente 608 debe hallarse sobre una línea que es la intersección del plano 601 en el otro plano de imagen de la cámara 606. La reconstrucción de información en profundidad puede, por tanto, conseguirse dado un par de cámaras estéreo calibradas si se puede obtener un conjunto de
30 correspondencias relativamente denso entre vistas estéreo. Hay numerosos algoritmos en este campo, por ejemplo tal y como lo describen Kolmogorov y Zabih en "Multi-Camera Scene Reconstruction via Graph Cuts In Proceedings", Conferencia Internacional sobre Visión Computarizada, 2003. [0052] La reconstrucción estereoscópica pasiva plantea el problema de que, a
35 menudo, regiones de una imagen completamente ensombrecida no se pueden
recuperar puesto que no es posible encontrar correspondencias inequívocas. El sistema aquí descrito presenta la ventaja de que se pueden adquirir múltiples pares de imágenes estéreo con una iluminación direccional variable. Esto incrementa en gran medida la posibilidad de que la superficie haya estado adecuadamente iluminada en al 5 menos uno de los pares de imágenes en todos los puntos visibles y, por consiguiente, se pueda reconstruir sin que falte ningún dato. La geometría reconstruida a partir de diferentes conjuntos de imágenes estéreo se puede fundir fácilmente en un único conjunto de datos unificado puesto que el modelo de localización proporciona un marco de referencia. Otro problema que plantea la reconstrucción estereoscópica 10 pasiva es la presencia de reflejos especulares directos por parte de la fuente de luz dominante en las imágenes. Las reflexiones especulares aparecen a menudo en áreas de un alto contraste de imagen y con una situación en la superficie que varía con la dirección de la observación. Por tanto, se entiende que proporcionan una fuente de “falsas correspondencias”, lo que dificulta la reconstrucción estereoscópica. Un
15 enfoque que minimiza este problema es aplicar una filtración óptica adecuada tanto al dispositivo de captación de imágenes como a las fuentes de luz para minimizar las reflexiones especulares visibles. [0053] La cuarta función del sistema es reconstruir un modelo 3D de la superficie bajo inspección, junto con las propiedades materiales asociadas (variables en el espacio).
20 Esto se lleva a cabo fusionando los datos reconstruidos derivados de los métodos de recuperación geométrica y fotométrica descritos anteriormente. El estéreo fotométrico proporciona la recuperación del plano normal de una superficie densa junto con los coeficientes de un modelo de reflectancia material (no homogéneo). A los efectos de la presente divulgación, el modelo subyacente de la geometría de superficie usado será
25 el de la superficie del objeto visible a la cámara que será modelado como un mapa de gama, es decir, una matriz 2D de muestras de gama. En este caso, los datos producidos por la reconstrucción geométrica se pueden considerar como una muestra imparcial pero con una resolución relativamente baja de un mapa de gama, con una cantidad predecible de ruido de alta frecuencia. Los datos del mapa normal
30 proporcionados por la reconstrucción fotométrica se pueden considerar de relativa alta resolución, pero imparciales. Es decir, un muestreo del derivado del verdadero mapa de gama. El lector experto en la materia apreciará que se podrían utilizar otras representaciones sin desviarse del ámbito de la presente invención. Por ejemplo, si la superficie del objeto que se va a escanear no es representativo de un plano
35 distorsionado (p. ej. un Mapa de Gama), entonces el Operador de Superficie, por ejemplo, podría usarse para encajar los datos normales con el fin de obtener medidas de curvatura detalladas, y la superficie representada localmente como un colector a través de, por ejemplo, sus curvaturas geodésicas o principales. [0054] La integración del mapa normal permite la recuperación de la superficie como un mapa de gama parcial. Aquellos lectores expertos en la materia conocerán numerosos enfoques para solucionar el problema de integración. Sin embargo, uno de los enfoques es aquel que lo trata como un problema variacional en la forma que se detalla más adelante. Una vez discretizado, se convierte en un problema de optimización cuadrática que se resuelve fácilmente.
[0055] Hay diversos problemas asociados a la recuperación de un mapa de gama usando unas resistividades normales de superficie obtenidas a partir de la reconstrucción fotométrica:
1) La precisión de la estimación normal se ve limitada por cómo representa el modelo de reflectancia material la superficie subyacente. 2) La estimación normal estará sujeta a un nivel de ruido dependiente de la calidad del sensor de la cámara.
3) El mapa normal no puede representar (y, por consiguiente, recuperar) bordes graduales, es decir, discontinuidades en la superficie. Del mismo modo, no se puede obtener directamente información DC (es decir, la distancia bruta total de la superficie de la cámara).
[0056] El resultado final es la deriva, es decir, la distorsión de la curvatura en el mapa de gama reconstruido. Mientras que la aplicación más sofisticada de modelos de reflectancia material (como la inclusión de un término especular, tal y como lo emplea
A. S. Georghiades en "Recovering 3-D shape and reflectance from a small number of photographs" en Proceedings, Eurographics Workshop on Rendering, páginas 230 240, 2003) puede resolver esto en parte, permanecen los problemas (2) y (3). La solución es aplicar información adicional sobre la forma de la superficie del objeto mediante una forma de adquisición alternativa como, por ejemplo, el conjunto de datos del proceso de reconstrucción estereoscópico pasivo. Estos datos proporcionan un marco de baja resolución que ofrece una forma a escala bruta, usando los datos fotométricos para proporcionar un detalle geométrico de alta frecuencia y unas características de reflectancia material.
[0057] El enfoque de fusionar los datos fotométricos con los estereoscópicos ofrece numerosas ventajas. En concreto, las modalidades de error y sesgo son complementarias. La recuperación fotométrica ofrece una geometría con un detalle muy alto, pero está sujeta a ruido de baja frecuencia (p. ej. sesgo) en la recuperación. Los métodos geométricos poseen generalmente una resolución más baja pero incluyen un ruido de alta frecuencia libre de sesgo. La combinación de ambos enfoques es, por tanto, convincente puesto que ofrece una alta resolución, una recuperación métrica con menos hardware de captación de imágenes y unos tiempos de procesamiento más rápidos. La tarea de la fusión fotométrica-estereoscópica es la combinación de datos de las dos modalidades para producir un único modelo. Aquellos expertos en la materia conocerán diferentes enfoques. Sin embargo, un método apropiado y concreto es la utilización de un filtro de Wiener. [0058] Un filtro de Wiener es la solución en estado de equilibrio para el problema de estimación de estado óptimo del mismo modo que solventado usando el filtro de Kalman. El filtro de Wiener tiene un valor particular cuando se presentan medidas de una derivación de una señal, como se da en el caso de la combinación de datos fotométricos y estereoscópicos. El filtro de Wiener es el resultado de encontrar una estimación de variación mínima de la altura reconstruida en estado de equilibrio. El filtro de Wiener se obtiene encontrando las transformadas de Fourier de las señales de medición y, asumiendo que estas señales fueron generadas por procesos de ruido blanco, están corrompidas por el ruido de medición de un espectro de frecuencia conocida, tal y como explica S. Smith en "Digital Signal Processing: A Practical Guide for Engineers and Scientists", Butterworth-Heinemann, 2002. En la presente forma de realización, asumimos que, a título de ejemplo, los procesos de ruido son blancos. [0059] Si z indica el valor estimado de la posición de la superficie del objeto, entonces el filtro de Wiener se minimiza:
donde E[] indica el valor esperado.
[0060] Una alternativa es enfocar la integración de forma determinista en la que una
medición “d” se obtiene a partir de las tres mediciones de la ecuación 3 usando la
ecuación:
[0061] Aquí A especifica una ponderación relativa global sobre los datos adquiridos de la reconstrucción estereoscópica pasiva. El valor creciente limita que el resultado se acerque a los datos estereoscópicos. En la práctica, esto se puede conseguir rápidamente en el ámbito de la frecuencia mediante el uso de técnicas estándar como
5 la Transformada Rápida de Fourier. Hay que tener en cuenta que aquí se usa la Transformada Rápida de Fourier para conseguir velocidad más que para resolver un problema con mínimos cuadrados, como en el filtro de Wiener. También se pueden emplear otras técnicas, por ejemplo usando la Transformada Rápida de Wavelet. [0062] El resultado de esta fase dada la representación geométrica previamente
10 mencionada de la superficie de los objetos como un “mapa de gama”, es un mapa de gama fusionado que proporciona una matriz en 2D de las distancias de la superficie del objeto en relación a un marco de coordenadas arbitrario definido por un modelo de localización o más. Este mapa de gama tiene unas características de error mejoradas además de, o bien los datos fotométricos, o los datos estereoscópicos, junto con una
15 matriz en 2D correspondiente de los coeficientes de reflectancia material que indican, por ejemplo, la reflectancia de color. [0063] Una función opcional final del sistema es proporcionar un método automatizado en el que los conjuntos de datos de puntos de vista múltiples puedan combinarse (o “coserse”) de manera automática en un único conjunto de datos coherente, para llevar
20 a cabo una captura de imágenes en 3D de una superficie extensa de un objeto. La fusión de los conjuntos de datos se puede conseguir bastante fácilmente si la orientación relativa entre los puntos de vista se puede calcular. La fusión de material, es decir, de los datos de reflectancia de color, requiere la producción de mapas de reflectancia de material invariable de iluminación. Ambas tareas se ven profundamente
25 facilitadas a través del uso de múltiples modelos de localización, tal y como se ha descrito mediante la presente invención. [0064] La Figura 7 muestra una configuración de escaneo ejemplificadora para conseguirlo, y está basada en la configuración de hardware que se muestra en la Figura 1 y que usa puntos de vista en superposición 708, 709, 710. El desarrollo de los
30 pasos de captación de imágenes y de procesamiento anteriormente descritos produce tres conjuntos de datos 711, 712, 713, cada uno de los cuales representa una subsección de la superficie del objeto 701. Cada punto de vista comparte al menos un modelo en común con otra, lo que permite el cambio en la orientación de la cámara en relación al modelo visto comúnmente, que ha de ser determinada. Un conjunto de
35 transformaciones que describa la visión de una cámara hacia las otras puede, entonces, determinarse en relación a un marco de coordenadas elegidas arbitrariamente. Con un marco de coordenadas global, las secciones de la geometría pueden registrarse en relación a cada una y luego se pueden usar algoritmos estándar para fusionar el conjunto de datos, tal y como lo describe, por ejemplo, J. C. Carr, R.
5 K. Beatson, J. B. Cherrie, T. J. Mitchell, W. R. Fright, B. C. McCallum y T. R. Evans en "Reconstruction and Representation of 3D Objects with Radial Basis Functions" en Proceedings of ACM SIGGRAPH, páginas 67-76, 2001. [0065] La clave para unir conjuntos de datos sobre la reflectancia material adquiridos a partir de múltiples puntos de vista es asegurar una iluminación global y una constancia
10 de color. Puesto que la posición del sistema varía entre puntos de vista, la distancia global de las fuentes de luz no será constante lo que, si no se usa un sistema de modelos, puede llevar a una variación en, por ejemplo, la iluminación global en las propiedades materiales. Esto ha llevado al desarrollo de algoritmos sofisticados para muestrear las propiedades materiales de diferentes puntos de vista y calcular las
15 transformaciones para conseguir una iluminación uniforme y una constancia de color (como aquellas descritas en un ejemplo en US 6.686.921, por citar alguno). El uso de un conjunto de modelos calibrados para proporcionar un estándar de reflectancia para las imágenes fotométricas hace que esas técnicas sean innecesarias. Esto se debe a que toda la reconstrucción se lleva a cabo en relación a los modelos calibrados, por lo
20 que la variación en la intensidad de iluminación incidente, el balance de color de la cámara, etc. se puede estimar y corregir frente a un estándar conocido. Las características materiales adquiridas son intrínsecamente constantes en cuanto a iluminación y color. Por consiguiente, la unión de una serie de conjuntos de datos de reflectancia material simplemente requiere el uso de un marco de coordenadas global
25 y establecido junto con, por ejemplo, algoritmos de interpolación de color bien conocidos para aquellos expertos en la materia. [0066] Se apreciará que el uso de múltiples objetivos de localización para conseguir la captación de imágenes 3D de superficies extensas no se limita al uso de cámaras estéreo tal y como muestra la Figura 7. La Figura 8 ilustra el sistema de la Figura 3 en
30 uso capturando un área de superficie extensa, de nuevo en este ejemplo una pared
801. Se fijan cuatro modelos de localización 802-805 (similares al modelo de localización 401 que se muestra en la Figura 4) a la pared, y se observa la pared colocando el dispositivo de captación de imágenes 303 y hardware asociado 311 en tres posiciones. Los campos de visión que se superponen 809, 810, 811 contienen
35 cada uno al menos dos de los cuatro modelos. La calibración de la cámara permanece constante y, puesto que se puede calcular la orientación relativa entre cada modelo y en cada vista (es decir, la superposición de 802 a 803, 803 a 804 y 804 a 805), se puede determinar de manera similar a la disposición de la Figura 7 un plano completo que establezca la orientación relativa de todos los modelos junto con la orientación
5 relativa para las posiciones 806, 807, 808. [0067] Dependiendo de la complejidad de la superficie bajo inspección y la precisión de la reconstrucción deseada, puede ser conveniente adquirir información geométrica adicional usando un método de captura geométrica tradicional. En la Figura 8 un dispositivo de estas características (no se muestra) puede acoplarse al dispositivo de
10 captación de imágenes principal 303. Se podrían emplear diversos enfoques, por ejemplo, un trazador de líneas láser o moteado (tal y como se describe en WO 2007/129047), o una proyección basada en luz blanca o marginal. Téngase en cuenta que estos sistemas no proporcionan un método para adquirir propiedades de reflectancia del material per se y, como con el enfoque estereoscópico pasivo, es
15 probable que produzca unos datos geométricos de resolución inferior que aquellos producidos con el enfoque fotométrico. [0068] Capturando múltiples modelos de localización usando campos de visión superpuestos (como ilustra la Figura 8), se puede calcular un conjunto completo de transformaciones de orientación relativa para todos los modelos. El conocimiento de la
20 orientación de los modelos de localización en sí ofrece un método adicional para proporcionar una geometría global aproximada para la superficie bajo inspección. Dado que la superficie subyacente tiene una curvatura suave en la escala bruta de los modelos de localización, puede considerarse que los modelos (colocados adecuadamente) se aproximan a la tangente de la superficie local. Cada modelo
25 proporciona, por tanto, una única situación absoluta (vértice) en el espacio sobre la superficie bajo inspección y una medida de la superficie local instantánea normal en este punto, que se considera como la normal del plano del modelo. Se puede elegir arbitrariamente un marco de coordenadas global y una superficie 3D adecuada para el vértice y los datos normales. Por tanto, para una superficie variable y adecuadamente
30 suave, se puede derivar un modelo tosco de la estructura 3D subyacente sin usar un hardware de escaneo geométrico adicional. [0069] La Figura 9 ilustra un método ejemplarizador que puede usarse en la fusión de los datos fotométricos y geométricos reconstruidos. La Figura 9 es una representación esquemática de una vista aérea de tres puntos de vista de una cámara 901, 902, 903,
35 en la que cada punto de vista tiene un plano de imagen correspondiente 904, 905,
906. Las imágenes pueden constar, por ejemplo, de datos normales fotométricos o de datos de gama geométrica. Es preferible transformar las vistas externas 904, 906 en el punto de vista de la vista intermedia 905, tal y como muestra la línea de puntos extendida 911. Esto se puede lograr a través de una proyección planar, tal y como es 5 sabido por aquellos expertos en la materia. El resultado es un punto de vista reconstruido 907 – las áreas trapezoidales 908 y 910 resultan de la proyección planar de los puntos de vista externos 904, 506, con el área rectangular 909 que es la imagen original 905. No se dispone de datos de la zona 912 que permanece fuera de las tres áreas 908-910: la imagen 907 se extiende más allá de los puntos de vista capturados 10 por las cámaras. Las regiones que se superponen 913, 914 indican los lugares en los que la reproyección ha resultado en muestras de datos múltiples que están disponibles en el mismo lugar. Las operaciones de filtrado se deben aplicar en estas áreas, con la operación adecuada dependiendo de la naturaleza de los datos. El lector apreciará que se podrían aplicar otros métodos de reproyección, por ejemplo el mapeo de un
15 cilindro o esfera (parcial), dependiendo de la geometría bruta subyacente de la región de superficie bajo inspección. [0070] Se apreciará que las variaciones de las representaciones anteriormente descritas aún pueden incluirse en el ámbito de la presente invención. Por ejemplo, el modelo de localización de la Figura 4 ilustra un conjunto particular de funciones
20 geométricas, pero se tendrá en cuenta que cualquier función apropiada y que se pueda emplear para establecer una metrología puede ser usada. Del mismo modo, los dispositivos de captación de imágenes ejemplificadores se han descrito de forma que comprendan “cámaras”, aunque se puede usar cualquier sensor de imagen apropiado. De hecho, también puede ser apto un único sensor con un separador de lentes. Otros
25 posibles ejemplos incluyen cámaras de vídeo, sensores semiconductores complementarios de óxido metálico (CMOS), etc. Además, la radiación de iluminación no tiene que ser una luz visible. Cualquier forma adecuada de energía se puede usar, y se elegirán los sensores de imagen en consecuencia. Las cámaras se han descrito en varias realizaciones de modo que están fijadas “rígidamente” a la carcasa, pero se
30 tendrá en consideración que esto incluye situaciones como cámaras instaladas de manera telescópica a la carcasa.
Claims (11)
- Reivindicaciones1. Dispositivo destinado a calcular un modelo tridimensional de un objeto (101, 201) que comprende: − Un instrumento de bolsillo portátil que comprende múltiples fuentes de energía5 direccionales (106-109) dispuestas de manera que iluminen direccionalmente el objeto, y un ensamblaje de detección de captación de imagen (104) que presenta al menos dos puntos de vista separados en el espacio (111, 112) en posiciones mutuamente fijas, estando el ensamblaje de detección de captación de imagen dispuesto de forma que registre una serie de imágenes del objeto10 en cada punto de vista cuando el objeto está iluminado por cada una de las fuentes. − Al menos un modelo de localización (102, 103, 202:401) que presenta características geométricas predeterminadas (402-408), estando dispuesto el modelo de localización de forma que, cuando esté en uso, sea visible al menos15 para uno de los puntos de vista simultáneamente con el objeto. − Un procesador (110) colocado de forma que analice las imágenes registradas en los puntos de vista, de manera que: − Determine la orientación y la localización de cada punto de vista relativa al modelo para cada imagen de la serie de imágenes.20 − Genere datos fotométricos para el objeto utilizando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación desde cada fuente de energía.− Genere datos geométricos y que comprenda un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción 25 estereoscópica mediante triangulación óptica, con el fin de proporcionarla forma bruta del objeto.− Combine los datos geométricos y los datos fotométricos utilizando los estos últimos datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de30 construir el modelo tridimensional.
- 2. Un dispositivo según la reivindicación 1 en el que las múltiples fuentes de energía (106-108) se sitúan en unas posiciones fijas relativas a los puntos de vista (111, 112), de forma que la dirección de iluminación de cada una de las fuentes en35 relación a los puntos de vista sea conocida.
- 3. Un dispositivo según la reivindicación 1, en el que:− El modelo de localización (102,103) se dispone de forma que, cuando esté en uso, sea iluminado por las fuentes (106-109) cuando sea visible por al menos uno de los puntos de vista (111,112) simultáneamente con el objeto (101,201);5 − El procesador (110) esté dispuesto de forma que calcule la dirección de iluminación de las partes de cada imagen que integran el modelo; y − Opcionalmente, las fuentes se pueden mover en relación a los puntos de vista entre las imágenes de la serie de imágenes.10 4. Un dispositivo según la reivindicación 3, en el que el modelo (401) incluye una función de localización de fuente tridimensional (404), que comprende opcionalmente una pirámide o un cono de dimensiones conocidas, y en el que el procesador (110) está dispuesto de forma que determine la orientación de la fuente en relación al modelo a partir de las partes de las imágenes que incorporan15 la función de localización de fuente.
- 5. Un dispositivo según cualquiera de las reivindicaciones precedentes, que comprende una pluralidad de modelos de localización (702, 703, 704), estando el dispositivo dispuesto de forma que:20 − Los puntos de vista (111, 112) y las fuentes (106-109) estén localizables en un primer emplazamiento en el que al menos dos de los primeros modelos sean visibles al nivel de al menos uno de los puntos de vista simultáneamente con una primera parte del objeto; y − Los puntos de vista y las fuentes se puedan desplazar hacia un segundo25 emplazamiento en el que al menos uno de los dos primeros modelos mencionados sea aún visible para al menos uno de los puntos de vista simultáneamente con al menos otro modelo y una segunda parte del objeto en superposición con la primera parte; − En el que los puntos de vista estén dispuestos de forma que registren30 imágenes que provienen del primer y del segundo emplazamiento, y en el que el procesador esté dispuesto de forma que combine los datos que provienen de las imágenes, con el fin de generar un modelo que cubra la primera y segunda parte del objeto.35 6. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que un sensor óptico se sitúa en cada punto de vista.
-
- 7.
- Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que el dispositivo incluye un filtro óptico para reducir la visibilidad de los reflejos directos de la fuente en las imágenes.
-
- 8.
- Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que el modelo o cada modelo (702-704) incluye una función de identificación única que permite que el modelo o cada modelo sea distinguido de los otros modelos. Además, la función de identificación única comprende opcionalmente un código de
10 barras que puede ser descodificado por el procesador, una etiqueta de RAID, o un chip EEPROM. - 9. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que elobjeto (101, 201) comprende al menos una parte de un artículo tridimensional, y/o 15 una superficie o una parte de la superficie.
- 10. Un método destinado a calcular un modelo tridimensional de un objeto (101, 201) que comprende: − La iluminación direccional del objeto con la ayuda de múltiples fuentes de 20 energía direccionales (106-109) alojadas en un instrumento de bolsillo portátil;− El registro de una serie de imágenes del objeto iluminado por cada una de las fuentes en cada uno o en al menos uno de los puntos de vista separados en el espacio (111, 112) en emplazamientos mutuamente fijos, y alojados en el instrumento. Las imágenes de al menos uno de los puntos de vista incluye,25 además, al menos un modelo de localización (102, 103, 202) que presenta unas características geométricas predeterminadas; − A partir de las imágenes registradas, la determinación de la orientación y la localización de cada punto de vista relativa al modelo; − A partir de las imágenes registradas, la generación de datos fotométricos para 30 el objeto usando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación de cada fuente de energía;− La generación de datos geométricos que comprenden un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción estereoscópica mediante triangulación óptica, con el fin de proporcionar la forma bruta del35 objeto; y− La combinación de los datos geométricos y fotométricos utilizando los datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de construir el modelo tridimensional.5 11. Un método según la reivindicación 10, en el que el modelo (401) incluye una función de localización de fuente tridimensional (404). Además, el método comprende la determinación de la orientación de las fuentes (106-109) en relación al modelo a partir de las partes de las imágenes que integran la función de localización de la fuente.
- 12. Un método según la reivindicación 10 u 11, que comprende, además, las etapas aquí descritas que consisten en: − Localizar los puntos de vista (111, 112) y las fuentes (106-109) en un primer emplazamiento en el que al menos dos primeros modelos (702, 703, 704) son 15 visibles en al menos uno de los puntos de vista simultáneamente con una primera parte del objeto;− Registrar una primera imagen en cada punto de vista a partir del primer emplazamiento, y cada primera imagen incluye la primera parte del objeto y al menos los dos primeros modelos;20 − Desplazar los puntos de vista y las fuentes hacia un segundo emplazamiento en el que al menos uno de los ya mencionados dos primeros modelos es aún visible a nivel de al menos uno de los puntos de vista simultáneamente con al menos otro modelo y una segunda parte del objeto en superposición con la primera parte;25 − Registrar una segunda imagen en cada punto de vista a partir del segundo emplazamiento; y − Combinar los datos de la primera y segunda imagen con el fin de generar un modelo que cubre la primera y segunda porción del objeto.30 13. Un método según cualquiera de las reivindicaciones 10 a 12, en el que el o cada modelo (702-704) incluye una función de identificación única que permite al o a cada modelo ser distinguido de otros modelos y, opcionalmente:− El código de identificación único comprende un código de barras (406), y además el método comprende la etapa consistente en identificar el código de 35 barras en la imagen, y la etapa consistente en descodificar el código de barrascon el fin de identificar el modelo; o− La función de identificación única incluye una etiqueta RFID, y el método comprende, además, otra etapa consistente en utilizar un lector RF, con el fin de identificar el modelo; o− La función de identificación única incluye un chip EEPROM, y el método 5 comprende la etapa consistente en utilizar un lector, con el fin de identificar el modelo.
- 14. Un método según cualquiera de las reivindicaciones 10 a 13, en el que el objeto (101, 201) comprende al menos una parte de un artículo tridimensional.
- 15. Un método según cualquiera de las reivindicaciones 10 a 14, en el que el objeto (101, 201) comprende una superficie o una parte de una superficie.DibujosFigura 1Figura 2 Figura 3Figura 4 Figura 5Figura 6 Figura 7Figura 8Figura 9Referencias citadas en la descripciónLa lista de referencias citadas por el solicitante se incluye únicamente para la comodidad del lector, no formando parte del documento de la patente europea. A pesar del sumo cuidado durante la recopilación de las referencias, no se pueden excluir errores u omisiones, declinando la OEP toda responsabilidad a este respecto.Documentos de patentes citados en la descripción:• US 6686921 B [0065] • WO 2007129047 A [0067]Referencias bibliográficas citadas en la descripción que no se corresponden con patentes:
- •
- MOSTAFA et al. integrating Stereo and Shape from Shading. IMAGE • A. S. GEORGHIADES. Recovering 3D shape and reflectance from a
- PROCESSING, 1999. ICIP 99.
- small number of photographs.
- Proceedings. 1999. Conferencia
- Proceedings, Eurographics Workshop
- Internacional en Kobe, 24 de octubre
- on Rendering, 2003, 230-240 [0056]
- •
- de 1999, vol. 3, 130-134 [0005] R, I. HARTLEY; A. ZISSERMAN. • S. SMITH. Digital Signal Processing: A Practical Guide for Engineers and
- Multiple View Geometry in Computer
- Scientists. 2002 [0058]
- Vision. Cambridge University Press,
- • J. C. CARR; R. K. BEATSON; J.B.
- 2000 [0033] [0051]
- CHERRIE; T. J. MITCHELL; W. R.
- •
- J-Y BOUGUET. Camera Calibration FRIGHT; B. C. MCCALLUM; T. R.
- Toolbox for Matlab,
- EVANS. Reconstruction and
- •
- http://www.vision.caltech.edu/bougueti /cal- ib doc/index.html [0034] KOLMOGOROV; ZABIH. Representation of 3D Objects with Radial Basis Functions. Actas de ACM SIGGRAPH, 2001, 67-76 [0064]
- MultiCamera Scene Reconstruction
- via Graph Cuts en Actas, 2003 [0051]
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0805971.9A GB2458927B (en) | 2008-04-02 | 2008-04-02 | 3D Imaging system |
GB0805971 | 2008-04-02 | ||
PCT/GB2009/050299 WO2009122200A1 (en) | 2008-04-02 | 2009-03-27 | 3d imaging system |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2384086T3 true ES2384086T3 (es) | 2012-06-29 |
Family
ID=39409930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES09727607T Active ES2384086T3 (es) | 2008-04-02 | 2009-03-27 | Sistema de captación de imagen 3D |
Country Status (8)
Country | Link |
---|---|
US (1) | US8773508B2 (es) |
EP (1) | EP2272047B1 (es) |
JP (1) | JP5467404B2 (es) |
AT (1) | ATE549703T1 (es) |
ES (1) | ES2384086T3 (es) |
GB (1) | GB2458927B (es) |
NZ (1) | NZ588740A (es) |
WO (1) | WO2009122200A1 (es) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11116407B2 (en) | 2016-11-17 | 2021-09-14 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US11250945B2 (en) | 2016-05-02 | 2022-02-15 | Aranz Healthcare Limited | Automatically assessing an anatomical surface feature and securely managing information related to the same |
US11850025B2 (en) | 2011-11-28 | 2023-12-26 | Aranz Healthcare Limited | Handheld skin measuring or monitoring device |
US11903723B2 (en) | 2017-04-04 | 2024-02-20 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US12039726B2 (en) | 2019-05-20 | 2024-07-16 | Aranz Healthcare Limited | Automated or partially automated anatomical surface assessment methods, devices and systems |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10469831B2 (en) * | 2002-06-07 | 2019-11-05 | University Of Southern California | Near-instant capture of high-resolution facial geometry and reflectance |
US10368771B2 (en) | 2008-03-13 | 2019-08-06 | Alexander Svojanovsky | EEG electrode and multi-channel EEG electrode system |
US20110066020A1 (en) * | 2008-03-13 | 2011-03-17 | Alexander Svojanovsky | Multi-channel eeg electrode system |
US8508580B2 (en) | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8436893B2 (en) | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
US9013550B2 (en) | 2010-09-09 | 2015-04-21 | Qualcomm Incorporated | Online reference generation and tracking for multi-user augmented reality |
WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
ITFI20110045A1 (it) * | 2011-03-26 | 2012-09-27 | Menci Software S R L | Apparato e metodo per la rilevazione e la ricostruzione di immagini in tre dimensioni. |
US9292963B2 (en) * | 2011-09-28 | 2016-03-22 | Qualcomm Incorporated | Three-dimensional object model determination using a beacon |
JP2013096784A (ja) * | 2011-10-31 | 2013-05-20 | Toppan Printing Co Ltd | 表面特性測定装置及びコンピュータプログラム |
CN104080401B (zh) | 2011-11-17 | 2016-08-24 | 泰克梅德3D公司 | 生成人体对象虚拟模型的方法及*** |
US9055289B2 (en) * | 2011-11-23 | 2015-06-09 | Korea Institute Of Science And Technology | 3D display system |
FR2991448B1 (fr) * | 2012-06-01 | 2015-01-09 | Centre Nat Rech Scient | Procede de mesures tridimensionnelles par stereo-correlation utilisant une representation parametrique de l'objet mesure |
US9286530B2 (en) | 2012-07-17 | 2016-03-15 | Cognex Corporation | Handheld apparatus for quantifying component features |
US9291527B2 (en) * | 2012-07-25 | 2016-03-22 | TIREAUDIT.COM, Inc. | System and method for analysis of surface features |
KR101385601B1 (ko) | 2012-09-17 | 2014-04-21 | 한국과학기술연구원 | 손동작 인식 및 인터렉션을 위한 장갑장치 및 방법 |
GB201219171D0 (en) * | 2012-10-25 | 2012-12-12 | Epipole Ltd | Image acquisition apparatus |
US9857470B2 (en) * | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9382654B2 (en) | 2013-06-03 | 2016-07-05 | Whirlpool Corporation | Method of determining a load size in a laundry treating appliance |
US9416479B2 (en) | 2013-06-03 | 2016-08-16 | Whirlpool Corporation | Methods of determining a load size in a laundry treating appliance |
ITBO20130407A1 (it) * | 2013-07-26 | 2015-01-27 | Swisslog Italia Spa | Dispositivo e procedimento per singolarizzare prodotti raggruppati in blister |
WO2015030623A1 (en) * | 2013-09-02 | 2015-03-05 | 3Divi Company | Methods and systems for locating substantially planar surfaces of 3d scene |
WO2015077455A1 (en) | 2013-11-25 | 2015-05-28 | Digimarc Corporation | Methods and systems for contextually processing imagery |
US9958383B2 (en) * | 2014-12-18 | 2018-05-01 | Microsoft Technology Licensing, Llc. | Range camera |
US10534970B2 (en) * | 2014-12-24 | 2020-01-14 | Datalogic Ip Tech S.R.L. | System and method for reading direct part marking (DPM) codes on objects |
WO2017027638A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3d reconstruction and registration of endoscopic data |
WO2017054004A1 (en) | 2015-09-24 | 2017-03-30 | California Instutute Of Technology | Systems and methods for data visualization using tree-dimensional displays |
EP3358293A4 (en) * | 2015-09-30 | 2019-04-10 | Sony Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM |
GB2544263A (en) * | 2015-11-03 | 2017-05-17 | Fuel 3D Tech Ltd | Systems and methods for imaging three-dimensional objects |
GB2544460A (en) * | 2015-11-03 | 2017-05-24 | Fuel 3D Tech Ltd | Systems and methods for generating and using three-dimensional images |
GB2544725A (en) | 2015-11-03 | 2017-05-31 | Fuel 3D Tech Ltd | Systems and methods for forming models of a three-dimensional objects |
US10438036B1 (en) | 2015-11-09 | 2019-10-08 | Cognex Corporation | System and method for reading and decoding ID codes on a curved, sloped and/or annular object |
GB2545394A (en) * | 2015-11-27 | 2017-06-21 | Fuel 3D Tech Ltd | Systems and methods for forming three-dimensional models of objects |
CN105627926B (zh) * | 2016-01-22 | 2017-02-08 | 尹兴 | 四像机组平面阵列特征点三维测量***及测量方法 |
WO2017130639A1 (ja) * | 2016-01-28 | 2017-08-03 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
US10789773B2 (en) | 2016-03-04 | 2020-09-29 | TIREAUDIT.COM, Inc. | Mesh registration system and method for diagnosing tread wear |
US11472234B2 (en) | 2016-03-04 | 2022-10-18 | TIREAUDIT.COM, Inc. | Mesh registration system and method for diagnosing tread wear |
US20180091797A1 (en) * | 2016-09-27 | 2018-03-29 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
JP7013144B2 (ja) * | 2016-10-12 | 2022-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
GB2559978A (en) | 2017-02-22 | 2018-08-29 | Fuel 3D Tech Limited | Systems and methods for obtaining eyewear information |
US10652520B2 (en) | 2017-03-01 | 2020-05-12 | Canfield Scientific, Incorporated | Three dimensional image capture |
US10766145B2 (en) * | 2017-04-14 | 2020-09-08 | Brown University | Eye in-hand robot |
CN107403449B (zh) * | 2017-08-09 | 2023-11-24 | 深度创新科技(深圳)有限公司 | 一种基于光度立体视觉的视觉***及其三维重建方法 |
DE102017122627B4 (de) * | 2017-09-28 | 2021-04-01 | Carl Zeiss Industrielle Messtechnik Gmbh | Optisches Messsystem und Messverfahren |
WO2019079598A1 (en) * | 2017-10-18 | 2019-04-25 | Brown University | PROBABILISTIC PROBABILISTIC OBJECTS-ROBUST AND REPRODUCIBLE PLACEMENT |
US10819972B2 (en) | 2018-05-03 | 2020-10-27 | Osram Sylvania Inc. | Method and apparatus for light and computer vision based dimensional metrology and 3D reconstruction |
US10621762B2 (en) | 2018-05-14 | 2020-04-14 | Virtualitics, Inc. | Systems and methods for high dimensional 3D data visualization |
US10785422B2 (en) | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
GB201809768D0 (en) | 2018-06-14 | 2018-08-01 | Fuel 3D Tech Limited | Deformity edge detection |
CN108898628B (zh) * | 2018-06-21 | 2024-07-23 | 北京纵目安驰智能科技有限公司 | 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质 |
US11080877B2 (en) | 2018-08-02 | 2021-08-03 | Matthew B. Schoen | Systems and methods of measuring an object in a scene of a captured image |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
US11288842B2 (en) | 2019-02-15 | 2022-03-29 | Interaptix Inc. | Method and system for re-projecting and combining sensor data for visualization |
US20230028457A1 (en) * | 2019-12-13 | 2023-01-26 | Kawasaki Jukogyo Kabushiki Kaisha | Robot system and method of forming three-dimensional model of workpiece |
CN111161358B (zh) * | 2019-12-31 | 2022-10-21 | 华中科技大学鄂州工业技术研究院 | 一种用于结构光深度测量的相机标定方法和装置 |
WO2021137142A2 (en) * | 2020-01-02 | 2021-07-08 | Lumio 3D Co., Ltd. | System and method for acquisition of three-dimensional information of body parts |
CN112465898B (zh) * | 2020-11-20 | 2023-01-03 | 上海交通大学 | 一种基于棋盘格标定板的物体3d位姿标签获取方法 |
US11745353B2 (en) | 2020-11-30 | 2023-09-05 | Google Llc | Recovering material properties with active illumination and camera on a robot manipulator |
US11694385B2 (en) * | 2021-06-08 | 2023-07-04 | Sony Group Corporation | 3D microgeometry and reflectance modeling |
CN114812407B (zh) * | 2022-03-25 | 2024-03-19 | 合肥图迅电子科技有限公司 | 基于光度立体3d重建的芯片锡球三维高度检测方法及*** |
CN116128736B (zh) * | 2023-04-19 | 2023-08-15 | 广东三姆森科技股份有限公司 | 一种扫描成像方法、装置、设备及介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3047017B2 (ja) * | 1991-07-31 | 2000-05-29 | 工業技術院長 | 画像処理方法 |
US6858826B2 (en) * | 1996-10-25 | 2005-02-22 | Waveworx Inc. | Method and apparatus for scanning three-dimensional objects |
CN1421020B (zh) * | 1999-11-23 | 2010-04-28 | 佳能株式会社 | 图像处理设备 |
US6686921B1 (en) * | 2000-08-01 | 2004-02-03 | International Business Machines Corporation | Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object |
GB2370738B (en) * | 2000-10-27 | 2005-02-16 | Canon Kk | Image processing apparatus |
US6781618B2 (en) * | 2001-08-06 | 2004-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Hand-held 3D vision system |
JP2003065736A (ja) * | 2001-08-24 | 2003-03-05 | Sanyo Electric Co Ltd | 3次元モデリング装置 |
JP2005503867A (ja) | 2001-09-24 | 2005-02-10 | スコット・ラボラトリーズ・インコーポレイテッド | 薬物投与ならびに医療品および医療用キットの品質および安全性を確実にするための方法およびデバイス |
US20030215130A1 (en) * | 2002-02-12 | 2003-11-20 | The University Of Tokyo | Method of processing passive optical motion capture data |
JP4323779B2 (ja) * | 2002-11-21 | 2009-09-02 | 日本電信電話株式会社 | 3次元形状計測方法および3次元形状計測装置 |
US7084386B2 (en) * | 2003-05-02 | 2006-08-01 | International Business Machines Corporation | System and method for light source calibration |
JP4200951B2 (ja) * | 2003-08-28 | 2008-12-24 | 株式会社デンソーウェーブ | 非接触型データキャリア、その端末機器およびアクセスシステム |
WO2006061999A1 (ja) * | 2004-12-07 | 2006-06-15 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム |
JP2006229833A (ja) * | 2005-02-21 | 2006-08-31 | Konica Minolta Photo Imaging Inc | 撮像装置 |
JP5002144B2 (ja) | 2005-09-30 | 2012-08-15 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
US20070091174A1 (en) * | 2005-09-30 | 2007-04-26 | Topcon Corporation | Projection device for three-dimensional measurement, and three-dimensional measurement system |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
GB0608841D0 (en) * | 2006-05-04 | 2006-06-14 | Isis Innovation | Scanner system and method for scanning |
WO2008000055A1 (en) * | 2006-06-30 | 2008-01-03 | Vx Technologies Inc. | Methods for simultaneous multi-set point matching |
FR2904455B1 (fr) * | 2006-07-27 | 2009-04-17 | Axs Ingenierie | Procede d'imagerie informatise permettant une reconstruction tridimensionnelle a partir d'images radiographiques bidimensionnelles ; dispositif de mise en oeuvre. |
CN100470590C (zh) * | 2007-02-05 | 2009-03-18 | 武汉大学 | 相机标定方法及所用标定装置 |
US8105487B2 (en) * | 2007-09-25 | 2012-01-31 | Fresenius Medical Care Holdings, Inc. | Manifolds for use in conducting dialysis |
US8107721B2 (en) * | 2008-05-29 | 2012-01-31 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of semi-specular objects |
-
2008
- 2008-04-02 GB GB0805971.9A patent/GB2458927B/en active Active
-
2009
- 2009-03-27 ES ES09727607T patent/ES2384086T3/es active Active
- 2009-03-27 NZ NZ588740A patent/NZ588740A/xx not_active IP Right Cessation
- 2009-03-27 JP JP2011502433A patent/JP5467404B2/ja not_active Expired - Fee Related
- 2009-03-27 US US12/935,046 patent/US8773508B2/en active Active
- 2009-03-27 WO PCT/GB2009/050299 patent/WO2009122200A1/en active Application Filing
- 2009-03-27 AT AT09727607T patent/ATE549703T1/de active
- 2009-03-27 EP EP09727607A patent/EP2272047B1/en active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11850025B2 (en) | 2011-11-28 | 2023-12-26 | Aranz Healthcare Limited | Handheld skin measuring or monitoring device |
US11250945B2 (en) | 2016-05-02 | 2022-02-15 | Aranz Healthcare Limited | Automatically assessing an anatomical surface feature and securely managing information related to the same |
US11923073B2 (en) | 2016-05-02 | 2024-03-05 | Aranz Healthcare Limited | Automatically assessing an anatomical surface feature and securely managing information related to the same |
US11116407B2 (en) | 2016-11-17 | 2021-09-14 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US11903723B2 (en) | 2017-04-04 | 2024-02-20 | Aranz Healthcare Limited | Anatomical surface assessment methods, devices and systems |
US12039726B2 (en) | 2019-05-20 | 2024-07-16 | Aranz Healthcare Limited | Automated or partially automated anatomical surface assessment methods, devices and systems |
Also Published As
Publication number | Publication date |
---|---|
JP5467404B2 (ja) | 2014-04-09 |
GB2458927B (en) | 2012-11-14 |
JP2011516849A (ja) | 2011-05-26 |
EP2272047A1 (en) | 2011-01-12 |
US8773508B2 (en) | 2014-07-08 |
GB2458927A (en) | 2009-10-07 |
ATE549703T1 (de) | 2012-03-15 |
EP2272047B1 (en) | 2012-03-14 |
WO2009122200A1 (en) | 2009-10-08 |
NZ588740A (en) | 2012-07-27 |
US20110102550A1 (en) | 2011-05-05 |
GB0805971D0 (en) | 2008-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2384086T3 (es) | Sistema de captación de imagen 3D | |
ES2801395T3 (es) | Sistema y método para la medición tridimensional de la forma de objetos materiales | |
US7769205B2 (en) | Fast three dimensional recovery method and apparatus | |
US20160134860A1 (en) | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy | |
US8339616B2 (en) | Method and apparatus for high-speed unconstrained three-dimensional digitalization | |
JP5337243B2 (ja) | 表面特徴の適応型3次元走査システム | |
Bouguet et al. | 3D photography using shadows in dual-space geometry | |
US8625107B2 (en) | Target for motion tracking system | |
EP3069100B1 (en) | 3d mapping device | |
US20110074929A1 (en) | Auto-referenced sensing device for three-dimensional scanning | |
ES2302750T3 (es) | Alineamiento preciso de imagenes en sistemas de imagenes digitales emparejando puntos en las imagenes. | |
Clausner et al. | Photogrammetry-based head digitization for rapid and accurate localization of EEG electrodes and MEG fiducial markers using a single digital SLR camera | |
WO2004044522A1 (ja) | 3次元形状計測方法およびその装置 | |
JP2009512049A (ja) | 画像処理方法および装置 | |
Shen et al. | Calibrating light sources by using a planar mirror | |
CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
EP3030859A1 (en) | 3d mapping device for modeling of imaged objects using camera position and pose to obtain accuracy with reduced processing requirements | |
WO2021104368A1 (zh) | 用于磁力计空间定位的***和方法 | |
CN211178436U (zh) | 用于磁力计空间定位的*** | |
Krefer et al. | A method for generating 3D thermal models with decoupled acquisition | |
Chen et al. | Spatial localization of EEG electrodes in a TOF+ CCD camera system | |
Bennani et al. | Three dimensional (3D) lumbar vertebrae data set | |
CN112254672B (zh) | 一种高度可调的智能3d信息采集设备 | |
Altuntas et al. | The Registration of Laser Scanner Three-dimensional Point Clouds Using Two-dimensional Images Recorded With a Sensor Combination Camera. | |
ES2782075T5 (es) | Detección de un objeto móvil al escanear en 3D un objeto rígido |