ES2742264T3 - Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal - Google Patents
Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal Download PDFInfo
- Publication number
- ES2742264T3 ES2742264T3 ES11795004T ES11795004T ES2742264T3 ES 2742264 T3 ES2742264 T3 ES 2742264T3 ES 11795004 T ES11795004 T ES 11795004T ES 11795004 T ES11795004 T ES 11795004T ES 2742264 T3 ES2742264 T3 ES 2742264T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- images
- term
- light sources
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000012876 topography Methods 0.000 claims abstract description 23
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 230000001419 dependent effect Effects 0.000 claims abstract description 5
- 239000002131 composite material Substances 0.000 claims description 23
- 230000010354 integration Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 12
- 239000000463 material Substances 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000287127 Passeridae Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Un método para determinar una topografía Z(x,y) en 3D de una superficie de un objeto, comprendiendo el método: Iluminar de manera sucesiva la superficie del objeto a partir de una pluralidad de posiciones de eje localizadas, teniendo el objeto una reflexión especular y una reflexión difusa. adquirir al menos una imagen de la superficie del objeto en cada iluminación sucesiva de la superficie del objeto usando un sensor que tiene un eje sensor sustancialmente perpendicular a un plano general de la superficie del objeto, resultando de este modo en un conjunto de imágenes de luminosidad que tienen un mismo campo de visión (FOV); definir para cada imagen de luminosidad, una luminosidad medida en la posición (x,y) en una imagen i-ésima como una suma de un término de reflexión difusa y un término de reflexión especular, para definir un conjunto de ecuaciones no lineales, en donde el término de reflexión especular es dependiente del campo N(x,y) normal a la superficie, de un vector Li unitario que apunta desde la superficie a la i-esima fuente de luz, y de un vector C unitario que apunta desde la superficie a la cámara, solucionar el conjunto de ecuaciones no lineales para al menos el término de reflexión especular para encontrar el campo N(x,y) normal a la superficie; e integrar el campo N(x,y) normal a la superficie sobre el FOV para determinar la topografía Z(x,y) en 3D.
Description
DESCRIPCIÓN
Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal
Campo técnico
La presente invención se refiere a el campo de la adquisición de imágenes topográficas de objetos altamente especulares usando métodos estéreos fotométricos no lineales.
El documento WO 2008/105606 A1 se refiere a técnicas para generar datos de imágenes en tres dimensiones con efectos de pincelada a partir de una imagen en dos dimensiones.
Katsushi Ikeuchi “Determining Surface Orientations of Specular Surfaces by Using the Photometric Stereo Method”, Transacciones IEEE sobre Análisis de Patrones e Inteligencia de Máquina, Sociedad Informática IEEE, EE.UU., vol.
30, n° 6, 1 de noviembre de 1981, paginas 661-669, XP011242513; se refiere a la determinación de la orientación de fragmentos en la superficie de un objeto a partir de múltiples imágenes tomadas con diferente iluminación, pero desde la misma posición de visualización.
El Documento US 4912336 A se refiere a un aparato de muestreo fotométrico para la forma de la superficie de un objeto y un sistema de extracción de la reflexión que incluye un vector de fuentes de luz puntuales separadas las unas de las otras en una configuración arqueada sobre una ubicación común en la que se coloca el objeto para su inspección, un vector de fuentes de luz extendidas separadas las unas de las otras en una configuración arqueada y orientadas en diferentes direcciones hacia la ubicación común, y un dispositivo de visualización para ver el objeto desde una dirección única cuando se coloca en la ubicación común para extraer la información correspondiente a la imagen del objeto visto.
Lee, M-R “3D SHAPE RECONSTRUCTION OF HYBRID REFLECTANCE USING THE LMS ALGORITHM”, Revista Internacional de reconocimiento de patrones e inteligencia artificial, Publicación Científica Mundial, SI, vol. 15, n° 4, 1 de junio de 2001, páginas 723-734, XP001110311; se refiere a la determinación de las propiedades de reflexión de una superficie y la recuperación de formas 3D a partir de las imágenes de intensidad.
Antecedentes de la técnica
Las pruebas de comparación balística se basan en las estriaciones e impresiones que se crean en la superficie de una evidencia balística (BPOE) tal como una bala o un cartucho. Estas estriaciones tienen características únicas que representan una firma única de un arma de fuego. Comparando las estriaciones o las características impresas de la BPOE, se puede concluir si han sido disparadas desde la misma arma de fuego.
Al adquirir imágenes topográficas en 3D del área de un objeto, esto es, un mapa Z(x, y) en relieve donde Z es la altura local de la superficie en la posición (x, y), se usa un sistema óptico que incluye un sensor (o cámara) y una fuente de luz. El objeto bajo estudio se ilumina y se adquiere la imagen topográfica de la superficie iluminada.
En el campo de la balística, los objetos bajo estudio son a menudo no planos y probablemente especulares. Esto significa que la mayoría de la luz incidente desde un ángulo 0 con respecto a la normal N de la superficie local será reflejada en un pequeño cono que apunta en la dirección -0. Por lo tanto, si la fuente de luz de coloca a lo largo del eje óptico del sensor, como es el caso de numerosos métodos ópticos para la captura topográfica, sólo se refleja de vuelta una parte infinitesimal de la luz incidente hacia el sensor para las partes de la topografía que muestran pendientes significativas, que llevan a mediciones localmente inválidas.
Existe un método totalmente diferente de medición de la topografía de un objeto. Según el método, conocido como estéreo fotométrico, se adquieren un conjunto de imágenes de luminosidad (o luminancia energética) de la superficie, con diferentes condiciones de iluminación para cada imagen del conjunto. Si se supone una reflexión constante de la superficie y una intensidad de iluminación idéntica de las fuentes de luz y si la superficie es puramente difusiva (o Lambertiana), tres fuentes de luz son suficientes para recuperar el campo normal de la superficie N(x,y). La topografía Z(x,y) de la superficie se obtiene a través de la integración del campo normal.
Sin embargo, las imágenes de luminosidad de la superficie son sometidas a ruido y la reflectividad de la superficie podría no ser constante debido a la variación local del color y/o el albedo. Una solución común es usar un número mayor de fuentes de luz para sobre definir el sistema lineal de ecuaciones. El campo normal de la superficie N(x,y) se obtiene entonces a través de un procedimiento de minimización del error tal como el esquema de minimización de error cuadrático chi. Si el número de fuentes de luz es suficientemente grande, se puede permitir incluso no medir la intensidad de las fuentes de luz, o incluso las posiciones de las fuentes de luz, y obtener esta información a través de un procedimiento de ajuste, análisis de Componentes Principales, u otros métodos conocidos por aquellos expertos en la técnica.
Muy pocas superficies son verdaderamente difusivas y la aplicación del método anteriormente mencionado lleva a unos resultados muy pobres en términos de precisión de la topografía si la superficie es satinada o brillante. Sin
embargo, cuando la dirección de visualización está lejos de la dirección de reflexión especular para una fuente de luz concreta, el modelo Lambert de reflexión de luz en una superficie podría mantenerse aún hasta cierto punto. De nuevo, la solución común al enfrentar dicho material satinado o brillante es sobre definir el problema mediante el uso de más de tres fuentes de luz y determinar, para cada píxel del conjunto de la imagen resultante, si alguna fuente de luz produce una reflexión hacia la cámara que no esté dominada por la contribución Lambertiana. Si se produce esa condición, la contribución de esta fuente de luz se ignora en el cálculo de la normal N a la superficie del píxel considerado.
Sin embargo, al considerar evidencias balísticas (BPOE), ninguno de estos métodos funciona ya que la superficie es metálica, lo que lleva a una contribución difusiva de la reflexión de la luz, si es que hay alguna, que es varios órdenes de magnitud inferior que la contribución especular. Existe por lo tanto la necesidad de mejorar el método estéreo fotométrico para la captura de superficies metálicas en general y para las BPOE en particular.
Compendio
Se describe en la presente memoria un método y un sistema de adquisición de imágenes en 3D para abordar la naturaleza especular de las superficies metálicas en general, y las evidencias balísticas en particular, usando el método estéreo fotométrico identificando y resolviendo una pluralidad de conjuntos de ecuaciones no lineales que comprenden un término difusivo y un término especular para determinar el vector N(x,y) normal a la superficie, y usando N(x,y) para determinar una topografía Z(x,y) en 3D.
De acuerdo con un primer aspecto general, se proporciona un método para determinar una topografía Z(x,y) en 3D de una superficie de un objeto según se establece en la reivindicación 1.
De acuerdo con un segundo aspecto general, se proporciona un sistema para determinar una topografía Z(x,y) en 3D de una superficie de un objeto según la reivindicación 7.
De acuerdo con otro aspecto adicional, se proporciona un medio legible por ordenador según la reivindicación 12. En esta especificación, el término “topografía en 3D” está destinado a implicar una superficie Z(x, y) de apoyo donde Z es la altura local de la superficie en la posición (x, y) en relación al eje sensor en un plano perpendicular al eje sensor. Las expresiones “imagen de luminosidad en 2D” se deberían entender como el mapa R(x, y) de la luminosidad (o luminancia energética) capturada por una cámara óptica. Es directamente proporcional a un mapa de la intensidad de luz emitida por la superficie en la dirección de la cámara. Esto se denomina, en lenguaje común, una imagen fotográfica. A lo largo de este texto, se entiende que las imágenes de luminosidad son de canal único, o monocromáticas. Por lo tanto, no se registra información del color y la profundidad de bit de las imágenes se refieren a la profundidad de bits del canal único. Se puede usar una imagen monocromática obtenida a partir de una cámara a color, ya sea combinando la información de diferentes canales de color o considerando sólo uno de dichos canales. Se entiende también que la cámara tiene una respuesta radiométrica lineal, o en otro caso que la respuesta radiométrica de la cámara es conocida para que la imagen capturada pueda ser linealizada. La expresión “fuentes de luz efectivas” se debería entender para incluir tanto el número total de fuentes de luz físicas como el número total de fuentes de luz efectivas usadas cuando se aplican sucesivas rotaciones de las fuentes de luz físicas y/o del objeto bajo observación.
Breve descripción de los dibujos
Características y ventajas adicionales de la presente invención resultarán evidentes a partir de la siguiente descripción detallada, tomada en combinación con los dibujos adjuntos, en los que:
La Fig. 1 ilustra una realización ejemplar de un sistema usado para adquirir topografía en 3D usando un método estéreo fotométrico no lineal;
La Fig. 2 es un diagrama de flujo que ilustra una realización ejemplar de un método estéreo fotométrico no lineal para adquirir topografías en 3D;
La Fig. 3 es un diagrama de flujo que ilustra una realización ejemplar de un método para adquirir una imagen que tiene múltiples niveles de gris;
La Fig. 4 es un diagrama de flujo que ilustra una realización ejemplar de un método para calcular una máscara de validez;
La Fig. 5 es un diagrama de flujo que ilustra una realización ejemplar de un método para calcular una imagen compuesta y una máscara de validez compuesta;
La Fig. 6 es un esquema que ilustra diversos vectores usados para los cálculos en el método estéreo fotométrico no lineal;
La Fig. 7 es un esquema que ilustra reflexiones de múltiples pasos;
La Fig. 8 es un diagrama de bloques de una realización ejemplar para el sistema informático de la Fig. 1; y
La Fig. 9 es un diagrama de bloques de una realización ejemplar para un conjunto de fuentes de luz de múltiples niveles de elevación.
Se observa que a lo largo de los dibujos adjuntos, las mismas características son identificadas mediante los mismos números de referencia.
Descripción detallada
Algunos de los objetos que muestran características de marcas de herramientas no son planos. Los cartuchos gastados, por ejemplo, muestran una depresión grande y profunda en la parte central del cebador (para calibres de fuego centrales) o en la región exterior de la cabeza del cartucho (para calibres de fuego anulares). Esta depresión es normalmente órdenes de magnitud más profunda que la profundidad normal de las estriaciones o marcas de impresión útiles para la identificación balística. Muchos cartuchos gastados de calibres de fuego centrales muestran también regiones extendidas sobre el plano general del cebador. Estas regiones son conocidas como de retorno y a menudo muestran las estriaciones características del arma de fuego de las marcas de corte en su borde exterior. Además, ya que las balas son más o menos objetos cilíndricos, el valor local de su superficie normal varía continuamente en una dirección perpendicular al eje cilíndrico.
Incluso si se coloca un sensor de imagen sobre el objeto a estudio con su eje óptico (o eje sensor) aproximadamente perpendicular al plano general del objeto y con una fuente de luz coaxial, puede suceder que las marcas balísticas relevantes se encuentran en las áreas de la superficie local que están alejadas de ser perpendiculares al eje óptico. Si el material del objeto bajo estudio es mayormente especular (esto es, refleja la mayoría de la luz entrante como lo haría un espejo, con ángulos de incidencia y reflejado iguales) como sucede con los metales en general y las evidencias balísticas (BPOE) en particular, muy poca de la luz incidente que alumbra estas regiones localmente escarpadas se reflejará de vuelta al sensor, lo que resulta en una medición topográfica inválida.
La Figura 1 ilustra una realización ejemplar de un sistema usado para adquirir topografías en 3D usando un método estéreo fotométrico no lineal. El sistema se compone generalmente de un sensor 102 y un conjunto de K fuentes 106 de luz localizadas. Como se muestra, el dispositivo 102 de captura de imágenes y el aparato 106 de iluminación están separados, pero uno de los ejes de las fuentes de luz puede ser colineal con el eje sensor. En esta configuración, el dispositivo 102 de captura de imágenes se coloca sobre el objeto 108 bajo estudio con su eje 104 óptico (o sensor) aproximadamente perpendicular al plano general del objeto 108. En el ejemplo presente, se usa un sistema de coordenadas que tiene un eje Z que corresponde al eje 104 óptico del sensor 102. Los ejes X e Y son una pareja de ejes mutuamente ortogonales que definen el plano perpendicular al eje Z. Las posiciones en la superficie del objeto y en las imágenes capturadas se denotan igualmente (x,y) y deberían describir indistintamente el punto físico y el punto de mapeado en la imagen. Se podrían usar otros sistemas de coordenadas sin afectar a la generalidad de este método.
El objeto se ilumina desde múltiples direcciones 106 de ejes localizados. Además, estas fuentes 106 de luz localizadas se iluminan una cada vez y al menos una imagen de luminosidad es capturada por el sensor 102 óptico para cada fuente 106 de luz del conjunto. Un sistema 110 informático, que tiene un procesador 114, y una aplicación 112 y una memoria 116, se conecta de manera operativa al sensor 102 y a las fuentes 106 de luz para las operaciones de control y procesamiento. La aplicación 112 comprende código de programa que es ejecutable por el procesador 114, tal como se describirá en más detalle más adelante.
La Figura 2 es un diagrama de flujo que ilustra un método ejemplar para determinar una topografía Z(x,y) en 3D de una región de un objeto. El primer paso del método es un paso 202 de calibración usando un plano de referencia, que se explicará en más detalle más adelante. La calibración implica determinar las intensidades relativas de las fuentes de luz y su patrón de intensidad individual sobre el Campo de Visión (FOV) de la cámara. Una vez que se completa la calibración, el plano de referencia se reemplaza con el objeto 204. El conjunto de K fuentes de luz se iluminan entonces de manera sucesiva en 206, con al menos una imagen de luminosidad siendo capturada por la cámara para cada fuente de luz del conjunto 208. Una vez que todas las imágenes del conjunto se adquieren, el campo N(x,y) normal a la superficie se calcula resolviendo, para cada píxel del FOV, el sobre definido conjunto de ecuaciones 210:
Ii = A * TermDifuso (N, Li) B * TermEspecular (N, Li, C);
Lo que resulta en NPX (Número de píxeles por fila) * NPY (número de píxeles por columna) conjuntos independientes de ecuaciones no lineales, donde i va desde 1 a K, Li es el vector unitario que apunta desde la superficie a la i-ésima fuente de luz y C es el ventor unitario que apunta desde la superficie a la cámara. El campo N(x,y) normal a la superficie se integra después sobre el FOV para calcular la topografía Z(x,y) 212. Los coeficientes A y B son desconocidos y serán parte de los resultados de la solución de la ecuación, así como los 3 componentes de N. En una realización, el paso 208 se realiza de manera secuencial para conseguir imágenes de una mayor profundidad de bit, tal como se ilustra en el diagrama de flujo de la figura 3. Primero se define un conjunto de M tiempos de integración de cámara (o velocidades de obturador de cámara) en 302. Estos tiempos de integración
deberían ser suficientemente diferentes para generar unas imágenes capturadas significativamente diferentes. Dependiendo de la profundidad de bit de las imágenes capturadas por la cámara y la profundidad de bit específica de la imagen resultante, el número M de tiempos de integración podría ser tan bajo como 2 y tan alto como 10, pero un M más grande es posible también. La cámara está configurada para cada tiempo de integración de manera secuencial en 304 y se captura y almacena una imagen para cada tiempo de integración en 306. Para cada imagen capturada y almacenada, se calcula y almacena una máscara de validez en 308. Un píxel se declara inválido si su intensidad está fuera del intervalo lineal de captura de la cámara. Una vez que las M imágenes se capturan y las M máscaras se calculan, la imagen resultante, llamada imagen de alto rango dinámico (HDR) compuesta se calcula en 310.
La Figura 4 ilustra un método ejemplar usado para calcular la máscara 308 de validez para cada imagen de luminosidad capturada con un tiempo de integración dado. Se define primero en 402 una pareja de umbrales de intensidad, un umbral para la intensidad TH de píxel alta y uno para la intensidad TL de píxel baja. El valor de validez de la máscara de validez adjunta para cada imagen se calcula como sigue en 404: el valor de píxel de la cámara se establece a 0 si el valor de la intensidad de píxel correspondiente en la imagen es mayor que TH o menor que TL, y se establece a 1 en cualquier otro caso. Los valores típicos para TL son normalmente muy bajos y tienen en cuenta los posibles valores mínimos en las imágenes capturadas por la cámara y/o el nivel de ruido actual de oscuridad esperado de la cámara. Los valores de TL pueden ser también ligeramente mayores para evitar que la señal esté dominada por el ruido de disparo. Los valores típicos para TH dependen de la profundidad de bit original de un canal único en las imágenes capturadas por la cámara. Para el caso de las imágenes de 8 bits, el nivel de gris máximo en las imágenes es de 255. El valor t H se usa para preservar la condición de linealidad entre la intensidad de píxel y el tiempo de integración. Es por tanto fijado a un valor por debajo de 255 para evitar la saturación de píxel, y suficientemente grande para mantener un rango dinámico razonable.
La Figura 5 ilustra una realización para calcular la imagen compuesta y su máscara de validez de imagen compuesta adjunta en 310. Para cada posición x,y de píxel primero se ha de conseguir el conjunto de M intensidades Ii(x,y) de píxel linealizadas para cada píxel (x,y) en el FOV 502 y los valores Maski(x,y) 504 de valores de máscara de validez. Se calcula en 506 un valor temporal de la intensidad de la imagen compuesta con la siguiente ecuación:
Donde STi es el i-ésimo tiempo de integración del conjunto y STm se supone es el mayor tiempo de integración del conjunto. Finalmente, la imagen compuesta de alta profundidad de bit y su máscara de validez adjunta se calcula en 508 como sigue:
Si
Y CMask(x,y) = 1
En otro caso
C(x,y) = 0
Y CMask(x,y) = 0
Donde C(x,y) es la imagen compuesta y CMask(x,y) es su máscara de validez adjunta. Son conocidos otros métodos de composición de imágenes HDR a partir de un conjunto de M imágenes por aquellos expertos en la técnica.
Esta definición de la imagen compuesta se apoya en la linealidad de la intensidad registrada con el tiempo de exposición. Se pueden obtener resultados similares variando la intensidad de la fuente de luz y/o la ganancia del sensor. Sin embargo, la condición de linealidad es más difícil de lograr. Si los parámetros de construcción de la imagen compuesta se establecen de manera apropiada (el número de tiempo de integración de cámara y sus valores) en casi cada uno de los píxeles de la imagen compuesta debería ser válido.
En una realización alternativa, se puede usar un cámara digital monocromo con una alta capacidad de profundidad de bit para entregar imágenes de alta profundidad de bit, lo cual podría constituir un reemplazo conveniente para este procedimiento, y en algunos casos hacerlo más rápido disminuyendo el número de tiempos de integración de cámara necesarios para obtener imágenes de profundidad apropiada.
En referencia de nuevo a la figura 2, una vez que se obtiene el conjunto de K imágenes Ci(x,y) compuestas, junto con posiblemente un conjunto de K máscaras CMaski(x,y) de validez, el conjunto de ecuaciones no lineales que llevan al cálculo del campo N(x,y) normal a la superficie se puede resolver en 210. La formulación genérica de la ecuación individual del conjunto es como sigue:
Ii(x,y) = A(x,y) * TermDifusoi B(x,y) * TermEspeculan
Los coeficientes A y B son desconocidos y será parte de los resultados de la solución de la ecuación. Ii(x,y) es la imagen compuesta del conjunto, o la intensidad registrada de la imagen o la imagen compuesta o registrada corregida por el valor Mapcal(x,y) descrito más adelante. El término difuso es el modelo Lambertiano normal de reflexión de la luz en material difusivo y es dependiente sólo del coseno del ángulo entre la superficie normal y la dirección de la luz entrante. Se puede expresar en términos de un producto de punto, que se reduce a:
TermDifusoi(x,y) = N.L = NxLxi NyLyi NzLzi,
Donde N.L indica un producto de punto y Lxi, Lyi, y Lzison las coordenadas Cartesianas normalizadas de la i-ésima fuente de luz con el origen del sistema Cartesiano estando en el centro del FOV de la cámara. Nx, Ny y Nz son las descomposiciones cartesianas del vector unitario normal a la superficie en la posición (x,y). También son posibles otras formulaciones del término difuso.
La no linealidad de la ecuación aparece en el término especular, que se puede escribir de diferentes maneras según el modelo usado para la reflexión de la luz, En todos los casos, sin embargo, el término depende del ángulo entre el vector N unitario normal a la superficie local y el vector Li unitario que apunta en la dirección de la i-ésima fuente de luz. En el caso de una superficie perfectamente especular, tal como un espejo, la luz emitida desde la fuente i de luz alcanzaría la cámara sólo si el ángulo entre N y Li es tal que la dirección S especular apunta hacia la cámara, esto es que el lóbulo especular sea infinitesimalmente estrecho. Para material realmente brillante que tiene un parámetro de rugosidad igual o mayor que la longitud de onda de la luz, la reflexión especular se produce dentro del lóbulo cuya anchura depende de las características de la superficie local.
En una realización, el término no lineal se puede modelar usando un modelo Phong. El modelo de reflexión especular Phong usa una analogía con la función coseno del término difusivo y describe el lóbulo especular como un coseno del ángulo entre Si y C elevado a la potencia a. Cuanto mayor sea a más estrecho será el lóbulo especular. El vector C apunta hacia la cámara y por tanto es igual a [0, 0, 1] en el sistema de coordenadas actual, mientras que el vector S se expresa en términos de N y L como:
Si = 2 (N.L) N - L
Teniendo en cuenta la definición anterior de C, la i-ésima ecuación del conjunto queda entonces:
Ii(x,y) = A(x,y) * (NxLxi NyLyi NzLzi) B(x,y) * [2 (NxLxi NyLyi NzLzi) Nz - Lz]a
En este punto el parámetro a de anchura del lóbulo especular es desconocido y será dado por la resolución del conjunto de las ecuaciones, como A, B y N.
En otra realización, se usa un modelo Torrence y Sparrow para el término no lineal (también conocido como modelo Cook.Torrence). Torrence y Sparrow propusieron un modelo de reflexión de la luz en superficies metálicas. Según este modelo, cada elemento de la superficie metálica (o superficie especular en general) se subdivide en una pluralidad de micro caras cuya orientación media corresponde con la superficie del elemento pero que están distribuidas de manera aleatoria individualmente alrededor de este valor. Matemáticamente, el lóbulo especular se describe en términos del producto de punto entre N y un vector H unitario que indica la normal a la superficie local que llevaría a una reflexión especular exactamente hacia la cámara. Ya que el sistema de coordenadas actual está centrado en el centro del FOV de la cámara con su eje Z apuntando a la cámara, y ya que las leyes de la física dictan que este vector se sitúe exactamente entre L y C (ventor unitario que apunta a la cámara), para una cámara ubicada muy lejos de la superficie del objetivo, este vector unitario es:
Hi = [Lxi, Lyi, Lz¡ 1] / || [Lxi, Lyi, Lz¡ 1] ||,
donde el símbolo || || indica el operador norma. Ya que la cámara se sitúa en [0, 0, 1], podemos escribir:
Ii(x,y) = = A(x,y) * (NxLxi NyLyi NzLzi) B(x,y) * * Exp [-[ArcCos (NxHxi NyHyi NzHzi)]2 / a2] Exp es la función exponencial, ArcCos es la inversa de la función coseno y a es el ancho de la función exponencial. Cuanto menor sea a, más estrecho será el lóbulo especular. En principio, B(x,y) debería contener también los factores geométricos que dependen de los ángulos incidente y reflejado que evitan que el término especular diverja. Sin embargo, si mantenemos el ángulo de inclinación (el ángulo entre el eje óptico y la dirección desde el centro del FOV y la fuente de luz, también conocido como el ángulo de cénit) de los vectores Li unitarios suficientemente alejados de n/2 (esto es, alejados de la incidencia rasante) estos factores se pueden olvidar. En este punto, el parámetro a es desconocido y será dado por la resolución del conjunto de ecuaciones, como A, B y N.
En otra realización, se usa un modelo Beckmann-Spizzichino para el término no lineal. Según este modelo, el término especular es la suma de os contribuciones: un lóbulo especular, que puede ser descrito mediante un modelo tipo Torrence-Sparrow, y un pico especular, que describe la energía de luz residual que se refleja de una manera perfectamente especular. El término especular se puede por tanto volver a escribir como:
TermEspecular = B1(x,y) * LobuloEspecular B2(x,y) * PicoEspecular
El término de pico especular se escribe de manera formal como 8 (N, L), que es igual a 1 si N=H y 0 en cualquier otro caso. Sin embargo, ya que las ópticas sensoras tienen una apertura óptica finita, el término de pico especular se puede escribir, por ejemplo, como una función exponencial muy estrecha de N y H.
Serán conocidas por aquellos expertos en la técnica otras maneras de modelar la reflexión de la luz de superficies especulares y/o difusivas.
Se entiende en los modelos anteriormente descritos que los términos Nx, Ny, Nz dependen todos de la posición (x,y) dentro del FOV. Si la cámara y/o las fuentes de luz no se ubican muy lejos de la superficie del objeto, entonces los vectores Li, Hi y C unitarios podrían depender también de las posiciones (x,y) en la superficie del objeto. Las modificaciones a las ecuaciones anteriores que introducen estas correcciones geométricas serán entendidas por aquellos expertos en la técnica. La Figura 6 ilustra la posición de cada uno de los vectores N, C, S, H, y L.
Los modelos Phong y Torrence-Sparrow contienen hasta cinco parámetros libres (las tres coordenadas Cartesianas de la normal N a la superficie [con la limitación añadida de que N está normalizado], los dos coeficientes A y B y el ancho del lóbulo especular) y los modelos Beckmann-Spizzichino añaden al menos dos parámetros más a contar para el pico especular. Proporcionado que el número K de fuentes de luz, y por tanto el número de ecuaciones en el conjunto a resolver, es suficientemente grande, se puede elegir solucionar para todos estos parámetros. De manera alternativa, es posible medir la función de reflectividad del material del objeto bajo estudio y fijar los valores de los coeficientes y/o del ancho de lóbulo y/o del ancho de pico en las ecuaciones y solucionar para un conjunto reducido de parámetros libres. Estos valores de parámetros se pueden fijar también mediante otros medios distintos de las mediciones actuales.
El paso 202 de la figura 2 se refiere a la calibración de un plano de referencia. Esto se hace para calibrar las fuentes de luz. Los tres objetivos de este paso son: obtener una calibración de la intensidad relativa entre las fuentes de luz que tienen un mismo ángulo de inclinación, obtener una calibración de la intensidad relativa entre las fuentes de luz que tienen diferentes ángulos de inclinación, y obtener una calibración de la intensidad relativa entre los píxeles en el FOV iluminado por una fuente de luz concreta.
En una realización, la calibración se puede hacer como sigue. Primero, se coloca una superficie de calibración plana en el FOV de la cámara y a la distancia focal del sensor óptico. Las K fuentes de luz son iluminadas de una manera secuencial y al menos se adquiere una imagen de luminosidad de cada fuente de luz. La contribución del valor de oscuridad actual y/o del mínimo de las imágenes se elimina de cada imagen. Una posible manera de realizar este paso consiste en adquirir una imagen en ausencia de luz y eliminar esta imagen de cada imagen del conjunto de las K imágenes. Cada imagen resultante se divide entonces entre el coseno del ángulo de inclinación de la fuente de luz asociada con la imagen (esto asegura que las fuentes de luz de diferentes niveles se calibran, la superficie de calibración proporcionada es Lambertiana) y las imágenes Ci(x,y) resultantes se registran. De manera alternativa, se pueden usar otras superficies con funciones de reflexión conocidas con la corrección apropiada para el ángulo de inclinación de la fuente de luz. Para cada imagen del conjunto de las K imágenes resultantes, se registra la media de los valores de píxel. Además, se dividen estos valores medios por el mayor valor del conjunto y se registra este conjunto de medias normalizadas como MediaN. El conjunto de K mapas de calibración se definen como:
MapCali(x,y) = MediaNi / Ci(x,y)
En lugar de usar el valor medio de píxel de cada imagen de calibración, se pueden considerar los valores máximo o medio u otros valores característicos de estas imágenes y terminar con un conjunto de máximos o medias normalizadas u otras características para calcular el término MapCali(x,y)
Si no se registran imágenes de calibración, entonces los mapas de calibración se establecen a “1” para cada píxel. Al trabajar con imágenes calibradas, en todas las ecuaciones anteriores (o siguientes), se debería reemplazar la intensidad Ii(x,y) de píxel registrada con:
ICi(x,y) = Ii(x,y) X MapCali(x,y)
En el segundo paso del procedimiento de calibración, las imágenes capturadas se dividen entre el coseno del ángulo de inclinación de la fuente de luz, lo que sugiere que la superficie de calibración es Lambertiana al menos para el conjunto de ángulos de inclinación usado. De manera alternativa, se puede usar una superficie con una función de reflexión diferente pero conocida con el divisor correcto. Otro posible paso podría ser asegurar mediante otro método o aparato que todas las K fuentes de luz tienen iguales intensidades, o intensidades diferentes pero conocidas. En este caso, sólo se necesita realizar el último paso del procedimiento anteriormente mencionado, y la ecuación en uso es:
MapCali(x,y) = Mediai / Ci(x,y)
Mediai es el valor medio de la i-ésima imagen de calibración. Sin embargo, este paso es opcional en el caso en que las fuentes de luz estén suficientemente lejos de la superficie para que se pueda considerar que generan un patrón de luz constante en la superficie.
Como se ilustra en la figura 6, la descripción matemática de la reflexión de la luz en la superficie del objeto hacia la cámara implica de manera implícita una reflexión de un único paso. Sin embargo, al considerar la alta reflexividad de los materiales especulares y la forma inherente convexa de la región del cebador del cartucho gastado, las reflexiones de múltiples pasos en la superficie del objeto pueden transferir la intensidad de la luz desde la fuente a la cámara. Esto se ilustra en la figura 7. Una superficie especular es iluminada de manera sucesiva desde la fuente 1 y la fuente 2 y el resultado es observado con una cámara. Se espera una alta intensidad en el píxel de la cámara correspondiente al punto P1 de la superficie cuando la Fuente 1 es iluminada ya que la orientación de la superficie local refleja la luz desde la Fuente 1 dentro de un lóbulo especular que apunta en la dirección general de la cámara. Cuando la Fuente 2 está iluminada, no deberíamos esperar registrar ninguna luz en el píxel de la cámara correspondiente al punto P1 ya que la luz debería reflejarse lejos de la cámara en este punto. Sin embargo, el punto P2 de alcance de la luz desde la Fuente 2 es reflejado hacia el punto P1 con un ángulo de incidencia cercano al ángulo especular óptimo, lo que resulta en una intensidad significativa registrada en el píxel de la cámara correspondiente al punto P1.
Al resolver el vector normal a la superficie local para el punto P1 con la intensidad recopilada de la Fuente 1 y la Fuente 2, el algoritmo de ajuste probablemente intentará satisfacer la información incompatible ya que su modelo físico no considera múltiples reflexiones. Esto normalmente resulta en una subestimación de la pendiente local de la superficie. Observe que la escala de la superficie mostrada en la figura 7 es relativamente arbitraria. El efecto descrito se producirá siempre que se mantenga el modelo óptico geométrico, esto es si la escala de la depresión es mayor que unas pocas micras para la luz visible. Para detalles más pequeños aún se pueden producir múltiples reflexiones, pero necesitarán una descripción mucho más complicada que implica la naturaleza de onda de la luz. Por lo tanto, generalmente se pueden producir múltiples reflexiones para las marcas de herramientas y las marcas balísticas que se apoyan en materiales especulares.
No existe una manera fácil de solucionar este problema ya que se convierte una descripción originalmente matemática local en una descripción que complica la resolución numérica a un nivel que no es práctico. Dicho problema normalmente se resuelve de manera iterativa ya que es necesario un conocimiento a priori de la forma de la superficie para estimar las múltiples contribuciones de la reflexión, pero debido a la naturaleza no lineal del problema, no se garantiza la convergencia.
El enfoque propuesto en la presente memoria consiste en eliminar la contribución de la fuente para un pixel en concreto si creemos que la intensidad registrada para esta fuente en esta ubicación está corrompida de manera significativa debido a las múltiples reflexiones. La identificación de la intensidad corrompida inducida por las múltiples reflexiones es apoyada por la noción de que la función que describe el proceso de reflexión es acimutalmente monótona. En otras palabras, si consideramos un grupo de fuentes de luz que muestran todas aproximadamente el mismo ángulo de inclinación con respecto al eje óptico del sistema, pero están más o menos distribuidas de manera uniforme alrededor de este eje (esto es tienen diferentes ángulos de azimut), una curva de intensidad registrada contra el ángulo de azimut de la fuente debería mostrar un único máximo, y este máximo se produce para la fuente que está más cercana al plano definido por el eje óptico y la normal N local de la superficie. En la práctica, se analizaría el conjunto de intensidades registradas para un pixel en concreto de la siguiente manera. Primero se reagrupan las intensidades en subconjuntos con ángulos de inclinación comparables de las fuentes de luz en relación al eje óptico y se ordenan las intensidades según los ángulos de azimut de las fuentes. Para un subconjunto concreto, si las intensidades con la curva de ángulos de azimut muestran sólo un máximo, entonces todas las intensidades se mantienen para el procedimiento de ajuste. De manera inversa, si se encuentran muchos máximos, se identifica el mejor máximo más probable. Esto se puede hacer mediante la comparación de la posición y la forma de los máximos con aquellos encontrados en otros subconjuntos de intensidades. El mejor
máximo debería repetirse de manera más uniforme para todos los subconjuntos de ángulos de inclinación. Una vez que se encuentra el máximo correcto, todas las intensidades asociadas con los otros máximos se eliminan del conjunto de datos que será ajustado.
De manera similar, la función de reflexión es también monótona con respecto al ángulo de inclinación para un ángulo de azimut dado, y es máxima cuando el ángulo entre N y el eje óptico es la mitad del ángulo de L (la dirección de la fuente de luz) y el eje óptico. Sin embargo, para valores bajos del ángulo de inclinación (esto es, para fuentes ubicadas cerca del eje óptico), el ángulo de azimut es de menos significancia. También ya que la función de reflexión no es lineal y varía rápidamente con L para una N dada, no es posible en un esquema de reflexión única registrar altas intensidades a partir de tanto los subconjuntos de ángulos de inclinación pequeños como los subconjuntos de ángulos de inclinación grandes. Por tanto, se usa un segundo criterio para las fuentes de subconjuntos de ángulos de inclinación menores (esto es, aproximadamente por debajo de 15 grados). Si el valor máximo registrado para un píxel dado a partir del subconjunto de los mayores ángulos de inclinación excede k veces el valor máximo del subconjunto de los menores ángulos de inclinación, todas las intensidades del menor ángulo de inclinación se eliminan del conjunto de datos a ser ajustados. El valor de k está normalmente por debajo de 1 y es su valor exacto depende de la diferencia del ángulo de inclinación entre los dos subconjuntos.
Las dos técnicas descritas anteriormente para abordar las reflexiones de múltiples pasos se ejecutan normalmente para cada píxel del FOV de la cámara antes del procedimiento de ajuste no lineal. Otros métodos para identificar intensidades registradas dominadas por múltiples reflexiones se pueden usar, tal como se reconocerá por aquellos expertos en la técnica.
La figura 8 es un diagrama de bloques de una realización ejemplar para la aplicación 112 que se ejecuta en el procesador 114 del sistema 110 informático de la Fig. 1. Una unidad 802 de control de luz controla las fuentes 106 de luz de manera tal que se iluminen de manera secuencial, una en cada momento. Una unidad 804 de control de cámara controla el sensor 102 para adquirir las imágenes en los momentos apropiados y de acuerdo con los tiempos de integración anteriormente determinados, tal como se explicó anteriormente. Cada imagen adquirida se recibe en la unidad 806 de recepción de imágenes y se transfiere al generador 808 de imágenes.
El generador 808 de imágenes usa las imágenes adquiridas para solucionar un conjunto de ecuaciones no lineales que comprenden un término difuso y un término especular para obtener la topografía Z(x,y) en 3D. Tal como se describe anteriormente, esto se consigue resolviendo, para cada pixel de las K imágenes, un conjunto sub definido de K ecuaciones que enlazan una luminosidad I capturada o calibrada de una i-ésima imagen con la suma del término difusivo y el término especular que dependen de la normal a la superficie local, una dirección de iluminación y/o una dirección de visualización. Se integra un mapa de la normal N de la unidad de superficie calculada para obtener la topografía Z(x,y) de la superficie. Una interfaz 810 de usuario se conecta al procesador 114. La interfaz de usuario puede comprender un teclado, un elemento de presentación, y cualesquiera otros componentes de la interfaz de usuario conocidos usados para interactuar con un sistema informático. Por ejemplo, se puede usar un elemento de presentación para la entrada y la salida, si la pantalla es una pantalla táctil. Otras diversas realizaciones serán fácilmente entendidas por aquellos expertos en la técnica.
La memoria 116 se puede proporcionar y ser accesible por el procesador 114 para recibir y almacenar los datos. La memoria puede ser una memoria principal, tal como una Memoria de Acceso Aleatorio (RAM), o una unidad de almacenamiento auxiliar, tal como un disco duro, un disco flexible, o una unidad de cinta magnética. La memoria puede ser cualquier otro tipo de medio legible por ordenador, tal como una Memoria de Sólo Lectura (ROM), o un medio de almacenamiento óptico tal como un videodisco y un disco compacto. Observe que la memoria 116 puede ser externa al sistema 110 informático.
El procesador 114 puede acceder a la memoria 116 para recuperar los datos. El procesador 114 puede ser cualquier dispositivo que pueda realizar operaciones sobre los datos. Ejemplos son una unidad de procesamiento central (CPU), un procesador frontal, un microprocesador, una unidad de procesamiento de gráficos (GPU/VPU), una unidad de procesamiento físico (PPU), un procesador de señales digitales, y un procesador de red. La aplicación se puede acoplar al procesador 114 y configurarse para realizar diversas tareas tales como las explicadas anteriormente en más detalle. Se debería entender que los módulos ilustrados en la figura 8 se pueden proporcionar en una aplicación única o en una combinación de dos o más aplicaciones acopladas al procesador 114.
En algunas realizaciones, el procesador 114 se configura para controlar el sensor para adquirir al menos una imagen con cada uno de los tiempos de integración definidos mientras que haya una luz encendida e ilumine con una intensidad constante. Para cada píxel de cada imagen del conjunto, el generador 808 de imágenes determinará si este píxel es válido si su intensidad registrada está por debajo de un umbral predefinido. Para cada posición de píxel del POV, el generador 808 de imágenes añadirá los valores de intensidad del píxel válido del conjunto multiplicado por la inversa de su tiempo de integración y divide el resultado por el número de píxeles válidos en esta posición, para obtener una imagen aumentada de profundidad de bit compuesta.
En algunas realizaciones, el conjunto de K fuentes de luz se subdividen en J subconjuntos, cada uno de estos subconjuntos estando caracterizado por un ángulo de inclinación definido. J puede ser dos o más que dos. La Figura 9 ilustra una realización ejemplar para las fuentes de luz.
En algunas realizaciones, las K fuentes de luz efectivas se obtienen a partir de Q fuentes de luz físicas y una serie de P rotaciones del objeto a estudio alrededor del eje óptico del sensor. Los métodos para realinear las imágenes capturadas con el conjunto de imágenes no rotadas son conocidos por aquellas personas expertas en la técnica. Las rotaciones se pueden aplicar a todo el sensor o al conjunto de luces sólo sin afectar a la generalidad del método. Si sólo el conjunto de luces se rota, entonces todas las K fuentes de luz efectivas necesitan un mapa de calibración. Si el objeto se rota (o el sensor junto con el conjunto de fuentes de luz), entonces sólo necesitan calibración las Q fuentes de luz físicas, pero se debería aplicar a la imagen antes del procedimiento de realineamiento.
Aunque se ilustra en los diagramas de bloques como grupos de componentes discretos que se comunican los unos con los otros a través de conexiones de señales de datos distintas, se entiende por aquellos expertos en la técnica que las realizaciones preferidas son proporcionadas por una combinación de componentes de hardware y software, con algunos componentes siendo implementados mediante una función u operación dada de un sistema de hardware o software, y muchas de las rutas de datos ilustradas se implementan mediante comunicación de datos dentro de una aplicación informática o un sistema operativo.
Se debería observar que la presente invención se puede llevar a cabo como un método, se puede realizar en un sistema, un medio legible por ordenador o una señal eléctrica o electromagnética. Las realizaciones de la invención descrita anteriormente están destinadas a ser sólo ejemplares. El alcance de la invención está destinado por lo tanto a estar limitado únicamente por el alcance de las reivindicaciones adjuntas.
Claims (12)
1. Un método para determinar una topografía Z(x,y) en 3D de una superficie de un objeto, comprendiendo el método: Iluminar de manera sucesiva la superficie del objeto a partir de una pluralidad de posiciones de eje localizadas, teniendo el objeto una reflexión especular y una reflexión difusa.
adquirir al menos una imagen de la superficie del objeto en cada iluminación sucesiva de la superficie del objeto usando un sensor que tiene un eje sensor sustancialmente perpendicular a un plano general de la superficie del objeto, resultando de este modo en un conjunto de imágenes de luminosidad que tienen un mismo campo de visión (FOV);
definir para cada imagen de luminosidad, una luminosidad medida en la posición (x,y) en una imagen i-ésima como una suma de un término de reflexión difusa y un término de reflexión especular, para definir un conjunto de ecuaciones no lineales,
en donde el término de reflexión especular es dependiente del campo N(x,y) normal a la superficie, de un vector Li unitario que apunta desde la superficie a la i-esima fuente de luz, y de un vector C unitario que apunta desde la superficie a la cámara,
solucionar el conjunto de ecuaciones no lineales para al menos el término de reflexión especular para encontrar el campo N(x,y) normal a la superficie; e integrar el campo N(x,y) normal a la superficie sobre el FOV para determinar la topografía Z(x,y) en 3D.
2. El método de la reivindicación 1, que comprende además intensidades de luz de calibración usadas para la iluminación antes de sucesivamente iluminar la superficie del objeto.
3. El método de la reivindicación 2, en donde la calibración de las intensidades de las fuentes de luz comprende: colocar una superficie de referencia en el campo de visión del sensor a la distancia focal del mismo;
iluminar de manera sucesiva la superficie de referencia desde la pluralidad de direcciones de eje localizadas; adquirir al menos una imagen de luminosidad de calibración en cada iluminación sucesiva;
calcular un conjunto de valores Ci(x,y) para las imágenes de luminosidad de calibración;
determinar un valor característico máximo;
normalizar el conjunto de valores característicos por el valor máximo para conseguir un conjunto de características Mi normalizadas; y
obtener un conjunto de mapas de calibración a partir de la inversa de las imágenes de calibración dividida entre las características Mi normalizadas; en donde las imágenes calibradas para la fuente i se obtienen multiplicando una imagen capturada con un i-ésimo mapa de calibración.
4. El método de cualquiera de las reivindicaciones 1 a 3, en donde una iluminación sucesiva de la superficie del objeto comprende usar Q fuentes de luz físicas y una serie de P rotaciones del objeto o de las fuentes de luz físicas, alrededor del eje de detección del sensor, para obtener las K direcciones de eje localizadas, K > Q.
5. El método de cualquiera de las reivindicaciones 1 a 4, en donde adquirir al menos una imagen comprende: definir un conjunto de M diferentes tiempos de integración de cámara;
adquirir una imagen con cada uno de los tiempos de integración definidos, adquiriendo de este modo M imágenes; calcular una máscara de validez para cada una de las imágenes; y
calcular una imagen compuesta que tiene una profundidad de bit de imagen mayor que la imagen adquirida, y calcular una máscara de validez compuesta, usando la imagen adquirida con cada uno de los tiempos de integración y las correspondientes máscaras de validez.
6. El método de la reivindicación 5, en donde calcular la imagen compuesta y la máscara de validez compuesta comprende:
obtener un conjunto de M intensidades Ii(x,y) de píxel a partir de las M imágenes;
obtener M valores Maski(x,y) de máscara de validez a partir de la máscara de validez para cada imagen; calcular un valor temporal para una intensidad de imagen compuesta; y
calcular una imagen de profundidad de bit alta compuesta y una máscara de validez compuesta adjunta.
7. Un sistema para determinar una topografía Z(x,y) en 3D de una superficie de un objeto, comprendiendo el sistema:
un sensor para adquirir imágenes de luminosidad en 2D, teniendo el sensor un eje de detección sustancialmente perpendicular a un plano general del objeto, teniendo el objeto una reflexión especular y una reflexión difusa; un conjunto de K fuentes de luz efectivas proporcionadas en una pluralidad de direcciones de eje localizadas; y un medio legible por ordenador que tiene un código de programa almacenado en el mismo y es ejecutable por un procesador para:
provocar que las K fuentes de luz efectivas iluminen de manera sucesiva la superficie del objeto a partir de la pluralidad de direcciones de eje localizadas;
provocar que el sensor adquiera al menos una imagen de la superficie del objeto en cada iluminación sucesiva de la superficie del objeto, resultando de este modo en un conjunto de imágenes de luminosidad que tienen un mismo campo de visión (FOV);
para cada imagen de luminosidad del conjunto, definir una luminosidad medida en la posición (x,y) en una imagen iésima como la suma del término de reflexión difuso y el término de reflexión especular, para definir un conjunto de ecuaciones no lineales,
en donde el término de reflexión especular es dependiente del campo N(x,y) normal a la superficie, un vector Li unitario que apunta desde la superficie a la i-ésima fuente de luz, y un vector C unitario que apunta desde la superficie a la cámara,
solucionando el conjunto de ecuaciones no lineales para al menos el término de reflexión especular para encontrar el campo N(x,y) normal a la superficie; e
integrar el campo N(x,y) normal a la superficie sobre el FOV para determinar la topografía Z(x,y) en 3D.
8. El sistema de la reivindicación 7, en donde el medio legible por ordenador comprende además código de programa ejecutable por un procesador para calibrar las intensidades de las K fuentes de luz efectivas, y preferiblemente en donde el código de programa para calibrar las intensidades de las K fuentes de luz efectivas comprende código de programa para:
provocar que las K fuentes de luz efectivas iluminen de manera sucesiva la superficie de referencia a partir de la pluralidad de direcciones de eje localizadas;
provocar que el sensor adquiera al menos una imagen de luminosidad de calibración en cada iluminación sucesiva; calcular un conjunto de valores Ci(x,y) característicos para las imágenes de luminosidad de calibración; determinar un valor característico máximo;
normalizar el conjunto de valores característicos por el valor máximo para conseguir un conjunto de características Mi normalizadas, y
obtener un conjunto de mapas de calibración a partir de la inversa de las imágenes de calibración dividida entre las características Mi normalizadas, en donde las imágenes calibradas para la fuente i se obtienen multiplicando una imagen capturada por un i-ésimo mapa de calibración.
9. El sistema de cualquiera de las reivindicaciones 7 y 8, en donde las K fuentes de luz efectivas comprenden Q fuentes de luz físicas que pueden rotar a las posiciones correspondientes a la pluralidad de direcciones de eje localizadas, o
comprendiendo además un estante para rotar el objeto hacia una pluralidad de direcciones de eje localizadas para hacer corresponder la pluralidad de direcciones de eje localizadas a las K fuentes de luz efectivas.
10. El sistema de cualquiera de las reivindicaciones 7 a 9, en donde las K fuentes de luz efectivas se proporcionan en una pluralidad de subconjuntos que tienen diferentes ángulos de inclinación.
11. El sistema de cualquiera de las reivindicaciones 7 a 10, en donde el código de programa para usar las imágenes de luminosidad para solucionar el conjunto de ecuaciones no lineales comprende código de programa para resolver, para cada píxel de las imágenes de luminosidad, un conjunto de ecuaciones que enlazan la luminosidad Ii calibrada o capturada de una imagen i-ésima con la suma del término difusivo y el término especular, lo que depende de la normal a la superficie local, la dirección de iluminación y/o la dirección de visualización.
12. Un medio legible por ordenador que tiene codificado en el mismo:
código de programa de un módulo de control de luz ejecutable por un procesador para provocar que K fuentes de luz efectivas iluminen de manera sucesiva una superficie de un objeto, teniendo el objeto una reflexión especular y una reflexión difusa, a partir de una pluralidad de direcciones de eje localizadas;
código de programa de un módulo de control de sensor ejecutable por un procesador para provocar que un sensor adquiera al menos una imagen de la superficie del objeto en cada iluminación sucesiva de la superficie del objeto, resultando de este modo en un conjunto de imágenes de luminosidad que tienen un mismo campo de visión (FOV); y
código de programa de un módulo de generación de topografía ejecutable por un procesador
definiendo, para cada imagen de luminosidad del conjunto, una luminosidad medida en la posición (x,y) de una iésima imagen como una suma de un término de reflexión difuso y un término de reflexión especular para definir un conjunto de ecuaciones no lineales;
en donde el término de reflexión especular es dependiente del campo N(x,y) normal a la superficie, el vector Li unitario que apunta desde la superficie de la i-ésima fuente de luz, y un vector C unitario que apunta desde la superficie de la cámara;
resolviendo el conjunto de ecuaciones no lineales para al menos el término de reflexión especular para encontrar el campo N(x,y) normal a la superficie;
e integrando el campo N(x,y) normal a la superficie sobre el FOV para determinar la topografía Z(x,y) en 3D.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US35524110P | 2010-06-16 | 2010-06-16 | |
PCT/CA2011/050335 WO2011156919A1 (en) | 2010-06-16 | 2011-06-02 | Acquisition of 3d topographic images of tool marks using non-linear photometric stereo method |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2742264T3 true ES2742264T3 (es) | 2020-02-13 |
Family
ID=45328712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES11795004T Active ES2742264T3 (es) | 2010-06-16 | 2011-06-02 | Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal |
Country Status (11)
Country | Link |
---|---|
US (1) | US9007457B2 (es) |
EP (1) | EP2583054B1 (es) |
CN (1) | CN103003663B (es) |
AU (1) | AU2011267751B2 (es) |
BR (1) | BR112012031828B1 (es) |
CA (1) | CA2801097C (es) |
ES (1) | ES2742264T3 (es) |
MX (1) | MX2012014516A (es) |
RU (1) | RU2557674C2 (es) |
WO (1) | WO2011156919A1 (es) |
ZA (1) | ZA201208945B (es) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202310B2 (en) * | 2010-04-13 | 2015-12-01 | Disney Enterprises, Inc. | Physical reproduction of reflectance fields |
BR112016016941A2 (pt) * | 2014-01-23 | 2017-08-08 | Performance Sk8 Holding Inc | Sistema e método para a fabricação de um corpo de prancha |
CZ305606B6 (cs) * | 2014-03-31 | 2016-01-06 | Ăšstav teoretickĂ© a aplikovanĂ© mechaniky AV ÄŚR, v.v.i. | Integrální zařízení pro tvorbu digitalizovaných 3D modelů objektů pomocí metody fotometrického sterea |
JP6366344B2 (ja) * | 2014-05-02 | 2018-08-01 | 国立大学法人群馬大学 | ツールマーク照合システム |
GB2526866A (en) * | 2014-06-05 | 2015-12-09 | Univ Bristol | Apparatus for and method of inspecting surface topography of a moving object |
JP6290720B2 (ja) * | 2014-06-09 | 2018-03-07 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
DE102014112648A1 (de) | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
US9664507B2 (en) | 2014-09-17 | 2017-05-30 | Canon Kabushiki Kaisha | Depth value measurement using illumination by pixels |
US9958383B2 (en) * | 2014-12-18 | 2018-05-01 | Microsoft Technology Licensing, Llc. | Range camera |
EP3057067B1 (en) * | 2015-02-16 | 2017-08-23 | Thomson Licensing | Device and method for estimating a glossy part of radiation |
US9958259B2 (en) | 2016-01-12 | 2018-05-01 | Canon Kabushiki Kaisha | Depth value measurement |
DE102016106535B4 (de) * | 2016-04-08 | 2019-03-07 | Carl Zeiss Ag | Vorrichtung und Verfahren zum Vermessen einer Flächentopografie |
PL3475926T3 (pl) * | 2016-06-23 | 2022-10-24 | Ultra Electronics Forensic Technology Inc. | Wykrywanie nieprawidłowości powierzchni w monetach |
CN107677216B (zh) * | 2017-09-06 | 2019-10-29 | 西安交通大学 | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 |
US11249293B2 (en) | 2018-01-12 | 2022-02-15 | Iballistix, Inc. | Systems, apparatus, and methods for dynamic forensic analysis |
RU2682012C1 (ru) * | 2018-05-04 | 2019-03-14 | Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") | Устройство выявления электронного портрета тепловизионной камеры |
US10785422B2 (en) | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
KR102222992B1 (ko) * | 2019-07-03 | 2021-03-05 | 대한민국 | 가해진 힘의 측정이 가능한 공구 줄무늬흔 생성 실험장치 및 이를 이용하여 가해진 힘을 측정하는 방법 |
CN110227662A (zh) * | 2019-08-08 | 2019-09-13 | 征图新视(江苏)科技股份有限公司 | 一种受话器产品成像缺陷的检测方法及其检测光源 |
US20220392045A1 (en) | 2019-11-15 | 2022-12-08 | Vural DERYA | Topographical ballistic identification with section profiles and comparison system |
CN115164776B (zh) * | 2022-07-04 | 2023-04-21 | 清华大学 | 一种结构光解码与深度学习融合的三维测量方法及装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2786207B2 (ja) * | 1988-08-26 | 1998-08-13 | 株式会社日立製作所 | 走査型顕微鏡における表面形状算出方法 |
US4912336A (en) * | 1989-02-21 | 1990-03-27 | Westinghouse Electric Corp. | Surface shape and reflectance extraction system |
JP2682559B2 (ja) * | 1992-09-30 | 1997-11-26 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 物体の画像をディスプレイ装置上に表示する装置及び方法並びにコンピュータ・グラフィックス表示システム |
US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US5838428A (en) * | 1997-02-28 | 1998-11-17 | United States Of America As Represented By The Secretary Of The Navy | System and method for high resolution range imaging with split light source and pattern mask |
ATE197503T1 (de) | 1997-08-22 | 2000-11-11 | Fraunhofer Ges Forschung | Verfahren und vorrichtung zur automatischen prüfung bewegter oberflächen |
US6410872B2 (en) | 1999-03-26 | 2002-06-25 | Key Technology, Inc. | Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio |
EP1391176A1 (en) * | 2002-08-16 | 2004-02-25 | Universiteit Maastricht | Method and arrangement for performing measurements of the topography of a corneal surface |
US7359562B2 (en) | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
US7545963B2 (en) * | 2003-04-04 | 2009-06-09 | Lumidigm, Inc. | Texture-biometrics sensor |
WO2006077710A1 (ja) | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
US7689035B2 (en) * | 2005-06-17 | 2010-03-30 | The Regents Of The University Of California | Methods for identifying, separating and editing reflection components in multi-channel images and videos |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP4077869B2 (ja) | 2006-05-29 | 2008-04-23 | 松下電器産業株式会社 | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
KR100967701B1 (ko) * | 2007-02-26 | 2010-07-07 | 한국외국어대학교 연구산학협력단 | 3차원 유화 데이터의 복원 |
US8085987B2 (en) * | 2007-10-26 | 2011-12-27 | Ahmed Shalaby | Method and tool for surface texture evaluation |
BRPI0912742B1 (pt) * | 2008-05-16 | 2019-06-18 | Ultra Electronics Forensic Technology Inc. | Aquisição de topografia de objetos tendo geometrias arbitrárias |
EP2288849B1 (en) * | 2008-06-11 | 2013-10-30 | Koninklijke Philips N.V. | Light emitting system producting beam with adjustable width |
-
2011
- 2011-06-02 MX MX2012014516A patent/MX2012014516A/es active IP Right Grant
- 2011-06-02 RU RU2013101791/28A patent/RU2557674C2/ru active
- 2011-06-02 BR BR112012031828-4A patent/BR112012031828B1/pt active IP Right Grant
- 2011-06-02 ES ES11795004T patent/ES2742264T3/es active Active
- 2011-06-02 AU AU2011267751A patent/AU2011267751B2/en active Active
- 2011-06-02 EP EP11795004.8A patent/EP2583054B1/en active Active
- 2011-06-02 US US13/151,538 patent/US9007457B2/en active Active
- 2011-06-02 CN CN201180029780.7A patent/CN103003663B/zh active Active
- 2011-06-02 WO PCT/CA2011/050335 patent/WO2011156919A1/en active Application Filing
- 2011-06-02 CA CA2801097A patent/CA2801097C/en active Active
-
2012
- 2012-11-27 ZA ZA2012/08945A patent/ZA201208945B/en unknown
Also Published As
Publication number | Publication date |
---|---|
CA2801097A1 (en) | 2011-12-22 |
ZA201208945B (en) | 2015-08-26 |
CN103003663A (zh) | 2013-03-27 |
BR112012031828A2 (pt) | 2016-11-08 |
RU2557674C2 (ru) | 2015-07-27 |
US20110311107A1 (en) | 2011-12-22 |
AU2011267751B2 (en) | 2014-12-18 |
EP2583054B1 (en) | 2019-05-22 |
CA2801097C (en) | 2015-08-04 |
AU2011267751A1 (en) | 2012-12-20 |
WO2011156919A1 (en) | 2011-12-22 |
EP2583054A4 (en) | 2017-08-23 |
BR112012031828B1 (pt) | 2020-05-12 |
CN103003663B (zh) | 2016-03-16 |
MX2012014516A (es) | 2013-01-29 |
US9007457B2 (en) | 2015-04-14 |
RU2013101791A (ru) | 2014-07-27 |
EP2583054A1 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2742264T3 (es) | Adquisición de imágenes topográficas en 3D de marcas de herramientas usando un método estéreo fotométrico no lineal | |
ES2932079T3 (es) | Entrenamiento de redes neuronales para la predicción de mirada tridimensional (3D) con parámetros de calibración | |
US9958383B2 (en) | Range camera | |
US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
US6741279B1 (en) | System and method for capturing document orientation information with a digital camera | |
US20170032565A1 (en) | Three-dimensional facial reconstruction method and system | |
US20190005666A1 (en) | Detection device, information processing device, detection method, storage medium, and detection system | |
EP3381015B1 (en) | Systems and methods for forming three-dimensional models of objects | |
CN111047650B (zh) | 一种用于飞行时间相机的参数标定方法 | |
Ahmad et al. | An improved photometric stereo through distance estimation and light vector optimization from diffused maxima region | |
ES2924701T3 (es) | Estimación de posición en pantalla | |
US10195002B2 (en) | Device and method for generating dental three-dimensional surface image | |
CN113963425A (zh) | 人脸活体检测***的测试方法、装置及存储介质 | |
Langmann | Wide area 2D/3D imaging: development, analysis and applications | |
US8818124B1 (en) | Methods, apparatus, and systems for super resolution of LIDAR data sets | |
TWI480507B (zh) | 三維模型重建方法及其系統 | |
US20180158205A1 (en) | Apparatus and method for generating three-dimensional information | |
US11682134B2 (en) | Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination | |
Capetti et al. | HST polarization observations of the jet of M87. | |
KR101630856B1 (ko) | 다분광 포토메트릭 스테레오 시스템 그리고 이의 동작 방법 | |
EP4244659A1 (en) | Depth measurement through display | |
CN111583392A (zh) | 一种物体三维重建方法和*** | |
US20220174224A1 (en) | Shape and reflectance reconstruction | |
WO2016102721A1 (es) | Método w sistema de localización espacial mediante marcadores luminosos para cualquier ambiente | |
Wei | 3D Shape Measurement of Objects in Motion and Objects with Complex Surfaces |