ES2941678T3 - Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo - Google Patents

Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo Download PDF

Info

Publication number
ES2941678T3
ES2941678T3 ES10802327T ES10802327T ES2941678T3 ES 2941678 T3 ES2941678 T3 ES 2941678T3 ES 10802327 T ES10802327 T ES 10802327T ES 10802327 T ES10802327 T ES 10802327T ES 2941678 T3 ES2941678 T3 ES 2941678T3
Authority
ES
Spain
Prior art keywords
feature
marker
mark
feature points
invariant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES10802327T
Other languages
English (en)
Inventor
Noboru Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Application granted granted Critical
Publication of ES2941678T3 publication Critical patent/ES2941678T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Se proporciona un dispositivo de evaluación de marcadores que tiene un medio de almacenamiento de características y un medio de comparación de características. El medio de almacenamiento de características dispone los puntos característicos extraídos de una imagen en un espacio predeterminado, establece partes en las que el número de puntos característicos en el espacio predeterminado es igual o menor que un número predeterminado como características singulares, y almacena las características singulares y los puntos característicos. extraído de una marca existente. El medio de comparación de características dispone los puntos característicos extraídos de la marca existente en el espacio predeterminado, y juzga que la marca existente puede usarse como un marcador que es detectable a partir de la imagen, cuando el número de puntos característicos que coinciden con el singular características es igual o mayor que un número predeterminado. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo
[CAMPO TÉCNICO]
La presente invención se refiere a un dispositivo de determinación de marcador para determinar si una marca existente se puede utilizar o no como marcador de detección, un sistema de detección de determinación de marcador provisto con este dispositivo de determinación de marcador, un dispositivo de detección de determinación de marcador provisto de una función de determinación de marcador, un marcador determinado para ser utilizable como marcador de detección por la función de determinación de marcador, un método de determinación de marcador para hacer una determinación de su marcador de detección, y un programa de determinación de marcador para ejecutar esta determinación de marcador.
[TÉCNICA ANTERIOR]
Como método para identificar si existe o no un objeto deseado en un cierto espacio, existe el siguiente método.
Por ejemplo, la tecnología de formación de imágenes de la imagen del espacio en el que no existe ningún marcador como una imagen de vídeo de fondo con un medio de entrada de imágenes de vídeo en una etapa de generación de marcadores, que extrae puntos característicos de la imagen de vídeo de fondo anterior, que hace corresponder estos puntos característicos en un espacio de características invariantes, para así definirlos como características invariantes, que define porciones en las que estas características invariantes no aparecen como características únicas, que genera un patrón de marcador basado en estas características únicas, y en una etapa de detección de marcadores, que imagina la imagen del espacio que contiene el objeto agregado con el marcador como una imagen de video dirigida a la detección, que extrae los puntos característicos de esta imagen de video dirigida a la detección, que determina si existe o no un segmento que coincida con una disposición de los puntos característicos extraídos del patrón del marcador en una disposición de estos puntos característicos, y que detecta esto como el marcador cuando existe el correspondiente (por ejemplo, consulte la Bibliografía de Patentes 1).
Con esta tecnología, el patrón que no aparece en la imagen de video de fondo se puede generar como patrón de marcador en la etapa de generación de marcador. Esto evita que el marcador se detecte erróneamente desde una ubicación en la que no existe ningún marcador, fuera de las imágenes de vídeo dirigidas a la detección, lo que permite detectar con seguridad el marcador añadido al objeto en la etapa de detección de marcadores.
[LISTA DE CITAS]
[BIBLIOGRAFÍA DE PATENTES]
PTL 1: Publicación Internacional No. WO2008/090908 (folleto)
[COMPENDIO DE LA INVENCIÓN]
[PROBLEMA TÉCNICO]
Sin embargo, en la tecnología descrita en la Bibliografía de Patentes 1 mencionada anteriormente, surge la siguiente situación.
La misma tecnología genera el marcador basado en las características únicas.
Y, la misma tecnología detecta el objeto agregado con el marcador anterior en la etapa de detección de marcadores.
Tal como está, se utilizan varias marcas en nuestro entorno de vida. Los diseños que van desde un diseño simple hasta un diseño complicado son variados.
Seleccionar algunas marcas arbitrariamente de entre estas marcas ya existentes y usarlas como marcadores para detectar el objeto permite seleccionar libremente el diseño y usar como marcador la marca con un diseño favorito.
Además, cuando la marca que se usa normalmente se puede usar como marcador de detección, es eficiente y, sin embargo, se puede mejorar la funcionalidad de la marca anterior.
Como un ejemplo de ello, se puede enumerar una marca de logotipo de una empresa. Al agregar una marca de logotipo a un determinado producto, la marca de logotipo indica que el producto anterior es un producto de la empresa sugerida por la marca de logotipo. La razón es que las marcas del logotipo tienen la función (característica distintiva) de hacer que los consumidores reconozcan que el producto anterior es un producto de su empresa y no es un producto de otras empresas.
Para tener este carácter distintivo, la marca del logotipo se suele preparar empleando un diseño diferente del diseño de la marca del logotipo de otras empresas.
La función que tiene esta marca de logotipo, a saber, la función que indica que el objeto agregado con la marca de logotipo anterior difiere de los otros objetos porque la marca de logotipo anterior difiere de las otras marcas en el diseño también es común con la función marcador de detección.
Es decir, también es concebible realizar la detección de objetos haciendo el mejor uso posible del carácter distintivo que incluye originalmente la marca del logotipo.
A continuación, se requiere hacer una propuesta de un método para determinar si la marca del logotipo podría o no funcionar como marcador de detección.
Además, recientemente, en el momento de la disposición de los bienes industriales, previo a la selección de las piezas y mejora de las funciones, se plantea en primer lugar una apariencia, forma y diseño de los citados bienes, y posteriormente, la selección de las piezas, la mejora de las funciones y similares se implementan para ajustarse a estas formas, etc.
Por el contrario, la tecnología presentada en la Bibliografía de Patente 1 antes descrita decide el diseño del marcador de tal manera que las características únicas se seleccionan en un espacio predeterminado, y los puntos característicos se extraen mediante el uso de estas características únicas. Es decir, el diseño del marcador se produce en base a las características únicas.
Tal como está, el marcador llama la atención porque se agrega al objeto. En particular, en el caso de que el objeto sea un producto, también se puede pensar en añadir el marcador a una parte de una etiqueta. Al hacerlo, el diseño del marcador anterior se vuelve importante.
Entonces, también para el marcador, se requiere hacer una propuesta de una tecnología capaz de decidir el diseño en función de la característica única mientras le da importancia al diseño.
La presente invención se ha llevado a cabo teniendo en cuenta las situaciones mencionadas anteriormente, y un objeto de la misma es proporcionar un dispositivo de determinación de marcador, un sistema de detección de determinación de marcador, un dispositivo de detección de determinación de marcador, un marcador, un método de determinación de marcador y un dispositivo de detección de marcadores. programa de determinación que hace posible determinar si la marca existente, tal como la marca del logotipo, cuya marca se ha decidido de antemano el diseño, y similares, puede utilizarse como marcador para detectar el objeto.
[SOLUCIÓN AL PROBLEMA]
La presente invención es un dispositivo de determinación de marcador según se define en la reivindicación 1, un método de determinación de marcador según la reivindicación 5 y un programa de determinación de marcador según la reivindicación 6.
[EFECTO VENTAJOSO DE LA INVENCIÓN]
El dispositivo de determinación de marcador, el método de determinación de marcador y el programa de determinación de marcador de la presente invención están configurados para extraer los puntos característicos de la marca, que es un objetivo de determinación, para disponer estos puntos característicos en un espacio predeterminado y para determinar si estos los puntos característicos coinciden con las características únicas, por lo que se puede determinar si la marca existente y la marca cuyo diseño se ha decidido de antemano podrían convertirse en un objetivo de detección del dispositivo de detección de marcadores.
[BREVE DESCRIPCIÓN DE LOS DIBUJOS]
La Figura 1 es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador en una primera realización ejemplar de la presente invención.
La Figura 2 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de determinación de marcador en la primera realización ejemplar de la presente invención.
La Figura 3 es un gráfico que ilustra una configuración de una tabla de información de características únicas. La Figura 4 es un gráfico que ilustra una configuración de una tabla de información de características de marca. La Figura 5 es una vista que ilustra un espacio de características invariantes que tiene las características invariantes de la marca dispuestas en él.
La Figura 6 es una vista que ilustra el espacio de características invariantes que tiene las características únicas dispuestas en él.
La Figura 7 es una vista que ilustra el espacio de características invariantes que tiene la característica invariante de la marca y las características únicas dispuestas en él.
La Figura 8 es un diagrama de flujo que ilustra una operación del dispositivo de determinación de marcador en la primera realización ejemplar de la presente invención.
La Figura 9 es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador en una segunda realización ejemplar de la presente invención.
La Figura 10 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de determinación de marcador en la segunda realización ejemplar de la presente invención.
La Figura 11 es una vista que ilustra un ejemplo de la imagen de vídeo de fondo.
La Figura 12 es una vista que ilustra el espacio de características que tiene los puntos característicos dispuestos en él.
La Figura 13 es una vista que ilustra el espacio de características en el que se han dispuesto los puntos característicos añadidos con los números.
La Figura 14 es un gráfico que ilustra una configuración de la tabla de información de puntos característicos. La Figura 15 es una vista que ilustra el espacio de características en el que se dibujan las líneas de segmento. La Figura 16 es una vista que ilustra las designaciones de los segmentos.
La Figura 17 es una vista que ilustra las coordenadas de los segmentos.
La Figura 18 es un gráfico que ilustra una configuración de un diagrama de distribución de números de puntos característicos (distribución de frecuencia).
La Figura 19 es una vista que ilustra el diseño de la marca de destino de determinación.
La Figura 20 es una vista que ilustra los puntos característicos extraídos de la marca que se muestra en la Figura 19.
La Figura 21 es una vista que ilustra el espacio de características que tiene los puntos característicos dispuestos en él.
La Figura 22 es una vista que ilustra el espacio de características que tiene los puntos característicos de la marca dispuestos en él.
La Figura 23 es una vista que ilustra un diagrama de distribución de números de puntos característicos que tiene los puntos característicos de la marca y los rasgos exclusivos dispuestos en ellos.
La Figura 24 es un diagrama de flujo que ilustra una operación del dispositivo de determinación de marcador en la segunda realización ejemplar de la presente invención.
La Figura 25 es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador en la tercera realización ejemplar de la presente invención.
La Figura 26 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de determinación de marcador en la tercera realización ejemplar de la presente invención.
La Figura 27 es una vista que ilustra una situación en la que los respectivos puntos característicos se hacen corresponder en el espacio de características invariante con un punto característico número 5 definido como base.
La Figura 28 es una vista que ilustra una situación en la que los puntos característicos respectivos se mapean en el espacio de características invariante con un punto característico número 15 definido como base.
La Figura 29 es una vista que ilustra una situación en la que los puntos característicos respectivos se hacen corresponder en el espacio de características invariante con un punto característico número 89 definido como base.
La Figura 30 es una vista que ilustra una situación en la que los puntos característicos respectivos se hacen corresponder en el espacio de características invariante con un punto característico número 91 definido como base.
La Figura 31 es una vista que ilustra una situación en la que todos los puntos característicos que se muestran en la Figura 12 se hacen corresponder en el espacio de características invariantes.
La Figura 32 es una vista que ilustra una situación en la que se añaden líneas de segmento al espacio de características invariantes.
La Figura 33 es una vista que ilustra el espacio de características invariantes en el que los segmentos que tienen uno o más puntos característicos dispuestos en él están sombreados en color gris.
La Figura 34 es una vista que ilustra una situación en la que los puntos característicos de la marca se hacen corresponder en el espacio de características invariante.
La Figura 35 es una vista que ilustra un alcance de generación de patrón de marcador en el espacio de características invariantes.
La Figura 36 es una vista que ilustra el ámbito de generación del patrón de marcador en el que los segmentos que tienen uno o más puntos característicos dispuestos en el mismo están sombreados en color gris.
La Figura 37 es un diagrama de flujo que ilustra una operación del dispositivo de determinación de marcador en la tercera realización ejemplar de la presente invención.
La Figura 38 es un diagrama de bloques que ilustra una configuración del dispositivo de detección de marcadores.
La Figura 39 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de detección de marcadores.
La Figura 40 es una vista que ilustra un ejemplo de la imagen de vídeo dirigida a la detección.
La Figura 41 es una vista que ilustra un ejemplo de los puntos característicos extraídos de la imagen de vídeo dirigida a la detección.
La Figura 42 es un diagrama de flujo que ilustra un procedimiento del método de detección de marcadores. La Figura 43 es un diagrama de bloques que ilustra una configuración del dispositivo de detección de determinación de marcador.
La Figura 44 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de detección de determinación de marcador.
La Figura 45 es un diagrama de bloques que ilustra una configuración del sistema de detección de determinación de marcador.
[DESCRIPCIÓN DE REALIZACIONES]
De aquí en adelante, las realizaciones ejemplares preferidas del dispositivo de determinación de marcador, el sistema de detección de determinación de marcador, el dispositivo de detección de determinación de marcador, el marcador, el método de determinación de marcador y el programa de determinación de marcador relacionados con la presente invención se explicarán haciendo referencia a los dibujos acompañados.
La primera realización ejemplar del dispositivo de determinación de marcador y el método de determinación de marcador
En primer lugar, la primera realización ejemplar del dispositivo de determinación de marcador y el método de determinación de marcador de la presente invención se explicarán haciendo referencia a la Figura 1.
La misma figura es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador de esta realización ejemplar.
(I) Dispositivo de determinación de marcador
Como se muestra en la Figura 1, un dispositivo 1a de determinación de marcador está provisto de un medio 10 de almacenamiento de características y un medio 20 de comparación de características.
El medio 10 de almacenamiento de características incluye una unidad 11 de almacenamiento de características únicas y una unidad 12 de almacenamiento de características de marca como se muestra en la Figura 2.
La unidad 11 de almacenamiento de características únicas contiene una región de memoria predeterminada. Esta unidad 11 de almacenamiento de características únicas almacena "la tabla de información de características únicas". "La tabla de información de características únicas" es una tabla en la que se han reunido los datos relacionados con las características únicas dispuestas en un espacio predeterminado.
Esta "tabla de información de características únicas", como se muestra en la Figura 3, puede incluir "un número de serie de la tabla" (A), "un número de serie de la característica única" (B), "una coordenada x de la característica única " (C) y "una coordenada y de la característica única" (D) como un elemento, respectivamente.
Cuando existe una tabla de información de características únicas, o dos o más, "el número de serie de la tabla" es indicativo del número (n°) agregado a cada tabla de información de características únicas. Cuando la imagen de vídeo a introducir por un medio 30 de introducción de imágenes de vídeo (que se describirá más adelante) está configurada con una pluralidad de imágenes de fotograma, el número anterior es equivalente a un número sumado para cada imagen de fotograma.
“El número de serie de la característica única” es indicativo de un número añadido a cada una de una pluralidad de características únicas.
“La coordenada x de la característica única” es indicativa de una coordenada x de la característica única anterior en el espacio predeterminado.
“La coordenada y de la característica única” es indicativa de una coordenada y de la característica única anterior en el espacio predeterminado.
Además, el espacio predeterminado incluye, por ejemplo, el espacio de características, el espacio de características invariante, el espacio de características únicas y similares.
Además, el espacio de características, el espacio de características invariantes y el espacio de características únicas se explicarán en detalle en el segundo ejemplo de realización. Además, el método para extraer las características únicas o similares también se explicará en detalle en el segundo ejemplo de realización.
La unidad 12 de almacenamiento de características de marca mantiene una región de memoria predeterminada. Esta unidad 12 de almacenamiento de características de marca almacena "la tabla de información de características de marca".
"La tabla de información de la característica de la marca", como se muestra en la Figura 4, puede incluir "un número de serie de la marca" (A), "un número de serie del punto característico" (B), "una coordenada x del punto característico" (C) y “una coordenada y del punto característico" (D) como un elemento, respectivamente.
"El número de serie de la marca" es indicativo de un número agregado a una marca, o a cada una de dos o más marcas.
"El número de serie del punto característico" es indicativo de un número agregado a un punto característico, o a cada uno de dos o más puntos característicos basados en la marca.
“La coordenada x del punto característico” es indicativa de una coordenada x del punto característico anterior en el espacio predeterminado.
“La coordenada y del punto característico” es indicativa de una coordenada y del punto característico anterior en el espacio predeterminado.
Además, "el espacio predeterminado" incluye, por ejemplo, el espacio de características, el espacio de características invariante y similares.
Además, "el punto característico" incluye el punto característico extraído de la marca, el punto característico dispuesto en el espacio de características, el característico invariante dispuesto en el espacio de características invariante, y similares.
Este espacio de características y el espacio de características invariante se explicarán en detalle en el segundo ejemplo de realización. Además, el método de extracción de las características invariantes, o similares, también se explicará en detalle en el segundo ejemplo de realización.
El medio 20 de comparación de características incluye una unidad 21 de comparación de características y una unidad 22 de almacenamiento de resultados de comparación como se muestra en la Figura 2.
La unidad 21 de comparación de características extrae "la tabla de información de características únicas" de la unidad 11 de almacenamiento de características únicas del medio 10 de almacenamiento de características. Además, la unidad 21 de comparación de características extrae "la tabla de información de características de marca" de la unidad 12 de almacenamiento de características de marca del medio 10 de almacenamiento de características.
A continuación, la unidad 21 de comparación de características hace referencia a la "tabla de información de características de la marca" y dispone los puntos característicos de la marca en el espacio predeterminado (por ejemplo, un espacio de características invariante). El espacio predeterminado que tiene estos puntos característicos dispuestos en él se muestra en la Figura 5. La misma figura es una vista que ilustra una situación en la que los segmentos que tienen los puntos característicos dispuestos en ellos se rellenan con un color negro.
Continuamente, la unidad 21 de comparación de características extrae las coordenadas de las características únicas de la "tabla de información de características únicas". Y, la unidad 21 de comparación de características organiza las características únicas en el espacio predeterminado (por ejemplo, el espacio de características invariante) según estas coordenadas. El espacio predeterminado que tiene estas características únicas dispuestas en él se muestra en la Figura 6. En la misma figura, los segmentos con un color blanco son las características únicas.
Y, la unidad 21 de comparación de características determina si la totalidad o una parte de los puntos característicos de la marca coinciden o no con las características únicas.
Este proceso se puede realizar superponiendo una disposición de las características únicas mostradas en la Figura 6 y una disposición de los puntos característicos mostrados en la Figura 5, y determinando si las primeras coinciden o no con las últimas. Además, se puede realizar una determinación comparando/clasificando la coordenada del punto característico de la marca con la coordenada de la característica única, y determinando si la primera coincide o no con la última.
Es decir, la unidad 21 de comparación de características dispone los puntos característicos de la marca en el espacio predeterminado que tiene las características únicas dispuestas en él, y selecciona el punto característico de la marca dispuesto en un segmento idéntico al de las características únicas.
Un resultado de esta superposición se muestra en la Figura 7. Con el caso que se muestra en la misma figura, tres puntos característicos, de los nueve puntos característicos de la marca, coinciden con las características únicas. Y, la unidad 21 de comparación de características determina si la marca anterior se puede utilizar o no como marcador de detección.
Esta determinación implica, por ejemplo, los siguientes métodos.
(1) Cuando al menos un punto característico de la marca (que contiene la característica invariante de la marca) coincide con la característica única, se supone que la marca anterior se puede utilizar como marcador de detección.
La característica única es una parte en la que no aparece ningún punto característico extraído de la imagen de vídeo de fondo (patrón de fondo). El hecho de que el punto característico aparezca en la parte anterior en la etapa de detección significa que, en otras palabras, la cosa (que contiene la cosa que podría convertirse en un objetivo de extracción del punto característico, por ejemplo, una parte de la cosa, superposición de una pluralidad de las cosas, y el diseño), que no aparecía en la imagen de video de fondo, aparece en la etapa de detección. En este caso, cuando la cosa, que no apareció en la imagen de video de fondo y sin embargo aparece en la etapa de detección, se limita al marcador, en un caso en el que el punto característico aparece en la característica única, la cosa anterior se puede especificar como un marcador. Por lo tanto, cuando al menos un punto característico de la marca coincide con la característica única, la marca anterior se puede utilizar como marcador de detección.
(2) Cuando el número de puntos característicos de la marca que coinciden con las características únicas es igual o superior a un número predeterminado, se supone que la marca anterior se puede utilizar como marcador de detección.
Cuando la cosa, que no apareció en la imagen de video de fondo, y sin embargo, podría aparecer en la etapa de detección, no se limita al marcador, existe la posibilidad de que el punto característico que apareció en la característica única sea un punto característico basado sobre la cosa que no sea el marcador. Sin embargo, a pesar de que el punto característico se basa en la cosa que no es el marcador, existe la posibilidad de que la cosa, en la que se adquieren los puntos característicos que coinciden con la totalidad de una pluralidad de características únicas, aparezca en la imagen de vídeo dirigida a la detección. muy bajo. Por otro lado, la marca existente, en la que se adquieren las características invariantes que coinciden completamente con la totalidad de una pluralidad de características únicas, no existe fácilmente cuando el número de características únicas es relativamente bajo. Entonces, en el momento de determinar si la marca anterior se puede usar o no como marcador de detección, mientras se excluyen las cosas que no sean la marca, siendo un objetivo de determinación, se asume que la marca anterior se puede usar como marcador de detección cuando el número de puntos característicos de la marca que coinciden con las características únicas es igual o superior a un número predeterminado.
Además, "el número predeterminado" puede decidirse arbitrariamente. Por ejemplo, cuando se supone que "el número predeterminado" es tres, esta marca se puede utilizar como marcador de detección en un resultado que se muestra en la Figura 7. Por el contrario, cuando se supone que "el número predeterminado" es cuatro o más, esta marca no se puede utilizar como marcador de detección en el resultado que se muestra en la Figura 7.
(3) Cuando la proporción del número de puntos característicos de la marca que coinciden con las características únicas sobre el número de puntos característicos de la marca es igual a más de un valor predeterminado, se supone que la marca anterior se puede utilizar como marcador de detección.
Por ejemplo, como se muestra en la Figura 7, cuando el número de característica invariante de la marca es nueve, y el número de características invariantes que coinciden con las características únicas es tres, su proporción es "1/3". Cuando "3", siendo un cociente del mismo, es igual o superior a un valor predeterminado, se supone que la marca anterior puede utilizarse como marcador de detección.
Este método se puede utilizar en el caso del punto de vista de (2), es decir, en un caso en el que difícilmente se supone que todos los puntos de una pluralidad de características se basan en la cosa, que no apareció en la imagen de video de fondo y, sin embargo, podría aparecer en la etapa de detección, coincidir con las características únicas.
(4) Cuando todos los puntos de una pluralidad de características basados en la marca coinciden con las características únicas, se supone que la marca anterior se puede usar como marcador de detección.
Cuando el número de características únicas es relativamente bajo, la posibilidad de que todos los puntos característicos de la marca coincidan con características únicas es baja. Por el contrario, cuando el número de características únicas es mucho, la posibilidad de que los puntos característicos de la marca coincidan con características únicas se vuelve alta.
Además, cuanto mayor sea el número de puntos característicos con las características únicas, mayor será la solidez del marcador anterior.
Entonces, se puede hacer una configuración de tal manera que cuando todas las características invariantes basadas en la marca coincidan con características únicas, la marca anterior se puede usar como marcador.
El empleo de cualquiera de estos métodos (1) a (4) hace posible determinar si la marca anterior se puede utilizar o no como marcador de detección.
Además, cada uno de los métodos (1) a (4) puede emplearse no solo cuando las características únicas y los puntos característicos de la marca se superponen gráficamente entre sí, sino también cuando las coordenadas de los puntos característicos de la marca y las coordenadas de las características únicas se comparan numéricamente entre sí.
(II) Método de determinación de marcadores
A continuación, se explicará una operación del dispositivo de determinación de marcador (método de determinación de marcador) de esta realización ejemplar haciendo referencia a la Figura 8.
La misma figura es un diagrama de flujo que ilustra un procedimiento predeterminado del método de determinación de marcador de esta realización ejemplar.
La unidad 11 de almacenamiento de características únicas del medio 10 de almacenamiento de características almacena "la tabla de información de características únicas" de antemano (Paso 10). Además, la unidad 12 de almacenamiento de características de marca del medio 10 de almacenamiento de características almacena "la tabla de información de características de marca" de antemano (Paso 11).
La unidad 21 de comparación de características extrae "la tabla de información de características únicas" de la unidad 11 de almacenamiento de características únicas. Además, la unidad 21 de comparación de características extrae "la tabla de información de características de marca" de la unidad 12 de almacenamiento de características de marca (Paso 12).
Además, la unidad 21 de comparación de características organiza cada uno de los puntos característicos que se muestran en "el número de serie del punto característico" de "la tabla de información de características de marca" en el espacio predeterminado según la coordenada x que se muestra en "la coordenada x del punto característico" y la coordenada y que se muestra en "la coordenada y del punto característico".
Además, la unidad 21 de comparación de características extrae las coordenadas de las características únicas de la "tabla de información de características únicas". Y, la unidad 21 de comparación de características organiza las características únicas en el espacio predeterminado según las coordenadas anteriores (Paso 13).
A continuación, la unidad 21 de comparación de características determina si la totalidad o una parte de una pluralidad de características invariantes basadas en la marca coinciden con las características únicas.
Es decir, la unidad 21 de comparación de características dispone la característica única en el espacio predeterminado, dispone los puntos característicos de la marca y selecciona los puntos característicos de la marca que coinciden con las características únicas (Paso 14).
Y, la unidad 21 de comparación de características determina si el número de puntos característicos de la marca que coinciden con las características únicas es igual o mayor que un número predeterminado (Paso 15).
Cuando es igual o superior a un número predeterminado como resultado de la determinación, se determina que la marca anterior se puede utilizar como marcador de detección (Paso 16).
Por otra parte, cuando no es igual o superior a un número predeterminado, se determina que la marca anterior no puede utilizarse como marcador de detección (Paso 17).
Con tal método, se puede determinar si la marca anterior se puede usar o no como marcador de detección.
Como se explicó anteriormente, el dispositivo de determinación de marcador y el método de determinación de marcador de esta realización ejemplar se configuraron para extraer los puntos característicos de la marca, siendo un objetivo de determinación, para disponer estos puntos característicos en el espacio predeterminado, y para determinar si estos puntos característicos coinciden con las características únicas. Esto permite determinar si la marca existente y la marca cuyo diseño se ha decidido pueden convertirse o no en un objetivo de detección del dispositivo de detección de marcadores.
Además, aunque los puntos característicos basados únicamente en la marca se mostraban en la tabla de información de características de la marca que se muestra en la Figura 4 y el espacio de características invariante que se muestra en la Figura 5, los puntos característicos no se limitan a los puntos característicos basados únicamente en la marca. y, por ejemplo, también es posible extraer los puntos característicos del fondo que contiene la marca, preparar la tabla de información de características de marcas sobre estos puntos característicos, organizar los puntos característicos en el espacio de características invariante y comparar la característica anterior puntos con las características únicas.
[La segunda realización ejemplar]
A continuación, se explicará la segunda realización ejemplar del dispositivo de determinación de marcador y el método de determinación de marcador de la presente invención haciendo referencia a la Figura 9.
La misma figura es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador de esta realización ejemplar.
Esta realización ejemplar, en comparación con la primera realización, difiere en el punto de incluir de nuevo un medio de entrada de imágenes de vídeo y un medio de extracción de características. Otros componentes son similares a los de la primera realización ejemplar.
Así, en la Figura 9, se añaden códigos idénticos a las partes componentes similares a los de la Figura 1, y se omite su explicación detallada.
(I) Dispositivo de determinación de marcador
Como se muestra en la Figura 9, un dispositivo 1b de determinación de marcador está provisto de un medio 10 de almacenamiento de características, un medio 20 de comparación de características, un medio 30 de entrada de imágenes de video y un medio 40 de extracción de características.
Aquí, el medio 30 de entrada de imágenes de video incluyen una unidad 31 de entrada de imágenes de video y una unidad 32 de almacenamiento de imágenes de video como se muestra en la Figura 10.
La unidad 31 de entrada de imágenes de video genera imágenes o introduce la imagen de video de fondo.
La imagen de vídeo de fondo es una imagen de vídeo obtenida mediante la formación de imágenes del entorno en el que la marca, al ser un objetivo de determinación, no existe. Por ejemplo, cuando existe una cinta transportadora para el transporte del objeto, la imagen de video de fondo anterior es equivalente a una imagen de video obtenida al visualizar la cinta transportadora en la situación de transportar el objeto no agregado con la marca, siendo un objetivo de determinación de la misma, y su vecino, o similares.
La imagen de vídeo de fondo anterior podría ser una imagen en movimiento (imagen de vídeo) y, además, podrían ser varias piezas de las imágenes fijas tomadas en un intervalo de tiempo predeterminado.
Además, la imagen de video de fondo anterior puede incluir una imagen de video en vivo, una imagen de video grabada, una imagen de video entregada o similar.
Además, la unidad 31 de entrada de imágenes de video puede generar imágenes de la marca (la marca existente para la cual se va a determinar si se puede usar o no como marcador de detección), siendo un objetivo de determinación, en una sola unidad (empleando fondo azul y similares). Esta imagen de video representada se denomina imagen de video de marca sola.
Además, la unidad 31 de entrada de imágenes de video puede generar imágenes del entorno en el que existe la marca, que es un objetivo de determinación. Esta imagen de video formada se denomina imagen de video de entorno de marca.
Además, la unidad 31 de entrada de imágenes de video puede contener el dispositivo de formación de imágenes por sí misma. En este caso, la unidad 31 de entrada de imágenes de vídeo puede representar la situación adyacente a la ubicación en la que se ha montado el dispositivo 1b de determinación de marcador correspondiente como imagen de vídeo de fondo.
Además, la unidad 31 de entrada de imágenes de video también puede introducir las imágenes de video de fondo incorporadas por dispositivos distintos del dispositivo 1b de determinación de marcador correspondiente a través de una red de comunicación, un cable de comunicación o similar.
En la Figura 11 se muestra un ejemplo de la imagen de vídeo de fondo introducida por esta unidad 31 de introducción de imágenes de vídeo.
La unidad 32 de almacenamiento de imágenes de video almacena los fotogramas de imágenes fijas que constituyen la imagen de video de fondo como imágenes de fotogramas digitalizados. El llamado fotograma de imagen fija que constituye la imagen de vídeo de fondo, cuando la imagen que se muestra en la Figura 11 existe en un número plural, apunta a cada parte de estas imágenes, por ejemplo.
Además, la unidad 32 de almacenamiento de imágenes de video almacena el número agregado a cada una de una pluralidad de imágenes de fotogramas (por ejemplo, el número de serie).
Además, la unidad 32 de almacenamiento de imágenes de video también puede almacenar información que especifica un momento en que se tomó la imagen del fotograma, un dispositivo que capturó la imagen del fotograma y similares (en el caso en que la imagen del fotograma se ingresó desde el exterior).
El medio 40 de extracción de características, como se muestra en la Figura 10, incluye una unidad 41 de extracción de características de fondo, una unidad 42 de extracción de características de marca y una unidad 43 de almacenamiento de características.
La unidad 41 de extracción de características de fondo extrae las imágenes de fotogramas de la unidad 32 de almacenamiento de imágenes de vídeo. Y la unidad 41 de extracción de características de fondo extrae las características de imagen que contienen patrones característicos dentro de las imágenes de fotogramas extraídas.
La unidad 41 de extracción de características de fondo puede usar, por ejemplo, una propiedad gráficamente distintiva en forma de valores numéricos como la característica de la imagen.
Por ejemplo, el método revelado por T. Tommasini, et al. en " Making good features track better" presentado en las Actas de la Conferencia Internacional IEEE sobre Visión Informática y Reconocimiento de Patrones (1998) puede utilizarse para ello. Este método es capaz de extraer vértices de una forma del objeto, intersecciones de objetos lineales, puntos finales, etc. en la imagen. Y, una serie de información de coordenadas de posición de estos puntos en la imagen puede definirse como características gráficas. Por ejemplo, al extraer los puntos característicos para la imagen del fotograma de la Figura 11 con este método, los puntos característicos se organizan en número plural como se muestra en la Figura 12. Los puntos característicos se pueden administrar con las coordenadas en una base uno a uno.
Además, el espacio que tiene los puntos característicos dispuestos en él se denomina espacio de características. Este espacio de características puede ser bidimensional o tridimensional. Se supone que el espacio de características de esta realización ejemplar es bidimensional.
Además, como otro método, existe, por ejemplo, el método descrito por Montanari en "On the option detection of curves in noisy pictures", Comunicaciones de ACM, 14, 1971. De acuerdo con esto, las entradas en una tabla R en las que se almacenan una distancia desde un punto de referencia y un ángulo relativo pueden usarse como características. En este momento, al definir el punto de referencia para todas las posiciones de las características y extraer exhaustivamente las características, el marcador puede hacerse robusto contra la pérdida parcial de las características.
Además, como otro método para extraer las características, por ejemplo, existe el método de usar un valor de luminancia o un valor de diferencia de color de cada píxel de la imagen como la característica.
A continuación, la unidad 41 de extracción de características de fondo agrega el número de serie a cada uno de los puntos característicos como se muestra en la Figura 13. Este número de serie se puede agregar en el orden descendente del punto característico, hasta estar con el punto característico clasificado más alto, de tal manera de t1, t2, t3, t4.
Continuamente, la unidad 41 de extracción de características de fondo obtiene las respectivas coordenadas de los puntos característicos. Para las coordenadas, como se muestra en la Figura 13, se pueden establecer un eje X y un eje Y en el espacio de características para definir una distancia desde el eje Y y una distancia desde el eje X como una coordenada X y una coordenada Y, respectivamente. .
Y, la unidad 41 de extracción de características de fondo hace que la unidad 43 de almacenamiento de características almacene los números de serie y las coordenadas de estos puntos característicos. La unidad 43 de almacenamiento de características puede almacenar estos números de serie y similares como "la tabla de información de puntos característicos", como se muestra en la Figura 14.
"La tabla de información de puntos característicos", como se muestra en la misma figura, puede incluir "el número de serie de la imagen del fotograma" (A), "el número de serie del punto característico" (B), "la coordenada x de la característica punto" (C) y "la coordenada y del punto característico" (D) como un elemento, respectivamente.
"El número de serie de la imagen del fotograma" es indicativo del número agregado a la imagen del fotograma de la que se han extraído los puntos característicos.
“El número de serie del punto característico” es indicativo del número añadido a cada uno de una pluralidad de puntos característicos. Específicamente, "t1" y "t15" de la Figura 13 y similares caen debajo de ella.
"La coordenada x del punto característico" es indicativa de una coordenada x del punto característico anterior en el espacio de características.
"La coordenada y del punto característico" es indicativa de una coordenada y del punto característico anterior en el espacio de características.
A continuación, la unidad 41 de extracción de características de fondo divide el espacio de características en una pluralidad de segmentos mediante el uso de celdas de malla en forma de cuadrícula como se muestra en la Figura 15.
En este momento, la unidad 41 de extracción de características de fondo calcula la coordenada de cada segmento. Esta coordenada de cada segmento puede visualizarse mediante coordenadas de líneas para separar cada segmento (líneas de segmento).
Por ejemplo, como se muestra en la Figura 16, se supone que las coordenadas de las líneas de separación se definen como x1, x2, x3, ..., y1, y2, y3, ....
Además, las designaciones del segmento respectivo se definen como segmento (1,1), segmento (1,2), segmento (1,3), ..., segmento (2,1), segmento (2,2), segmento ( 2,3), .... El segmento (1,1), de ellos, es un ámbito delimitado por la coordenada (0,0)-(x1,0)-(x1 ,y1 )-(0,y1) -(0,0).
Aquí, x1 es una coordenada x de la línea del primer segmento en la dirección X. Además, y1 es una coordenada y de la línea del primer segmento en la dirección Y. Con esto, la coordenada del segmento (1,1) puede mostrarse como (x1 ,y1) como se muestra en la Figura 17.
Asimismo, la coordenada del segmento (2,1), la coordenada del segmento (3,1), la coordenada del segmento (1,2) y la coordenada del segmento (2,2) pueden mostrarse como (x2,y1 ), (x3,y1), (x1 ,y2) y (x2,y2), respectivamente. En la Figura 17 se muestra una relación entre la designación y la coordenada de cada segmento. La unidad 41 de extracción de características de fondo puede hacer que la unidad 43 de almacenamiento de características almacene estas designaciones y las coordenadas de los segmentos respectivos como una tabla de coordenadas de segmento. Además, el tamaño de un segmento puede establecerse arbitrariamente. Sin embargo, el tamaño de un segmento se decide deseablemente de tal manera que al menos dos segmentos o más en los que no exista ningún punto característico existan dentro del espacio de características.
Continuamente, la unidad 41 de extracción de características de fondo obtiene el número de puntos característicos para cada segmento.
Este cálculo del número de puntos característicos por segmento puede realizarse empleando la coordenada de cada segmento y la coordenada de cada punto característico.
Los números calculados de los puntos característicos por segmento, como se muestra en la Figura 18, pueden visualizarse como un diagrama de distribución de números de puntos característicos (distribución de frecuencia). Este "diagrama de distribución de números de puntos característicos" se almacena en la unidad 43 de almacenamiento de características.
Además, en la Figura 18, para que la explicación sea fácilmente comprensible, los segmentos en los que existe un punto característico o más están sombreados en color gris.
Además, la unidad 41 de extracción de características de fondo selecciona los segmentos en los que el número de puntos característicos es cero, o es igual o menor que un número predeterminado como características únicas. Por ejemplo, la unidad 41 de extracción de características de fondo selecciona (x1, y1), (x2, y1), (x3, y1) y similares como características únicas en el diagrama de distribución de números de puntos característicos que se muestra en la Figura 18.
Y, la unidad de extracción de características 21 prepara "la tabla de información de características únicas" indicativa de las coordenadas de las características únicas seleccionadas (ver Figura 3). La unidad de extracción de características 21 hace que la unidad 11 de almacenamiento de características únicas de los medios de almacenamiento de características 10 almacene esta tabla de información de características únicas.
La unidad 42 de extracción de características de marca extrae los puntos característicos basándose en la imagen de video de la marca introducida por la unidad 31 de entrada de imágenes de video.
Por ejemplo, se supone que la marca introducida anteriormente tiene un diseño (forma) como se muestra en la Figura 19. La unidad 42 de extracción de características de marca extrae los puntos característicos de la marca anterior. El método de esta extracción es idéntico al método de extracción que ejecutará la unidad 41 de extracción de características de fondo.
Los puntos característicos extraídos por la unidad 42 de extracción de características de marca de la marca que se muestra en la Figura 19 se muestran como se muestra en la Figura 20.
Además, la unidad 42 de extracción de características de marca dispone los puntos característicos extraídos en el espacio de características. El espacio de características que tiene estos puntos característicos dispuestos en él se muestra en la Figura 21.
Y, la unidad 42 de extracción de características de marca calcula la coordenada de cada punto característico en el espacio de características. La unidad 42 de extracción de características de marca reúne estas coordenadas calculadas de los puntos característicos como "la tabla de información de características de marcas" (ver Figura 4). Esta "tabla de información de características de marca" se almacena en la unidad 12 de almacenamiento de características de marcas de los medios de almacenamiento de características 10.
La unidad 43 de almacenamiento de características almacena "la tabla de información de puntos característicos", "la tabla de coordenadas de segmentos" y "el diagrama de distribución de números de puntos característicos".
El medio 10 de almacenamiento de características incluye una unidad 11 de almacenamiento de características únicas y una unidad 12 de almacenamiento de características de marca como se muestra en la Figura 10.
La unidad 11 de almacenamiento de características únicas almacena "la tabla de información de características únicas".
La unidad 12 de almacenamiento de características de marca almacena "la tabla de información de características de marca".
El medio 20 de comparación de características incluye una unidad 21 de comparación de características y una unidad 22 de almacenamiento de resultados de comparación.
La unidad 21 de comparación de características dispone los puntos característicos que se muestran en "la tabla de información de características de marca" en el espacio de características. Además, la unidad 21 de comparación de características divide el espacio de características que tiene los puntos característicos de la marca dispuestos en él en una pluralidad de segmentos añadiendo las líneas de segmento al mismo. Además, la unidad 21 de comparación de características especifica los segmentos en los que el número de puntos característicos es igual o mayor que un número predeterminado ("1" en esta realización ejemplar). Estos segmentos especificados se muestran en la Figura 22. En la misma figura, los segmentos rellenos en negro son segmentos en los que el número de puntos característicos es igual o mayor que el número predeterminado.
Además, la unidad de comparación de características 21 organiza las características únicas que se muestran en "la tabla de información de características únicas" en el espacio de características. Además, la unidad de comparación de características 21 dispone los puntos característicos de la marca en el espacio de características anterior. Una situación de este arreglo se muestra en la Figura 23.
En la misma figura, los segmentos de color blanco son indicativos de segmentos que tienen las características únicas dispuestas en ellos, los segmentos de color gris son indicativos de segmentos que no tienen características únicas dispuestas en ellos, y los segmentos de color negro son indicativos de segmentos que tiene los puntos característicos de la marca dispuestos en el mismo.
Además, en la misma figura, el número de segmentos (segmentos de color blanco) que tienen la característica única dispuesta en ellos es mayor que el de los segmentos (segmentos de color gris) que no tienen ninguna característica única dispuesta en ellos. La razón es que la imagen original es una imagen como la que se muestra en la Figura 11, y el número de puntos característicos extraídos es bajo. Si los puntos característicos se extraen más numerosos de la totalidad de la imagen, el número de segmentos con un color gris se convierte en muchos y el número de características únicas se reduce.
Además, la unidad 21 de comparación de características selecciona los puntos característicos de la marca que coinciden con las características únicas.
En la misma figura, todos los puntos característicos de la marca coinciden con las características únicas. En este caso, la unidad 21 de comparación de características determina que la marca anterior se puede utilizar como marcador de detección porque el número de puntos característicos que coinciden con las características únicas es igual o superior a un número predeterminado.
La unidad 22 de almacenamiento de resultados de comparación almacena un resultado de la determinación por parte de la unidad 21 de comparación de características.
(II) Método de determinación de marcador
A continuación, se explicará un procedimiento operativo del dispositivo de determinación de marcador (método de determinación de marcador) haciendo referencia a la Figura 24.
La Figura 23 es un diagrama de flujo que ilustra un procedimiento de procesamiento del método de determinación de marcadores.
En el dispositivo 1b de determinación de marcador, la unidad 31 de entrada de imágenes de video del medio 30 de entrada de imágenes de video captura (o introduce) la imagen de video de fondo (Paso 20). Esta imagen de vídeo de fondo puede estar configurada a partir de una pluralidad de piezas de las imágenes de fotograma. La unidad 32 de almacenamiento de imagen de video del medio 30 de entrada de imágenes de video almacena la imagen de video de fondo introducida por la unidad 31 de entrada de imágenes de video como la imagen de fotograma.
Además, la unidad 31 de entrada de imágenes de video captura (o introduce) la imagen de video de la marca, siendo un objetivo de determinación (Paso 21). La unidad 32 de almacenamiento de imágenes de video almacena la imagen de video de la marca introducida por la unidad 31 de entrada de imágenes de video.
La unidad 41 de extracción de características de fondo del medio 40 de extracción de características extrae las imágenes de fotogramas de la unidad 32 de almacenamiento de imágenes de vídeo y extrae los puntos característicos de estas imágenes de fotogramas (Paso 22).
Además, la unidad 41 de extracción de características de fondo dispone estos puntos característicos en el espacio de características. Y, la unidad 41 de extracción de características de fondo calcula las coordenadas de los puntos característicos en el espacio de características. Estas coordenadas calculadas se juntan en "la tabla de información de puntos característicos" y se almacenan en la unidad 43 de almacenamiento de características.
A continuación, la unidad 41 de extracción de características de fondo divide el espacio de características en una pluralidad de segmentos utilizando celdas de malla en forma de cuadrícula. Continuamente, la unidad 41 de extracción de características de fondo obtiene el número de puntos característicos para cada segmento, y selecciona los segmentos en los que el número de puntos característicos es cero, o igual o menor que un número predeterminado como características únicas (Paso 23 ).
Y, la unidad 41 de extracción de características de fondo prepara "la tabla de información de características únicas" indicativa de las coordenadas de las características únicas seleccionadas. La unidad 11 de almacenamiento de características únicas del medio 10 de almacenamiento de características almacena "la tabla de información de características únicas".
La unidad 42 de extracción de características de marca del medio 40 de extracción de características extrae la imagen de la marca procedente de la unidad 32 de almacenamiento de imágenes de vídeo y extrae los puntos característicos de esta imagen de la marca (Paso 24).
Además, la unidad 42 de extracción de características de marca dispone estos puntos característicos en el espacio de características. Y, la unidad 42 de extracción de características de marca calcula las coordenadas de los puntos característicos en el espacio de características. Estas coordenadas calculadas se juntan en "la tabla de información de características de marca" y se almacenan en la unidad 12 de almacenamiento de características de marca del medio 10 de almacenamiento de características.
La unidad 21 de comparación de características del medio 20 de comparación de características extrae "la tabla de información de características únicas" de la unidad 11 de almacenamiento de características únicas. Además, la unidad 21 de comparación de características extrae "la tabla de información de características de marca" de la unidad 12 de almacenamiento de características de marca
A continuación, la unidad 21 de comparación de características hace referencia a "la tabla de información de características únicas" y dispone las características únicas en el espacio de características. Además, la unidad 21 de comparación de características hace referencia a "la tabla de información de características de la marca" y dispone los puntos característicos de la marca en el espacio de características anterior (Paso 25). Y, la unidad 21 de comparación de características selecciona los puntos característicos de la marca que coinciden con las características únicas (Paso 26).
Continuamente, la unidad 21 de comparación de características determina si el número de puntos característicos seleccionados de la marca es igual o mayor que un número predeterminado (Paso 27).
Cuando el número de puntos característicos seleccionados de la marca es igual o superior a un número predeterminado como resultado de la determinación, se supone que la marca anterior se puede utilizar como marcador de detección (Paso 28).
Por otra parte, cuando el número de puntos característicos de la marca seleccionada es inferior a un número predeterminado, se supone que la marca anterior no se puede utilizar como marcador de detección (Paso 29).
Como se explicó anteriormente, el dispositivo de determinación de marcador y el método de determinación de marcador de esta realización ejemplar se configuraron para extraer los puntos característicos de la marca, siendo un objetivo de determinación, para disponer estos puntos característicos en el espacio de características y para determinar si estos puntos característicos coinciden con las características únicas. Esto permite determinar si la marca existente y la marca cuyo diseño se ha decidido pueden convertirse o no en un objetivo de detección del dispositivo de detección de marcadores.
Además, mientras que los puntos característicos dispuestos en el espacio de características que se muestra en la Figura 22 y los puntos característicos de la marca que se muestra en la Figura 23 son puntos característicos basados únicamente en la marca, respectivamente, el punto característico no se limita al punto característico basado únicamente en la marca sobre la marca y, por ejemplo, también es posible extraer los puntos característicos del fondo que contiene la marca, disponer estos puntos característicos en el espacio de características y comparar estos puntos característicos con las características únicas. También en este caso, cuando los segmentos que contienen los puntos característicos de la marca coinciden con las características únicas, se puede determinar que la marca anterior se puede usar como marcador de detección.
[La tercera realización ejemplar]
A continuación, se explicará la tercera realización ejemplar del dispositivo de determinación de marcador y el método de determinación de marcador de la presente invención haciendo referencia a la Figura 25.
La misma figura es un diagrama de bloques que ilustra una configuración del dispositivo de determinación de marcador de esta realización ejemplar.
Esta realización ejemplar, en comparación con la primera realización, difiere en el punto de incluir nuevos medios de entrada de imágenes de vídeo, medios de extracción de características y medios de conversión de características invariantes. Otros componentes son similares a los de la primera realización ejemplar.
Así, en la Figura 25, se añaden códigos idénticos a los componentes similares a los de la Figura 1, y se omite su explicación detallada.
(I) Dispositivo de determinación de marcador
Como se muestra en la Figura 25, un dispositivo 1c de determinación de marcador está provisto de un medio 10 de almacenamiento de características, un medio 20 de comparación de características, un medio 30 de entrada de imágenes de video, un medio 40 de extracción de características y un medio 50 de conversión de características invariantes.
Aquí, el medio 40 de extracción de características incluyen una unidad 41 de extracción de características de fondo, una unidad 42 de extracción de características de marca y una unidad 43 de almacenamiento de características como se muestra en la Figura 26.
La unidad 41 de extracción de características de fondo extrae las imágenes de fotogramas de la unidad 32 de almacenamiento de imágenes de vídeo y extrae las características de la imagen que contienen el patrón característico dentro de esta imagen de fotograma.
A continuación, la unidad 41 de extracción de características de fondo añade el número de serie a cada uno de los puntos característicos como se muestra en la Figura 13. Continuamente, la unidad 41 de extracción de características de fondo obtiene la coordenada de cada punto característico.
Y, la unidad 41 de extracción de características de fondo reúne estos números de serie y coordenadas de los puntos característicos como "la tabla de información de puntos característicos" y hace que la unidad 43 de almacenamiento de características los almacene.
La unidad 42 de extracción de características de marca extrae los puntos característicos en función de la imagen de vídeo de la marca introducida por la unidad 31 de entrada de imágenes de vídeo. Además, la unidad 42 de extracción de características de marca dispone los puntos característicos extraídos en el espacio de características. El espacio de características que tiene estos puntos característicos dispuestos en él es similar al que se muestra en la Figura 21.
Además, la unidad 42 de extracción de características de marca calcula la coordenada de cada punto característico en el espacio de características. La unidad 42 de extracción de características de marca reúne estas coordenadas calculadas de los puntos característicos en "la tabla de información de características de marca" (ver Figura 4). Esta "tabla de información de características de marcas" se almacena en la unidad 12 de almacenamiento de características de marca del medio 10 de almacenamiento de características.
La unidad 43 de almacenamiento de características almacena "la tabla de información de puntos característicos".
El medio 50 de conversión de características invariantes, como se muestra en la Figura 26, incluyen una primera unidad 51 de conversión de características invariantes, una segunda unidad 52 de conversión de características invariantes, una unidad 53 de almacenamiento de características invariantes y una unidad 54 de selección de características únicas.
La primera unidad 51 de conversión de características invariantes convierte los puntos característicos en las características invariantes. Esta primera unidad 51 de conversión de características invariantes extrae "la tabla de información de puntos característicos" de la unidad 43 de almacenamiento de características del medio 40 de extracción de características, convierte los puntos característicos de los mismos en las características invariantes y hace que la unidad 53 de almacenamiento de características invariantes los almacene.
En el caso de extraer un segmento distintivo en una imagen y definir una serie de información de coordenadas de posición en la imagen anterior como una característica gráfica (por ejemplo, en el caso de un proceso de extracción de los puntos característicos que se muestran en la Figura 12 del fondo imagen de vídeo mostrada en la Figura 11), la conversión de la misma en la característica invariante se puede realizar de la manera que se describe a continuación, por ejemplo. Por conveniencia, las series de información de coordenadas de posición se denominan aquí grupos de puntos característicos. Para simplificar, se explicará una característica geométrica invariante en un fondo lejano. Sin embargo, se debe tener en cuenta que la cantidad de características es invariante incluso cuando un efecto de distorsión óptica puede causar una distorsión deformación por corte en la imagen. Sin embargo, es fácil extender la característica invariante a la que tiene un mayor grado de libertad en un caso en el que el fondo no está muy lejos, o similar. Se explicará un método ejemplar para generar una característica invariante geométrica a partir de la relación posicional entre los grupos de puntos característicos, en el que la característica invariante geométrica es una cantidad de características que es invariante independientemente de un cambio en la relación posicional relativa que da como resultado la distorsión deformativa por corte cuando una cámara y una escena, siendo un objetivo a ser fotografiado, se giran y trasladan entre sí.
Se seleccionan tres puntos característicos arbitrarios de los grupos de puntos característicos. Por otro lado, el espacio de características invariantes se define como un plano bidimensional atravesado por dos ejes ortogonales. Se hace que uno de los puntos característicos seleccionados de los grupos de puntos característicos corresponda a un origen en el espacio de características invariante. Se hace que otros dos puntos correspondan a las coordenadas de posición (1,0) y (0,1) en el espacio de características invariantes, respectivamente. Estos tres puntos se denominan bases en lo sucesivo. En ese momento, un mapa lineal uno a uno desde el espacio de la imagen original hasta el espacio de características invariantes puede definirse como una transformación afín. Todos los grupos de puntos característicos, excepto las bases, se asignan al espacio de características invariantes empleando la misma transformación afín caracterizada por las bases, por lo que estos grupos de puntos característicos son invariantes independientemente de la relación de posición relativa entre la cámara y la escena. En la práctica, sin embargo, es necesario seleccionar las bases de todas las permutaciones y combinaciones de tres de los grupos de puntos característicos, y asignar puntos característicos no base con respecto a cada base en el espacio de características invariante porque no siempre se pueden seleccionar bases idénticas de las escenas.
Todas las bases creadas de esta manera y los mapas de todos los puntos característicos en el espacio de características invariantes se almacenan en la unidad 53 de almacenamiento de características invariantes como las características invariantes. La razón por la que estos grupos de puntos característicos son invariantes frente a la deformación geométrica es que las bases seleccionadas del marcador permiten que la característica invariante resultante coincida en la imagen de video que contiene otros objetos en cualquier momento.
Aunque la técnica de definir el número de bases como tres se explicó hasta ahora, el número de bases no se limita a tres, y el número de bases podría ser 1, 2 o cuatro o más. A continuación, se explicará la técnica de definir el número de bases como uno (1).
Se supone que los puntos característicos extraídos de una determinada imagen de fotograma, como se muestra en la Figura 12, están dispuestos en el espacio de características. Además, se supone que el número de serie se agrega a cada punto característico como se muestra en la Figura 13.
La primera unidad 51 de conversión de características invariantes decide un punto característico como base, mueve este punto característico para que llegue a una ubicación de coordenadas (0, 0) en el espacio de características invariantes, obtiene esta cantidad de movimiento y mueve todos los demás puntos característicos así como al espacio de características invariantes por la cantidad de movimiento anterior.
Por ejemplo, como se muestra en la Figura 27, la unidad 51 de conversión de características invariantes define el punto característico con el número de serie 5 como base y traduce todos los puntos característicos para que este punto característico con el número 5 llegue a una ubicación de coordenadas (0, 0) en el espacio de características invariantes. Esto permite que los puntos característicos se organicen en el espacio de características invariante como se muestra a la derecha de la misma figura. Además, el punto característico dispuesto en el espacio de características invariantes se denomina característica invariante.
Además, como se muestra en la Figura 28, cuando la unidad 51 de conversión de características invariantes define el punto característico con el número de serie 15 como base, y traslada todos los puntos característicos para que el punto característico con el número 15 llegue a una ubicación de coordenadas (0, 0) en el espacio de características invariantes, el grupo de características invariantes se organiza como se muestra en el espacio de características invariantes de la derecha de la misma figura.
Además, como se muestra en la Figura 29, cuando la unidad 51 de conversión de características invariantes define el punto característico con el número de serie 89 como base y traduce todos los puntos característicos para que este punto característico con el número 89 llegue a una ubicación de coordenadas (0, 0) en el espacio de características invariantes, el grupo de características invariantes se organiza como se muestra en el espacio de características invariantes de la derecha de la misma figura.
Y, como se muestra en la Figura 30, cuando la unidad 51 de conversión de características invariantes define el punto característico con el número de serie 91 como base, y traduce todos los puntos característicos para que este punto característico con el número 91 llegue a una ubicación de coordenadas (0, 0) en el espacio de características invariantes, el grupo de características invariantes se organiza como se muestra en el espacio de características invariantes de la derecha de la misma figura.
De tal manera, la unidad 51 de conversión de características invariantes hace corresponder los puntos característicos en el espacio de características invariantes realizando un proceso de decidir un punto característico como base, moviendo esta base a un origen del espacio de características invariantes y moviendo todos los puntos característicos por una cantidad de movimiento idéntica a la cantidad anterior, acompañada de ésta, siempre que se decida secuencialmente cada punto característico como base, y superponiendo estos puntos característicos movidos.
Un resultado de haber hecho corresponder los puntos característicos que se muestran en la Figura 12 en el espacio de características invariantes es el que se muestra en la Figura 31. Esta es una situación en la que las características invariantes se han dispuesto en el espacio de características invariantes.
Además, mientras que como un método para hacer corresponder los puntos característicos en el espacio de características invariantes, el método que se muestra en la Figura 27 a la Figura 31 se emplea en esta realización ejemplar, el método de correspondencia no se limita a estos métodos, y se pueden emplear varios métodos.
Por ejemplo, un punto característico de una pluralidad de puntos característicos y otro punto característico se definen como una primera base y una segunda base, respectivamente, la primera base y la segunda base se mueven a la coordenada (0, 0) y coordenada (0 , 1) del espacio de características invariantes, respectivamente, y todos los demás puntos característicos se mueven según una regla de conversión idéntica a esta regla de movimiento, acompañada de esta, y la coordenada de cada punto característico (característica invariante) sujeto al movimiento en él se almacena el espacio de características invariantes. Continuamente, los otros dos puntos característicos se definen como una primera base y una segunda base, respectivamente, la primera base y la segunda base se mueven, todos los puntos característicos se mueven según la regla de conversión idéntica, acompañada de esto, y las coordenadas de las características invariantes se almacenan en el espacio de características invariantes. Y, cuando se decide que todos los puntos característicos sean la primera base o la segunda base, y se completa la acumulación de las coordenadas de las características invariantes en el espacio de características invariantes, finaliza la correspondencia en el espacio de características invariantes.
Además, aunque la explicación anterior de la operación se hizo sobre la invariante geográfica, se pueden usar varios tipos de invariantes además de la invariante geográfica.
Por ejemplo, el color de un objeto puede emplearse como invariante.
El color de un objeto puede variar en la imagen incluso si el objeto es el mismo, dependiendo del color de la fuente de luz presente en el entorno de la imagen. Cuando la influencia de una fluctuación en el color de la fuente de luz se puede separar y eliminar de la imagen, se puede obtener el color real del objeto. El color del objeto real que se va a obtener se puede utilizar como invariante del color del objeto. Una parte que exhibe una reflexión especular se ve afectada principalmente por el color de la fuente de luz, y el valor de luminancia tiende a saturarse para el componente de color de la fuente de luz, de modo que el componente puede considerarse como el color de la fuente de luz para evitar que el componente de color correspondiente a la parte saturada sea seleccionado como la característica invariante.
Además, los métodos para estimar el color del objeto a partir de la imagen que pueden emplearse incluyen un método por Robby T. Tan y Katsushi Ikeuchi, descrito en "Separating Reflection Components of Textured Surfaces Using a Single Image " IEEE TRANSACTIONS ON PATRON ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, núm. 2, FEBRERO 2005, PP. 178-193, un método por Graham D. Finlayson, Steven D. Hordley, Cheng Lu y Mark S. Drew describieron en " On the Removal of Shadows from Images ", Ie Ee t Ra NSACTIONS o N PATTERN An ALYSIS AND MACHINE INTELLIGENT, VOL. 28, núm. 1, ENERO 2006, PP. 59-68, y similares.
Además, se puede emplear una textura como invariante.
Se somete a cálculo numérico una distribución de luminancia para una región parcial de la imagen, y el valor numérico o vector resultante se define como una cantidad característica. De manera similar a la invariante gráfica, la invariante de textura es susceptible a la influencia de la relación de posición relativa entre la cámara y el objetivo del que se va a fotografiar y, por lo tanto, la cantidad de características que no es susceptible a esta influencia se calcula y define como una invariante de textura. Por ejemplo, la cantidad de características invariante frente a la distancia entre la cámara y el objetivo o un zoom puede implementarse convirtiendo una imagen parcial de interés en coordenadas polares y tomando un espectro de potencia en la dirección del radio. Además, el espectro de potencia se puede tomar de nuevo con respecto al espectro de potencia anterior en la dirección azimutal para obtener la cantidad característica que es invariante frente a la rotación alrededor de un eje óptico de la cámara. Además, el método por Chi-Man Pun y Moon-Chuen Lee describieron en "Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 25, núm. 5 de mayo de 2003, o similares pueden ser empleados.
Además, con respecto al invariante geométrico, también puede emplearse otro tipo de invariante geométrico como el de Richard Hartley y Andrew Zisserman descrito en "Multiple View Geometry in Computer Vision". Cuando la misma escena es observada por una pluralidad de cámaras, el método descrito en esta bibliografía permite adquirir información sobre una distancia o una relación posicional relativa en la dirección de la profundidad, y en este caso, cuando cuatro puntos se encuentran en planos no idénticos se seleccionan como bases y se supone que el espacio de características invariantes es tridimensional, se puede crear una invariante geométrica tridimensional. En este momento, se obtiene un mapa de conversión en el que una de las cuatro bases seleccionadas de los grupos de puntos característicos se hace corresponder a un origen del espacio invariante, y los puntos característicos de las otras bases se corresponden con coordenadas de posición (1, 0, 0), (0, 1, 0) y (0 ,0 ,1) en el espacio invariante, y este mapa de conversión se usa para hacer corresponder las otras características en el espacio invariante.
La primera unidad 51 de conversión de características invariantes que ha hecho corresponder los puntos característicos en el espacio de características invariantes divide el espacio de características invariantes en una pluralidad de segmentos mediante el uso de celdas de malla en forma de cuadrícula como se muestra en la Figura 32.
Continuamente, la primera unidad 51 de conversión de características invariantes obtiene el número de características invariantes para cada segmento. Un resultado de este cálculo se muestra en la Figura 33. La Figura 33 es una vista en la que los segmentos del espacio de características invariantes en el que el número de características invariantes es uno o más se han coloreado en un color gris.
La segunda unidad 52 de conversión de características invariantes hace corresponder los puntos característicos de la marca en el espacio de características invariantes.
Este método del mapa es idéntico al método de hacer corresponder los puntos característicos de la imagen de vídeo de fondo en el espacio de características invariantes que realiza la primera unidad 51 de conversión de características invariantes.
Por ejemplo, cuando los puntos característicos que se muestran en la Figura 20 se hacen corresponder en el espacio de características invariantes, las características invariantes se organizan como se muestra en la Figura 34.
Además, para las características invariantes en el espacio de características invariantes, la segunda unidad 52 de conversión de características invariantes prepara "la tabla de información de características de marca" (ver Figura 4). Esta "tabla de información de características de marca" preparada se almacena en la unidad 12 de almacenamiento de características de marca del medio 20 de comparación de características.
La unidad 53 de almacenamiento de características invariantes mantiene una región de memoria predeterminada. Esta unidad 53 de almacenamiento de características invariantes almacena varios tipos de datos obtenidos por la primera unidad 51 de conversión de características invariantes. Los diversos tipos de datos contienen, por ejemplo, las coordenadas de las características invariantes respectivas dispuestas en el espacio de características invariantes, las coordenadas (ámbitos) de respectivos segmentos, respectivos números de características invariantes por segmento, y similares.
La unidad 54 de selección de características únicas, como se muestra en la Figura 35, decide el alcance (alcance para determinar si la marca, al ser un objetivo de determinación, se puede usar o no como marcador de detección) para generar el patrón de marcador en el espacio de características invariantes como ámbito de generación de patrón de marcador. El tamaño de este alcance de generación de patrón de marcador podría ser idéntico al del fotograma de imagen fija.
A continuación, la unidad 54 de selección de características únicas extrae los números de características invariantes por segmento en el ámbito de generación de patrón de marcador anterior de la unidad 53 de almacenamiento de características invariantes . Estos números de características invariantes por segmento extraídos se muestran en la Figura 36.
Además, la Figura 36 es una vista en la que los segmentos del ámbito de generación del patrón de marcador en los que el número de características invariantes es uno o más se han coloreado en color gris.
Continuamente, la unidad 54 de selección de características únicas selecciona los segmentos que tienen un número de características invariante de cero, o igual o menor que un valor predeterminado, de los números de características invariantes por segmento, en el alcance de generación de patrón de marcador como las características únicas.
Y, la unidad 54 de selección de características únicas prepara "la tabla de información de características únicas" sobre las características únicas seleccionadas (ver Figura 3), y hace que la unidad 11 de almacenamiento de características únicas las almacene.
(II) Método de determinación de marcadores
A continuación, se explicará una operación del dispositivo de determinación de marcador (método de determinación de marcador) haciendo referencia a la Figura 37.
La misma figura es un diagrama de flujo que ilustra un procedimiento de procesamiento del método de determinación de marcador de esta realización ejemplar.
En el dispositivo 1c de determinación de marcador, la unidad 31 de entrada de imágenes de video del medio 30 de entrada de imágenes de video captura (o introduce) la imagen de video de fondo (Paso 30). Esta imagen de vídeo de fondo puede estar configurada a partir de una pluralidad de piezas de las imágenes de fotograma. La unidad 32 de almacenamiento de imagen de video del medio 30 de entrada de imagen de video almacena como imagen de fotograma la imagen de video de fondo introducida por la unidad 31 de entrada de imagen de video.
Además, la unidad 31 de entrada de imágenes de vídeo captura (o introduce) la imagen de vídeo de la marca, siendo un objetivo de determinación (Paso 31). La unidad 32 de almacenamiento de imagen de video almacena la imagen de video de la marca introducida por la unidad 31 de entrada de imagen de video.
La unidad 41 de extracción de características de fondo del medio 40 de extracción de características extrae la imagen de fotograma de la unidad 32 de almacenamiento de imágenes de vídeo y extrae los puntos característicos de esta imagen de fotograma (Paso 32).
Además, la unidad 41 de extracción de características de fondo dispone estos puntos característicos en el espacio de características. Y, la unidad 41 de extracción de características de fondo calcula las coordenadas de los puntos característicos en el espacio de características. Estas coordenadas calculadas se juntan como "la tabla de información de puntos característicos" y se almacenan en la unidad 43 de almacenamiento de características.
A continuación, la primera unidad 51 de conversión de características invariantes del medio 50 de conversión de características invariantes hace corresponder los puntos característicos de la imagen de vídeo de fondo en el espacio de características invariantes (Paso 33).
Continuamente, la primera unidad 51 de conversión de características invariantes divide el espacio de características invariantes en una pluralidad de segmentos utilizando celdas de malla en forma de cuadrícula. Además, la primera unidad 51 de conversión de características invariantes obtiene el número de características invariantes para cada segmento, y selecciona los segmentos en los que el número de características invariantes es cero, o igual o menor que un número predeterminado como características únicas (Paso 34 ).
Y, la primera unidad 51 de conversión de características invariantes prepara "la tabla de información de características únicas" indicativa de las coordenadas de las características únicas seleccionadas. La unidad 11 de almacenamiento de características únicas del medio 10 de almacenamiento de características almacena "la tabla de información de características únicas".
La unidad 42 de extracción de características de marca del medio 40 de extracción de características extrae la imagen de la marca de la unidad 32 de almacenamiento de imágenes de video y extrae los puntos característicos de esta imagen de la marca (Paso 35).
Además, la unidad 42 de extracción de características de marca dispone estos puntos característicos en el espacio de características. Y, la unidad 42 de extracción de características de marca calcula las coordenadas de los puntos característicos en el espacio de características. Estas coordenadas calculadas se juntan como "la tabla de información de características de marca" y se almacenan en la unidad 12 de almacenamiento de características de marca del medio 10 de almacenamiento de características.
La unidad 21 de comparación de características del medio 20 de comparación de características extrae "la tabla de información de características únicas" de la unidad 11 de almacenamiento de características únicas. Además, la unidad 21 de comparación de características extrae "la tabla de información de características de marca" de la unidad 12 de almacenamiento de características de marca.
A continuación, la unidad 21 de comparación de características hace referencia a "la tabla de información de características únicas" y dispone las características únicas en el espacio de características. Además, la unidad 21 de comparación de características hace referencia a "la tabla de información de características de la marca" y dispone los puntos característicos de la marca en el espacio de características anterior (Paso 36). Y, la unidad 21 de comparación de características selecciona los puntos característicos de la marca que coinciden con las características únicas (Paso 37).
Continuamente, la unidad 21 de comparación de características determina si el número de puntos característicos de la marca seleccionada es igual o mayor que un número predeterminado (Paso 38).
Cuando el número de puntos característicos de la marca seleccionada es igual o superior a un número predeterminado como resultado de la determinación, se supone que la marca anterior se puede utilizar como marcador de detección (Paso 39).
Por otra parte, cuando el número de puntos característicos de la marca seleccionada es inferior a un número predeterminado, se supone que la marca anterior no puede utilizarse como marcador de detección (Paso 40).
Como se explicó anteriormente, el dispositivo de determinación de marcador y el método de determinación de marcador de la presente invención se configuraron para extraer los puntos característicos de la marca, siendo un objetivo de determinación, para disponer estos puntos característicos en el espacio de características invariante y para determinar si estos puntos característicos los puntos coinciden con las características únicas. Esto permite determinar si la marca existente y la marca cuyo diseño se ha decidido pueden convertirse o no en un objetivo de detección del dispositivo de detección de marcadores.
Además, mientras que las características invariantes basadas únicamente en la marca están dispuestas en el espacio de características invariantes que se muestra en la Figura 34, la característica invariante no se limita a la característica invariante basada únicamente en la marca y, por ejemplo, también es posible extraer los puntos característicos del fondo que contiene la marca, para hacer corresponder estos puntos característicos en el espacio de características invariante y comparar estos puntos característicos con las características únicas. También en este caso, cuando los segmentos que contienen las características invariantes de la marca coinciden con las características únicas, se puede determinar que la marca anterior se puede usar como marcador de detección.
[El dispositivo de detección de marcadores y el método de detección de marcadores]
(El dispositivo de detección de marcadores)
A continuación, se explicará el dispositivo de detección de marcadores haciendo referencia a la Figura 38 y la Figura 39.
La Figura 38 es un diagrama de bloques que ilustra una configuración del dispositivo de detección de marcadores. La Figura 39 es un diagrama de bloques que ilustra una configuración detallada del dispositivo de detección de marcadores.
Como se muestra en la Figura 38, un dispositivo 100 de detección de marcadores está provisto de un medio 110 de entrada de imagen de video, un medio 120 de extracción de características, un medio 130 de almacenamiento de marcadores, un medio 140 de clasificación y un medio 150 de notificación.
Aquí, el medio 110 de entrada de imágenes de video incluyen una unidad 111 de entrada de imágenes de video y una unidad 112 de almacenamiento de imágenes de video como se muestra en la Figura 39.
La unidad 111 de entrada de imágenes de vídeo forma imágenes (introduce) del entorno en el que podría existir el marcador como la imagen de vídeo dirigida a la detección. Por ejemplo, la unidad 111 de entrada de imágenes de video puede introducir la imagen de video dirigida a la detección que contiene el marcador como se muestra en la Figura 40.
La unidad 112 de almacenamiento de imágenes de video almacena los fotogramas de imágenes fijas que constituyen la imagen de video dirigida a la detección como imágenes de fotogramas digitalizados.
El medio 120 de extracción de características incluye una unidad 121 de extracción de características y una unidad 122 de almacenamiento de características como se muestra en la Figura 39.
La unidad 121 de extracción de características extrae las imágenes de fotogramas de la unidad 112 de almacenamiento de imágenes de vídeo. Y la unidad 121 de extracción de características extrae las características de la imagen que contienen patrones característicos en las imágenes de fotogramas extraídas.
Por ejemplo, cuando la imagen de vídeo dirigida a la detección es una imagen mostrada en la Figura 40, la unidad 121 de extracción de características extrae los puntos característicos mostrados en la Figura 41 de la imagen de vídeo dirigida a la detección anterior.
La unidad 122 de almacenamiento de características almacena cada una de las coordenadas de los puntos característicos extraídos por la unidad 121 de extracción de características.
El medio 130 de almacenamiento de marcadores almacena datos relacionados con los patrones de marcadores determinados por el dispositivo 1 de determinación de marcador. Este medio 130 de almacenamiento de marcadores puede almacenar, por ejemplo, los puntos característicos basándose en los patrones de marcadores.
El medio 140 de clasificación, como se muestra en la Figura 39, incluyen una unidad 141 de clasificación y una unidad 142 de almacenamiento de resultados de clasificación.
La unidad 141 de clasificación extrae cada una de las coordenadas de los puntos característicos en función de las imágenes de vídeo dirigidas a la detección de la unidad 122 de almacenamiento de características, extrae cada una de las coordenadas de los puntos característicos en función del patrón de marcador de la unidad 130 de almacenamiento de marcadores y los clasifica. Y, la unidad 141 de clasificación determina si existe o no un punto característico que coincida con el punto característico basándose en el patrón de marcador dentro de los puntos característicos basándose en la imagen de vídeo dirigida a la detección.
Por ejemplo, se puede hacer una configuración para que cuando una característica del patrón de marcador y una característica generada a partir de la imagen de video dirigida a la detección tengan una distancia euclidiana igual o menor que un valor predeterminado en el espacio de características, estas características se pueden considerar como coincidencia, y el número de características consideradas como coincidencia se acumula como puntuación, y cuando la puntuación alcanza un umbral, se reconoce la detección de los marcadores. Además, se puede añadir una condición de que el valor acumulado de las distancias euclidianas antes mencionadas sea igual o menor que un valor predeterminado.
Además, por ejemplo, cuando la unidad 21 de extracción de características del dispositivo 1a de determinación de marcador realiza la determinación de las características únicas en un espacio de características cuantificado, el medio 130 de almacenamiento de marcadores almacena las coordenadas de las características únicas anteriores de antemano. Y, cuando la característica que proviene de la imagen de video dirigida a la detección se ha proyectado incluso una vez en la celda de malla que tiene una frecuencia de cero en el momento de diseñar el marcador, la unidad 141 de clasificación puede considerarlo como una contribución del patrón de marcador para confirmar la detección. Con esto, la detección de marcadores se puede realizar rápidamente.
Para evitar la detección errónea del marcador debido al ruido o a un error en el cálculo de extracción de características, la frecuencia de la proyección a reconocer puede definirse como un valor predeterminado de uno o más. Alternativamente, cuando el espacio de características cuantificado se puede generar a partir del patrón de marcador, se puede utilizar. En este caso, la detección del patrón de marcador puede reconocerse cuando la característica única obtenida de la imagen de video dirigida a la detección coincide con una malla de espacio de características sobre la que se proyecta el patrón de marcador una vez o un número predeterminado de veces.
Cuando, como resultado de esta comparación, existe un punto característico que coincide con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección, la unidad 141 de clasificación detecta la coordenada del punto característico anterior en la imagen de video dirigida a la detección, y hace que la unidad 142 de almacenamiento de resultados de clasificación la almacene. Además, la unidad 141 de clasificación envía una señal de notificación al medio 150 de notificación.
Por otro lado, cuando no existe ningún punto característico que coincida con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección, la unidad 141 de clasificación no detecta las coordenadas de los puntos característicos, ni envía la señal de notificación.
Específicamente, la unidad 141 de clasificación busca en el grupo de puntos característicos que se muestra en la Figura 41 los puntos característicos que coinciden con los puntos característicos basándose en el patrón de marcador extraído del medio 130 de almacenamiento de marcadores. En este momento, la unidad 141 de clasificación expande o reduce la grupo de puntos característicos basado en el patrón de marcador y lo clasifica con el grupo de puntos característicos en el espacio de características.
Como resultado, cuando la unidad 141 de clasificación encuentra los puntos característicos que coinciden con los puntos característicos basándose en el patrón de marcador extraído del medio 130 de almacenamiento de marcadores, entre el grupo de puntos característicos que se muestra en la Figura 41, detecta la coordenada de los puntos característicos anteriores en el espacio de características mostrado en la Figura 41, y hace que la unidad 142 de almacenamiento de resultados de clasificación lo almacene.
La unidad 142 de almacenamiento de resultados de clasificación almacena datos relacionados con la clasificación realizada en la unidad 141 de clasificación.
Por ejemplo, la unidad 142 de almacenamiento de resultados de clasificación almacena cada una de las coordenadas de los puntos característicos (en la Figura 41, puntos característicos rodeados por una elipse del lado izquierdo) que coinciden con los puntos característicos en función del patrón de marcador, fuera de los puntos característicos basados en la imagen de video dirigida a la detección.
Al recibir la señal de notificación de la unidad 141 de clasificación, el medio 150 de notificación notifica al exterior que existe un punto característico que coincide con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección. Como método de esta notificación, por ejemplo, existe una salida de voz, una visualización en pantalla o similares.
(El método de detección de marcadores)
A continuación, se explicará el método de detección de marcadores de esta realización ejemplar haciendo referencia a la Figura 42.
El medio 130 de almacenamiento de marcadores almacena datos relacionados con el marcador determinado como el objetivo de determinación por el dispositivo 1 de determinación de marcador de antemano (Paso 50). Este medio 130 de almacenamiento de marcadores puede almacenar, por ejemplo, los puntos característicos basándose en el patrón del marcador.
La unidad 111 de entrada de imágenes de video del medio 110 de entrada de imágenes de video introduce el entorno en el que podría existir el marcador como la imagen de video dirigida a la detección (Paso 51).
La unidad 112 de almacenamiento de imágenes de video almacena los fotogramas de imágenes fijas que constituyen la imagen de video dirigida a la detección como imágenes de fotogramas digitalizados.
La unidad 121 de extracción de características del medio 120 de extracción de características extrae la imagen de fotograma de la unidad 112 de almacenamiento de imágenes de vídeo. Y la unidad 121 de extracción de características extrae las características de la imagen que contienen patrones característicos en la imagen de fotograma extraída (Paso 52).
Además, la unidad 121 de extracción de características calcula las coordenadas de los puntos característicos extraídos (Paso 53).
La unidad 122 de almacenamiento de características almacena cada una de las coordenadas de los puntos característicos calculados por la unidad 121 de extracción de características.
La unidad 141 de clasificación del medio 140 de clasificación extrae cada una de las coordenadas de los puntos característicos basándose en las imágenes de vídeo dirigidas a la detección de la unidad 122 de almacenamiento de características, extrae cada una de las coordenadas de los puntos característicos basándose en el patrón de marcador, y los clasifica (Paso 54). Y, la unidad 141 de clasificación determina si existe o no un punto característico que coincida con el punto característico basándose en el patrón de marcador dentro de los puntos característicos basándose en la imagen de vídeo dirigida a la detección.
Cuando, como resultado de la determinación, existe un punto característico que coincide con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección, la unidad 141 de clasificación detecta la coordenada del punto característico anterior en la imagen de video dirigida a la detección, y hace que la unidad 142 de almacenamiento de resultados de clasificación la almacene. Además, la unidad 141 de clasificación envía la señal de notificación al medio 150 de notificación.
Por otro lado, cuando no existe ningún punto característico que coincida con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección, la unidad 141 de clasificación no detecta las coordenadas de los puntos característicos, ni envía la señal de notificación.
Al recibir la señal de notificación de la unidad 141 de clasificación, el medio 150 de notificación notifica al exterior que existe un punto característico que coincide con el punto característico basado en el patrón de marcador dentro de los puntos característicos basados en la imagen de video dirigida a la detección (Paso 55) .
A continuación, se determina si se termina o no la operación (Paso 56), y se repiten los procesos del Paso 51 al Paso 56 cuando la operación no ha terminado.
Como se explicó anteriormente, el dispositivo de detección de marcadores y el método de detección de marcadores de esta realización ejemplar permiten que el marcador reflejado en la imagen de video dirigida a la detección se detecte con seguridad mediante el empleo de la marca determinada como utilizable como marcador de detección por el dispositivo de determinación de marcador.
Además, aunque se asumió que la detección de marcadores se implementó en el espacio de características en esta realización ejemplar, la detección de marcadores no se limita a la implementación en el espacio de características y, por ejemplo, la detección de marcadores puede ser implementada en el espacio de características invariantes. En este caso, en la etapa de determinación de marcador, el diagrama de disposición de características únicas a partir del cual se han seleccionado las características únicas se almacena de antemano, y en la etapa de detección de marcadores, los puntos característicos se extraen de la imagen de video dirigida a la detección, estos puntos característicos se asignan al espacio de características invariantes y se definen como las características invariantes, este espacio de características invariantes y el diagrama de disposición de características únicas antes mencionado se superponen, y cuando la característica invariante indicada en el espacio de características invariantes aparece en las características únicas indicadas en la característica única diagrama de disposición, esta característica invariante se puede detectar como la característica invariante basada en el marcador.
Además, cuando se emplean la invariante de color del objeto y la invariante de textura en el momento de determinar el marcador de detección, el marcador se detecta empleando esta invariante de color del objeto y la invariante de textura en el momento de detectar el marcador. En este caso, en la etapa de determinación de marcador, la invariante de color del objeto y la invariante de textura se extraen de la imagen de video de fondo, y las características únicas basadas en estos se seleccionan y almacenan de antemano, y en la etapa de detección de marcadores, cuando la invariante de color del objeto y la invariante de textura se extraen de la imagen de video dirigida a la detección, y estas invariantes de color de objeto y de textura coinciden con la característica única, estas invariantes de color de objeto y de textura pueden detectarse como el marcador.
[El dispositivo de detección de determinación de marcador y el sistema de detección de determinación de marcador]
(El dispositivo de detección de determinación de marcador)
A continuación, se explicará el dispositivo de detección de determinación de marcador haciendo referencia a la Figura 43.
La Figura 43 es un diagrama de bloques que ilustra una configuración del dispositivo de detección de determinación de marcador.
Como se muestra en la Figura 43, un dispositivo 1000 de detección de determinación de marcador está provisto de un dispositivo 1 de determinación de marcador y un dispositivo 100 de detección de marcadores.
Aquí, como dispositivo 1 de determinación de marcador, puede emplearse cualquiera de los dispositivos 1 de determinación de marcador del primer ejemplo de realización al tercer ejemplo de realización descritos anteriormente.
Como dispositivo 100 de detección de marcadores, se puede emplear el dispositivo 100 de detección de marcadores que se muestra en la Figura 43 descrito anteriormente.
De tal manera, el dispositivo 1000 de detección de determinación de marcador puede asumir una configuración en la que el dispositivo 1 de determinación de marcador y el dispositivo 100 de detección de marcadores están unificados.
Además, el dispositivo 1000 de detección de determinación de marcador puede adoptar una configuración como la que se muestra en la Figura 44 porque el dispositivo 1 de determinación de marcador y el dispositivo 100 de detección de marcadores incluyen una función que se puede compartir.
Por ejemplo, el dispositivo 1000 de detección de determinación de marcador incluye un medio 30 de entrada de imagen de video, un medio 40 de extracción de características, un medio 50 de conversión de características invariantes, un medio 10 de almacenamiento de características, un medio 20 de comparación de características, una unidad 60 de almacenamiento de marcadores, un medio 140 de clasificación, y un medio 150 de notificación.
El medio 30 de entrada de imágenes de video, el medio 40 de extracción de características, el medio 50 de conversión de características invariantes, el medio 10 de almacenamiento de características, el medio 20 de comparación de características y la unidad 60 de almacenamiento de marcadores, entre ellos, incluyen una función como la determinación de marcadores dispositivo, respectivamente.
Por otra parte, el medio 30 de entrada de imágenes de vídeo, el medio 40 de extracción de características, la unidad 60 de almacenamiento de marcadores, el medio 140 de clasificación y el medio 150 de notificación incluyen una función como dispositivo de detección de marcadores, respectivamente.
Y, el medio 30 de entrada de imágenes de video, el medio 40 de extracción de características y la unidad 60 de almacenamiento de marcadores son partes que son comunes en el dispositivo de determinación de marcador y el dispositivo de detección de marcadores.
El método de determinación de marcador en el dispositivo de determinación de marcador es similar al método de determinación de marcador del primer ejemplo de realización al tercer ejemplo de realización descrito anteriormente.
Además, el método de detección de marcadores en el dispositivo de detección de marcadores es similar al método de detección de marcadores en las realizaciones ejemplares descritas anteriormente.
(El sistema de detección de determinación de marcador)
A continuación, se explicará el sistema de detección de determinación de marcador de esta realización ejemplar haciendo referencia a la Figura 45.
Como se muestra en la misma figura, un sistema 2000 de detección de determinación de marcador está provisto de un dispositivo 1 de determinación de marcador y un dispositivo 100 de detección de marcadores. Este dispositivo 1 de determinación de marcador y el dispositivo 100 de detección de marcadores pueden conectarse entre sí a través de una red de comunicación, un cable 300de comunicación 300, o similar.
El dispositivo 1 de determinación de marcador incluye un medio 30 de entrada de imagen de video, un medio 40 de extracción de características, un medio 50 de conversión de características invariantes, un medio 10 de almacenamiento de características, un medio 20 de comparación de características, una unidad 60 de almacenamiento de marcadores y un medio 70 de comunicación.
El medio 70 de comunicación extrae datos relacionados con los marcadores almacenados en la unidad 60 de almacenamiento de marcadores y los transmiten al dispositivo 100 de detección de marcadores.
El dispositivo 100 de detección de marcadores incluye un medio 110 de entrada de imágenes de video, un medio 120 de extracción de características, un medio 130 de almacenamiento de marcadores, un medio 140 de clasificación, un medio 150 de notificación y un medio 160 de comunicación.
El medio 160 de comunicación recibe los datos relacionados con los marcadores transmitidos desde el dispositivo 1 de determinación de marcador. Además, el medio 160 de comunicación hace que el medio 130 de almacenamiento de marcadores almacene los datos recibidos anteriormente relacionados con los marcadores.
Como se ha explicado anteriormente, el dispositivo de detección de determinación de marcador y el sistema de detección de determinación de marcador permiten determinar si la marca existente o las marcas cuyo diseño se ha decidido podrían o no encajar como objetivo de detección del dispositivo de detección de marcadores.
[El programa de determinación de marcador y el programa de detección de marcadores]
A continuación, se explicarán el programa de determinación de marcador y el programa de detección de marcadores. La función de determinación de marcador (función de ejecutar el método de determinación de marcador) y la función de detección de marcadores (función de ejecutar el método de detección de marcadores) de un ordenador (el dispositivo de determinación de marcador, el dispositivo de detección de marcadores, el dispositivo de detección de determinación de marcador y el sistema de detección de determinación) en cada realización ejemplar mencionada anteriormente se realizan con el programa de determinación de marcador o el programa de detección de marcadores almacenado en los medios de almacenamiento (por ejemplo, ROM (memoria de solo lectura), un disco duro o similar). El programa de determinación de marcador y el programa de detección de marcadores, que se cargan en un medio de control (CPU (Unidad Central de Procesamiento) etc.) del ordenador, envían un comando a cada uno de los componentes del ordenador y hacen que los componentes del ordenador para ejecutar procesos predeterminados, por ejemplo, el proceso de entrada de imágenes de video, el proceso de extracción de características, el proceso de selección de características únicas, el proceso de determinación de marcador, el proceso de conversión de características invariantes del dispositivo de determinación de marcador, así como el proceso de entrada de imágenes de video, el proceso de extracción de características, el proceso de recopilación y el proceso de notificación del dispositivo de detección de marcadores, y similares.
Con esto, los medios de configuración del programa de determinación de marcador, que son software, y el ordenador (el dispositivo de determinación de marcador, el dispositivo de detección de marcadores, el dispositivo de detección de determinación de marcador y el sistema de detección de determinación de marcador), que es el recurso de hardware, cooperan entre sí, permitiendo así que se realicen la función de determinación de marcador y la función de detección de marcadores.
Además, el programa de determinación de marcador para realizar la función de determinación de marcador y la función de detección de marcadores se almacena en la ROM y en un disco duro del ordenador, y similares, y además, se puede archivar en medios de grabación legibles por ordenador, por ejemplo, un dispositivo de almacenamiento externo y un medio de grabación portátil.
El llamado dispositivo de almacenamiento externo podría ser un dispositivo de expansión de memoria que tenga el medio de grabación tal como CD-ROM (Memoria de Sólo Lectura de Disco Compacto) incorporado y esté conectado externamente al dispositivo de determinación de marcador. Por otro lado, el llamado medio de grabación portátil es un medio de grabación que es instalable en un dispositivo de manejo de medios de grabación (driver device) y sin embargo es portátil, y por ejemplo podría ser un disco flexible, una tarjeta de memoria, una óptica disco magnético, y similares.
Y, el programa grabado en el soporte de grabación se carga en la RAM (Memoria de Acceso Aleatorio) del ordenador o similar, y es ejecutado por la CPU (medio de control). Esta ejecución permite realizar la función del dispositivo de determinación de marcador de cada ejemplo de realización descrito anteriormente.
Además, cuando el ordenador carga el programa de determinación de marcador, el programa de determinación de marcador mantenido por otros ordenadores puede descargarse en la RAM o en un dispositivo de almacenamiento externo, que incluye el ordenador anterior, utilizando una línea de comunicación. Este programa de determinación de marcador descargado también es ejecutado por la CPU, y se realiza la función de determinación de marcador del dispositivo de determinación de marcador de cada uno de los ejemplos de realización mencionados anteriormente.
Como se explicó anteriormente, el dispositivo de determinación de marcador, el sistema de detección de determinación de marcador, el dispositivo de detección de determinación de marcador, el marcador, el método de determinación de marcador y el programa de determinación de marcador de esta realización ejemplar hace posible determinar si la marca existente y la marca cuyo diseño se ha decidido de antemano puede utilizarse como objetivo de detección del dispositivo de detección de marcadores.
Por ejemplo, mientras que en las realizaciones ejemplares descritas anteriormente, se explicó el método de hacer una determinación con una marca tomada como marca objetivo de determinación, el número de marcas objetivo de determinación no está limitado a uno (1), y una pluralidad de las marcas se pueden determinar a la vez.
Además, el dispositivo de determinación de marcador puede estar provisto de un medio de notificación. Los medios de notificación, al recibir la señal de notificación de la unidad de comparación de características, notifican el resultado de una determinación de si la marca del objetivo de determinación puede usarse o no como marcador de detección hacia el exterior. Como método de esta notificación, por ejemplo, existe una salida de voz, una visualización en pantalla 0 similar.
Además, cuando, en un caso en el que la imagen de video de fondo se cambie temporalmente, el punto característico de la marca y la característica única no se superponen temporalmente en el espacio de características o el espacio de características invariantes, la unidad de comparación de características puede determinar que la marca anterior se puede utilizar como marcador de detección.
Además, como el dispositivo de determinación de marcador, el sistema de detección de determinación de marcador, el dispositivo de detección de determinación de marcador y el método de determinación de marcador de la presente invención, los dispositivos de determinación de marcador y los métodos de determinación de marcador en la primera realización ejemplar a la tercera realización ejemplar pueden ser arbitrariamente conjunto.
Esta solicitud se basa y reivindica el beneficio de prioridad de la solicitud de patente japonesa No. 2009-171842, solicitada el 23 de julio de 2009.
APLICABILIDAD INDUSTRIAL
La presente invención es una invención relacionada con la generación de un marcador y puede aplicarse a campos para dispositivos o aparatos para generar un marcador. Además, la presente invención también se puede aplicar a los campos de supervisión de imágenes de vídeo, como los representados por la gestión de artículos y la seguridad física, la visión robótica, la interfaz de usuario de realidad mixta y la generación de contenido.
Lista de señales de referencia
1 dispositivo de determinación de marcador
10 medio de almacenamiento de características
20 medio de comparación de características
30 medio de entrada de imagen de video
40 medio de extracción de características
50 medio de conversión de características invariantes
60 unidad de almacenamiento de marcador
100 dispositivo de detección de marcadores
110 medio de entrada de imagen de video
120 medio de extracción de características
130 medio de almacenamiento
140 medio de clasificación
1000 dispositivo de detección de determinación de marcador
2000 sistema de detección de determinación de marcador

Claims (6)

REIVINDICACIONES
1. Un dispositivo de determinación de marcador, que comprende:
un primer medio (41) de extracción de características configurado para extraer primeros puntos característicos de una imagen y disponer los primeros puntos característicos en segmentos de un espacio predeterminado; un medio (10) de almacenamiento de segmentos únicos configurado para almacenar los segmentos únicos en los que el número de los primeros puntos característicos es igual o inferior a un número predeterminado; un segundo medio (42) de extracción de características configurado para extraer segundos puntos característicos de una marca existente; y
un medio (20) de comparación de características configurado para disponer los segundos puntos característicos en los segmentos del espacio predeterminado, seleccionar los segundos puntos característicos contenidos dentro de los segmentos únicos y determinar que dicha marca existente se usa como un marcador detectable a partir de dicha imagen si el número de los segundos puntos característicos contenidos dentro de los segmentos únicos es igual o mayor que un número predeterminado.
2. Un dispositivo de determinación de marcador según la reivindicación 1, que comprende:
medio (30) de entrada de imágenes de vídeo configurado para visualizar dicha imagen.
3. Un dispositivo de determinación de marcador según la reivindicación 1 o la reivindicación 2, que comprende un medio (150) de notificación configurado para notificar un resultado de una determinación por dicho medio (20, 120) de comparación de características al exterior.
4. Un dispositivo de determinación de marcador según cualquiera de las reivindicaciones 1 a 3, que comprende:
un segundo medio (110) de entrada de imágenes de vídeo configurado para introducir una segunda imagen; un segundo medio (120) de extracción de características configurado para extraer terceros puntos característicos de la segunda imagen;
un medio (122) de almacenamiento de características configurado para almacenar los terceros puntos característicos; y
un medio (140) de clasificación configurado para disponer los terceros puntos característicos en los segmentos del espacio predeterminado, determina que la marca se detecta a partir de la segunda imagen si el número de los terceros puntos característicos que coinciden con los segmentos únicos es igual o mayor que un número predeterminado.
5. Un método de determinación de marcador que comprende los pasos de:
introducir una imagen;
extraer los primeros puntos característicos de dicha imagen;
disponer los primeros puntos característicos en los segmentos de un espacio predeterminado; seleccionar segmentos únicos de dicho espacio en los que el número de dichos primeros puntos característicos sea igual o inferior a un número predeterminado;
extraer segundos puntos característicos de una marca existente;
disponer los segundos puntos característicos en los segmentos de dicho espacio predeterminado; seleccionar los segundos puntos característicos que coinciden con los segmentos únicos; y
determinar que dicha marca existente se puede utilizar como un marcador detectable a partir de dicha imagen si el número de los segundos puntos característicos que coinciden con los segmentos únicos es igual o superior a un número predeterminado.
6. Un programa de determinación de marcador para hacer que un dispositivo de procesamiento de información ejecute los procesos de:
introducir una imagen;
extraer los primeros puntos característicos de dicha imagen;
disponer los primeros puntos característicos en los segmentos de un espacio predeterminado; seleccionar segmentos únicos de dicho espacio en los que el número de dichos primeros puntos característicos sea igual o inferior a un número predeterminado; y
extraer segundos puntos característicos de una marca existente;
disponer los segundos puntos característicos en los segmentos de dicho espacio predeterminado; seleccionar los segundos puntos característicos que coinciden con los segmentos únicos; y
determinar que dicha marca existente se usa como un marcador que es detectable a partir de dicha imagen si el número de los segundos puntos característicos que coinciden con los segmentos únicos es igual o mayor que un número predeterminado.
ES10802327T 2009-07-23 2010-07-22 Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo Active ES2941678T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009171842 2009-07-23
PCT/JP2010/062384 WO2011010707A1 (ja) 2009-07-23 2010-07-22 マーカ判定装置、マーカ判定検出システム、マーカ判定検出装置、マーカ、マーカ判定方法及びそのプログラム

Publications (1)

Publication Number Publication Date
ES2941678T3 true ES2941678T3 (es) 2023-05-24

Family

ID=43499179

Family Applications (1)

Application Number Title Priority Date Filing Date
ES10802327T Active ES2941678T3 (es) 2009-07-23 2010-07-22 Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo

Country Status (6)

Country Link
US (1) US8693786B2 (es)
EP (1) EP2458559B1 (es)
JP (1) JP5700221B2 (es)
CN (1) CN102473310B (es)
ES (1) ES2941678T3 (es)
WO (1) WO2011010707A1 (es)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634654B2 (en) 2011-04-15 2014-01-21 Yahoo! Inc. Logo or image recognition
US9689673B2 (en) * 2014-04-14 2017-06-27 Saab Vricon Systems Ab Target determining method and system
US11151630B2 (en) 2014-07-07 2021-10-19 Verizon Media Inc. On-line product related recommendations
CN105654102A (zh) * 2014-11-10 2016-06-08 富士通株式会社 数据处理装置及数据处理方法
CN107234615B (zh) * 2017-05-15 2023-12-19 长沙长泰机器人有限公司 工件摆放***、工件放置装置及工件摆放控制方法
JP2022110885A (ja) * 2021-01-19 2022-07-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412487A (en) 1991-11-27 1995-05-02 Hitachi, Ltd. Video camera and apparatus for extracting an object
JP2003223639A (ja) 2002-01-29 2003-08-08 Ntt Docomo Inc 物体識別情報認識システム、物体識別情報認識方法、画像入力装置及び、物体識別情報認識装置
JP2005252090A (ja) 2004-03-05 2005-09-15 Hitachi Industrial Equipment Systems Co Ltd 半導体素子の温度検出方法及び電力変換装置
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
EP2120211B1 (en) * 2007-01-23 2020-07-29 NEC Corporation Marker generating system and method

Also Published As

Publication number Publication date
EP2458559A4 (en) 2014-04-16
EP2458559A1 (en) 2012-05-30
US20120114254A1 (en) 2012-05-10
US8693786B2 (en) 2014-04-08
CN102473310A (zh) 2012-05-23
EP2458559B1 (en) 2023-01-11
CN102473310B (zh) 2015-03-25
JP5700221B2 (ja) 2015-04-15
WO2011010707A1 (ja) 2011-01-27
JPWO2011010707A1 (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
US10650546B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
ES2823232T3 (es) Sistema de generación de marcador y método
ES2941678T3 (es) Dispositivo de determinación de marcador, sistema de detección de determinación de marcador, dispositivo de detección de determinación de marcador, marcador, método de determinación de marcador y programa para el mismo
US20180211404A1 (en) 3d marker model construction and real-time tracking using monocular camera
JP5061350B2 (ja) モーションキャプチャシステム、及びモーションキャプチャシステムにおける特徴点の三次元再構成法
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
CN111179347B (zh) 基于区域性特征的定位方法、定位设备及存储介质
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
JP5700220B2 (ja) マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びそのプログラム
JP2017151797A (ja) 幾何検証装置、プログラム及び方法
KR20070014767A (ko) 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
JP2014164483A (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
JP6558803B2 (ja) 幾何検証装置及びプログラム
KR20120026864A (ko) 콘텍스트 교차에 근거한 라인 매칭 방법
ES2550502T3 (es) Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo
KR101900797B1 (ko) 루빅스 큐브를 이용한 증강현실 제공 방법
Li et al. Fiducial marker based on projective invariant for augmented reality
Soysal et al. Recognition of 3d objects from unconstrained 2d images by using local appearance and affine geometry
Nagy Applications of computer vision: skyline extraction and congressional districting
Llanos et al. Do-It-Yourself Single Camera 3D Pointer Input Device
Zhang 3D Pedestrian Tracking and Virtual Reconstruction of Ceramic Vessels Using Geometric and Color Cues