ES2529302T3

ES2529302T3 - Método para detectar y reconocer un objeto en una imagen, y un aparato y un programa informático para ello

Info

Publication number: ES2529302T3
Application number: ES10189225.5T
Authority: ES
Inventors: Ernst David Herbschleb; Peter Hendrik Nelis De With
Original assignee: CycloMedia Tech BV
Current assignee: CycloMedia Tech BV
Priority date: 2010-10-28
Filing date: 2010-10-28
Publication date: 2015-02-18
Anticipated expiration: 2030-10-28
Also published as: US20130259367A1; WO2012056002A1; PL2447884T3; US9129156B2; DK2447884T3; PT2447884E; CA2815591A1; CA2815591C; EP2447884B1; EP2447884A1

Abstract

Un método para detectar y reconocer una señal de tráfico en una imagen (110) suministrada como entrada, de tal manera que el método comprende una etapa de tratamiento preliminar (130), una etapa de tratamiento (140) y una etapa de tratamiento ulterior (150), de tal modo que dicha etapa de tratamiento preliminar (130) está configurada para preparar la imagen (110) suministrada como entrada para la etapa de tratamiento (140), dicha etapa de tratamiento (140) está configurada para localizar al menos una señal de tráfico candidata en la imagen tratada preliminarmente, y dicha etapa de tratamiento ulterior está configurada para rechazar las detecciones falsas y atribuir un valor que indica la precisión para las detecciones correctas, de manera que la etapa de tratamiento comprende: identificar puntos de características en la imagen suministrada como entrada y tratada preliminarmente; construir un descriptor para cada punto de características, de tal modo que dicho descriptor comprende una descripción del entorno de cada punto de características; proporcionar una biblioteca que comprende una jerarquía de una pluralidad de plantillas correspondientes a una pluralidad de señales de tráfico, de manera que cada plantilla para cada señal de tráfico comprende una pluralidad de subplantillas que representan una parte de la señal de tráfico; hacer coincidir los descriptores con las subplantillas de la biblioteca o con descriptores correspondientes deducidos de esas subplantillas; combinar las subplantillas correspondientes a los descriptores que coinciden, a fin de formar una señal de tráfico candidata; de tal modo que la plantilla para una señal de tráfico comprende una imagen de esa señal de tráfico y las subplantillas constituyen, cada una, una parte diferente de esa imagen; comprendido dicho método, adicionalmente: almacenar, para cada coincidencia, una posición y una escala del punto de características para el que se ha hecho coincidir un descriptor correspondiente con una subplantilla; caracterizado por computar, para cada subplantilla, una línea en la que puede estar el centro de la señal de tráfico correspondiente a esa coincidencia; si las líneas para una combinación de coincidencias correspondientes a la misma señal de tráfico se cortan, almacenar el punto de corte de las líneas como posible centro si los tamaños propuestos para esa señal de tráfico, basándose en las escalas almacenadas para las coincidencias en dicha combinación, son próximos; agrupar, una vez que se han encontrado todas las combinaciones de coincidencias correspondientes a la misma señal de tráfico, los posibles centros, y combinar las subplantillas correspondientes al agrupamiento de posibles centros para formar la señal de tráfico candidata real.

Description

E10189225

30-01-2015

DESCRIPCIÓN

Método para detectar y reconocer un objeto en una imagen, y un aparato y un programa informático para ello

5 La presente invención se refiere a un método y a un aparato para detectar y reconocer una señal de tráfico en una imagen.

Por otra parte, la presente invención se refiere a un programa informático que, cuando se ejecuta en un procesador, lleva a cabo tal método.

10 La presente invención también se refiere a un soporte de datos con semejante programa informático almacenado en él.

Durante la última década, se han venido captando estructuralmente una vasta cantidad de imágenes de vías

15 públicas. Estas imágenes digitales están siendo utilizadas de forma generalizada con vistas, entre otras cosas, al mercado de bienes inmuebles, la planificación de infraestructuras y la investigación de situaciones del tráfico local por parte de organizaciones tales como gobiernos, autoridades municipales, agentes de la propiedad inmobiliaria y compañías de seguros. En una parte importante, estas imágenes se han venido utilizando de una forma no automatizada, de tal manera que una persona investiga un conjunto de imágenes y recupera manualmente la

20 información requerida de las imágenes.

Una aplicación interesante de estas imágenes consiste en determinar la posición y el tipo de señales viarias a lo largo de las vías públicas. Esta información es utilizada por los cartógrafos, por ejemplo, para determinar limitaciones de vehículos y limitaciones de velocidad de las vías.

25 La divulgación “Real-time traffic sign detection and recognition” (Detección y reconocimiento de señales de tráfico en tiempo real), por Ernst Herbschleb y Peter H. N. de With, publicada en VISUAL COMMUNICATIONS AND IMAGE PROCESSING 2009 (COMUNICACIONES VISUALES Y TRATAMIENTO DE IMÁGENES, 2009), muestra una arquitectura para la detección de señales de tráfico consistente en un algoritmo en tres etapas, que combina tanto el

30 color como información espacial específica.

La presente invención se propone proporcionar un método automatizado para detectar y reconocer señales viarias dentro de imágenes digitales.

35 Este objeto se alcanza por medio de un método según se define en la reivindicación 1.

En un aspecto adicional de la invención, se proporciona un método según el cual una plantilla contenida en la biblioteca comprende una indicación de la confianza en la detección / reconocimiento.

40 En otro aspecto de la invención, las plantillas definen una máscara de fondo, de tal manera que la máscara de fondo determina áreas que se han de ignorar durante la coincidencia, de modo que un área comprende un grupo de píxeles y/o un grupo de subpíxeles.

En otra realización, se proporciona un programa informático que, cuando se ejecuta en un procesador, lleva a cabo 45 un método de acuerdo con la presente invención.

En aún otra realización, se proporciona un soporte de datos con un programa informático de acuerdo con la invención almacenado en él.

50 En aún otra realización más, se proporciona un aparato que se ha configurado para implementar el método de acuerdo con la presente invención.

Realizaciones y ventajas adicionales se mostrarán más adelante en combinación con las figuras, en las cuales:

55 La Figura 1 muestra un diagrama de flujo de un método específico de acuerdo con la presente invención; La Figura 2 muestra un diagrama de flujo detallado de un paso del diagrama de flujo de la Figura 1; La Figura 3 muestra el modo como el detalle de la Figura 2 es aplicado a una imagen; La Figura 4 muestra el modo como un paso del diagrama de flujo de la Figura 1 es aplicado a una imagen; La Figura 5 muestra el modo como otro paso del diagrama de flujo de la Figura 1 es aplicado a una imagen;

60 La Figura 6 muestra el modo como se relacionan plantillas utilizadas en un método de acuerdo con la presente invención; La Figura 7 muestra un diagrama de flujo más detallado de un paso del método de la Figura 1; La Figura 8 muestra un detalle de diagrama de flujo de un método de acuerdo con la presente invención; y La Figura 9 muestra una biblioteca proporcionada a modo de ejemplo con plantillas destinadas a utilizarse en

65 un método de acuerdo con la presente invención.

E10189225

30-01-2015

Un método específico de acuerdo con la presente invención, de manera que el método específico es adecuado para la detección y el reconocimiento de señales de tráfico, comprende tres etapas (Figura 1): una etapa de tratamiento preliminar 130, que trata de forma preliminar la imagen suministrada como entrada 110, una etapa de tratamiento

5 140 y una etapa de tratamiento ulterior 150. El resultado es que se detectaron y reconocieron una o más señales de tráfico 190 en la imagen, con propiedades adicionales de las señales de tráfico y/o la detección y/o el reconocimiento de las señales de tráfico.

La etapa de tratamiento preliminar 130 prepara la imagen suministrada como entrada 110 para la etapa de 10 tratamiento 140. La etapa de tratamiento preliminar 130 opera en toda la imagen 110.

La etapa de tratamiento preliminar 130 comprende varios pasos, tales como: un paso 131 de captación de imagen, un paso 132 de selección de color, un paso 133 de ajuste de imagen, un paso 134 de área de búsqueda y un paso 135 de computación de imagen integral.

15 El primer paso de la etapa de tratamiento preliminar 130 comprende la captación 131 de una imagen 110. La imagen 110 puede ser captada directamente desde un dispositivo de captación de imagen, si bien habitualmente será leída en un dispositivo de almacenamiento. Esta imagen 110 es convertida en el espacio de colores YCbCr. Un ejemplo de ello es el uso de imágenes de JPEG como entrada. Durante la necesaria descodificación de la imagen de JPEG,

20 se hacen disponibles los valores de YCbCr de los píxeles.

En el paso 132 de selección de color, el espacio YCbCr es utilizado para clasificar los píxeles en clases de color relevantes para las señales de tráfico que se han de detectar. En realizaciones alternativas, se utilizan otros espacios de color para la clasificación de los píxeles. A fin de obtener un resultado de segmentación a partir de la

25 imagen suministrada como entrada 110, todos los píxeles son individualmente clasificados dependiendo del valor de sus componentes de color, mediante la comprobación de los componentes individuales de forma independiente. Si caen dentro de cierta gama de colores, o si los componentes de color conducen a una combinación de colores específica, un píxel es clasificado dentro de una clase de colores respectiva. La imagen resultante recibe el nombre de imagen segmentada (con respecto al color).

30 En un paso subsiguiente, el paso 133 de ajuste de imagen, se computa una imagen para filtrar y una imagen para describir.

A fin de obtener la imagen para filtrar, se toma el componente de luminancia, configurado con los componentes de

35 color del espacio de colores YCbCr. Restando el componente diferencia de color rojo del componente diferencia de color azul, se genera un espacio de separación más grande entre los diferentes colores. Esta diferencia se añade a la luminancia:

P(x, y)= Y(x, y)+ a·Cb (x, y)– b·Cr (x, y) ,

40

donde p(x, y) es el valor del píxel en las coordenadas (x, y) de la imagen para filtrar, Y(x, y) es la luminancia en las coordenadas (x, y), Cb(x, y) es el componente diferencia azul, Cr(x, y) es el componente diferencia rojo de la imagen de YCbCr, y a y b son constantes positivas. Esto proporciona un contraste más alto entre los colores relevantes.

45 La imagen para describir se construye mediante la conversión de la imagen segmentada en una imagen modificada con indicaciones de color destinadas a definir el área de búsqueda de señales, y la selección de los descriptores adecuados.

50 El paso 134 de área de búsqueda comprende cuatro subpasos (Figura 2), de tal manera que los subpasos se ilustran adicionalmente con un ejemplo en la Figura 3.

-Selección de color estricta 231 Se seleccionan colores que son distintivos de los objetos que se han de detectar y reconocer, tales como la banda

55 exterior coloreada 311 de una señal de tráfico. El área interior 312 de una señal de tráfico es a menudo blanca, que rara vez es un color distintivo en una imagen que representa una imagen al aire libre. En consecuencia, no se selecciona inicialmente ningún área blanca 312. A continuación, se seleccionan las áreas 321, 323 de la imagen segmentada correspondientes a los colores seleccionados, para una búsqueda adicional. Limitando los colores que se añaden al área de búsqueda inicial, esta área se mantiene pequeña. Cuanto más pequeña es el área, más

60 rápidas serán las restantes etapas del tratamiento.

-Llenado de área 232 Las áreas 312 que están rodeadas por el área de búsqueda inicial que se obtuvo del paso 231 son incluidas en el área 333, ya que estas áreas pertenecen, posiblemente, a señales de tráfico. Esto aumenta la fiabilidad de la

65 detección y el reconocimiento.

E10189225

30-01-2015

-Salto a cielo azul 233 Si el azul es uno de los colores añadidos a los colores inicialmente seleccionados, las áreas 323 que, probablemente, representan el cielo azul son eliminadas con el fin de limitar el área de búsqueda.

5

-Eliminación de bordes 234 Los bordes de las señales de tráfico contienen más información acerca del fondo que acerca de la propia señal. En consecuencia, los bordes son eliminados del área interior 354 para una mayor fiabilidad.

10 En el siguiente paso de tratamiento, el paso 135 de computación de imagen integral, se computa la imagen integral

 ⎥⎦

de la imagen para filtrar, debido a que el empleo de esta imagen acelera la etapa de tratamiento. La imagen integral viene dada por

xy

I (x, y)= ∑∑ p(i, j) ,

i=1 j =1

15

donde I(x, y) es el valor de píxel de la imagen integral con coordenadas (x, y), y p(i, j) es el valor que tiene la imagen en las coordenadas de píxel (i, j). Las imágenes integrales son conocidas de la persona experta en la técnica del tratamiento de imágenes.

20 La etapa de tratamiento 140 se sirve de la información determinada en la etapa de tratamiento preliminar 130 para localizar señales de tráfico en la imagen. Las señales que se encuentran son candidatas que se someterán a un paso de tratamiento final en la etapa de tratamiento ulterior 150.

25 La etapa de tratamiento 140 comprende el paso 141 de extracción de características. Los puntos que contienen información discriminante acerca de sus inmediaciones son esenciales en la búsqueda de señales de tráfico. Estos puntos, denominados puntos de características, han de ser extraídos de la imagen. La imagen utilizada es la imagen para filtrar que se construyó por la etapa de tratamiento preliminar 130.

30 Para la extracción de estos puntos de características se utiliza el detector de mancha hessiana. En este detector, se computa, en primer lugar, el hessiano del espacio de escalas. Este espacio de escalas viene dado por

L(x, y, σ)= G(x, y, σ) * * Imagen (x, y),

35

donde ‘* *’ denota la convolución en dos dimensiones. La función G(x, y, σ) es la función gaussiana especificada por

22

x + y

12

2σ

40 G(x, y,σ)= 2 e − ,

2πσ

donde σ2 es la varianza, que es, en este caso, la escala del espacio de escalas. Esta función gaussiana resulta óptima para el análisis del espacio de escalas. El hessiano de esta función se computa por la matriz

45

) )

( )(

σ



L

xy

,

( σ)

xx xy

H

=

⎢

xy

( )(

,

σ

L

xy

,

xy yy

50 en la que Lab (x, y, σ) representa la convolución de la derivada de segundo orden con respecto a a y b de la imagen filtrada por gaussiano. Las manchas son extraídas del operador de Monge-Ampère, que es el determinante normalizado en escala de la matriz hessiana, como se obtiene por

22

55 det(H (x, y,σ))=σ (LL − L ) ,

xxyy xy

5

10

15

20

25

30

35

40

45

50

55

60

65

E10189225

30-01-2015

donde σ2 es la normalización de escala.

Los puntos de características son los máximos y los mínimos en los resultados de filtrado para diversas escalas, que se extienden en un espacio tridimensional. Se establece un umbral para la magnitud (valor absoluto) de los valores extremos con el fin de limitar el número de puntos de características encontrados. Esto significa que únicamente se toman en consideración magnitudes por encima del umbral. La precisión de la escala se aumenta mediante interpolación, por ejemplo, utilizando interpolación polinómica por tramos, o splines.

Los puntos de características no revelan información acerca de las señales de tráfico subyacentes. En consecuencia, a fin de clasificar los puntos de características, se hace una descripción de estos puntos en el paso 142 de descripción de características. Para describir los puntos de características, se utiliza el entorno del punto. La imagen de la que se usa la información acerca del entorno es la imagen para describir que se construyó en la etapa de tratamiento preliminar 133.

El descriptor diseñado es el ‘descriptor de presencia de color’. La región de imagen analizada es dividida en n x n subregiones. En cada subregión, se cuentan los colores. Dependiendo de los dos colores que están mayoritariamente presentes en la subregión, se da un número informativo a la subregión. Todos los valores informativos de las subregiones son combinados en un único descriptor. Estas subregiones constituyen la primera capa en la jerarquía de plantillas. Todas las subregiones describen los elementos pequeños de la señal de tráfico subyacente y actúan como una plantilla pequeña, parcial, o subplantilla, de una señal.

A fin de mejorar el descriptor, se computan diversos valores representativos. Estos valores representativos describen una impresión general del descriptor y son deducidos de la región situada en torno al punto característico. Más específicamente, en la realización descrita, la región de imagen analizada se divide en solo 2 x 2 subregiones. En cada subregión, los colores son de nuevo contados. Los resultados de este conteo determinan un valor informativo que describe los colores y proporcionan los valores representativos.

El paso 143 de coincidencia de características del método trata de hacer coincidir cada descriptor con uno o más descritos obtenidos de una biblioteca. En consecuencia, un descriptor se hace coincidir con la biblioteca de pequeñas plantillas o descriptores obtenidos de una biblioteca. A fin de hacer coincidir un descriptor con un descriptor obtenido de una biblioteca, se computa el número de diferencias. Si este número de diferencias es más pequeño que el umbral proporcionado en la biblioteca, entonces se considera que los descriptores coinciden.

En este paso 143 de coincidencia de características, la segunda capa de la jerarquía de plantillas pasa a estar en blanco. El descriptor, que es la combinación de todas las subregiones según se ha descrito en la última sección, proporciona la información de una parte de la señal de tráfico. Esta se compara con partes de las señales de tráfico disponibles en la biblioteca.

Si no coinciden al menos todos los valores principales con los valores principales del descriptor de la biblioteca, se considera que no coinciden. Esto ahorra de forma significativa el número de diferencias que es necesario computar. La biblioteca puede incluso ser dividida en varias bibliotecas. Qué biblioteca deberá ser utilizada puede determinarse a partir de los valores principales del descriptor.

Se aplica una propiedad especial para reducir la influencia del fondo de las señales de tráfico. Se utiliza una máscara que pertenece a cada descriptor de la biblioteca, la cual indica el caso en que los píxeles 410 del fondo tuvieran una influencia demasiado grande en la parte específica del descriptor. Este concepto se ilustra en la Figura 4, en la que los píxeles 410 del fondo se han etiquetado con ‘B’ y se han excluido de la comparación.

Para el siguiente paso, el paso 144 de combinación de características, se almacenan los parámetros para cada coincidencia. Estos parámetros son la posición del punto de características, la escala y la ID del descriptor de coincidencia de la biblioteca.

Las coincidencias 510 (Figura 5) de la última etapa (plantillas pequeñas) constituyen pistas para encontrar señales de tráfico completas en la imagen. Combinando estas pistas, las señales de tráfico son, en efecto, localizadas, por ejemplo, mediante la aplicación de una votación por mayoría o una técnica similar.

Antes de que las coincidencias 510 se utilicen para localizar posibles señales de tráfico, las coincidencias 510 son agrupadas por su emplazamiento. Únicamente las coincidencias 510 que pertenecen al mismo agrupamiento pueden constituir, juntas, candidatas a señal de tráfico. Para cada coincidencia 510, se computa una línea 520 sobre la que puede estar el centro de la señal de tráfico. La longitud de esta línea depende de la escala del punto de características encontrado, en comparación con la escala del punto de coincidencia obtenido de la biblioteca. A continuación, se combinan dos coincidencias 510 mediante la computación de la posición del corte de las dos líneas 520, según se ilustra en la Figura 5. Si estas se cortan entre sí, los tamaños propuestos para la señal de tráfico por ambas coincidencias 520 son comparados. Si están cercanos, se almacena el centro. Una vez que se han encontrado todas las combinaciones de coincidencias 510, se agrupan los centros para formar las señales de tráfico

5

10

15

20

25

30

35

40

45

50

55

60

65

E10189225

30-01-2015

candidatas reales. Se requiere un mínimo de centros agrupados para aceptar la candidatura. Este mínimo depende del tamaño de la señal de tráfico encontrada.

La combinación que se crea mediante esta combinación de las coincidencias 510 indica la tercera capa 630 (Figura 6) en la jerarquía de plantillas. Este nivel es aprovechado adicionalmente en la etapa de tratamiento ulterior.

La salida de este paso y, por tanto, de la etapa de tratamiento 140 consiste en señales de tráfico candidatas con la posición del centro, el tamaño y el tipo (ID).

La etapa final, o de tratamiento ulterior, 150 recupera las señales de tráfico candidatas de la etapa de tratamiento

140. Para hacer el algoritmo completo más fiable, estas candidatas son comprobadas más exhaustivamente. Como resultado de ello, las detecciones falsas son rechazadas y las detecciones correctas obtienen un valor que indica la precisión. También, la precisión del tamaño y de la posición de las detecciones correctas se ve mejorada. El diagrama de bloques del paso de validación se muestra en la Figura 7, y los pasos individuales de este algoritmo se describen en el apéndice.

La señal de tráfico candidata del paso previo incluye una posición del centro y un tamaño de la señal. Utilizando estos dos parámetros, se determina, en el paso 710 de ajuste de región, una caja ajustada de manera que contenga la señal de tráfico candidata, incluso si el tamaño o la posición propuestos no son perfectamente conocidos. Esta región se utiliza para el resto de las etapas y se hará referencia a ella como ‘región de búsqueda’.

La región es ya segmentada durante la etapa de tratamiento preliminar 130. Sin embargo, los resultados de la segmentación se mejoran mediante la supresión del ruido utilizando filtros de reducción del ruido en la etapa de segmentación 715. Esto puede ser implementado considerando los píxeles circundantes y comprobando si tienen el mismo color. El color puede cambiar si demasiados píxeles circundantes tienen un color diferente.

En el paso 720 de comprobación de porcentaje de color, se determinan los porcentajes de los colores en el centro de la región de búsqueda. Estos porcentajes son comparados con los porcentajes de la señal de tráfico original. Si los porcentajes difieren demasiado, la señal de tráfico es rechazada.

En el paso 725 de ‘encontrar posición y tamaño’, se utiliza el tercer nivel 630 de plantillas jerárquicas. A fin de localizar la posible señal de tráfico con mayor precisión, se utilizan transparencias. La biblioteca contiene información acerca de transparencias de la señal de tráfico original, tomadas en conjunto. Estas transparencias indican las transiciones de color y las posiciones relativas de estas transiciones de color tanto en la dirección horizontal como en la vertical. Se computan las transiciones de color y las posiciones relativas para diversas transparencias horizontales y verticales en torno al punto medio de la región de búsqueda. Las transiciones de color son comparadas con las de las transparencias de la biblioteca con el fin de determinar los tamaños horizontal y vertical así como la posición de la señal de tráfico. Las posiciones relativas de las transiciones indican los tamaños horizontal y vertical de la señal encontrada. El número de transparencias que coinciden con la librería, en relación con el total de transparencias comprobadas, se utiliza para determinar un indicador de probabilidad intermedio que oscila entre el 0% (muy pobre) y el 100% (perfecto).

Durante el paso previo, se obtuvo una probabilidad intermedia. Si esta probabilidad se encuentra por debajo de un cierto umbral, la señal de tráfico es rechazada en el paso 730 de umbral y se salta el resto de los pasos. Mediante el ajuste del umbral, puede influirse en los resultados del paso de validación.

Si se desea por la señal de tráfico encontrada (esta es almacenada en la biblioteca), la forma de la señal de tráfico puede ser comprobada utilizando el tamaño y la posición de la señal de tráfico encontrada en el paso 735 de comprobación de forma. Esta forma viene de una transición entre dos colores. Las dimensiones de la forma son detectadas utilizando la información de esta transición de color. La forma es validada con una plantilla precisa de la forma que debe cubrir una cantidad mínima de las transiciones de color.

Utilizando la posición y el tamaño de la señal de tráfico encontrada, se lleva a cabo otra comprobación de porcentaje de color en el paso 740 de comprobación de porcentajes de color. Se calculan los porcentajes de todos los colores. Debido a la posición y tamaño conocidos, los umbrales para los diferentes porcentajes son más estrictos que la comprobación de porcentaje del centro. Se establece, también, un límite superior para los porcentajes de color. Los umbrales dependen de los porcentajes de los colores en la señal de tráfico original. Si la señal es rechazada, las siguientes etapas son saltadas.

Utilizando el conocimiento acerca del centro de la señal de tráfico y del tamaño de la señal de tráfico, se computa un indicador de probabilidad en el paso 745 de computación de probabilidad. En consecuencia, se computa un descriptor total de la señal de tráfico encontrada. Este descriptor total representa la información de color espacial de la señal. El descriptor computado es comparado con el descriptor total de la biblioteca. La distancia entre los descriptores proporciona la proporciona la probabilidad de detección obtenida.

5

10

15

20

25

30

35

40

45

50

55

60

65

E10189225

30-01-2015

Existen señales de tráfico que son muy semejantes entre sí. En consecuencia, es posible que se propongan más opciones por parte del paso previo y que más de una opción alcance este paso durante la validación. Adicionalmente, una señal de tráfico puede, incidentalmente, votarse a sí misma con dos candidatas. Para descubrir qué señal está presente realmente en la imagen, o qué candidata es la versión real de la señal, cada señal de tráfico que llega a este paso 750 de comparación de señales de tráfico es comparada con las señales ya encontradas. Si dos señales que son la misma se encuentran en el mismo entorno, la más débil es eliminada. Si las señales que se solapan son diferentes, la más intensa permanece y la más débil pasa a ser una alternativa.

Cuando la señal de tráfico llega al paso 755 de almacenamiento de señales de tráfico, es almacenada. Los parámetros que se almacenan para cada señal de tráfico son el tipo (ID), la probabilidad, la posición del centro, los tamaños en la dimensión x y en la dimensión y, y un indicador del estado de la señal encontrada. El indicador dice si se trata de una señal de tráfico aceptada o una alternativa.

En un paso adicional (Figura 8), puede obtenerse un refinamiento de los resultados encontrando señales de tráfico suplementarias. Estas señales, a menudo blancas, están habitualmente situadas por debajo de otras señales de tráfico. Buscando tales señales en esta área de cada señal de tráfico encontrada, la mayoría de estas señales pueden ser localizadas.

En la etapa 810 de verificación de otras señales, se investiga en el área subyacente a la señal de tráfico encontrada. Si se ha localizado ya otra señal en esta área, no habrá ninguna otra señal y, por tanto, tampoco ninguna señal suplementaria. En ese caso, se saltan el resto de las etapas.

En caso contrario, en el paso 820 de ajuste de región, el tamaño y la posición de la señal de tráfico encontrada se utilizan para ajustar el área en la que debería estar la posible señal de tráfico suplementaria. Esta área recibe el nombre de región de búsqueda en los siguientes pasos del método.

En el paso de segmentación 830, la región de búsqueda es segmentada indicando los píxeles que tienen el color de la señal suplementaria, utilizando el resultado de segmentación de la etapa de tratamiento preliminar 130, que es mejorado. Esta mejora contiene la eliminación del ruido y la adición del posible texto de la señal suplementaria a la relación de correspondencia de segmentación.

En el caso de señales de tráfico suplementarias, existen diversas posibles formas que pueden tener. Sin embargo, todas ellas presentan un solapamiento en la mitad superior de la región de búsqueda, en el medio. En el subsiguiente paso 840 de comprobación de porcentaje de color, una vez que se ha calculado el porcentaje de los píxeles pertenecientes a la señal en la relación de correspondencia de segmentación de esta área media, este porcentaje se compara con un umbral. Si el porcentaje es demasiado bajo, el algoritmo se detiene en esta etapa.

A fin de encontrar el rectángulo circunscrito en el paso 850 de localización de rectángulo, se construye un rectángulo utilizando, en primer lugar, la relación de correspondencia de segmentación. A continuación, se utiliza la imagen para filtrar al objeto de incrementar la precisión del último lado encontrado de la caja circunscrita. El rectángulo se construye al tratar de rodear un rectángulo lleno –tan grande como sea posible– en la imagen segmentada. El aumento de la precisión se realiza computando diferencias, o parámetros relacionados con diferencias, tales como gradientes, en la imagen para filtrar. Estas diferencias indican bordes que podrían no ser vistos en la imagen segmentada.

A fin de determinar un indicador de probabilidad y de descubrir si se ha encontrado realmente una señal de tráfico suplementaria, se computa el porcentaje del color de la señal dentro del rectángulo circunscrito, en el paso 860 de ensayo de porcentaje de color, y se compara con un umbral. Si el porcentaje es demasiado bajo, la posible señal es rechazada.

Si se llega al paso 870 de almacenamiento de señal de tráfico, se guarda la señal suplementaria. Esto se hace de la misma manera como se guardan otras señales de tráfico. Ello significa la ID que indica ‘señal de tráfico suplementaria’, el indicador de probabilidad, que es el porcentaje de blanco encontrado en el paso previo, la posición del centro y el tamaño en la dimensión x y en la dimensión y. El indicador del estado de la señal de tráfico encontrada se ajusta en ‘aceptada’.

En lugar de utilizar un ajuste de adiestramiento para adiestrar el sistema, se crea una figura precursora, en una realización específica de la invención, para la generación de la biblioteca. Toda la información relevante para el algoritmo es extraída de esta figura precursora. Esto significa que esta información ha de ser capaz de hacer frente al ruido, pequeñas deformaciones, escalas diferentes, etc. Esto se consigue gracias a los pasos del método: la información obtenida de la biblioteca no se da por segura, permitiéndose grados de diferencias.

En la biblioteca (Figura 9) se almacena una gran cantidad de información. Las etapas del método, incluyendo la información que requieren estas etapas para ser extraídas de la figura precursora, son las siguientes:

E10189225

30-01-2015

Coincidencia de características 143 -Descriptores para todos los puntos de características de la figura precursora que pueden utilizarse para hacerse coincidir con los descriptores encontrados -Máscaras para cada descriptor

5-Umbrales para cada combinación 144 de características de descriptor -La dirección del centro de la figura precursora para cada punto de características -La escala para cada punto de características -La ID de señal de tráfico de la figura precursora para cada punto de características

10 Validación 151 -Porcentajes de la figura precursora -Ubicación: transparencias de la figura precursora -Indicador de probabilidad: descriptor total de la figura precursora -Tamaño en la dimensión x y en la dimensión y

15 -Si se desea una comprobación de forma específica -Si se desea una búsqueda refinada

Ha de apreciarse que todas las realizaciones descritas y mostradas en esta memoria son realizaciones proporcionadas a modo de ejemplo. La persona experta en la técnica comprende que muchos de los pasos descritos

20 para una realización pueden ser reemplazados por pasos alternativos bien conocidos por la persona experta en la técnica. Por otra parte, algunos de los pasos no son esenciales pero tienen como resultado un efecto ventajoso y están, por tanto, comprendidos en una de las realizaciones preferidas. Estos pueden, sin embargo, ser omitidos sin apartarse de la presente invención. El alcance de protección buscado se define por las reivindicaciones.

Claims

E10189225

30-01-2015

5

10

15

20

25

30

35

40

45

50

55

REIVINDICACIONES

1.-Un método para detectar y reconocer una señal de tráfico en una imagen (110) suministrada como entrada, de tal manera que el método comprende una etapa de tratamiento preliminar (130), una etapa de tratamiento (140) y una etapa de tratamiento ulterior (150), de tal modo que dicha etapa de tratamiento preliminar (130) está configurada para preparar la imagen (110) suministrada como entrada para la etapa de tratamiento (140), dicha etapa de tratamiento (140) está configurada para localizar al menos una señal de tráfico candidata en la imagen tratada preliminarmente, y dicha etapa de tratamiento ulterior está configurada para rechazar las detecciones falsas y atribuir un valor que indica la precisión para las detecciones correctas, de manera que la etapa de tratamiento comprende:

identificar puntos de características en la imagen suministrada como entrada y tratada preliminarmente; construir un descriptor para cada punto de características, de tal modo que dicho descriptor comprende una descripción del entorno de cada punto de características; proporcionar una biblioteca que comprende una jerarquía de una pluralidad de plantillas correspondientes a una pluralidad de señales de tráfico, de manera que cada plantilla para cada señal de tráfico comprende una pluralidad de subplantillas que representan una parte de la señal de tráfico; hacer coincidir los descriptores con las subplantillas de la biblioteca o con descriptores correspondientes deducidos de esas subplantillas; combinar las subplantillas correspondientes a los descriptores que coinciden, a fin de formar una señal de tráfico candidata; de tal modo que la plantilla para una señal de tráfico comprende una imagen de esa señal de tráfico y las subplantillas constituyen, cada una, una parte diferente de esa imagen; comprendido dicho método, adicionalmente:

almacenar, para cada coincidencia, una posición y una escala del punto de características para el que se ha hecho coincidir un descriptor correspondiente con una subplantilla; caracterizado por computar, para cada subplantilla, una línea en la que puede estar el centro de la señal de tráfico correspondiente a esa coincidencia; si las líneas para una combinación de coincidencias correspondientes a la misma señal de tráfico se cortan, almacenar el punto de corte de las líneas como posible centro si los tamaños propuestos para esa señal de tráfico, basándose en las escalas almacenadas para las coincidencias en dicha combinación, son próximos; agrupar, una vez que se han encontrado todas las combinaciones de coincidencias correspondientes a la misma señal de tráfico, los posibles centros, y combinar las subplantillas correspondientes al agrupamiento de posibles centros para formar la señal de tráfico candidata real.
2.-Un método de acuerdo con la reivindicación 1, en el cual una plantilla de la biblioteca comprende una indicación de la confianza en la detección / reconocimiento.
3.-Un método de acuerdo con la reivindicación 2, en el cual la indicación de confianza en la detección / reconocimiento es dividida en una indicación para la señal de tráfico sin la frontera de la señal de tráfico y una indicación de confianza de la señal de tráfico en la que se tiene en cuenta la frontera de la señal de tráfico.
4.-Un método de acuerdo con cualquiera de las reivindicaciones 1-3, en el cual hacer coincidir comprende comparar colores de una imagen tratada preliminarmente con una descripción de colores de una plantilla.
5.-Un método de acuerdo con cualquiera de las reivindicaciones 1-4, en el cual las plantillas definen una máscara de fondo, y en el que la máscara de fondo determina áreas que se han de ignorar durante la coincidencia, de tal manera que un área comprende un grupo de píxeles y/o un grupo de subpíxeles.
6.-Un producto de programa informático que, cuando se ejecuta en un procesador, lleva a cabo el método de acuerdo con cualquiera de las reivindicaciones 1-5.
7.-Un soporte de datos con un programa informático de acuerdo con la reivindicación 6 almacenado en él.
8.-Un aparato configurado para llevar a cabo el método de acuerdo con cualquiera de las reivindicaciones 1-5.

9