ES2967607T3 - Cámara de visión lateral para la detección de ruedas - Google Patents

Abstract

Un método para detectar ruedas (2) de un vehículo (3) en una carretera (4) comprende dirigir un sensor de clasificación de vehículos (8) hacia un tramo (7) de la carretera (4) y registrar una representación 3D (13) de el vehículo (3), dirigiendo una cámara (14) hacia la sección (7) y grabando una imagen 2D de origen (17), determinando un cuadro delimitador (26) que circunscribe la representación 3D (13), un lado (27) y cuatro puntos de esquina (291 - 294) de dicho lado del cuadro delimitador (27), identificando puntos de esquina (291 - 294) en un plano de imagen 2D de origen (19), definiendo cuatro puntos de esquina de un rectángulo (27") en una imagen 2D de destino plano (30), calculando una transformación proyectiva entre los puntos de la imagen de las esquinas de origen (291' - 294') y los puntos de la imagen de las esquinas de destino (291" - 294"), transformando los píxeles de la imagen 2D de origen (18i) en los píxeles de la imagen 2D de destino (33i) de una primera imagen 2D de destino (31), y detectar las ruedas (2) usando la imagen 2D de destino (31). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Cámara de visión lateral para la detección de ruedas

La presente invención se refiere a un procedimiento para detectar ruedas de un vehículo en una carretera, cuyas ruedas son visibles en un lado del vehículo.

Detectar y contar el número de ruedas visibles en el lado de un vehículo permite, por ejemplo, deducir la presencia de ejes y su número y es una tarea importante en ITS (Sistemas de Transporte Inteligentes) y aplicaciones de peaje de vehículos cuando los vehículos deben ser controlados, dirigidos o que deben pagar dependiendo del número de ruedas o ejes. Por ejemplo, pueden aplicarse tarifas de peaje distintas para vehículos con diferente número de ruedas/ejes, tales como turismos y camiones ligeros y pesados. Detectar y determinar con precisión el número de ruedas/ejes de un vehículo es fundamental para evitar cargos incorrectos.

Hasta ahora, las ruedas/ejes de los vehículos se detectaban con transductores de presión en la superficie de la carretera, barreras de luz a lo largo de la carretera, cámaras de visión lateral dedicadas o como un subproducto de sensores VDC (clasificación y detección de vehículos) montados sobre la carretera, tales como cámaras estereoscópicas o escáneres láser. Los transductores de presión son difíciles y costosos de instalar. Las barreras de luz y las cámaras de visión lateral dedicadas padecen de un campo de visión pequeño y de ocultación del vehículo, por ejemplo, por otro vehículo en un carril más cercano al sensor de luz o cámara o por personas en el pavimento. Mitigar estos problemas dirigiendo una cámara oblicuamente hacia la carretera induce distorsiones de perspectiva tales que las ruedas pueden no detectarse de manera confiable con los procesos actuales de reconocimiento de imágenes, sin mencionar la discriminación de ruedas levantadas de la carretera o ruedas dobles. La resolución de imagen de los sensores VDC suele ser demasiado baja para una detección precisa de las ruedas, especialmente para detectar ruedas elevadas. Las cámaras estereoscópicas son sensibles al ruido de la cámara, y los escáneres láser son "ciegos" a determinados materiales. El artículo‘Homography-based Vehicle Pose estimation from a single image by using MAchine- Learning for Wheel-Region and Tyre-Road Contact Point Detection',de Nastaran Radmehr y otros, publicado en diciembre de 2019, describe un sistema de fotogrametría basado en imágenes para medir la posición del carril de un vehículo utilizando una cámara de perspectiva única con aplicaciones en el cumplimiento de la ley y la investigación de escenas de accidentes. US 2015/269444 A1 describe un sistema de clasificación automática para vehículos de motor que circulan por una carretera, que comprende una unidad de procesamiento de datos programada para clasificar un vehículo presente en las imágenes capturadas por una cámara.

Un objetivo de la invención es presentar un procedimiento para detectar ruedas de un vehículo en una carretera con alta precisión y pequeños costes de instalación en escenarios de peaje o ITS existentes.

Para este fin, la invención presenta un procedimiento para detectar ruedas de un vehículo en una carretera, siendo dichas ruedas visibles en un lado del vehículo, tal como se reivindica en la reivindicación 1.

La invención combina la precisión absoluta de montaje, calibración e imagen de una cámara de visión lateral 2D con la precisión de modelado relativa de un sensor de clasificación 3D. Esto permite obtener información de profundidad sobre los píxeles en la imagen 2D de origen para transformar estos píxeles en una imagen 2D de destino de "vista recta" sin distorsión. Como resultado, cualquier rueda capturada en la imagen 2D de origen puede detectarse en la imagen 2D de destino no distorsionada con la precisión de la imagen 2D de origen registrada. Las cámaras 2D de alta resolución están disponibles en el mercado a bajo coste. Además, implementar el procedimiento inventivo en un ITS existente o en un entorno de peaje requiere muy pocas instalaciones adicionales, tales como montar una cámara 2D de bajo coste al lado de la carretera en las proximidades de un sensor de clasificación 3D existente.

La calibración de la cámara por mapeo permite correlacionar puntos de imagen de las esquinas de origen con puntos de las esquinas en la representación 3D. La determinación de un cuadro delimitador en la representación 3D que circunscribe la representación 3D prevé lados rectangulares y elimina fluctuaciones estadísticas y errores de medición en la representación 3D en términos de paralelismo. Esto hace posible una determinación precisa del lado del cuadro delimitador y las coordenadas de los cuatro puntos de las esquinas del lado del cuadro delimitador, y una identificación posterior precisa de los cuatro puntos de las esquinas en el plano de la imagen 2D de origen. Definir los cuatro puntos de las esquinas de la imagen de destino para abarcar un rectángulo en el plano de la imagen 2D de destino no sólo permite calcular la transformación de perspectiva buscada, sino también - debido a las coordenadas "del mundo real" conocidas de los puntos de las esquinas en la representación 3D - asignar longitudes "del mundo real" en el plano de imagen 2D de destino. Incluso pueden utilizarse puntos de las esquinas en el plano de la imagen 2D de origen que no han sido registrados por la cámara para calcular la transformación proyectiva.

En consecuencia, después de transformar los píxeles de imagen 2D de origen, se muestran ruedas sin distorsión y se facilita su detección. La facilidad de detección mediante el proceso de reconocimiento de imágenes, en realidad, es doble: en primer lugar, es más fácil para las herramientas de reconocimiento de imágenes detectar ruedas no distorsionadas en una imagen que distorsionadas. En segundo lugar, debido a dichas longitudes del mundo real conocidas entre los cuatro puntos de las esquinas de destino, puede deducirse un tamaño del mundo real de las ruedas a partir de la imagen 2D de destino y pueden utilizarse imágenes 2D de destino estandarizadas, por ejemplo, mostrando una sección de 20 m x 5 m del plano de imagen 2D de destino.

El cuadro delimitador puede determinarse de cualquier manera conocida por el experto, por ejemplo, empleando redes neuronales, procedimientos de agrupamiento, calibradores giratorios, etc., puede ser un cuadro delimitador alineado con el eje, por ejemplo, con bordes normales a la carretera, y también puede determinarse a partir de varias posiciones posteriores del vehículo. Para determinar el lado del cuadro delimitador correspondiente al lado del vehículo que muestra las ruedas, puede utilizarse cualquier manera de aprovechar información sobre puntos en la representación 3D y la posición de la cámara conocida por el experto, por ejemplo, utilizando vectores entre los puntos de las esquinas del cuadro delimitador y la posición/dirección de la cámara o detectar previamente las ruedas - aunque con baja resolución - en la representación 3D, etc.

En una primera realización de la invención informáticamente menos exigente, dicho lado del cuadro delimitador se determina como un lado vertical del cuadro delimitador que se encuentra más cerca de la posición de la cámara. En este caso, por ejemplo, solamente deben determinarse las distancias entre uno o varios puntos, por ejemplo, los puntos de las esquinas del cuadro delimitador o los puntos centrales de lados verticales el cuadro delimitador, y la posición de la cámara, y el lado con la(s) distancia(s) más pequeña(s) se elige como dicho lado del cuadro delimitador.

En una segunda realización más precisa de la invención, un sensor de clasificación de vehículos mide un vector de movimiento del vehículo y dicho lado del cuadro delimitador se determina como un lado vertical del cuadro delimitador que es paralelo al vector de movimiento del vehículo y queda orientado hacia la cámara. Esta realización es especialmente adecuada cuando se registran representaciones 3D para varias posiciones del vehículo de manera que el vector de movimiento, por ejemplo, del cuadro delimitador, un lado o un punto distinguido como un centro de masa en la representación 3D, se determina fácilmente. En esta realización se reduce considerablemente la determinación errónea de un lado delantero o trasero del vehículo como el lado que debería mostrar las ruedas.

En general, el proceso de reconocimiento de imágenes utilizado para detectar las ruedas del vehículo en la imagen 2D de destino puede comprender cualquier técnica de reconocimiento de imágenes conocida en el estado de la técnica, por ejemplo, LDA/QDA (análisis discriminante lineal/cuadrático), clasificadores de máxima entropía, árboles/listas de decisión, estimación kernel, clasificadores Bayesianos ingenuos, análisis de conglomerados, etc., así como combinaciones de los mismos. En realización preferida de la invención, el reconocimiento de imágenes se realiza mediante una red neuronal entrenada en imágenes estandarizadas y con perspectiva corregida de ruedas de vehículos. Tal como han descubierto los inventores, una red neuronal entrenada de este tipo supera significativamente a las redes neuronales entrenadas en imágenes con perspectiva distorsionada que no están relacionadas con ninguna distancia física en lo que respecta a clasificación y certeza de reconocimiento.

Debido a la transformación precisa de la imagen 2D de origen de alta resolución, es posible extraer de manera confiable información adicional que puede utilizarse, por ejemplo, para cobrar o dirigir un vehículo en ITS. La invención prevé tres realizaciones combinables para extraer dicha información: En una realización, mediante el proceso de reconocimiento de imágenes para cada rueda detectada se detecta si esta rueda está levantada de la carretera. En otra realización, mediante el proceso de reconocimiento de imágenes, para cada rueda detectada se detecta si se trata de una rueda doble. Y en otra realización se cuentan las ruedas detectadas. Tal como ya se mencionado anteriormente, el tamaño de una rueda también puede determinarse fácilmente.

Tal como conoce el experto, un cálculo de transformación proyectiva requiere que por lo menos cuatro pares de puntos correspondientes en los planos de imagen 2D de origen y destino se transformen entre sí. Sin embargo, en una realización favorable de la invención se determina por lo menos un punto adicional, preferiblemente en un borde de dicho lado del cuadro delimitador, se identifica por lo menos un punto de imagen de origen adicional correspondiente utilizando dicho mapeo, y se calcula también dicha transformación proyectiva entre el por lo menos un punto de imagen de origen adicional y el por lo menos un punto de imagen de destino adicional correspondiente. Esto implica resolver un sistema sobredeterminado, compensar errores de medición y, por lo tanto, hacer más precisa la transformación proyectiva. Es evidente que también pueden utilizarse múltiples puntos adicionales de manera análoga para calcular la transformación proyectiva para aumentar esta compensación.

Cualquier número de píxeles de imagen 2D de origen puede transformarse en píxeles de imagen 2D de destino, por ejemplo, sólo la mitad inferior de la imagen 2D de origen o sólo los píxeles correspondientes a puntos en el lado del cuadro delimitador que tengan menos de una distancia vertical determinada, por ejemplo, de 2 m, por encima del borde inferior del lado del cuadro delimitador. En una realización ventajosa de la invención, para la transformación se seleccionan por lo menos aquellos píxeles de imagen 2D de origen que se encuentran dentro de un tetrágono que abarcan los puntos de las esquinas de la imagen de origen. Esto garantiza que todos los píxeles de imagen 2D de origen que muestra el lado del cuadro delimitador se transforman al plano de la imagen 2D de destino, proporcionando la máxima información sobre el lado del cuadro delimitador y, por lo tanto, facilitando el proceso de reconocimiento de imágenes posterior.

Realizar la transformación proyectiva puede variar la densidad de píxeles local, es decir, la cantidad de píxeles en una determinada región alrededor de cada píxel puede diferir en los planos de la imagen 2D de origen y destino. Por ejemplo, transformar una cuadrícula equidistante regular de píxeles de imagen 2D de origen producirá un plano de imagen 2D de destino con una resolución que varía localmente. Para contrarrestar este efecto, la invención prevé dos realizaciones especiales. En la primera, en la etapa de transformación, se interpolan píxeles de imagen 2D de destino adicionales a partir de los píxeles de imagen 2D de destino. De esta manera, se obtienen valores de píxeles adicionales de puntos intermedios entre los píxeles de imagen 2D de destino transformados y se aumenta la resolución de píxeles. Además, o como alternativa a esto, en una segunda realización, en la etapa de transformación, varios píxeles de imagen 2D de origen transformados se promedian con un píxel de la imagen 2D de destino. De esta manera, un píxel de la imagen 2D de destino puede representar varios píxeles de imagen 2D de origen, mitigando el problema de una población de píxeles demasiado densa dentro de una región de la imagen 2D de destino. El uso de una o ambas de esas realizaciones especiales permite obtener una cuadrícula equidistante regular de píxeles en el plano de imagen 2D de destino.

Hasta ahora, se ha obtenido una imagen 2D de destino a partir de una imagen 2D de origen correspondiente a una primera posición del vehículo en la carretera. Sin embargo, el procedimiento no se limita a utilizar solamente una posición del vehículo y/o sólo una cámara. En una realización preferida de la invención, el procedimiento comprende, además:

repetir las etapas de registrar, determinar, identificar, definir, calcular y transformar, para una segunda posición del vehículo en la carretera o con una segunda cámara desde una segunda posición de la cámara, para obtener una segunda imagen 2D de destino; y

unir la primera y la segunda imagen 2D de destino a una imagen 2D de destino unida;

en el que dicha etapa de detección se lleva a cabo utilizando la imagen 2D de destino unida.

Esto permite utilizar dos imágenes 2D de origen menos distorsionadas en perspectiva en lugar de una imagen 2D de origen más distorsionada en perspectiva y, por lo tanto, se mitigan las diferencias de resolución mencionadas anteriormente. De esta manera, pueden evitarse regiones insuficientemente resueltas en la imagen 2D de destino unida resultante. La unión permite, además, detectar todas las ruedas/ejes de vehículos largos en una imagen 2D de destino unida. En determinadas circunstancias, esto puede incluso permitir la detección de ruedas/ejes de vehículos que quedan parcialmente ocultos al pasar por el tramo, por ejemplo, por otro vehículo en un carril más cercano a la cámara. Además, debido a la posibilidad mencionada anteriormente de asignar longitudes del mundo real en la primera y la segunda imagen 2D de destino, el proceso de unión puede facilitarse, por ejemplo, al alinear las imágenes 2D de destino.

En una realización, para dicha unión, se determina una región de superposición entre la primera y la segunda imagen 2D de destino y para los píxeles de imagen 2D de destino se asignan unos pesos que se utilizan para calcular píxeles en la región de superposición en la imagen 2D de destino unida. Por ejemplo, puede utilizarse información de longitud del mundo real en la primera y segunda imagen 2D de destino para determinar la región de superposición. La ponderación facilita, por ejemplo, una transición continua de la primera a la segunda imagen 2D de destino, una eliminación de artefactos, una priorización de la primera o la segunda imagen 2D de destino que presente una mayor resolución, unas mejores condiciones de iluminación, mejor contraste, etc.

En una variante preferida, el peso de un píxel de imagen 2D de destino se calcula:

determinando, en la representación 3D, un punto correspondiente a dicho píxel, un rayo desde la posición de la cámara hasta dicho punto, y un ángulo de incidencia de dicho rayo sobre dicho lado del cuadro delimitador; y calculando dicho peso en función de dicho ángulo.

El uso de un ángulo de incidencia del rayo en el lado del cuadro delimitador proporciona una medida de "vista recta" tal que los píxeles pueden ponderarse en consecuencia, por ejemplo, disminuyendo los pesos de los píxeles con un ángulo de incidencia más oblicuo que normalmente representa una región espacial más grande y tiene una menor resolución espacial. El punto de incidencia del rayo correspondiente al píxel considerado para la ponderación puede determinarse de manera fácil y eficiente, por ejemplo, aprovechando la información espacial del mundo real en el plano de la imagen 2D de destino o utilizando el mapeo y la transformación proyectiva.

Para facilitar la transformación y el proceso de unión opcional, en una realización todos los píxeles de imagen 2D de origen se seleccionan para dicha transformación. Esto es especialmente adecuado cuando se van a unir una primera y una segunda imagen 2D de destino, ya que las regiones superpuestas fuera de dicho lado del cuadro delimitador pueden ser útiles para el proceso de unión.

Opcionalmente, pueden utilizarse más de dos cámaras, cada una dirigida desde diferentes posiciones de la cámara y/o en diferentes ángulos, para registrar, para una o varias posiciones del vehículo, imágenes 2D de origen que se transforman en imágenes 2D de destino y posteriormente se unen.

En general, cualquier número de imágenes 2D de destino, por ejemplo para más de dos posiciones de vehículos o registradas con más de dos cámaras, puede unirse a una imagen 2D de destino común. En este caso, si existe una región superpuesta entre más de dos imágenes 2D de destino, pueden asignarse pesos a los píxeles de imagen 2D de destino en esta región superpuesta y utilizarse para calcular los píxeles en la imagen 2D de destino unida común.

La invención se describirá ahora por medio de unas realizaciones de ejemplo de la misma con referencia a los dibujos adjuntos, en los cuales se muestra:

Figura 1 un aparato que realiza el procedimiento de la invención en una vista esquemática en perspectiva;

Figura 2a un plano de imagen 2D de origen con una imagen 2D de origen con perspectiva distorsionada registrada con el aparato de la figura 1;

Figura 2b un plano de imagen 2D de destino con una imagen 2D de destino con perspectiva corregida obtenida a partir de la imagen 2D de origen de la figura 2a de acuerdo con el procedimiento de la invención;

Figuras 3a y 3b planos de imágenes 2D de origen con imágenes 2D de origen con perspectiva distorsionada que muestran una parte de un vehículo en una segunda y una primera posición, respectivamente;

Figura 3c un plano de imagen 2D de destino con una imagen 2D de destino unida compuesta por dos imágenes 2D de destino con perspectiva corregida obtenidas a partir de las imágenes 2D de origen de las figuras 3a y 3b de acuerdo con el procedimiento de la invención; y

Figura 4 un diagrama de flujo del procedimiento de la invención.

La figura 1 muestra un aparato 1 para detectar ruedas 2 de un vehículo 3 en una carretera 4. Las ruedas 2 del vehículo 3 son visibles en la parte lateral izquierda o derecha 5 del vehículo 3. La carretera 4 tiene una dirección de marcha 6. Durante la detección de sus ruedas 2, el vehículo 3 suele estar pasando por un tramo 7 de la carretera 4 en la dirección 6, pero el vehículo 3 también podría estar detenido dentro del tramo 7.

El aparato 1 comprende un sensor de clasificación de vehículos 8 montado, por ejemplo, encima o al lado de la carretera 4 en un pórtico 9 que abarca la carretera 4. La posición de la carretera 4 y la posición P<vcs>del sensor de clasificación de vehículos 8 dentro de un sistema de coordenadas 10 determinado son conocidas.

El sensor de clasificación de vehículos 8 puede ser una cámara estereoscópica, un escáner de radar, un escáner láser o, en general, cualquier sensor que sea capaz de registrar una representación 3D del vehículo 3 en el tramo 7 desde la posición del sensor P<vcs>. Si el sensor de clasificación 8 es un escáner láser, éste proyecta, por ejemplo, un abanico 11 de rayos de luz sobre la carretera 4. A partir de los reflejos de los rayos de luz del abanico 11 puede registrarse en el sensor 8 la forma del vehículo 3, por ejemplo, mediante mediciones de tiempo de vuelo o de interferencia en los rayos de luz proyectados y reflejados. Cuando solamente deben escanearse vehículos 3 en movimiento, el abanico de rayos de luz 11 puede mantenerse estacionario, y el paso del vehículo 3 produce una secuencia de líneas de barrido 12 cuya totalidad forma una representación 3D 13 de por lo menos una parte del vehículo 3 en el sistema de coordenadas 10, cuya parte comprende una parte del lado del vehículo 5. Cuando también deben escanearse vehículos estacionarios 3, el abanico de rayos de luz 11 puede ser escaneado, por ejemplo, en la dirección de marcha 6, para escanear un vehículo 3 en reposo en el tramo 7. La representación 3D 13 puede registrarse mediante una reconstrucción de varias mediciones posteriores realizadas para varias posiciones del vehículo y/o varios tiempos de medición posteriores, por ejemplo, transformando, fusionando, uniendo, interpolando o extrapolando puntos medidos por el sensor de clasificación de vehículos 8.

El aparato 1 comprende, además, una cámara 14 dirigida desde una posición conocida de la cámara P<CAM>en uno de los lados 15, 16 de la carretera 4 en el tramo 7. La cámara 14 tiene un ángulo de apertura O y registra una imagen 2D de origen 17 (figura 2a) de la escena que aparece dentro de su ángulo de apertura Q.

Tal como puede apreciarse en la figura 2a, la imagen 2D de origen 17 está compuesta por píxeles 18<i>teniendo cada uno por lo menos un valor de píxel que indica una información de escala de grises, color y/o transparencia, y una posición de píxel que indica su posición x, y en un plano de imagen 2D de origen 19. La posición de la cámara P<cam>y el ángulo de apertura O de la cámara 14 se seleccionan de manera que la imagen 2D de origen 17 comprende -cuando un vehículo 3 se encuentra dentro del ángulo de apertura S2 - por lo menos una parte inferior 20 del lado del vehículo 5 que muestra las ruedas 2.

La cámara 14 puede ser de cualquier tipo que sea capaz de registrar una imagen 2D de una escena, por ejemplo, una cámara fotográfica o de vídeo con un chip CCD o CMOS. La resolución de la cámara 14 puede ser, por ejemplo, HD (alta definición) con 1920 píxeles x 1080 píxeles, o 4K con 3840 píxeles x 2160 píxeles, etc. La cámara 14 puede montarse en el mismo pórtico 9 en el cual se encuentra montado el sensor de clasificación de vehículos 8, por ejemplo, en uno de los pilares laterales 21, 22 del pórtico 9, o en un pilar o poste separado (no mostrado). La cámara 14 con su ángulo de apertura S2 está dirigida hacia el tramo 7 de manera que las imágenes 2D de origen 17 registradas por la cámara 14 están distorsionadas en perspectiva, tal como puede apreciarse en la figura 2a, lo que hace que la detección de ruedas/ejes en la misma resulte difícil o propensa a errores. Para superar este problema, se toman las siguientes medidas.

La cámara 14 se calibra mediante un mapeo de manera que cualquier punto del mundo real arbitrario 23 dentro del ángulo de apertura O en el sistema de coordenadas 10 pueda identificarse como un punto de imagen 23' en el plano de imagen 2d de origen 19 (figura 2a). El mapeo puede obtenerse mediante cualquier procedimiento conocido en la técnica considerando parámetros intrínsecos de la cámara tales como distancia focal, formato del sensor de imagen, punto principal, etc. y/o parámetros extrínsecos de la cámara tales como la posición de la cámara P<cam>y la orientación del ángulo de apertura O en el sistema de coordenadas 10, etc., por ejemplo, mediante un procedimiento de Transformación Lineal Directa (DLT), un procedimiento de perspectiva desde n puntos (PnP), un procedimiento de PnP Unificado (UPnP) o similares.

El aparato 1 comprende un procesador 24 conectado tanto al sensor de clasificación de vehículos 8 como a la cámara 14. El procesador 24 recibe, a través de conexiones de datos 25, la representación 3D registrada 13 del sensor de clasificación de vehículos 8 y la imagen 2D de origen registrada 17 del cámara 14 y los procesa de acuerdo con el procedimiento mostrado en la figura 4 y que se explica con referencia a las figuras 1 ,2a, 2b, 3a, 3b y 3c a continuación. No hace falta decir que el procesador 24 o una parte del mismo puede estar integrado en el sensor de clasificación de vehículos 8 y/o la cámara 14, y otras partes del procesador 24 o todo el procesador 24 podrían instalarse incluso en una ubicación remota.

Pasando a las figuras 1 y 4, en una primera etapa 100, se detecta la presencia o el paso de un vehículo 3 en el tramo 7 de la carretera 4 o a lo largo del mismo. La detección del vehículo 3 activa el registro de la representación 3D 13 del vehículo 3 mediante el sensor de clasificación de vehículos 8 (etapa 101), así como el registro de la imagen 2D de origen 17 mediante la cámara 14 (etapa 102).

La detección del vehículo 3 en la etapa 100 puede realizarse, por ejemplo, con un detector de vehículos dedicado tal como un interruptor o transductor de presión en la carretera 4, una barrera de luz a través de la carretera 4, etc. Alternativamente, la propia cámara 14 puede utilizarse como detector de vehículos en la etapa 100, por ejemplo, si un procesamiento de imagen de una imagen 2D de origen 17 indica la presencia de la parte inferior 20 del vehículo 3 en la imagen 2D de origen 17. Además, el propio sensor de clasificación de vehículos 8 puede utilizarse también como detector de vehículos en la etapa 100, por ejemplo, cuando el abanico de rayos de luz reflejados 11 indica la presencia de un vehículo 3 en el tramo 7.

No es necesario que la etapa 101 de registro de representación 3D y la etapa 102 de registro de imagen 2D de origen se realicen simultáneamente, es decir, la etapa 101 puede realizarse antes o después de la etapa 102, siempre que la representación 3D 13 y la imagen 2D de origen 17 correspondan a la misma posición del vehículo 3 en la carretera 4 y/o al mismo momento de registro. La representación 3D 13, por ejemplo, puede registrarse en la etapa 101 en base a varias posiciones del vehículo 3 y posteriormente puede reconstruirse ("sincronizarse") para la posición del vehículo para la cual se registró la imagen 2D de origen 17 en la etapa 102. La sincronización puede realizarse, por ejemplo, asignando marcas de tiempo a las representaciones 3D 13 y a las imágenes 2D de origen 17 en las etapas 101 y 102 y comparando las respectivas marcas de tiempo. Esto puede resultar particularmente útil en el caso de un abanico estático 11.

En la etapa 103, se determina un cuadro delimitador 26 que circunscribe la representación 3D registrada 13 del vehículo 3 (o una parte del mismo) en el sistema de coordenadas 10. El cuadro delimitador que determina la etapa 103 se realiza mediante cualquier procedimiento de cuadro delimitador mínimo conocido en el estado de la técnica, por ejemplo, utilizando técnicas de calibradores giratorios, enfoques de agrupamiento, redes neuronales, etc.

A continuación, en la etapa 104 se determina un lado 27 del cuadro delimitador 26 correspondiente al lado del vehículo 5 (o una parte del mismo) donde las ruedas 2 son visibles. En una primera variante, este lado del cuadro delimitador 27 se determina como el lado vertical del cuadro delimitador 26 que se encuentra más cerca de la posición de la cámara P<CAM>. Esto se realiza, por ejemplo, comparando las distancias desde los puntos contenidos en los lados del cuadro delimitador 26, por ejemplo, desde el centro del lado 27, con la posición de la cámara P<cam>. Alternativamente, en una segunda variante, el sensor de clasificación 7 mide un vector de movimiento del vehículo 28, por ejemplo, comparando el movimiento de la representación 3D 13 o el cuadro delimitador 26 a lo largo del tiempo. El lado 27 puede determinarse entonces como un lado vertical, es decir, vertical en el sistema de coordenadas 10 o vertical respecto a la carretera 4, del cuadro delimitador 26 que es paralelo al vector de movimiento del vehículo 28 y está orientado hacia la cámara 14.

Es evidente que el lado del cuadro delimitador 27 26 puede determinarse de muchas otras maneras utilizando la información disponible, por ejemplo, identificando - aunque con menor resolución - las ruedas 2 del vehículo en la representación 3D 13, considerando vectores entre puntos de la representación 3D 13 y la cámara 14, o iterando las siguientes etapas para varios lados del cuadro delimitador y seleccionando ese lado como el lado del cuadro delimitador 27 para el cual se detectan las ruedas 2, etc.

En una etapa posterior 105, se determinan los cuatro puntos de las esquinas ("mundo") 291 - 294 del lado del cuadro delimitador 27 en el sistema de coordenadas 10.

Después de la etapa 105, en la etapa 106 se aplica el mapeo de la calibración de la cámara a los cuatro puntos de las esquinas del mundo 291 - 294 para identificar sus cuatro puntos de imagen de las esquinas de origen correspondientes 291' - 294' (figura 2a) en el plano 19 de la imagen 2D de origen. Tal como puede apreciarse en la figura 2a, los puntos 29 de la imagen de las esquinas de origen 291' - 294' no se encuentran necesariamente dentro de la imagen 2D de origen 17 y normalmente no forman las esquinas de un rectángulo sino de un tetrágono con perspectiva distorsionada 27'.

En una etapa 107, que puede realizarse en cualquier momento antes, durante o después de las etapas 100 - 106, se define un plano de imagen 2D de destino 30 en el sistema de coordenadas 10 de manera que una imagen 2D de destino 31 (figura 2b) que se encuentra en este plano 30 proporcionará una vista ortogonal ("recta") y, por lo tanto, no distorsionada tanto como sea posible sobre el lado 5 del vehículo 3. El plano de imagen 2D de destino 30 se selecciona, por ejemplo, paralelo al lado del cuadro delimitador 27 y a una distancia normal adecuada a la posición de la cámara Pcam.

En la etapa 108 que sigue a la etapa 107, se define, a continuación, un rectángulo 27'', cuyas cuatro esquinas se denominan puntos de las esquinas de destino 291" - 294 en el plano de imagen 2D de destino 30 (figura 2b). El tamaño del rectángulo 27" se selecciona de acuerdo con la distancia mencionada anteriormente, y su orientación es, por ejemplo, horizontal. En una realización, el rectángulo 27" y sus puntos de las esquinas de destino 291" - 294" se definen en función del tamaño real ("mundo real") del tamaño del cuadro delimitador 27, dado que las distancias entre los cuatro puntos de las esquinas laterales del cuadro delimitador 291 - 294 se conocen a partir de la representación 3D 13, véase la flecha discontinua de la salida de la etapa 106 a la etapa 108. Esto permitirá más adelante analizar imágenes 2D de destino "estandarizadas" 31 en el plano 30 de imagen 2D de destino para detectar más fácilmente en el mismo ruedas de un vehículo, por ejemplo, mediante una red neuronal, tal como se explicará más adelante.

En la etapa 109 que sigue a las etapas 106 y 108, se calcula una transformación proyectiva de corrección de perspectiva entre puntos en el plano de imagen 2D de origen 19 y puntos en el plano de imagen 2D de destino 30 en base a una correspondencia uno a uno entre cada uno de los cuatro puntos de imagen de las esquinas de origen 291' - 294' y el respectivo punto de imagen de las esquinas de destino 291" - 294". La transformación proyectiva se calcula,

= 1 , 2 , .; j = 1, 2, ...) de una matriz de transformación H

u huh 12h13

c -p d = c- V<=>h2i<h 22>h223

1h31 h32 h33

con

psun punto en el plano de imagen 2D de origen 19;

x,ylas coordenadas deps;

pdun punto en el plano de la imagen 2D de destino;

u,vlas coordenadas depd;

c un parámetro de escalado;

y empleando la restricción ||H||=1, donde INI denota una norma.

Opcionalmente, en la etapa 105 se determinan puntos adicionales, por ejemplo, un punto central del lado del cuadro delimitador 27 o un punto 32 en un borde superior del lado del cuadro delimitador 27, identificados en el plano de imagen 2D de origen 19 utilizando el mapeo en la etapa 106 y definido en el plano de imagen 2D de destino 30 en la etapa 108, y después en la etapa 109 se calcula la transformación proyectiva utilizando los puntos de imagen de origen adicionales 32' y correspondientes puntos de imagen de destino adicionales 32" junto con los cuatro puntos de imagen de las esquinas de origen 291' - 294' y puntos de imagen de las esquinas de destino correspondientes 291" - 294" de manera que los parámetroshijen la ecuación mencionada anteriormente pueden derivarse de un sistema sobredeterminado.

En la siguiente etapa 111, puede utilizarse la transformación proyectiva calculada en la etapa 109 para transformar la imagen 2D de origen 17 en la imagen 2D de destino 31 o, más específicamente, los píxeles 18<i>de la imagen 2D de origen de la imagen 2D de origen 17 en píxeles de imagen 2D de destino 33i de la imagen 2D de destino 31. La imagen 2D de destino 31 mostrará entonces una vista corregida en perspectiva del lado 5 del vehículo 3, véase la figura 2b.

En la etapa de transformación 111 puede transformarse cualquier número de píxeles 18<i>de la imagen 2D de origen 17, por ejemplo, todos los píxeles 18<i>de la imagen 2D de origen 17, la mitad inferior de la imagen 2D de origen 17, o todos aquellos píxeles de imagen 2D de origen 18<i>que muestren puntos del lado 5 que se encuentran dentro de una distancia vertical de, por ejemplo 2 m, por encima de un borde inferior del lado del cuadro delimitador 27 (por ejemplo, tal como se determina utilizando el mapeo y/o la transformación proyectiva). En una variante del procedimiento, en una etapa de selección anterior 110 se seleccionan por lo menos aquellos píxeles 18<i>en la imagen 2D de origen 17 que se encuentran dentro del tetrágono 27', de modo que toda la parte del lado del vehículo 5 capturada por la cámara 14 será visible en la imagen 2D de destino 31.

Tal como se ilustra en la figura 2b, la imagen 2D de destino 31 con perspectiva corregida normalmente no será rectangular sino trapezoidal. Por lo tanto, la imagen 2D de destino 31 puede recortarse o ampliarse ("rellenarse") para que tenga una forma rectangular recortando píxeles de la imagen de destino 33<i>y/o rellenando píxeles de imagen de destino adicionales (por ejemplo, monocromáticos) 33<i>en los bordes.

Hasta ahora, al realizar las etapas 100 - 111, la imagen 2D de origen 17 registrada se ha transformado en la imagen 2D de destino con perspectiva corregida 31 utilizando información de profundidad sobre los puntos 29 de la imagen de las esquinas de origen 29<1>' - 29<4>' obtenidos a partir de la representación 3D 13 registrada. En la etapa final 112 del procedimiento, las ruedas 2 del vehículo 3 pueden detectarse ahora mediante un proceso de reconocimiento de imágenes en la imagen 2D de destino corregida 31.

En la etapa 112 puede utilizarse cualquier proceso de reconocimiento de imágenes para detectar las ruedas 2, por ejemplo, un algoritmo de reconocimiento de patrones, una red neuronal, algoritmos evolutivos, aprendizaje de conjuntos, análisis discriminante lineal/cuadrático (LDA/QDA), clasificadores de máxima entropía, árboles/listas de decisión, estimación kernel, clasificadores Bayesianos ingenuos, análisis de conglomerados, etc., así como combinaciones de los mismos. Si, por ejemplo, se utiliza una red neuronal en el proceso de reconocimiento de imágenes para detectar las ruedas 2, ésta puede entrenarse proporcionando un conjunto de prueba de imágenes estandarizadas con perspectiva corregida de las ruedas del vehículo. En la etapa de detección 112 puede proporcionarse al proceso de reconocimiento de imágenes una sección de la imagen 2D de destino 31 correspondiente a longitudes del mundo real, por ejemplo, de 20 m x 5 m. Alternativamente, no pueden asociarse longitudes del mundo real en la imagen 2D de destino 31.

Opcionalmente, el proceso de reconocimiento de imágenes en la etapa 112 puede medir adicionalmente el tamaño de una rueda detectada 2, si una rueda detectada 2 está levantada de la carretera 4 (véase la segunda rueda 2 desde la izquierda en las figuras 1, 2a, 2b), si una rueda detectada es una rueda "doble" (véase la tercera rueda 2 desde la izquierda en las figuras 1, 2a, 2b) y/o determinar el número total de ruedas 2, ruedas elevadas 2 y/o ruedas dobles 2 del vehículo 3.

Tal como se muestra en la figura 2b, la densidad de píxeles en la imagen 2D de destino 31 puede no ser uniforme, es decir, la parte delantera del vehículo 3 está representada en una resolución mayor que su parte trasera, véanse las vistas parciales 34, 35 de la cuadrícula de píxeles. Para hacer que la densidad de píxeles de los píxeles de imagen 2D de destino 33<i>en la imagen 2D de destino 31 sea uniforme, puede aplicarse por lo menos una de las siguientes medidas en etapa 111:

- interpolar píxeles de imagen 2D de destino adicionales 33<i>a partir de los píxeles de imagen 2D de destino transformados 33<i>para densificar regiones escasamente pobladas (tal como el fragmento de la cuadrícula de píxeles 35);

- promediar varios píxeles de imagen 2D de origen transformados 33<i>en un píxel de imagen 2D de destino 33<i>para despoblar regiones densamente pobladas (tales como el fragmento 34 de la cuadrícula de píxeles).

Tal como puede apreciarse en la figura 2a, para registrar en su conjunto un vehículo largo 3, que necesita una imagen 2D de origen grande 17, las ruedas traseras 2 pueden registrarse muy distorsionadas y muy pequeñas, lo que da como resultado una resolución muy pobre de las ruedas transformadas en la imagen 2D de destino 31. Para superar este problema, en una variante adicional del procedimiento mostrado en las figuras 3a - 3c, la cámara 14 registra dos imágenes 2D de origen más pequeñas y menos distorsionadas 17a, 17b para dos posiciones diferentes del vehículo 3 en momentos diferentes respectivos (figuras 3a y 3b). Para cada una de las dos posiciones se llevan a cabo las etapas 100 - 111, y las dos imágenes 2D de destino resultantes 31a, 31b se unen a una imagen 2D de destino unida 36 (figura 3c).

Alternativamente, la segunda imagen 2D de origen 17b puede registrarse, en el mismo momento de registro o en un momento diferente, mediante una segunda cámara 14 desde una posición de cámara diferente P<cam>y/o dirigirse bajo un ángulo de apertura O diferente sobre el tramo 7 y posteriormente utilizarse en las etapas 101 - 111 de la misma manera que se ha descrito anteriormente para obtener la imagen 2D de destino unida 36.

Puede utilizarse cualquier algoritmo de unión de imágenes conocido por el experto, incluyendo, por ejemplo, detección, registro, calibración, alineación, composición y combinación de puntos clave, utilizando también las longitudes del mundo real conocidas en las imágenes 2D de destino 31a, 31b. Además, en realizaciones en que se lleva a cabo la unión de imágenes, partes del vehículo 3 que están ocultas en una imagen 2D de destino 31a, 31b pueden reconstruirse en la imagen 2D de destino unida 36, por ejemplo, aplicando pesos apropiados tal como se describe a continuación.

Con referencia a las figuras 1 y 3c, en una realización la unión se realiza determinando una región superpuesta 37 entre las imágenes 2D de destino 31a, 31b y asignando, para los píxeles de imagen 2D de destino 33i en la misma, unos pesos que se utilizan después para calcular los píxeles 33i de la imagen 2D de destino unida 36 en la región de superposición 37, por ejemplo, de acuerdo con

wa • pva wb • pvb

pvi =

wa wb

Con

pv¡un valor de un píxel 33i en la imagen 2D de destino unida 31;

pva, pvbun valor de un píxel 33i en la primera y la segunda imagen 2D de destino 31a, 31b, respectivamente; ywa, Wblos pesos asignados a los píxeles 33i en la primera y la segunda imagen 2D de destino 31a, 31b, respectivamente.

Los pesosWa, Wbpueden determinarse, por ejemplo, en base al contraste, la exposición, la luminancia, etc. de las imágenes 2D de destino 31a, 31 b, la calidad o la resolución de la representación 3D 13 en la posición correspondiente, la ocultación del vehículo, una transición suave de una a otra imagen 2D de destino 31a, 31b, etc.

Opcionalmente, los pesosWa, Wbse determinan en base a un ángulo de incidencia a (figura 1) de un rayo 38 desde la posición de la cámara P<cam>a un punto 39, que corresponde a la posición 39" del píxel 33i de la imagen 2D de destino respectiva 31a, 31b, en el lado del cuadro delimitador 27. Dicha correspondencia puede obtenerse, por ejemplo, utilizando el mapeo y la transformación proyectiva y/o utilizando las longitudes del mundo real conocidas en la imagen 2D de destino respectiva 31a, 31b. Por ejemplo, una vista más recta del punto 39 representado por el píxel 33i, es decir, un menor ángulo de incidencia a puede resultar en un mayor pesoWa, Wby una visión más oblicua, es decir, un mayor ángulo de incidencia a, puede resultar en un menor pesoWa, Wb.

Por ejemplo, el peso respectivoWa, Wbpuede determinarse mediante

1

wa,b 1 a

con

Wa, Wbel pesoWaoWba determinar; y

a el ángulo de incidencia del rayo 38 sobre el lado del cuadro delimitador 27.

Es evidente que es posible que se unan juntas más de dos imágenes 2D de destino 31a, 31b,... a una imagen 2D de destino 36 unida que se utiliza en la etapa de detección 112. Estas más de dos imágenes 2D de destino 31a, 31b, ... pueden superponerse todas, o solamente dos a dos, tres a tres, etc. en varias regiones separadas 37 de la imagen 2D de destino unida 36. Los pesosWj(j= a, b, c, ...) pueden utilizarse entonces de manera análoga a como se ha explicado anteriormente, por ejemplo, empleando la ecuación

pvi = Zj Wj - PVj

Z¡w¡

En general, puede utilizarse cualquier número de cámaras 14 dirigidas desde diferentes posiciones de cámara P<cam>y/o bajo diferentes ángulos de apertura O para registrar, en el mismo o en diferentes momentos de registro, las diferentes imágenes 2D de origen 17a, 17b,... para cada una de las cuales se realizan las etapas 100 - 111 para derivar respectivas imágenes 2D de destino 31a, 31b, ....

Claims (15)

REIVINDICACIONES

1. Procedimiento para detectar ruedas (2) de un vehículo (3) en una carretera (4), siendo dichas ruedas (2) visibles en un lado (5) del vehículo (3), que comprende, para una primera posición del vehículo (3) en la carretera (4):

dirigir un sensor de clasificación de vehículos (8) desde una posición del sensor (P<vcs>), en un sistema de coordenadas determinado (10), sobre un tramo (7) de la carretera (4) y registrar (101), con el sensor de clasificación de vehículos (8), una representación 3D (13) del vehículo (3) o de una parte del vehículo (3) que pasa por el tramo (7), cuya parte comprende una parte del lado del vehículo (5);

dirigir una primera cámara (14) desde una primera posición de la cámara (Pcam), en el sistema de coordenadas determinado (10), en el tramo (7) y registrar (102) una imagen 2D de origen (17), compuesta por píxeles (18<i>) que representan puntos en un plano de imagen 2D de origen (19), de por lo menos una parte inferior (20) de dicho lado del vehículo (5), calibrándose dicha cámara (14) mediante un mapeo entre puntos del mundo (23) en el sistema de coordenadas determinado (10) y puntos de imagen (23') en dicho plano de imagen 2D de origen (19); determinar (103, 104, 105), en el sistema de coordenadas determinado (10), un cuadro delimitador (26) que circunscribe la representación 3D (13), correspondiendo un lado (27) del cuadro delimitador (26) a dicho lado del vehículo (5), y los cuatro puntos de las esquinas (29<1>- 29<4>) de dicho lado del cuadro delimitador (27); identificar (106), utilizando dicho mapeo, puntos de imagen de dichos puntos de las esquinas (29<1>- 29<4>) en dicho plano de imagen 2D de origen (19) como puntos de imagen de las esquinas de origen (29<1>' - 29<4>');

definir (107) un plano de imagen 2D de destino (30) paralelo al lado del cuadro delimitador (27) en el sistema de coordenadas (10), y los cuatro puntos de las esquinas de un rectángulo (27") en el plano de imagen 2D de destino (30) como puntos de imagen de las esquinas de destino (29<1>" - 29<4>");

calcular (109) una transformación proyectiva entre los puntos de la imagen de las esquinas de origen (29<1>' - 29<4>') y los puntos de imagen de las esquinas de destino (29<1>" - 29<4>");

transformar (111), utilizando la transformación proyectiva, píxeles de imagen 2D de origen (18<i>) en píxeles de imagen 2D de destino (33<i>) de una primera imagen 2d de destino (31); y

detectar (112) las ruedas (2) del vehículo (3) utilizando la primera imagen 2D de destino (31) mediante un proceso de reconocimiento de imágenes.

2. Procedimiento según la reivindicación 1, en el que dicho lado del cuadro delimitador (27) se determina como un lado vertical del cuadro delimitador (26) que se encuentra más cerca de la posición de la cámara (Pcam).

3. Procedimiento según la reivindicación 1, en el que el sensor de clasificación de vehículos (8) mide un vector de movimiento del vehículo (28) y dicho lado del cuadro delimitador (27) se determina como un lado vertical del cuadro delimitador (26) que es paralelo al vector de movimiento del vehículo (28) y se encuentra orientado hacia la cámara (14).

4. Procedimiento según una de las reivindicaciones 1 a 3, en el que el reconocimiento de imágenes se realiza mediante una red neuronal entrenada sobre imágenes estandarizadas con perspectiva corregida de ruedas de vehículos.

5. Procedimiento según la reivindicación 4, en el que, mediante el proceso de reconocimiento de imágenes, se detecta, para cada rueda (2) detectada, si esta rueda (2) está levantada de la carretera (4).

6. Procedimiento según la reivindicación 4 o 5, en el que, mediante el proceso de reconocimiento de imágenes, se detecta, para cada rueda (2) detectada, si esta rueda (2) es una rueda doble.

7. Procedimiento según cualquiera de las reivindicaciones 1 a 6, en el que se cuentan las ruedas (2) detectadas.

8. Procedimiento según cualquiera de las reivindicaciones 1 a 7, en el que se determina (105) un punto adicional (32), preferiblemente en un borde de dicho lado del cuadro delimitador (27), y se identifica (106) un punto de imagen de origen adicional correspondiente (32') utilizando dicho mapeo, y se calcula (109) dicha transformación proyectiva también entre el punto de imagen de origen adicional (32') y un punto de imagen de destino adicional correspondiente (32").

9. Procedimiento según cualquiera de las reivindicaciones 1 a 8, caracterizado por seleccionar (110) por lo menos aquellos píxeles (18<i>) en la imagen 2D de origen (17) que se encuentran dentro de un tetrágono (27') que abarcan los puntos de imagen de las esquinas de origen (29<1>' - 29<2>') para dicha transformación (111).

10. Procedimiento según cualquiera de las reivindicaciones 1 a 9, en el que, en la etapa de transformación (111), se interpolan píxeles de imagen 2D de destino adicionales (33<i>) a partir de los píxeles de imagen 2D de destino (33<i>).

11. Procedimiento según cualquiera de las reivindicaciones 1 a 10, en el que, en la etapa de transformación (111), se promedian varios píxeles de imagen 2D de origen transformados (18<i>) respecto a un píxel de imagen 2D de destino (33<i>).

12. Procedimiento según cualquiera de las reivindicaciones 1 a 11, que comprende:

repetir las etapas de registrar (101, 102), determinar (103, 104, 105), identificar (106), definir (107, 108), calcular (109) y transformar (111), para una segunda posición del vehículo (3) o con una segunda cámara desde una segunda posición, para obtener una segunda imagen 2D de destino (17); y

unir la primera y la segunda imagen 2D de destino (31a, 31b) a una imagen 2D de destino unida (36);

en el que dicha etapa de detección (112) se lleva a cabo utilizando la imagen 2D de destino unida (36).

13. Procedimiento según la reivindicación 12, en el que, para dicha unión, se determina una región de superposición (37) entre la primera y la segunda imagen 2D de destino (31a, 31b) y para píxeles de imagen 2D de destino (33<i>) en la misma se asignan unos pesos que se utilizan para calcular píxeles (33<i>) en la región superpuesta (37) en la imagen 2D de destino unida (36).

14. Procedimiento según la reivindicación 13, en el que el peso para un píxel de imagen 2D de destino (33i) se calcula: determinando, en la representación 3D (13), un punto (39) correspondiente a dicho píxel (33<i>), un rayo (38) desde la posición de la cámara (Pcam) hasta dicho punto (39), y un ángulo de incidencia(a)de dicho rayo (38) sobre dicho lado del cuadro delimitador (27); y

calculando dicho peso en función de dicho ángulo (a).

15. Procedimiento según cualquiera de las reivindicaciones 1 a 14, caracterizado por, además, seleccionar todos los píxeles (18<i>) en la imagen 2D de origen (17) para dicha transformación (111).