ES2882402T3 - Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo - Google Patents

Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo Download PDF

Info

Publication number
ES2882402T3
ES2882402T3 ES18182496T ES18182496T ES2882402T3 ES 2882402 T3 ES2882402 T3 ES 2882402T3 ES 18182496 T ES18182496 T ES 18182496T ES 18182496 T ES18182496 T ES 18182496T ES 2882402 T3 ES2882402 T3 ES 2882402T3
Authority
ES
Spain
Prior art keywords
contour
template
vehicle
proposal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18182496T
Other languages
English (en)
Inventor
Francesco Ferroni
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Argo AI GmbH
Original Assignee
Argo AI GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Argo AI GmbH filed Critical Argo AI GmbH
Application granted granted Critical
Publication of ES2882402T3 publication Critical patent/ES2882402T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

Método (22) para estimar una posición relativa (15) de un objeto (12) en el entorno (13) de un vehículo (10), donde una unidad de control electrónico (17) del vehículo (10) estima la posición relativa (15) en base a una imagen de cámara 2D (18) tomada por una cámara (17) del vehículo (10), caracterizado por el hecho de que la unidad de control (17) ejecuta los siguientes pasos: - determinar un contorno de objeto (24) del objeto (12) a partir de la imagen de cámara (18) y - proyectar hacia atrás (27) el contorno de objeto (24) en un espacio virtual tridimensional (26) que representa el entorno (13), donde el contorno de objeto proyectado hacia atrás (24) describe un tronco tridimensional virtual (28) que se extiende desde la cámara hacia el entorno, y - determinar al menos una plantilla de objeto (20) digital que representa el objeto (12) y - posicionar al menos una plantilla de objeto (30) en varias posiciones (31, 32) predefinidas dentro del tronco (28), donde las posiciones (31, 32) se determinan según una regla de posicionamiento (33) predefinida, y - proyectar hacia adelante (40) al menos una plantilla de objeto (30) de las posiciones diferentes (31, 32) respectivas sobre un plano de imagen (20) de la imagen de cámara (18), donde cada plantilla de objeto proyectada hacia adelante (30) produce una propuesta de contorno bidimensional (42) respectiva, y - comparar las propuestas de contorno (42) con el contorno de objeto (24) del objeto (12), donde al menos una propuesta de contorno (42) que cumple un criterio de coincidencia (44) predefinido con respecto al contorno de objeto (24) se selecciona como una propuesta de contorno de mejor ajuste (45) respectiva, y - determinar la posición relativa (15) del objeto (12) en base a la posición (31, 32) respectiva de cada plantilla de objeto (30) correspondiente que conduce a al menos una propuesta de contorno de mejor ajuste (45) seleccionada.

Description

DESCRIPCIÓN
Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo
[0001] La invención se refiere a un método para estimar una posición relativa, particularmente una distancia, de un objeto en el entorno de un vehículo. La posición relativa se puede estimar en base a una única imagen de cámara 2D tomada por una cámara del vehículo. La invención también se refiere a una unidad de control electrónico para un vehículo. La unidad de control electrónico puede realizar el método inventivo. Finalmente, la invención se refiere a un vehículo de motor que comprende una cámara 2D y dicha unidad de control electrónico.
[0002] Estimar la posición relativa de un objeto con respecto a un vehículo en base a una imagen de cámara 2D confronta a una unidad de control electrónico con el problema de que no se puede determinar ningún valor para la profundidad o distancia directamente a partir de elementos de imagen (píxeles) de la imagen de cámara. Por lo tanto, el valor para la distancia del objeto con respecto al vehículo debe medirse de otro modo.
[0003] El documento US 2016/0371549 A1 divulga un método para combinar una imagen de cámara 2D y una imagen de cámara estéreo 3D en un vehículo. Se detecta un objeto tanto en la imagen 2D como en la imagen 3D. En base a la imagen 3D, se genera un modelo 3D del objeto. A partir de un plano de imagen de la imagen D, un tronco que marca el contorno de objeto como detectado en la imagen 2D se proyecta hacia atrás sobre el modelo 3D para definir el contorno correcto del objeto en el modelo 3D. La información de distancia está disponible directamente desde la imagen de cámara estéreo 3D.
[0004] El documento US 2014/0176679 A1 describe un método para clasificar un objeto que se ha detectado en una imagen de cámara 2D. Los modelos de varios posibles objetos candidatos se colocan en un espacio virtual en 3D y se calcula una proyección hacia adelante de cada modelo en el plano de imagen de cámara para obtener imágenes de cámara 2D artificiales. Se elige la imagen artificial que mejor se ajusta a la imagen de cámara 2D real y se utiliza el modelo correspondiente para describir el objeto detectado. El método se basa en una medición de la distancia por medio de un radar.
[0005] Un objetivo de la presente invención es estimar una posición relativa, al menos la distancia, de un objeto en el entorno de un vehículo en base a una imagen de cámara 2D proporcionada por una cámara del vehículo.
[0006] El objeto se logra mediante el objeto de las reivindicaciones independientes. En la siguiente descripción, en las reivindicaciones dependientes y en las figuras se especifican desarrollos ventajosos con otras formas de realización convenientes y no triviales de la invención.
[0007] La invención proporciona un método para estimar una posición relativa de un objeto en el entorno de un vehículo. Particularmente, el método estima una distancia relativa del objeto con respecto al vehículo. Como ejemplo, el objeto puede ser otro vehículo o un peatón o un ciclista. El método se realiza mediante una unidad de control electrónico del vehículo. La unidad de control electrónico estima la posición relativa en base a una imagen de cámara 2D tomada por una cámara del vehículo. La unidad de control realiza varios pasos que se explican a continuación.
[0008] En un primer paso, se determina un contorno de objeto del objeto en base a la imagen de cámara. En otras palabras, una línea exterior del objeto o una estimación de esta línea exterior se determina en la imagen de cámara. En una implementación muy básica, tal contorno de objeto puede ser un cuadro delimitador 2D.
[0009] En un segundo paso, este contorno de objeto se proyecta hacia atrás en un espacio virtual tridimensional que representa el entorno del vehículo. En otras palabras, el entorno se representa digitalmente en forma de un espacio virtual tridimensional. Una proyección hacia atrás significa que a partir del plano de imagen de los píxeles de imagen que representan el contorno de objeto, el contorno de objeto se proyecta a lo largo de la línea a lo largo de la cual la luz viajó desde el entorno a través del elemento óptico de la cámara hasta el plano de imagen de la cámara. Los rayos de luz que entran en la cámara describen las líneas de proyección. Tenga en cuenta que la luz se proyecta hacia adelante desde el entorno hacia la cámara en el plano de imagen, lo que da como resultado un valor de píxel respectivo para cada píxel en el plano de imagen. Por consiguiente, a partir de un píxel del contorno de objeto y siguiendo la línea de proyección para este píxel en una dirección hacia atrás, esto da como resultado la proyección hacia atrás. El contorno de objeto proyectado hacia atrás describe un cono o tronco virtual tridimensional que se extiende desde la cámara hasta el entorno. Por supuesto, esto es solo una representación virtual en dicho espacio virtual tridimensional. Como el tronco se basa en el contorno de objeto, ahora está claro que la posición del objeto debe estar en algún lugar dentro del tronco. Sin embargo, como se desconoce la distancia del objeto, la posición puede estar en algún lugar a lo largo de toda la longitud del tronco. De forma similar, si no se conoce la orientación espacial del objeto, también se desconoce la orientación o disposición rotacional o angular del objeto dentro del tronco.
[0010] Por lo tanto, en un tercero paso, se determina o elige al menos una plantilla de objeto digital. La elección de al menos una plantilla de objeto se puede basar en la imagen del objeto contenida en la imagen de cámara o puede proporcionarse un conjunto predefinido de al menos una plantilla de objeto. Cada plantilla de objeto digital representa el objeto. La plantilla de objeto es un modelo del objeto. El grado de detalle de la plantilla de objeto puede ser elegido por la persona experta. Una plantilla de objeto muy simple puede ser un cuadro delimitador 3D que representa el objeto.
[0011] En un cuarto paso, la al menos una plantilla de objeto se coloca en varias posiciones predefinidas dentro del tronco. Como se desconoce la posición real del objeto dentro del tronco, cada plantilla de objeto o copias de la plantilla de objeto se colocan en posiciones potenciales dentro del tronco. Estas posiciones potenciales podrán ser una posible posición en la que se podría colocar el objeto. Las posiciones se determinan según una regla de posicionamiento predefinida.
[0012] Particularmente, al menos algunas de las posiciones difieren con respecto a distancia desde el vehículo.
[0013] En un quinto paso, al menos una plantilla de objeto se proyecta hacia adelante de las respectivas posiciones diferentes sobre el plano de imagen de la imagen de cámara. En otras palabras, se genera una imagen de cámara virtual respectiva proyectando hacia atrás una plantilla de objeto respectiva desde una de las posiciones sobre el plano de imagen. Para cada plantilla de objeto y cada posición existe una imagen de cámara virtual que se puede comparar con la imagen de cámara real que muestra el objeto real. La imagen virtual respectiva de cada plantilla de objeto proyectada hacia adelante se puede tratar de la misma manera que la imagen de cámara real, ya que se puede determinar un contorno de la plantilla de objeto proyectada hacia adelante. Este contorno resultante se denomina "propuesta de contorno" a continuación. Por consiguiente, cada plantilla de objeto proyectada hacia adelante produce una propuesta de contorno bidimensional respectiva. Tenga en cuenta que cuanto más alejada esté la plantilla de objeto del plano de imagen, menor será el tamaño de la propuesta de contorno. Por lo tanto, si una plantilla de objeto describe el objeto correcto y su posición está a la distancia correcta del objeto a la cámara, la propuesta de contorno será muy similar o igual al contorno de objeto real.
[0014] En un sexto paso, las propuestas de contorno se comparan con el contorno de objeto del objeto. La comparación comprende que se verifique un criterio de coincidencia predefinido. Al menos una propuesta de contorno puede cumplir el criterio de coincidencia con respecto al contorno de objeto real. De todas las propuestas de contorno que cumplen el criterio de coincidencia, se selecciona al menos una propuesta de contorno como propuesta de contorno de mejor ajuste respectiva. Cada propuesta de contorno de mejor ajuste cumple el criterio de coincidencia. En otras palabras, un grado de similitud entre la propuesta de contorno y el contorno de objeto real es mayor que un umbral predefinido. Sin embargo, no todas las propuestas de contorno que cumplan el criterio de coincidencia deben seleccionarse como una propuesta de contorno de mejor ajuste respectiva, que se explica más adelante.
[0015] En un séptimo paso, la posición relativa del objeto se determina en base a la posición respectiva de la plantilla de objeto correspondiente que condujo a la al menos una propuesta de contorno de mejor ajuste seleccionada. En otras palabras, como cada propuesta de contorno de mejor ajuste seleccionada se ha generado en base a una plantilla de objeto respectiva que se ha colocado dentro del tronco en una posición respectiva específica, esta posición se puede usar como una propuesta para la posición relativa real del objeto con respecto al vehículo. Si se selecciona más de una propuesta de contorno de mejor ajuste, se puede determinar la posición relativa real del objeto, por ejemplo, como un valor medio de las diversas posiciones. El valor medio se puede determinar como un valor medio de los vectores que indican las posiciones.
[0016] El método proporciona la ventaja de que no se necesita ninguna medición explícita de la distancia del objeto con respecto al vehículo. La posición relativa del objeto con respecto al vehículo se puede determinar en base a una imagen de cámara 2D.
[0017] La invención también comprende formas de realización que proporcionan ventajas técnicas adicionales.
[0018] En una forma de realización, como ya se indicó, se utiliza un cuadro delimitador 2D que tiene forma rectangular como el contorno de objeto. En otras palabras, se elige un rectángulo donde cada borde del rectángulo toca la imagen de objeto del objeto en la imagen de cámara. Otro término para dicho cuadro delimitador es un "cuadro delimitador ajustado". Un cuadro delimitador proporciona la ventaja de que la proyección hacia atrás se puede realizar con menos pasos de cálculo en comparación con un contorno que comprende líneas curvadas. Solo es necesario proyectar hacia adelante las esquinas del cuadro delimitador. Los bordes restantes se pueden interpolar sin más cálculos de proyección hacia atrás.
[0019] En una forma de realización, cada plantilla de objeto representa un tipo de objeto específico y un tamaño de objeto (dimensiones del objeto) y una orientación espacial. Los ejemplos para un tipo de objeto respectivo son cada uno: un vehículo, un peatón, un ciclista. Para cada tipo de objeto, se puede moldear uno o más de un tamaño de objeto mediante una plantilla de objeto respectiva. Por ejemplo, tres tamaños diferentes dan como resultado tres plantillas de objeto diferentes para este tipo de objeto. Adicionalmente, cada plantilla de objeto modela el objeto con una orientación espacial respectiva con respecto al vehículo. La orientación espacial se puede definir como el ángulo de rotación alrededor de un eje vertical. Por ejemplo, la orientación espacial puede ser un valor de grados de orientación. Una plantilla de objeto puede proporcionar una orientación espacial de cero grados y otra plantilla de objeto puede proporcionar una orientación espacial de noventa grados del mismo tipo de objeto y del mismo tamaño de objeto específicos. Cero grados pueden representar un objeto que se acerca al vehículo, mientras que noventa grados pueden representar un objeto que cruza de izquierda a derecha o de derecha a izquierda. La plantilla de objeto no representa una posición del objeto real específica, ya que esta posición real se determina de la forma descrita colocando la plantilla de objeto en diferentes posiciones y determinando qué propuesta de contorno proporciona el mejor ajuste. Al proporcionar una plantilla de objeto que representa el tipo de objeto, el tamaño de objeto y la orientación espacial, solo es necesario elegir diferentes posiciones dentro del tronco para determinar la posición relativa del objeto.
[0020] En cuanto al número de plantillas de objeto, para cada objeto detectado en una imagen de cámara, se puede elegir un número predefinido de plantillas de objeto. Si también se conoce el tipo objeto del objeto, entonces solo se necesita una o más plantillas de objeto de este tipo de objeto y solo se puede variar el tamaño del objeto y/o la orientación espacial eligiendo varias plantillas de objeto diferentes de ese tipo de objeto.
[0021] Según una forma de realización, determinar o elegir la al menos una plantilla de objeto comprende que se utilicen varias plantillas de objeto, donde al menos dos plantillas de objeto representan tipos de objetos diferentes (potenciales) y/o al menos dos plantillas de objeto representan tamaños de objetos diferentes (potenciales) y/o al menos dos plantillas de objeto representan el mismo tipo de objeto, pero orientaciones espaciales diferentes (potenciales) del objeto. Por lo tanto, no se necesita ninguna estimación de estas características, ya que el tipo de objeto y/o el tamaño de objeto y/o la orientación de objeto correctos se determinan mediante prueba o error.
[0022] A diferencia de esto, según una forma de realización, para determinar al menos una plantilla de objeto, se utiliza un módulo de clasificación de objetos para determinar un tipo de objeto y/o una orientación espacial del objeto en base a la imagen de cámara. En otras palabras, un módulo de clasificación de objetos puede determinar al menos uno de las características, del tipo de objeto y/u de la orientación espacial y/o del tamaño de objeto en base a la imagen de cámara. Por lo tanto, se pueden usar menos plantillas de objeto. Un módulo de clasificación de objetos se puede basar en una red neuronal artificial. El módulo de clasificación de objetos puede realizar un reconocimiento de objetos en base a la imagen de cámara y/o a los datos de sensor, al menos un sensor y/o en los datos de comunicación recibidos del objeto (por ejemplo, a través de la denominada comunicación de coche a coche).
[0023] En una forma de realización, cada plantilla de objeto es un cuadro delimitador 3D. Las dimensiones espaciales del cuadro delimitador representan las dimensiones espaciales del objeto (por ejemplo, longitud, anchura y altura). La orientación espacial de un eje longitudinal o una dirección en la que está apuntando un lado frontal del cuadro delimitador puede representar dicha orientación espacial del objeto. La relación de longitud, anchura y altura del cuadro delimitador puede representar el tipo de objeto. Un cuadro delimitador 3D proporciona la ventaja de que se puede proyectar hacia adelante la plantilla de objeto proyectando hacia adelante solo las ocho esquinas del cuadro delimitador 3D. Los bordes del cuadro delimitador se pueden interpolar en el plano de imagen sin tener que calcular una proyección hacia adelante explícita. Esto da como resultado un menor esfuerzo computacional.
[0024] En una forma de realización, la regla de posicionamiento que se usa para determinar las diversas posiciones para colocar al menos una plantilla de objeto dentro del tronco comprende que se usen varias posiciones para cada plantilla de objeto, donde las posiciones estás dispuestas en un patrón predefinido. Dicho patrón puede ser, por ejemplo, una trama. Por ejemplo, las diferentes posiciones pueden tener una distancia a cada posición adyacente en un rango de 2 cm a 1 m. Por lo tanto, el esfuerzo computacional y la precisión de la estimación se pueden equilibrar. Para reducir aun más el número de posiciones, en el espacio virtual tridimensional que representa el entorno del vehículo, se puede presentar un plano de tierra. Este plano de tierra es el plano sobre el que están dispuestos el vehículo y los objetos. En otras palabras, el plano de tierra puede representar una calle o una carretera o un suelo de conducción del vehículo. Las posiciones se pueden disponer dentro del tronco en el plano de tierra y/o en un plano paralelo al plano de tierra. Esto permite limitar el número de posiciones potenciales a partir de las cuales se deben calcular las proyecciones hacia adelante para generar una propuesta de contorno respectiva.
[0025] En una forma de realización, el criterio de coincidencia que se usa para comparar las propuestas de contorno y el contorno de objeto (real) del objeto comprende que la propuesta de contorno respectiva y el contorno de objeto se superponen al menos en un valor de superposición mínimo predefinido. El valor de superposición mínimo puede ser un valor superior al 70 %, especialmente superior al 80 %. En otras palabras, las áreas que están abarcadas por la propuesta de contorno, por un lado, y el contorno de objeto, por otro lado, se pueden analizar con respecto a su grado de superposición, lo que da como resultado el valor de superposición. Esto proporciona la ventaja de que el criterio de coincidencia se puede verificar con pocas y/o sencillas operaciones de cálculo.
[0026] En una forma de realización, como ya se mencionó, no todas propuestas de contorno que cumplen el criterio de coincidencia se seleccionan realmente como una propuesta de contorno de mejor ajuste respectiva. Por el contrario, se selecciona un subconjunto de todas las propuestas de contorno que cumplen el criterio de coincidencia. La razón es que, si una plantilla de objeto que se coloca en una posición específica y que da como resultado una propuesta de contorno de mejor ajuste, la misma plantilla de objeto en la posición adyacente (por ejemplo, 10 cm de distancia) también dará como resultado una propuesta de contorno de mejor ajuste, ya que la plantilla de objeto proyectada hacia adelante dará como resultado casi la misma propuesta de contorno. Para reducir el número de propuestas de contorno de mejor ajuste, la selección comprende aplicar un criterio de similitud a las plantillas de objeto correspondientes y determinar al menos un grupo de plantillas de objeto correspondientes similares y solo seleccionar una plantilla de objeto correspondiente de cada grupo y seleccionar la propuesta de contorno de mejor ajuste asociada de la plantilla de objeto seleccionada. En otras palabras, para cada grupo de plantillas de objeto similares, una de estas plantillas de objeto representa a todo el grupo, ya que son similares de todos modos. El criterio de similitud puede ser un grado de superposición de las plantillas de objeto, es decir, se puede verificar un valor de superposición mínimo de un umbral de superposición. Cada plantilla de objeto puede ser un miembro de un solo grupo.
[0027] En una forma de realización, el paso final, es decir, la determinación de la posición relativa del objeto en base a la posición respectiva de cada plantilla de objeto, que condujo a una propuesta de contorno de mejor ajuste seleccionada, comprende los siguientes pasos. A cada propuesta de contorno de mejor ajuste seleccionada se le aplica una red neuronal artificial que está entrenada para proporcionar datos de corrección para la posición de la plantilla de objeto correspondiente para aumentar un grado de coincidencia entre la propuesta de contorno de mejor ajuste y el contorno de objeto. En otras palabras, la red neuronal artificial se prepara para proporcionar una indicación de si la plantilla de objeto correspondiente debería moverse más a la derecha/izquierda y/o arriba/abajo y/o hacia adelante/atrás (con respecto a la cámara o al vehículo) para obtener una proyección hacia adelante corregida que se ajuste o coincida aun mejor con respecto al contorno de objeto real del propio objeto. Se ha observado que dicha red neuronal artificial se puede proporcionar con poco esfuerzo. Idealmente, si se utilizan varias propuestas de contorno de mejor ajuste seleccionadas, la red neuronal artificial debería proporcionar datos de corrección para cada propuesta de contorno de mejor ajuste seleccionada, de manera que todas las propuestas de contorno de mejor ajuste seleccionadas deberían acabar en la misma posición dentro del tronco, si los datos de corrección respectivos se aplicaron a su posición respectiva. El uso de dicha red neuronal artificial aumenta la precisión de la estimación de la posición del objeto.
[0028] Sin embargo, se ha observado que dicha red neuronal artificial no proporcionará datos de corrección perfectos. En otras palabras, incluso después de aplicar los datos de corrección, permanecerán varias posiciones posibles. En una forma de realización, un valor medio de las posiciones corregidas de las plantillas de objeto en cuestión se calcula como una posición estimada del objeto. El valor medio se puede determinar de la forma descrita calculando un vector medio de todos aquellos vectores que apuntan hacia las posiciones corregidas. Usando un valor medio, se pueden compensar las imperfecciones de la red neuronal artificial.
[0029] Varias formas de realización se refieren al caso de que, después de proyectar hacia adelante hacia todas las plantillas de objeto de todas las posiciones elegidas, no se produce ninguna propuesta de contorno de mejor ajuste (es decir, no se cumple el criterio de coincidencia). En esta forma de realización, en el caso de que la comparación de las propuestas de contorno con el contorno de objeto no produzca al menos una propuesta de contorno de mejor ajuste, ya que para cada propuesta de contorno no se cumple el criterio de coincidencia, se elige otra estrategia. Esta estrategia comprende que un módulo de estimación de objetos predefinido proporciona una estimación de un tipo de objeto y un tamaño de objeto y una orientación espacial del objeto en base a la imagen de cámara. En otras palabras, se estima directamente qué tipo de objeto se muestra en la imagen de cámara y qué tamaño y orientación espacial debería asumirse para ese objeto. Esto es posible para aquellos casos en los que, en la imagen de cámara, la imagen de objeto es relativamente pequeña, por ejemplo. En dicho caso, una estimación de objeto directo puede ser realizada por un módulo de estimación de objetos. La estimación se puede expresar como un cuadro delimitador 3D, como ya se ha descrito. Ahora que una tal plantilla de objeto está disponible, debe estimarse a qué distancia del vehículo debería colocarse esta plantilla de objeto. En otras palabras, se proporciona una plantilla de objeto del tipo de objeto, tamaño de objeto y orientación espacial estimados y se proyecta hacia atrás dentro del tronco. La pregunta ahora es hasta qué punto debería proyectarse hacia atrás. Se varía una distancia de proyección y para cada valor de la distancia de proyección se genera una propuesta de contorno proyectando hacia adelante la plantilla de objeto proyectada hacia atrás desde la respectiva distancia de proyección sobre el plano de imagen. En otras palabras, la plantilla de objeto se aleja o se acerca al vehículo y, para diferentes distancias de proyección, se realiza o genera una proyección hacia adelante. Esto se realiza hasta que se encuentra un valor para la distancia de proyección para el cual el resultado de la proyección hacia adelante, es decir, la propuesta de contorno, cumple el criterio de coincidencia. En otras palabras, la distancia de proyección se elige de modo que la plantilla de objeto proyectada hacia adelante resultante produzca una propuesta de contorno que se ajuste o coincida con el contorno de objeto real según el criterio de coincidencia. Esta distancia de proyección proporciona una estimación de la distancia de objeto del objeto en el entorno. Los parámetros restantes de la posición relativa, es decir, el valor lateral (izquierdo/derecho) y el valor vertical (arriba/abajo), también se dan, ya que, a la distancia de proyección, la plantilla de objeto tocará el tronco en todos los lados de modo que no sea posible ninguna variación, horizontal o verticalmente.
[0030] En una forma de realización, dicho módulo de estimación de objetos se proporciona como una red neuronal artificial. Se ha descubierto que dicha red neuronal artificial se puede usar para estimar el tipo de objeto y el tamaño del objeto y la orientación espacial en el caso que el objeto solo cubra una proporción de la imagen de cámara de tamaño limitado predefinido. Por ejemplo, si el tamaño de la imagen de objeto en la imagen de cámara es menor de 200x200 píxeles.
[0031] La invención también comprende las combinaciones de las características de las formas de realización descritas.
[0032] Para realizar el método inventivo en un vehículo, se proporciona una unidad de control electrónico para un vehículo. La unidad de control comprende una unidad de procesamiento que está diseñada para realizar una forma de realización del método inventivo. La unidad de procesamiento puede comprender al menos un microprocesador y/o al menos un microcontrolador y/o al menos una unidad de procesamiento de señales y/o al menos una GPU (unidad de procesamiento gráfico). Los pasos del método se pueden implementar mediante un código de programa que comprende instrucciones de programación que realizarán la forma de realización del método inventivo si son ejecutados por la unidad de procesamiento. El código de programa se puede almacenar en un almacenamiento de datos digitales de la unidad de procesamiento.
[0033] Finalmente, la invención también proporciona un vehículo de motor que comprende una cámara 2D y una unidad de control electrónico según la invención. La cámara 2D puede ser una cámara de imagen fija o una videocámara. El vehículo de motor puede ser un vehículo de pasajeros o un camión.
[0034] A continuación, se describe una implementación ejemplar de la invención. Las figuras muestran:
Figura 1 una ilustración esquemática de un vehículo de motor según la invención;
Figura 2 un diagrama de flujos de una forma de realización del método inventivo, como se puede realizar mediante una unidad de control electrónico del vehículo de la figura 1;
Figura 3 una imagen de cámara 2D, como puede ser tomada por una cámara del vehículo de la figura 1; Figura 4 un boceto de un tronco tridimensional virtual y una plantilla de objeto colocada en una posición dentro del tronco;
Figura 5 una ilustración esquemática de la plantilla de objeto;
Figura 6 una ilustración esquemática de una propuesta de contorno bidimensional generada a partir de la plantilla de objeto de la figura 4 y la figura 5;
Figura 7 una ilustración esquemática de varias propuestas de contorno bidimensionales que podrían ser generadas por el menos una plantilla de objeto en diferentes posiciones;
Figura 8 una ilustración esquemática de las propuestas de contorno de mejor ajuste que se eligieron de entre todas las propuestas de contorno por medio de un criterio de coincidencia;
Figura 9 una ilustración esquemática de una selección de propuestas de contorno de mejor ajuste que puede resultar de la aplicación de un criterio de selección; y
Figura 10 una ilustración esquemática de todas esas plantillas de objeto en sus posiciones respectivas dentro del tronco que pertenecen a las propuestas de contorno de mejor ajuste de la figura 9 y una ilustración de los datos de corrección.
[0035] La forma de realización explicada a continuación es una forma de realización preferida de la invención. Sin embargo, en la forma de realización, los componentes descritos de la forma de realización representan cada uno características individuales de la invención que deben considerarse independientemente entre sí y que desarrollan cada uno la invención también independientemente entre sí y, por lo tanto, también deben considerarse como un componente de la invención de manera individual o en una combinación diferente a la mostrada. Además, la forma de realización descrita también se puede complementar con otras características de la invención ya descritas.
[0036] En las figuras, los signos de referencia idénticos indican elementos que cumplen la misma función.
[0037] La figura 1 muestra un vehículo de motor 10 que puede ser, por ejemplo, un vehículo de pasajeros o un camión. El vehículo 10 puede circular en un plano de tierra 11, que puede ser, por ejemplo, una carretera. Mientras se conduce en el plano de tierra 11, puede aparecer un objeto 12 en el entorno 13 del vehículo 10. Por ejemplo, como objeto 12, otro vehículo puede acercarse al vehículo 10 o pasar junto a él. El vehículo 10 puede comprender una unidad de control electrónico 14 que puede estar diseñada para estimar una posición relativa 15 del objeto 12 con respecto al vehículo 10. La figura 1 ilustra que la posición relativa 15 puede ser, por ejemplo, el centro del objeto 12 o el extremo frontal (no mostrado) o el extremo trasero del objeto 12. La posición relativa 15 puede describirse mediante coordenadas. Para una mejor orientación, un sistema de coordenadas 16 se ilustra en la figura 1 y las siguientes figuras. Un eje longitudinal del vehículo 10 puede corresponder al eje x, un eje lateral del vehículo 10 puede corresponder al eje y, y un eje vertical del vehículo 10 puede corresponder al eje z.
[0038] Para estimar la posición relativa 15 del objeto 12, la unidad de control 14 puede recibir desde una cámara 2d 17 una o más imágenes de cámara 2D 18. A continuación, se supone que la estimación de la posición relativa 15 se realiza en una única imagen de cámara 2D. Desde la cámara 17, se muestra un sensor de imagen 19 con el fin de ilustrar un plano de imagen 20 sobre el que una lente óptica 21 proyecta hacia adelante la luz del entorno 13 sobre el sensor de imagen 19. Sobre el sensor de imagen 19 se genera la imagen de cámara 2D. En base a la imagen de cámara 2D 18, la unidad de control electrónico puede realizar un método 22 para proporcionar una estimación 23 de la posición relativa 15. La estimación 23 se puede reenviar, por ejemplo, a un sistema de asistencia al conductor que puede, por ejemplo, conducir el vehículo 10 de forma autónoma. La figura 1 también ilustra el campo de cobertura C de la cámara 17. Como se puede observar en la figura 1, el objeto 12 está dentro del campo de cobertura C y, por lo tanto, la imagen de cámara 18 también comprenderá una imagen de objeto 12. Sin embargo, para estimar la posición relativa 15, una distancia 25, que se puede medir o definir a lo largo del eje x o el eje longitudinal del vehículo 10, no se puede medir directamente a partir de la imagen de cámara 2D 18.
[0039] Para estimar la posición relativa 15, la unidad de control electrónico 14 puede realizar el método 22. Para realizar el método 22, la unidad de control electrónico 14 puede comprender una unidad de procesamiento CPU, que se puede basar en uno o más microprocesadores y/o unidades de procesamiento gráfico y/o microcontroladores. Por medio de la unidad de procesamiento CPU, la unidad de control electrónico 14 puede operar una o más redes neuronales artificiales ANN.
[0040] La figura 2 ilustra posibles pasos del método 22. Los únicos pasos del método 22 se explicarán en relación con las figuras 3 a 10.
[0041] En un primer paso S10, la unidad de control puede determinar un contorno de objeto del objeto 12 de la imagen de cámara 18.
[0042] La figura 3 ilustra cómo en la imagen de cámara 18 se puede detectar el objeto 12. La figura 3 ilustra que el objeto 12 puede ser otro vehículo que se puede estar conduciendo en el plano de tierra 11 hacia el vehículo 10. Como contorno de objeto 24, se puede determinar un cuadro delimitador 2D BB. El objeto 12 se puede detectar en la imagen 18 en base a los algoritmos de procesamiento de imágenes del estado de la técnica que pueden basarse, por ejemplo, en al menos una red neuronal artificial. Adicional o alternativamente, se pueden usar un análisis de flujo óptico de varias imágenes de cámara 18 consecutivas.
[0043] La figura 3 y la figura 4 ilustran el paso S11 (figura 2) que se puede realizar mediante la unidad de control 14.
[0044] La figura 4 muestra un espacio virtual tridimensional 26 que se puede definir en base al sistema de coordenadas 16, que se ilustra mediante el eje y, el eje x y el eje z. La figura 4 muestra una vista desde arriba. Comenzando desde el plano de imagen 20, el contorno de objeto 24 se puede proyectar hacia atrás mediante una proyección hacia atrás 27 en el espacio virtual 26. El espacio virtual 26 representa el entorno 13. Como el contorno de objeto 24 puede describir los límites exteriores del objeto 12, la proyección hacia atrás 27 define un tronco tridimensional 28 que abarca o comprende todas las posibles posiciones del objeto 12. La figura 4 ilustra la posición real 15 del objeto 12 junto con la orientación espacial real y el tamaño real del objeto 12. La figura 3 ilustra otra vista de la proyección hacia atrás del contorno de objeto 24 en el entorno 13 junto con el tronco 28 resultante. A efectos de orientación, la figura 3 y la figura 4 muestran un plano posterior virtual 29 del tronco virtual tridimensional 28.
[0045] La figura 4 también ilustra un paso S12 del método 22. Un módulo de clasificación de objetos 30' de la unidad de control electrónico puede determinar al menos una plantilla de objeto digital 30 que representa el objeto 12.
[0046] Una posición potencial 31 de la plantilla de objeto 30 determinada se puede definir en un paso S13 para colocar la plantilla de objeto 30. Opcionalmente, para la plantilla de objeto 30 y/o para al menos otra plantilla de objeto, se pueden establecer otras posiciones 32 potenciales o posibles dentro del tronco 28. En la figura 4, de todas las posibles posiciones 32 solo tres están indicadas por un signo de referencia en aras de la claridad. Las posiciones 32 se pueden elegir en base a una regla de posicionamiento 33 predefinida que puede definir las posiciones 32 en una trama o un patrón predefinidos. Adicionalmente, la regla de posicionamiento 33 puede definir que las posiciones 32 se dispongan en el plano de tierra 11 y/o en al menos un plano paralelo paralelamente al plano de tierra 11. Desde las posiciones 32, al menos algunas difieren con respecto a la distancia 25 al vehículo 10. Un plano paralelo puede compensar baches y/o colinas en una carretera.
[0047] La figura 5 ilustra, además, los pasos S12 y S13. La figura 5 muestra una plantilla de objeto 30 en una posición 31 potencial. La plantilla de objeto 30 puede ser, por ejemplo, un cuadro delimitador 3D 34. Mediante la plantilla de objeto 30, un tipo de objeto (por ejemplo vehículo, peatón, ciclista) y/o un tamaño de objeto (anchura 35, altura 36, longitud 37) y/o una orientación espacial 38 (por ejemplo, definido como ángulo rotacional alrededor de un eje vertical 39) se puede representar o definir.
[0048] La figura 4 ilustra adicionalmente un paso S14 del método 22. La plantilla de objeto 30 se puede proyectar hacia adelante mediante una proyección hacia adelante 40 sobre el plano de imagen 20. En otras palabras, se puede generar una imagen artificial de la plantilla de objeto 30 en su posición 31. Si la plantilla de objeto 30 es un cuadro delimitador 3D 34, la proyección hacia adelante 40 se puede realizar únicamente mediante las esquinas 41 que se proyectan hacia adelante del cuadro delimitador 34. En aras de la claridad, las figuras 4 y 5 solo muestran dos signos de referencia para las esquinas 41. Las proyecciones hacia adelante 40 pueden considerar las propiedades ópticas de la lente 21 y/o los denominados parámetros extrínsecos e intrínsecos de la cámara 17.
[0049] La figura 6 ilustra el resultado del paso S14. La figura 6 muestra que, además del contorno de objeto 24, para la plantilla de objeto 30 en su posición 31, el resultado de la proyección hacia adelante 40 es una propuesta de contorno bidimensional 42 que muestra las líneas exteriores de la imagen artificial o virtual de la plantilla de objeto 30 en el plano de imagen 20.
[0050] La figura 6 también ilustra un paso S15 del método 22: La propuesta de contorno 42 se puede comparar con el contorno de objeto 24 del objeto 12. La comparación se puede realizar comparando áreas superpuestas 43, que se ilustran en la figura 6 mediante un patrón de sombreado. El grado de superposición se pueden expresar mediante un valor de superposición (por ejemplo, porcentaje de superposición). Puede verificarse, si la propuesta de contorno 42 cumple un criterio de coincidencia 44, puede exigir que el área de superposición 43 debe ser mayor que un porcentaje mínimo del área del contorno de objeto 24 y/o la propuesta de contorno 42.
[0051] Hasta el momento, el método 22 se ha descrito en base a una única plantilla de objeto 30 y su propuesta de contorno 42 resultante, si la plantilla de objeto 30 se coloca en la posición 31. Sin embargo, cada plantilla de objeto 30 individual se coloca en más de una posición 31, como se ilustra en la figura 4 mediante las posiciones 32 adicionales.
[0052] La figura 7 ilustra cómo la proyección hacia adelante 40 produce varias propuestas de contorno en el paso S14, una para cada plantilla de objeto 30 en cada posible posición 31, 32. Para cada propuesta de contorno 42, se puede aplicar el criterio de coincidencia 44. Aquellas propuestas de contorno 42 que cumplen el criterio de coincidencia 44 se denominan aquí propuestas de contorno de mejor ajuste 45'.
[0053] La figura 8 ilustra que para cada propuesta de contorno de mejor ajuste 45 se puede determinar la plantilla de objeto 30 correspondiente en su posición 31, 32 respectiva. Cada propuesta de contorno de mejor ajuste 45 está asociada a una plantilla de objeto 30 en una posición 31, 32 específica. La figura 8 también ilustra que algunas plantillas de objeto 30 pueden ser muy similares en tamaño y posición (véase que la figura 8 es una vista desde arriba sobre el espacio virtual 26). Para este fin, la figura 8 ilustra dos grupos 46, donde cada grupo 46 consiste en plantillas de objeto 30, que combinan con un criterio de similitud 47 predefinido con respecto a la posición y/o al tamaño y/o al tipo de objeto.
[0054] La figura 9 ilustra cómo, por medio del criterio de similitud 47, el número de propuestas de contorno de mejor ajuste 45 se pueden reducir a las propuestas de contorno de mejor ajuste 45' seleccionadas, donde cada una representa uno de los grupos 46. Como se muestra en la figura 9, no solo se puede dejar una única propuesta de contorno de mejor ajuste 45' seleccionada, sino más de una.
[0055] La figura 10 ilustra un paso S16 del método 22. La figura 10 ilustra cómo las plantillas de objeto 30 que pertenecen a las propuestas de contorno de mejor ajuste 45 seleccionadas pueden indicar dos posiciones 31, 32 posibles del objeto 12. Por medio de una red neuronal artificial que se puede aplicar a la imagen 18 y especialmente a las regiones de las propuestas de contorno de mejor ajuste 45 seleccionadas y al contorno de objeto 24, con el fin de determinar los datos de corrección 48 para cada una de las posiciones 31, 32 de las plantillas de objeto 30. Por medio de los datos de corrección 48, para las posiciones 31, 32, se puede calcular una posición corregida 49 respectiva. La posición corregida 49 se puede usar como la estimación 23 de la posición 15. Para generar los datos de corrección 48, la red neuronal artificial ANN se puede entrenar para asociar imágenes dentro de los límites de las propuestas de contorno de mejor ajuste 45' seleccionadas con datos de corrección correspondiente 48s para dar como resultado una mejor coincidencia de los datos de imagen abarcados por las propuestas de contorno de mejor ajuste 45' seleccionadas en comparación con los datos de imagen abarcados por el contorno de objeto 24.
[0056] El método 22 puede comprender un paso adicional S17, que se proporciona para el caso de que (véase la figura 7) ninguna de las propuestas de contorno 42 coincida con el criterio de coincidencia 44 en el paso S15, de manera que no se pueda determinar ninguna propuesta de contorno de mejor ajuste 45 en el paso S15. En este caso, en vez del paso S16, se puede realizar el paso S17. En el paso S17, desde el área de imagen de la imagen de cámara 18 que está dentro del contorno de objeto 24, por medio de una red neuronal artificial ANN, se puede proporcionar un módulo de estimación de objetos 50 que estima directamente una plantilla de objeto que proporciona una estimación para el tipo de objeto y el tamaño de objeto y la orientación espacial del objeto. Esta plantilla de objeto se puede proyectar hacia atrás de la misma manera que se ilustra en la figura 3 y la figura 4 mediante la proyección hacia atrás 27 para el contorno de objeto 24. La proyección hacia atrás 27 se puede realizar para diferentes valores de distancia de la distancia 25 (véase la figura 1). Esto también produce varias posiciones 32 posibles. Desde cada una de estas posiciones 32 posibles, nuevamente, se puede realizar una proyección hacia adelante 40, como se ilustra en la figura 4 y en la figura 6. Esto produce propuestas de contorno 42 de la misma manera que se ilustra en la figura 6. La proyección hacia adelante para el valor de distancia de la distancia 25 que produce la propuesta de contorno de coincidencia que mejor se adapta 45 puede elegirse entonces como una estimación de la distancia 25. Esto también permite una estimación 23 de la posición 15 del objeto 12.
[0057] Por lo tanto, los antecedentes generales del método pueden ser una detección de objetos 3D (no temporal) de una cámara monocular (cámara 2D). Esto significa tratar de estimar la posición de los objetos en el espacio tridimensional, incluida la pose, las dimensiones, la ubicación y la clase del objeto basándose solamente en un único fotograma de cámara, y parámetros intrínsecos y extrínsecos de la cámara conocida.
[0058] Como parte del uso de la plantilla de entorno por un vehículo autónomo, es necesario capturar objetos dinámicos y diferenciarlos de los objetos estáticos. Los objetos potencialmente móviles incluyen coches, camiones, autobuses, ciclistas, peatones, animales, etc. Esto no solo debería detectarse en las coordenadas de la imagen (región de píxeles de interés), sino también en las coordenadas del mundo real. Este método descrito aquí busca resolver este problema en el contexto de las monocámaras (es decir, sin usar sensores adicionales, como lidar, radar, cámaras de visión estéreo adicionales), usando un único fotograma.
[0059] En el método descrito aquí, se puede usar una cámara o un detector de imágenes 2D para dar áreas de interés en la imagen. Un área rectangular de interés (cuadro delimitador) crea un tronco en 3D, en el que pueden caer puntos de muchas ubicaciones potenciales (pero conocidas) del mundo 3D, siempre que conozcamos los parámetros intrínsecos/extrínsecos de la cámara (es decir, las propiedades de la lente). Dado que ya conocemos la clase del objeto (es decir, vehículo, camión, peatón) puede seleccionar plantillas aprendidas previamente para tales clases que maximizan la probabilidad de una estimación de tamaño precisa y colocarlas en el espacio 3D. A continuación, volvemos a proyectar en 2D y verificamos el error de reproyección de dicha plantilla en el cuadro delimitador 2D detectado originalmente. Por ejemplo, dentro del tronco, podemos tener un punto que viene a 400 metros de distancia; sin embargo, si colocamos un cuadro de plantilla 3D de "vehículo" en esta ubicación y lo volvemos a proyectar en 2D y encontramos que el cuadro 2D es mucho más pequeño que la detección 2D original, sabemos que esta ubicación está demasiado lejos. Las mejores plantillas de coincidencia y ubicaciones coincidentes se refinan luego mediante una red neuronal, que aprende a corregir la orientación, las dimensiones y la ubicación de la plantilla para minimizar la pérdida de localización y la pérdida de reproyección a las verdades de la tierra, basándose puramente en la entrada de la cámara. Por motivos de eficiencia, también asumimos que los objetos no están en el aire, sino relativamente cerca del plano de tierra, lo que reduce aun más las posibles plantillas.
[0060] Hay algunas advertencias con este enfoque anterior; por ejemplo, es posible que no se pueda encontrar ninguna plantilla con el umbral correcto. Esto podría deberse a que, especialmente a grandes distancias, pequeñas desviaciones en la pose y la orientación pueden desplazar tanto el cuadro 3D que el error de reproyección es muy alto y, por lo tanto, no se proponen plantillas (todas se filtran). En estos casos, o como una verificación adicional para todos los casos, en lugar de buscar plantillas en el tronco, podemos pedirle a otra red que estime la pose R y el tamaño S del objeto. Dado esto, podemos resolver T (traslación) asumiendo que el cuadro 3D encaja perfectamente en la detección de imágenes 2D. Uno de los 8 puntos de la imagen 3D podría definir potencialmente xmin, ymin, xmax o ymax del cuadro delimitador 2D en el espacio de la imagen, por lo que 8**4 combinaciones (4096). Podemos resolver estas combinaciones de forma exhaustiva y elegir la traducción que dé el error de reproyección más bajo.
[0061] En general, el ejemplo muestra como una posición de un objeto externo se puede estimar basándose en una única imagen de cámara 2D por la invención.

Claims (15)

REIVINDICACIONES
1. Método (22) para estimar una posición relativa (15) de un objeto (12) en el entorno (13) de un vehículo (10), donde una unidad de control electrónico (17) del vehículo (10) estima la posición relativa (15) en base a una imagen de cámara 2D (18) tomada por una cámara (17) del vehículo (10), caracterizado por el hecho de que la unidad de control (17) ejecuta los siguientes pasos:
- determinar un contorno de objeto (24) del objeto (12) a partir de la imagen de cámara (18) y
- proyectar hacia atrás (27) el contorno de objeto (24) en un espacio virtual tridimensional (26) que representa el entorno (13), donde el contorno de objeto proyectado hacia atrás (24) describe un tronco tridimensional virtual (28) que se extiende desde la cámara hacia el entorno, y
- determinar al menos una plantilla de objeto (20) digital que representa el objeto (12) y
- posicionar al menos una plantilla de objeto (30) en varias posiciones (31, 32) predefinidas dentro del tronco (28), donde las posiciones (31,32) se determinan según una regla de posicionamiento (33) predefinida, y - proyectar hacia adelante (40) al menos una plantilla de objeto (30) de las posiciones diferentes (31, 32) respectivas sobre un plano de imagen (20) de la imagen de cámara (18), donde cada plantilla de objeto proyectada hacia adelante (30) produce una propuesta de contorno bidimensional (42) respectiva, y - comparar las propuestas de contorno (42) con el contorno de objeto (24) del objeto (12), donde al menos una propuesta de contorno (42) que cumple un criterio de coincidencia (44) predefinido con respecto al contorno de objeto (24) se selecciona como una propuesta de contorno de mejor ajuste (45) respectiva, y - determinar la posición relativa (15) del objeto (12) en base a la posición (31, 32) respectiva de cada plantilla de objeto (30) correspondiente que conduce a al menos una propuesta de contorno de mejor ajuste (45) seleccionada.
2. Método (22) según la reivindicación 1, donde un marco delimitador 2D (BB) que tiene una forma rectangular se usa como contorno de objeto (24).
3. Método (22) según cualquiera de las reivindicaciones precedentes, donde cada plantilla de objeto (30) representa un tipo de objeto y un tamaño de objeto (35, 36, 37) y una orientación espacial (38) específicos.
4. Método (22) según cualquiera de las reivindicaciones precedentes, donde determinar al menos una plantilla de objeto (30) comprende el uso de varias plantillas de objeto (30), donde al menos dos plantillas de objeto (30) representan diferentes tipos de objeto y/o al menos dos plantillas de objeto (30) representan diferentes tamaños de objeto (35, 36, 37) y/o al menos dos plantillas de objeto (30) representan el mismo tipo de objeto, pero diferentes orientaciones espaciales (38) potenciales del objeto (12).
5. Método (22) según cualquiera de las reivindicaciones precedentes, donde, para determinar al menos una plantilla de objeto (30), se usa un módulo de clasificación de objetos (30') para determinar un tipo de objeto y/o un tamaño de objeto (35, 36, 37) y/o una orientación espacial (38) del objeto (12) en base a la imagen de cámara (18).
6. Método (22) según cualquiera de las reivindicaciones precedentes, donde cada plantilla de objeto (30) es un cuadro delimitador 3D (34).
7. Método (22) según cualquiera de las reivindicaciones precedentes, donde la regla de posicionamiento (33) comprende el uso de varias posiciones (31, 32) para cada plantilla de objeto (30), donde las posiciones (31, 32) están dispuestas en un patrón predefinido y donde, en el espacio virtual tridimensional (26), está representado un plano de tierra (11), sobre el que están dispuestos el vehículo (10) y/o el objeto (12), y las posiciones (31, 32) dentro del tronco (28) están dispuestas en el plano de tierra (11) y/o en un plano paralelo al plano de tierra (11).
8. Método (22) según cualquiera de las reivindicaciones precedentes, donde el criterio de coincidencia (44) comprende que la propuesta de contorno (42) respectiva y el contorno de objeto (24) se superpongan al menos a un valor de superposición mínimo predefinido.
9. Método (22) según cualquiera de las reivindicaciones precedentes, donde no todas las propuestas de contorno (45) que cumplen el criterio de coincidencia (44) se seleccionan como una propuesta de contorno de mejor ajuste (45') respectiva, sino que se selecciona un subconjunto de entre todas las propuestas de contorno que cumplen el criterio de coincidencia (40), donde la selección comprende aplicar un criterio de similitud (32) a las plantillas de objeto (30) correspondientes y determinar al menos un grupo (46) de las plantillas de objeto (30) correspondientes similares y seleccionar solo una plantilla de objeto (30) de entre cada grupo (46) y seleccionar la propuesta de contorno de mejor ajuste (45') asociada de cada plantilla de objeto (30) seleccionada.
10. Método (22) según cualquiera de las reivindicaciones precedentes, donde determinar la posición relativa (15) en base a la posición (31, 32) respectiva de la plantilla de objeto (30) correspondiente, que conduce a al menos una propuesta de contorno de mejor ajuste (45') seleccionada, comprende que a cada propuesta de contorno de mejor ajuste (45') seleccionada se le aplique una red neural artificial (ANN) que está entrenada para proporcionar datos de corrección (48) para la posición (31, 32) de la plantilla de objeto (30) correspondiente para aumentar un grado de coincidencia entre la propuesta de coincidencia de mejor ajuste (45') y el contorno de objeto (24).
11. Método (22) según la reivindicación 10, donde un valor medio de las posiciones (49) corregidas se calcula como una estimación (23) de la posición relativa (15) del objeto (12).
12. Método (22) según cualquiera de las reivindicaciones precedentes, donde en el caso que la comparación de las propuestas de contorno (42) con el contorno de objeto (24) no de como resultado al menos una propuesta de contorno de mejor ajuste (42), ya que, para cada propuesta (42) de contorno, el criterio de coincidencia (44) sigue sin cumplirse, un módulo de estimación de objetos (50) predefinido proporciona una estimación de un tipo de objeto y un tamaño de objeto y una orientación espacial del objeto en base a la imagen de cámara (18) y una plantilla de objeto (30) del tipo de objeto, tamaño de objeto y de la orientación espacial correspondientes se proyecta hacia adelante (27) dentro del tronco (28), donde una distancia de proyección se varía y, para cada valor de la distancia de proyección, se genera una propuesta de contorno (42) proyectando hacia adelante (40) la plantilla de objeto proyectada hacia atrás (30) sobre un plano de imagen (20) de la imagen de cámara (18) hasta encontrar un valor para la distancia de proyección para el cual la propuesta de contorno (42) cumple el criterio de coincidencia (44).
13. Método (22) según la reivindicación 12, donde el módulo de estimación de objetos (50) se proporciona como una red neural artificial (ANN).
14. Unidad de control electrónico (14) para un vehículo (10), donde la unidad de control (14) comprende una unidad de procesamiento (CPU) que está diseñada para realizar un método (22) según cualquiera de las reivindicaciones anteriores.
15. Vehículo de motor (10) que comprende una cámara 2D (17) y una unidad de control electrónico (14) según la reivindicación 14.
ES18182496T 2018-07-09 2018-07-09 Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo Active ES2882402T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP18182496.2A EP3594902B1 (en) 2018-07-09 2018-07-09 Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle

Publications (1)

Publication Number Publication Date
ES2882402T3 true ES2882402T3 (es) 2021-12-01

Family

ID=62904372

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18182496T Active ES2882402T3 (es) 2018-07-09 2018-07-09 Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo

Country Status (4)

Country Link
US (1) US11887336B2 (es)
EP (1) EP3594902B1 (es)
ES (1) ES2882402T3 (es)
WO (1) WO2020011670A1 (es)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340624B2 (en) * 2019-08-29 2022-05-24 Ford Global Technologies, Llc Vehicle neural network
US11987236B2 (en) * 2020-08-31 2024-05-21 Nec Corporation Monocular 3D object localization from temporal aggregation
US11521394B2 (en) * 2020-10-09 2022-12-06 Motional Ad Llc Ground plane estimation using LiDAR semantic network
US20220194412A1 (en) * 2020-12-18 2022-06-23 Lyft, Inc. Validating Vehicle Sensor Calibration
US11710254B2 (en) * 2021-04-07 2023-07-25 Ford Global Technologies, Llc Neural network object detection
CN114111813B (zh) * 2021-10-18 2024-06-18 阿波罗智能技术(北京)有限公司 高精地图元素更新方法、装置、电子设备及存储介质
DE102022112318B3 (de) 2022-05-17 2023-08-03 Audi Aktiengesellschaft Verfahren zur Ermittlung einer Ausdehnungsinformation eines Zielobjekts, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005218408A1 (en) * 2004-03-03 2005-09-15 Nec Corporation Object posture estimation/correlation system, object posture estimation/correlation method, and program for the same
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
DE102012113009A1 (de) 2012-12-21 2014-06-26 Jenoptik Robot Gmbh Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen
DE102013217915A1 (de) 2013-09-09 2015-03-12 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Objekterkennung aus tiefenaufgelösten Bilddaten
DE112018007287T5 (de) * 2018-03-15 2020-12-10 Harman International Industries, Incorporated Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)

Also Published As

Publication number Publication date
EP3594902B1 (en) 2021-04-07
WO2020011670A1 (en) 2020-01-16
US20210287022A1 (en) 2021-09-16
US11887336B2 (en) 2024-01-30
EP3594902A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
ES2882402T3 (es) Método para estimar una posición relativa de un objeto en el entorno de una unidad de vehículo y unidad de control electrónico para un vehículo y vehículo
US11170466B2 (en) Dense structure from motion
CA3028653C (en) Methods and systems for color point cloud generation
EP4191532A1 (en) Image annotation
JP5714940B2 (ja) 移動***置測定装置
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
Senlet et al. A framework for global vehicle localization using stereo images and satellite and road maps
JP2020042831A (ja) 道路の垂直輪郭検出
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
US11663808B2 (en) Distance estimating device and storage medium storing computer program for distance estimation
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US20210080264A1 (en) Estimation device, estimation method, and computer program product
CN115761164A (zh) 逆透视ipm图像生成的方法和装置
WO2022133986A1 (en) Accuracy estimation method and system
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
Rosebrock et al. Real-time vehicle detection with a single camera using shadow segmentation and temporal verification
JP2020076714A (ja) 位置姿勢推定装置
JP7493433B2 (ja) 移動量算出装置
US11897517B2 (en) Information processing device, information processing method, computer program product, and vehicle control system
CN113492850B (zh) 倾斜角检测装置及控制装置
JP7334489B2 (ja) 位置推定装置及びコンピュータプログラム
Broggi et al. Applications of Computer Vision to Vehicles: An Extreme Test.
US20220300744A1 (en) Information processing device and information processing method
Langner Visual Perception for Autonomous Driving