DE102020129096A1 - Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug - Google Patents

Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug Download PDF

Info

Publication number
DE102020129096A1
DE102020129096A1 DE102020129096.9A DE102020129096A DE102020129096A1 DE 102020129096 A1 DE102020129096 A1 DE 102020129096A1 DE 102020129096 A DE102020129096 A DE 102020129096A DE 102020129096 A1 DE102020129096 A1 DE 102020129096A1
Authority
DE
Germany
Prior art keywords
view
field
polarimetric
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020129096.9A
Other languages
English (en)
Inventor
Emmanuel Mordechai
Dan Levi
Eran Kishon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102020129096A1 publication Critical patent/DE102020129096A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904—SAR modes
    • G01S13/9076—Polarimetric features in SAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Anwendung bezieht sich auf ein Verfahren und eine Vorrichtung zum Erzeugen einer dreidimensionalen Punktwolkenerzeugung unter Verwendung einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug, das eine Kamera, die so eingerichtet ist, dass sie ein Farbbild für ein Sichtfeld und polarimetrische Daten des Sichtfeldes erfasst, einen Prozessor, der so eingerichtet ist, dass er eine neuronale Netzwerkfunktion in Erwiderung auf das Farbbild und die polarimetrischen Daten ausführt, um eine Tiefenkarte des Sichtfeldes zu erzeugen, und eine Fahrzeugsteuerung umfasst, die so eingerichtet ist, dass sie eine erweiterte Fahrassistenzfunktion ausführt und eine Fahrzeugbewegung in Erwiderung auf die Tiefenkarte steuert.

Description

  • Die vorliegende Offenbarung bezieht sich allgemein auf die Programmierung von Kfz-Steuersystemen. Genauer gesagt beziehen sich Aspekte dieser Offenbarung auf Systeme, Verfahren und Geräte zur Kombination herkömmlicher RGB-Bilder mit Polarisationsdaten von einer polarimetrischen Kamera unter Verwendung eines tiefen neuronalen Netzes zur Erzeugung einer dreidimensionalen Punktwolke zur Verwendung durch ein mit einem Fahrassistenzsystem ausgestattetes Fahrzeug.
  • Der Betrieb moderner Fahrzeuge wird immer stärker automatisiert, d.h. sie sind in der Lage, die Fahrkontrolle mit immer weniger Eingriffen des Fahrers zu gewährleisten. Die Fahrzeugautomatisierung wurde in numerische Stufen eingeteilt, die von Null, was keiner Automatisierung mit voller menschlicher Kontrolle entspricht, bis zu fünf, was einer Vollautomatisierung ohne menschliche Kontrolle entspricht, reichen. Verschiedene fortgeschrittene Fahrerassistenzsysteme (Advanced Driver-Assistance Systems, ADAS), wie z.B. Tempomat, adaptiver Tempomat und Einparkhilfesysteme, entsprechen einem niedrigeren Automatisierungsgrad, während echte „fahrerlose“ Fahrzeuge einem höheren Automatisierungsgrad entsprechen.
  • ADAS verwenden in der Regel Sensoren wie LiDAR, Radar und Kameras, um das Gebiet um das Trägerfahrzeug zu erfassen und zu kartografieren. LiDARs haben eine begrenzte räumliche Auflösung und erfordern eine aktive Beleuchtung des Sichtfeldes durch einen Laser, um Flugzeitmessungen (ToF) zu ermöglichen. Darüber hinaus haben LiDARs auf dem neuesten Stand der Technik aufgrund hoher Kosten, eines sperrigen mechanischen Aufbaus, mechanischer Abtastmechanismen und anderer beweglicher Teile Schwierigkeiten bei der Herstellung. Es wäre wünschenswert, diese Probleme zu überwinden, um ein Verfahren und eine Vorrichtung für ein ADAS-System zur Erfassung und Darstellung einer dreidimensionalen Punktwolke zur Verwendung durch ein mit ADAS ausgestattetes Kraftfahrzeug bereitzustellen.
  • Die oben genannten Informationen, die in diesem Hintergrundabschnitt offenbart werden, dienen nur der Verbesserung des Verständnisses des Hintergrunds der Erfindung und können daher Informationen enthalten, die nicht zum Stand der Technik gehören, der in diesem Land einer Person mit gewöhnlichen Kenntnissen auf dem Gebiet der Technik bereits bekannt ist.
  • BESCHREIBUNG
  • Hierin werden Trainingssysteme für autonome Fahrzeugsteuersysteme und die zugehörige Steuerlogik zur Bereitstellung einer autonomen Fahrzeugsteuerung, Verfahren zur Herstellung und Verfahren zum Betrieb solcher Systeme sowie Kraftfahrzeuge, die mit Bordsteuersystemen ausgestattet sind, offengelegt. Als Beispiel, und nicht als Beschränkung, wird ein Kraftfahrzeug mit bordeigenen Lern- und Regelsystemen für die Fahrzeugsteuerung vorgestellt.
  • In Übereinstimmung mit einem Aspekt der vorliegenden Erfindung ist eine Vorrichtung vorgesehen, die eine Kamera enthält, die so eingerichtet ist, dass sie ein Farbbild für ein Sichtfeld und polarimetrische Daten des Sichtfeldes erfasst, einen Prozessor, der so eingerichtet ist, dass er in Erwiderung auf das Farbbild und die polarimetrischen Daten eine neuronale Netzwerkfunktion ausführt, um eine Tiefenkarte des Sichtfeldes zu erzeugen, und eine Fahrzeugsteuerung, die so eingerichtet ist, dass sie eine erweiterte Fahrunterstützungsfunktion ausführt und in Erwiderung auf die Tiefenkarte eine Fahrzeugbewegung steuert.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das Farbbild ein monochromatisches grünes Bild des Sichtfeldes, ein monochromatisches rotes Bild des Sichtfeldes und ein monochromatisches blaues Bild des Sichtfeldes enthält.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, bei der die polarimetrischen Daten in Erwiderung auf vier 4x4-Basisberechnungseinheiten erzeugt werden, um eine Berechnungseinheit mit 16 Pixeln zu bilden.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei die Kamera eine Polarisator-Array-Schicht enthält, die auf einem gemeinsamen Farbfilter-Array implementiert ist.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, bei dem die polarimetrischen Daten in Erwiderung auf eine Polarisator-Array-Schicht erzeugt werden.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das Farbbild RGB-Lichtfarbinformationen enthält.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei die Polarisationsdaten den Winkel der linearen Polarisation und den Grad der linearen Polarisation für ein Bild des Gesichtsfeldes enthalten.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung einschließlich eines Speichers, der so eingerichtet ist, dass er die Tiefenkarte vom Prozessor empfängt und die Tiefenkarte speichert.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung ein von einem Prozessor ausgeführtes Verfahren, das das Empfangen eines Farbbildes eines Sichtfeldes von einer Kamera, das Empfangen polarimetrischer Daten des Sichtfeldes von einer polarimetrischen Kamera, die Ausführung einer neuronalen Netzwerkfunktion zur Erzeugung einer Tiefenkarte des Sichtfeldes in Erwiderung auf das Farbbild und die polarimetrischen Daten und die Ausführung einer Fahrzeugsteuerungsoperation zur Steuerung eines Fahrzeugs in Erwiderung auf die Tiefenkarte einschließt.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung einschließlich der Erzeugung eines linearen Polarisationswinkels und eines linearen Polarisationsgrades für ein Bild des Gesichtsfeldes.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, einschließlich des Empfangens einer Lidar-Tiefenwolke des Gesichtsfeldes von einem Lidar und des Vergleichs der Tiefenkarte mit der Lidar-Tiefenwolke, um die Tiefenkarte zu bestätigen.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung einschließlich der Steuerung der Lenkung eines Wirtsfahrzeugs in Erwiderung auf die Fahrzeug-Steuerungsoperation.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei die Tiefenkarte von einer Fahrzeugsteuerung verwendet wird, um einen unterstützten Fahralgorithmus auszuführen.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das Farbbild und die polarimetrischen Daten von einer Kamera mit einer Polarisatoranordnungsschicht und einer gemeinsamen Farbfilteranordnung erfasst werden.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das Farbbild ein monochromatisches grünes Bild des Sichtfeldes, ein monochromatisches rotes Bild des Sichtfeldes und ein monochromatisches blaues Bild des Sichtfeldes enthält.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, der wirksam ist, um eine 16-Pixel-Berechnungseinheit als Antwort auf eine blaue Vier-Pixel-Berechnungseinheit, eine rote Vier-Pixel-Berechnungseinheit und eine grüne Vier-Pixel-Berechnungseinheit und mindestens einen Polarisationswert für jede der blauen Vier-Pixel-Berechnungseinheit, der roten Vier-Pixel-Berechnungseinheit und der grünen Vier-Pixel-Berechnungseinheit zu erzeugen.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung einschließlich der Erzeugung eines Polarisations-plus-Farbrahmens in Erwiderung auf die polarimetrischen Daten und das Farbbild des Sichtfeldes, wobei die Funktion des neuronalen Netzes auf dem Polarisations-plus-Farbrahmen ausgeführt wird.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das Farbbild RGB-Lichtfarbinformationen enthält.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, ein Verfahren zum Durchführen eines unterstützten Fahrvorgangs, umfassend das Empfangen erster polarimetrischer Daten eines ersten Sichtfeldes, das Empfangen eines ersten Farbbildes des ersten Sichtfeldes, das Empfangen einer Lidar-Tiefenpunktwolke des ersten Sichtfeldes, das Trainieren einer neuronalen Netzwerkfunktion in Erwiderung auf die ersten polarimetrischen Daten, das erste Farbbild, und der Lidar-Tiefenpunktwolke, Empfangenen eines zweiten Farbbildes eines zweiten Sichtfeldes und zweiter polarimetrischer Daten des zweiten Sichtfeldes, Ausführen der Funktion des neuronalen Netzes zur Erzeugung einer Tiefenkarte des zweiten Sichtfeldes in Erwiderung auf das zweite Farbbild und die zweiten polarimetrischen Daten und Ausführen des fahrunterstützenden Betriebs in Erwiderung auf die Tiefenkarte zur Steuerung eines Fahrzeugs.
  • In Übereinstimmung mit einem anderen Aspekt der vorliegenden Erfindung, wobei das zweite Farbbild und die zweiten polarimetrischen Daten von einer Kamera mit einer Polarisator-Array-Schicht und einer gemeinsamen Farbfilteranordnung erfasst werden.
  • Der obige Vorteil und andere Vorteile und Merkmale der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung der bevorzugten Ausführungsformen ersichtlich, wenn sie in Verbindung mit den begleitenden Figuren aufgenommen werden.
  • Figurenliste
  • Die oben genannten und andere Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie sie zu erreichen sind, werden deutlicher hervortreten, und das System und das Verfahren werden besser verstanden, wenn die folgende Beschreibung der Ausführungsformen der Erfindung in Verbindung mit den beigefügten Figuren herangezogen wird.
    • 1 zeigt eine Datenflussübersicht zur dreidimensionalen Punktwolkenerzeugung mit einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug nach einer beispielhaften Ausführungsform.
    • 2a zeigt ein Blockdiagramm, das eine beispielhafte Implementierung eines Systems zur dreidimensionalen Punktwolkenerzeugung mit einer polarimetrischen Kamera zeigt.
    • 2b zeigt einen beispielhaften Polarisator-Array-Schichtquadranten zur Erzeugung einer dreidimensionalen Punktwolke mit einer polarimetrischen Kamera.
    • 3 zeigt ein Blockschaltbild, das ein System zur dreidimensionalen Punktwolkenerzeugung mit einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug nach einer beispielhaften Ausführungsform zeigt.
    • 4 zeigt ein Flussdiagramm, das ein Verfahren zur dreidimensionalen Punktwolkenerzeugung mit einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug nach einer beispielhaften Ausführungsform veranschaulicht.
  • Die hier dargelegten beispielhaften Ausführungsformen veranschaulichen bevorzugte Ausführungsformen der Erfindung, und solche Ausnahmen sind nicht so auszulegen, dass sie den Anwendungsbereich der Erfindung in irgendeiner Weise einschränken.
  • DETAILLIERTE BESCHREIBUNG
  • Ausführungsformen der vorliegenden Offenbarung werden hier beschrieben. Es ist jedoch zu verstehen, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht notwendigerweise maßstabsgetreu; einige Merkmale könnten übertrieben oder minimiert werden, um Einzelheiten bestimmter Komponenten zu zeigen. Daher sind bestimmte strukturelle und funktionelle Details, die hier offenbart werden, nicht als einschränkend zu interpretieren, sondern sind lediglich repräsentativ. Die verschiedenen Merkmale, die mit Bezug auf eine der Figuren dargestellt und beschrieben werden, können mit Merkmalen, die in einer oder mehreren anderen Figuren dargestellt sind, kombiniert werden, um Ausführungsformen herzustellen, die nicht explizit dargestellt oder beschrieben sind. Die Kombinationen der dargestellten Merkmale ergeben repräsentative Ausführungsformen für typische Anwendungen. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung übereinstimmen, könnten jedoch für bestimmte Anwendungen oder Implementierungen erwünscht sein.
  • 1 zeigt schematisch eine Betriebsübersicht 100 zur dreidimensionalen Punktwolkenerzeugung mit einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug. In dieser beispielhaften Ausführungsform werden ein System und ein Verfahren zur Nutzung einer Reihe von konventionellen Lichtfarb-Informationsbildern dargestellt, wobei jedes Bild rote Bilddaten 101R, grüne Bilddaten 101G und blaue Bilddaten 101B enthalten kann. Diese konventionellen Lichtfarbinformationen werden mit Polarisationsrohdaten 105 unter Verwendung eines tiefen neuronalen Netzes 110 kombiniert, um ein Punktwolkenbild 120 zu erzeugen. Das Punktwolkenbild kann in periodischen Azimut- und Elevationsinkrementen bestimmte Entfernungen vom Sensor zu Objekten innerhalb des Bildes enthalten. Die Polarisationsrohdaten 105 können mit einer passiven polarimetrischen Kamera erfasst werden, um ein hochauflösendes Tiefenbild der Szene zu erhalten, das keine aktive Beleuchtung und Laufzeitmessung erfordert. Das Beispielsystem kann so eingerichtet werden, dass es polarimetrische Bildgebung mit maschinellem Lernen zur Tiefenschätzung kombiniert und zusätzliche Sensoren für das selbstüberwachte Training des Modells für maschinelles Tiefenlernen verwendet. Eine weitere Verbesserung der Tiefenschätzung kann durch direktes Lernen aus der Rohsensormessung erfolgen.
  • Eine polarimetrische Bildkamera kann zusätzlich zur konventionellen Lichtfarbe (RGB) Lichtpolarisationszustände liefern. Der Lichtpolarisationszustand kann verarbeitet werden, um einige Informationen über die Orientierungen der abgebildeten Oberflächen zu ermitteln. Das derzeit offenbarte System und die Methodik ist so eingerichtet, dass mit einer Polarisationskamera ohne aktive Beleuchtung Echtzeit-Videos von dichten 3D-Punktewolken erzeugt werden können. Die 3D-Punktewolke kann unter Verwendung eines tiefen neuronalen Netzwerks in Echtzeit erzeugt werden. Das neuronale Netzwerk kann hochauflösende Polarisations- + RGB-Rahmen empfangen und eine ‚RGB+Tiefe-Punktwolke‘ ausgeben. In einer weiteren Ausführungsform kann ein neuronales Netzwerk in einem vollautomatischen Prozess trainiert werden, indem ein Ground-Truth-Trainingsgerät verwendet wird, das aus einer polarimetrischen Bildkamera besteht, die mit einem hochauflösenden Tiefenbildgerät wie einem dichten LiDAR, einer stereoskopischen Kamera, einem Tiefenbildgerät mit strukturiertem Licht oder einem anderen geeigneten Sensor ausgerichtet ist.
  • Um nun zu 2a zu kommen, wird ein Diagramm gezeigt, das eine beispielhafte Implementierung eines Systems 200 für eine dreidimensionale Punktwolkenerzeugung mit einer polarimetrischen Kamera 250 zeigt. Das System kann eine polarimetrische Kamera 250 mit einer Polarisator-Array-Schicht 260 aus einem Nanodraht-Gittermuster enthalten, die auf dem Focal-Plane-Array (FPA) über den Fotodioden angeordnet ist. Die Polarisator-Array-Schicht 260 könnte inhärent als Teil des Sensorherstellungsprozesses implementiert werden. Alternativ könnte die Polarisator-Array-Schicht 260 entworfen und hergestellt und dann auf den FPA aufgebracht werden.
  • Zur Messung der Farbintensität des Lichts (d.h. von Rot, Grün, Blau (RGB)-Daten) sowie von polarimetrischen Daten kann die Polarisator-Array-Schicht 260 auf einem gemeinsamen Farbfilter-Array (CFA) implementiert werden, das als RGGB-, RG1G2B- oder Bayer-Filter bekannt ist. In einer Beispielausführung wird eine 4x4-Grundberechnungseinheit verwendet, um eine Berechnungseinheit mit 16 Pixeln zu bilden. Die 4x4-Grundberechnungseinheit kann aus vier 2x2 unterschiedlich abgewinkelten Polarisatoren Q1, Q2, Q3 und Q4 bestehen, wobei jeder der 2x2 unterschiedlich abgewinkelten Polarisatoren Q1, Q2, Q3 und Q4 über einen der RGGB-Abschnitte des gemeinsamen Farbfilterarrays implementiert ist.
  • In 2b ist beispielhaft ein Polarisator-Array-Schichtquadrant 210 dargestellt, der aus vier unterschiedlich abgewinkelten Polarisatoren besteht: 0° (I0, 45° (I45), 90° (I90) und 135° (I135). In diesem Beispiel bildet jeder 2×2-Block eine Berechnungseinheit mit vier Pixeln, die die Messung von drei Stokes-Parametern (mit S0, S1, S2 bezeichnet) sowie die Messung des Winkels der linearen Polarisation (AoLP) und des Grades der linearen Polarisation (DoLP) ermöglicht. In diesem Beispiel werden die Polarisationsdaten unabhängig für jede Farbe der 4 Farben des CFA berechnet, und die Kameraausgabe ist ein Szenenbild mit 5 Kanälen: RGB, AoLP und DoLP. Daher werden die von jedem der Winkelpolarisatoren I0 I45, I0 und I35 empfangenen Rohdaten zur Bestimmung der Stokes-Parameter S0, S1, S2 gemäß Gleichung 1 verwendet. S 0 = i 0 + i 90 = i 45 + i 135 S 1 = i 0 − i 90 S 2 = i 45 − i 135
    Figure DE102020129096A1_0001
  • Die Stokes-Parameter wiederum werden verwendet, um eine Kameraausgabe eines Sichtfeldbildes mit 3 Kanälen zu erzeugen: Intensität, AoLP und DoLP gemäß den Gleichungen 2 und 3. DoLP = 2 ⋅ ( S 1 2 + S 2 2 ) / ( S 0 ) ∈ [ 0,1 ]
    Figure DE102020129096A1_0002
     AoLP = 0.5 ⋅ atan ( S 2 / S 1 )     ∈ [ 0 ° … 180 ° ]
    Figure DE102020129096A1_0003
  • Um nun zu 3 zu kommen, wird ein Blockschaltbild gezeigt, das eine beispielhafte Umsetzung eines Systems 300 zur Off-Road-Routenauswahl und -darstellung in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug zeigt. Das System 300 kann einen Prozessor 340, eine polarimetrische Kamera 320, ein Lidar 322, einen Speicher 345, einen Fahrzeug-Controller 330, einen Gas-Controller 355, einen Brems-Controller 360 und einen Lenkungs-Controller 370 enthalten.
  • Das System arbeitet mit verschiedenen Sensoren, wie z.B. einer polarimetrischen Kamera 320 und einem Lidar 322, die in der Lage sind, verschiedene äußere Oberflächen, Objekte und Hindernisse zu erkennen und abzubilden. Algorithmen zur Sensorfusion können verwendet werden, um eine genaue Erkennung und Verfolgung von externen Objekten sowie die Berechnung geeigneter Attribute wie Relativgeschwindigkeiten, Beschleunigungen und ähnliches zu ermöglichen. Die Kamera 320 ist in der Lage, ein Bild eines Sichtfeldes (FOV) zu erfassen, das statische und dynamische Objekte in der Nähe des Fahrzeugs umfassen kann. Bildverarbeitungstechniken können verwendet werden, um Objekte innerhalb des FOV zu identifizieren und zu lokalisieren. Diese Objekte können dann eingegrenzt und als unerwünschter Fahrbereich identifiziert und in einem Speicher gespeichert oder einer Referenzkarte für das ADAS hinzugefügt werden.
  • Die polarimetrische Kamera 320 kann in der Lage sein, ein Bild oder eine Reihe von Bildern eines Sichtfeldes in der Nähe eines mit ADAS ausgerüsteten Fahrzeugs zu erfassen. Die Bilderserie kann verwendet werden, um ein Video oder ähnliches des Sichtfeldes über die Zeit zu erzeugen. Die polarimetrische Kamera 320 kann zur passiven Erfassung polarimetrischer Daten eingesetzt werden und kann mit einer Polarisationsfilterschicht über einer gemeinsamen Farbfilteranordnung ausgestattet sein. In einer beispielhaften Ausführung kann die polarimetrische Kamera 320 Polarisationsdaten für jede der vier Farben des gemeinsamen Farbfilterarrays erfassen. In dieser Beispielvariante kann die polarimetrische Kamera 320 also 16 verschiedene Polarisationspixelwerte pro Bild sammeln, um eine 4x4 16-Pixel-Berechnungseinheit zu bilden. In dieser Beispielvariante kann die polarimetrische Kamera 320 für jede der vier Farben einen Null-Grad-, 45-Grad-, 90-Grad- und 135-Grad-Wert erfassen.
  • Das Lidar 322 kann als Sensor am Trägerfahrzeug eingesetzt werden, um Oberflächen und Objekte um das Fahrzeug herum zu erkennen und eine Reichweite und Orientierung dieser Objekte unter Verwendung von Reflexionen von den Objekten zu ermöglichen, wobei mehrere Abtastpunkte bereitgestellt werden, die sich zu einer Punkt-Cluster-Entfernungskarte zusammenfügen, wobei ein separater Abtastpunkt für jedes ½° oder weniger über das Sichtfeld (FOV) des Sensors bereitgestellt wird. Wenn also ein Zielfahrzeug oder ein anderes Objekt vor dem zu untersuchenden Fahrzeug erkannt wird, können mehrere Abtastpunkte zurückgegeben werden, die zur Bestimmung des Abstands des Zielfahrzeugs vom zu untersuchenden Fahrzeug verwendet werden können. Durch die Bereitstellung einer Gruppe von Scan-Rückgabepunkten können Objekte mit verschiedenen und beliebigen Formen, wie z.B. Felsen, Baumstämme, Autos, Lastwagen, Anhänger, Fahrräder, Fußgänger, Leitplanken usw., leichter erfasst werden, wobei die Anzahl der Abtastpunkte umso größer und/oder näher am Zielfahrzeug ist, je mehr Abtastpunkte bereitgestellt werden.
  • Vom Lidar erkannte Abtastpunkte können zur Erzeugung einer dreidimensionalen Tiefenkarte eines FOVs verwendet werden. Nach einer beispielhaften Darstellung kann die vom Lidar 322 erzeugte dreidimensionale Tiefenkarte als übergeordneter Sensoraufbau verwendet werden, um das neuronale Netz bei der Erzeugung einer hochauflösenden Dichtepunktwolke in Erwiderung auf die Farb- und Polarimetriedaten der polarimetrischen Kamera 320 zu trainieren.
  • In dieser beispielhaften Ausführung kann der Prozessor 340 so arbeiten, dass er die Polarisationsrohdaten (I0,I45, I90 und I135) aus jedem der vier Farbquadranten des gemeinsamen Farbfilterarrays von der polarimetrischen Kamera 320 empfängt. Zusätzlich erhielt der Prozessor 340 die herkömmlichen Rot-Grün- und Blaulichtinformationen von der polarimetrischen Kamera 320. Der Prozessor 340 ist dann in der Lage, die Polarisations- und Lichtinformationen in Echtzeit in eine Licht- und Tiefenwolke umzuwandeln, wenn die Daten empfangen werden. Der Prozessor 340 kann zusätzlich einen spärlichen Punkt vom Lidar 322 oder ähnlichem empfangen, um die von der polarimetrischen Kamera 320 empfangenen Tiefendaten zu kalibrieren und/oder das tiefe neuronale Netzwerk zu trainieren, das zur Erzeugung der Tiefendaten in Erwiderung auf die polarimetrischen Daten der Kamera 320 verwendet wird.
  • In einer beispielhaften Ausführungsform wird die elektromagnetische Strahlung aus dem fahrzeugnahen Sichtfeld von der polarimetrischen Kamera 320 als Farb- und Polarisationsdaten für jedes Pixel erfasst und an den Prozessor 340 gekoppelt. Die digitalisierten Rohdaten, die von der polarimetrischen Kamera 320 ausgegeben werden, können aus sieben Informationskanälen bestehen, wobei drei Kanäle RGB-Farbkanäle und vier Kanäle Polarisationskanäle sind. Alternativ kann ein Kanal ein monochromer Kanal sein. Der Prozessor 340 kann dann in der Lage sein, Lidar-Daten, wie z.B. einen Bodenwahrheitspunkt oder ein Tiefenbild, zu empfangen, um einen Funktionsblock eines neuronalen Netzwerks zu trainieren. Der Funktionsblock des neuronalen Netzwerks, der vom Prozessor 340 ausgeführt wird, erzeugt in Erwiderung auf die empfangenen Informationskanäle eine dreidimensionale monochrome oder RGB-Punkt-Tiefenwolke. Die dreidimensionale Punkttiefe könnte dann im Speicher gespeichert werden, um vom Fahrzeug-Steuergerät 330 als Teil einer ADAS-Funktion verwendet zu werden.
  • In einer beispielhaften Ausführungsform kann der Prozessor 340 einen Faltungskodierer/Dekodierer verwenden, um die Bilder und Polarisationsinformationen in die Tiefenkarte zu transformieren. Der Kodierer kann beispielsweise aus mehreren Schichten bestehen, von denen jede Faltungsfilter unterschiedlicher Größe, Pooling-Blöcke, Normalisierungsblöcke und eine nichtlineare Aktivierungsfunktion enthält. Die Ausgabe jeder Schicht ist ein Satz von Feature-Maps, auch Kanäle genannt. Der Encoder empfängt das RGB- und Polarisationsbild und erzeugt eine niedrigdimensionale Darstellung. Der Decoder kehrt den Betrieb des Codierers um und besteht ebenfalls aus Schichten, die jeweils Faltung, Pooling, Normalisierung und eine nichtlineare Aktivierungsfunktion enthalten. Es kann Verbindungen zwischen den Schichten im Encoder und den entsprechenden Schichten im Decoder geben. In einer beispielhaften Ausführungsform kann die Encoder-Decoder-Architektur einem U-Netz-Faltungsnetzwerk zur Bildsegmentierung ähneln. Der Netzwerkeingang kann drei RGB-Kanäle und bis zu vier Kanäle für Polarisationsdaten enthalten. Das Stapeln zusätzlicher Kanäle mit den 3 RGB-Kanälen ist ein Standardverfahren und erfordert nur eine Modifikation der ersten Schicht. Der Netzwerkausgang umfasst 1 Kanal, der die Tiefe darstellt. Das Problem kann als „Regressionsproblem“ dargestellt werden, bei dem der „Verlust“ (d.h. der Unterschied zwischen der vorhergesagten Tiefe und der wahren Tiefe) auf viele Arten definiert werden kann, wie z.B. LI-Verlust, Huber-Verlust (glatter LI-Verlust) und L2-Verlust.
  • Das Fahrzeug-Steuergerät 330 kann Steuersignale zur Kopplung mit anderen Fahrzeugsystem-Steuergeräten, wie z.B. einem Drosselklappensteuergerät 355, einem Bremsen-Steuergerät 360 und einem Lenkungs-Steuergerät 370, erzeugen, um den Betrieb des Fahrzeugs in Erwiderung auf den ADAS-Algorithmus zu steuern. Das Fahrzeug-Steuergerät kann die Geschwindigkeit des Fahrzeugs durch Verringerung der Drosselklappe über das Drosselklappen-Steuergerät 355 einstellen oder die Reibungsbremsen über das Brems-Steuergerät 360 in Erwiderung auf ein vom Prozessor 340 erzeugtes Steuersignal betätigen. Das Fahrzeugsteuergerät kann die Richtung des Fahrzeugs, das die Fahrzeuglenkung über das Lenkungssteuergerät 370 steuert, in Erwiderung auf ein vom Prozessor 340 erzeugtes Steuersignal einstellen.
  • Um nun zu 4 zu kommen, wird ein Flussdiagramm gezeigt, das eine beispielhafte Umsetzung eines Verfahrens 300 zur dreidimensionalen Punktwolkenerzeugung mittels einer polarimetrischen Kamera in einem mit einem Fahrassistenzsystem ausgestatteten Fahrzeug zeigt. In dieser beispielhaften Ausführungsform wird das Verfahren zunächst so betrieben, dass der Fahrassistenz-Algorithmus 410 auf eine Anforderung hin initiiert wird. Die Anforderung kann durch eine Benutzerschnittstelle als Antwort auf eine Benutzereingabe oder als Antwort auf eine ADAS-Anforderung von einem anderen ADAS-Algorithmus oder ähnlichem erzeugt werden. Die Anforderung kann z.B. als Antwort auf eine Anforderung nach einem adaptiven Tempomat erzeugt werden, die über eine Benutzerschnittstelle als Antwort auf eine Benutzeranforderung zur Aktivierung des ADAS-Algorithmus empfangen wird. In einer beispielhaften Ausführungsform kann die ADAS-Funktion eine Tiefenpunktwolke zur Verwendung durch eine nachfolgende ADAS-Funktion erzeugen. In dieser Ausführungsform kann die ADAS-Funktion in Erwiderung auf den Betrieb des mit ADAS ausgestatteten Fahrzeugs o.ä. initiiert werden.
  • Das Verfahren ist als nächstes operativ, um polarimetrische Daten 420 von einer polarimetrischen Kamera oder ähnlichem zu Empfangenen. Bei der polarimetrischen Kamera kann es sich um eine hochauflösende Farbkamera mit einer Polarisator-Array-Schicht handeln, die einem Farbfilter-Array oder ähnlichem überlagert ist. Die Polarisationsdaten können Amplitudenwerte für eine Reihe verschiedener Polarisationswinkel enthalten, wie z.B. 0 Grad, 45 Grad, 90 Grad und 135 Grad.
  • Das Verfahren ist als nächstes operativ, um 430 Farbdaten von der polarimetrischen Kamera oder ähnlichem zu empfangen. Die Farbdaten können für jede der Farben Grün, Blau und Rot einzeln erfasst und als einzelne monochromatische Bilder oder als konventionelles RGB-Bild (Light Color Information) an den Prozessor gekoppelt werden.
  • Das Verfahren ist als nächstes operativ, um 440 eine neuronale Netzwerkfunktion auszuführen, um eine Tiefe für jedes Pixel in Erwiderung auf die polarimetrischen Daten und die Farbdaten zu approximieren, um eine dreidimensionale Punktwolke mit Farbe und Tiefe zu erzeugen. Die neuronale Netzwerkfunktion kann auf einer Reihe vorhergehender Farbbild- und Polarisationsdatensätze trainiert werden, wobei ein Lidar erzeugte Tiefenpunktwolkendaten oder stereoskopische Bilddaten als überwachender Sensoraufbau verwendet werden. Das Verfahren ist so ausgelegt, dass in Erwiderung auf die neuronale Netzwerkfunktion eine dreidimensionale Farb- und Tiefenpunktwolke für das Sichtfeld erzeugt wird. Als nächstes führt das Verfahren 450 die angeforderte ADAS-Funktion in Erwiderung auf die dreidimensionale Farb- und Tiefenpunktwolke aus.
  • Obwohl in der vorstehenden detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht darauf abzielen, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken. Vielmehr wird die vorstehende detaillierte Beschreibung den Fachleuten einen praktischen Fahrplan für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es sollte verstanden werden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen festgelegt ist, abgewichen werden muss.

Claims (10)

  1. Eine Vorrichtung, umfassend: eine Kamera, die so eingerichtet ist, dass sie ein Farbbild für ein Sichtfeld und polarimetrische Daten des Sichtfeldes erfasst; einen Prozessor, der so eingerichtet ist, dass er in Erwiderung auf das Farbbild und die polarimetrischen Daten eine neuronale Netzwerkfunktion ausführt, um eine Tiefenkarte des Sichtfeldes zu erzeugen; und eine Fahrzeugsteuerung, die so eingerichtet ist, dass sie eine erweiterte Fahrassistenzfunktion ausführt und eine Fahrzeugbewegung in Erwiderung auf die Tiefenkarte steuert.
  2. Die Vorrichtung nach Anspruch 1, wobei das Farbbild ein monochromatisches grünes Bild des Sichtfeldes, ein monochromatisches rotes Bild des Sichtfeldes und ein monochromatisches blaues Bild des Sichtfeldes enthält.
  3. Die Vorrichtung nach Anspruch 1, wobei die polarimetrischen Daten in Erwiderung auf vier 4x4-Grundberechnungseinheiten erzeugt werden, um eine Berechnungseinheit mit 16 Pixeln zu bilden.
  4. Die Vorrichtung nach Anspruch 1, wobei die Kamera eine Polarisator-Array-Schicht enthält, die auf einem gemeinsamen Farbfilter-Array implementiert ist.
  5. Die Vorrichtung nach Anspruch 1, wobei die polarimetrischen Daten in Erwiderung auf eine Polarisator-Array-Schicht erzeugt werden.
  6. Die Vorrichtung nach Anspruch 1, wobei das Farbbild RGB-Lichtfarbinformationen enthält.
  7. Die Vorrichtung nach Anspruch 1, wobei er die Polarisationsdaten den Winkel der linearen Polarisation und den Grad der linearen Polarisation für ein Bild des Sichtfeldes enthalten.
  8. Die Vorrichtung nach Anspruch 1, ferner umfassend einen Speicher, der so eingerichtet ist, dass er die Tiefenkarte vom Prozessor empfängt und die Tiefenkarte speichert.
  9. Ein Verfahren, das von einem Prozessor ausgeführt wird, umfassend: Empfangen eines Farbbildes eines Sichtfeldes von einer Kamera; Empfangen polarimetrischer Daten des Sichtfeldes von einer polarimetrischen Kamera; Ausführen einer neuronalen Netzwerkfunktion zur Erzeugung einer Tiefenkarte des Sichtfeldes in Erwiderung auf das Farbbild und die polarimetrischen Daten; und Durchführen einer Fahrzeugsteuerungsoperation zur Steuerung eines Fahrzeugs in Erwiderung auf die Tiefenkarte.
  10. Das Verfahren nach Anspruch 9, ferner umfassend das Erzeugen eines linearen Polarisationswinkels und eines linearen Polarisationsgrades für ein Bild des Sichtfeldes.
DE102020129096.9A 2019-12-10 2020-11-04 Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug Pending DE102020129096A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/708,690 2019-12-10
US16/708,690 US11127147B2 (en) 2019-12-10 2019-12-10 Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle

Publications (1)

Publication Number Publication Date
DE102020129096A1 true DE102020129096A1 (de) 2021-06-10

Family

ID=75963151

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020129096.9A Pending DE102020129096A1 (de) 2019-12-10 2020-11-04 Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug

Country Status (3)

Country Link
US (1) US11127147B2 (de)
CN (1) CN112954281B (de)
DE (1) DE102020129096A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021217103A1 (en) * 2020-04-24 2021-10-28 Facebook Technologies, Llc Polarimetric imaging camera
US11418762B2 (en) * 2020-09-11 2022-08-16 GM Global Technology Operations LLC Imaging system and method
GB2603951A (en) * 2021-02-22 2022-08-24 Imperial College Innovations Ltd Image Processing
CN113978365A (zh) * 2021-10-28 2022-01-28 河北雄安五维智联科技有限公司 全向adas+360°全景融合辅助驾驶***及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8149268B1 (en) * 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
US11231502B2 (en) * 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
US10107904B2 (en) * 2012-09-04 2018-10-23 Fugro N.V. Method and apparatus for mapping and characterizing sea ice from airborne simultaneous dual frequency interferometric synthetic aperture radar (IFSAR) measurements
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CA2902675C (en) * 2014-08-29 2021-07-27 Farnoud Kazemzadeh Imaging system and method for concurrent multiview multispectral polarimetric light-field high dynamic range imaging
JP6652065B2 (ja) * 2014-12-01 2020-02-19 ソニー株式会社 画像処理装置と画像処理方法
US10776636B2 (en) * 2015-12-29 2020-09-15 Faraday&Future Inc. Stereo camera-based detection of objects proximate to a vehicle
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
WO2018194920A1 (en) * 2017-04-19 2018-10-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications
CN109215067B (zh) * 2017-07-03 2023-03-10 百度（美国）有限责任公司 基于cnn和crf模型生成高分辨率3-d点云
WO2019023519A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. FLEXIBLE COMPARTMENT DESIGN IN AN AUTONOMOUS OR SEMI-AUTONOMOUS VEHICLE
US10598764B2 (en) * 2017-10-30 2020-03-24 Yekutiel Josefsberg Radar target detection and imaging system for autonomous vehicles with ultra-low phase noise frequency synthesizer
EP3707572B1 (de) * 2017-11-10 2023-08-23 Nvidia Corporation Systeme und verfahren für sichere und zuverlässige autonome fahrzeuge
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US10732032B2 (en) * 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10937186B2 (en) * 2018-12-19 2021-03-02 Fca Us Llc Techniques for precisely locating landmarks in monocular camera images with deep learning
US10656272B1 (en) * 2019-04-24 2020-05-19 Aeye, Inc. Ladar system and method with polarized receivers
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
US11257369B2 (en) * 2019-09-26 2022-02-22 GM Global Technology Operations LLC Off road route selection and presentation in a drive assistance system equipped vehicle

Also Published As

Publication number Publication date
US11127147B2 (en) 2021-09-21
CN112954281A (zh) 2021-06-11
CN112954281B (zh) 2023-04-14
US20210174528A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
DE102020129096A1 (de) Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
EP1395852A1 (de) Verfahren zur bereitstellung von bildinformationen
DE112019002080T5 (de) Systeme und verfahren zur stellungsbestimmung
EP3731187A1 (de) Verfahren und vorrichtung zur bestimmung der geografischen position und orientierung eines fahrzeugs
DE102004018813A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102020113848A1 (de) Ekzentrizitätsbildfusion
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
DE112019001542T5 (de) Positionsschätzvorrichtung
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE202016007867U1 (de) Steuerung des Sichtlinienwinkels einer Bildverarbeitungsplattform
DE10154861A1 (de) Verfahren zur Bereitstellung von Bildinformationen
DE102021111112A1 (de) Bildgebungssystem und -verfahren
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
EP1787847A2 (de) Fahrerassistenzsystem mit Abstandserfassung
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
DE102020100230A1 (de) Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen
DE102019134695A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und sich bewegendes Subjekt
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102011056948A1 (de) Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor
DE102017117212A1 (de) System und Verfahren zur Stereotriangulation
DE102014206677A1 (de) Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
DE102019220616B4 (de) Verfahren zur simultanen lokalisierung und abbildung

Legal Events

Date Code Title Description
R012 Request for examination validly filed