DE102020212226A1 - Fusion von Automobilsensoren - Google Patents

Fusion von Automobilsensoren Download PDF

Info

Publication number
DE102020212226A1
DE102020212226A1 DE102020212226.1A DE102020212226A DE102020212226A1 DE 102020212226 A1 DE102020212226 A1 DE 102020212226A1 DE 102020212226 A DE102020212226 A DE 102020212226A DE 102020212226 A1 DE102020212226 A1 DE 102020212226A1
Authority
DE
Germany
Prior art keywords
processor
vehicle
fusion
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020212226.1A
Other languages
English (en)
Inventor
Deniz Gunel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of DE102020212226A1 publication Critical patent/DE102020212226A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/10—Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Systeme und Verfahren fusionieren Sensordaten in einem Fahrzeug. Das System umfasst einen Bildprozessor, der als erstes System auf einem Chip (SoC) ausgebildet ist, um Bilder zu verarbeiten, die von einer Kamera von außerhalb des Fahrzeugs beschafft worden sind, um Objekte zu klassifizieren und zu identifizieren. Ein als zweiter SoC ausgebildeter Umgebungsansichtprozessor verarbeitet Nahaufnahmen, die von einer Umgebungsansichtkamera von außerhalb des Fahrzeugs aufgenommen worden sind, um Hindernisse innerhalb eines bestimmten Abstands zum Fahrzeug zu klassifizieren und zu identifizieren. Die Nahaufnahmen sind näher am Fahrzeug als die von der Kamera aufgenommenen Bilder. Ein Ultraschallprozessor beschafft die Abstandsinformation zu einem oder mehreren der Hindernisse, und ein als Mikrocontroller ausgebildeter Fusionsprozessor fusioniert Informationen von dem Umgebungsansichtprozessor und dem Ultraschallprozessor basierend darauf, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.

Description

  • EINFÜHRUNG
  • Die vorliegende Offenbarung betrifft die Fusion von Automobilsensoren.
  • Ein Fahrzeug (z. B. Automobil, LKW, Baumaschine, landwirtschaftliches Gerät, automatisierte Fabrikausrüstung) kann mehrere Sensoren enthalten, um Informationen über das Fahrzeug und die Umgebung innerhalb und außerhalb des Fahrzeugs bereitzustellen. Beispielsweise kann ein Radarsystem oder ein Lidarsystem Informationen über Objekte um das Fahrzeug herum bereitstellen. Als weiteres Beispiel kann eine Kamera verwendet werden, um die Augenbewegung eines Fahrers zu verfolgen, um festzustellen, ob Schläfrigkeit ein potentielles Sicherheitsrisiko darstellt. Für jeden Sensor allein kann das Bereitstellen einer umfassenden Bewertung der aktuellen Sicherheitsrisiken eingeschränkt sein. Dementsprechend kann eine Fusion von Automobilsensoren wünschenswert sein.
  • KURZDARSTELLUNG
  • Nach einem ersten Aspekt stellt die Erfindung ein System zum Fusionieren von Sensordaten in einem Fahrzeug bereit, wobei das System Folgendes umfasst: einen Bildprozessor, der als erstes System auf einem Chip (system on chip, SoC) ausgebildet ist und konfiguriert ist, um Bilder zu verarbeiten, die von einer Kamera von außerhalb des Fahrzeugs beschafft worden sind, um Objekte zu klassifizieren und zu identifizieren; einen Umgebungsansichtprozessor, der als zweiter SoC ausgebildet ist und konfiguriert ist, um Nahaufnahmen zu verarbeiten, die von außerhalb des Fahrzeugs von einer Umgebungsansichtkamera beschafft worden sind, um Hindernisse innerhalb eines bestimmten Abstands des Fahrzeugs zu klassifizieren und zu identifizieren, wobei die Nahaufnahmen näher zum Fahrzeug hin liegen als die von der Kamera beschafften Bilder; einen Ultraschallprozessor, der konfiguriert ist, um eine Abstandsinformation zu einem oder mehreren der Hindernisse zu beschaffen; und einen Fusionsprozessor, der als Mikrocontroller ausgebildet ist und konfiguriert ist, um Informationen von dem Umgebungsansichtprozessor und dem Ultraschallprozessor basierend darauf zu fusionieren, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.
  • Der Umgebungsansichtprozessor zeigt ferner die vom Umgebungsansichtprozessor identifizierten und klassifizierten Hindernisse auf einem Rückspiegel des Fahrzeugs an.
  • Ein Entserialisierer liefert die von der Kamera von außerhalb des Fahrzeugs beschafften Bilder an den Bildprozessor und liefert die von der Umgebungsansichtkamera beschafften Nahbilder an den U mgebu ngsansichtprozessor.
  • Eine Innenkamera beschafft Bilder eines Fahrers des Fahrzeugs, wobei der Entserialisierer die Bilder des Fahrers dem Bildprozessor oder dem Umgebungsansichtprozessor zum Bestimmen des Fahrerzustands bereitstellt, wobei der Fahrerzustand Müdigkeit, Wachsamkeit oder Ablenkung angibt.
  • Ein Kommunikationsport beschafft Daten von zusätzlichen Sensoren und liefert die Daten von den zusätzlichen Sensoren an den Fusionsprozessor. Zu den zusätzlichen Sensoren zählen ein Radarsystem oder ein Lidarsystem, und die Daten von den zusätzlichen Sensoren enthalten einen Bereich oder Winkel zu einem oder mehreren der Objekte.
  • Der Fusionssensor fusioniert Informationen vom Bildprozessor und den zusätzlichen Sensoren basierend darauf, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.
  • Ein Stromüberwachungsmodul versorgt und überwacht Komponenten des Systems mit Strom. Zu den Komponenten zählen der Bildprozessor, der Ultraschallprozessor und der Fusionsprozessor.
  • Der Fusionsprozessor beschafft Karteninformationen und liefert eine Ausgabe eines Fusionsergebnisses in Kombination mit den Karteninformationen an eine Anzeige.
  • Der Fusionsprozessor erzeugt haptische Ausgaben basierend auf dem Ergebnis der Fusion.
  • Der Fusionsprozessor liefert Informationen an ein fortgeschrittenes Fahrerassistenzsystem.
  • Die Informationen vom Fusionsprozessor werden von dem fortgeschrittenen Fahrerassistenzsystem verwendet, um den Betrieb des Fahrzeugs zu steuern.
  • Nach einem zweiten Aspekt stellt die Erfindung ein Verfahren zum Fusionieren von Sensordaten in einem Fahrzeug bereit, wobei das Verfahren Folgendes umfasst:
    • Beschaffen von Bildern von außerhalb des Fahrzeugs mit einer Kamera; Verarbeiten der Bilder von außerhalb des Fahrzeugs unter Verwendung eines Bildprozessors, der als erstes System auf einem Chip (SoC) ausgebildet ist, um Objekte zu klassifizieren und zu identifizieren; Beschaffen von Nahaufnahmen von außerhalb des Fahrzeugs unter Verwendung einer Umgebungsansichtkamera; Verarbeiten der Nahaufnahmen unter Verwendung eines Umgebungsansichtprozessors, der als zweiter SoC ausgebildet ist, um Hindernisse innerhalb eines bestimmten Abstands des Fahrzeugs zu identifizieren und zu klassifizieren, wobei die Nahaufnahmen näher zum Fahrzeug hin liegen als die von der Kamera beschafften Bilder; Senden von Ultraschallsignalen von Ultraschallsensoren und Empfangen von Reflexionen; Verarbeiten der Reflexionen unter Verwendung eines Ultraschallprozessors, um eine Abstandsinformation zu einem oder mehreren der Objekte zu beschaffen; und Fusionieren von Informationen aus dem Umgebungsansichtprozessor und dem Ultraschallprozessor unter Verwendung eines Fusionsprozessors, der als Mikrocontroller ausgebildet ist, basierend darauf, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.
  • Das Verfahren kann ferner das Anzeigen der durch den Umgebungsansichtprozessor identifizierten und klassifizierten Hindernisse auf einem Rückspiegel des Fahrzeugs enthalten.
  • Das Verfahren kann ferner das Bereitstellen der von der Kamera von außerhalb des Fahrzeugs beschafften Bilder und der von der Umgebungsansichtkamera beschafften Nahbilder an einen Entserialisierer enthalten. Die Ausgabe des Entserialisierers erfolgt an den Bildprozessor oder an den U mgebu ngsansichtprozessor.
  • Das Verfahren umfasst ferner das Bereitstellen von Bildern eines Fahrers des Fahrzeugs von innerhalb des Fahrzeugs, die unter Verwendung einer Innenkamera beschafft worden sind, an den Entserialisierer, und das Bereitstellen der Ausgabe des Entserialisierers an den Bildprozessor oder an den Umgebungsansichtprozessor, um den Fahrerzustand zu bestimmen. Der Fahrerzustand gibt Müdigkeit, Wachsamkeit oder Ablenkung an.
  • Das Verfahren umfasst ferner das Beschaffen von Daten von zusätzlichen Sensoren unter Verwendung eines Kommunikationsports und das Bereitstellen der Daten von den zusätzlichen Sensoren an den Fusionsprozessor. Die Sensoren enthalten ein Radarsystem oder ein Lidarsystem und die Daten von den zusätzlichen Sensoren umfassen einen Bereich oder Winkel zu einem oder mehreren der Objekte.
  • Das Verfahren umfasst ferner den Fusionsprozessor, der Informationen vom Bildprozessor fusioniert, und die zusätzlichen Sensoren, basierend darauf, dass eine Geschwindigkeit des Fahrzeugs über einem zweiten Schwellenwert liegt.
  • Das Verfahren umfasst ferner das Versorgen und Überwachen von Strom an Komponenten des Systems unter Verwendung eines Stromüberwachungsmoduls. Zu den Komponenten zählen der Bildprozessor, der Ultraschallprozessor und der Fusionsprozessor.
  • Das Verfahren umfasst ferner, dass der Fusionsprozessor Karteninformationen beschafft und ein Ergebnis der Fusion in Kombination mit den Karteninformationen für eine Anzeige bereitstellt, und dass der Fusionsprozessor haptische Ausgaben basierend auf dem Ergebnis der Fusion erzeugt.
  • Das Verfahren umfasst ferner, dass der Fusionsprozessor einem fortgeschrittenen Fahrerassistenzsystem ein Ergebnis der Fusion bereitstellt.
  • Das Verfahren umfasst ferner, dass das fortgeschrittene Fahrerassistenzsystem das Ergebnis der Fusion vom Fusionsprozessor verwendet, um den Betrieb des Fahrzeugs zu steuern.
  • Ziele und Vorteile sowie ein umfassenderes Verständnis der Erfindung ergeben sich aus der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen.
  • Figurenliste
  • Zum besseren Verständnis kann auf die beigefügten Zeichnungen verwiesen werden. Die Komponenten in den Zeichnungen müssen nicht unbedingt maßstabsgetreu sein. Gleiche Bezugszahlen und andere Bezugszeichen kennzeichnen ähnliche Teile in den verschiedenen Ansichten.
    • 1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs, das eine Fusion von Automobilsensoren nach einer oder mehreren Ausführungsformen der Erfindung implementiert;
    • 2 ist ein Blockdiagramm einer beispielhaften Steuervorrichtung, die eine Fusion von Automobilsensoren nach einer oder mehreren Ausführungsformen der Erfindung implementiert; und
    • 3 ist ein Prozessablauf eines Verfahrens zum Implementieren einer Fusion von Automobilsensoren nach einer oder mehreren Ausführungsformen.
  • DETAILLIERTE BESCHREIBUNG
  • Wie zuvor erwähnt, können Sensoren verwendet werden, um Informationen über ein Fahrzeug und die Umgebung innerhalb und außerhalb des Fahrzeugs bereitzustellen. Es kann auf verschiedene Arten von Sensoren zurückgegriffen werden, um verschiedene Arten von Informationen zur Verwendung im autonomen oder halbautonomen Fahrzeugbetrieb bereitzustellen. Beispielsweise können Radar- oder Lidarsysteme zur Objekterkennung verwendet werden, um Hindernisse im Weg des Fahrzeugs zu identifizieren, zu verfolgen und zu vermeiden. Kameras, die positioniert sind, um Bilder im Innenraum des Fahrzeugs zu beschaffen, können verwendet werden, um die Anzahl der Insassen und das Fahrerverhalten zu bestimmen. Kameras, die positioniert sind, um Bilder außerhalb des Fahrzeugs zu beschaffen, können verwendet werden, um Fahrspurmarkierungen zu identifizieren. Die verschiedenen Arten von Informationen können verwendet werden, um automatisierte Operationen durchzuführen (z. B. Kollisionsvermeidung, automatisiertes Bremsen) oder um Fahrerwarnungen bereitzustellen.
  • Ausführungsformen der hier beschriebenen erfindungsgemäßen Systeme und Verfahren beziehen sich auf die Fusion von Automobilsensoren. Informationen von verschiedenen Sensoren werden auf dem Chip verarbeitet und kombiniert, um eine umfassende Bewertung aller Bedingungen zu beschaffen, die den Fahrzeugbetrieb beeinflussen können. Das heißt, eine Situation, die für sich genommen möglicherweise keine Gefahr darstellt (z. B. das Fahrzeug befindet sich in der Nähe einer erkannten Straßenkantenmarkierung), kann in Verbindung mit anderen Informationen als Gefahr angesehen werden (z. B. der Fahrer ist abgelenkt). Die ergriffenen Maßnahmen (z. B. Fahreralarm, autonomer oder halbautonomer Betrieb) werden auf der Grundlage der umfassenden Bewertung ausgewählt.
  • 1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs 100, das eine Fusion von Automobilsensoren gemäß einer oder mehreren Ausführungsformen der Erfindung implementiert.
  • Das Fahrzeug 100 enthält eine Steuervorrichtung 110 zum Implementieren der Sensorfusion nach einer oder mehreren Ausführungsformen. Die Steuervorrichtung 110 kann im Automobilbereich als elektronische Steuereinheit (ECU) bezeichnet werden. Komponenten der Steuervorrichtung 110, die an der Sensorfusion beteiligt sind, werden unter Bezugnahme auf 2 näher erläutert. Die Steuervorrichtung 110 beschafft Daten von mehreren beispielhaften Sensoren. Die Steuervorrichtung 110 enthält eine Verarbeitungsschaltung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen oder mehrere Prozessoren und eine oder mehrere Speichervorrichtungen, die eine oder mehrere Software- oder Firmware-Programme ausführen, eine kombinatorische Logikschaltung, oder andere geeignete Komponenten, die die beschriebene Funktionalität bieten, umfassen kann.
  • Die an der Sensorfusion beteiligten Komponenten der Steuervorrichtung 110 können, wie nachfolgend beschrieben, als ein Multi-Chip-Modul angesehen werden.
  • Zu den für das Fahrzeug 100 gezeigten beispielhaften Sensoren zählen Kameras 120, Umgebungsansichtkameras 130, eine Innenkamera 140, Ultraschallsensoren 150, ein Radarsystem 160 und ein Lidarsystem 170. Die in 1 gezeigten beispielhaften Sensoren und Komponenten sollen im Allgemeinen nicht die Anzahl oder Stellen einschränken, die in oder auf dem Fahrzeug 100 enthalten sein können. Während beispielsweise die beispielhafte Innenkamera 140 mit einem Sichtfeld FOV3 gezeigt ist, das auf einen Fahrer in einem linksgelenkten Fahrzeug 100 gerichtet ist, können zusätzliche Innenkameras 140 auf den Fahrer oder auf einen oder mehrere Insassen gerichtet sein. Eine oder mehrere Innenkameras 140 können eine Infrarot(IR)-Lichtemissionsdiode (LED) enthalten.
  • Als weiteres Beispiel können bis zu drei Kameras 120 und bis zu zwölf Ultraschallsensoren 150 vorhanden sein. Die Ultraschallsensoren 150 senden Ultraschallsignale außerhalb des Fahrzeugs 100 und bestimmen eine Entfernung zu einem Objekt 101 basierend auf der Flugzeit der Übertragung und jeglicher Reflexion von dem Objekt 101. Ein Vergleich des Sichtfelds FOV1 der beispielhaften nach vorne gerichteten Kamera 120 mit dem Sichtfeld FOV2 der unter dem Seitenspiegel gezeigten beispielhaften Umgebungsansichtkamera 130 zeigt, dass das der Umgebungsansichtkamera 130 zugeordnete FOV2 näher am Fahrzeug 100 liegt als FOV1.
  • 2 ist ein Blockdiagramm einer beispielhaften Steuervorrichtung 110, die eine Fusion von Automobilsensoren gemäß einer oder mehreren Ausführungsformen der Erfindung implementiert. Weiter wird in detaillierten Aspekten der Steuervorrichtung 110 auf 1 Bezug genommen. Der Fusionsprozessor 200 beschafft und fusioniert Informationen von anderen Komponenten. Zu diesen Komponenten zählen ein Bildprozessor 210, ein Umgebungsansichtprozessor 220, ein Ultraschallprozessor 230 und ein Kommunikationsport 240. Jede dieser Komponenten wird nachfolgend im Detail vorgestellt. Der Fusionsprozessor 200 kann ein Mikrocontroller sein.
  • Der Bildprozessor 210 und der Umgebungsansichtprozessor 220 beschaffen entserialisierte Daten von einem Entserialisierer 250. Die dem Bildprozessor 210 bereitgestellten entserialisierten Daten stammen von der einen oder den mehreren Kameras 120 und optional von einer oder mehreren Innenkameras 140. Der Bildprozessor 210 kann als System-on-Chip (SoC) implementiert sein und kann einen Maschinenlernalgorithmus ausführen, um Muster in Bildern von der einen oder den mehreren Kameras 120 und gegebenenfalls von der einen oder den mehreren Innenkameras 140 zu identifizieren. Der Bildprozessor 210 erfasst und identifiziert Objekte 101 in der Nähe des Fahrzeugs 100 basierend auf den entserialisierten Daten von der einen oder den mehreren Kameras 120. Zu beispielhaften Objekten 101 zählen Fahrspurmarkierungen, Verkehrszeichen, Straßenmarkierungen, Fußgänger und andere Fahrzeuge. Basierend auf entserialisierten Daten, die von einer oder mehreren Innenkameras 140 beschafft worden sind, kann der Bildprozessor 210 den Fahrerzustand erfassen. Das heißt, die entserialisierten Daten können Gesichtsbilddaten vom Fahrer des Fahrzeugs 100 sein. Basierend auf diesen Daten kann der Bildprozessor 210 Ermüdung, Schläfrigkeit oder Ablenkung erfassen. Informationen vom Bildprozessor 210 können vom Fusionsprozessor 200 stärker gewichtet werden (als Informationen von anderen Komponenten), wenn das Fahrzeug 100 mit einer Geschwindigkeit fährt, die einen Schwellenwert überschreitet (z. B. 30 Kilometer pro Stunde (km/h)).
  • Die dem Umgebungsansichtprozessor 220 bereitgestellten entserialisierten Daten stammen von der einen oder den mehreren Umgebungsansichtkameras 130 und optional von einer oder mehreren Innenkameras 140. Der Umgebungsansichtprozessor 220 kann wie der Bildprozessor 210 als SoC implementiert sein und einen Maschinenlernalgorithmus ausführen, um Muster zu identifizieren und zu melden. Der Umgebungsansichtprozessor 220 kann die Bilder von jeder der Umgebungsansichtkameras 130 zusammenfügen, um ein Umgebungsansichtbild (von z. B. 360 Grad) bereitzustellen. Zusätzlich zu der Bereitstellung dieses Bildes für den Fusionsprozessor 200 kann der Umgebungsansichtprozessor 220 dieses Bild auch als Rückspiegelanzeige 260 bereitstellen. Wie zuvor unter Bezugnahme auf den Bildprozessor 210 erwähnt, kann der Umgebungsansichtprozessor 220, wenn Bilder von der Innenkamera oder den Kameras 140 an den Umgebungsansichtprozessor 220 geliefert werden, den Fahrerzustand erfassen (z. B. Ermüdung, Schläfrigkeit oder Ablenkung). Informationen vom Umgebungsansichtprozessor 220 können vom Fusionsprozessor 200 stärker gewichtet werden (als Informationen von anderen Komponenten), wenn das Fahrzeug 100 mit einer Geschwindigkeit unter einem Schwellenwert (z. B. 10 km/h) fährt. Die Informationen von dem Umgebungsansichtprozessor 220 können beispielsweise während des Parkens verwendet werden.
  • Der Ultraschallprozessor 230 beschafft die Entfernungsinformation zu Objekten 101 in der Nähe des Fahrzeugs 100 basierend auf Flugzeitinformationen, die von Ultraschallsensoren 150 beschafft worden sind. Der Fusionsprozessor 200 kann die Objekte 101, deren Abstandsinformation vom Ultraschallprozessor 230 beschafft wird, mit Objekten 101 korrelieren, die vom Umgebungsansichtprozessor 220 während Szenarien mit niedriger Geschwindigkeit, wie beispielsweise Parken, identifiziert worden sind. Rauschen und andere Objekte 101, die nicht von Interesse sind, können basierend auf der Identifikation durch den Bildprozessor 210 oder den Umgebungsansichtprozessor 220 herausgefiltert werden. Der Kommunikationsport 240 beschafft Daten von dem Radarsystem 160, dem Lidarsystem 170 und beliebigen anderen Sensoren. Basierend auf den Informationen von den Sensoren kann der Kommunikationsanschluss 240 dem Fusionsprozessor 200 Entfernung, Winkelinformationen, Relativgeschwindigkeit, Lidarbilder und andere Informationen über Objekte 101 übermitteln.
  • Der Fusionsprozessor 200 beschafft zusätzlich zu den Informationen von Prozessoren der Steuervorrichtung 110 Karteninformationen 205 für das Fahrzeug 100. Der Fusionsprozessor 200 kann alle fusionierten Informationen (d. h. umfassende Informationen basierend auf der Fusion) gemäß einer beispielhaften Ausführungsform an ein fortgeschrittenes Fahrerassistenzsystem (ADAS) 275 liefern.
  • Diese umfassenden Informationen umfassen die Objekte 101, die basierend auf Erfassungen durch die Kameras 120 und Umgebungsansichtkameras 130 identifiziert worden sind, sowie ihre Entfernung basierend auf den Ultraschallsensoren 150, den Fahrerzustand basierend auf der Verarbeitung von Bildern, die von der Kamera 140 beschafft worden sind, Informationen von den Sensoren (z. B. Radarsystem 160, Lidarsystem 170) und Karteninformationen 205. Die Informationen, die am relevantesten sind, können auf der Geschwindigkeit für das Fahrzeug 100 basieren, wie zuvor erwähnt. Im Allgemeinen können bei höheren Geschwindigkeiten Informationen von den Außenkameras 120, dem Radarsystem 160 und dem Lidarsystem 170 am nützlichsten sein, während bei niedrigeren Geschwindigkeiten Informationen von den Umgebungsansichtkameras 130 und Ultraschallsensoren 150 am nützlichsten sein können. Die Innenkameras 140 und Informationen über den Fahrerzustand können in jedem Szenario unabhängig von der Geschwindigkeit des Fahrzeugs 100 relevant sein.
  • Basierend auf den umfassenden Informationen kann der ADAS 275 eine Audio- oder Videoausgabe 270 (z. B. über den Infotainment-Bildschirm des Fahrzeugs 100) von Objekten 101 bereitstellen, die auf der Karte angegeben sind. Beispielsweise kann die relative Position von erfassten Objekten 101 zum Fahrzeug 100 auf einer Karte angegeben werden. Das ADAS 275 kann auch haptische Ausgaben 280 bereitstellen. Zum Beispiel basierend darauf, dass der Bildprozessor 210 bestimmt, dass Bilder von einer oder mehreren Innenkameras 140 Unaufmerksamkeit des Fahrers angeben, und auch bestimmt, dass Bilder von einer oder mehreren Außenkameras 120 eine bevorstehende Gefahr angeben (z. B. Objekt 101 in einem Pfad des Fahrzeugs 100), kann der Fahrersitz vibrieren, um den Fahrer zu alarmieren. Das ADAS 275, das Teil der Steuervorrichtung 110 sein kann, kann zusätzlich den autonomen oder halbautonomen Betrieb des Fahrzeugs 100 ermöglichen.
  • Nach alternativen Ausführungsformen kann der Fusionsprozessor 200 die für den ADAS 275 selbst erörterte Funktionalität ausführen. Somit kann der Fusionsprozessor 200 direkt eine Audio- oder Videoausgabe 270 bereitstellen oder haptische Ausgaben 280 steuern. Der Fusionsprozessor 200 kann Maschinenlernen implementieren, um die Informationen von dem Bildprozessor 210, dem Umgebungsansichtprozessor 220, dem Ultraschallprozessor 230 und dem Kommunikationsport 240 zu gewichten und zu fusionieren. Die Steuervorrichtung 110 enthält auch einen Leistungsmonitor 201. Der Leistungsmonitor 201 versorgt die anderen Komponenten der Steuervorrichtung 110 mit Strom und überwacht, dass jeder Komponente der richtige Leistungspegel zugeführt wird.
  • 3 ist ein Prozessablauf eines Verfahrens 300 zum Implementieren einer Fusion von Automobilsensoren unter Verwendung einer Steuervorrichtung 110 (d. h. einer ECU des Fahrzeugs 100) nach einer oder mehreren Ausführungsformen der Erfindung. Es wird weiterhin auf die 1 und 2 Bezug genommen, um die Abläufe zu erörtern. In Block 310 umfasst das Beschaffen von Daten von mehreren Quellen alle in 3 angegebenen und unter Bezugnahme auf 1 detaillierten Quellen. Bilder von außerhalb des Fahrzeugs 100 werden von einer oder mehreren Kameras 120 beschafft. Nahaufnahmen werden von Umgebungsansichtkameras 130 beschafft. Bilder von innerhalb des Fahrzeugs des Fahrers oder zusätzlich der Insassen werden durch Innenkameras 140 beschafft. Ultraschallsensoren 150 senden Ultraschallenergie aus und empfangen Reflexionen von Objekten 101, so dass die Flugzeit der Ultraschallenergie aufgezeichnet werden kann. Ein Radarsystem 160 zeigt die Entfernung, die Relativgeschwindigkeit und den Relativwinkel zu den Objekten 101 an. Ein Lidarsystem kann auch die Entfernung anzeigen. Die Karteninformationen 205 geben die Position des Fahrzeugs 100 unter Verwendung einer globalen Referenz an. Wie bereits erwähnt, sind nicht alle Quellen in allen Szenarien gleich relevant. Beispielsweise können in einem Niedriggeschwindigkeitsszenario, wie etwa dem Einparken, die Umgebungsansichtkameras 130 und Ultraschallsensoren 150 relevanter sein als Kameras 120, deren Sichtfeld weiter vom Fahrzeug 100 entfernt ist. In schnelleren Szenarien, wie etwa dem Fahren auf der Autobahn, können die Kameras 120, das Radarsystem 160 und das Lidarsystem 170 relevanter sein.
  • In Block 320 bezieht sich das Verarbeiten und Fusionieren der Daten, um umfassende Informationen zu beschaffen, auf das Verwenden der verschiedenen Prozessoren der Steuervorrichtung 110, wie unter Bezugnahme auf 2 erläutert.
  • Der Bildprozessor 210 und der Umgebungsansichtprozessor 220 verarbeiten Bilder, um Objekte 101 anzugeben und den Fahrerzustand zu bestimmen. Diese Prozessoren 210, 220 verwenden einen Entserialisierer 250, um die Bilder zu beschaffen. Der Ultraschallprozessor 230 verwendet die Flugzeitinformationen von Ultraschallsensoren 150, um die Entfernung zu Objekten 101 zu bestimmen. Ein Kommunikationsport 240 beschafft Daten von Sensoren, wie etwa dem Radarsystem 160 und dem Lidarsystem 170. Der Fusionsprozessor 200 gewichtet und fusioniert die verarbeiteten Daten, um umfassende Informationen zu beschaffen. Wie zuvor erwähnt, kann die Gewichtung auf der Geschwindigkeit des Fahrzeugs 100 basieren.
  • Wie 3 angibt, kann der Ablauf in Block 330 optional sein. Dieser Prozess umfasst das Bereitstellen der umfassenden Informationen vom Fusionsprozessor 200 an ein ADAS 275. Das Bereitstellen von Ausgaben oder die Fahrzeugsteuerung in Block 340 kann direkt vom Fusionsprozessor 200 oder über das ADAS 275 durchgeführt werden.
  • Die Ausgaben können in Form von Audio- oder Videoausgaben 270 oder haptischen Ausgaben 280 vorliegen. Die Fahrzeugsteuerung kann ein autonomer oder halbautonomer Betrieb des Fahrzeugs 100 sein.
  • Was zuvor beschrieben worden ist, sind Beispiele der vorliegenden Erfindung. Es ist natürlich nicht möglich, jede denkbare Kombination von Komponenten oder Methoden zum Zwecke der Beschreibung der vorliegenden Erfindung zu beschreiben, aber ein Durchschnittsfachmann wird erkennen, dass viele weitere Kombinationen und Permutationen der vorliegenden Erfindung möglich sind. Dementsprechend soll die vorliegende Erfindung alle derartigen Änderungen, Modifikationen und Variationen umfassen, die in den Geist und den Umfang der beigefügten Ansprüche fallen.

Claims (10)

  1. System, das konfiguriert ist, um Sensordaten in einem Fahrzeug zu fusionieren, wobei das System Folgendes umfasst: einen Bildprozessor, der als erstes System auf einem Chip (SoC) ausgebildet ist und konfiguriert ist, um Bilder zu verarbeiten, die von einer Kamera von außerhalb des Fahrzeugs beschafft worden sind, um Objekte zu klassifizieren und zu identifizieren; einen Umgebungsansichtprozessor, der als zweiter SoC ausgebildet ist und konfiguriert ist, um Nahaufnahmen zu verarbeiten, die von außerhalb des Fahrzeugs von einer Umgebungsansichtkamera beschafft worden sind, um Hindernisse innerhalb eines bestimmten Abstands des Fahrzeugs zu klassifizieren und zu identifizieren, wobei die Nahaufnahmen näher zum Fahrzeug hin liegen als die von der Kamera beschafften Bilder; einen Ultraschallprozessor, der konfiguriert ist, um einen Abstand zu einem oder mehreren der Hindernisse zu beschaffen; und einen Fusionsprozessor, der als Mikrocontroller ausgebildet ist und konfiguriert ist, um Informationen von dem Umgebungsansichtprozessor und dem Ultraschallprozessor basierend darauf zu fusionieren, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.
  2. System nach Anspruch 1, wobei der Umgebungsansichtprozessor ferner konfiguriert ist, um die vom Umgebungsansichtprozessor identifizierten und klassifizierten Hindernisse auf einem Rückspiegel des Fahrzeugs anzuzeigen.
  3. System nach Anspruch 1 oder 2, ferner umfassend einen Entserialisierer, der konfiguriert ist, um dem Bildprozessor die von der Kamera von außerhalb des Fahrzeugs beschafften Bilder bereitzustellen und dem Umgebungsansichtprozessor die von der Umgebungsansichtkamera beschafften Nahbilder bereitzustellen.
  4. System nach Anspruch 3, ferner umfassend eine Innenkamera, die konfiguriert ist, um Bilder eines Fahrers des Fahrzeugs zu beschaffen, wobei der Entserialisierer dem Bildprozessor oder dem Umgebungsansichtprozessor die Bilder des Fahrers zum Bestimmen des Fahrerzustands bereitstellt, wobei der Fahrerzustand Müdigkeit, Wachsamkeit oder Ablenkung angibt.
  5. System nach einem der Ansprüche 1 bis 4, ferner umfassend einen Kommunikationsport, der konfiguriert ist, um Daten von zusätzlichen Sensoren zu beschaffen und die Daten von den zusätzlichen Sensoren an den Fusionsprozessor bereitzustellen, wobei die zusätzlichen Sensoren ein Radarsystem oder ein Lidarsystem einschließen und die Daten von den zusätzlichen Sensoren einen Bereich oder Winkel zu einem oder mehreren der Objekte enthalten.
  6. System nach Anspruch 5, wobei der Fusionssensor konfiguriert ist, um Informationen von dem Bildprozessor und den zusätzlichen Sensoren basierend darauf, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt, zu fusionieren.
  7. System nach einem der Ansprüche 1 bis 6, ferner umfassend ein Leistungsüberwachungsmodul, das konfiguriert ist, um Komponenten des Systems, wobei die Komponenten den Bildprozessor, den Ultraschallprozessor und den Fusionsprozessor einschließen, mit Strom zu versorgen und zu überwachen.
  8. System nach einem der Ansprüche 1 bis 7, wobei der Fusionsprozessor ferner konfiguriert ist, um Karteninformationen zu beschaffen und ein Fusionsergebnis in Kombination mit den Karteninformationen an eine Anzeige auszugeben, und wobei der Fusionsprozessor ferner konfiguriert ist, um basierend auf dem Ergebnis der Fusionierung haptische Ausgaben zu erzeugen.
  9. System nach einem der Ansprüche 1 bis 8, wobei der Fusionsprozessor konfiguriert ist, um Informationen für einem fortgeschrittenen Fahrerassistenzsystem bereitzustellen, wobei insbesondere die Informationen des Fusionsprozessors von dem fortgeschrittenen Fahrerassistenzsystem verwendet werden, um den Betrieb des Fahrzeugs zu steuern.
  10. Verfahren zum Fusionieren von Sensordaten in einem Fahrzeug, wobei das Verfahren Folgendes umfasst: Beschaffen von Bildern von außerhalb des Fahrzeugs mit einer Kamera; Verarbeiten der Bilder von außerhalb des Fahrzeugs unter Verwendung eines Bildprozessors, der als erstes System auf einem Chip (SoC) ausgebildet ist, um Objekte zu klassifizieren und zu identifizieren; Beschaffen von Nahaufnahmen von außerhalb des Fahrzeugs unter Verwendung einer Umgebungsansichtkamera; Verarbeiten der Nahaufnahmen unter Verwendung eines Umgebungsansichtprozessors, der als zweiter SoC ausgebildet ist, um Hindernisse innerhalb eines bestimmten Abstands des Fahrzeugs zu identifizieren und zu klassifizieren, wobei die Nahaufnahmen näher zum Fahrzeug hin liegen als die von der Kamera beschafften Bilder; Senden von Ultraschallsignalen von Ultraschallsensoren und Empfangen von Reflexionen; Verarbeiten der Reflexionen unter Verwendung eines Ultraschallprozessors, um einen Abstand zu einem oder mehreren der Objekte zu beschaffen; und Fusionieren von Informationen aus dem Umgebungsansichtprozessor und dem Ultraschallprozessor unter Verwendung eines Fusionsprozessors, der als Mikrocontroller ausgebildet ist, basierend darauf, dass eine Geschwindigkeit des Fahrzeugs unter einem Schwellenwert liegt.
DE102020212226.1A 2019-10-11 2020-09-29 Fusion von Automobilsensoren Pending DE102020212226A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/599,867 2019-10-11
US16/599,867 US20210110217A1 (en) 2019-10-11 2019-10-11 Automotive sensor fusion

Publications (1)

Publication Number Publication Date
DE102020212226A1 true DE102020212226A1 (de) 2021-04-15

Family

ID=75155643

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020212226.1A Pending DE102020212226A1 (de) 2019-10-11 2020-09-29 Fusion von Automobilsensoren

Country Status (3)

Country Link
US (1) US20210110217A1 (de)
CN (1) CN112649809A (de)
DE (1) DE102020212226A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210050052A (ko) * 2019-10-25 2021-05-07 현대모비스 주식회사 자동차용 센서 통합 모듈
US11901601B2 (en) 2020-12-18 2024-02-13 Aptiv Technologies Limited Waveguide with a zigzag for suppressing grating lobes
US11962085B2 (en) 2021-05-13 2024-04-16 Aptiv Technologies AG Two-part folded waveguide having a sinusoidal shape channel including horn shape radiating slots formed therein which are spaced apart by one-half wavelength
CN114617476A (zh) * 2021-06-02 2022-06-14 北京石头创新科技有限公司 自移动设备
US11616282B2 (en) 2021-08-03 2023-03-28 Aptiv Technologies Limited Transition between a single-ended port and differential ports having stubs that match with input impedances of the single-ended and differential ports
CN114179785B (zh) * 2021-11-22 2023-10-13 岚图汽车科技有限公司 一种基于面向服务的融合泊车控制***、电子设备和车辆

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254260A1 (en) * 2008-04-07 2009-10-08 Axel Nix Full speed range adaptive cruise control system
WO2010144900A1 (en) * 2009-06-12 2010-12-16 Magna Electronics Inc. Scalable integrated electronic control unit for vehicle
US9387813B1 (en) * 2012-03-21 2016-07-12 Road-Iq, Llc Device, system and method for aggregating networks and serving data from those networks to computers
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US20190132555A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Methods and systems to broadcast sensor outputs in an automotive environment
EP3707572B1 (de) * 2017-11-10 2023-08-23 Nvidia Corporation Systeme und verfahren für sichere und zuverlässige autonome fahrzeuge
US10640042B2 (en) * 2018-03-29 2020-05-05 Magna Electronics Inc. Surround view vision system that utilizes trailer camera
US20200039448A1 (en) * 2018-08-01 2020-02-06 Magna Electronics Inc. Vehicular camera system with dual video outputs
US11148675B2 (en) * 2018-08-06 2021-10-19 Qualcomm Incorporated Apparatus and method of sharing a sensor in a multiple system on chip environment
US11341607B2 (en) * 2019-06-07 2022-05-24 Texas Instruments Incorporated Enhanced rendering of surround view images
CN115840461A (zh) * 2019-07-18 2023-03-24 深圳市道通智能航空技术股份有限公司 一种无人机安全保护方法、装置及无人机
US11144754B2 (en) * 2019-08-19 2021-10-12 Nvidia Corporation Gaze detection using one or more neural networks
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching

Also Published As

Publication number Publication date
CN112649809A (zh) 2021-04-13
US20210110217A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
DE102020212226A1 (de) Fusion von Automobilsensoren
DE102017115318A1 (de) Heads-Up-Anzeige zum Beobachten von Fahrzeugwahrnehmungsaktivität
DE102017130041A1 (de) Automatische leckerkennung bei fahrzeugen
DE102017119556A1 (de) Warnung über die wiederaufnahme eines angehaltenen fahrzeugs in den verkehr
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
DE102015206200A1 (de) Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers
DE102013210050A1 (de) Neurokognitive Verarbeitung eines Fahrerzustandes
DE112018000335T5 (de) Systeme und verfahren für einen berechnungsrahmen zur visuellen warnung des fahrers unter verwendung einer "fully convolutional"-architektur
DE112014007249T5 (de) Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
DE102008043200A1 (de) Warnmeldungsanlage zum Warnen eines Fahrers vor dem Vorhandensein von Gegenständen
DE112014001607T5 (de) Situationswahrnehmungssystem und -verfahren
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102018212655A1 (de) Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
DE102018127008A1 (de) Aussengeräuschüberwachung für rückfahrhilfe in einem fahrzeug mittels beschleunigungsmesser
DE102018131209A1 (de) Synchrone nahbereichsradare zur automatischen anhängerdetektion
DE102019111249A1 (de) Verfahren und system zur verbesserung der objekterkennung und objektklassifizierung
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102012208319A1 (de) Gerät und Verfahren für das Kombinieren von Fahrbahninformation mit einem Ferninfrarot-Nachtsichtbild
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102020130507A1 (de) Verfahren und vorrichtung zur bestimmung eines gelenkwinkels in einem kraftfahrzeug
CN109318799B (zh) 汽车、汽车adas***及其控制方法
DE102019208663A1 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren
DE102015119556A1 (de) Anpassen einer anzeige auf einer transparenten elektronischen anzeige

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: EGE LEE & ROIDER PATENTANWAELTE PARTGMBB, DE