DE102009016562A1 - Verfahren und Vorrichtung zur Objekterkennung - Google Patents

Verfahren und Vorrichtung zur Objekterkennung Download PDF

Info

Publication number
DE102009016562A1
DE102009016562A1 DE102009016562A DE102009016562A DE102009016562A1 DE 102009016562 A1 DE102009016562 A1 DE 102009016562A1 DE 102009016562 A DE102009016562 A DE 102009016562A DE 102009016562 A DE102009016562 A DE 102009016562A DE 102009016562 A1 DE102009016562 A1 DE 102009016562A1
Authority
DE
Germany
Prior art keywords
vehicle
environment
periphery
image
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009016562A
Other languages
English (en)
Inventor
Jörg Dipl.-Ing. Grüner
Mathias Dipl.-Ing. Hartl
Martin Dipl.-Ing. Lallinger
Joachim Missel
Matthias Dipl.-Ing. Reichmann
Fridtjof Dr.rer.nat. Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102009016562A priority Critical patent/DE102009016562A1/de
Publication of DE102009016562A1 publication Critical patent/DE102009016562A1/de
Priority to PCT/EP2010/002097 priority patent/WO2010115580A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten (O) in einem Umfeld eines Fahrzeugs (F), wobei mittels zumindest einer am Fahrzeug (F) angeordneten Kamera (K) an einer ersten Fahrzeugposition (FP1) ein erstes Bild (B1) des Umfeldes des Fahrzeugs (F) erfasst wird, an einer zweiten Fahrzeugposition (FP2) ein zweites Bild (B2) des Umfeldes des Fahrzeugs (F) erfasst wird und die beiden erfassten Bilder (B1, B2) in einer Bildverarbeitungs- und Auswerteeinheit ausgewertet werden. Erfindungsgemäß wird eine Positionsänderung des Fahrzeugs (F) zwischen der ersten Fahrzeugposition (FP1) und der zweiten Fahrzeugposition (FP2) durch eine Ermittlung eines optischen Flusses anhand zumindest eines in beiden Bildern (B1, B2) dargestellten charakteristischen Punktes (P(FP1), P(FP2)) und/oder durch Sensoren zur Ermittlung eines Fahrwegs des Fahrzeugs (F) ermittelt. Unter Verwendung der ermittelten Positionsänderung werden erfindungsgemäß weiterhin Positionen und Abmessungen von in den Bildern (B1, B2) dargestellter Objekte (O(FP1), (O(FP2)) im Umfeld des Fahrzeugs (F) ermittelt, wobei daraus eine dreidimensionale Umfeldkarte des erfassten Umfeldes des Fahrzeugs (F) mit einem Höhenprofil erzeugt wird. Die Erfindung betrifft des Weiteren eine Vorrichtung zur Durchführung des Verfahrens.

Description

  • Die Erfindung betrifft ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens.
  • Aus dem Stand der Technik ist, wie in der US 2002/0005778 A1 beschrieben, ein System für ein Fahrzeug zur Identifikation und Überwachung eines toten Winkels bekannt. Eine Anordnung zur Ermittlung von Informationen über Objekte in einer Umgebung eines Fahrzeugs, zum Beispiel in toten Winkeln aus einer Fahrersicht, umfasst eine oder mehrere am Fahrzeug angeordnete Licht emittierende Komponenten, welche Infrarotlicht in die Umgebung des Fahrzeugs emittieren, und am Fahrzeug angeordnete Empfänger zum Empfang von Infrarotlicht aus der Umgebung des Fahrzeugs. Die Information über die Objekte wird ermittelt durch eine Auswertung des empfangenen Infrarotlichts mittels eines Prozessors. Es werden beispielsweise eine Entfernung zwischen dem Fahrzeug und dem Objekt und eine Geschwindigkeit des Objektes ermittelt und das Objekt identifiziert. Bevorzugt werden Mustererkennungstechniken genutzt, um die gewünschten Informationen zu erhalten. Auf Basis erfasster Objekte sowie deren Position und Geschwindigkeit können Funktionen des Fahrzeugs beeinflusst werden, beispielsweise eine akustische oder optische Warneinrichtung oder eine Lenkradsteuerungseinrichtung.
  • In der US 2006/0055776 A1 werden ein Verfahren und eine Vorrichtung zur Bewegungsermittlung einer mobilen Einheit und ein Navigationssystem beschrieben. In einer Vorrichtung zur Bewegungsermittlung eines mobilen Körpers bestimmt ein Teilbereich korrespondierende Punkte zwischen Bildern, die von einer Kamera aufgenommen wurden. Ein erster Teilbereich zur Bewegungsbestimmung bestimmt eine erste Bewegung eines mobilen Körpers unter Benutzung der korrespondierenden Punkte unter Annahme einer vorgegebenen Ebene in den Bildern. Ein zweiter Teilbereich zur Bewegungsbestimmung bestimmt eine zweite Bewegung unter Benutzung der ersten Bewegung und der korrespondierenden Punkte.
  • Aus der US 2007/0206833 A1 ist ein Hinderniserkennungssystem bekannt. Damit wird eine Erfassung eines dreidimensionalen Objektes mittels einer Monookularkamera durch Eliminierung von Erfassungsfehlern, welche beispielsweise durch einen Geschwindigkeitssensor oder einen Steuerwinkelsensor verursacht werden, verbessert. Es wird eine Vogelperspektivedarstellung eines ersten Bildes erzeugt, wobei in dem Bild eine Straßenoberfläche abgebildet ist. Dieses erste Bild wurde erfasst von einer Kamera, welche an einem Fahrzeug angeordnet ist. Danach wird eine Vogelperpektivedarstellung eines zweiten Bildes erzeugt. Das zweite Bild wird zu einem zum Erfassungszeitpunkt des ersten Bildes abweichenden Zeitpunkt erfasst. Die beiden Vogelperspektivedarstellungen werden anhand eines charakteristischen Merkmals auf der Straßenoberfläche miteinander verbunden. In jedem Überlappungsbereich der beiden Vogelperspektivedarstellungen werden Bereiche, welche Unterschiede in den beiden Darstellungen aufweisen, als Hindernisse identifiziert.
  • In der US 2007/0285217 A1 sind eine Umfelderfassungsvorrichtung, ein Verfahren zur Umfelderfassung und ein Programmablauf zur Umfelderfassung beschrieben. Eine Umfelderfassungsvorrichtung umfasst eine erste Kamera zur Erfassung eines Vorfeldbereiches und eine zweite Kamera zur Erfassung einer Straßenoberfläche. Die optische Achse der zweiten Kamera ist nach unten geneigt, um einen charakteristischen Punkt in aufeinander folgend erfassten Bildern zu erfassen und daraus einen optischen Fluss zu ermitteln und um Strukturinformationen der Straße zu erfassen. Damit sind dreidimensionale Informationen von Hindernissen in einem Umfeld des Fahrzeugs ermittelbar.
  • Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs und eine Vorrichtung zur Durchführung des Verfahrens anzugeben.
  • Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst. Hinsichtlich der Vorrichtung zur Durchführung des Verfahrens wird die Aufgabe durch die im Anspruch 6 angegebenen Merkmale gelöst.
  • Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
  • In einem Verfahren zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs wird mittels zumindest einer am Fahrzeug angeordneten Kamera an einer ersten Fahrzeugposition ein erstes Bild des Umfeldes des Fahrzeugs erfasst und an einer zweiten Fahrzeugposition wird ein zweites Bild des Umfeldes des Fahrzeugs erfasst. Die beiden erfassten Bilder werden in einer Bildverarbeitungs- und Auswerteeinheit ausgewertet.
  • Erfindungsgemäß wird eine Positionsänderung des Fahrzeugs zwischen der ersten Fahrzeugposition und der zweiten Fahrzeugposition durch eine Ermittlung eines optischen Flusses anhand zumindest eines in beiden Bildern dargestellten charakteristischen Punktes und/oder durch Sensoren zur Ermittlung eines Fahrwegs des Fahrzeugs ermittelt. Unter Verwendung der ermittelten Positionsänderung werden erfindungsgemäß weiterhin Positionen und Abmessungen von in den Bildern dargestellter Objekte im Umfeld des Fahrzeugs ermittelt, wobei daraus eine dreidimensionale Umfeldkarte des erfassten Umfeldes des Fahrzeugs mit einem Höhenprofil erzeugt wird.
  • Durch eine Auswertung derart erfasster Bildinformationen kann ein Fahrzeugführer vor Hindernissen gewarnt werden, welche das Fahrzeug beschädigen könnten. Dabei sind bereits im Fahrzeug vorhandene Kameras nutzbar. Durch das Verfahren wird auch eine Optimierung automatischer oder teilautomatischer Einparksysteme ermöglicht, da ein Umfeld des Fahrzeugs wesentlich genauer erfasst wird. Insbesondere ein Abstand von Fahrzeugreifen zu einem Bordstein ist bei automatischen oder teilautomatischen Einparksystemen durch Verwendung des Verfahrens deutlich verringerbar, ohne ein Risiko von Beschädigungen des Fahrzeugs zu erhöhen. Durch eine Kombination mit weiteren am Fahrzeug angeordneten Abstandssensoren, wie beispielsweise Ultraschallsensoren, wird eine Zuverlässigkeit weiter erhöht, da physikalisch bedingte Erfassungsungenauigkeiten ausgleichbar sind.
  • Ausführungsbeispiele der Erfindung werden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1a ein mit einer Kamera ausgerüstetes Fahrzeug in einer ersten Fahrzeugposition,
  • 1b ein mit einer Kamera ausgerüstetes Fahrzeug in einer zweiten Fahrzeugposition
  • 2a ein erstes von der Kamera erfasstes Bild eines Objektes,
  • 2b ein zweites von der Kamera erfasstes Bild eines Objektes, und
  • 3 eine Auswertung der beiden Bilder in einer Bildverarbeitungs- und Auswerteeinheit.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • Die 1a und 1b zeigen ein mit einer Kamera K ausgerüstetes Fahrzeug F in einer ersten Fahrzeugposition FP1 und einer zweiten Fahrzeugposition FP2 vor einem Objekt O. Die Kamera K, mit welcher ein Umfeld des Fahrzeugs F überwachbar ist, ist im hier dargestellten Ausführungsbeispiel eine Rückfahrkamera. Derartige Kameras K sowie weitere Kameras K an anderen Positionen des Fahrzeugs F, beispielsweise in einem Frontbereich des Fahrzeugs F oder in Außenspiegeln des Fahrzeugs F, sind bereits vielfach im Einsatz. Zur Durchführung des Verfahrens sind daher nicht notwendigerweise zusätzliche Kameras K zu installieren, es können bereits am Fahrzeug F installierte Kameras K genutzt werden, wodurch das Verfahren kostengünstig in Fahrzeuge F implementiert werden kann. Zusätzlich verfügt das dargestellte Fahrzeug F über Abstandssensoren A, beispielsweise Ultraschallsensoren in einer hinteren Stoßstange des Fahrzeugs F.
  • Nach dem Stand der Technik wird ein aktuell erfasstes Bild der Rückfahrkamera auf einer optischen Ausgabeeinheit dargestellt. Dabei sind insbesondere Abmessungen dargestellter Objekte O nur sehr schwer einzuschätzen. Zusätzlich kann vor Objekten O, an welche sich das Fahrzeug F annähert und welche mittels der Abstandssensoren A erfasst werden, beispielsweise optisch, akustisch und/oder haptisch gewarnt werden. Abstandssensoren A, beispielsweise auf Ultraschallbasis, haben allerdings einen begrenzten Erfassungsbereich E, so dass beispielsweise bei einer Annäherung an das hier dargestellte Objekt O, welches eine Bordsteinkante darstellt, bei Unterschreitung eines bestimmten Abstandes eine Erfassung des Objektes O durch die Abstandssensoren A ausfällt. Wenn sich das Fahrzeug F in der ersten Fahrzeugposition FP1 befindet, wie in 1a dargestellt, wird zunächst noch gewarnt, da das Objekt O noch im Erfassungsbereich E der Abstandssensoren liegt. Bei einer weiteren Annäherung verschwindet das Objekt O aus dem Erfassungsbereich E der Abstandssensoren A, beispielsweise, wie in 1b dargestellt, wenn sich das Fahrzeug F in der zweiten Fahrzeugposition FP2 befindet, so dass die Warnung eingestellt wird. Dadurch kann ein Fahrzeugführer nicht beurteilen, wie hoch die Bordsteinkante ist, d. h. ob er sie überfahren kann, ohne das Fahrzeug F zu beschädigen.
  • Mittels des Verfahrens zur Erkennung von Objekten O im Umfeld des Fahrzeugs F werden Positionen und Abmessungen von Objekten O im Umfeld des Fahrzeugs F ermittelt, welche in mittels der Kamera K erfassten Bildern B1, B2 dargestellt sind. Auf diese Weise kann eine dreidimensionale Umfeldkarte mit einem Höhenprofil des erfassten Umfeldes des Fahrzeugs F erzeugt und intern ausgewertet und/oder auf der optischen Ausgabeeinheit ausgegeben werden, so dass bei einer Annäherung des Fahrzeugs F an Objekte O, welche von vorgegebenen Ausformungen und/oder Abmessungen abweichen, eine optische, akustische und/oder haptische Warnung ausgegeben wird. Im hier dargestellten Beispiel ist das Objekt O die Bordsteinkante.
  • Mittels der Kamera K wird an der ersten, in 1a dargestellten Fahrzeugposition FP1 ein erstes Bild B1 des Umfeldes des Fahrzeugs F erfasst, wie in 2a dargestellt. Darin ist das Objekt O(FP1) von der ersten Fahrzeugposition FP1 aus dargestellt. Zu einem späteren Zeitpunkt, nachdem sich das Fahrzeug F weiterbewegt hat und sich dadurch dessen Fahrzeugposition FP1 und daraus resultierend auch die Position der fest am Fahrzeug F angeordneten Kamera K verändert hat und sich das Fahrzeug F in einer zweiten, in 1b dargestellten Fahrzeugposition FP2 befindet, wird mittels der Kamera K ein zweites Bild B2 des Umfeldes des Fahrzeugs F erfasst, wie in 2b dargestellt. Darin ist das Objekt O(FP2) von der zweiten Fahrzeugposition FP2 aus dargestellt. Die beiden erfassten Bilder B1, B2 werden in einer Bildverarbeitungs- und Auswerteeinheit ausgewertet, wie in 3 dargestellt.
  • Um aus den beiden erfassten Bildern B1, B2 eine dreidimensionale Umfeldkarte erstellen zu können, welche ein Höhenprofil des Umfeldes des Fahrzeugs F umfasst, muss zunächst eine Positionsänderung des Fahrzeugs F zwischen der ersten Fahrzeugposition FP1 und der zweiten Fahrzeugposition FP2 ermittelt werden. Diese Positionsänderung, d. h. sowohl eine Richtung als auch eine zurückgelegte Entfernung, sind beispielsweise mittels Sensoren zur Ermittlung eines Fahrwegs des Fahrzeugs F ermittelbar, welche nach dem Stand der Technik bereits als Bestandteil von Fahrerassistenzsystemen, wie beispielsweise ein elektronisches Stabilitätsprogramm, im Fahrzeug F installiert sind. Mittels derartiger Sensoren werden beispielsweise Raddrehzahlen, eine Geschwindigkeit, ein Lenkradwinkel, ein Gierwinkel, eine Gierrate, eine Längs- und/oder Querbeschleunigung des Fahrzeugs F ermittelt, so dass daraus eine Positionsänderung des Fahrzeugs F und somit der Kamera K ermittelt werden kann.
  • Eine weitere Möglichkeit, welche alternativ oder beispielsweise aus Redundanzgründen zusätzlich durchgeführt werden kann, ist die Bestimmung der Positionsänderung durch Bildauswertung der beiden mittels der Kamera K erfassten Bilder B1, B2 in der Bildverarbeitungs- und Auswerteeinheit und, wie ebenfalls in 3 dargestellt, einer daraus resultierenden Ermittlung eines optischen Flusses zumindest eines charakteristischen Punktes P welcher im ersten Bild B1 als charakteristischer Punkt P(FP1) von der ersten Fahrzeugposition FP1 aus dargestellt wird, und im zweiten Bild B2 als charakteristischer Punkt P(FP2) von der zweiten Fahrzeugposition FP2 aus dargestellt wird. Im hier dargestellten Beispiel ist ein solcher charakteristischer Punkt P beispielsweise ein oberer Eckpunkt der Bordsteinkante.
  • Durch Vergleich der beiden Bilder B1, B2 ist zwischen dem im ersten Bild B1 dargestellten charakteristischen Punkt P(FP1) und dem im zweiten Bild B2 dargestellten, korrespondierenden charakteristischen Punkt P(FP2) ein Bewegungsvektor BV darstellbar. Eine Verschiebung des charakteristischen Punktes P(FP1), P(FP2) wird durch die Verschiebung eines Abbildungsbereiches der Kamera K hervorgerufen, welche fest am Fahrzeug F angeordnet ist. Das heißt, die Verschiebung, welche durch den Bewegungsvektor BV zwischen den dargestellten korrespondierenden charakteristischen Punkten P(FP1), P(FP2) dargestellt ist, korrespondiert mit der Positionsänderung des Fahrzeugs F. Um eine ausreichende Genauigkeit der auf diese Weise ausgeführten Positionsbestimmung des Fahrzeugs F zu erzielen, sollte der optische Fluss vorteilhafterweise anhand einer Mehrzahl solcher charakteristischer Punkte P bestimmt werden.
  • Nachdem die Positionsänderung des Fahrzeugs F und somit die Positionsänderung der Kamera K zwischen den beiden erfassten Bilder B1, B2 ermittelt wurde, wird diese Positionsänderung in der Bildverarbeitungs- und Auswerteeinheit der Bildauswertung der beiden Bilder B1, B2 und der Erstellung der dreidimensionalen Karte aus diesen beiden Bildern B1, B2 zugrunde gelegt. Da die beiden Bilder B1, B2 in unterschiedlichen Positionen FP1, FP2 der Kamera K und somit aus unterschiedlichen Perspektiven erfasst wurden, sind durch Vergleich der beiden Bilder B1, B2 Abmessungen und Proportionen in den Bildern B1, B2 dargestellter Objekte O(FP1), O(FP2) vergleichbar und durch Zugrundelegung der ermittelten Positionsänderung sind daraus reale Abmessungen, Ausformungen und Positionen der erfassten Objekte O ermittelbar und damit die dreidimensionale Karte und das Höhenprofil des erfassten Umfeldes des Fahrzeuges F erstellbar.
  • Auf diese Weise werden im hier dargestellten Beispiel eine Höhe und eine Ausformung des Objektes O im Umfeld des Fahrzeugs F, d. h. der Bordsteinkante, ermittelt. Die dargestellte Bordsteinkante weist eine Höhe von beispielsweise 8 cm auf und ist in Richtung einer Fahrebene FE des Fahrzeugs F senkrecht abfallend ausgeformt. Damit stellt das erfasste Objekt O ein Hindernis dar, welches nicht ohne eine Gefahr einer Beschädigung des Fahrzeugs F überfahren werden kann. Es wird daher bei einer Annäherung an das Objekt O, d. h. an die Bordsteinkante, eine optische, akustische und/oder haptische Warnung generiert. Dies kann beispielsweise ein Warnton, eine Vibrationswarnung in einem Fahrersitz, ein sukzessives Aufleuchten einer Mehrzahl von Leuchtmitteln bei zunehmender Annäherung und/oder beispielsweise eine farbliche Markierung des Objektes O auf dem auf der optischen Ausgabeeinheit angezeigten Kamerabild sein.
  • Wäre das erfasste Objekt O beispielsweise ein abgesenkter Bordstein, so wird mittels des Verfahrens eine geringere, gefahrlos überfahrbare Höhe des Objektes O ermittelt, so dass keine Warnung ausgegeben wird. Wäre das Objekt O beispielsweise ein angeschrägter Bordstein, so wird mittels des Verfahrens ermittelt, dass die Bordsteinkante in Richtung der Fahrebene FE des Fahrzeugs F schräg abfallend ausgeformt ist, d. h. eine Steigung von beispielsweise 45° aufweist, welche von dem Fahrzeug F trotz der ermittelten Höhe der Bordsteinkante gefahrlos überfahren werden kann, ohne beispielsweise Reifen oder Felgen des Fahrzeugs F zu beschädigen. Daher würde auch in diesem Fall keine Warnung generiert werden.
  • In einer weiteren Ausführungsform wird diese Ermittlung von Positionen und Abmessungen von Objekten O im Umfeld des Fahrzeugs F mit Sensordaten der Abstandssensoren A kombiniert, so dass eine Redundanz erzielbar ist, physikalisch bedingte Ungenauigkeiten, wie beispielsweise eine Nichterfassung von Objekten O außerhalb des Erfassungsbereichs E der Abstandssensoren A ausgleichbar sind und/oder mittels einer solchen Kombination eine vollständige Umfelderfassung um das Fahrzeug F herum ermöglicht ist.
  • In einer weiteren Ausführungsform kann die ermittelte dreidimensionale Umfeldkarte mit den ermittelten Abmessungen und Positionen der Objekte O im Umfeld des Fahrzeugs F, vorzugsweise kombiniert mit den Sensordaten der Abstandssensoren A, auch für einen teil- oder vollautomatischen Einparkvorgang des Fahrzeugs F genutzt werden, indem anhand ermittelter Umfelddaten mittels einer Steuereinheit ein Antriebsstrang, eine Lenkung und/oder ein Bremssystems des Fahrzeugs F angesteuert werden. Ein solcher teil- oder vollautomatischer Einparkvorgang ist durch Verwendung von mittels des Verfahrens ermittelter Umfelddaten wesentlich exakter durchführbar.
    • A
    Abstandssensoren
    B1, B2
    Bilder
    BV
    Bewegungsvektor
    E
    Erfassungsbereich
    F
    Fahrzeug
    FE
    Fahrebene
    FP1, FP2
    Fahrzeugpositionen
    K
    Kamera
    O, O(FP1), O(FP2)
    Objekt
    P, P(FP1), P(FP2)
    charakteristischer Punkt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - US 2002/0005778 A1 [0002]
    • - US 2006/0055776 A1 [0003]
    • - US 2007/0206833 A1 [0004]
    • - US 2007/0285217 A1 [0005]

Claims (10)

  1. Verfahren zur Erkennung von Objekten (O) in einem Umfeld eines Fahrzeugs (F), wobei mittels zumindest einer am Fahrzeug (F) angeordneten Kamera (K) an einer ersten Fahrzeugposition (FP1) ein erstes Bild (B1) des Umfeldes des Fahrzeugs (F) erfasst wird, an einer zweiten Fahrzeugposition (FP2) ein zweites Bild (B2) des Umfeldes des Fahrzeugs (F) erfasst wird und die beiden erfassten Bilder (B1, B2) in einer Bildverarbeitungs- und Auswerteeinheit ausgewertet werden, dadurch gekennzeichnet, dass eine Positionsänderung des Fahrzeugs (F) zwischen der ersten Fahrzeugposition (FP1) und der zweiten Fahrzeugposition (FP2) durch eine Ermittlung eines optischen Flusses anhand zumindest eines in beiden Bildern (B1, B2) dargestellten charakteristischen Punktes (P(FP1), P(FP2)) und/oder durch Sensoren zur Ermittlung eines Fahrwegs des Fahrzeugs (F) ermittelt wird und unter Verwendung der ermittelten Positionsänderung Positionen und Abmessungen von in den Bildern (B1, B2) dargestellter Objekte (O(FP1), (O(FP2)) im Umfeld des Fahrzeugs (F) ermittelt werden und daraus eine dreidimensionale Umfeldkarte des erfassten Umfeldes des Fahrzeugs (F) mit einem Höhenprofil erzeugt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Annäherung des Fahrzeugs (F) an Objekte (O), welche von vorgegebenen Ausformungen und/oder Abmessungen abweichen, eine optische, akustische und/oder haptische Warnung ausgegeben wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Umfeldkarte auf einer optischen Ausgabeeinheit im Fahrzeug (F) dargestellt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die ermittelten Positionen und Abmessungen der Objekte (O) im Umfeld des Fahrzeugs (F) für einen teil- oder vollautomatischen Einparkvorgang verwendet werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die mittels der zumindest einen Kamera (K) ermittelten Positionen und Abmessungen der Objekte (O) mit Sensordaten von Abstandssensoren (A) kombiniert werden.
  6. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, umfassend zumindest eine Kamera (K) und eine Bildverarbeitungs- und Auswerteeinheit.
  7. Vorrichtung nach Anspruch 6, umfassend Abstandssensoren (A).
  8. Vorrichtung nach Anspruch 6 oder 7, umfassend Sensoren zur Ermittlung eines Fahrwegs des Fahrzeugs (F).
  9. Vorrichtung nach einem der Ansprüche 6 bis 8, umfassend optische, akustische und/oder haptische Ausgabeeinheiten.
  10. Vorrichtung nach einem der Ansprüche 6 bis 9, umfassend eine Steuereinheit zur Ansteuerung eines Antriebsstrangs, einer Lenkung und/oder eines Bremssystems des Fahrzeugs (F).
DE102009016562A 2009-04-06 2009-04-06 Verfahren und Vorrichtung zur Objekterkennung Withdrawn DE102009016562A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102009016562A DE102009016562A1 (de) 2009-04-06 2009-04-06 Verfahren und Vorrichtung zur Objekterkennung
PCT/EP2010/002097 WO2010115580A1 (de) 2009-04-06 2010-04-01 Verfahren und vorrichtung zur objekterkennung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009016562A DE102009016562A1 (de) 2009-04-06 2009-04-06 Verfahren und Vorrichtung zur Objekterkennung

Publications (1)

Publication Number Publication Date
DE102009016562A1 true DE102009016562A1 (de) 2009-11-19

Family

ID=41180610

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009016562A Withdrawn DE102009016562A1 (de) 2009-04-06 2009-04-06 Verfahren und Vorrichtung zur Objekterkennung

Country Status (2)

Country Link
DE (1) DE102009016562A1 (de)
WO (1) WO2010115580A1 (de)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013093A1 (de) * 2010-03-29 2011-09-29 Volkswagen Ag Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
DE102010013815A1 (de) * 2010-04-03 2011-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs
EP2317338A3 (de) * 2009-10-29 2011-10-12 Robert Bosch GmbH Verfahren zur Erkennung von Objekten mit geringer Höhe
DE102010031040A1 (de) * 2010-07-07 2012-01-12 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102010063742A1 (de) * 2010-12-21 2012-06-21 Deniz Yilmaz Kraftfahrzeug
DE102011014699A1 (de) * 2011-03-22 2012-09-27 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
DE102011077555A1 (de) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
DE102011108468A1 (de) 2011-07-23 2013-01-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen
DE102011109569A1 (de) * 2011-08-05 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspurerkennung mittels einer Kamera
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
DE102014019078A1 (de) 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
US9132837B2 (en) 2013-04-26 2015-09-15 Conti Temic Microelectronic Gmbh Method and device for estimating the number of lanes and/or the lane width on a roadway
DE102014006547A1 (de) * 2014-05-06 2015-11-12 Audi Ag Fahrerassistenzsystem für ein Kraftfahrzeug und Verfahren zum Ausgeben einer Warnung
DE102014226439A1 (de) * 2014-12-18 2016-06-23 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
EP3045933A1 (de) * 2015-01-13 2016-07-20 Audi Ag Verfahren zum betrieb eines fahrerassistenzsystems eines kraftfahrzeugs und kraftfahrzeug
DE102016111079A1 (de) * 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem
DE102021209575B3 (de) 2021-08-31 2023-01-12 Volkswagen Aktiengesellschaft Verfahren und Assistenzeinrichtung zum Unterstützen von Fahrzeugfunktionen in einem Parkraum und Kraftfahrzeug
DE102022126322A1 (de) 2022-10-11 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem Fahrerassistenzsystem

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565714B2 (en) 2018-05-25 2020-02-18 Denso Corporation Feature tracking for visual odometry

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
US20060055776A1 (en) 2003-10-17 2006-03-16 Matsushita Electric Industrial Co., Ltd. Mobile unit motion calculating method, apparatus and navigation system
US20070206833A1 (en) 2006-03-02 2007-09-06 Hitachi, Ltd. Obstacle detection system
US20070285217A1 (en) 2006-04-27 2007-12-13 Denso Corporation Field recognition apparatus, method for field recognition and program for the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
DE102004046101B4 (de) * 2004-09-23 2007-01-18 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
US20060055776A1 (en) 2003-10-17 2006-03-16 Matsushita Electric Industrial Co., Ltd. Mobile unit motion calculating method, apparatus and navigation system
US20070206833A1 (en) 2006-03-02 2007-09-06 Hitachi, Ltd. Obstacle detection system
US20070285217A1 (en) 2006-04-27 2007-12-13 Denso Corporation Field recognition apparatus, method for field recognition and program for the same

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487782B2 (en) 2009-10-29 2013-07-16 Robert Bosch Gmbh Method for detecting objects having a low height
EP2317338A3 (de) * 2009-10-29 2011-10-12 Robert Bosch GmbH Verfahren zur Erkennung von Objekten mit geringer Höhe
DE102010013093A1 (de) * 2010-03-29 2011-09-29 Volkswagen Ag Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
DE102010013815A1 (de) * 2010-04-03 2011-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs
DE102010031040A1 (de) * 2010-07-07 2012-01-12 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102010063742A1 (de) * 2010-12-21 2012-06-21 Deniz Yilmaz Kraftfahrzeug
DE102011014699A1 (de) * 2011-03-22 2012-09-27 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
DE102011014699B4 (de) * 2011-03-22 2015-10-29 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
DE102011077555A1 (de) * 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
DE102011108468A1 (de) 2011-07-23 2013-01-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen
US9257045B2 (en) 2011-08-05 2016-02-09 Conti Temic Microelectronic Gmbh Method for detecting a traffic lane by means of a camera
DE102011109569A1 (de) * 2011-08-05 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Fahrspurerkennung mittels einer Kamera
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
US9132837B2 (en) 2013-04-26 2015-09-15 Conti Temic Microelectronic Gmbh Method and device for estimating the number of lanes and/or the lane width on a roadway
DE102014006547A1 (de) * 2014-05-06 2015-11-12 Audi Ag Fahrerassistenzsystem für ein Kraftfahrzeug und Verfahren zum Ausgeben einer Warnung
DE102014019078A1 (de) 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102015009657A1 (de) 2014-12-18 2016-03-31 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102014226439A1 (de) * 2014-12-18 2016-06-23 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
EP3045933A1 (de) * 2015-01-13 2016-07-20 Audi Ag Verfahren zum betrieb eines fahrerassistenzsystems eines kraftfahrzeugs und kraftfahrzeug
DE102016111079A1 (de) * 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem
DE102021209575B3 (de) 2021-08-31 2023-01-12 Volkswagen Aktiengesellschaft Verfahren und Assistenzeinrichtung zum Unterstützen von Fahrzeugfunktionen in einem Parkraum und Kraftfahrzeug
WO2023030858A1 (de) 2021-08-31 2023-03-09 Volkswagen Aktiengesellschaft Verfahren und assistenzeinrichtung zum unterstützen von fahrzeugfunktionen in einem parkraum und kraftfahrzeug
DE102022126322A1 (de) 2022-10-11 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem Fahrerassistenzsystem

Also Published As

Publication number Publication date
WO2010115580A1 (de) 2010-10-14

Similar Documents

Publication Publication Date Title
DE102009016562A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102009006335B4 (de) Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs
EP2888604B1 (de) Verfahren zur bestimmung eines fahrspurverlaufs für ein fahrzeug
DE102015205142B4 (de) Verfahren zur Fahrerassistenz und Fahrerassistenzsystem
DE102013012324A1 (de) Verfahren und Vorrichtung zur Fahrwegfindung
DE102014107917A1 (de) Verfahren und Vorrichtung zum Vermeiden einer Kollision eines ein Kraftfahrzeug und einen Anhänger umfassenden Gespanns mit einem Hindernis
EP3356203B1 (de) Verfahren zum bestimmen einer parkfläche zum parken eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102014220778A1 (de) Verfahren zum Überwachen von Gleisabschnitten bei einem Schienenfahrzeug
EP2788968A1 (de) Verfahren und fahrzeugassistenzsystem zur aktiven warnung und/oder zur navigationshilfe zur vermeidung einer kollision eines fahrzeugkarosserieteils und/oder eines fahrzeugrades mit einem objekt
DE102016117712A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines Erfassungsbereichs eines Sensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102010049216A1 (de) Verfahren zum Betrieb einer an einem Fahrzeug angeordneten Kamera
DE102011055441A1 (de) Verfahren und Vorrichtung zur Abstandsermittlung zwischen Fahrzeugen
DE102010013093A1 (de) Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
DE102012220191A1 (de) Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs
DE102011080720A1 (de) Visualisierung einer Rampenabfahrt
DE102014214505A1 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102015117904A1 (de) Verfahren zum Bestimmen eines durch einen mit einem Kraftfahrzeug verbundenen Anhänger eingenommenen Bereiches, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2019137864A1 (de) Verfahren zum verhindern einer kritischen situation für ein kraftfahrzeug, wobei ein abstand zwischen einer kraftfahrzeugkontur und einer objektkontur bestimmt wird, fahrerassistenzsystem sowie kraftfahrzeug
DE102016109850B4 (de) Verfahren zum Erkennen einer Neigung in einer Fahrbahn eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug
DE102019204196B4 (de) Verfahren zum Erfassen des Umfeldes eines Fortbewegungsmittels
DE102020214117A1 (de) Optische fahrzeugfront-objektdetektion mittels photoelektrischem effekt von metallischen markierungen
EP3178727B1 (de) Verfahren zum erkennen einer längsparklücke zum parken eines kraftfahrzeugs anhand einer fahrbahnmarkierung, fahrerassistenzsystem sowie kraftfahrzeug
DE102019000434A1 (de) Hinderniserfassungsvorrichtung für ein Fahrzeug sowie Verfahren zum Ausweichen eines Hindernisses für ein Fahrzeug

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20141101