DE102005036782A1 - Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug - Google Patents

Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug Download PDF

Info

Publication number
DE102005036782A1
DE102005036782A1 DE102005036782A DE102005036782A DE102005036782A1 DE 102005036782 A1 DE102005036782 A1 DE 102005036782A1 DE 102005036782 A DE102005036782 A DE 102005036782A DE 102005036782 A DE102005036782 A DE 102005036782A DE 102005036782 A1 DE102005036782 A1 DE 102005036782A1
Authority
DE
Germany
Prior art keywords
image
camera
vehicle
time
object feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102005036782A
Other languages
English (en)
Inventor
Christian Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Donnelly GmbH and Co KG
Original Assignee
Magna Donnelly GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Donnelly GmbH and Co KG filed Critical Magna Donnelly GmbH and Co KG
Priority to DE102005036782A priority Critical patent/DE102005036782A1/de
Publication of DE102005036782A1 publication Critical patent/DE102005036782A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zum Betrieb eines Bildauswertesystems zur Messung der Entfernung zwischen einem Fahrzeug (01) und Hindernissen (03) in der Fahrzeugumgebung, wobei das Bildauswertesystem eine Kamera (02), zumindest eine elektronische Rechnereinheit und eine Messsensorik umfasst, und wobei mit der Messsensorik die Relativbewegung (08) zwischen Kamera (02) und Fahrzeugumgebung gemessen werden kann.

Description

  • Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildauswertesystems nach dem Oberbegriff des Anspruchs 1.
  • Gattungsgemäße Systeme zur Entfernungsmessung finden häufig zur Messung der Entfernung zwischen einem Fahrzeug und Hindernissen jeglicher Art Verwendung. Derartige Entfernungsmessungen sind beispielsweise bei Einparkvorgängen oder zur Überwachung des Fahrzeugabstands während der Fahrt zum vorderen und/oder hinteren Fahrzeug üblich. Die gattungsgemäßen Systeme weisen zumeist ein erhebliches Verbesserungspotential hinsichtlich ihres Aufwands und ihrer Prozesssicherheit auf.
  • Aufgabe der vorliegenden Erfindung ist es, ein neues Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung vorzuschlagen.
  • Diese Aufgabe wird durch die vorliegende Erfindung nach der Lehre des Hauptanspruchs gelöst.
  • Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
  • Beansprucht wird ein Verfahren zum Betrieb eines Bildauswertesystems zur Messung der Entfernung zwischen einem Fahrzeug und Hindernissen in der Fahrzeugumgebung, wobei das Bildauswertesystem eine Kamera, zumindest eine Bildauswerteeinheit und eine Messsensorik umfasst, und wobei mit der Messsensorik die Relativbewegung zwischen Kamera und Fahrzeugumgebung gemessen werden kann.
  • Das Bildauswertesystem wird vorzugsweise in ein Fahrzeug integriert und benötigt zur Abtastung der Fahrzeugumgebung lediglich eine Kamera. Dies bietet zunächst hinsichtlich der Prozesssicherheit besondere Vorteile, da im Gegensatz zur Abtastung der Fahrzeugumgebung mittels akustischer Wellen nicht mit einer Störung beispielsweise durch Regen gerechnet werden zu braucht. Weiterhin lässt sich eine Kamera leichter in das Design eines Fahrzeugs integrieren als mehrere Fahrzeugumgebungssensoren einer beliebigen Art. Nicht zuletzt weist das Bildauswertesystem dadurch auch einen einfachen Aufbau auf und ist wesentlich kostengünstiger herzustellen als herkömmliche Bildauswertesysteme der gattungsgemäßen Art.
  • Weitere Vorteile ergeben sich durch Funktionenintegration. So kann nämlich beispielsweise auch eine Kamera eines anderen im Fahrzeug integrierten Systems Verwendung finden, oder es können sogar die für einen anderen Zweck akquirierten Bilder vom erfindungsgemäßen Verfahren benutzt werden. Besondere Vorteile bietet die Kombination des erfindungsgemäßen Verfahrens mit einer Rückfahrkamera.
  • Mittels des erfindungsgemäßen Verfahrens lässt sich die Entfernung zwischen einem Fahrzeug und Hindernissen in der Fahrzeugumgebung messen. Hindernisse können dabei sämtliche im Straßenverkehr möglichen Hindernisse sein, so beispielsweise Gegenstände, Dinge und Sachen aller Art, Menschen und Tiere.
  • Die Messung der Entfernung kann sich ebenfalls beliebig manifestieren. So ist beispielsweise die Ableitung der absoluten und/oder relativen Entfernung denkbar. Es könnte aber auch eine Detektion der Hindernisse im dreidimensionalen Raum durchgeführt werden.
  • In einem ersten Verfahrensschritt wird zu einem ersten Zeitpunkt (T1) ein Aufnahmebereich in der Fahrzeugumgebung mit der Kamera als erstes Bild aufgenommen. Dabei ist die Art und Weise der Aufnahme grundsätzlich beliebig. Es kann beispielsweise einerseits ein einzelnes Bild zum Zeitpunkt T1 aufgenommen werden, aber andererseits auch ein Bild aus einer Videosequenz zum Zeitpunkt T1 extrahiert werden.
  • Der Aufnahmebereich ist ebenfalls grundsätzlich beliebig. Es kann sich dabei beispielsweise um den rückwärtigen Fahrzeugbereich, den vorderen Fahrzeugbereich oder einen seitlichen Fahrzeugbereich handeln. Zumindest sollte jedoch das Hindernis durch den Aufnahmebereich erfasst werden.
  • Die Anordnung der Kamera im Fahrzeug ist grundsätzlich beliebig. Sie kann innerhalb des Fahrzeuginnenraums oder außerhalb des Fahrzeuginnenraums angebracht sein. Vorteile ergeben sich insbesondere aus einer Anbringung der Kamera auf der Innenseite einer Scheibe, im Kofferraumbereich und/oder im Bereich der Stoßstange. Weiterhin kann auch eine bereits vorhandene Kamera, insbesondere eine Rückfahrkamera, zur Aufnahme des Bildes Verwendung finden.
  • In einem weiteren Verfahrensschritt wird zwischen dem ersten Zeitpunkt (T1) und einem zweiten Zeitpunkt (T2) eine Relativbewegung zwischen Kamera und Fahrzeugumgebung ausgeführt und mit der Messsensorik gemessen, wobei aus den Messdaten der Messsensorik ein Kamerabewegungsvektor bestimmt wird.
  • Der Zeitabstand zwischen den zwei Zeitpunkten ist grundsätzlich beliebig. Er liegt insbesondere jedoch im Bereich von wenigen Sekunden bruchteilen oder Sekunden bis zu wenigen Minuten. Um eine Entfernungsmessung zwischen dem Fahrzeug und dem Hindernis erzielen zu können, ist es notwendig, dass zwischen dem Zeitpunkt T1 und T2 eine Relativbewegung zwischen Kamera und Fahrzeugumgebung stattgefunden hat. Es ist dabei grundsätzlich zunächst irrelevant, ob das Fahrzeug selbst an dieser Bewegung teilnimmt.
  • Die Relativbewegung zwischen T1 und T2 zwischen der Kamera und der Fahrzeugumgebung wird dabei mit der Messsensorik gemessen. Es sind alle Arten der Bewegung denkbar. So kann diese Bewegung beispielsweise gradlinig oder kurvig verlaufen. Die Messsensorik misst währenddessen die Relativbewegung. Dabei ist die Art und Weise der Messung ebenfalls grundsätzlich beliebig. Es können einerseits ausgewählte markante Punkte der Bahnkurve festgehalten werden und andererseits kann auch eine kontinuierliche Messung der Bahnkurve vorgenommen werden.
  • Die Ausführung der Messsensorik ist grundsätzlich ohne Belang. Sie kann beispielsweise zur Messung der Relativbewegung vorgesehen sein, andererseits aber auch bereits für andere Funktionen im Fahrzeug vorhanden sein. Bei Vorhandensein einer Messsensorik für ursprünglich andere Funktionen kann diese vorhandene Messsensorik ebenfalls zur Messung der Relativbewegung benutzt werden. Unabhängig davon, welche Messsensorik zum Einsatz kommt, können während der Messung der Relativbewegung sämtliche Größen, die eine Information über die Relativbewegung beinhalten, gemessen werden. Dies kann beispielsweise die Kameraposition zum Zeitpunkt T1 und zum Zeitpunkt T2 in absoluter oder relativer Angabe sein, und auch die Geschwindigkeit und das Beschleunigungsverhalten der Kamera zwischen den zwei Zeitpunkten T1 und T2 kann gemessen werden.
  • Zum Zeitpunkt T2 oder zu einem beliebigen späteren Zeitpunkt wird aus den Messdaten der Messsensorik zumindest ein Kamerabewegungsvektor bestimmt. Bei kurvigem Verlauf der Relativbewegung können auch mehrere Kamerabewegungsvektoren, beispielsweise in Form eines Polygonzugs, bestimmt werden. Der Kamerabewegungsvektor enthält Informationen über die Position der Kamera zum Zeitpunkt T1 als Startpunkt und über die Position der Kamera zum Zeitpunkt T2 als Endpunkt des Kamerabewegungsvektors. Die Länge des Vektors gibt Aufschluss über die von der Kamera zwischen den Zeitpunkten T1 und T2 zurückgelegte Strecke.
  • In einem weiteren Verfahrensschritt zum zweiten Zeitpunkt T2 wird der Aufnahmebereich in der Fahrzeugumgebung mit der Kamera als zweites Bild aufgenommen. Das zweite Bild wird mit der Kamera aufgenommen, mit der auch das erste Bild aufgenommen wurde. Die Kamera hat jedoch zwischen dem Aufnahmezeitpunkt T1 des ersten Bildes und dem Aufnahmezeitpunkt T2 des zweiten Bildes die oben beschriebene Relativbewegung vollzogen. Daher unterscheidet sich der Aufnahmebereich des ersten Bildes zum Zeitpunkt T1 vom Aufnahmebereich des zweiten Bildes zum Zeitpunkt T2 zumindest durch seinen Blickwinkel und/oder die Perspektive und/oder die Entfernung zum Hindernis. Die Aufnahmebereiche zu den zwei Zeitpunkten T1 und T2 werden jedoch in aller Regel vergleichbar sein. Die Art und Weise der Aufnahme des zweiten Bildes ist ebenfalls grundsätzlich ohne Belang. Es kann als einzelnes Bild zum Zeitpunkt T2 oder als Bild einer Videosequenz zum Zeitpunkt T2 aufgenommen werden.
  • In einem nächsten Verfahrensschritt erfolgt eine Identifikation der Abbildung zumindest eines Objektmerkmals im ersten Bild, wobei die Identifikation nach dem ersten Zeitpunkt (T1) oder nach dem zweiten Zeitpunkt (T2) stattfindet. Der genaue Zeitpunkt der Identifikation ist grundsätzlich ohne Belang. Die Identifikation kann beispielsweise direkt im Anschluss an die Aufnahme des ersten Bildes nach dem ersten Zeitpunkt T1 erfolgen, die Identifikation kann aber auch beispielsweise erst nach der Aufnahme des zweiten Bildes zum zweiten Zeitpunkt T2 erfolgen. Eine Identifikation bereits nach dem ersten Zeitpunkt T1 kann beispielsweise den Vorteil aufweisen, dass das Ergebnis der Identifikation zum zweiten Zeitpunkt T2 vorliegt und zu weiteren Zwecken, insbesondere für eine Auswertung des zweiten Bildes, benutzt werden kann.
  • Die Art und Weise der Identifikation ist grundsätzlich beliebig. Das erste Bild wird in der Regel eine Vielzahl von Abbildungen der im Aufnahmebereich befindlichen Objekte beinhalten. Zumindest eine Teilmenge dieser Objekte wird in der Regel ein Hindernis darstellen. Das Bild selbst enthält lediglich zweidimensionale Abbildungen der Objekte. Jede Abbildung dieser Objekte weist charakteristische Merkmale auf, wodurch die Objekte voneinander unterscheidbar sind. Zumindest eine Abbildung eines Objektmerkmals wird während der Identifikation identifiziert. Es können aber auch mehrere Abbildungen mehrerer Objektmerkmale identifiziert werden. Es kann sowohl das gesamte als auch ein Teil des Bildes in die Identifikation mit einbezogen werden.
  • Weiterhin kommt es auf eine eindeutige dingliche Identifikation nicht an. Es kann zwar versucht werden, über die Identifikation Aufschluss darüber zu erlangen, was ein Objekt in der Realität darstellt, dies ist bei der erfindungsgemäßen Identifikation jedoch nicht unbedingt erforderlich. Beispielsweise würde beim erfindungsgemäßen Verfahren eine Identifikation zur Wiedererkennung des Objektmerkmals in einem anderen Bild, insbesondere durch charakteristische Merkmale, ausreichen, ohne zu wissen, was das betreffende Objekt in der Realität darstellt. Diese Ausführungsform bietet unter anderem den Vorteil, dass eine geringere Rechenkapazität benötigt wird.
  • In einem weiteren Verfahrensschritt erfolgt eine Identifikation der Abbildung des im ersten Bild identifizierten Objektmerkmals auch im zweiten Bild, wobei die Identifikation nach dem zweiten Zeitpunkt T2 stattfindet. Diese Identifikation ist ebenfalls grundsätzlich beliebig.
  • In einer ersten Ausführungsform erfolgt diese Identifikation nach den gleichen Grundsätzen wie die Identifikation betreffend das erste Bild.
  • Nach dieser zweiten Identifikation liegen demnach einerseits identifizierte Abbildungen zumindest eines Objektmerkmals im ersten Bild vor und andererseits identifizierte Abbildungen zumindest eines Objektmerkmals im zweiten Bild vor. Über einen Vergleich erfolgt dann eine Zuordnung der Abbildungen der identifizierten Objektmerkmale aus den zwei Bildern zu jeweils einem Objekt in der Realität.
  • In einer zweiten Ausführungsform kann die Identifikation der Abbildungen des im ersten Bild identifizierten Objektmerkmals im zweiten Bild dadurch vereinfacht werden, dass das Ergebnis der Identifikation der Abbildung zumindest eines Objektmerkmals im ersten Bild für die Identifikation betreffend das zweite Bild unterstützend verwendet wird.
  • Die Erscheinungsform einer Abbildung eines Objektmerkmals ist grundsätzlich beliebig. Vorteilhafterweise hat eine Abbildung eines Objektmerkmals jedoch eine geringe Ausdehnung im Bild. Im Wesentlichen punktförmige Abbildungen, insbesondere Ecken, eignen sich besonders. Bildverarbeitungstechnisch bedingt können die identifizierten Abbildungen der Objektmerkmale aber auch aus bestimmten Mustern, beispielsweise aus charakteristisch angeordneten Pixelanhäufungen, bestehen.
  • In einem weiteren Verfahrensschritt erfolgt die Bestimmung eines Abbildungsverschiebungsvektors aus der Abbildungsdifferenz der Abbildungen des identifizierten Objektmerkmals im ersten und zweiten Bild. Dadurch, dass die Kamera zwischen den zwei Aufnahmezeitpunkten T1 und T2 der zwei Bilder einer Relativbewegung ausgesetzt war, erscheint die Abbildung ein und desselben Objekts und somit auch die Abbildungen der zu diesem Objekt gehörigen Objektmerkmale im zweiten Bild an anderer Position als im ersten Bild. Zwischen jeder Abbildung eines Objektsmerkmals im ersten Bild und der Abbildung des zugehörigen Objektmerkmals im zweiten Bild kann ein Abbildungsverschiebungsvektor bestimmt werden. Dessen Richtung und Länge ergeben sich dabei aus der Position der Abbildung des im ersten Bild identifizierten Objektmerkmals und der Position der Abbildung des zugehörigen, im zweiten Bild identifizierten Objektmerkmals. Als Position der Abbildung eines identifizierten Objektmerkmals kann beispielsweise das betreffende Bildpixel dienen oder beispielsweise ein aus einer Pixelanhäufung oder Muster bestimmter Schwerpunkt oder Mittelpunkt.
  • In einem weiteren Verfahrensschritt erfolgt die Ableitung der Entfernung zwischen Fahrzeug und dem identifizierten Objektmerkmal in einer elektronischen Recheneinheit, wobei der Rechnereinheit der Kamerabewegungsvektor und der Abbildungsverschiebungsvektor als Eingangsdaten zugeleitet werden. Dabei kann mit dem bekannten Abbildungsverschiebungsvektor der Abbildungen eines identifizierten Merkmals in beiden Bildern das identifizierte Objektmerkmal in der Realität eindeutig einer bestimmten Höhe und Entfernung absolut oder relativ zugeordnet werden. Dies kann beispielsweise nach den Grundsätzen der Photogrammetrie und Transformationsmethoden betreffend eine Zentralprojektion erfolgen.
  • In einer weiteren Ausführungsform erfolgt diese Ableitung über einen Vergleich mit der Relativbewegung der Kamera, die in dem Kamerabewegungsvektor enthalten ist. Beispielsweise lässt sich aus der bekannten Relativbewegung der Kamera – also dem bekannten Kamerabewegungsvektor – eindeutig ein Abbildungsverschiebungsvektor einer Abbildung eines Objektmerkmals in der 0-Ebene (am Boden) identifizieren. Ein Abbildungsverschiebungsvektor einer Abbildung eines Objektmerkmals in einer bestimmten Höhe über dem Boden lässt sich entsprechend unterscheiden und kann einer bestimmten Höhe und Entfernung zugeordnet werden.
  • Das erfindungsgemäße Verfahren ist nicht zwingend auf in der Realität unbewegte Objekte im zu messenden Bereich angewiesen. Insbesondere kann der Weg eines bewegten Objektmerkmals durch den Vergleich mit Objektmerkmalen auf dem Boden (0-Ebene) bestimmt werden, wenn Objekte dem Boden zugeordnet werden können.
  • In einer speziellen Ausführungsform wird mit der Kamera zumindest ein Aufnahmebereich in der rückwärtigen Fahrzeugumgebung aufgenommen. Insbesondere zur Entfernungsmessung bei Einparkvorgängen oder Kopplung der Entfernungsmessung mit dem Einparkvorgang bietet diese Ausführungsform besondere Vorteile.
  • In einer weiteren Ausführungsform wird die Relativbewegung zumindest zwischen dem ersten Zeitpunkt T1 und dem zweiten Zeitpunkt T2 zwischen dem Fahrzeug und der Fahrzeugumgebung ausgeführt, während die Kamera relativ zum Fahrzeug unbewegt bleibt. Dies ist insbesondere dann der Fall, wenn die Kamera fest am oder im Fahrzeug installiert ist. Dann nämlich ist die Kamera mit dem Fahrzeug stationär verbunden und die Relativbewegung wird auch im Ergebnis zwischen Kamera und Fahrzeugumgebung ausgeführt.
  • In einer weiteren Ausführungsform wird die Relativbewegung zumindest zwischen dem ersten Zeitpunkt T1 und dem zweiten Zeitpunkt T2 zwischen der Kamera und dem Fahrzeug ausgeführt, während das Fahrzeug relativ zur Fahrzeugumgebung unbewegt bleibt. Die Kamera ist dann nicht fest am oder im Fahrzeug befestigt, sondern kann relativ zum Fahrzeug und somit auch relativ zur Fahrzeugumgebung bewegt werden. Insbesondere kann ein Schienensystem am oder im Fahrzeug installiert sein, auf dem sich die Kamera bewegt. Dieses Schienensystem kann über Messsensoren verfügen, mit denen die Relativbewegung der Kamera gemessen wird. Besonderer Vorteil dieser Ausführungsform ist es, dass auch bei stehendem Fahrzeug eine Entfernungsmessung ermöglicht wird.
  • Die Identifikation der Abbildung des Objektmerkmals ist grundsätzlich beliebig. In einer besonderen Ausführungsform erfolgt die Identifikation der Abbildung des Objektmerkmals basierend auf einer Kantendetektion. Solche Kantendetektionsalgorithmen können harte Farb- oder Helligkeitsunterschiede, wie sie beispielsweise an den Kanten der Abbildung eines Objekts vorkommen, detektieren.
  • In einer weiteren Ausführungsform erfolgt die Identifikation der Abbildung des Objektmerkmals basierend auf einer Formanalyse. Dabei werden beispielsweise die geometrischen Formen der Abbildungen der Objekte betrachtet. Dies kann auch über die zuvor mittels einer Kantendetektion gefunden Kanten unterstützt werden. Zudem kann eine Pixelzusammenfassung (Clusterbildung) auf Grundlage von Farben und Kanten durchgeführt und somit die Form und Farbe von Objekten erfasst und beschrieben werden.
  • In einer weiteren Ausführungsform wird die Identifikation der Abbildung des Objektmerkmals durch Vergleich mit im Straßenverkehr üblichen Formen, insbesondere von Fahrzeugkennzeichen, Rädern, Scheinwerfern, Schildern und/oder Straßenmarkierungen, unterstützt. Dabei können die Ergebnisse einer vorhergegangenen Formanalyse mit einbezogen werden.
  • Die Messung der Relativbewegung zwischen Kamera und Fahrzeugumgebung kann auf Grundlage einer Fahrzeugbewegungssensorik, insbesondere einer Geschwindigkeitssensorik und/oder einer Wegstreckensensorik und/oder einer Lenkeinschlagsensorik, erfolgen. Derartige Sensoren sind zumeist in einem Fahrzeug bereits vorhanden. Somit würde sich das erfindungsgemäße Verfahren besonders einfach in einem Fahrzeug implementieren lassen.
  • Die Entfernungsmessung kann in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens auch zwischen dem Fahrzeug und dem Hindernis simultan zu einem Einparkvorgang durchgeführt werden. Dabei können besondere Synergieeffekte bei der Kombination der erfindungsgemäßen Entfernungsmessung und einem Einparkvorgang ausgenutzt werden. So können nämlich die Ergebnisse der Entfernungsmessung zur Berechnung von optimalen Fahrtmanövern Verwendung finden, und es könnte eine anvisierte Parklücke vermessen werden. Die Entfernungsmessung mittels des erfindungsgemäßen Verfahrens kann dabei auf Grundlage der Bilder erfolgen, die mittels einer Rückfahrkamera zur Kontrolle des rückwärtigen Einparkraums aufgenommen werden.
  • Eine Ausführungsform der Erfindung ist in den Zeichnungen dargestellt, und wird nachfolgend beispielhaft erläutert.
  • Es zeigen:
  • 1 ein Fahrzeug mit Kamera in Aufnahmeposition des ersten Bildes in Ansicht von oben;
  • 2 ein Fahrzeug mit Kamera in Aufnahmeposition des zweiten Bildes in Ansicht von oben;
  • 3 ein erstes Bild mit zwei Abbildungen eines Objektsmerkmals in perspektivischer Ansicht;
  • 4 ein zweites Bild mit zwei Abbildungen eines Objektmerkmals in perspektivischer Ansicht;
  • 5 Abbildungsverschiebungsvektoren der Abbildungen der Objektmerkmale gemäß 3 und 4.
  • 1 zeigt ein Fahrzeug 01 mit einer Kamera 02 in seinem rückwärtigen Bereich und einem Objekt 03, welches ein Hindernis darstellt, im rückwärtigen Bereich des Fahrzeugs 01. Das Fahrzeug 01 befindet sich hier zum ersten Zeitpunkt T1. Die Kamera 02 nimmt den Aufnahmebereich 04 auf, der durch die Aufnahmebereichsgrenzen 05 begrenzt wird. Die Größe des Aufnahmebereichs 04 wird in der Regel von der Geometrie der Linse der Kamera 02 abhängen. Zu diesem Zeitpunkt ist die Entfernung zwischen dem Fahrzeug 01 und dem Objekt 03 unbekannt.
  • 2 zeigt das Fahrzeug 01 mit der Kamera 02 zum zweiten Zeitpunkt T2. Die Kamera 02 ist mit dem Fahrzeug 01 verbunden und hat eine Relativbewegung von der ersten Standlinie 06 zur zweiten Standlinie 07 ausgeführt. Das Objekt 03 erscheint deshalb relativ zur Kameranähe. Die Relativbewegung der Kamera 02 kann als Kamerabewegungsvektor 08 dargestellt werden.
  • 3 zeigt das erste Bild 09 zum ersten Zeitpunkt T1. Erkennbar sind der Horizont 10 und die in einem Punkt 11 nach den Gesetzen der Zentralprojektion zusammenlaufenden Linien. Das ein Hindernis darstellende Objekt 03 weist mehrere Objektmerkmale auf. Die Abbildung eines ersten Objektmerkmals 12 stellt eine erste Ecke des Objekts 03 dar. Die Abbildung eines zweiten Objektmerkmals 13 stellt eine andere Ecke des Objekts 03 dar.
  • 4 zeigt das zweite Bild 14 zum Zeitpunkt T2. Die Aufnahmebereiche beinhalten im Wesentlichen die gleichen Informationen. Das Objekt 03 erscheint näher, da sich das Fahrzeug 01 mit Kamera 02 dem Objekt 03 zwischen dem Zeitpunkt T1 und T2 genähert hat. Auch erscheint das Objekt 03 im Vergleich zum ersten Bild im zweiten Bild zum Zeitpunkt T2 größer. Das erste Objektmerkmal 12 und das zweite Objektmerkmal 13 haben sich in ihrer Position vom ersten Bild 09 zum zweiten Bild 14 verschoben.
  • 5 zeigt den Abbildungsverschiebungsvektor 15 des ersten Objektmerkmals 12 und den zweiten Abbildungsverschiebungsvektor 16 des zweiten Objektmerkmals 13. Dabei wird der Anfangspunkt des jeweiligen Abbildungsverschiebungsvektors 15, 16 durch die Position des ersten bzw. zweiten Objektmerkmals 12, 13 im ersten Bild gebildet, und der Endpunkt des jeweiligen Abbildungsverschiebungsvektors 15, 16 wird durch die Position des ersten bzw. zweiten Objektmerkmals 12, 13 im zweiten Bild gebildet. Der Abbildungsverschiebungsvektor 16 des zweiten Objektmerkmals 13 liegt dabei in der 0-Ebene (auf dem Boden). Der Abbildungsverschiebungsvektor 15 des ersten Objektmerkmals 12 liegt in einer bestimmten höheren Ebene. Richtung und Größe der Abbildungsverschiebungsvektoren 15, 16 sowie deren Vergleich mit dem Kameraverschiebungsvektor 08 (der Kamerarelativbewegung) bestimmen dabei die genaue Höhe und Entfernung des ersten Objektmerkmals.

Claims (9)

  1. Verfahren zum Betrieb eines Bildauswertesystems zur Messung der Entfernung zwischen einem Fahrzeug (01) und Hindernissen (03) in der Fahrzeugumgebung, wobei das Bildauswertesystem eine Kamera (02), zumindest eine elektronische Rechnereinheit und eine Messsensorik umfasst, und wobei mit der Messsensorik die Relativbewegung (08) zwischen Kamera (02) und Fahrzeugumgebung gemessen werden kann, mit folgenden Verfahrensschritten: a) Zu einem ersten Zeitpunkt (T1) wird ein Aufnahmebereich (04) in der Fahrzeugumgebung mit der Kamera (02) als erstes Bild (09) aufgenommen, b) zwischen dem ersten Zeitpunkt (T1) und einem zweiten Zeitpunkt (T2) wird eine Relativbewegung (08) zwischen Kamera (02) und Fahrzeugumgebung ausgeführt und mit der Messsensorik gemessen, wobei aus den Messdaten der Messsensorik zumindest ein Kamerabewegungsvektor (08) bestimmt wird, c) zum zweiten Zeitpunkt (T2) wird der Aufnahmebereich (04) in der Fahrzeugumgebung mit der Kamera (02) als zweites Bild (14) aufgenommen, d) Identifikation der Abbildung zumindest eines Objektmerkmals (12, 13) im ersten Bild (09), wobei die Identifikation nach dem ersten Zeitpunkt (T1) oder nach dem zweiten Zeitpunkt (T2) stattfindet, e) Identifikation der Abbildung des im ersten Bild identifizierten Objektmerkmals (12, 13) im zweiten Bild (14), wobei die Identifikation nach dem zweiten Zeitpunkt (T2) stattfindet, f) Bestimmung eines Abbildungsverschiebungsvektors (15, 16) aus der Abbildungsdifferenz der Abbildungen des identifizierten Objektmerkmals (12, 13) im ersten Bild (09) und zweiten Bild (14), g) Ableitung der Entfernung zwischen Fahrzeug (01) und dem identifizierten Objektmerkmal (12, 13) in einer elektronischen Rechnereinheit, wobei der Rechnereinheit der Kamerabewegungsvektor (08) und der Abbildungsverschiebungsvektor (15, 16) als Eingangsdaten zugeleitet werden.
  2. Verfahren zum Betrieb eines Bildauswertesystems nach Anspruch 1, dadurch gekennzeichnet, dass zumindest ein Aufnahmebereich (04) in der rückwärtigen Fahrzeugumgebung mit der Kamera (02) aufgenommen wird.
  3. Verfahren zum Betrieb eines Bildauswertesystems nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Relativbewegung (08) zumindest zwischen dem ersten Zeitpunkt (T1) und dem zweiten Zeitpunkt (T2) zwischen dem Fahrzeug (01) und der Fahrzeugumgebung ausgeführt wird, während die Kamera (02) relativ zum Fahrzeug (01) unbewegt bleibt.
  4. Verfahren zum Betrieb eines Bildauswertesystems nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Relativbewegung (08) zumindest zwischen dem ersten Zeitpunkt (T1) und dem zweiten Zeitpunkt (T2) zwischen der Kamera (02) und dem Fahrzeug (01) ausgeführt wird, während das Fahrzeug (01) relativ zur Fahrzeugumgebung unbewegt bleibt.
  5. Verfahren zum Betrieb eines Bildauswertesystems nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Identifikation der Abbildung des Objektmerkmals (12, 13) zumindest teilweise basierend auf einer Kantendetektion erfolgt.
  6. Verfahren zum Betrieb eines Bildauswertesystems nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Identifikation der Abbildung des Objektmerkmals (12, 13) zumindest teilweise basierend auf einer Formanalyse erfolgt.
  7. Verfahren zum Betrieb eines Bildauswertesystems nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Identifikation der Abbildung des Objektmerkmals (12, 13) durch Vergleich mit im Straßenverkehr üblichen Formen, insbesondere von Fahrzeugkennzeichen, Rädern, Scheinwerfern, Schildern und/oder Straßenmarkierungen, unterstützt wird.
  8. Verfahren zum Betrieb eines Bildauswertesystems nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Messung der Relativbewegung (08) zwischen Kamera (02) und Fahrzeugumgebung auf Grundlage einer Fahrzeugbewegungssensorik, insbesondere einer Geschwindigkeitssensorik und/oder einer Wegstreckensensorik und/oder einer Lenkeinschlagsensorik, erfolgt.
  9. Verfahren zum Betrieb eines Bildauswertesystems nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Entfernungsmessung zwischen dem Fahrzeug (01) und dem Hindernis (03) simultan zu einem Einparkvorgang durchgeführt wird.
DE102005036782A 2005-08-02 2005-08-02 Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug Ceased DE102005036782A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102005036782A DE102005036782A1 (de) 2005-08-02 2005-08-02 Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102005036782A DE102005036782A1 (de) 2005-08-02 2005-08-02 Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug

Publications (1)

Publication Number Publication Date
DE102005036782A1 true DE102005036782A1 (de) 2007-02-15

Family

ID=37680886

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005036782A Ceased DE102005036782A1 (de) 2005-08-02 2005-08-02 Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug

Country Status (1)

Country Link
DE (1) DE102005036782A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013815A1 (de) * 2010-04-03 2011-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs
WO2012076400A1 (de) 2010-12-08 2012-06-14 Robert Bosch Gmbh Kamerabasiertes verfahren zur abstandsbestimmung bei einem stehenden fahrzeug
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
WO2013107561A1 (de) * 2012-01-18 2013-07-25 Robert Bosch Gmbh Gewinnung von tiefeninformationen mit einer in einem fahrzeug verbauten monokamera
JP2016142612A (ja) * 2015-02-02 2016-08-08 日立オートモティブシステムズ株式会社 車両制御装置、距離算出装置および距離算出方法
DE102016111079A1 (de) * 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US6172601B1 (en) * 1998-11-26 2001-01-09 Matsushita Electric Industrial Co., Ltd. Three-dimensional scope system with a single camera for vehicles
DE10031590A1 (de) * 2000-06-29 2002-01-17 Am3 Automotive Multimedia Ag Adaptive Rückfahrkamera
DE10349823A1 (de) * 2003-10-24 2005-05-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Messen von Abständen zwischen einem sich bewegenden Kraftfahrzeug und Objekten

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
US6172601B1 (en) * 1998-11-26 2001-01-09 Matsushita Electric Industrial Co., Ltd. Three-dimensional scope system with a single camera for vehicles
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
DE10031590A1 (de) * 2000-06-29 2002-01-17 Am3 Automotive Multimedia Ag Adaptive Rückfahrkamera
DE10349823A1 (de) * 2003-10-24 2005-05-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Messen von Abständen zwischen einem sich bewegenden Kraftfahrzeug und Objekten

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013815A1 (de) * 2010-04-03 2011-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs
WO2012076400A1 (de) 2010-12-08 2012-06-14 Robert Bosch Gmbh Kamerabasiertes verfahren zur abstandsbestimmung bei einem stehenden fahrzeug
DE102010062589A1 (de) 2010-12-08 2012-06-14 Robert Bosch Gmbh Kamerabasiertes Verfahren zur Abstandsbestimmung bei einem stehenden Fahrzeug
US20130343613A1 (en) * 2010-12-08 2013-12-26 Thomas Heger Camera-based method for determining distance in the case of a vehicle at standstill
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
WO2013107561A1 (de) * 2012-01-18 2013-07-25 Robert Bosch Gmbh Gewinnung von tiefeninformationen mit einer in einem fahrzeug verbauten monokamera
JP2016142612A (ja) * 2015-02-02 2016-08-08 日立オートモティブシステムズ株式会社 車両制御装置、距離算出装置および距離算出方法
DE102016111079A1 (de) * 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem

Similar Documents

Publication Publication Date Title
EP1928687B1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102009009815B4 (de) Verfahren und Vorrichtung zur Erkennung von Parklücken
DE102012221563B4 (de) Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems
EP3183721A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102008003662A1 (de) Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
EP2746990A2 (de) Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen
WO2011138164A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs, fahrerassistenzsystem und fahrzeug
DE102005018408A1 (de) Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
DE102010006521A1 (de) Verfahren und Vorrichtung zur Bestimmung des Knickwinkels eines Fahrzeuggespanns
DE102005036782A1 (de) Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug
EP3477249B1 (de) Verfahren zur formerkennung eines objekts in einem aussenbereich eines kraftfahrzeugs sowie kraftfahrzeug
DE102017103540A1 (de) Ermitteln einer Winkelstellung eines Anhängers ohne Zielmarkierung
DE102017109445A1 (de) Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
DE102015116542A1 (de) Verfahren zum Bestimmen einer Parkfläche zum Parken eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2009077445A1 (de) Verfahren und vorrichtung zum optischen erfassen einer fahrzeugumgebung
EP2579228A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE4109159A1 (de) Verfahren und vorrichtung zum verfolgen eines fahrzeugs
DE102013012778A1 (de) Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102019102672A1 (de) Intersensorisches lernen
DE102006007550A1 (de) Vorrichtung und Verfahren zur Erkennung einer Fahrbahnmarkierung für ein Kraftfahrzeug
EP4068223A1 (de) Verfahren und system zur bestimmung der bodenebene mit einem künstlichen neuronalen netz
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20121023