DE102005035810A1

DE102005035810A1 - Verfahren zur Sichtweitenbestimmung mit einer Kamera

Info

Publication number: DE102005035810A1
Application number: DE102005035810A
Authority: DE
Inventors: Michael Walter; Matthias Zobel
Original assignee: ADC Automotive Distance Control Systems GmbH
Current assignee: ADC Automotive Distance Control Systems GmbH
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2007-02-01
Also published as: WO2007012300A1; DE112006001119A5

Abstract

Verfahren zur Sichtweitenbestimmung mit einer Kamera, die vorzugsweise auch zur Umgebungserfassung vorgesehen ist. Voraussetzung für die Anwendung des Verfahrens ist, das die Relativgeschwindigkeit v¶rel¶ von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null ist. Eine Trajektorie zumindest eines Objekts mit v¶rel¶ ungleich Null wird prädiziert und entlang der Trajektorie werden mehrere Messfenster gesetzt. Der Abstand der in den Messfenstern abgebildeten Objekte zur Kamera wird bestimmt und die Sichtweite wird aus einem Bildkontrast eines Messfensters oder Teilen eines Messfensters und dem zugehörigen Abstand ermittelt. Es werden wenigstens zwei Kontrastmessungen bei verschiedenen Abständen zur Auswertung herangezogen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der Sichtweite. Anwendung findet diese Erfindung z. B. in Kraftfahrzeugen. Kamerasensoren werden hier im vermehrten Umfang zur Umgebungserfassung, insbesondere zur Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich eingesetzt. Die Kamerasensoren sind in der Regel im Inneren des Fahrzeugs hinter einer Windschutzscheibe angebracht. Eine fehlerfreie Funktion ist jedoch nur bei Kenntnis der Sichtweite möglich. So ist es zum Beispiel unnötig bei Sichtweiten unter 40 m Messfenster in Entfernungen darüber zu platzieren. Gängige Verfahren zur Sichtweitenbestimmung beruhen auf Transmissions- oder Reflexionsmessungen. Bei einer Transmissionsmessung wird die Sichtweite aus der Dämpfung zwischen der von einer bekannten Quelle ausgestrahlten und der in einem festen Abstand gemessenen Intensität berechnet. Bei einer Reflexionsmessung wird die Sichtweite durch die Intensität des Streulichtes bestimmt. Beide Verfahren haben jedoch den Nachteil, dass eine Referenz mit einer bekannten Intensität in einer bekannten Entfernung benötigt wird, welche in einem fahrenden Fahrzeug aufgrund dynamischer Umgebungen nicht vorhanden ist.

Die Aufgabe der Erfindung liegt darin, die Sichtweite mit einer Kamera, die auch für andere Anwendungen insbesondere für die Umgebungserfassung genutzt wird, kostengünstig zu erkennen.

Diese Aufgabe wird gemäß einem Verfahren nach Patentanspruch 1 gelöst. Die abhängigen Patentansprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf.

Erfindungsgemäß wird die Aufgabe durch einen passiven kamerabasierten Ansatz gelöst. Hierfür ist eine Kamera vorgesehen, die auf eine Fahrzeugumgebung ausgerichtet ist. Vorteilhaft an dieser Anordnung ist, dass die Kamera zur Bestimmung der Sichtweite und zur Umgebungserfassung genutzt werden kann. In einem vorgegebenen Takt werden Bilder aus der Kamera ausgelesen, z. B. 25 Bilder/s. Die aufgenommen Bilder werden hinsichtlich der Bestimmung der Sichtweite ausgewertet. Es werden also keine weiteren künstlichen Referenzbilder oder Referenzobjekte benötigt, so dass hier für den Anwender keine weiteren Kosten und/oder Justageaufwand entsteht.

Für die Anwendung des Verfahrens muss die Relativgeschwindigkeit v_rel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null sein. Dies wird bei einer Anwendung z. B. im Kraftfahrzeug durch Eigengeschwindigkeit des Fahrzeugs V_Fahrzeug > 0 m/s gewährleistet. Damit ist die Relativgeschwindigkeit zu statischen Objekten in der Fahrzeugumgebung v_rel > 0 m/s. Objekte mit v_rel > 0 m/s verändern ihre Position zur Kamera kontinuierlich und damit auch ihre Position im Bild. Der berechnete Verlauf dieser Bewegung im Bild wird im Folgenden als Trajektorie bezeichnet. Dasselbe Objekt wird also zeitlich versetzt in verschiedenen Bildausschnitten abgebildet. Bei dem Objekt kann es sich z. B. um ein einzelnes Objekt wie ein entgegenkommendes Fahrzeug oder um sich wiederholende Objekte wie z. B. Fahrspurmarkierungen handeln. Entlang der prädizierten Trajektorie wird eine Anzahl von Messfenster gesetzt, die das Objekt bei einer geeigneten Auslesefrequenz und/oder einer geeigneten Anzahl der Mittlungen einer Messung zu unterschiedlichen Zeitpunkten durchläuft.

Bei einer geradlinigen Eigenbewegung der Kamera verlaufen die Trajektorien von statischen Objekten im Abbildungsbereich der Kamera entlang von Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. Bei einer nichtgeradlinigen Eigenbewegung der Kamera oder einer zu erwartenden ungradlinigen Bewegung wird in einer vorteilhafen Ausgestaltung der Erfindung die Trajektorie von Objekten ausgehend von Umgebungsmerkmalen und/oder der momentanen Kamerabewegung und/oder der Einbaulage der Kamera berechnet. Z. B. kann eine Objekttrajektorie, insbesondere die eines statischen Objekts, aus den geschätzten Fahrspurparametern wie Krümmung und Offset, der Einbaulage der Kamera, ihre Höhe, Nick-, Gier- und Rollwinkel, sowie den intrinsischen Kameraparametern, der Brennweite, Hauptpunkt, etc. berechnet werden. Stehen keine Fahrspurparameter zur Verfügung, da das System aufgrund einer Verschmutzung oder fehlender Straßenmarkierungen nicht in der Lage ist eine Fahrspur zu schätzen, lässt sich die Krümmung anhand des Lenkwinkels oder eines Querbeschleunigungs-/Drehratensensors ermitteln.

Der Abstand der in einem Messfenstern aufgenommenen Objekte zur Kamera wird bestimmt. Die Sichtweite wird aus einem Bildkontrast eines Messfensters oder Teilen eines Messfensters und dem zugehörigen Abstand berechnet. Es werden wenigstens zwei Kontrastmessungen bei verschiedenen Abständen zur Auswertung herangezogen.

Vorzugsweise wird der Bildkontrast über ein gesamtes Messfenster ermittelt um eine rechenintensive Objekterkennung zu vermeiden. In einem vorteilhaften Ausführungsbeispiel werden die Trajektorien von Fahrbahnmarkierungen im Bild prädiziert und die Messfenster entlang dieser Trajektorien gesetzt. Aus einer Kontrastmessung in den Messfenstern oder einer Mittelung über mehrere Messungen kann die Sichtweite bestimmt werden. Aufgrund der periodisch wiederkehrenden Markierungen ist es nicht notwendig, dass ein bestimmter Markierungsabschnitt in jedem Messfenster abgebildet wird, sodass auch in diesem Ausführungsbeispiel keine rechenintensive Objekterkennung notwendig ist.

In einer vorteilhaften Ausgestaltung der Erfindung wird der Abstand der in den Messfenstern aufgenommenen Objekte zur Kamera aus der Position des Messfensters im kalibrierten Kamerabild abgeschätzt. Dieses Verfahren bietet den Vorteil, dass kein aufwändiges Stereoverfahren oder ein weiterer Sensor zur Entfernungsmessung benötigt wird.

Vorzugsweise wird, wenn ein Wert für die aktuelle Sichtweite bekannt ist, die Position der Messfenster an die Sichtweite angepasst. So ist es z. B. unnötig bei Sichtweiten unter 60 m Messfenster in Entfernungen darüber zu platzieren.

Eine vorteilhafte Ausgestaltung der Erfindung ist ein Kraftfahrzeug mit einer Kamera zur Bestimmung der Sichtweite und zur Umgebungsbeobachtung, z. B. für Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich.

Weitere Vorteile und Besonderheiten der Erfindung werden anhand eines Ausführungsbeispiels und zwei Abbildungen beispielhaft näher erläutert.
Es zeigen:
1: Bestimmung der Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x.
2: Bestimmung des Abstands eines Punktes d zur Kamera.
Das Ausführungsbeispiel beschreibt ein Kraftfahrzeug mit einer Kamera zur Bestimmung der Sichtweite. Die Kamera ist auf die Fahrzeugumgebung ausgerichtet und wird auch zur Umgebungserfassung genutzt. Das Fahrzeug bewegt sich im zeitlichen Mittel auf einer Geraden. Statische Objekte in der Umgebung bewegen sich somit im Abbildungsbereich der Kamera auf Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. Dies gilt natürlich auch für den Mittelstreifen und die Seitenbegrenzungen einer Straße, den Verlauf der Fahrbahn und entgegenkommende Fahrzeuge. Werden Messfenster entlang der radial verlaufenden Geraden positioniert, werden unter idealen Bedingungen, d.h. keine Dämpfung oder Verschmutzung, in den korrespondierenden Messfenstern, z. B. im Abbildungsbereich des Mittelstreifens oder der Fahrbahn, identische Kontraste erwartet.
Zur Bestimmung von Größe und Position der Messfenster im Bild lässt sich die Fahrbahn in Bereiche äquidistanter Breite unterteilen. Größe und Position der Messfenster im Bild ergeben sich aus dem Abbildungsmodell der Kamera. In 1 ist der einfachste Fall einer nach unten gerichteten Kamera dargestellt. Die Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x berechnet sich zu
Hierbei ist d der Abstand eines Punktes von der Kamera, c die Bildspalte des Punktes, η die Pixelgröße und f die Kamerabrennweite. 2 stellt die Abstandsbestimmung eines Punktes d zur Kamera dar. Der Abstand wird aus h der Kameraeinbauhöhe, α dem Kameranickwinkel, y der Bildzeile des Punktes, η der Pixelgröße und f die Kamerabrennweite zu
Aus dem Abstand von in einem Messfenster abgebildeten Objekten zur Kamera und dem Kontrast, der z. B. über das gesamte Messfenster ermittelt wird, kann die Sichtweite wie folgt bestimmt werden.
Unterhalb eines Kontrastschwellwerts S ist es für das menschliche Auge nicht möglich zwei Grauwerte zu unterscheiden. In der Regel sind ca. 5 % Kontrast ausreichend. Zur Sichtweitenbestimmung ist folglich der Punkt zu ermitteln an dem der Kontrast den Schwellwert S unterschreitet.
Ist ein Referenzobjekt mit bekanten Kontrast vorhanden, lässt sich die Sichtweite aufgrund des Kontrastunterschiedes bei unterschiedlichen Wetterbedingungen nach C = C0 exp(–Kd)berechnen.
Hierbei sind Co und C der bekannte und der gemessene Kontrast einer bei einer Dämpfung K gemessenen Referenz., d ist die Entfernung zwischen Kamera und Referenz. Der Kontrast berechnet sich aus dem Quotienten der Differenz und Summe aus Vordergrundintensität I₀ und Hintergrundintensität I_b
Stehen C₁ und C₂ aus zwei Kontrastmessungen, z. B. der gemittelte Kontrast in zwei Messfenstern entlang der Radialen oder der gemittelte Kontrast einer Fahrbahnmarkierung, in den Abständen d1 und d2 zur Verfügung, so wird mit
die Sichtweite d zu
berechnet.

Claims

Verfahren zur Sichtweitenbestimmung mit einer Kamera, wobei die Kamera insbesondere zur Umgebungserfassung im Kraftfahrzeug vorgesehen ist, dadurch gekennzeichnet, dass • zumindest ein Objekt erfasst wird, für welches die Relativgeschwindigkeit (v_rel) von Kamera und aufgenommenen Objekt ungleich Null ist, • eine Trajektorie für zumindest dieses Objekt prädiziert wird und entlang der Trajektorie eine Anzahl von Messfenster gesetzt werden, • der Abstand der in den Messfenstern abgebildeten Objekte zur Kamera bestimmt wird und • die Sichtweite aus einem Bildkontrast eines Messfensters oder Teilen eines Messfensters und dem zugehörigen Abstand bestimmt wird, wobei wenigstens zwei Kontrastmessungen bei verschiedenen Abständen zur Auswertung herangezogen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Bildkontrast über ein gesamtes Messfenster zeitlich gemittelt wird.
Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass die Trajektorien von statischen Objekten insbesondere von Fahrbahnmarkierungen oder Leitplanken oder dynamischen Objekten insbesondere von sich auf der Fahrbahn bewegenden Objekten im Bild prädiziert und die Messfenster entlang dieser Trajektorien gesetzt werden.
Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass der Abstand der in den Messfenstern aufgenommenen Objekte zur Kamera aus der Position des Messfensters im kalibrierten Kamerabild bestimmt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass bei Vorlage eines Wertes für die Sichtweite, die Position der Messfenster an diesen Wert angepasst wird.
Kraftfahrzeug mit Kamera, wobei Bilddaten hinsichtlich der Sichtweite in der Fahrzeugumgebung mit einem Verfahren nach einem der Ansprüche 1-4 ausgewertet werden.