DE102009042476B4

DE102009042476B4 - Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeugs mittels einer Stereokamera

Info

Publication number: DE102009042476B4
Application number: DE102009042476.8A
Authority: DE
Inventors: Dr. To Thanh-Binh; Dr. Meinecke Marc-Michael; Dr. Graf Thorsten; Adrian Costache
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2008-09-25
Filing date: 2009-09-24
Publication date: 2022-12-22
Anticipated expiration: 2029-09-25
Also published as: DE102009042476A1

Abstract

Verfahren zur Bestimmung relevanter Zustände in der Umgebung eines Kraftfahrzeugs mittels einer in dem Kraftfahrzeug angeordneten Stereokamera, wobei das Verfahren die folgenden Schritte aufweist:Aufnehmen von linken und rechten Bildern der Fahrzeugumgebung mittels der Stereokamera,Berechnen einer Disparitätskarte aus den beiden Bildern,Festlegen eines ausgewählten Bereichs (A) in der Disparitätskarte, der einem Bereich in der Umgebung des Kraftfahrzeugs entspricht,Auswerten des ausgewählten Bereichs der Disparitätskarte nach einem oder mehreren vorbestimmten Kriterien,Zuordnen von Zuständen anhand von detektierten Linien und/oder deren Änderung bezüglich einer früheren Aufnahme in dem mindestens einen Bereich anhand der Ergebnisse der Auswertung, dadurch gekennzeichnet, dass,der ausgewählte Bereich (A) der Disparitätskarte in eine vorbestimmte Anzahl von Subregionen (1,..., 15) unterteilt wird,in jeder Subregion (1,..., 15) die Dichte der Pixel bestimmt wird, deren Disparität einen vorgegebenen Schwellwert überschreitet, undaus der Verteilung der Dichten der einzelnen Subregionen (1,..., 15) die Zustände der Umgebung des Kraftfahrzeugs bestimmt werden.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Zuständen in der Umgebung eines Kraftfahrzeuges mittels einer Stereokamera, Insbesondere betrifft die Erfindung ein Verfahren zur Bestimmung von solchen Zuständen, die für ein Fahrerassistenzsystem eines Kraftfahrzeuges relevant sind, beispielsweise die Bestimmung des Verschmutzungsgrades der Windschutzscheibe eines Kraftfahrzeuges, oder die Witterungs- und Regenerkennung sowie die Verwendung eines derartigen Verfahrens als Regensensor.
Für heutige und zukünftige Fahrerassistenzsysteme bzw. für ein autonomes Fahren eines Kraftfahrzeuges ist es wichtig, möglichst genaue Informationen über die Umgebung des Kraftfahrzeuges zu bekommen. So müssen Objekte in der Umgebung des Fahrzeuges erkannt werden, wobei hier unter Objekten insbesondere weitere Kraftfahrzeuge in der Umgebung des Eigenfahrzeuges zu verstehen sind, damit das Fahrerassistenzsystem um auf diese Objekte gegebenenfalls reagieren kann. Ferner sind Kenntnisse über die Fahrbahn und ihre Markierungen, Straßenbeschilderungen, Kurven usw. ebenfalls für das Fahrerassistenzsystem wichtig. Im folgenden werden diese Objekte, wie weitere Fahrzeuge sowie Fahrbahnmarkierungen, Fahrbahnbeschilderungen usw., unter Umgebungsstrukturen zusammengefasst. Ferner müssen dem Fahrerassistenzsystem die Umgebungszustände des Kraftfahrzeugs bekannt sein, wobei unter Umgebungszuständen Witterungsbedingungen, Schnee oder Eis auf der Fahrbahn, regennasse Fahrbahnen, regennasse Windschutzscheiben verstanden werden. Der Begriff „relevante Strukturen und Zustände der Kraftfahrzeugumgebung“ soll daher diejenigen Strukturen und Zustände umfassen, die für das Fahrerassistenzsystem von Bedeutung sein könnten.
Zukünftig werden Kameras für Fahrerassistenzfunktionen, wie beispielsweise Lane-Departure-Warning, Objekterkennung oder Fußgängererkennung, in vermehrtem Maße in Serienfahrzeugen eingesetzt werden. Dabei ist in einem ersten Schritt anzunehmen, dass Mono-Video-Systeme verwendet werden. In einem zweiten Schritt werden diese Mono-Video-Systeme durch Stereosysteme ersetzt werden, wobei letztere derzeit bereits beim Lexus LS 460 zur Anwendung gelangen.
So ist aus der DE 195 06 328 C2 ein Verfahren zur Erkennung der Position und Lage eines Objekts im dreidimensionalen Raum bekannt, bei dem ein räumliches Abstandsbild verwendet wird, das durch Aufnehmen des Objekts im dreidimensionalen Raum erhalten wird. Dabei nimmt ein Stereokamerasystem ein Bild der Umgebung auf und bestimmt mittels eines sogenannten Flächenbildes und eines Abstandsbildes aus einer Disparitätsbetrachtung die dreidimensionale Position und die Lage des Objekts im Raum. Ferner wird zur Mustererkennung vorgegebener geometrischer Strukturen die mögliche Verwendung einer Hough-Transformation erwähnt, wobei bei den Verfahren überwiegend eine Kreisform als geometrische Struktur bestimmt wird. Das in der Druckschrift beschriebene Verfahren findet seine Anwendung in Bereichen der Maschinensteuerung.
Aus der DE 196 36 028 C1 ist ein Verfahren zur Stereobild-Objektdetektion bekannt, bei dem aus dem jeweils aufgenommenen Stereobildpaar ein Strukturklassenbildpaar erzeugt wird, wobei für jeden Bildpunkt die Helligkeitsdifferenzen ausgewählter Umgebungsbildpunkte als Digitalwerte ermittelt und letztere zu einer jeweiligen Digitalwertgruppe zusammengefasst werden. Dabei definieren jeweils identische Gruppen eine eigene Strukturklasse. Die Strukturklassen mit längs der Epipolarlinie fehlender Helligkeitsänderung werden verworfen. Für die Bildpunkte der übrigen Strukturklassen werden dazugehörige Disparitätswerte bestimmt und mit einem gegebenen Häufigkeitsinkrement in einem Disparitätshistogramm akkumuliert. Die zu einem jeweiligen Häufungspunktbereich des Histogramms gehörige Bildpunktgruppe wird dann als ein zu detektierendes Objekt interpretiert. Verwendung findet dieses Verfahren zur Detektion von Objekten im Straßenverkehr als Hilfsmittel zur autonomen Längs- oder Querführung von Fahrzeugen.
Wie bereits erwähnt, ist neben der Objekterkennung im Sinne von Erkennung von Fahrzeugen und Fahrbahnmarkierungen die Erkennung von Witterungsbedingungen für ein Fahrerassistenzsystem ebenfalls von hoher Wichtigkeit, was verallgemeinert als Erkennung des Umgebungszustandes des Kraftfahrzeugs bezeichnet wird. So werden für die automatische Einschaltung von Scheibenreinigungssystemen und/oder des Scheibenwischers bei einsetzendem Regen Regensensoren verwendet, die die Benetzung der Windschutzscheibe durch Regen oder durch Schmutz feststellen und gegebenenfalls diskriminieren.
So beschreibt die EP 1 456 703 B1 ein Verfahren zum Erfassen von Feuchtigkeit auf einer Oberfläche, insbesondere der Windschutzscheibe eines Kraftfahrzeuges, bei dem zwei zweidimensionale Bilder desselben Abschnitts der Oberfläche aus zwei unterschiedlichen Winkeln aufgenommen werden, beide Bilder digitalisiert werden und die digitalisierten Bilder von einander subtrahiert werden, um so Fernbereichsobjekte aus dem resultierenden Bild zu entfernen, während Nahbereichsobjekte betreffende Informationen in dem resultierenden Bild belassen werden, wobei die Nahbereichsobjekte der Feuchtigkeit auf der Scheibe entsprechen.
Ferner beschreibt die WO 03/002388 A2 einen Regensensor basierend auf einem Stereobild. Dabei bestimmt ein erster Bildsensor ein erstes Bild der äußeren Oberfläche der Windschutzscheibe entlang einer ersten optischen Achse und ein zweiter Bildsensor ein zweites Bild der äußeren Oberfläche der Windschutzscheibe entlang einer zweiten optischen Achse, wobei die optischen Achsen sich in einem Punkt schneiden, der auf der äußeren Oberfläche der Scheibe liegt. Die beiden so erzeugten Bilder werden in einem Bildkorrelator korreliert und es wird ein Signal erzeugt, wenn Feuchtigkeitstropfen koinzident detektiert werden.
Die gattungsbildende Veröffentlichung LABAYRADE, Raphael; AUBERT, Didier; TAREL, Jean-Philippe: „Real time obstacle detection in stereovision on non flat road geometry through „V-disparity Representation“, Intelligent Vehicle Symposium, 2002. IEEE. IEEE, 2002. S. 646-651, betrifft die Erkennung von Straßenhindernissen. Viele Straßen sind nicht ganz planar und zeigen aufgrund der Topographie der Umgebung oft Hügel und Täler. Dennoch geht die Mehrzahl der vorhandenen Techniken zur Erkennung von Straßenhindernissen mittels Stereovision davon aus, dass die Straße planar ist. Dies kann zu mehreren Problemen führen, nämlich Ungenauigkeiten in Bezug auf die tatsächliche Position von Hindernissen sowie Fehler bei der falschen Hinderniserkennung. Um die Zuverlässigkeit des Hinderniserkennungsprozesses zu erhöhen, wird eine Konstruktion und Untersuchung eines „V-Disparitäts“ -Bildes durchgeführt, das eine gute Darstellung des geometrischen Inhalts der Straßenszene liefert. Der Vorteil dieses Bildes besteht darin, dass es ein semi-globales Matching bietet und in der Lage ist, eine robuste Hinderniserkennung auch im Falle einer partialen Okklusion oder von Fehlern durchzuführen, die während des Matching-Prozesses begangen werden. Darüber hinaus erfolgt diese Detektion ohne explizite Extraktion kohärenter Strukturen wie Fahrbahnkanten oder Fahrbahnmarkierungen im Stereobildpaar.
Die Veröffentlichung HAUTIERE, Nicolas; LABAYRADE, Raphael; AUBERT, Didier: „Real-Time Disparity Contrast Combination for Onboard Estimation of the Visibility Distance“, IEEE Transactions on Intelligent Transportation Systems, 2006, 7. Jg., Nr. 2, S. 201-212 betrifft ein atmosphärisches Sichtweitenmesssystem, das in der Lage ist, den gängigsten Betriebsbereich von exterozeptiven Onboard-Sensoren zu quantifizieren, und ist ein Schlüsselparameter bei der Erstellung von Fahrassistenzsystemen. Diese Informationen werden dann verwendet, um den Sensorbetrieb und die Sensorverarbeitung anzupassen oder den Fahrer darauf aufmerksam zu machen, dass sein Onboard-Assistenzsystem vorübergehend nicht funktionsfähig ist. Darüber hinaus stellt ein System, das in der Lage ist, entweder das Vorhandensein von Nebel zu erkennen oder Sichtweiten zu schätzen, an sich eine Fahrunterstützung dar.
Die Verfahren und Vorrichtungen gemäß dem Stand der Technik zur Detektion relevanter Strukturen und Zustände in der Umgebung eines Kraftfahrzeuges, einschließlich der Detektion von Benetzung und Feuchtigkeit der Windschutzscheibe, sind mit erheblichem Aufwand verbunden.
Der Erfindung liegt daher die Aufgabe zugrunde, ein entsprechendes Verfahren zur Bestimmung relevanter Zustände in der Umgebung eines Kraftfahrzeuges mit einer in dem Kraftfahrzeug angeordneten Stereokamera zu schaffen, welches einfach und robust ist. Ferner liegt der Erfindung die Aufgabe zugrunde, ein entsprechendes Verfahren zur Detektion von Benetzung oder Feuchtigkeit bzw. Schmutz auf der Windschutzscheibe des Kraftfahrzeuges und einen entsprechenden Sensor zu schaffen.
Diese Aufgabe wird durch ein Verfahren mit dem Merkmal des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 14 gelöst. Ferner findet die Erfindung die Anwendung der Vorrichtung in einem Fahrerassistenzsystem mit den Merkmalen des Anspruchs 15 gelöst. Bevorzugte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren zur Bestimmung relevanter Zustände in der Umgebung eines Kraftfahrzeugs mittels einer in dem Kraftfahrzeug angeordneten Stereokamera weist die folgenden Schritte auf:

- Aufnehmen von linken und rechten Bildern der Fahrzeugumgebung mittels der Stereokamera,
- Berechnen einer Disparitätskarte aus den beiden Bildern,
- Festlegen eines ausgewählten Bereichs in der Disparitätskarte, der einem Bereich in der Umgebung des Kraftfahrzeugs entspricht,
- Auswerten des ausgewählten Bereichs der Disparitätskarte nach einem oder mehreren vorbestimmten Kriterien,
- Zuordnen von Zuständen der Umgebung des Kraftfahrzeugs anhand der detektierten Linien und/oder deren Änderung bezüglich einer früheren Aufnahme in dem mindestens einen Bereich anhand der Ergebnisse der Auswertung, wobei
- der ausgewählte Bereich der Disparitätskarte in eine vorbestimmte Anzahl von Subregionen unterteilt wird, in jeder Subregion die Dichte der Pixel bestimmt wird, deren Disparität einen vorgegebenen Schwellwert überschreitet, und aus der Verteilung der Dichten der einzelnen Subregionen die Zustände der Umgebung des Kraftfahrzeugs bestimmt werden.

Unter Zuständen der Umgebung des Kraftfahrzeugs werden vorzugsweise Witterungsbedingungen wie Regen oder Schneefall verstanden. Mit anderen Worten, mit dem erfindungsgemäßen Verfahren wird bevorzugt festgestellt, ob es in der Umgebung des Kraftfahrzeugs regnet oder schneit, damit entsprechende Maßnahmen eingeleitet werden könne, beispielsweise ein automatisches Einschalten des Scheibenwischers mit einer geeigneten Geschwindigkeit. Weiter wird unter der Dichte der Pixel in einer Subregion hier das statistische Verhältnis zwischen Pixel, deren Disparität einen vorgegebenen Schwellwert überschreitet, und der Gesamtheit der Pixel der Subregion der Disparitätskarte verstanden.
Vorzugsweise erzeugt die Stereokamera Bilder der in Fahrtrichtung vorderen Umgebung des Kraftfahrzeugs. Insbesondere liegt der ausgewählte Bereich im Nahbereich des Kraftfahrzeugs, vorzugsweise wird dieser ausgewählte Bereich durch die vor dem Kraftfahrzeug befindliche Fahrbahnebene realisiert.
Vorzugsweise wird das V-Disparitätsbild des ausgewählten Bereichs der Disparitätskarte bestimmt, und es werden in dem V-Disparitätsbild des ausgewählten Bereichs Linien mittels eines Kantendetektionsverfahrens bestimmt. Als Kantendetektionsverfahren kann beispielsweise eine Hough-Transformation oder eine modifizierte Hough-Transformation verwendet werden. Falls in dem V-Disparitätsbild des ausgewählten Bereichs keine Linien detektiert werden, so kann auf Regentropfen auf der Windschutzscheibe geschlossen werden. Mit anderen Worten, mit dem erfindungsgemäßen Verfahren kann der Zustand „Regen“ in der Umgebung des Kraftfahrzeugs bestimmt werden.
Weiterhin ist es vorzugsweise möglich, in dem V-Disparitätsbild des ausgewählten Bereichs die zeitliche Änderung der detektierten Linien zu bestimmen und es wird auf beginnenden Regen geschlossen, wenn die Intensität der im ausgewählten Bereich detektierten Linien im Vergleich zu vorherigen Disparitätsbildern abnimmt. Aus der zeitlichen Abfolge der Bilder des Kamerasystems kann daher bestimmt werden, ob der Regen zunimmt oder abnimmt.
Insbesondere sind für den Zustand Regen die Dichten in dem ausgewählten Bereich gleichverteilt. Durch Beobachtung der Änderungen in der Dichtenverteilungen von Bild zu Bild kann der Übergang von Nichtregen zu Regen und umgekehrt detektiert werden.
Weiter bevorzugt kann in ausgewählten lokalen Bereichen des rechten und/oder linken Kamerabildes eine Kantendetektion durchgeführt werden und solche Bereiche werden als Tropfen auf der Windschutzscheibe identifiziert, in denen keine Kanten detektiert werden, wobei aus der Anzahl der Bereiche ohne Kanten auf die Stärke des Regens geschlossen wird.
Auch hier kann die Entwicklung der Belegung der Windschutzscheibe mit Tropfen aus der zeitlichen Entwicklung der Kantendetektion in den ausgewählten lokalen Bereichen von Bild zu Bild bestimmt werden.
Ferner kann aus der Analyse der Intensitätskarte eines Kamerabildes auf Regentropfen auf der Windschutzscheibe geschlossen werden.
Durch eine der oben genannten Kriterien oder Maßnahmen oder eine geeignete Kombination kann daher eine Entscheidung getroffen werden, ob es regnet oder nicht, und falls es regnet, kann auf die Stärke des Regens geschlossen werden. Ferner kann man durch eine zeitliche Analyse die Zu- oder Abnahme des Regens bestimmen.
Eine erfindungsgemäße Vorrichtung zur Sensierung von Regen auf der Windschutzscheibe unter Verwendung des oben erläuterten Verfahrens umfasst eine Stereokamera, welche Bilder der Umgebung des Kraftfahrzeugs in Fahrtrichtung aufnimmt, und eine Auswerteeinheit, wobei die Auswerteeinheit

- Linien in einem ausgewählten Bereich des V-Disparitätsbilds bestimmt, wobei in dem Fall der Erkennung einer zuordenbaren Linie die Auswerteeinheit auf eine trockene Windschutzscheibe schließt, während im Fall der Erkennung keiner zuordenbaren Linie, die Auswerteeinheit auf eine beregnete Windschutzscheibe schließt,
- den ausgewählten Bereich der Disparitätskarte in eine vorbestimmte Anzahl von Subregionen unterteilt, in jeder Subregion die Dichte der Pixel bestimmt, deren Disparität einen vorgegebenen Schwellwert überschreitet, und aus den Ergebnissen bestimmt, ob der Zustand Regen zutrifft,
- in ausgewählten lokalen Bereichen des rechten und/oder linken Kamerabildes eine Kantendetektion durchführt, wobei solche Bereiche als Tropfen auf der Windschutzscheibe identifiziert werden, in denen keine Kanten detektiert werden und aus der Anzahl der Bereiche ohne Kanten auf den Zustand Regen geschlossen wird.

Das erfindungsgemäße Fahrerassistenzsystem mit einer oben geschilderten Vorrichtung weist weiter eine Steuereinheit auf, die als Funktion der Ergebnisse der Auswerteeinheit die Scheibenwischer und/oder die Scheibenwaschanlage ansteuert.
Vorzugsweise steuert die Steuereinheit als Funktion des detektierten Regens die Fahrzeuggeschwindigkeit. Ferner kann die Steuereinheit als Funktion des detektierten Regens den Fahrbahnreibwert schätzen, wobei die Schätzung in dem Fahrerassistenzsystem verwendet werden kann.
Es ist selbstverständlich, dass das erläuterte Verfahren bzw. Vorrichtung auch den Zustand Schneefall sensiert, wobei hier gegebenenfalls die Information über die Umgebungstemperatur einfließt.
Bevorzugte Ausführungsformen der Erfindung werden nachfolgend anhand der Zeichnungen dargestellt. In den Figuren zeigt:

1 ein Beispiel für den Zustand kein Regen,
2 die Situation bei leichtem Regen,
3 die Situation bei starkem Regen,
4 die Aufteilung eines ausgewählten Bereichs eines Bildes in Subregionen,
5 die Dichteverteilung für den Fall Trocken, und
6 die Dichteverteilung für den Fall Regen.

Vorausschickend wird ohne bildliche Darstellung die Berechnung einer Disparitätskarte und das weitere Vorgehen beschrieben. Ein Stereokamerasystem macht eine Aufnahme beispielsweise eines Gegenstandes oder einer Situation, wobei die Stereokamera jeweils ein linkes und ein rechtes Bild anfertigt, da jede Kamera des Stereokamerasystems den Gegenstand oder die Situation unter jeweils einem anderen Winkel sieht.
Aus dem linken und dem rechten Bild des Stereokamerasystems wird eine Disparitätskarte ermittelt. Dabei wird für jeden Punkt des linken Bildes (Xlinks,Y) ein korrespondierender, d.h., mit demselben Grauwert versehene Punkt (Xrechts,Y) im rechten Bild gesucht wird. Dabei wird vorausgesetzt, dass die beiden Kameras des Systems auf gemeinsame Höhe justiert sind, wobei deren optische Achsen parallel zueinander und zur Fahrbahnebene sind. Mit anderen Worten, die Y-Werte für linkes und rechtes Bild sind gleich. Der Disparitätswert des Punktes (Xlinks,Y) ergibt sich dann als $d (Xlinks, Y) = Xlinks - Xrechts .$
In der so aus dem rechten und linken Bild erstellten Disparitätskarte ist der Grauwert eines Pixels proportional zu seinem Disparitätswert d.
Aus der so erstellten Disparitätskarte werden Linien oder Kanten extrahiert. Dabei wird im üblicherweise verwendeten Bildkoordinatensystem die x-Achse als U-Achse oder horizontale Achse und die y-Achse als V-Achse oder vertikale Achse bezeichnet.
Aus der Disparitätskarte werden dann sogenannte U-Disparitäten und V-Disparitäten abgeleitet, die histogrammartig zeigen, wie häufig ein bestimmter Disparitätswert d in einer Spalte U vorkommt bzw. wie häufig ein bestimmter Disparitätswert d in einer Zeile V vorkommt.
Aus den U- und V-Disparitätsbildern werden dann Linien oder Kanten mittels eines geeigneten Algorithmus, vorzugsweise einer Hough-Transformation, extrahiert, die Strukturen des Ausgangsbildes zugeordnet werden können, wie man anhand der folgenden Erörterung der 1 bis 3 sehen wird.
In den 1 bis 3 wird die Verwendung des beschriebenen Verfahrens zur Detektion des Umgebungszustandes eines Kraftfahrzeugs beschrieben, wobei die Zustände „kein Regen“, „leichter Regen“ und „starker Regen“ dargestellt sind. Mit anderen Worten, die im Kraftfahrzeug angeordnete Stereokamera zusammen mit einer Auswerteeinheit dient als Regensensor.
In 1a ist die Sicht durch eine Windschutzscheibe aus einem Kraftfahrzeug heraus auf einen Parkplatz mit im Hintergrund angeordneten Gebäuden dargestellt, wobei im Vordergrund des Bildes ein Stück einer ebenen Wiese mit einem Weg zu erkennen ist. Es ist ferner deutlich zu erkennen, dass die Sicht durch die Windschutzscheibe frei ist, d.h. es befinden sich keine Wassertropfen auf der Scheibe.
1b zeigt die aus der 1a errechnete Disparitätskarte, in welcher der hier in Betracht gezogene Bereich A dargestellt ist, der im Ausgangsbild dem dort dargestellten Vordergrund, d.h. der durch Wiese und Fußweg gebildeten Ebene entspricht.
Stellt man diesen Bereich in dem V-Disparitätsbild dar, so ergibt sich die in 1c dargestellte, deutlich erkennbare Linie oder Kante K, welche die Ebene des betrachteten Bereichs in der V-Disparität wiedergibt.
2 zeigt die Situation bei leichtem Regen. Es ist bereits in 2a erkennbar, dass das durch die Windschutzscheibe sichtbare Umfeld etwas undeutlich dargestellt ist, was von den Wassertropfen auf der Scheibe herrührt. Dies führt auch zu einer anderen Struktur der Disparitätskarte in 2b, insbesondere in dem betrachteten Bereich A. Eine Umrechnung der Disparitätskarte in das V-Disparitätsbild der 2c zeigt die die Ebene des betrachteten Bereichs A wiedergebende Kante K, allerdings mit deutlich geringerer Intensität.
Demgegenüber zeigt 3a der 3 die Situation des Parkplatzes der 1 und 2 bei starkem Regen, wobei deutlich zuerkennen ist, dass die Sicht durch die Windschutzscheibe stark verschwommen ist, was von der Vielzahl von Wassertropfen auf der Scheibe herrührt. Dies führt zu einer völlig anderen Situation in der Disparitätskarte der 3a, aus der erkennbar ist, dass die Intensitäten in der Disparität d stark zurückgegangen sind. Insbesondere in dem betrachteten Bereich A zeigt sich in dem V-Disparitätsbild der 3c keine Kante mehr, was als Aussage zu interpretieren ist, dass es in der Umgebung des Kraftfahrzeugs stark regnet.
4 zeigt das Bild einer der Stereokameras in Fahrtrichtung des Kraftfahrzeugs, wobei der ausgewählte Bereich A die vor dem Fahrzeug befindliche Fahrbahnebene ist. Dieser ausgewählte Bereich A wird in diesem Beispiel in 15 gleich große Subregionen 1 bis 15 unterteilt, wobei diese Subregionen beispielsweise die Größe 64 x 64 Pixel haben. In jeder dieser Subregionen 1 - 15 wird das statistische Verhältnis der Pixel, deren Disparität einen vorgegebenen Schwellenwert überschreitet, zu der Gesamtheit der Pixel der Subregion 1 - 15 bestimmt und ausgewertet. Dieses statistische Verhältnis wird als Pixeldichte der Subregion, kurz als Dichte, bezeichnet.
5 zeigt die Darstellung der Pixeldichten der Subregionen 1 bis 15 für den Fall oder Zustand „Trocken“, also kein Regen. Dargestellt sind ferner der Maximalwert y_max, der Minimalwert y_min, der Mittelwert y_mean der Dichten, sowie die Standardabweichung y_std. Es ist zu erkennen, dass die Dichten der Subregionen 1 - 15 beliebig verteilt sind, d.h. die Schwankungen der Dichtedaten um einen Mittelwert y_mean ist beträchtlich, was sich auch in der großen Standardabweichung y_std ausdrückt.
6 zeigt die Darstellung der Dichtedaten der Subregionen 1 bis 15 für den Regenfall. Auch hier sind der Maximalwert y_max, der Minimalwert y_min, der Mittelwert y_mean und die Standardabweichung y_std dargestellt. Es ist deutlich zu erkennen, dass die Dichtewerte signifikant kleiner sind als für den Fall kein Regen. Weiterhin sind die Dichtewerte oder Dichtedaten im wesentlichen um den Mittelwert y_mean gruppiert, d.h. verteilt, und die Standardabweichung y_std ist entsprechend kleiner.
Diese in den 5 und 6 aufgezeigten Unterschiede der Dichteverteilungen und Größenordnungen kann daher zur Bestimmung der Frage, ob es regnet oder nicht, herangezogen werden. Ferner ergibt die Beobachtung des zeitlichen Verlaufs der Dichteverteilungen für aufeinander folgende Bilder Informationen über die Stärke des Regens, insbesondere darüber, ob es mehr oder weniger regnet. Es kann daher der Übergang von Nichtregen zu Regen und umgekehrt ermittelt werden.
Das erfindungsgemäße Verfahren lässt sich also zur Detektion von Benetzung bzw. Feuchtigkeit, d.h., als Regensensor, einsetzen.
Folglich kann das Stereokamerasystem für folgende Funktionen eines Fahrerassistenzsystems mit eingesetzt werden und erweitert damit die klassische Sensierungsaufgabe für Fahrerassistenzfunktionen:

- Erkennen von Regentropfen auf der Windschutzscheibe, um so die Steuerung des Scheibenwischers vornehmen zu können,
- Erkennen von Schmutzpartikeln auf der Windschutzscheibe zur Steuerung der Scheibenwaschanlage und des Scheibenwischers und
- Erkennung von Regen vor dem Fahrzeug zur Anpassung der Geschwindigkeit, zur Schätzung des Fahrbahnreibwertes sowie zur Steuerung vom Scheibenwischer und gegebenenfalls Scheibenwaschanlage.

Insbesondere wird mit der Realisierung dieser Funktion über das Stereokamerasystem ein konventioneller, separater Regensensor obsolet, was zu einer Reduktion des im Kraftfahrzeug benötigten Brauchraumes und zur einer Reduktion der Kosten führt.
Bezugszeichenliste

A: Ausschnitt
K: extrahierte Kante
1-15: Subregionen
o: Dichtedaten
ymax: Maximalwert
ymin: Minimalwert
ymean: Mittelwert
ystd: Standardabweichung

Claims

Verfahren zur Bestimmung relevanter Zustände in der Umgebung eines Kraftfahrzeugs mittels einer in dem Kraftfahrzeug angeordneten Stereokamera, wobei das Verfahren die folgenden Schritte aufweist: Aufnehmen von linken und rechten Bildern der Fahrzeugumgebung mittels der Stereokamera, Berechnen einer Disparitätskarte aus den beiden Bildern, Festlegen eines ausgewählten Bereichs (A) in der Disparitätskarte, der einem Bereich in der Umgebung des Kraftfahrzeugs entspricht, Auswerten des ausgewählten Bereichs der Disparitätskarte nach einem oder mehreren vorbestimmten Kriterien, Zuordnen von Zuständen anhand von detektierten Linien und/oder deren Änderung bezüglich einer früheren Aufnahme in dem mindestens einen Bereich anhand der Ergebnisse der Auswertung, dadurch gekennzeichnet, dass, der ausgewählte Bereich (A) der Disparitätskarte in eine vorbestimmte Anzahl von Subregionen (1,..., 15) unterteilt wird, in jeder Subregion (1,..., 15) die Dichte der Pixel bestimmt wird, deren Disparität einen vorgegebenen Schwellwert überschreitet, und aus der Verteilung der Dichten der einzelnen Subregionen (1,..., 15) die Zustände der Umgebung des Kraftfahrzeugs bestimmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Zustände durch Witterungsbedingungen wie Regen oder Schneefall gebildet werden.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Stereokamera Bilder der in Fahrtrichtung vorderen Umgebung des Kraftfahrzeugs erzeugt.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der ausgewählte Bereich (A) im Nahbereich des Kraftfahrzeugs liegt.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das V-Disparitätsbild des ausgewählten Bereichs (A) der Disparitätskarte bestimmt wird, und in dem V-Disparitätsbild des ausgewählten Bereichs (A) Linien mittels eines Kantendetektionsverfahren bestimmt werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Kantendetektionsverfahren eine Hough-Transformation verwendet wird.
Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass auf Regentropfen auf der Windschutzscheibe geschlossen wird, wenn in dem V-Disparitätsbild des ausgewählten Bereichs keine Linien detektiert werden.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass in dem V-Disparitätsbild des ausgewählten Bereichs die zeitliche Änderung der detektierten Linien bestimmt wird und auf beginnenden Regen geschlossen wird, wenn die Linienintensität im Vergleich zu vorherigen Disparitätsbildern abnimmt.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass für den Zustand Regen die Dichten in dem ausgewählten Bereich (A) gleichverteilt sind.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass durch Beobachtung der Übergänge der Dichtenverteilung der Subregionen (1,..., 15) von Bild zu Bild der Übergang von Nichtregen zu Regen und umgekehrt detektiert wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass der ausgewählte Bereich der Fahrbahnebene vor dem Kraftfahrzeug entspricht.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass in ausgewählten lokalen Bereichen des rechten und/oder linken Kamerabildes eine Kantendetektion durchgeführt wird, solche Bereiche als Tropfen auf der Windschutzscheibe identifiziert werden, in denen keine Kanten detektiert werden, und aus der Anzahl der Bereiche ohne Kanten auf die Stärke des Regens geschlossen wird.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die zeitliche Entwicklung der Belegung der Windschutzscheibe mit Tropfen aus der zeitlichen Entwicklung der Kantendetektion in den ausgewählten lokalen Bereichen von Bild zu Bild bestimmt wird.
Vorrichtung zur Sensierung von Regen auf der Windschutzscheibe, wobei die Vorrichtung zur Verwendung des Verfahrens nach einem der vorangegangenen Ansprüche eingerichtet und ausgelegt ist, mit einer Stereokamera welche Bilder der Umgebung des Kraftfahrzeugs in Fahrtrichtung aufnimmt, und einer Auswerteeinheit, wobei die Auswerteeinheit Linien in einem ausgewählten Bereich (A) des V-Disparitätsbilds bestimmt, wobei in dem Fall der Erkennung einer zuordenbaren Linie die Auswerteeinheit auf eine trockene Windschutzscheibe schließt, während im Fall der Erkennung keiner zuordenbaren Linie, die Auswerteeinheit auf eine beregnete Windschutzscheibe schließt, den ausgewählten Bereich (A) der Disparitätskarte in eine vorbestimmte Anzahl von Subregionen (1,..., 15) unterteilt, in jeder Subregion (1,..., 15) die Dichte der Pixel bestimmt, deren Disparität einen vorgegebenen Schwellwert überschreitet, und aus den Ergebnissen bestimmt, ob der Zustand Regen zutrifft, in ausgewählten lokalen Bereichen des rechten und/oder linken Kamerabildes eine Kantendetektion durchführt, wobei solche Bereiche als Tropfen auf der Windschutzscheibe identifiziert werden, in denen keine Kanten detektiert werden und aus der Anzahl der Bereiche ohne Kanten auf den Zustand Regen geschlossen wird.
Fahrerassistenzsystem mit einer Vorrichtung nach Anspruch 14, wobei eine Steuereinheit als Funktion der Ergebnisse der Auswerteinheit der Scheibenwischer und/oder die Scheibenwaschanlage ansteuert.
Fahrerassistenzsystem nach Anspruch 15, dadurch gekennzeichnet, dass die Steuereinheit als Funktion des detektierten Regens die Fahrzeuggeschwindigkeit steuert.
Fahrerassistenzsystem nach Anspruch 15, dadurch gekennzeichnet, dass die Steuereinheit als Funktion des detektierten Regens den Fahrbahnreibwert schätzt.