DE10059895A1

DE10059895A1 - Verfahren zur Erkennung von Fahrbahnmarkierungen aus Bilddaten

Info

Publication number: DE10059895A1
Application number: DE10059895A
Authority: DE
Inventors: Thomas Fechner; Stefan Heinrich
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2000-11-01
Filing date: 2000-12-01
Publication date: 2002-05-08
Also published as: US6978037B1

Abstract

Bei einem erfindungsgemäßen Verfahren werden die morphologischen Eigenschaften punktförmiger Fahrbahnmarkierungen auf Grundlage von a priori Wissen in Betracht gezogen. Hierzu eignen sich in vorteilhafterweise Schätzverfahren, welche auf einem Kalman-Filter basieren. Nach der Auswahl geeigneter ROI wird ein Matched-Filter eingesetzt, um die einer Fahrbahnmarkierung zugehörigen Bildpunkte besser aus dem Hintergrund hervorzuheben. Das erfindungsgemäße Verfahren ist selbstverständlich nicht auf die Erkennung von punktförmigen Fahrbahnmarkierungen beschränkt.

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff von Patentanspruch 1.

Kamerabasierte Systeme zur automatischen Fahrzeugverfolgung und zur Warnung vor ungewolltem Verlassen der Fahrbahn sind auf die zuverlässige Erkennung der Fahrbahnbegrenzung angewiesen. In typischer Weise sind die Begrenzungen mittels durchgezogener oder unterbrochener Linie markiert. Es ist aber auch bekannt (z. B.: in den USA) Fahrbahnbegrenzungen mittels einer Abfolge von Punkten zu markieren.

In der Schrift US 5351044 wird ein Verfahren zur Erkennung der Fahrbahnbegrenzung aufgezeigt, welches pixelbasiert Bilddaten auswertet. Dabei werden diejenigen Bildpunkte einer Begrenzung zugeordnet deren Helligkeit signifikant die Helligkeit der umgebenden Punkte übersteigt.

Es ist auch in Verfahren bekannt, welches die Korrelation der angrenzenden Bildzeilen innerhalb der Bilddaten zur Detektion der Fahrbahnbegrenzung auswertet. Hierzu ist es jedoch notwendig die perspektivischen Kameradaten in nicht-perspektivische Bilddaten zu transformieren.

Die Schriften US 5517412 und US 4868752 zeigen Verfahren zur Detektion der Fahrbahnbegrenzung, welche auf der Segmentierung von Linienelementen mittels Liniendetektoren ("edge detection") mit nachgeschalteter Hough-Transformation zur Rekonstruktion der Begrenzung basieren. Entsprechendes ist aus US 4970653 bekannt, wobei hier die Segmentierung der Linienelemente durch zusätzliches Template- Matching unterstützt wird.

Bei dem in US 6091833 vorgeschlagenen Verfahren, wird der Bereich auf den eine Liniendetektion angewandt wird, durch eine Auswahl auf Bereiche eingeschränkt, welche transformiert in den Frequenz-Raum bei ihren niedrigen Frequenzkomponenten eine hohe Intensität aufweisen.

Aufgabe der Erfindung ist es ein neuartiges Verfahren nach dem Oberbegriff des Patentanspruches 1 zu finden.

Die Aufgabe wird durch ein Verfahren gelöst, wie es durch die Merkmale des Patentanspruches 1 beschrieben wird. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den untergeordneten Ansprüchen aufgezeigt und anhand von Ausführungsbeispielen und Figuren näher beschrieben.

Fig. 1 zeigt einen Bildausschnitt 10 mit punktförmigen Fahrbahnmarkierungen 11 und ausgewählten Bereichen (ROI) 12.

Fig. 2 zeigt das Flußdiagramm bezüglich der Erkennung der punktförmigen Fahrbahnmarkierungen 11.

Fig. 3 zeigt das Flußdiagramm bezüglich der Binarisierung der Bildpunkte (Pixel), welche Fahrbahnbegrenzungen 11 zuzuordnen sind.

Fig. 4 zeigt beispielhaft einen Grauwertverlauf von Bilddaten, wobei die durch das Matched-Filter ausgewerteten Regionen herausgestellt sind.

Bei dem erfindungsgemäßen Verfahren werden die morphologischen Eigenschaften punktförmiger Fahrbahnmarkierungen auf Grundlage von a priori Wissen in Betracht gezogen. Dabei wird ausgehend von einem Eingangsbild in mehreren Verarbeitungsschritten nach punktförmigen Fahrbahnmarkierungen ("Bot Dot Markings") gesucht.

In Fig. 1 wird in vorteilhafter Weise aufgezeigt, wie zur Verminderung des Verarbeitungsaufwandes und gleichzeitigen Reduktion der Falschalarmwahr scheinlichkeit aus der Gesamtheit der zu verarbeitenden Bilddaten 10 Bereiche (ROI) 12 herausgetrennt werden. Dies geschieht ausgehend von a priori Wissen mit dem Ziel, Bereiche 12 zu selektieren, welche mit hoher Wahrscheinlichkeit Fahrbahnmarkierungen enthalten, sogenannte ROI (regions of interest). Hierbei erfolgt die Positionierung der ROI in gewinnbringender Weise anhand der bekannten Kamerageometrie (Höhe, Nickwinkel, . . .) als auch anhand anderer Parametern wie beispielsweise der Geometrie der Fahrspur, den Dimensionen der Fahrbahnmarkierung oder der Fahrzeugposition auf der Fahrbahn. Hierbei wird im allgemeinen angenommen, dass sich das Fahrzeug zwischen linker und rechter Markierung befindet und die Fahrbahnbreite gewissen Standards unterliegen.

In Fig. 2 werden beispielhaft die einzelnen Schritte der erfindungsgemäßen Bilddatenverarbeitung ausgehend vom Kamerabild 10, welches noch die gesamte Bildinformation enthält, bis zu der Extraktion der Koordinaten der einzelnen Elemente der Fahrbahnmarkierung, welche im allgemeinen den Koordinaten von Markierungspunkten entsprechen.

In einem ersten Schritt 21 werden aus der Gesamtheit der zu verarbeitenden Bilddaten 10 Bereiche (ROI) 12 herausgetrennt. Hierzu werden bei der Initialisierung der ROI 12 im Rahmen des erfindungsgemäßen Verfahrens per Zufallsfolge Modellparameter so lange variiert, bis Fahrspurmarkierungen gefunden werden. Hierbei werden als Modellparameter beispielsweise Informationen wie die Breite der Fahrspur, die Ausrichtung der Kamera zur Mitte der Fahrspur oder der Gierwinkel des Fahrzeugs herangezogen. Im späteren Verlauf des Verfahrens werden sodann zur Repositionierung bereits initialisierter ROI 12 Parametervorhersagen eines Fahrzeug-Straße-Models auf Grundlage einer Prädiktion eines Schätzverfahrens zur Parameterbestimmung herangezogen. Hierzu eignen sich in vorteilhafter Weise Schätzverfahren, welche auf einem Kalman-Filter basieren. Bei der Repositionierung der ROI 12 wird in gewinnbringender Weise deren Weite durch die Varianz der Ergebniswerte der Prädiktion des Schätzverfahrens zur Parameterbestimmung gesteuert, wobei die Weite proportional zur Größe der Varianz der Ergebnisse angepaßt wird. Ebenfalls ist es von Vorteil die ROI 12 vertikal, anhand einer minimalen und einer maximalen Entfernung in der Straßenebene zu begrenzen. Dies ist besonders dann von Nutzen, wenn das erfindungsgemäße Verfahren bei Nacht verwandt wird. Hierbei wird in vorteilhafter Weise die vertikale Begrenzung der ROI 12 durch den Bereich der maximalen Beleuchtung (Fernlicht, Abblendlicht) bestimmt. Es ist denkbar, dass die Regelung über die Anzahl der zu erwartenden einer Fahrbahnmarkierung zugehörigen Bildpunkte gesteuert wird, wobei diese Regelung dann als optimal zu betrachten ist, wenn die Anzahl der zu erwartenden Bild- oder Meßpunkte über alle Entfernungsbereiche konstant gehalten wird.

Nach der Auswahl geeigneter ROI 12 wird in Verfahrensschritt 22 ein Matched-Filter eingesetzt, um die einer Fahrbahnmarkierung zugehörigen Bildpunkte (Pixel) besser aus dem Hintergrund hervorzuheben. Hierbei ist das Matched-Filter in vorteilhafter Weise an die Form und Größe der zu suchenden Fahrbahnmarkierung und/oder an die Statistik des Untergrundes anzupassen.

In besonders gewinnbringender Weise ist das Matched-Filter so ausgelegt, daß im Rahmen seiner Anwendung in der Umgebung der zu untersuchenden Position der mittlerer Grauwert des Hintergrundes gemessen wird, und dass auf das Vorliegen eines Bildpunktes, welcher potentiell einer Fahrbahnmarkierung zuzuordnen ist, auf Grundlage eines Vergleichs zwischen Hintergrundrauschen, dem mittleren Grauwert in der Umgebung und dem Grauwert an der zu untersuchenden Position geschlossen wird. Im allgemeinen wird das Filter hierzu in separierter Form, bei welcher die x-y-Komponenten getrennt vorliegend, implementiert. Es hat sich jedoch gezeigt, dass zum Auffinder von punktförmigen Fahrbahnmarkierungen in den meisten Fällen der Verarbeitungsaufwand reduziert werden kann, indem bei der Auswertung des Matched-Filters nur die x- Komponente betrachtet wird. Hierzu wird rechts und links einer zu untersuchenden Position der Mittelwert und die Standardabweichung gemessen. Überschreitet der Grauwert den Mittelwert der Intensität des Hintergrundes um mehr als den aus dem Rauschen des Hintergrundes und Schwellwertregler ermittelten Vergleichsschwelle, wird die Position als potentiell zu einer Fahrbahnmarkierung gehörend markiert.

Fig. 4 zeigt beispielhaft den Grauwertverlauf 40 über eine auszuwertende Bildzeile innerhalb der Bilddaten bzw. der ROI, wobei in diesem Ausführungsbeispiel nur die x-Komponenten betrachtet werden. Zur Auswertung des Bildpunktes 41 an der Stelle x₀ der Bildzeile werden sowohl dessen Intensität, als auch statistische Informationen von zwei gleich großen Bereichen S1 und S2, welche sich im Abstand d von x₀ aus befinden herangezogen. Der Abstand d wird in vorteilhafter Weise hierbei auf den Wert gesetzt, welcher durch das Schätzverfahren zur Parameterbestimmung im Verfahrensschritt 21 (Fig. 2) als zu erwartende Weite eines Elementes der Fahrbahnmarkierung prädiziert wurde. Es ist andererseits aber auch möglich den Abstand d im Rahmen des erfindungsgemäßen Verfahren auf einen festen Wert (z. B.: ein Erfahrungswert) zu setzten und so zu belassen. Die Größe der Bereiche S1 und S2 wird in gewinnbringender Weise identisch gewählt, wobei deren Abmessung nach Möglichkeit nicht größer sein sollte, als die prädizierte Weite eines Elementes der Fahrbahnmarkierung. Ist diese prädizierte Weite jedoch so gering, daß keine sinnvolle statistische Auswertung der in S1 beziehungsweise S2 enthaltenen Werte mehr möglich erscheint, können die Bereiche S1 beziehungsweise S2 auch größer gewählt werden. In der Praxis hat sich bei prädizierten Weiten der Elemente der Fahrbahnmarkierung von 2 Pixeln die Wahl von 5 Pixeln als Weite der Bereiche S1 und S2 als sinnvoll erwiesen.

Aus den Werten innerhalb Bereiche S1 und S2 werden sodann die Mittelwerte A1 bzw. A2 und die Standardabweichung σ1 bzw. σ2 berechnet. Die Standardabweichungen σ1 bzw. σ2 werden nachfolgend zur Berechnung der Schwellwerte T1 bzw. T2 herangezogen. Dabei ist es nun denkbar, in einem ersten Ansatz die Schwellwerte entsprechend dem dreifachen der jeweiligen Standardabweichung, also zu T1 = 3*σ1 und T2 = 3*σ2 gewählt. In besonders vorteilhafter Weise werden die so generierten Schwellwerte mittels eines Schwellwertreglers 25 eines nachfolgend näher beschriebenen Verfahrens noch korrigiert. Nach der Bestimmung der Schwellwerte T1 bzw. T2 und deren eventuellen Korrektur werden durch Addition von T1 und A1 bzw. von T2 und A2 die Stützstellen für die Vergleichsschwelle 42 berechnet. Hierbei wird gewinnbringend für die x-Position dieser Stützstellen die Mitte der Bereiche S1 und S2 gewählt. Nachfolgend kann nun an der Stelle x₀ der Wert 41 mit dem dortigen Wert der Vergleichsschwelle 42 verglichen werden und das Vergleichsergebnis erfindungsgemäß zur Identifikation von Elementen der Fahrbahnmarkierung herangezogen werden.

Die durch das Matched-Filter identifizierten und hervorgehobenen Bildpunkte (Pixel), welche Fahrbahnbegrenzungen zuzuordnen sind, werden den Verarbeitungsschritten 23, 24 und 25 binarisiert und zu Gruppen zusammengeführt. Bei der Binarisierung werden die Intensitäten der einzelnen Pixel mit einem Schwellwert verglichen werden und so die verglichenen Pixel nur dann zu einer Weiterverarbeitung herangezogen, wenn deren Intensitäten diesen Schwellwert übersteigt. In Fig. 3 wird der erfindungsgemäße Verfahrensabschnitt zur Binarisierung anhand eines Flußdiagramms verdeutlicht. Hierbei werden in vorteilhafter Weise die Schwellwerte T1 und T2 mittels eines Schwellwertreglers 25 aus dem Hintergrundrauschen ermittelt. Für diese Ermittlung ist es gewinnbringend, wenn der Schwellwertregler auf a priori Wissen über die zu erwartende, von der Fahrbahnbegrenzung belegten Fläche 35 zurückgreift, welche direkt mit der zu erwartende Anzahl von der Fahrbahnbegrenzung zuzuordnenden Bildpunkten (Pixel) korreliert. Auf diese Weise kann der Schwellwertregler 25 so ausgelegt werden, dass er darauf zielt die Anzahl der in den ROI 12 hervorgehobenen Bildpunkte möglichst exakt an diesen Erwartungswert heran zu führen. Nach der Hervorhebung von potentiell zu einer Fahrbahnmarkierung gehörigen Bildpunkten und deren eventuellen Binarisierung 33, werden diese in Verfahrensschritt 24 für die weitere Verarbeitung (beispielsweise innerhalb 35) zu Markierungsobjekten (Pixelgruppen) zusammengefaßt.

Nach der Generierung von Markierungsobjekten können diese innerhalb des Verfahrensschrittes 27 in Bezug auf ihre Übereinstimmung mit den bekannten, morphologischen Eigenschaften der Fahrbahnmarkierung untersucht werden. Hierbei werden in vorteilhafter Weise beispielsweise die Grösse der Markierungsobjekte, ihre Rundheit, die Streuung der einzelnen Bildpunkte (Pixel) oder die Anzahl von Freiräumen innerhalb der Markierungsobjekte (Kompaktheit) dahingehend beurteilt, ob sie die auf Grundlage des a priori Wissens über die morphologischen Eigenschaften der Fahrbahnmarkierung definierten Kriterien erfüllen. Auf Grundlage dieser Beurteilung wird jede Pixelgruppe, welche die Kriterien einer Fahrbahnmarkierung erfüllt, als ein tatsächliches Markierungsobjekt betrachtet und durch seine Bildkoordinaten charakterisiert wird. Hierbei können in vorteilhafte Weise als charakterisierende Bildkoordinaten die Koordinaten des Schwerpunktes der dem Markierungsobjekt zugeordnete Pixelgruppe gewählt werden.

Nach erfolgter Charakterisierung der Markierungsobjekte können die Bildkoordinaten verwendet werden, um mittels Kurvenregression die Grenzen der eigenen Fahrspur beziehungsweise den Verlauf der Fahrspur, sowie die eigene Position von der Fahrbahnmitte zu beschreiben. Es ist sodann besonders gewinnbringend diese Beschreibung dem verfahrensgemäßen Schätzverfahrens zur Parameterbestimmung (beispielsweise einem Kalman-Filter) zur Repositionierung der ROI innerhalb der Bilddaten zuzuführen.

Das erfindungsgemäße Verfahren ist selbstverständlich nicht auf die Erkennung von punktförmigen Fahrbahnmarkierungen beschränkt. Es ist damit beispielsweise auch möglich durchgezogene, linienförmige Fahrbahnmarkierungen zu erkennen, selbst wenn diese durch Alterung oder Abnutzung stark degradiert sind.

Claims

1. Verfahren zur Erkennung von Fahrbahnmarkierungen aus Bilddaten, dadurch gekennzeichnet, dass es die morphologischen Eigenschaften punktförmiger Fahrbahnmarkierungen auf Grundlage von a priori Wissen in Betracht zieht.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus der Gesamtheit der Bilddaten zur Verarbeitung Bereiche herausgetrennt werden, in welchen ausgehend von a priori Wissen mit hoher Wahrscheinlichkeit Fahrbahnmarkierungen enthalten (ROI, regions of interest).

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das a priori Wissen auf der Kenntnis der Kamerageometrie und/oder der Geometrie der Fahrspur und/oder den Dimensionen der Fahrbahnmarkierung und/oder der Fahrzeugposition basiert.

4. Verfahren nach 2 bis 3, dadurch gekennzeichnet, dass bei der Initialisierung des Verfahrens zur Erkennung von Fahrbahnmarkierungen per Zufallsfolge Modellparameter so lange variiert werden, bis Fahrspurmarkierungen gefunden werden.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Modellparameter die Breite der Fahrspur und/oder die Ausrichtung der Kamera zur Mitte der Fahrspur und joder der Gierwinkel des Fahrzeugs herangezogen werden.

6. Verfahren nach 2 bis 5, dadurch gekennzeichnet, dass zur Repositionierung bereits initialisierter ROI Parametervorhersagen eines Fahrzeug-Straße-Models auf Grundlage einer Prädiktion eines Schätzverfahrens zur Parameterbestimmung herangezogen werden.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Schätzverfahren zur Parameterbestimmung auf einem Kalman-Filter basiert.

8. Verfahren nach einem der Ansprüche b bis 7, dadurch gekennzeichnet, dass bei der Repositionierung der ROI deren Weite durch die Varianz der Ergebniswerte der Prädiktion des Kalman-Filters gesteuert wird, wobei die Weite proportional zur Größe der Varianz der Ergebnisse angepaßt wird.

9. Verfahren nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, dass die ROI vertikal, anhand einer minimalen und einer maximalen Entfernung in der Straßenebene, begrenzt werden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass, insbesondere bei Verwendung des Verfahrens bei Nacht, die vertikale Begrenzung der ROI durch den Bereich der maximalen Beleuchtung (Fernlicht, Abblendlicht) bestimmt wird.

11. Verfahren nach einem der Ansprüche 9 bis 10, dadurch gekennzeichnet, dass die Begrenzung über die Anzahl der zu erwartenden einer Fahrbahnmarkierung zugehörigen Bildpunkte geregelt wird und diese Regelung dann optimal ist, wenn die Anzahl der zu erwartenden Bildpunkte über alle Entfernungsbereiche konstant ist.

12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass zur Verarbeitung der aus den Bilddaten herausgetrennten Bereiche (ROI) ein Matched-Filter eingesetzt wird, um Bildpunkte (Pixel), welche Fahrbahnbegrenzungen zuzuordnen sind, hervorzuheben.

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das Matched-Filter an die Form und Größe der zu suchenden Fahrbahnmarkierung und/oder an die Statistik des Untergrundes angepaßt ist.

14. Verfahren nach einem der Ansprüche 12 bis 13, dadurch gekennzeichnet, dass das Matched-Filter in separierter Form, bei welcher die x-y-Komponenten getrennt vorliegen, implementiert wird.

15. Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass im Rahmen der Anwendung des Matched-Filters in der Umgebung der zu untersuchenden Position der mittlerer Grauwert des Hintergrundes gemessen wird, und dass auf das Vorliegen eines Bildpunktes, welcher potentiell einer Fahrbahnmarkierung zuzuordnen ist, auf Grundlage eines Vergleichs zwischen Hintergrundrauschen, dem mittleren Grauwert in der Umgebung und dem Grauwert an der zu untersuchenden Position geschlossen wird.

16. Verfahren nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass bei der Auswertung des Matched-Filters nur die x-Komponente ausgewertet wird.

17. Verfahren nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, dass nach der Hervorhebung der Bildpunkte (Pixel), welche Fahrbahnbegrenzungen zuzuordnen sind, diese binarisiert werden, wobei die Intensitäten der einzelnen Pixel mit einem Schwellwert verglichen werden und die Pixel nur dann zu einer Weiterverarbeitung herangezogen werden, wenn deren Intensitäten diesen Schwellwert übersteigen.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass der Schwellwert mittels eines Schwellwertreglers aus dem Hintergrundrauschen ermittelt wird.

19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass der Schwellwertregler auf a priori Wissen über die zu erwartende, von der Fahrbahnbegrenzung belegten Fläche zurückgreift, welche direkt mit der zu erwartende Anzahl von der Fahrbahnbegrenzung zuzuordnenden Bildpunkten (Pixel) korreliert, und wobei der Schwellwertregler darauf zielt die Anzahl der in den ROI hervorgehobenen Bildpunkte möglichst exakt an diesen Erwartungswert heran zu führen.

20. Verfahren nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass nach der Hervorhebung von potentiell zu einer Fahrbahnmarkierung gehörigen Bildpunkten und der eventuellen Binarisierung diese Bildpunkte für die weitere Verarbeitung zu Markierungsobjekten zusammengefaßt werden.

21. Verfahren nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass bei der Betrachtung der morphologischen Eigenschaften der Fahrbahnmarkierungen die Grösse der Markierungsobjekte (Pixelgruppen) und/oder die Rundheit der Pixelgruppen und/oder die Streuung der Pixel bzw. die Anzahl von Freiräumen innerhalb der Pixelgruppen (Kompaktheit) dahingehend beurteilt werden, ob sie die auf Grundlage des a priori Wissens definierten Kriterien einer Fahrbahnmarkierung erfüllen.

22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass jede Pixelgruppe, welche die Kriterien einer Fahrbahnmarkierung erfüllt, als ein tatsächliches Markierungsobjekt betrachtet und durch seine Bildkoordinaten charakterisiert wird.

23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass als charakterisierende Bildkoordinaten die Koordinaten des Schwerpunktes der dem Markierungsobjekt zugeordnete Pixelgruppe gewählt werden.

24. Verfahren nach einem der Ansprüche 20 bis 23, dadurch gekennzeichnet, dass die charakteristischen Bildkoordinaten der Markierungsobjekte verwendet werden, um mittels Kurvenregression die Grenzen der eigenen Fahrspur beziehungsweise den Verlauf der Fahrspur, sowie die eigene Position von der Fahrbahnmitte zu beschreiben, und dass diese Beschreibung einem Schätzverfahrens zur Parameterbestimmung (beispielsweise einem Kalman-Filter) bei der Repositionierung der ROI innerhalb der Bilddaten zugeführt wird.