DE102011086512A1

DE102011086512A1 - Verfahren zur Nebeldetektion

Info

Publication number: DE102011086512A1
Application number: DE102011086512A
Authority: DE
Inventors: Mario Pavlic
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2011-11-16
Filing date: 2011-11-16
Publication date: 2013-05-16
Anticipated expiration: 2031-11-17
Also published as: DE102011086512B4; CN104011737B; CN104011737A; US9384401B2; WO2013072231A1; US20140247968A1

Abstract

Ein Verfahren zur Detektion von Nebel mittels eines Kamerabildes oder eines Videobildes umfassend die Schritte: – Aufnahme eines zweidimensionalen Bildes mit zumindest einem Farbkanal oder mit mehreren Farbkanälen in Abhängigkeit von zwei unabhängigen Ortskoordinaten, – Bestimmung einer zweidimensionalen Graustufenfunktion für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle, die den Wert der Graustufe in Abhängigkeit der zwei unabhängigen Ortskoordinaten des zweidimensionalen Bildes festlegt, – Zweidimensionale Fouriertransformation der zweidimensionalen Graustufenfunktion in Abhängigkeit von zwei unabhängigen Frequenzkoordinaten.

Description

Die Erfindung betrifft ein Verfahren zur Detektion von Nebel mittels eines Kamerabilds oder eines Videobilds.
Das Auftreten von Nebel stellt eine wesentliche Beeinträchtigung des Personen- und Güterverkehrs am Boden, in der Luft und zur See dar. Moderne Fahrzeuge können deshalb mit automatisierten videobasierten Nebeldetektionssystemen ausgestattet werden, die mit verschiedenen Fahrerassistenzsystemen gekoppelt sein können.
Beispielsweise ist bei N.Hautiere et al. in "Automatic fog detection and estimation of visibility distance through use of an onboard camera", Machine Vision and Applications, Vol. 17, No. 1, pp. 8–20, January 2006, ein Ansatz zur videobasierten Nebeldetektion und Sichtweitenschätzung im Fahrzeug bei Tag beschrieben, der auch Gegenstand der Schrift FR 2835911 B ist. Dabei wird ein mit einer Frontkamera aufgenommenes Bild verarbeitet. Mit einem Region-Growing Ansatz wird ein Bildbereich extrahiert, der sowohl Teile der Fahrbahn als auch Teile des Himmels enthält. Innerhalb dieses Bereichs wird ein Messbereich definiert, welcher für jede Bildzeile den Median der Intensitätswerte enthält. Der (Intensitäts-)Verlauf von der untersten zur obersten Bildzeile dieses Messbereichs wird Intensitätsfunktion genannt. Der Wendepunkt der Intensitätsfunktion definiert eine Sichtweite, d.h. diejenige Bildzeile, oberhalb derer für den Fahrer keine Objekte mehr wahrnehmbar sind. Der Wendepunkt der Intensitätsfunktion ist durch diejenige Bildzeile definiert, oberhalb derer der Fahrer keine Objekte mehr erkennen kann. Über die perspektivische Projektion und unter der Annahme einer flachen Topographie kann für diese Bildzeile auf eine korrespondierende Sichtweite in Metern geschlossen werden. Befindet sich die den Wendepunkt aufweisende Bildzeile oberhalb des Bildmittelpunkts, so ergibt sich eine Sichtweite von unendlich, wodurch über dieses Verfahren auch das Vorhandensein von Nebel erkannt werden kann.
Allerdings wurde durch Hautiere et al. in „Perception through Scattering Media for Autonomous Vehicles", Autonomous Robots Research Advances, Nova Science Publishers, pp. 223–267, April 2008, selbst festgestellt, dass der ursprünglich verwendete Region-Growing Ansatz zur Extraktion der zu untersuchenden Bildregion, welche sowohl Teile der Straße als auch Teile des Himmels enthält, in vielen Verkehrssituationen unzureichende Ergebnisse liefert. Es ist nicht immer gewährleistbar, dass der Horizont in Form eines Übergangs von Fahrbahn zu Himmel vorhanden ist wie z.B. bei vorausfahrendem Verkehr oder bei bestimmten landschaftlichen Gegebenheiten.
Ein alternativer Ansatz wird von Bronte et al. in „Fog Detection System Based on Computer Vision Techniques", IEEE Intelligent Transportation Systems, pp. 1–6, October 2009, mit einem System zur Detektion von Nebel und zur Sichtweitenschätzung thematisiert. Hierbei werden in einem Kamerabild zwei angrenzende Regionen, ein Fahrbahnbereich und ein Himmelbereich, über einen Region-Growing Algorithmus extrahiert. Ferner wird der aktuelle Fluchtpunkt über Bildmerkmale berechnet. Im Fall einer Nebel-Szene ist der Himmelbereich, gemessen von der obersten Bildzeile, höher als der Fluchtpunkt. Über die Bildzeile, in welcher sich die beiden Regionen berühren, lässt sich die Sichtweite über die perspektivische Projektion und der Annahme einer flachen Topographie ermitteln. Um Fehldetektionen zu vermeiden ist dem Algorithmus zudem ein schwellwertbasierter „Nicht-Nebel Detektor“ vorangestellt. Dieser erkennt anhand der Summe der auftretenden Gradientenbeträge innerhalb der oberen Bildhälfte, ob eine ausreichende Verunschärfung im Bild vorhanden ist, um eine Sichtweitenschätzung durchzuführen. Da die Sichtweitenschätzung basierend auf einem einzelnen Bild sehr unzuverlässig ist, d.h. zeitlich betrachtet über mehrere aufeinanderfolgende Bilder starken Schwankungen unterworfen ist, wird eine Median-Bildung über eine feste Zeitperiode durchgeführt.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Detektion von Nebel mittels eines Kamerabilds oder eines Videobilds zu beschreiben.
Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Das erfindungsgemäße Verfahren umfasst die folgenden Schritte: Zunächst wird eine Aufnahme eines zweidimensionalen Bildes mit zumindest einem Farbkanal oder mehreren Farbkanälen erstellt und für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle ein Grauwertbild erstellt, wobei der Wert der Graustufe von zwei unabhängigen Ortskoordinaten als zweidimensionale Graustufenfunktion abhängig ist.
Die Graustufenfunktion wird anschließend zweidimensional fouriertransformiert, wobei die Fouriertransformierte im Frequenzraum von zwei unabhängigen Frequenzkoordinaten abhängig ist.
Bei diesem Verfahren wird der Umstand genutzt, dass bei Aufnahme eines Grauwertbildes einer Szene bei Nebel die Intensitätsunterschiede bzw. Grauwertgradienten benachbarter Punkte mit zunehmend dichterem Nebel kleiner sind als bei Aufnahme eines Grauwertbildes der gleichen Szenerie ohne Nebel. Bei dem Bild ohne Nebel sind deutlich schärfere Kanten und höhere Kontraste erkennbar als bei der Einstellung mit Nebel. Beispielsweise verschwimmt eine weiße Fahrbahnmarkierung auf einer Asphaltdecke bei Nebel, während diese bei Sonnenschein scharf konturiert zu erkennen ist.
Eine Fouriertransformation beispielsweise einer eindimensionalen Stufenfunktion liefert im Frequenzraum auch bei hohen Frequenzen von Null verschiedene Beiträge, die beispielsweise bei der Fourieranalyse einer eindimensionalen Gauss’schen Glockenkurve verschwinden.
Die Fouriertransformation bietet also den Vorteil, dass im Frequenzraum der „Grad“ des Auftretens von Nebel skaliert ist: Bei Nebel ist der Betrag der Fouriertransformierten um den Nullpunkt der Frequenzkoordinaten konzentriert, bei Sonnenschein liefert die Fouriertransformation vermehrt Beiträge bei betragsmäßig hohen Werten der beiden Frequenzkoordinaten. Somit ist das erfindungsgemäße Verfahren besonders vorteilhaft, um Nebel anhand von Kamera- oder Videostandbildern zu detektieren.
Ein Bild in schwarz-weißer Darstellung basiert auf einem einzigen Farbkanal. Hingegen liegen einem Bild in Farbe üblicherweise drei Farbkanäle zugrunde – ein Rotkanal, ein Grünkanal und ein Blaukanal. Jedem Kanal des Bildes kommt eine Intensitätsverteilung zu, die als Grauwertbild darstellbar ist.
Nach einer bevorzugten Variante des Verfahrens wird das zweidimensionale Graustufenbild normiert.
Eine Normierung des Graustufenbildes bietet den Vorteil, dass lokale Bildregionen z.B. durch Beleuchtungs- und Belichtungseffekte möglichst egalisiert werden. Die Normierung kann durch geeignete Filter wie isotrope Hochpass- und Tiefpassfilter erreicht werden. Die Normierung beugt der Dominanz einiger Bildregionen im Leistungsspektrum vor. Als Beispiel ist etwa Schattenwurf auf einer an sich homogenen Fläche zu nennen, dessen Einfluss durch die Normierung reduzierbar ist.
Weiterhin wird das Betragsquadrat der Fouriertransformierten berechnet, das als Leistungsspektrum bezeichnet wird. Am Leistungsspektrum wird im zweidimensionalen Frequenzraum eine digitale Bildverarbeitung durchgeführt.
Nach einer bevorzugten Ausführungsform der Erfindung wird das Leistungsspektrum mit einer Schar von Gaborfiltern analysiert. Dabei wird das Leistungsspektrum mit jedem einzelnen Gaborfilter der Schar von Gaborfiltern über dem zweidimensionalen Frequenzraum gefiltert und das Ergebnis der Filterung wird als Gabormerkmal bezeichnet.
Das Leistungsspektrum wird mit einer punksymmetrischen Schar von Gaborfiltern im zweidimensionalen Frequenzraum „abgetastet“. Dies bedeutet, dass die Bildmenge des Leistungsspektrum auch als Bildmenge für die Schar der Gaborfilter dient. Jeder einzelne Gaborfilter, dessen Bildbereich und dessen Wertebereich im Frequenzraum durch seine Skalierung und Orientierung festgelegt ist, wird mit dem Leistungsspektrum gefaltet. Der Faltungswert wird als Gabormerkmal bezeichnet. Auf diese Weise wird jedem Gaborfilter ein Gabormerkmal zugeordnet und der Beitrag des Leistungsspektrums in verschiedenen Frequenzbereichen des Frequenzraumes quantitativ messbar gemacht.
Zusätzlich werden die Gabormerkmale mit einer vorbestimmten Gewichtungsfunktion multipliziert, um einen Nebelindikator zu berechnen. Der Nebelindikator wird mit einem vorbestimmten Schwellwert verglichen. Durch den Vergleich wird einer Binärvariable ein vorbestimmter Wert für „Nebel“ oder ein anderer vorbestimmter Wert für „Kein Nebel“ mit einem Konfidenzmaß zugeordnet.
Dies bedeutet, dass das Verfahren mit einem Vertrauensmaß die Information „Nebel“ oder „Kein Nebel“ bereitstellt.
Außerdem ist es vorteilhaft, wenn die vorbestimmte Gewichtsfunktion und der vorbestimmte Schwellwert anhand von empirischen Lerndaten ermittelt werden.
Daraus geht hervor, dass das Verfahren in der Entwicklung, d.h. bevor es der bestimmungsgemäßen Verwendung zugeführt ist, mit Lern- und Trainingsdaten empirisch validiert wird. Hierzu kann anhand von Testaufnahmen mit Sichtweitenschätzung eine objektivierte Nebelklassifikation der Aufnahmen vorgenommen werden, um das Verfahren anhand dieser Daten zu evaluieren.
Nach einer alternativen Variante der vorliegenden Erfindung kann anhand der Gabormerkmale eine Merkmalsreduktion mit einer Hauptkomponentenanalyse durchgeführt werden. Die reduzierten Merkmale werden als Hauptgabormerkmale bezeichnet.
Eine Hauptkomponentenanalyse bietet den Vorteil, dass die Gabormerkmale anhand von Trainingsdaten statistisch auf deren Relevanz untersuchbar sind. Dies ermöglicht ein ressourcenschonendes Management von Rechenleistung bei der bestimmungsgemäßen Verwendung des Verfahrens.
Nach einer weiteren Variante der vorliegenden Erfindung kann auf das Leistungsspektrum eine Merkmalsreduktion mit Hauptkomponentenanalyse unterzogen werden. Die reduzierten Merkmale werden als Hauptmerkmale bezeichnet.
Bei der digitalen Bildverarbeitungsmethode der Hauptkomponentenanalyse wird jeder Pixelwert des Leistungsspektrums im Frequenzraum als ein einzelnes Merkmal betrachtet. Auf Basis dieser Merkmale wird durch die Hauptkomponentenanalyse eine Merkmalsreduktion vorgenommen. Alternativ kann eine Stützvektorenmethode im Frequenzraum verwendet werden.
Nach einer weiteren Ausführungsform der Erfindung werden die Gabormerkmale, die Hauptgabormerkmale oder die Gabormerkmale klassifiziert. Die Klassifikation wird mit einem linearen Klassifikator oder einem nichtlinearen Klassifikator durchgeführt. Bei der Klassifikation werden der Klassifikationsvariablen, die mit dem Auftreten und optional zusätzlich der Dichte von Nebel korreliert, ein Wert und ein Konfidenzmaß zugeordnet.
Hier können beispielsweise die dem Fachmann für digitale Bildverarbeitung bekannte lineare Diskriminantenanalyse oder die Stützvektorenmethode eingesetzt werden. Letztlich gibt das Klassifikationsverfahren eine Klassenzugehörigkeit wie „Nebel“ oder „Kein Nebel“ als Information aus. Diese Klassenzugehörigkeit kann auch mit einem Konfidenzmaß versehen sein.
Besonders vorteilhaft ist es, wenn in einem Fahrzeug, das ein Steuergerät, ein Kamera- oder Videosystem und zumindest ein Fahrerassistenzsystem umfasst, das Verfahren zur Detektion von Nebel von dem Kamera- oder Videosystem und von dem Steuergerät in Echtzeit ausgeführt wird und die Klassenzugehörigkeit an das zumindest eine Fahrerassistenzsystem übermittelt wird. Das Fahrerassistenzsystem des Fahrzeugs kann dem Fahrer bei „Nebel“ eine Warnung ausgeben. Alternativ oder zusätzlich ist das Fahrerassistenzsystem in einer für „Nebel“ spezifizierten Konfiguration betreibbar. Dadurch kann ein direkter Beitrag zur aktiven Sicherheit im Straßenverkehr geleistet werden.
Echtzeit bedeutet in diesem Zusammenhang, dass die Information der Klassenzugehehörigkeit von dem Verfahren innerhalb eines Zeitfensters ermittelbar ist, das zeitlich kürzer ist als die inverse Aufnahmefrequenz der Grauwertbilder des Kamera- oder Videosystems.
Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch
1 Verfahrensschritte zur Detektion von Nebel
2a Grauwertbild bei freier Sicht
2b Leistungsspektrum bei freier Sicht
3a Grauwertbild bei Nebel
3b Leistungsspektrum bei Nebel
Aus 1 sind einzelne Verfahrensschritte eines Verfahrens zur Detektion von Nebel in einem Fahrzeug dargestellt. Das Fahrzeug verfügt über ein Kamera- und/oder Videosystem, welches beispielsweise im Bereich des Fahrerrückspiegels in Fahrtrichtung des Fahrzeugs montiert ist. Zur Detektion von Nebel scheint ein kamera- bzw. videobasierte Ansatz sehr vielversprechend, da damit die menschliche Wahrnehmung im Fahrzeug sehr gut nachbildbar ist. So finden sich nach dem Stand der Technik häufig Kameras im Fahrzeug, welche im Bereich des Rückspiegels in Fahrtrichtung angebracht sind, um eine Fahrsituation möglichst so zu erfassen, wie sie der Fahrer erlebt. Das Kamera- und/oder Videosystem weist eine Datenschnittstelle zu einem Steuergerät des Fahrzeugs auf. Ferner umfasst das Fahrzeug mehrere Fahrerassistenzsysteme wie etwa ein Warnsystem, das den Fahrer auf eine bestehende Geschwindigkeitsbegrenzung hinweist, oder ein Schaltassistent zum automatischen Ein-/Ausschalten des Nebellichts oder der Nebelschlussleuchte. Die Fahrerassistenzsysteme verfügen ebenfalls über eine Datenschnittstelle zu dem Steuergerät.
In einem ersten Schritt wird zur Detektion von Nebel mit dem Kamera- oder Videosystem ein Bild von der äußeren Umgebung des Fahrzeugs erstellt. Idealerweise erfasst das Bild die auf das Fahrzeug zukommende Verkehrssituation während der Fahrt. Das Bild wird als zweidimensionales Graustufenbild in Abhängigkeit von zwei unabhängigen Ortskoordinaten x und y erfasst. Ohne Beschränkung der Allgemeinheit wird von einem schwarz-weiß Bild mit einem Farbkanal ausgegangen. Der Graustufenwert wird dabei als i(x, y) angegeben. Das Graustufenbild kann zusätzlich ein quadratischer Ausschnitt des aufgenommenen Kamerabildes sein, so dass die Anzahl der Pixel bezüglich der Bildbreite und der Bildhöhe des Graustufenbildes jeweils gleich sind.
Ein Graustufenbild geht beispielsweise aus 2a bei freier Sicht, d.h. bei nebelfreier Witterung, und aus 3a bei Nebel hervor. Die Bilder in 2a und 3a sind exemplarisch graphisch angegeben. Das Verfahren verarbeitet das Bild als einen Datensatz, der nicht notwendigerweise graphisch angezeigt werden muss.
Das Graustufenbild wird in einem weiteren Schritt, der als Vorfilterung oder Normierung bezeichnet wird, unterzogen. Das vorgefilterte Graustufenbild wird als i'(x, y) bezeichnet. Die Vorfilterung besteht aus einer lokalen Normierung der Varianz der Intensitätswerte:
Dabei beschreibt g(x, y) einen isotropen Gauss’schen Tiefpassfilter und h(x, y) = 1 – g(x, y) einen entsprechenden Hochpassfilter. Der Operator * kennzeichnet den Faltungsoperator. Der Zähler ist ein Hochpassfilter, welcher das Bild mittelwertbefreit. Der Nenner verhält sich ähnlich einem lokalen Schätzer der Varianz im Eingangsbild. Der Parameter ε ist eine Konstante, welche eine Verstärkung des Rauschens in konstanten Bildregionen, wie z.B. der Fahrbahn oder dem Himmel abschwächt. Die Vorfilterung dient der Reduzierung von Beleuchtungseffekten und beugt der Dominanz mancher Bildregionen im Betragsspektrum vor. Der Effekt der Vorfilterung ist z.B. bei Sonneneinstrahlung wirkungsvoll. Bei Sonneneinstrahlung entstehen unterschiedliche Beleuchtungseffekte durch inhomogene Beleuchtung wie Schattenwurf und ein unterschiedlicher Grauwertverlauf auf ursprünglich homogegen Flächen. Durch die Vorfilterung werden solche Beleuchtungseffekte ausgeglichen.
In einem weiteren Schritt in 1 wird das Graustufenbild zweidimensional fouriertransformiert (FFT in 1). Das fouriertransformierte Bild, folgend auch Fouriertransformierte genannt, wird als I(f_x, f_y) bezeichnet. Der zweidimensionale Frequenzraum ist durch f_x und f_y gegeben.
Die Fouriertransformation ist als
gegeben.
Vor der Fouriertransformation kann das Bild optional mit einer zweidimensionalen Fensterfunktion multipliziert werden, um breitbandige Signalanteile entlang der Koordinatenachsen zu unterdrücken. Diese entstehen durch die implizite Annahme eines periodisch fortgesetzten Signals bei der folgenden Fouriertransformation nichtperiodischer Signale (sogenannter Leck-Effekt). Als Fensterfunktion kann z.B. das bekannte Hanning Fester verwendet werden.
Bei mehreren Farbkänalen wird in analoger Weise für jeden Farbkanal eine Fouriertransformierte erhalten.
In einem weiteren Schritt wird das Betragsquadrat Γ(f_x, f_y) der Fouriertransformierten nach Γ(f_x, f_y) = |I(f_x, f_y)|² ebildet. Γ(f_x, f_y) wird als Leistungsspektrum bezeichnet.
2b zeigt ein Leistungsspektrum in graphischer Ausgabe. Das Leistungsspektrum in 2b wurde nach dem geschilderten Verfahren aus 2a gebildet. Entsprechendes gilt für 3b, das aus 3a gebildet wurde. Beide Darstellungen sind derart gewählt, dass im Mittelpunkt des Bildes der Nullpunkt der beiden Frequenzachsen f _x und f_y liegt und die einzelnen Werte in logarithmischer Darstellung abgebildet sind. Diese Art der Darstellung dient ausschließlich der Visualisierung und einem eingängigen Verständnis des Verfahrens. Es ist deutlich erkennbar, dass das Spektrum bei Nebel (3b) im Frequenzraum überwiegend punksymmetrisch um den Mittelpunkt konzentriert ist. Dagegen liefert das Spektrum bei Nebelfreiheit (2b) deutlich mehr Beiträge im gesamten Frequenzraum, die durch Helligkeitseindrücke auch im Randbereich der Abbildung erkennbar sind.
Das Leistungsspektrum enthält eine Information über das Auftreten von Nebel und über die Dichte des Nebels. Dabei wird der Umstand zunutze gemacht, dass die Aufnahme eines Grauwertbildes einer Szene bei Nebel die Intensitätsunterschiede bzw. Grauwertgradienten benachbarter Punkte mit zunehmend dichterem Nebel kleiner sind als bei Aufnahme eines Grauwertbildes der gleichen Szenerie ohne Nebel. Bei dem Bild ohne Nebel sind deutlich schärfere Kanten und höhere Kontraste erkennbar als bei der Einstellung mit Nebel. Beispielsweise verschwimmt eine weiße Fahrbahnmarkierung auf einer Asphaltdecke bei Nebel, während diese bei Nebelfreiheit scharf konturiert zu erkennen ist.
Eine Fourieranalyse beispielsweise einer eindimensionalen Stufenfunktion liefert im Frequenzraum auch bei hohen Frequenzen von Null verschiedene Beiträge, die aber beispielsweise bei der Fourieranalyse einer eindimensionalen Gauss’schen Glockenkurve verschwinden. Dementsprechend ist das Graustufenbild bei Nebel im zweidimensionalen Frequenzraum auf niedrigere Werte der Frequenzparameter f_x und f_y beschränkt.
Die weiteren Schritte des Verfahrens nach 1 sind mit der Aufgabe verbunden, ein Leistungsspektrum mittels digitaler Bilderverarbeitungsmethoden zu modellieren, um anhand der unterschiedlichen Form bei Bildern aus Szenen mit und ohne Nebel eine Klassifizierung durchführen zu können. Zum Beispiel ist es möglich, einen linearen Klassifikator basierend auf der Linearen Diskriminantenanalyse zu verwenden. Die Bildmerkmale des Leistungsspektrums werden dabei einer zweistufigen Merkmalsreduktion mit einer „Abtastung“ über eine Gabor-Filterbank und anschließender Hauptkomponentenanalyse unterzogen.
Die zweistufige Merkmalsreduktion der Fouriertransformierten wird durch eine „Abtastung“ des Leistungsspektrums im Frequenzbereich mit Hilfe eine Gabor-Filterbank vorgenommen (Gabor-Filterbank in 1) nach: g_i = ∑∑Γ(f_x, f_y)G_i(f_xf_y) i = 1,... K,
Die Gabor Filterbank besteht dabei aus K Gabor-Filtern, wobei ein Gabor-Filter als
einer spezifischen Skalierung (σ_x,i, σ_y,i) und spezifischen Orientierung θ_i ausgeführt ist. Bei einer Anzahl von beispielsweise K = 60 Gabor-Filtern gehen aus der Merkmalsreduktion 60 Merkmale g_i hervor, die folgend als Gabormerkmale bezeichnet werden. Bei mehreren Farbkanälen gilt dies für jeden Farbkanal analog. Bei z.B. drei Farbkanälen würden somit 180 Gabormerkmale erzielt.
Die zweite Stufe der Merkmalsreduktion erfolgt anhand der Hauptkomponentenanalyse. Hierzu wird eine Auswahl von M Bildern als Trainingsdaten (siehe „Trainingsdaten“ in 1) benutzt, welche als Szenen mit Nebel oder als Szenen ohne Nebel bekannt sind und für welche die Gabormerkmale berechnet sind. Idealerweise werden dabei M/2 Bilder aus Szenen mit Nebel und M/2 Bilder aus Szenen ohne Nebel gewählt. Zunächst wird anhand der Gabormerkmale aller dieser M Bilder der mittlere Gabormerkmalsvektor berechnet:
Ferner wird die Kovarianzmatrix C aus den mittelwertbefreiten Gabormerkmalsvektoren Φ → berechnet:
Die Eigenvektoren der Kovarianzmatrix sind die Hauptkomponenten. Durch die Eigenwertanalyse V^–1CV = D enthält die Diagonalmatrix D die Eigenwerte und in den Spalten der Matrix V = [v →₁v →₂... v →_K] die korrespondierenden Eigenvektoren. Somit sind D und V derart sortierbar, dass die Eigenwerte auf der Hauptdiagonalen der Diagonalmatrix in absteigender Reihenfolge vorliegen. Zur Merkmalsreduktion werden die ersten N,N < K Eigenvektoren gewählt und in der Matrix W = [v →₁v →₂... v →_N] zusammengefasst. N kann dabei etwa so gewählt werden, dass z.B.
gilt. Der reduzierte Merkmalsvektor ω → bestimmt sich schließlich über ω → = W^T(g → – Ψ →) aus dem ursprünglichen, z.B. Gabor-Merkmalsvektor g → und dem mittleren Merkmalsvektor Ψ →. Die reduzierten Merkmalsvektoren der Leistungsspektren der Trainingsdaten sind also dazu nutzbar, einen Klassifikator zu trainieren (siehe Klassifikator in 1). Mittels des trainierten Klassifikators ist das Leistungsspektrum des Bildes einer Szene in eine Szene mit Nebel oder eine Szene ohne Nebel oder eine Szene mit Zwischenstufen zwischen Nebel und ohne Nebel kategorisierbar.
Ein Klassifikator wird beispielshaft als linearer Klassifikator, basierend auf der Linearen Diskriminantenanalyse, beschrieben:
Beim linearen Klassifikator ist über das Skalarprodukt aus Merkmalsvektor ω → und Gewichtsvektor d → die Entscheidungsvariable u bestimmbar
Über einen Schwellwert c ist somit eine Klassenzugehörigkeit bestimmbar (siehe „Ausgabe“ in 1) zu
wobei 1 = „Nebel“ und 0 = „Kein Nebel“.
Hierbei steht z.B. „1“ für ein Bild aus einer Szene mit Nebel und „0“ für ein Bild aus einer Szene ohne Nebel. Neben der binären Klassifizierung liefert dieses Verfahren zudem ein Konfidenzmaß in Form einer Entscheidungsvariable. Mit steigendem Konfidenzmaß steigt die Genauigkeit der Ausgabe des Klassifikators über die Klassenzugehörigkeit. Auch der Gewichtsvektor als auch den Schwellwert sind anhand von Trainingsdaten (siehe „Trainingsdaten“ in 1) zu lernen.
Der Schritt „Trainingsdaten“ in 1 ist als besonderer Schritt dahingehend zu verstehen, dass das „Trainieren“ des Klassifikators zeitlich nicht während des Ablaufs des Verfahrens erfolgt (gestrichelte Darstellung in 1). Das Trainieren des Klassifikators dient der Konfiguration des Klassifikators und erfolgt zeitlich vor der Anwendung des Verfahrens, z.B. in der Entwicklung und Implementierung des Verfahrens.
Das Trainieren des Gewichtsvektors und des Schwellwerts kann mittels Linearer Diskriminantenanalyse erfolgen. Bei der Linearen Diskriminantenanalyse wird der Gewichtsvektor über die Kovarianzmatrix T der Merkmalsvektoren und die mittleren Merkmalsvektoren von Bildern aus Szenen mit Nebel und Bildern aus nebelfreien Szenen m →₁ und m →₂ gelernt mit d → = T^–1(m →₁ – m →₂) und T = {ω → – m →)(ω → – m →)^T}.
Dabei steht E{ } für den Erwartungswert-Operator und
für den mittleren Merkmalsvektor aller Trainingsdaten. Dabei wird vorausgesetzt, dass eine ausreichende Menge an Trainingsdaten M, d.h. Bildern mit Nebelszenen und Bildern mit nebelfreien Szenen, vorhanden sind. Idealerweise liegt für beide Klassen die gleiche Anzahl an Bildern vor. Anhand des so ermittelten Gewichtsvektors ist für jede Klasse die mittlere Entscheidungsvariable ( u ₁, u ₂) sowie deren Standardabweichung (σ₁, σ₂) ermittelbar und somit die Normalverteilung N( u , σ) der Entscheidungsvariablen einer Klasse aufstellbar. Der Schwellwert ist somit über den Schnittpunkt der Normalverteilungen bestimmbar c = N( u ₁, σ₁) ∩ N( u ₂, σ₂).
Das Verfahren nach 1 ist in Realzeit durchführbar. Liefert das zur Bildaufnahme verwendete Kamerasystem beispielsweise 15 Bilder pro Sekunde, steht pro Bild eine maximale Bearbeitungszeit von etwa 66 ms zur Verfügung. Die eine Verarbeitung von Daten betreffenden Schritte des Verfahrens sind mit einer gängigen Programmiersprache z.B. C++ auf einem Fahrzeugsteuergerät implementierbar. Realzeit des Verfahrens ist dann gegeben, wenn eine Abfolge der Schritte nach 1 von der Aufnahme des Bildes bis zur Ausgabe innerhalb der maximalen Bearbeitungszeit erfolgt.
Die von dem Verfahren ausgegebene Information kann ein Fahrerassistenzsystem übermittelt werden. Optional kann dem Fahrer bei erkanntem Nebel eine akustische, optische oder haptische Warnung ausgegeben werden.
Für verschiedene Anwendungen bei Fahrerassistenzsystemen kann eine Nebeldetektion nach dem beschriebenen Verfahren vorteilhaft sein. Anwendungen nach dem Stand der Technik, welche eine Frontkamera nutzen sind z.B. der Spurhalteassistent (Lane Departure Warning, LDW, die Speedlimit Information, SLI, oder der Fernlicht Assistent, FLA).
Es besteht die Möglichkeit, den Fahrer auf eine Geschwindigkeitsbegrenzung aufmerksam zu machen. Laut deutscher Straßen-Verkehrsordnung (StVO), §3, Abs. 1, hat der Fahrer seine Geschwindigkeit den Sichtverhältnissen anzupassen. Beträgt die Sichtweite durch Nebel, Schneefall oder Regen weniger als 50 m, so darf nach Straßenverkehrsordnung der BRD nicht schneller als 50 km/h gefahren werden. Diese Geschwindigkeitsbegrenzung ist aufgrund des zeitlich begrenzten und lokalen Charakters sowie aufgrund von infrastrukturellen Gegebenheiten nicht immer explizit in Form von Beschilderungen ausgewiesen. Aufgrund dieser gesetzlichen Regelung und der Tatsache, dass laut statistischem Bundesamt viele Verkehrsunfälle auf überhöhte Geschwindigkeit zurückzuführen sind, ist es vorteilhaft, den Fahrer auf die geltenden Geschwindigkeitsregelungen hinzuweisen. Dies könnte z.B. in Form einer Speedlimit Information (SLI) umgesetzt werden, wie es bei expliziten Geschwindigkeitsbegrenzungen heute bereits verfügbar ist. Damit der Fahrer den impliziten Charakter der Geschwindigkeitsbegrenzung erkennt, könnte zusätzlich zur Geschwindigkeitsbegrenzung auch das in Deutschland übliche Schild für den Hinweis auf Sichtbehinderung beispielsweise im Kombiinstrument eingeblendet werden. Ferner kann ein automatisches Ein-/Ausschalten des Nebellichts bzw. der Nebelschlussleuchte von der Ausgabe des Verfahrens zur Nebeldetektion abhängig gemacht werden. Laut StVO, §17, Abs. 3 dürfen nur bei Sichtbehinderung durch Nebel, Schneefall oder Regen Nebelscheinwerfer verwendet werden, die Nebelschlussleuchte darf zudem nur eingeschaltet werden, wenn die Sichtweite weniger als 50 m beträgt. Häufig vergessen Verkehrsteilnehmer jedoch die Nebelschlussleuchte wieder auszuschalten, worauf z.B. der deutsche Automobil-Verein ADAC hinweist. Dadurch können nachfolgende Verkehrsteilnehmer geblendet werden. Ist das Fahrzeug in der Lage, automatisiert dichten Nebel zu detektieren, so kann Abhilfe durch ein automatisches Ein- bzw. Ausschalten der Nebelscheinwerfer und der Nebelschlussleuchte geschaffen werden. Eine automatische Lichtschaltung ist nach dem Stand der Technik z.B. beim Abblendlicht in aktuellen Fahrzeugen vorzufinden.
Ein weiterer vorteilhafter Effekt ergibt sich bei Übermittlung der Ausgabe an einen automatischen Abstandstempomaten. Der automatische Abstandstempomat (ACC, Active Cruise Control) ist ein Fahrerassistenzsystem, das eine abstandsabhängige Geschwindigkeitsregelung durchführt. Bei Verwendung dieses Systems ist durch den Fahrer eine Wunschgeschwindigkeit und ein Abstand zu einem Zielobjekt einstellbar. Obwohl als Sensorsystem meist ein Radar eingesetzt wird, welches durch Nebel keinen Einschränkungen unterworfen ist, kann es sinnvoll sein, bei dichtem Nebel den minimal einstellbaren Abstand zu erhöhen.
Weiterhin kann die Ausgabe des Verfahrens zur Strategieanpassung des Fernlichtassistenten genutzt werden. Der Fernlichtassistent (FLA) ist ein kamerabasiertes Fahrerassistenzsystem, welches den Fahrer beim Ein- und Ausschalten des Fernlichts bei Nacht unterstützt. Erkennt das System, dass das Fahrzeug in einer nicht ausreichend beleuchteten Umgebung befindlich ist (z.B. außerhalb einer geschlossenen Ortschaft) und kein vorausfahrendes oder entgegenkommendes Fahrzeug vorhanden ist, so wird das Fernlicht eingeschaltet. Im Fall von dichtem Nebel wird der Fahrer jedoch beim Einschalten des Fernlichts durch die Reflektion der Lichtstrahlen an den Aerosolen geblendet. Mit der Information über das Vorhandensein von dichtem Nebel ist die Strategie des FLA insofern anpassbar, dass bei Nebel ausschließlich Abblendlicht einstellbar ist.
Die Ausgabe des Nebeldetektionsverfahrens ist für eine wetterbedingte Verkehrslageerfassung via xFCD (Extended Floating Car Data) nutzbar. Der abrupte Übergang von guten Sichtverhältnissen zu einer stark eingeschränkten Sichtweite durch Nebel stellt eine lokale Gefahr für den Fahrer dar. Zur Erhöhung der Verkehrssicherheit ist es wünschenswert, solche Ereignisse zu Erfassen und betroffene Verkehrsteilnehmer gezielt zu warnen. Dies ist jedoch aufgrund des dynamischen Charakters solcher Ereignisse, bezogen auf deren Ausprägung und Lokalität, mit stationären Messsystemen kaum zuverlässig möglich. Zur Lösung dieses Problems wird der Ansatz von xFCD zur Informationsgewinnung verfolgt. Dabei werden Fahrzeuge als mobile Messstationen eingesetzt. Eine Verkehrslageerfassung, welche neben infrastrukturellen Daten xFCDs als weitere Informationsquelle verwendet, liefert eine präzisere Darstellung des aktuellen Wettergeschehens. Dabei werden xFCD Meldungen zentral gesammelt, mit infrastrukturellen Informationen fusioniert und gegebenenfalls an betroffene Verkehrsteilnehmer, z.B. in Form von TPEG Meldungen, ausgegeben. Fahrzeuge mit Nebeldetektion können hier einen Beitrag zur Verbesserung der Erfassung des Wettergeschehens bezüglich des Auftretens von Nebel leisten.
Außerdem ist es vorteilhaft, die Ausgabe des Nebeldetektionsverfahrens mit weiteren videobasierten Systemen des Fahrzeugs, etwa ein Rückfahrkamerasystem, funktional zu verbinden. Durch das Auftreten von Nebel werden vor allem in videobasierten Systemen Degradationen der erfassten Datenqualität und des erfassten Informationsgehalts bedingt. Bei detektiertem Nebel sind an Nebel angepasste Bildverarbeitungsalgorithmen anwendbar, die Bildinformationen durch Bildrestaurierung oder Kontrasterhöhung vorverarbeiten, um dem Fahrer ein klareres Bild anzuzeigen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

FR 2835911 B [0003]

Zitierte Nicht-Patentliteratur

N.Hautiere et al. in “Automatic fog detection and estimation of visibility distance through use of an onboard camera”, Machine Vision and Applications, Vol. 17, No. 1, pp. 8–20, January 2006 [0003]
Hautiere et al. in „Perception through Scattering Media for Autonomous Vehicles“, Autonomous Robots Research Advances, Nova Science Publishers, pp. 223–267, April 2008 [0004]
Bronte et al. in „Fog Detection System Based on Computer Vision Techniques“, IEEE Intelligent Transportation Systems, pp. 1–6, October 2009 [0005]

Claims

Verfahren zur Detektion von Nebel mittels eines Kamerabildes oder eines Videobildes, umfassend die Schritte: – Aufnahme eines zweidimensionalen Bildes mit zumindest einem Farbkanal oder mit mehreren Farbkanälen in Abhängigkeit von zwei unabhängigen Ortskoordinaten, – Bestimmung einer zweidimensionalen Graustufenfunktion für den zumindest einen Farbkanal oder für jeden der mehreren Farbkanäle, die den Wert der Graustufe in Abhängigkeit der zwei unabhängigen Ortskoordinaten des zweidimensionalen Bildes festlegt, – Zweidimensionale Fouriertransformation der zweidimensionalen Graustufenfunktion in Abhängigkeit von zwei unabhängigen Frequenzkoordinaten.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass – das zweidimensionale Graustufenbild normiert wird, – die Normierung Intensitätsgradienten der Graustufen mittels eines Tiefpassfilters und mittels eines Hochpassfilters ausgleicht.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass – das Betragsquadrat der Fouriertransformierten, welches als Leistungsspektrum bezeichnet wird, berechnet wird, – das Leistungsspektrum mittels digitaler Bildverarbeitung ausgewertet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass – das Leistungsspektrum mit einer Schar von Gaborfiltern analysiert wird, – das Leistungsspektrum mit jedem Gaborfilter der Schar von Gaborfiltern über dem zweidimensionalen Frequenzraum gefiltert wird und das Filterergebnis als Gabormerkmal für diesen Gaborfilter bezeichnet wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass – die Gabormerkmale merkmalsreduziert werden, – die Merkmalsreduzierung mittels einer Hauptkomponentenanalyse auf reduzierte Gabormerkmale durchgeführt wird.
Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass – die Gabormerkmale oder die merkmalsreduzierten Gabormerkmale mit einer vorbestimmten Gewichtungsfunktion multipliziert werden, um einen Nebelindikator zu berechnen, – der Nebelindikator mit einem vorbestimmten Schwellwert verglichen wird, – das Verfahren einer Klassifikationsvariablen einen Wert für „Nebel“ oder den anderen Wert für „Kein Nebel“ mit einem Konfidenzmaß zuordnet.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass – die Gewichtsfunktion und der Schwellwert durch eine Evaluierung des Verfahrens anhand von Trainingsdaten vorbestimmt sind.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass – das Leistungsspektrum merkmalsreduziert wird, – die Merkmalsreduzierung mittels einer Hauptkomponentenanalyse im Frequenzraum auf reduzierte Merkmale durchgeführt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass – das Leistungsspektrum merkmalsreduziert wird, – die Merkmalsreduzierung mittels einer Stützvektorenmethode im Frequenzraum auf reduzierte Merkmale durchgeführt wird.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass – die reduzierten Merkmale klassifiziert werden, – die Klassifikation mit einem linearen Klassifikator oder einem nichtlinearen Klassifikator durchgeführt wird, – das Verfahren einer Klassifikationsvariablen einen Wert zuordnet, – der Klassifikationsvariablen ein Konfidenzmaß zugeordnet ist, – der Wert der Klassifikationsvariablen mit dem Auftreten von Nebel oder der Dichte von Nebel mit dem Konfidenzmaß skaliert.
Fahrzeug mit einem Steuergerät, einem Kamera- oder Videosystem und zumindest einem Fahrerassistenzsystem, dadurch gekennzeichnet, dass – das Verfahren zur Detektion von Nebel nach einem der Ansprüche 6 oder 10 von dem Steuergerät und von dem Kamera- oder Videosystem in Echtzeit ausgeführt wird, – der Wert der Klassifikationsvariablen an das zumindest eine Fahrerassistenzsystem übermittelbar ist, und – das zumindest eine Fahrerassistenzsystem dem Fahrer bei auftretendem Nebel eine Warnung ausgibt und/oder das Fahrerassistenzsystem in einer für auftretendem Nebel spezifizierten Konfiguration betreibbar ist.