-
QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNG
-
Die vorliegende Anmeldung geht zurück auf die
JP 2006-247125 A , angemeldet am 12. September 2006; auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
-
Hintergrund der Erfindung
-
(Gebiet der Erfindung)
-
Die vorliegende Erfindung betrifft eine Vorrichtung zur Bestimmung, ob in einer Umgebung um ein Fahrzeug herum Nebel vorhanden ist oder nicht, wobei Bilder verwendet werden, die von einer am Fahrzeug angeordneten Kamera aufgenommen werden.
-
(Beschreibung des Standes der Technik)
-
Es ist eine Vorrichtung zur Durchführung einer Bildverarbeitung an einem Bild bekannt, das von einer fahrzeugseitigen Kamera aufgenommen wurde, um das Vorhandensein von Nebel zu bestimmten (wie beispielsweise in der
JP 3444192 B2 beschrieben). In der JP 3444192 B2 wird das Vorhandensein von Nebel auf der Grundlage des Grads einer Bildunschärfe bestimmt. Wenn Nebel vorhanden ist, wird das Bild verschwommen. Somit wird das Vorhandensein von Nebel aufgrund des geschätzten Grads der Bildverschwommenheit bestimmt. Bei der Schätzung des Grads der Bildverschwommenheit wird zunächst eine Differenzialberechnung für jedes Pixel an einem Gesamtbild durchgeführt, um eine Änderungsrate der Helligkeit (die Menge an Kanten) in jedem Pixel des Bilds zu berechnen. Die Helligkeitsänderungen werden verwendet, um den Grad der Bildverschwommenheit zu schätzen.
-
Bei der Vorrichtung gemäß der
JP 3444192 B2 wird das Bestimmungsergebnis hinsichtlich des Vorhandenseins von Nebel bei der Erkennung einer weißen Linie auf einer Fahrbahn verwendet. Bei der Erkennung der weißen Linie auf der Fahrbahn, auf der das Fahrzeug fährt, basierend auf einem von der fahrzeugseitigen Kamera aufgenommenen Bild, wird, wenn Nebel in der Atmosphäre oberhalb der Fahrbahn vorhanden ist, das Bild verschwommen, was dazu führt, dass die weiße Linie schwer zu erkennen ist. Daher wird das Vorhandensein von Nebel vor der Erkennung der weißen Linie bestimmt. Es ist auch beschrieben, dass, wenn das Vorhandensein von Nebel bestimmt wird, Nebelscheinwerfer eingeschaltet werden.
-
Eine Vorrichtung, wie sie in der
JP 3312729 B2 beschrieben ist, ist nicht von dem Typ, der nur das Vorhandensein von Nebel bestimmt. Wenn ein Bild aufgrund schlechter Sichtverhältnisse durch Nebel oder dergleichen oder durch Schmutz auf der Fahrzeugwindschutzscheibe verschwommen wird, wird es schwierig, das Fahrzeugäußere richtig zu überwachen (d. h. eine Überwachung einer Distanz zwischen dem eigenen Fahrzeug und einem von dem Fahrzeug beabstandeten Objekt durchzuführen, d. h. dem Äußeren des Fahrzeugs). Um dem zu begegnen, erfolgt eine Bestimmung dahingehend, ob das Bild verschwommen ist oder nicht.
-
Bei dem Verfahren zur Bestimmung der Bildverschwommenheit gemäß der
JP 3312729 B2 wird ein repräsentativer Wert der Helligkeitsänderung des Bilds basierend auf einer Helligkeitsänderung in einem festgelegten Abschnitt des Bilds berechnet, wobei der festgelegte Abschnitt in einen oberen mittigen Abschnitt des Bildes gelegt wird. Genauer gesagt, der repräsentative Wert der Helligkeitsänderung des Bilds wird basierend auf ein Verhältnis der Anzahl von Pixeln, bei denen die Helligkeitsänderung einen bestimmten Schwellenwert übersteigt, geschätzt.
-
Beide Vorrichtungen gemäß der
JP 3444192 B2 und der
JP 3312729 B2 bestimmen, ob ein von der fahrzeugseitigen Kamera aufgenommenes Bild verschwommen wird oder nicht, um damit eine Beurteilung hinsichtlich des Vorhandenseins von Nebel zu machen. Wenn die Helligkeitsänderungen eines jeden Pixels in dem Gesamtbild berechnet werden, tritt der Fall auf, dass die Verarbeitungszeit oder -belastung zur Durchführung der Bildverarbeitung etwa gemäß dem JP 3444192 B2 zunimmt. Bei der Vorrichtung gemäß der JP 3312729 B2 werden nur Helligkeitsänderungen in dem festgelegten Bereich, der in einem oberen mittigen Abschnitt liegt, berechnet, was zu einer geringeren Belastung oder kürzeren Prozesszeit als bei der Vorrichtung gemäß der JP 3444192 B2 führt. Jedoch wird ein Bildobjekt in dem Bild eines Nahbereichsobjekts bezüglich des Eigenfahrzeug auch beim Vorhandensein von Nebel klar aufgenommen. Wenn daher das Objekt in dem festgelegten Bereich des Bildes in einem Nahbereich zum Eigenfahrzeug aufgenommen wird, tritt der Fall auf, dass es schwierig wird, das Vorhandensein von Nebel präzise zu bestimmen.
-
Angesichts der obigen Umstände hat die vorliegende Anmelderin eine Vorrichtung entwickelt, die dahingehend arbeitet, das Vorhandensein von Nebel zu bestimmen, in dem ein Bild eines weit entfernten Fahrbahnbereichs verwendet wird, bestimmt anhand des Bilds, das von einer fahrzeugseitigen Kamera aufgenommen wird, um einen Bereich entlang einer Straße in großer Entfernung von dem Fahrzeug darzustellen; hierzu wurde eine Patentanmeldung eingereicht (
JP 2006-349492 A ). Wenn somit der Bildbereich, für den das Vorhandensein von Nebel bestimmt wird, dem Bereich oberhalb der Fahrbahn zugewiesen wird, ist es sehr wahrscheinlich, dass aufgrund der Fahrbahn, die normalerweise bis in eine weitere Entfernung fortläuft, ein derartiger weit entfernter Bereich ein aufgenommenes Bild eines weit entfernten Bereichs enthält. Dies ermöglicht, dass das Vorhandensein von Nebel präzise bestimmt wird.
-
Weiterhin beschreibt die
WO 03/069275 A1 Mittel zur Bestimmung, ob Nebel in der Umgebungsluft vorhanden ist oder nicht, welche das Gesichtsfeld um einen Fahrersitz und ein Fahrzeug herum umgibt, wobei ein Bild von einer fahrzeugseitigen Kamera aufgenommen wird.
-
Bei diesem Verfahren werden ein Fahrbahnabschnitt und ein Abschnitt des Himmels basierend auf Helligkeiten des Bildes bestimmt, das von der fahrzeugseitigen Kamera aufgenommen wird. Danach wird eine Berechnung durchgeführt, um Löschungskoeffizienten in beiden Bereichen mittels des Koschmieder'schen Gesetzes zu erhalten, woraufhin das Gesichtsfeld erzeugt wird und das Vorhandensein oder Nichtvorhandensein von Nebel basierend auf den sich ergebenden Löschungskoeffizienten bestimmt wird.
-
Bei den Vorrichtungen gemäß der
JP 2006-349492 A oder der
WO 03/069275 A1 zur Bestimmung des Vorhandenseins von Nebel ist es wahrscheinlich, dass, wenn eine Aufnahme durch eine fahrzeugseitige Kamera erfolgt, die in einem Fahrzeug angeordnet ist, welches auf einer durch einen Wald führenden Straße fährt, beispielsweise in einem Bergtal, dann ein weit entfernter Fahrbahnbereich im Wald enthalten ist und daher ein Unterbelichtungsphänomen in dem aufgenommenen Bild auftritt. Wenn solche Unterbelichtungsphänomene in dem weit entfernten Fahrbahnbereich vorhanden sind, besteht die Möglichkeit, dass fälschlicherweise bestimmt wird, das Bild in Nebel gehüllt ist.
-
Die vorliegende Erfindung wurde gemacht, um die genannten Probleme anzugehen und hat als Aufgabe, präzise das Vorhandensein von Nebel zu bestimmen, auch wenn ein Unterbelichtungsphänomen in einem weit entfernten Fahrbahnbereich eines Bilds auftritt.
-
Die
US 6 037 976 offenbart einen Algorithmus für Kameras zur Verwendung im Rahmen einer Verkehrsüberwachung und einer Sicherheitsüberwachung. In einem konkreten Beispiel des Erfassens eines Vorhandenseins von Nebel in einer Atmosphäre wird dabei ein Unterschied zwischen einem erfassten Objektbild und einem Referenzbild berechnet. Während des Tages wird ermittelt, dass der Himmel Nebel enthält, wenn der erfasste Unterschied ein kleiner Wert ist. Andererseits wird zur Nachtzeit (oder bei schwacher Beleuchtung bzw. schwachem Licht) ermittelt, dass der Himmel Nebel enthält, wenn der Unterschied ein kleiner Wert ist.
-
Aus der
DE 10 2005 035 810 A1 ist ein Verfahren zur Sichtweitenbestimmung mit einer Kamera bekannt, wobei die Kamera insbesondere zur Umgebungserfassung im Kraftfahrzeug vorgesehen ist, zumindest ein Objekt erfasst wird, für welches die Relativgeschwindigkeit von Kamera und aufgenommenem Objekt ungleich null ist, eine Trajektorie für zumindest dieses Objekt prädiziert wird und entlang der Trajektorie eine Anzahl von Messfenstern gesetzt wird, der Abstand der in den Messfenstern abgebildeten Objekte zur Kamera bestimmt wird, und die Sichtweite aus einem Bildkontrast eines Messfensters oder Teilen davon und dem zugehörigen Abstand bestimmt wird, wobei wenigstens zwei Kontrastmessungen bei verschiedenen Abständen zur Auswertung herangezogen werden.
-
Die
DE 603 13 287 T2 offenbart ein Verfahren zur Sichtweitenbestimmung, insbesondere von einem Fahrzeug aus einer Szene, wobei wenigstens ein erstes Bild der Szene vom Fahrzeug aus, vorzugsweise in der Bewegungsrichtung des Fahrzeugs, aufgenommen wird, die Leuchtdichte in jedem Punkt des ersten Bilds erfasst wird, eine Maske auf das erste Bild anwendet wird, ein Mittelwert dieser Leuchtdichte entlang der Abszisse des Bereichs gebildet wird, um eine Kurve der vertikalen Leuchtdichte in Abhängigkeit jedes Ordinatenwertes des Bereichs zu erhalten, der zumindest einen Flexionspunkt aufweist. Ein Extinktionskoeffizient für Nebel wird aus der Kurve der vertikalen Leuchtdichte berechnet, und es wird die Sichtweite aus dem Extinktionskoeffizienten berechnet.
-
Die Lösung der Aufgabe erfolgt durch die Merkmale der Ansprüche 1 oder 5. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche 2 bis 4.
-
KURZFASSUNG DER ERFINDUNG
-
Es wird eine fahrzeugseitige Nebelbestimmungsvorrichtung geschaffen mit Bild-in-Nebel-Bestimmungsmitteln, ob ein von einer fahrzeugseitigen Kamera aufgenommenes Bild ein in Nebel gehülltes Bild ist, wobei die Vorrichtung weit-entfernt-Helligkeitsermittlungsmittel zum Ermitteln der Helligkeit in einem weit entfernten Fahrbahnbereich, der einen Bereich über einer Fahrbahn in einer bestimmten weit entfernten Distanz vom Eigenfahrzeug darstellt, aus dem von der fahrzeugseitigen Kamera aufgenommenen Bild und Himmelhelligkeitsermittlungs-mittel aufweist, um eine Helligkeit eines Himmels um das Fahrzeug herum zu ermitteln, wobei die Bild-in-Nebel-Bestimmungsmittel eine Bestimmung unter Verwendung eines Bilds von dem weit entfernten Fahrbahnbereich während eines Nichtauftretens eines Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich haben, wobei eine Bestimmung unter Verwendung einer Helligkeit des weit entfernten Fahrbahnbereichs und eine Helligkeit des Himmels während des Auftretens eines Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich gemacht wird.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
1 ist ein Blockdiagramm, das den Aufbau einer in ein Fahrzeug eingebauten Nebelerkennungsvorrichtung 10 zeigt, bei der die vorliegende Erfindung angewendet wird.
-
2 ist ein Flussdiagramm, welches den wesentlichen Inhalt einer Steuerfunktion zur Durchführung durch eine Bildverarbeitungs-ECU 14 zeigt;
-
3 ist ein Beispiel eines Bilds, das von einer fahrzeugseitigen Kamera 12 aufgenommen wird.
-
4 ist ein anderes Beispiel eines Bilds, das von der fahrzeugseitigen Kamera 12 aufgenommen wird.
-
5 ist ein Flussdiagramm, das ein Detail eines Fahrbahnverlaufbestimmungsvorgangs im Schritt S100 von 2 zeigt.
-
6 ist ein Flussdiagramm, das ein Detail eines Bestimmungsvorgangs für einen weit entfernten Fahrbahnbereich im Schritt S200 von 2 zeigt.
-
7 ist eine Ansicht einer 100 m-Linie LF, die vorläufig in einem von der fahrzeugseitigen Kamera 12 aufgenommenen Bild festgelegt wird.
-
8 ist eine Ansicht eines festen Fahrbahnabschnitts 30, der vorläufig gesetzt wird.
-
9 ist ein Flussdiagramm, das ein Detail einer Bildverarbeitung zur Bestimmung des Vorhandenseins von Nebel im Schritt S300 zeigt.
-
10 ist eine Ansicht einer Helligkeitsverhältniswahrscheinlichkeitsverteilungsmappe, die ein Verhältnis einer Helligkeit des weit entfernten Fahrbahnbereichs zu einer Helligkeit eines Himmelbereichs darstellt.
-
DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
Eine in ein Fahrzeug eingebaute Nebelerkennungsvorrichtung einer Ausführungsform gemäß der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung beschrieben. 1 ist ein Blockdiagramm, das den Aufbau der in das Fahrzeug eingebauten Nebelerkennungsvorrichtung 10 zeigt, bei der die vorliegenden Erfindung angewendet wird.
-
Die in das Fahrzeug eingebaute Nebelerkennungsvorrichtung 10 enthält eine fahrzeugseitige Kamera 12, eine Bildverarbeitungs-ECU 14, einen Gierratensensor 16, einen Lenksensor 18, ein Millimeterwellenradar 20, einen Beleuchtungsstärkensensor 21 und einen Fahrzeuggeschwindigkeitssensor 22, die untereinander mittels eines Fahrzeug-LAN 24 verbunden sind. Mit dem Fahrzeug-LAN 24 sind eine Fahrunterstützungs-ECU 26 und eine Lichtsteuer-ECU 28 verbunden.
-
Die fahrzeugseitige Kamera 12 ist aufgebaut aus einer CCD-Kamera, die im Innenraum angeordnet ist, beispielsweise am Dachhimmel in einem Bereich nahe des Fahrersitzes. Die fahrzeugseitige Kamera 12 nimmt ein Bild vorderhalb des Fahrzeugs auf, um zu ermöglichen, dass aufgenommene Bilddaten der Bildverarbeitungs-ECU 14 übermittelt und dort verarbeitet werden.
-
Die Bildverarbeitungs-ECU 14 ist aufgebaut aus einem Computer, der intern eine CPU, ein ROM, ein RAM, etc. aufweist. Das RAM speichert vorübergehend Daten der kontinuierlich von der fahrzeugseitigen Kamera 12 aufgenommenen Bilder für eine bestimmte Zeit. Dann führt die CPU eine Grundsequenz von Abläufen gemäß 2 durch, um im ROM gespeicherte Daten zu verarbeiten. Die Arbeitsweisen der CPU werden später noch beschrieben.
-
Der Gierratensensor erkennt sequenziell Gierraten des Fahrzeugs und der Lenksensor 18 erkennt sequenziell Lenkwinkel eines Lenkrads. Weiterhin gibt das Millimeterwellenradar 20 Millimeterwellen in Richtung Fahrzeugvorderseite aus und empfängt reflektierte Wellen, die von einem Objekt zurückgeworfen werden. Die Fahrunterstützungs-ECU 26 arbeitet als Fahrzeugfronterkennungsmittel. Die Fahrunterstützungs-ECU 26 bestimmt kontinuierlich das Vorhandensein oder Nichtvorhandensein eines vorderen Fahrzeugs (ein auf der gleichen Fahrspur vorderhalb des Eigenfahrzeugs fahrendes Fahrzeugs) basierend auf reflektierten Wellen des Millimeterwellenradars 20. Wenn ein vorderes Fahrzeug erkannt wird, wird ein Ablauf durchgeführt, um eine Distanz zwischen dem vorderen Fahrzeug und dem Eigenfahrzeug zu berechnen, sowie einen relativen Azimut und eine Relativgeschwindigkeit. Zusätzlich wird eine Fahrunterstützungssteuerung, beispielsweise eine Fahrzeuggeschwindigkeitssteuerung basierend auf den berechneten Informationen durchgeführt.
-
Die Lichtsteuer-ECU 28 führt eine Steuerung zum automatischen Ein- oder Ausschalten von Nebelscheinwerfern und Fahrlichtern (nicht gezeigt) basierend auf einem ausgegebenen Helligkeitswert eines Leuchtstärkensensors vom Leuchtstärkensensor 21 durch. Selbst wenn die Bildverarbeitungseinheit-ECU 14 den Vorgang durchführt, um zu bestimmen, dass Nebel vorhanden ist, wird der Vorgang zur Steuerung des Ein- und Ausschaltens von Nebellampen und Fahrscheinwerfern durchgeführt.
-
2 ist ein Flussdiagramm, das das Wesentliche einer Steuerfunktion zeigt, die von der Bildverarbeitungs-ECU 14 durchgeführt wird. Die in 2 gezeigte Steuerung wird in einem bestimmten Zyklus während der Fahrt des Fahrzeugs durchgeführt und während der Steuerungsdurchführung nimmt die fahrzeugseitige Kamera 12 kontinuierlich ein Bild eines Fahrzeugs vorderhalb des Eigenfahrzeugs auf. Die 3 und 4 sind Beispielbilder, die von der fahrzeugseitigen Kamera 12 aufgenommen werden.
-
Gemäß 2 führt die Bildverarbeitungs-ECU 14 einen Fahrbahnverlaufbestimmungsvorgang (Schritt S100) entsprechend Fahrbahnverlaufbestimmungsmitteln durch. Nachfolgend erfolgt ein Ablauf eines Bestimmungsvorgangs für einen weit entfernten Bereich entsprechend Bestimmungsmitteln für einen weit entfernten Bereich (Schritt S200). Danach erfolgt ein Bildverarbeitungsvorgang zur Bestimmung des Vorhandenseins von Nebel entsprechend Bildnebelzustandbestimmungsmitteln (Schritt S300).
-
Der Fahrbahnverlaufbestimmungsvorgang im Schritt S100 ist in 5 im Detail gezeigt. Zuerst wird im Schritt S110 ein Weißlinienerkennungsvorgang durchgeführt, um eine weiße Linie zu erkennen, die eine Art Verkehrszeichen entlang einer Fahrspur ist, was basierend auf einer Reihe von Bildern erfolgt, die fortlaufend von der fahrzeugseitigen Kamera 12 aufgenommen werden. Der Weißlinienerkennungsvorgang kann durch verschiedene bekannte Verarbeitungstechniken erfolgen. Beispielsweise wird das von der fahrzeugseitigen Kamera 12 aufgenommene Bild einer binären Bildverarbeitung unterworfen, um einen Weißlinienanteil aus dem Bild zu entnehmen, das von der binären Bildverarbeitung herrührt, und damit die weiße Linie zu erkennen. Der hier benutzte Begriff „weiße Linie” bezieht sich nicht nur auf eine weiße Linie, sondern auch beispielsweise auf eine gelbe Linie, die auf ähnliche Weise wie durch einen normalen Weißlinienerkennungsvorgang erkannt wird.
-
Es trifft nicht immer zu, dass der Weißlinienerkennungsvorgang von Schritt S110 wirksam dahingehend ist, zu allen Zeiten eine weiße Linie zu erkennen. Es besteht die Wahrscheinlichkeit, dass eine weiße Linie nicht erkannt werden kann, da beispielsweise keine weiße Linie auf die Fahrbahn gezeichnet ist. Im folgenden Schritt S120 wird daher ein Vorgang durchgeführt, um zu bestimmen, ob die weiße Linie erkannt werden kann oder nicht. Die Bestimmung erfolgt hierbei, um eine Beurteilung machen zu können, ob die weiße Linie soweit erkannt werden kann, dass im folgenden Schritt S130 der Fahrbahnverlauf bestimmbar ist. Es besteht somit keine Notwendigkeit, dass beide weißen Linien erkannt werden müssen. Auch besteht keine Notwendigkeit, dass die weiße Linie durchgängig entlang einer Länge vom Eigenfahrzeug bis zu einem Fluchtpunkt erkannt werden muss. Das heißt, im Schritt S120 erfolgt der Vorgang dahingehend, zu bestimmen, ob wenigstens eine der weißen Linien durchgängig über eine bestimmte Länge oder intermittierend erkannt werden kann.
-
Wenn die Bestimmung im Schritt S120 positiv ist, wird in einem folgenden Schritt S130 der Fahrbahnverlauf bestimmt. Der hier verwendete Begriff „Fahrbahnverlauf” bezieht sich auf eine einzelne Linie, die ein gewundenes Muster auf der Fahrbahn darstellt, die sich vom Eigenfahrzeug in einen vorderhalb liegenden Bereich erstreckt und die beispielsweise eine Strichpunktlinie gemäß den 3 und 4 ist. Die Strichpunktlinie der 3 und 4 stellt eine in Breitenrichtung gesehene Mittellinie der Verkehrsspur dar, auf der sich das Eigenfahrzeug bewegt. Anstelle der Strichpunktlinie kann der Fahrbahnverlauf auch eine der beiden weißen Linien enthalten, die auf beiden Seiten der Verkehrsspur liegen, auf der sich das Eigenfahrzeug bewegt. In einer Alternative kann, wenn die Fahrbahn eine Mehrzahl von Verkehrsspuren hat, der Fahrbahnverlauf die in Breitenrichtung mittig liegende Linie der gesamten Straße enthalten.
-
Wenn die Bestimmung im Schritt S120 negativ ist, wird im Schritt S140 ein Vorgang durchgeführt, um zu bestimmen, ob die Fahrunterstützungs-ECU 26 ein vorderhalb liegendes Fahrzeug erkennt oder nicht. Wenn eine solche Bestimmung positiv ist, berechnet die Fahrunterstützungs-ECU 26 eine Distanz zu dem vorderhalb liegenden Fahrzeug und einen relevanten relativen Azimut. Somit wird im Schritt S150 ein Vorgang durchgeführt, um eine Lage des relevanten vorderhalb liegenden Fahrzeugs in dem Bild basierend auf der Distanz zu dem berechneten vorderhalb liegenden Fahrzeug und dem relativen Azimut zu bestimmen.
-
In einem folgenden Schritt S160 wird ein Ablauf durchgeführt, um einen Lenkwinkel eines Lenkrads in Antwort auf ein Signal vom Lenksensor 18 zu bestimmen. Im Schritt S170 wird ein Vorgang durchgeführt, um den Fahrbahnverlauf durch Verbindung eines gegebenen Punkts (d. h. beispielsweise einen in Breitenrichtung gesehen mittleren Punkt einer Motorhaube an einer Grenzlinie hierzu mit dem Bild) in dem Bild des Eigenfahrzeugs, der vorläufig als Endpunkt einer Linie zur Darstellung des Fahrbahnverlaufs bestimmt wurde und der Lage des vorderhalb liegenden Fahrzeugs in dem Bild aus Schritt S150 miteinander unter Verwendung eines Kreisbogens mit einem Krümmungsradius gemäß dem Lenkwinkel aus Schritt S160 zu bestimmen.
-
Wenn die Bestimmung in Schritt S140 negativ ist, werden die Abläufe in den Schritten S180 bis S190 durchgeführt. Zunächst wird im Schritt S180 der Lenkwinkel basierend auf dem Signal vom Lenksensor 18 bestimmt. Im folgenden Schritt S190 wird der Kreisbogen an der Linie, die den Fahrbahnverlauf angibt, so bestimmt, dass eine Tangentiallinie parallel zu einer Vorwärts/Rückwärts-Richtung des Fahrzeugs an dem gegebenen Punkt im Bild des gegebenen Punkts ist, der vorläufig als Endpunkt der Linie bestimmt wurde, die den Fahrbahnverlauf für das Eigenfahrzeug darstellt. Auch kann in einem oder in beiden Schritten S160 und S180 die Gierrate in Antwort auf ein Signal vom Gierratensensor 16 anstelle der Erkennung des Lenkwinkels erkannt werden.
-
In den Schritten S130, S170 und S190, wo die jeweils bestimmten Fahrbahnverläufe verglichen werden, erlaubt die Durchführung des Ablaufs in Schritt S130 die Bestimmung des Fahrbahnverlaufs basierend auf der angegebenen weißen Linie entlang der Fahrbahn. Somit kann der Fahrbahnverlauf mit sehr hoher Genauigkeit bestimmt werden. Zusätzlich wird der Ablauf in Schritt S170 durchgeführt, wobei zusätzlich zum Lenkwinkel die Lage des vorderhalb fahrenden Fahrzeugs verwendet wird. Dies ermöglicht, dass der Fahrbahnverlauf genauer bestimmt werden kann als im Schritt S190, der nur auf dem Lenkwinkel basiert. Wenn im Gegensatz hierzu keine weiße Linie im Schritt S130 erkannt wird, wird auch kein Fahrbahnverlauf bestimmt. Wenn weiterhin kein vorausfahrendes Fahrzeug erkannt wird, wird im Schritt S170 kein Fahrbahnverlauf bestimmt. Jedoch kann der Fahrbahnverlauf mit Sicherheit im Schritt S190 bestimmt werden.
-
Mit dem so bestimmten Fahrbahnverlauf wird der Bestimmungsvorgang für den weit entfernten Bereich (im Schritt S200 in 2) durchgeführt. Der Bestimmungsvorgang für den weit entfernten Bereich ist ein Ablauf, wie er in 6 dargestellt ist.
-
In 6 wird zunächst im Schritt 210 ein Ablauf durchgeführt, um einen Punkt in weiter Entfernung in dem Bild in einer bestimmten weit entfernten Distanz vom Eigenfahrzeug auf der Fahrbahn zu bestimmen, auf der sich das Eigenfahrzeug bewegt. Der Begriff „bestimmte weit entfernte Distanz” bezieht sich auf eine auf 100 m gesetzte Distanz. Die vorliegende Erfindung ist jedoch nicht auf eine derartige Distanz von 100 m beschränkt und es kann ausreichend sein, eine weit entfernte Distanz heran zu ziehen, ab der ein Bild verschwimmt, wenn der Nebel eine gewisse Dichte annimmt.
-
Wenn die fahrzeugseitige Kamera 12 fest an dem Fahrzeug angeordnet ist, ist es möglich, vorläufig eine echte Distanz zu einem Oberflächenpunkt auf einer flachen Bodenfläche zu bestimmen und wo in dem Bild der Oberflächenpunkt liegt. Folglich wird es möglich, vorläufig eine 100 m-Linie zu bestimmen, auf der der Oberflächenpunkt vorderhalb des Eigenfahrzeugs in einem Abstand von 100 m auf der flachen Bodenfläche liegt. 7 zeigt eine derartige 100 m-Linie LF in dem Bild. Bei der vorliegenden Ausführungsform stellt die 100-Linie LF eine weit entfernte Distanzlinie dar und wird im ROM in der Bildverarbeitungs-ECU 14 oder in einer anderen Speichervorrichtung gespeichert.
-
Nachfolgend wird im Schritt 210 ein Ablauf durchgeführt, um einen Schnittpunkt zwischen der 100 m-Linie und einer Linie zu bestimmen, welche den im Schritt S100 bestimmten Fahrbahnverlauf darstellt und der ein weit entfernter Distanzpunkt (d. h. ein Punkt 100 m voraus) auf der Fahrbahn sein soll, auf der sich das Eigenfahrzeug bewegt.
-
Im folgenden Schritt S220 wird ein äußerer Rahmen OF des weit entfernten Fahrbahnbereichs mit Bezug auf den weit entfernten Distanzpunkt aus Schritt S210 bestimmt. Die äußeren Rahmen OF der weit entfernten Fahrbahnbereiche werden gemäß den 3 und 4 so gesetzt, dass der weit entfernte Distanzpunkt aus Schritt S210 mittig in einer unteren Seite eines jeden äußeren Rahmens OF liegt. Zusätzlich hat der äußere Rahmen OF eine Größe, welche auf eine passend geringe Größe bezüglich der Größe des gesamten von der fahrzeugseitigen Kamera 12 aufgenommenen Bilds aufgesetzt ist.
-
Die 3 und 4 zeigen festgesetzte Beispiele von äußeren Rahmen AF von Bereichen (nachfolgend als „Himmelbereich” bezeichnet) entsprechend dem Himmel in der Nähe des Fahrzeugs. Entsprechende Positionen der äußeren Rahmen AF in solchen Himmelbereichen auf den Bildern werden im ROM der Bildverarbeitungs-ECU 14 oder in einer anderen Speichervorrichtung gespeichert.
-
Die vorliegende Erfindung ist nicht auf die in den 3 und 4 gezeigten Beispiele beschränkt und die Positionen der äußeren Rahmen OF können so bestimmt werden, dass der weit entfernte Distanzpunkt die Mitte des weit entfernten Fahrbahnbereichs bildet. Weiterhin kann die Lage des weit entfernten Distanzpunkts relativ zu dem äußeren Rahmen OF des weit entfernten Fahrbahnbereichs abhängig davon geändert werden, ob: der Fahrbahnverlauf auf einer in Breitenrichtung mittig liegenden Linie einer Fahrspur basiert; ob der Fahrbahnverlauf auf einer in Breitenrichtung mittig liegenden Linie einer gesamten Fahrbahn basiert; und welche der weißen Linien der Fahrspur für den Fahrbahnverlauf angewendet wird. Beispielsweise in dem Fall, wo der Fahrbahnverlauf (einen diesen anzeigende Linie) auf der weißen Linie an der rechten Seite der Fahrspur basiert, kann die Lage des äußeren Rahmens OF so bestimmt werden, dass der äußere Rahmen OF, der den weit entfernten Fahrbahnbereich bildet, an seiner unteren Seite einen Punkt auf ¼ der Länge hiervon von rechts her gesehen hat, der als weit entfernter Distanzpunkt gesetzt wird.
-
In einem folgenden Schritt S230 wird der Fahrbahnabschnitt aus dem Bereich des äußeren Rahmens OF des in Schritt S220 bestimmten weit entfernten Fahrbahnbereichs entfernt. Bei der vorliegenden Ausführungsform wird der Vorgang durchgeführt, um einen festgelegten Fahrbahnabschnitt 30 zu entfernen, der vorab festgesetzt wird, wie in 8 gezeigt. Der Fahrbahnabschnitt 30 enthält einen dreieckförmigen Abschnitt mit einer Mitte „O” des äußeren Rahmens OF an der Spitze und einer unteren Seite des äußeren Rahmens OF als Bodenseite.
-
Der Fahrbahnabschnitt, der in dem äußeren Rahmen OF des Bilds tatsächlich aufgenommen wird, hat unterschiedliche Form abhängig von einer Breite der Fahrbahn, auf der gefahren wird und dem Fahrbahnverlauf (gerade Fahrbahn oder gekrümmte Fahrbahn). Angesichts dessen wird es, wenn der Fahrbahnabschnitt 30 in einem solchen festen Bereich gebildet wird, schwierig, den Fahrbahnabschnitt aus dem äußeren Rahmen OF des tatsächlich aufgenommenen Bilds genau zu entfernen. Wenn die Fahrbahn jedoch irgendeinen Verlauf hat, wird der Fahrbahnabschnitt mit zunehmendem Abstand von der unteren Seite zur oberen Seite in dem wert entfernten Bereich schmäler. Selbst wenn daher der Fahrbahnabschnitt 30, der zu entfernen ist, festgelegt ist, kann ein wesentlicher Teil des Fahrbahnabschnitts entfernt werden. Zusätzlich, wenn der Fahrbahnabschnitt 30 derart festgelegt ist, kann die Belastung hinsichtlich Rechenvorgängen gemindert werden. Wenn der Fahrbahnabschnitt 30 im Schritt S230 entfernt wird, hat der sich ergebende Bereich nach der Entfernung einen relativ großen fahrbahnseitigen Anteil.
-
Weiterhin kann der Fahrbahnabschnitt basierend auf einem Fahrbahnverlauf aus Schritt S100 bestimmt werden, ohne den Fahrbahnabschnitt 30 festzulegen. Wenn in einem solchen Fall beispielsweise die Linie, die den Fahrbahnverlauf anzeigt und der äußere Rahmen OF des weit entfernten Fahrbahnbereichs sich nur in einem Punkt schneiden (siehe 3), wird dem Fahrbahnabschnitt eine Dreiecksform zugewiesen mit einem Scheitelpunkt an dem Fluchtpunkt und der unteren Seite des äußeren Rahmens OF an der Bodenseite. Wenn die Linie, die den Fahrbahnverlauf angebt und der äußere Rahmen OF des weit entfernten Fahrbahnbereichs sich an zwei Schnittpunkten schneiden (siehe 4), kann es ausreichend sein, dem Fahrbahnabschnitt ein rechtwinkliges Dreieck mit einer Spitze an einem Schnittpunkt (oder einem Punkt in einem Bereich über dem Schnittpunkt in Form einer gegebenen Koordinate), der einen Abschnitt des äußeren Rahmens OF, der keine Unterseite bildet, nicht schneidet, zuzuweisen, wobei die untere Seite des äußeren Rahmens OF einer Bodenseite zugewiesen wird. Zusätzlich kann der Fahrbahnabschnitt anhand der weißen Linie bestimmt werden, die bei Verarbeitung des Bilds erkannt wird.
-
In dem folgenden Schritt S240 wird ein Ablauf durchgeführt, zu bestimmen, ob ein Fahrzeugabschnitt in dem äußeren Rahmen OF des weit entfernten Fahrbahnbereichs aus Schritt S220 vorhanden ist oder nicht. Eine solche Bestimmung wird gemacht, um das Fahrzeug in einem kurzen Bereich aus dem Bild des weit entfernten Fahrbahnbereichs zu entfernen, da, wenn das Fahrzeug in dem Kurzbereich in dem Bild enthalten ist, das als weit entfernter Fahrbahnbereich bestimmt wird, es schwierig wird, das Vorhandensein von Nebel zu bestimmen. Folglich wird zunächst im Schritt S240 ein Ablauf durchgeführt, zu bestimmen, ob oder nicht die Fahrunterstützungs-ECU 26 das Vorhandensein irgendeines Fahrzeugs vorderhalb erkennt. Wenn das Vorhandensein eines vorausfahrenden Fahrzeugs erkannt wird, wird ein weiterer Ablauf durchgeführt, um einen Bildverarbeitungsbereich zu bestimmen, von dem angenommen wird, dass er das Fahrzeug enthält, was basierend auf Lage und relativem Abstand des vorausfahrenden Fahrzeugs erfolgt, welche beziehungsweise welche von der Fahrunterstützungs-ECU 26 bestimmt wird, wenn eine bekannte Bildverarbeitung an dem sich ergebenden Bildverarbeitungsbereich durchgeführt wird, um eine Fahrzeugkonturlinie zu bestimmen, beispielsweise auf einer Helligkeitsänderung. Dann wird der bestimmte Fahrzeugabschnitt mit dem Außenrahmen OF des weit entfernten Fahrbahnbereichs verglichen.
-
Wenn die Bestimmung im Schritt S240 negativ ist, wird der vorliegende Ablauf gemäß 6 abgeschlossen. In diesem Fall stellt ein Bereich, in welchem der Fahrbahnabschnitt 30 aus dem Bereich des äußeren Rahmens OF aus Schritt 220 entfernt worden ist, den weit entfernten Fahrbahnbereich dar. Wenn die Bestimmung in Schritt S240 positiv ist, wird im Schritt S250 der Bereich, in welchem der Fahrbahnabschnitt aus der Bestimmung im Schritt S240 aus dem Bereich des äußeren Rahmens OF aus Schritt S220 entfernt worden ist, als weit entfernter Fahrbahnbereich bestimmt.
-
An dem wie oben beschrieben bestimmten weit entfernten Fahrbahnbereich für das Bild wird eine Bestimmungsbildverarbeitung im Schritt S300 für den bestimmten weit entfernten Fahrbahnbereich und den Himmelbereich durchgeführt, um das Vorhandensein von Nebel zu bestimmen. Folglich kann festgehalten werden, dass der weit entfernte Fahrbahnbereich und der Himmelbereich einen Bildverarbeitungsbereich darstellen, der für die Bestimmungsbildverarbeitung benutzt wird, um das Vorhandensein von Nebel zu bestimmen. Die Bestimmungsbildverarbeitung im Schritt S300 zur Bestimmung des Vorhandenseins von Nebel wird anhand des Grundablaufs von 9 durchgeführt. In 9 erfolgt im Schritt S310 zuerst ein Ablauf, um ein Bild des weit entfernten Fahrbahnbereichs und ein Bild des Himmelbereichs zu extrahieren. Was den Himmelbereich betrifft, ist es vorteilhaft, ein Bild eines Himmelbereichs hoher Helligkeit zu extrahieren, der eine betont hohe Helligkeit im Himmelbereich darstellt. Mit anderen Worten, manchmal gibt das Bild des Himmelbereichs alleine Himmel wieder und gibt ein Bild einschließlich fahrbahnseitiger Objekte wieder, beispielsweise Laternenmasten oder Bäume am Straßenrand. Daher ermöglicht das Extrahieren oder Entnehmen des Bildes eines Himmelbereichs hoher Helligkeit, der betont hohe Helligkeit im Himmelbereich darstellt, die Entnahme eines Bildes eines Bereichs, wo nur Himmel wiedergegeben wird.
-
Im Schritt S320 erfolgt ein Ablauf, um eine typifizierte Helligkeit des weit entfernten Fahrbahnbereichs und des Himmelbereichs basierend auf den Bildern des weit entfernten Fahrbahnbereichs und des Himmelbereichs zu berechnen. Beispielsweise wird ein Helligkeitsmittelwert von Pixeln, die in den jeweiligen Bereichen enthalten sind, als typifizierte Helligkeit berechnet. Dieser Vorgang führt zu der Fähigkeit, die Helligkeit des Himmels aus dem Bild zu erhalten, das von der fahrzeugseitigen Kamera 12 aufgenommen wird.
-
Im Schritt 330 erfolgt eine Beurteilung dahingehend, ob ein Unterbelichtungsphänomen in dem weit entfernten Fahrbahnbereich enthalten ist oder nicht, was auf dem typifizierten Helligkeitswert des weit entfernten Fahrbahnbereichs basiert. Wenn die Beurteilung im Schritt S330 positiv ist, werden die Abläufe im Schritt S340 und S350 durchgeführt, um das Vorhandensein von Nebel unter Verwendung der typifizierten Helligkeit des weit entfernten Fahrbahnbereichs und der typifizierten Helligkeit des Himmelbereichs zu beurteilen. Wenn die Beurteilung im Schritt S330 negativ ist, wird der Ablauf im Schritt S360 durchgeführt, um die Beurteilung des Vorhandenseins von Nebel basierend auf einer Kantenintensität des weit entfernten Fahrbahnbereichs zu beurteilen, das heißt basierend auf einer Rate einer Helligkeitsänderung in dem weit entfernten Fahrbahnbereich des Bilds.
-
Das heißt, mit dem im Schritt S350 durchgeführten Ablauf einer Beurteilung des Vorhandenseins von Nebel unter Verwendung der Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit des weit entfernten Fahrbahnbereichs kann, selbst wenn das Unterbelichtungsphanomen in dem weit entfernten Fahrbahnbereich auftritt, das Vorhandensein von Nebel präzise bestimmt werden. Wenn kein Unterbelichtungsphanomen in dem weit entfernten Fahrbahnbereich enthalten ist (d. h. während des Nichtauftretens des Unterbelichtungsphänomens), macht die Verwendung dieses wert entfernten Fahrbahnbereichs es möglich, das Vorhandensein von Nebel zu bestimmen.
-
Aus diesem Grund kann bei der Bildverarbeitung zur Bestimmung des Vorhandenseins von Nebel das Vorhandensein von Nebel unter Verwendung des Bilds des weit entfernten Fahrbahnbereichs während des Nichtauftretens eines Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich bestimmt werden. Während des Auftretens des Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich kann das Vorhandensein von Nebel unter Verwendung der Helligkeit des weit entfernten Fahrbahnbereichs und der Helligkeit des Himmelbereichs bestimmt werden. Somit wird der Bereich des Bildes, das von der fahrzeugseitigen Kamera 12 aufgenommen wird, zur Verwendung bei der Bestimmung des Vorhandenseins von Nebel ausgewählt (umgeschaltet). Dies erlaubt die Bestimmung des Vorhandenseins von Nebel unter Verwendung der Helligkeit des weit entfernten Fahrbahnbereichs und der Helligkeit des Himmelbereichs zu jedem Zeitpunkt. Dies führt zu einer Verringerung der Belastung in der Bildbearbeitung, die durchgeführt werden muss.
-
Der Ablauf im Schritt S360 wird auf gleiche Weise wie in der offengelegten
japanischen Patentveröffentlichung Nr. 2006-349492 in dortiger
9 beschrieben; diese Anmeldung geht auf die gleiche Anmelderin zurück und eine entsprechende Beschreibung erfolgt hier nicht.
-
Im Schritt S340 wird ein Ablauf durchgeführt, um einen Anteil (Helligkeitsverhältnis) einer typifizierten Helligkeit des weit entfernten Fahrbahnbereichs relativ zur Helligkeit des Himmelbereichs zu berechnen, wie in Formel 1 ausgedrückt. Helligkeitsverhältnis = typifizierte Helligkeit des weit entfernten Fahrbahnbereichs/typifizierte Helligkeit des Himmelbereichs. (Formel 1)
-
Im Schritt S350 wird das Helligkeitsverhältnis aus der Berechnung im Schritt S340 bei einer Wahrscheinlichkeitsverteilungsmappe gemäß 10 angewendet. Dies erlaubt die Bestimmung eine Wahrscheinlichkeit, mit der das Bild, das von der fahrzeugseitigen Kamera 12 aufgenommen wird in Nebel gehüllt ist. Unter Bezugnahme auf 10 erfolgt nachfolgend eine Beschreibung der Wahrscheinlichkeitsverteilungsmappe.
-
Wenn sich Nebel um das Fahrzeug herum bildet, haben die Helligkeit des Himmelbereichs und die Helligkeit des weit entfernten Fahrbahnbereichs angenäherte Werte. Damit verteilt sich das Verhältnis (Helligkeitsverhältnis) der Helligkeit des weit entfernten Fahrbahnbereichs zur Helligkeit des Himmelbereichs groß in einem Bereich zwischen 0,5 bis 1,0.
-
In diesem Fall wird davon ausgegangen, dass, wenn sich kein Nebel bildet, die Helligkeit des Himmelbereichs und die Helligkeit des weit entfernten Fahrbahnbereichs keine angenäherten Wert haben und die Helligkeitsverhältnisse in einem Bereich weit verteilt sind, der vom Bereich zwischen 0,5 und 1,0 abweicht. Vom vorliegenden Erfinder durchgeführte Experimente haben jedoch gezeigt, dass sich das Helligkeitsverhältnis beim Fehlen von Nebel in einem weiten Bereich einschließlich eines Bereichs in der Größenordnung von annähernd 0,5 bis 1,0 verteilt, da es Ungleichförmigkeitsschwankungen in den verteilten Bewegungsszenarien des Fahrzeugs gibt.
-
Es ist offensichtlich aus einer Verteilung des Helligkeitsverhältnisses beim Vorhandensein von Nebel und einer Verteilung des Helligkeitsverhältnisses beim Nichtvorhandensein von Nebel, dass das Helligkeitsverhältnis beim Nichtvorhandensein von Nebel in einem weiten Bereich verteilt ist, der einen Bereich in der Größenordnung von ungefähr 0,5 bis 1,0 abdeckt. Somit kann der Bereich in der Größenordnung von annähernd 0,5 bis 1,0, wo das Helligkeitsverhältnis beim Vorhandensein von Nebel weit verteilt ist, nicht klar sicherstellen, ob Nebel sich bildet oder nicht (wie in 10 gezeigt haben bei einem Helligkeitsverhältnis im Bereich von annähernd 0,5 bis 1,0 die von der fahrzeugseitigen Kamera 12 aufgenommenen Bilder die gleichen Beträge (mit eine Wahrscheinlichkeit von annähernd 50%) von Wahrscheinlichkeiten, derart, dass die Wahrscheinlichkeit des Bildes beim Vorhandensein von Nebel nahezu gleich einer Wahrscheinlichkeit des Bildes beim Nichtvorhandensein von Nebel ist wie in 10 gezeigt). Zusätzlich kann gesagt werden, dass das Helligkeitsverhältnis beim Vorhandensein von Nebel in einem Bereich (d. h. einem Bereich in der Größenordnung von annähernd 0 bis 0,5 gemäß 10) weit verteilt ist, der von dem Bereich von annähernd 0,5 bis 1,0 abweicht.
-
Folglich wird im Schritt 350 ein Ablauf durchgeführt, um eine Bestimmung unter Verwendung der Wahrscheinlichkeitsverteilungsmappe (siehe 10) zu machen, wobei, je geringer das Helligkeitsverhältnis ist, um so größer die Wahrscheinlichkeit ist, dass das von der fahrzeugseitigen Kamera 12 aufgenommene Bild nicht in Nebel gehüllt ist (sich in einem nicht-Nebel-Zustand befindet) und je größer das Helligkeitsverhältnis wird, um so geringer wird die Wahrscheinlichkeit, dass das von der fahrzeugseitigen Kamera 12 aufgenommene Bild nicht in Nebel gehüllt ist, bis zu einem Scheitelwert der Wahrscheinlichkeit (von annähernd 50%), wo die Wahrscheinlichkeit des Nichtvorhandenseins von Nebel im Bild und die Wahrscheinlichkeit des Vorhandenseins von Nebel nahezu gleich sind. Dies ermöglicht, dass das Vorhandensein von Nebel ungeachtet der Umgebungssituation des Fahrzeugs präzise bestimmbar wird.
-
Im Schritt S 350 wird das Beurteilungsergebnis hinsichtlich der Wahrscheinlichkeit, ob das von der fahrzeugseitigen Kamera 12 aufgenommene Bild sich in Nebel befindet oder nicht, über das fahrzeugseitige LAN 24 ausgegeben.
-
Bei der oben beschriebenen Ausführungsform erlaubt die Verwendung der Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit des weit entfernten Fahrbahnbereichs die Bestimmung des Vorhandenseins von Nebel. Das heißt, bei Tag und beim Nichtvorhandensein von Nebel zeigt der weit entfernte Fahrbahnbereich eine geringere Helligkeit als der Himmel um das Fahrzeug herum, ungeachtet des Unterbelichtungsphänomens, das in dem weit entfernten Bereich auftritt. Bei Tag und beim Vorhandensein von Nebel streuen die Nebelpartikel das Sonnenlicht, was bewirkt, dass die fahrzeugseitige Kamera 12 ein Bild aufnimmt, das einen insgesamt weißen Bereich zeigt. Folglich haben die Helligkeit des weit entfernten Fahrbahnbereichs und die Helligkeit des Himmels annähernd gleiche Werte. Somit kann durch Bestimmung des Vorhandenseins von Nebel mit Verwendung der Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit des weit entfernten Fahrbahnbereichs das Vorhandensein von Nebel präzise bestimmt werden.
-
Mit dem oben beschriebenen Aufbau hat die Nebelerkennungsvorrichtung für Kraftfahrzeuge gemäß der vorliegenden Erfindung die folgenden Vorteile:
Die vorliegende Erfindung befasst sich mit einer Nebelerkennungsvorrichtung für Fahrzeuge mit den Bild-in-Nebel-Bestimmungsmitteln zur Bestimmung, ob das von der fahrzeugseitigen Kamera 12 aufgenommene Bild in Nebel gehüllt ist oder nicht, den weit-entfernt-Helligkeitsermittlungsmitteln zum Ermitteln der Helligkeit des weit entfernten Fahrbahnbereichs, der den Bereich über der Fahrbahn in einer bestimmten weit entfernten Distanz vom Fahrzeug aus in dem von der fahrzeugseitigen Kamera 12 aufgenommenen Bild darstellt und die Himmelhelligkeitsermittlungsmittel zum Ermitteln der Helligkeit des Himmels um das Fahrzeug herum. Die Bild-in-Nebel-Bestimmungsmittel machen die Beurteilung unter Verwendung der Helligkeit in dem weit entfernten Fahrbahnbereich und der Helligkeit des Himmels.
-
Wenn während des Tags kein Nebel aufzieht, hat der weit entfernte Fahrbahnbereich eine geringere Helligkeit als der Himmel um das Fahrzeug herum, ungeachtet des Unterbelichtungsphänomens, das in dem weit entfernten Fahrbahnbereich auftritt. Wenn während des Tags Nebel vorhanden ist, streuen die Nebelpartikel das Sonnenlicht, was bewirkt, dass die fahrzeugseitige Kamera ein Bild aufnimmt, das insgesamt weißlich ist. Somit haben der weit entfernte Fahrbahnbereich und der Himmel annähernd den gleichen Helligkeitswert.
-
Indem somit die Helligkeit des Himmels als Vergleichsobjekt für die Helligkeit des weit entfernten Fahrbahnbereichs verwendet wird, kann das Vorhandensein von Nebel präzise bestimmt werden.
-
Wenn weiterhin kein Unterbelichtungsphänomen in dem weit entfernten Fahrbahnbereich auftritt (während eines Nichtauftretens des Unterbelichtungsphänomens), kann das Vorhandensein von Nebel bestimmt werden, indem nur der weit entfernte Fahrbahnbereich verwendet wird. Die Bild-in-Nebel-Bestimmungsmittel können daher die Bestimmung unter Verwendung des Bilds des weit entfernten Fahrbahnbereichs während des Nichtauftretens des Unterbelichtungsphänomens machen, wohingegen während des Auftretens des Unterbelichtungsphänomens die Bestimmung gemacht wird, indem die Helligkeit des weit entfernten Fahrbahnbereichs und die Helligkeit des Himmels verwendet werden.
-
Durch Auswählen (Umschalten) des Bereichs des von der fahrzeugseitigen Kamera aufgenommenen Bildes abhängig von der Existenz oder Nichtexistenz des Unterbelichtungsphänomens in dem weit entfernten Fahrbahnbereich bei der Bestimmung des Vorhandenseins von Nebel besteht somit keine Notwendigkeit, das Vorhandensein von Nebel unter Verwendung der Helligkeit des weit entfernten Fahrbahnbereichs und der Helligkeit des Himmels zu allen Zeiten zu bestimmen. Dies führt zu einer Verringerung der Belastung durch die durchzuführende Bildbearbeitung.
-
Weiterhin enthält bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung für Kraftfahrzeuge die Fahrbahnverlaufbestimmungsmittel zur Bestimmung des Verlaufs der Fahrbahn, auf der sich das Fahrzeug bewegt, in dem von der fahrzeugseitigen Kamera aufgenommenen Bild und die weit-entfernt-Fahrbahnbereichsbestimmungsmittel zur Bestimmung des weit entfernten Fahrbahnbereichs in dem Bild basierend auf dem Verlauf der Fahrbahn, der durch die Fahrbahnverlaufsbestimmungsmittel bestimmt worden ist. Dies ermöglicht, dass der weit entfernte Fahrbahnbereich in dem Bild bestimmbar wird.
-
Weiterhin enthält bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung für Kraftfahrzeuge die Himmelbereichsbildextrahiermittel zum Extrahieren oder Entnehmen des Bilds, das den Himmelbereich angibt, der den Bereich entsprechend dem Himmel um das Fahrzeug herum darstellt, aus dem von der fahrzeugseitigen Kamera aufgenommenen Bild, wobei die Himmelhelligkeitsermittlungsmittel die Helligkeit des Himmelbereichs ermitteln.
-
Weiterhin können die Himmelbereichsbildextrahiermittel bevorzugt das Bild eines Himmelbereichs hoher Helligkeit extrahieren, der eine betont hohe Helligkeit des Himmelbereichs zeigt. Es ist wahrscheinlich, dass manchmal das Bild des Himmelbereichs alleine den Himmel wiedergibt und manchmal das Bild des Himmelbereichs das Bild einschließlich fahrbahnseitiger Objekte wiedergibt, wie Laternenmasten und Bäumen am Straßenrand. Durch Extrahieren des Bildes des Bereichs betont hoher Helligkeit in dem Himmelbereich ermöglicht, dass das Bild für den Bereich extrahiert wird, der nur den Himmel wiedergibt.
-
Weiterhin können die Himmelhelligkeitsermittlungsmittel bevorzugt die Helligkeit des Himmels um das Fahrzeug herum unter Verwendung des Ausgangshelligkeitswerts eines Helligkeitssensors im Fahrzeug ermitteln. Da das Fahrzeug mit dem Helligkeitssensor zum automatischen Ein- oder Ausschalten der Scheinwerfer ausgestattet ist, beseitigt die Verwendung des Ausgangshelligkeitswerts vom Helligkeitssensor die Notwendigkeit, eine Bildverarbeitung zum Erlangen der Helligkeit des Himmelbereichs durchzuführen.
-
Wenn Nebel aufzieht, haben die Helligkeit des Himmels und die Helligkeit des weit entfernten Fahrbahnbereichs angenäherte Werte. Somit wird das Verhältnis der Helligkeit des weit entfernten Fahrbahnbereichs zum Verhältnis der Helligkeit des Himmels (d. h. Helligkeit von weit entfernten Fahrbahnbereich/Helligkeit des Himmels wird als ”Helligkeitsverhältnis” bezeichnet) eine starke Verteilung im Bereich von annähernd 0,5 bis 1,0.
-
In diesem Fall haben, wenn kein Nebel aufzieht, die Helligkeit des Himmels und die Helligkeit des weit entfernten Bereichs keine angenäherten Werte und das Helligkeitsverhältnis ist in einem Bereich, der von dem Bereich von annähernd 0,5 bis 1,0 abweicht, stark verteilt. Von dem Erfinder der vorliegenden Patentanmeldung durchgeführte Experimente haben jedoch gezeigt, dass das Helligkeitsverhältnis beim Nichtauftreten von Nebel sich in einem weiten Bereich verteilt, einschließlich des Bereichs von annähernd 0,5 bis 1,0, da die Szenerie, in der sich das Fahrzeug bewegt, nicht gleichförmig ist.
-
Man erkennt aus der Verteilung des Helligkeitsverhältnisses beim Auftreten von Nebel und der Verteilung des Helligkeitsverhältnisses beim Nichtauftreten von Nebel, dass das Helligkeitsverhältnis beim Nichtauftreten von Nebel sich in einem weiten Bereich einschließlich des Bereichs von annähernd 0,5 bis 1,0 verteilt. Damit stellt der Bereich von annähernd 0,5 bis 1,0, wo die Verteilung des Helligkeitsverhältnisses beim Auftreten von Nebel liegt, nicht völlig sicher, ob Nebel vorhanden ist oder nicht. Somit kann gesagt werden, dass der Bereich, der vom Bereich von annähernd 0,5 bis 1,0 abweicht, wo das Helligkeitsverhältnis beim Auftreten von Nebel stark verteilt ist, eine hohe Wahrscheinlichkeit hat, dass Nebel nicht vorhanden ist.
-
Weiterhin konzentriert sich bei der vorliegenden Erfindung die Nebelerkennungsvorrichtung für Kraftfahrzeuge auf die oben beschriebenen Unterscheidungspunkte. Die Bild-in-Nebel-Bestimmungsmittel führen eine Beurteilung unter Verwendung der Wahrscheinlichkeitsverteilungsmappe durch. Die Wahrscheinlichkeitsverteilungsmappe hat eine charakteristische Funktion, bei der, je kleiner das Helligkeitsverhältnis wird, das den Anteil der Helligkeit im weit entfernten Fahrbahnbereich zur Helligkeit des Himmels darstellt, umso größer die Wahrscheinlichkeit wird, dass das von der fahrzeugseitigen Kamera 12 aufgenommene Bild nicht Nebel zeigt. Im Gegensatz hierzu, wenn die Helligkeit niedriger als ein Schwellenwert ist, an dem die Wahrscheinlichkeit eines Bildes ohne Nebel und eine andere Wahrscheinlichkeit des Bildes im Nebel nahezu gleich zueinander sind und je größer das Helligkeitsverhältnis ist, umso kleiner das Helligkeitsverhältnis ist, das den Anteil der Helligkeit des weit entfernten Fahrbahnbereichs zur Helligkeit des Himmels ohne Nebel darstellt, umso kleiner die Wahrscheinlichkeit ist, das das von der fahrzeugseitigen Kamera 12 aufgenommene Bild sich nicht im Nebel befindet. Dies ermöglicht, dass das Vorhandensein von Nebel ungeachtet der Szenerie präzise bestimmbar wird, in der sich das Fahrzeug bewegt.
-
(Abwandlungen)
-
Voranstehend wurde die vorliegende Erfindung unter Bezugnahme auf eine Ausführungsform beschrieben, jedoch ist die vorliegende Erfindung nicht auf diese darstellende Ausführungsform beschränkt. Die nachfolgenden Ausführungsformen fallen unter den technischen Umfang der vorliegenden Erfindung und weiterhin kann die vorliegende Erfindung in Form verschiedener Abwandlungen neben den nachfolgenden Ausführungsformen abgewandelt werden, ohne vom Wesen und Umfang der Erfindung abzuweichen.
-
Beispielsweise wird in der oben genannten dargestellten Ausführungsform im Schritt S330 ein Ablauf durchgeführt, um zu bestimmen, ob das Unterbelichtungsphänomen in dem weit entfernten Fahrbahnbereich auftritt oder nicht und beim Nichtauftreten des Unterbelichtungsphänomens wird das Vorhandensein von Nebel unter Verwendung nur des Bildes des weit entfernten Bereichs mit dem Nichtauftreten von Unterbelichtungsphänomen-Bereichen bestimmt. In einer Alternative kann der Ablauf durchgeführt werden, um das Vorhandensein von Nebel im Schritt S350 bei Berechnung des Helligkeitsverhältnisses im Schritt S340 zu allen Zeiten mit Ausnahme des Bestimmungsvorgangs im Schritt S330 und des Vorgangs im Schritt S360 zur Bestimmung des Vorhandenseins von Nebel zu bestimmen.
-
Weiterhin wird in der dargestellten Ausführungsform während des Bildbearbeitungsvorgangs bei der Bestimmung des Vorhandenseins von Nebel in 9 der Ablauf durchgeführt, um die Helligkeit des Himmels basierend auf der typifizierten Helligkeit des Himmelbereichs zu erlangen. In dem Fall, wo der Helligkeitssensor am Fahrzeug wie in der dargestellten Ausführungsform angeordnet ist, kann der Vorgang durchgeführt werden, um die Helligkeit des Himmels um das Fahrzeug herum unter Verwendung des Ausgangshelligkeitswertes des Helligkeitssensors zu erlangen. Dies deshalb, als der Ausgangshelligkeitswert des Helligkeitssensors dazu führt, dass keine Notwendigkeit für eine Bildverarbeitung vorliegt, die zur Erlangung der Helligkeit des Himmelbereichs notwendig ist. In der dargestellten Ausführungsform wird weiterhin die weiße Linie als sich auf der Fahrbahn befindliches Verkehrszeichen zur Bestimmung des Verlaufs der Fahrbahn erkannt. Ein fahrbahnseitiges Verkehrszeichen umfasst neben der weißen Linie auch vorstehende Segmente (halbkugelförmige Höcker, pfostenartige Segmente etc.), Mittelstreifen, Spurrillen etc. Somit kann der Verlauf der Fahrbahn auch unter Erkennung dieser Faktoren bestimmt werden.
-
In der dargestellten Ausführungsform wird weiterhin der Fahrbahnabschnitt aus dem äußeren Rahmen OF des weit entfernten Fahrbahnbereichs entfernt, wobei, wenn ein Fahrzeugabschnitt vorhanden ist, dann der Bereich, aus dem der Fahrzeugabschnitt entfernt worden ist, dem weit entfernten Fahrbahnbereich zugewiesen wird. Es ist jedoch nicht wesentlich, dass der Fahrbahnabschnitt oder der Fahrzeugabschnitt entfernt werden und das Vorhandensein von Nebel kann bestimmt werden, indem das gesamte Bild des weit entfernten Fahrbahnbereichs verwendet wird.
-
In der dargestellten Ausführungsform wird weiterhin der Verlauf der Fahrbahn bestimmt, indem ein gegebener Endpunkt des Eigenfahrzeugs im Bild und die Lage des vorausfahrenden Fahrzeugs mit dem Kreisbogen verbunden wird, dessen Krümmungsradius aus dem Lenkwinkel gebildet wird. Für den Fall, dass das Millimeterwellenradar 20 nur ein Fahrzeug innerhalb eines relativ kurzen Bereichs vorderhalb und hinterhalb des Fahrzeugs erkennen kann, kann der Verlauf der Fahrbahn bestimmt werden, indem der gegebene Endpunkt des Eigenfahrzeugs und das vorausfahrende Fahrzeug mit einer geraden Linie verbunden werden. In einem solchen Fall muss der Vorgang vom Schritt S160 (zur Erkennung des Lenkwinkels) nicht durchgeführt werden. Zusätzlich kann zum Zweck der Erkennung des vorausfahrenden Fahrzeugs das Millimeterwellenradar 20 durch ein Laserradar ersetzt werden. Weiterhin kann die Erkennung einer unterscheidbaren Form, beispielsweise der Rücklichter oder eines Kennzeichens des Fahrzeugs auf dem Bild die Erkennung des vorausfahrenden Fahrzeugs ermöglichen.
-
Die voranstehende Ausführungsform wurde unter Bezugnahme auf ein Beispiel beschrieben, bei dem der äußere Rahmen OF und der nahe liegende fahrbahnseitige Bereich 32 rechteckförmig sind; es besteht keine Notwendigkeit für eine derartige Form und andere Formen wie ein Kreis oder dergleichen können verwendet werden.
