-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft einen Fahrbahnmarkierungserkennungsapparat (Fahrbahnmarkierungserkennungsvorrichtung) zum Erkennen von Fahrbahnmarkierungen wie etwa weißen Linien oder dergleichen, die auf einer Fahrstraße vor einem Fahrzeug vorgesehen sind.
-
Technischer Hintergrund
-
Es ist eine Technik vorgeschlagen worden, um die Positionen von linken und rechten weißen Linien auf einer Fahrstraße aus einem Bild zu erkennen, das vor einem Fahrzeug mit einer Kamera aufgenommen wird, die an dem Fahrzeug angebracht ist (siehe Absatz [0014] der japanischen Patentoffenlegungsschrift Nr. 11-147473, nachfolgend als „
JP 11-147473 A ” bezeichnet). Gemäß der in JP 11-147473 A offenbarten Technik, in der die Aufmerksamkeit auf die Tatsache gerichtet wird, dass die weißen Linien eine höhere Helligkeit (Klarheit) haben als andere Abschnitte der Straßenoberfläche, wird ein Bild in einem Bereich von etwa 5 m bis 30 m vor dem Fahrzeug seitlich (horizontal) differenziert, um ein Randbild zu erzeugen, das durch Differentialdaten repräsentiert wird. Darüber hinaus wird eine Kombination von Intervallen, bei denen ein differentieller Wert entsprechend einer Helligkeitsänderung von einem positiven Wert zu einem negativen Wert geht, und in der die Intervalle in einen Bereich fallen, der die Intervalle als weiße Linien akzeptabel macht, als horizontale Daten von Weiße-Linie-Kandidaten extrahiert (siehe Absätze [0019] bis [0021] der JP 11-147473 A).
-
Ferner wird eine vertikale Aufeinanderfolge der Weiße-Linie-Kandidaten, wie durch die horizontalen Daten repräsentiert, in dem Randbild sukzessive von einem unteren Ende des Bildschirms aus verifziert, um hierdurch weiße Linien zu erkennen (siehe Absatz [0023] und [0024] der
JP 11-147473 A ).
-
Zusammenfassung der Erfindung
-
Um weiße Linien oder dergleichen zu erkennen, die sich von einem unteren Ende des Bildschirms als gerade Linie kontinuierlich aufwärts erstrecken, wird an dem Randbild ein bekannter Typ von Gerade-Linie-Erkennungsprozess angewendet, wie etwa eine Hough-Transformation oder dergleichen.
-
Das Randbild, das durch Differenzieren des aufgenommenen Bilds erzeugt wird, enthält Ränder von anderen Fahrzeugen oder dergleichen, die vor dem Fahrer (dem Innenfahrzeug des Fahrers) fahren, d. h. andere Ränder als die weißen Linien.
-
Der Gerade-Linie-Erkennungsprozess, der auf einer Hough-Transformation beruht, ist ein Prozess zum Extrahieren eines Gradienten und eines Abschnitts eines Liniensegments von einem verrauschten Bild. Jedoch dient dieser Prozess nicht als ein Prozess zum Erfassen der Länge des Liniensegments.
-
Somit ist der Gerade-Linie-Erkennungsprozess, der auf einer Hough-Transformation beruht, in der Lage, einen Rand eines wahren Weiße-Linie-Kandidaten (Kontinuierliche-Linie-Kandidaten), der sich von einem unteren Ende des Bildschirms kontinuierlich aufwärts erstreckt, als gerade Linie zu erkennen. Jedoch ist ein solcher Gerade-Linie-Erkennungsprozess nachteilig darin, dass der Rand eines anderen Fahrzeugs (vorausfahrenden Fahrzeugs) oder dergleichen, der in einem oberen Abschnitts des Bildschirms verbleibt, irrtümlich als Weiße-Linie-Kandidat (Kontinuierliche-Linie-Kandidaten) erkannt wird. So tritt ein Problem auf, dass das andere Fahrzeug irrtümlich als weiße Linie erkannt wird.
-
Die vorliegende Erfindung ist im Hinblick auf die vorgenannten Probleme gemacht worden. Aufgabe der vorliegenden Erfindung ist es, eine Fahrbahnmarkierungserkennungsvorrichtung anzugeben, die verhindert, dass ein Rand eines anderen Fahrzeugs (vorausfahrenden Fahrzeugs) oder dergleichen, das keine Fahrbahnmarkierung ist, irrtümlich als Fahrbahnmarkierungskandidat erfasst wird.
-
Gemäß der vorliegenden Erfindung wird eine Fahrbahnmarkierungserkennungsvorrichtung angegeben, welche aufweist: eine an einem Fahrzeug angebrachte Bildaufnahmeeinheit, die ein Bild einschließlich einer Fahrstraße vor dem Fahrzeug aufnimmt; einen Randextraktor, der einen Randextraktionsprozess an dem von der Bildaufnahmeeinheit aufgenommenen Bild ausführt; einen Fahrbahnmarkierungserkenner, der Fahrbahnmarkierungen basierend auf von dem Randextraktor extrahierten Rändern erkennt; und einen Fahrbahnmarkierungskandidatbestimmer, der Ränder, die innerhalb eines Kurze-Distanz-Bereichs vor dem Fahrzeug existieren, unter den vom Randextraktor extrahierten Rändern erfasst und Fahrbahnmarkierungskandidaten basierend auf den erfassten Rändern zusammen mit den Rändern, die in einem Lange-Distanz-Bereich existieren, der vor dem Fahrzeug weiter als der Kurze-Distanz-Bereich angeordnet ist, und die sich an die erfassten Ränder anschließen, bestimmt, wobei der Fahrbahnmarkierungserkenner einen Fahrbahnmarkierungserkennungsprozess an den von dem Fahrbahnmarkierungskandidatbestimmer bestimmten Fahrbahnmarkierungskandidaten ausführt.
-
Gemäß der vorliegenden Erfindung werden Ränder, die innerhalb des Kurze-Distanz-Bereichs vor dem Fahrzeug existieren, erfasst, und werden Fahrbahnmarkierungskandidaten basierend auf den erfassten Rändern zusammen mit solchen Rändern bestimmt, die innerhalb des Lange-Distanz-Bereichs vor dem Fahrzeug weiter weg als Kurze-Distanz-Bereich existieren und die sich an die erfassten Ränder in dem Kurze-Distanz-Bereich anschließen. Daher wird verhindert, dass ein Rand, der durch ein anderes Fahrzeug (vorausfahrendes Fahrzeug) oder dergleichen repräsentiert wird, das innerhalb des Lange-Distanz-Bereich in dem aufgenommenen Bild verbleibt, irrtümlich als Fahrbahnmarkierungskandidat erkannt wird, d. h. wird als Nicht-Fahrbahnmarkierungskandidat betrachtet und ausgeschlossen. Im Ergebnis werden Ränder von anderen Fahrzeugen (vorausfahrenden Fahrzeugen) oder dergleichen, nicht irrtümlich als Fahrbahnmarkierungskandidaten erkannt.
-
Der Fahrbahnmarkierungskandidatbestimmer kann, als die Randbilder, die innerhalb des Kurze-Distanz-Bereichs existieren, solche Ränder erfassen, die sich dem Fahrzeug in jeder von vorgeschriebenen Zeiten annähern und von dem Lange-Distanz-Bereich vor dem Fahrzeug in den Kurze-Distanz-Bereich eintreten.
-
Wenn die Ränder in dem Kurze-Distanz-Bereich vor dem Fahrzeug zumindest einmal in einer Mehrzahl von aufeinander folgenden Bildern erfasst werden, die von der Bildaufnahmeeinheit aufgenommen werden, kann der Fahrbahnmarkierungskandidatbestimmer die erfassten Ränder als solche Ränder erkennen, die innerhalb des Kurze-Distanz-Bereichs existieren.
-
Das Fahrzeug kann einen Gierratensensor für das Fahrzeug und/oder einen Lenkwinkelsensor für die Lenkrad enthalten, und ein Bereich vor dem Fahrzeug kann basierend auf Ausgangssignalen von dem Gierratensensor und/oder dem Lenkwinkelsensor bestimmt werden.
-
Der Fahrbahnmarkierungsbestimmer ist bevorzugt derart angeordnet, dass, wenn die Fahrzeuggeschwindigkeit des Fahrzeugs höher wird, eine Bildreichweite innerhalb des Kurze-Distanz-Bereichs in vorwärtiger Richtung des Fahrzeugs kürzer gesetzt wird.
-
In jedem der obigen Merkmale der vorliegenden Erfindung kann ein Rand, der innerhalb des Lange-Distanz-Bereichs vor dem Fahrzeug existiert und nach einer vorbestimmten Zeit innerhalb des Lange-Distanz-Bereichs verbleibt, ausgeschlossen werden, so dass er nicht als Fahrbahnmarkierungskandidat behandelt wird. Auf diese Weise ist es möglich, die Genauigkeit zu erhöhen und zu vermeiden, dass der Rand eines anderen Fahrzeugs (vorausfahrenden Fahrzeugs), dessen Relativgeschwindigkeit in der Nähe des Fahrzeugs liegt, irrtümlich als Fahrbahnmarkierungskandidat erfasst wird.
-
Gemäß der vorliegenden Erfindung können Ränder, die nicht in den Kurze-Distanz-Bereich vor dem Fahrzeug eingetreten sind, d. h. Ränder, die innerhalb des Lange-Distanz-Bereichs verbleiben, von den Fahrbahnmarkierungskandidaten ausgeschlossen werden. Daher wird verhindert, dass der Rand eines anderen Fahrzeugs (vorausfahrenden Fahrzeugs) oder dergleichen, der innerhalb des Lange-Distanz-Bereichs verbleibt, irrtümlich als Fahrbahnmarkierungskandidat erkannt wird, d. h. er wird als Nicht-Fahrbahnmarkierungskandidat betrachtet und ausgeschlossen. Im Ergebnis werden andere Fahrzeuge (vorausfahrende Fahrzeuge) oder dergleichen nicht irrtümlich als Fahrbahnmarkierungen erkannt.
-
Kurze Beschreibung der Zeichnungen
-
1 ist ein Blockdiagramm eines Fahrzeugs, das eine Fahrbahnmarkierungserkennungsvorrichtung gemäß einer Ausführung der vorliegenden Erfindung enthält;
-
2 ist ein Flussdiagramm einer Betriebssequenz der in 1 gezeigten Fahrbahnmarkierungserkennungsvorrichtung;
-
3A ist ein Diagramm, das ein Gesamtbild zeigt, das aus Rändern zusammengesetzt ist, die aus einem aufgenommenen Bild extrahiert sind;
-
3B ist ein Diagramm, das das Gesamtbild zeigt, das in einen Kurzdistanzbereich und einen Langdistanzbereich unterteilt ist;
-
4A ist ein Diagramm, das einen Randextraktionsprozess in dem Kurzdistanzbereich darstellt;
-
4B ist ein Diagramm, das einen Prozess zum Extrahieren von Fahrbahnmarkierungskandidaten darstellt;
-
5 ist ein Diagramm, das einen Prozess zum Ausschließen eines Rands darstellt, der eine Reflexion repräsentiert; und
-
6 ist ein Diagramm, das einen Prozess zum Extrahieren von Fahrbahnmarkierungskandidaten darstellt.
-
Beschreibung der Ausführungen
-
Nachfolgend wird eine Ausführung der vorliegenden Erfindung im Bezug auf die beigefügten Zeichnungen im Detail beschrieben.
-
1 zeigt eine allgemeine Konfiguration eines Fahrzeugs 12, in das eine Fahrbahnmarkierungserkennungsvorrichtung 10 gemäß einer Ausführung der vorliegenden Erfindung eingebaut ist.
-
Die Fahrbahnmarkierungserkennungsvorrichtung 10 ist als Teil der Funktionen einer Fahrunterstützungsvorrichtung 14 konfiguriert, die in das Fahrzeug 12 eingebaut ist, um den Fahrer des Fahrzeugs 12 beim Lenken und Bremsen des Fahrzeugs 12 zu unterstützen, wenn das Fahrzeug auf einer Fahrstraße entlang der Fahrbahnmarkierungen fährt.
-
Der Begriff „Fahrbahnmarkierungen” bezieht sich auf Markierungen, die Fahrbahngrenzen angeben, und enthält durchgehende Linien (auch als quasi-durchgehende Linien bezeichnet), die aus unterbrochenen weißen Linien (Liniensegmenten) aufgebaut sind, die mit Abstandsintervallen angeordnet sind, kontinuierliche Linien, die aus durchgehenden weißen Linien aufgebaut sind, und aufeinander folgende Markierungen wie etwa Botts-Punkte, Katzenaugen oder dergleichen (die auch als quasi-durchgehende Linien angesehen werden können).
-
Die Fahrbahnmarkierungserkennungsvorrichtung 10 gemäß der vorliegenden Ausführung enthält grundlegend eine Kamera (Bildaufnahmeeinheit) 16 zum Aufnehmen von Bildern eines Bereichs vor dem Fahrzeug 12 sowie eine elektronische Steuereinheit (ECU) 20 zum Erkennen von Fahrbahnmarkierungen aus einem Bild, das von der Kamera 16 aufgenommen wird.
-
Die Kamera 16 ist an einem oberen Abschnitt der vorderen Windschutzscheibe des Fahrzeugs 12 angebracht und nimmt ein Bild einschließlich der Fahrstraße vor dem Fahrzeug 12 durch die vordere Windschutzscheibe auf. Insbesondere weist die Kamera 16 zum Beispiel eine Digitalkamera auf und nimmt mehrere zehn Bilder (z. B. 30 Einzelbilder) pro Sekunde auf. An der Kamera 16 ist ein Ist-Raum-Koordinatensystem definiert, dessen Ursprung an der Befestigung der Kamera 16 angeordnet ist. Die X-Achse des Ist-Raum-Koordinatensystems erstreckt sich entlang einer Breitenrichtung (horizontalen Richtung) des Fahrzeugs 12, dessen Y-Achse erstreckt sich entlang einer Fahrzeugachsrichtung (Richtung, in der das Fahrzeug 12 fährt, d. h. einer vorwärtigen Richtung), und dessen Z-Achse erstreckt sich entlang einer Höhenrichtung (vertikalen Richtung) des Fahrzeugs 12.
-
Die Fahrbahnmarkierungserkennungsvorrichtung 10 enthält auch, abgesehen von der Kamera 16 und der ECU 20, einen Geschwindigkeitssensor 22, einen Gierratensensor 24 sowie einen Lenkwinkelsensor 26.
-
Der Geschwindigkeitssensor 22 gibt ein Geschwindigkeitssignal aus, das die Fahrzeuggeschwindigkeit (m/s) des Fahrzeugs 12 repräsentiert. Der Gierratensensor 24 gibt, als Gierrate (Grad/s), ein Drehgeschwindigkeitssignal aus, das eine Änderung im Drehwinkel des Fahrzeugs 12 in Richtung einer Kurve repräsentiert.
-
Der Lenkwinkelsensor 26 gibt ein Lenkwinkelsignal aus, das einen Lenkwinkel (Grad) einer Lenkvorrichtung des Fahrzeugs 12 repräsentiert.
-
Die ECU 20 berechnet, aus dem Ausgangssignal von dem Gierratensensor 24 oder dem Lenkwinkelsensor 26, eine Fahrtrichtung des Fahrzeugs 12, d. h. eine Neigung oder einen Lenkwinkel zur X-Achsen-Richtung auf einer XY-Ebene, deren X-Achse sich entlang einer Breitenrichtung des Fahrzeugs 12 erstreckt und deren Y-Achse sich entlang einer Richtung vor dem Fahrzeug 12 0 (Grad) (Referenz) erstreckt.
-
Die ECU 20 weist einen Computer auf, wie etwa einen Mikrocomputer oder dergleichen und enthält eine zentrale Prozessoreinheit (CPU), einen Festwertspeicher (ROM einschließlich EEPROM) und einen Direktzugriffsspeicher (RAM), der als Speicher dient, Eingabe- und Ausgabevorrichtungen wie etwa einen A/D-Wandler, einen D/A-Wandler, etc., sowie einen Timer, der als Zeitgebereinheit dient. Die ECU fungiert als verschiedene Funktionen ausführende Abschnitte (Funktionsausführungsmittel), wenn die CPU ein im ROM aufgezeichnetes Programm liest und ausführt.
-
Gemäß der vorliegenden Erfindung fungiert die ECU 20 als Randextraktor 32, als Kurze-Distanz-Setzabschnitt 36, als Kandidatfilterabschnitt 40, als Fahrbahnmarkierungskandidatenbestimmer 41, und als Fahrbahnmarkierungserkenner 42. Da der Kurze-Distanz-Setzabschnitt 36 und der Kandidatfilterabschnitt 40 verwendet werden, wenn ein Prozess zum Bestimmen von Fahrbahnmarkierungskandidaten ausgeführt wird, können der Kurze-Distanz-Setzabschnitt 36 und der Kandidatfilterabschnitt 40 als Funktionen des Fahrbahnmarkierungskandidatbestimmers 41 implementiert werden, d. h. sie können als Abschnitte des Fahrbahnmarkierungskandidatbestimmers 41 enthalten sein.
-
Die ECU 20 ist auch mit einem Bildspeicher 30, einem Fahrbahnmarkierungskandidatspeicher 34 und einem Kurze-Distanz-Speicher 38, die als Speichervorrichtungen dienen, versehen.
-
Die Fahrunterstützungsvorrichtung 14 ist, wie die oben beschriebene Fahrbahnmarkierungserkennungsvorrichtung 10, konfiguriert mit einer Lenkvorrichtung 50, einer Bremsvorrichtung 52 und einer Beschleunigervorrichtung 54, die dort hinzugefügt sind. Basierend auf Fahrbahnmarkierungen, die durch die Fahrbahnmarkierungserkennungsvorrichtung 10 erkannt werden, steuert/regelt die Fahrunterstützungsvorrichtung 14 die Lenkvorrichtung 50, die Bremsvorrichtung 52 und die Beschleunigervorrichtung 54 unter vorgeschriebenen Bedingungen, um den Fahrer des Fahrzeugs 12 beim Fahren des Fahrzeugs 12 zu unterstützen, ohne von einer Fahrstraße abzuweichen, d. h. einer Fahrbahn, die zwischen Fahrbahnmarkierungen definiert ist, oder anders ausgedrückt, beim Fahren des Fahrzeugs 12 im Wesentlichen entlang der Mitte der Fahrbahn.
-
Nachfolgend werden die Operationen der Fahrbahnmarkierungserkennungsvorrichtung 10, die in die Fahrunterstützungsvorrichtung 14 des Fahrzeugs 12 eingebaut ist, das grundlegend wie oben beschrieben konstruiert ist, im Bezug auf das in 2 gezeigte Flussdiagramm beschrieben.
-
Gemäß der vorliegenden Ausführung liest, in Schritt S1, die ECU 20 ein aufgenommenes Bild (ein Grauwertbild, das ein mehrwertiges Bild ist), in den Bildspeicher 30 ein, jedes Mal, wenn ein Bild, als Bild vor dem Fahrzeug, von der Kamera 16 pro vorgeschriebener Zeit aufgenommen wird.
-
In Schritt S2 liest der Randextraktor 32 Bilder, deren Klarheit gleich oder größer als die vorgeschriebene Klarheit ist, d. h., deren Helligkeit auf der Straßenoberfläche gleich oder größer als eine vorgeschriebene Helligkeit ist, aus dem von der Kamera 16 aufgenommenen Bild. Dann binärisiert der Randextraktor 32 die ausgelesenen Bilder und differenziert das Gesamtbild, während es linienweise horizontal abtastet, und bei Bedarf nach vorne, um hierdurch Ränder (Bildränder) des Gesamtbilds zu extrahieren.
-
In Schritt S2 liest (und speichert) der Randextraktor 32 auch die extrahierten Ränder des Gesamtbilds als Fahrbahnmarkierungskandidaten in den Fahrbahnmarkierungskandidatenspeicher 34.
-
Die Ränder des Gesamtbilds können in Draufsichtränder abgewandelt werden, bei Betrachtung vertikal von oben (Draufsichtbildränder) und dann können die Draufsichtbildränder in den Fahrbahnmarkierungskandidatenspeicher 34 gelesen werden. Danach können die Draufsichtbildränder bearbeitet werden, wie nachfolgend beschrieben.
-
3A zeigt schematisch ein Bild 60 (auch als Randbild bezeichnet), das Ränder 62a bis 62d, 64a bis 64d, 66 enthält, als Fahrbahnmarkierungskandidaten, die in den Fahrbahnmarkierungskandidatenspeicher 34 eingelesen worden sind.
-
Wenn das Fahrzeug auf einer kurvigen Straße oder dergleichen fährt, wird ein gekrümmtes Bild 60 (Ränder 62a bis 62d und 64a bis 64d) entlang der kurvigen Straße, bevorzugt in ein gerades Bild 60 entlang einer simulierten Straße korrigiert, basierend auf Ausgangssignalen von dem Gierratensensor 24 und/oder dem Lenkwinkelsensor 26. Anders ausgedrückt, die Fahrtrichtung des Fahrzeugs wird bevorzugt in einer Y-Achs-Richtung (Vorwärtsrichtung) korrigiert, wonach der Prozess zum Bestimmen von Fahrbahnmarkierungskandidaten ausgeführt wird.
-
Alternativ braucht das gekrümmte Bild 60 nicht notwendigerweise in ein gerades Bild 60 entlang einer simulierten Straße korrigiert zu werden, sondern der Prozess zum Bestimmen von Fahrbahnmarkierungskandidaten kann auch basierend auf Ausgangssignalen von dem Gierratensensor 24 und/oder dem Lenkwinkelsensor 26 ausgeführt werden.
-
Der Fahrbahnmarkierungskandidatenspeicher 34 weist einen Pixelbereich von 0 bis horizontal Xmax (Pixelanzahl) und vertikal Ymax (Pixelanzahl) auf (Gesamtzahl von Pixeln = Xmax × Ymax). Das horizontale Xmax (Pixelanzahl) entspricht allgemein einem Bild über die horizontale Breite (X-Achsen-Breite) des aufgenommenen Bilds, wohingegen das vertikale Ymax (Pixelanzahl) allgemein einem Bild über die vertikale Breite (Y-Achsen-Breite) des aufgenommenen Bilds entspricht. Der Ursprung der Kamera 16 entspricht einer Pixelposition, definiert durch Xmax/2 auf der X-Achse, und einer Pixelposition, definiert durch 0 auf der Y-Achse.
-
In der Realität enthält das im Fahrbahnmarkierungskandidatenspeicher 34 gespeicherte Randbild Ränder (auch als Randbilder bezeichnet) 62a bis 62d und 64a bis 64d, die Fahrbahnmarkierungskandidaten sind, welche wahre Fahrbahnmarkierungen sind, und einen Rand 66 (auch als Randbild bezeichnet), der keine Fahrbahnmarkierung ist, sondern ein vorausfahrendes Fahrzeug (anderes Fahrzeug), obwohl es als Fahrbahnmarkierungskandidat behandelt wird. Ferner enthält, obwohl nicht gezeigt, das Randbild 60 auch Ränder, die durch starkes Rauschen repräsentiert sind, und die auch als Fahrbahnmarkierungskandidaten behandelt werden.
-
In Schritt S3 setzt, um Ränder (Fahrbahnmarkierungskandidatränder) innerhalb eines Kurze-Distanz-Bereichs von dem Randbild 60 zu extrahieren (zu erfassen), der Kurze-Distanz-Setzabschnitt 36 (auch als Kurze-Distanz-Bereich-Bildreichweite-Setzabschnitt bezeichnet) in dem Randbild 60, wie in 3B gezeigt, eine Bildreichweite des Kurze-Distanz-Bereichs Dn in Abhängigkeit von der Fahrzeuggeschwindigkeit von dem Geschwindigkeitssensor 22. Ferner liest der Kurze-Distanz-Setzabschnitt 36 ein Randbild 60n, das Fahrbahnmarkierungskandidaten repräsentiert, die innerhalb des gesetzten Kurze-Distanz-Bereichs Dn enthalten sind, in den Kurze-Distanz-Speicher 38. Auf Autobahnen mit erzwungenen Maximalgeschwindigkeiten kann die Bildreichweite des Kurze-Distanz-Bereichs Dn als fester Bereich gesetzt werden, im Hinblick auf die Tatsache, dass die Fahrzeuggeschwindigkeit des Fahrzeugs 12 allgemein konstant bleibt.
-
Gemäß der vorliegenden Ausführung wird, von 0 [m] bis y1 [m] (y1 [m] = 10 [m] bis 15 [m]) vor dem Fahrzeug 12, in Abhängigkeit von der Fahrzeuggeschwindigkeit, je höher die Fahrzeuggeschwindigkeit wird, die Bildreichweite (0 bis Pixelanzahl Y1) in dem Kurze-Distanz-Bereich Dn in der vorwärtigen Richtung (Y-Achs-Richtung) des Fahrzeugs 12 umso kürzer gesetzt (die Pixelanzahl Y1 wird auf einen kleineren Wert gesetzt). In anderen Worten, da die Dauer, während der ein von der Kamera 16 aufgenommenes Einzelbild das gleiche bleibt, je höher die Fahrzeuggeschwindigkeit ist, desto länger wird die Distanz (die Distanz ymax [m] entsprechend Pixelposition Ymax auf der in 3A gezeigten Y-Achse) in der vorwärtigen Richtung des Fahrzeugs, die von dem Einzelbild abgedeckt (gezeigt) ist. Demzufolge kann die Bildreichweite (0 bis Y1) innerhalb des Kurze-Distanz-Bereichs Dn in der vorwärtigen Richtung des Fahrzeugs auf einen kleineren Wert gesetzt werden.
-
In 3B präsentiert Y1 auf der Y-Achse die vertikale Pixelanzahl Y1 [Pixel] entsprechend der Distanz y1 [m]. Wie in 3B gezeigt, weist der Kurze-Distanz-Speicher 38 horizontale Xmax [Pixel] mal vertikale Y1 [Pixel] (Pixelanzahl = Xmax × Y1) auf, um das Randbild 60n als einen Abschnitt des Bilds 60 zu lesen.
-
Das Randbild 60 ist zusammengesetzt aus dem Randbild 60n innerhalb des Kurze-Distanz-Bereichs Dn, und einem Randbild 60f innerhalb des Lange-Distanz-Bereichs Df, der vor dem Kurze-Distanz-Bereich Dn angeordnet ist. Der Kurze-Distanz-Bereich Dn und der Lange-Distanz-Bereich Df werden gemeinsam als Gesamtbereich Dall bezeichnet.
-
Der Fahrbahnmarkierungskandidatspeicher 34 ist aufgebaut aus dem Kurze-Distanz-Speicher 38 zum Lesen des Randbilds 60n innerhalb des Kurze-Distanz-Bereichs Dn, und einem Lange-Distanz-Speicher 39 zum Lesen des Randbilds 60f innerhalb des Lange-Distanz-Bereichs Df.
-
In Schritt S3 wird, zum Extrahieren von Fahrbahnmarkierungskandidaträndem von dem Randbild 60n innerhalb des Kurze-Distanz-Bereichs Dn, entschieden, ob Fahrbahnmarkierungskandidatränder innerhalb des Kurze-Distanz-Bereichs Dn existieren oder nicht. Um diese Entscheidung zu fällen, führt der Kandidatfilterabschnitt 40 einen Filterprozess, mit einem FIR-Filter oder einem IIR-Filter, an dem Randbild 60n innerhalb des Kurze-Distanz-Bereichs Dn über mehrere aufeinander folgende Einzelbilder durch.
-
Wenn Fahrbahnmarkierungskandidatränder in zumindest einem der Einzelbilder (frames) erfasst werden und/oder wenn Fahrbahnmarkierungskandidatränder, die an dem Lange-Distanz-Bereich Df in den Kurze-Distanz-Bereich Dn eingetreten sind, durch den obigen Filterprozess erfasst werden, dann werden, wie in 4A gezeigt, bandartige schraffierte Flächen 72, 74 innerhalb des Kurze-Distanz-Bereichs Dn als Bereiche extrahiert, in denen bestimmt wird, dass Fahrbahnmarkierungskandidatränder 62a, 62b, 64a, 64b existieren.
-
Insbesondere werden, wie in 4A gezeigt, in dem Randbild 60n innerhalb des Kurze-Distanz-Bereichs Dn nur solche Ränder der bandartigen schraffierten Flächen 72, 74, die innerhalb einer Reichweite von Pixelpositionen Xa bis Xb innerhalb einer Reichweite von Pixelpositionen Xc bis Xd liegen, als Fahrbahnmarkierungskandidatränder 62a, 62b, 64a, 64b innerhalb des Kurze-Distanz-Bereichs Dn extrahiert. Die Breite von jeder der bandartigen schraffierten Flächen 72, 74 entlang der X-Achsen-Richtung ist, um einen schmalen Bereich, größer als die Breite von jeder der Fahrbahnmarkierungskandidatränder 62a, 62b, 64a, 64b entlang der X-Achsen-Richtung.
-
In Schritt S4 extrahiert der Fahrbahnmarkierungserkenner 42 gerade Linien durch Ausführung eines Gerade-Linien-Erfassungsprozesses, wie etwa der vorgenannten Hough-Transformation, an dem gesamten Randbild 60.
-
4B zeigt gerade Linien 75, 76, 77, die durch den Gerade-Linie-Erfassungsprozess in Schritt S4 erfasst worden sind.
-
In Schritt S5 extrahiert der Fahrbahnmarkierungskandidatbestimmer 41, als Fahrbahnmarkierungskandidaten, die geraden Linien 75 und 77, in denen die Fahrbahnmarkierungskandidatränder 62a, 62b, 64a, 64b innerhalb des Kurze-Distanz-Bereichs Dn auf den geraden Linien 75, 76 und 77 und in der Nähe davon existieren.
-
Die gerade Linie 76, die basierend auf dem Rand (Randbild) 66 des vorausfahrenden Fahrzeugs (anderen Fahrzeugs) erfasst wird, das innerhalb des Lange-Distanz-Bereichs Df verbleibt, ist frei von Fahrbahnmarkierungskandidaträndem, die innerhalb des Kurze-Distanz-Bereichs Dn liegen. Daher wird die gerade Linie 76 nicht als Fahrbahnmarkierungskandidat extrahiert, d. h. die gerade Linie 76 und der Rand 66 werden als Nicht-Fahrbahnmarkierungskandidaten betrachtet und ausgeschlossen.
-
Da ähnlich, wie in 5 gezeigt, ein Rand 68, der innerhalb des Lange-Distanz-Bereichs Df verbleibt und eine Reflektion oder dergleichen repräsentiert, frei von Fahrbahnmarkierungskandidaträndem innerhalb des Kurze-Distanz-Bereichs Dn auf einer durch die Hough-Transformation erzeugten geraden Linie 78 und in der Nähe davon ist, werden die gerade Linie 78 und der Rand 68 nicht als Fahrbahnmarkierungskandidaten extrahiert, d. h. die gerade Linie 78 und der Rand 68 werden als Nicht-Fahrbahnmarkierungskandidaten betrachtet und ausgeschlossen.
-
In Schritt 6 erkennt der Fahrbahnmarkierungserkenner 42 die Fahrbahnmarkierungskandidatränder 62a bis 62d und 64a bis 64d, die auf den geraden Linien 75, 77, die die in 4B gezeigten Fahrbahnmarkierungskandidaten sind, und in der Nähe davon liegen, als Fahrbahnmarkierungen 82, 84 (siehe 6), zwischen denen das Fahrzeug 12 momentan mittig entlang der Fahrbahn fährt.
-
Basierend auf den Fahrbahnmarkierungen 82, 84, die wie oben beschrieben erkannt worden sind, steuert/regelt die Fahrunterstützungsvorrichtung 14 die Lenkvorrichtung 50 etc., um den Fahrer des Fahrzeugs 12 zu unterstützen und zu verhindern, dass das Fahrzeug 12 von der Fahrbahn zwischen den Fahrbahnmarkierungen 82, 24 abkommt. Anders ausgedrückt, die Fahrunterstützungsvorrichtung 14 stellt sicher, dass das Fahrzeug 12 mittig entlang der Fahrbahn fährt.
-
[Überblick der Ausführung]
-
Wie oben beschrieben, ist die Fahrbahnmarkierungserkennungsvorrichtung 10 gemäß der vorliegenden Ausführung versehen mit der Kamera (Bildaufnahmeeinheit) 16, die am Fahrzeug 12 angebracht ist, um ein Bild einschließlich einer Fahrstraße vor dem Fahrzeug 12 aufzunehmen, dem Randextraktor 32, der einen Randextraktionsprozess an dem von der Kamera 16 aufgenommenen Bild ausführt, dem Fahrbahnmarkierungserkenner 42, der Fahrbahnmarkierungen 82 (Ränder 62a bis 62d), 84 (64a bis 64d) basierend auf einem von dem Randextraktor 32 extrahierten Randbild (Rand) 60 erkennt, und dem Fahrbahnmarkierungskandidatbestimmer 41.
-
Gemäß der vorliegenden Ausführung erfasst, wie in 4A gezeigt, der Fahrbahnmarkierungskandidatbestimmer 41, der im Wesentlichen den Kurze-Distanz-Setzabschnitt 36 und den Kandidatfilterabschnitt 40 enthält, Ränder 62a, 62b, 64a, 64b, die innerhalb des Kurze-Distanz-Bereichs Dn vor dem Fahrzeug 12 des Randbilds (Rands) 60 existieren, das von dem Randextraktor 32 extrahiert wird. Darüber hinaus bestimmt der Fahrbahnmarkierungskandidatbestimmer 41 gerade Linien 75, 77 und Ränder 62s bis 62d und 64a bis 64d als Fahrbahnmarkierungskandidat basierend auf den erfassten Rändern 62a, 62b, 64a, 64b zusammen mit Rändern 62c, 6d, 64c, 64d, die innerhalb des Lange-Distanz-Bereichs Df vor dem Fahrzeug 12 existieren und die sich an die erfassten Ränder 62a, 62b, 64a, 64b anschließen.
-
Der Fahrbahnmarkierungserkenner 42 führt einen Fahrbahnmarkierungserkennungsprozess an den geraden Linien 75, 77 und den Rändern 62a bis 62d und 64a bis 64d durch, die von dem Fahrbahnmarkierungskandidatbestimmer 41 als Fahrbahnmarkierungskandidaten bestimmt worden sind, um hierdurch die Fahrbahnmarkierungen 82, 84 zu erkennen.
-
Wenn der Kurze-Distanz-Bereich Dn designiert wird, wird der Erkennungsprozess an dem Rand 66 ausgeschlossen, der durch ein anderes Fahrzeug (vorausfahrendes Fahrzeug) oder dergleichen repräsentiert wird, das an dem gleichen Ort innerhalb des Lange-Distanz-Bereichs Df des aufgenommenen Bilds verbleibt. Daher wird verhindert, dass der Rand 66, der durch ein anderes Fahrzeug (vorausfahrendes Fahrzeug) oder dergleichen repräsentiert wird, das innerhalb des Lange-Distanz-Bereichs Df verbleibt, irrtümlich als Fahrbahnmarkierungskandidat erkannt wird, d. h. er wird als Nicht-Fahrbahnmarkierungskandidat ausgeschlossen. Infolgedessen wird das andere Fahrzeug (vorausfahrende Fahrzeug) oder dergleichen nicht irrtümlich als Fahrbahnmarkierung erkannt.
-
Der Kandidatfilterabschnitt 40 des Fahrbahnmarkierungskandidatbestimmers 41 kann, als Ränder, die innerhalb des Kurze-Distanz-Bereichs existieren, solche Ränder 62b, 64b (siehe 4A) erfassen, die sich dem Fahrzeug in jeder von vorbestimmten Zeiten annähern und von dem Lange-Distanz-Bereich Df vor dem Fahrzeug 12 in den Kurze-Distanz-Bereich Dn eintreten.
-
Wenn die Ränder 62a, 62b oder die Ränder 64a, 64b zumindest einmal innerhalb des Kurze-Distanz-Bereichs Dn vor dem Fahrzeug 12 in mehreren von der Kamera 16 aufgenommenen aufeinander folgenden Bilder erfasst werden, kann der Kandidatfilterabschnitt 40 des Fahrbahnmarkierungskandidatbestimmers 41 auch die Ränder 62a, 62b oder die Ränder 64a, 64b als jene Ränder 62a, 62b oder jene Ränder 64a, 64b erfassen, die innerhalb des Kurze-Distanz-Bereichs Dn existieren.
-
Ein Bereich vor dem Fahrzeug 12 kann basierend auf den Ausgangssignalen von dem Gierratensensor 24 und/oder dem Lenkwinkelsensor 26 bestimmt werden.
-
Der Fahrbahnmarkierungskandidatbestimmer 41 kann auch die Größe der Bildreichweite vor dem Fahrzeug bestimmen, der als Kurze-Distanz-Bereich Dn gesetzt ist, derart, dass die Bildreichweite kleiner wird, wenn die Fahrzeuggeschwindigkeit des Fahrzeugs 12, die vom Geschwindigkeitssensor 22 erfasst wird, zunimmt. Dies beruht auf der Tatsache, dass, wenn die Fahrzeuggeschwindigkeit höher wird, die Ränder 62a, 62b und die Ränder 64a, 64b zuverlässig in die Bildreichweite des Kurze-Distanz-Bereichs Dn eintreten, obwohl die Bildreichweite (Kurze-Distanz-Bereich Dn) kleiner ist.
-
Gemäß der obigen Ausführung wird das Randbild (Rand) 60n (62a, 62b, 64a, 64b), das innerhalb des Kurze-Distanz-Bereichs Dn vor dem Fahrzeug 12 existiert, unter dem Randbild (Rand) 60 (62a bis 62d, 64a bis 64d, 66) erfasst, das von dem Randextraktor 32 extrahiert wird. Darüber hinaus werden Fahrbahnmarkierungskandidaten basierend auf dem erfassten Randbild (Rand) 60n (62a, 62b, 64a, 64b) und dem sich anschließenden Randbild (Rand) 60f (62b bis 62d, 64b bis 64d) in dem Lange-Distanz-Bereich Df, der vor dem Fahrzeug 12 weiter als das Randbild (Rand) 60n (62a, 62b, 64a, 64b) existiert, bestimmt. Jedoch kann, gemäß einem umgekehrten Prozess, der Fahrbahnmarkierungskandidatbestimmer 41 das Randbild (Rand) 60n (62b bis 62d, 64b bis 64d, 66), das innerhalb des Lange-Distanz-Bereichs Df vor dem Fahrzeug 12 existiert, auch unter dem Randbild (Rand) 60 (62a bis 62d, 66, 64a bis 64f), das von dem Randextraktor extrahiert wird, erfassen, und dann gerade Linien 75, 77 und Randbilder (Ränder) (62a bis 62d und 64a bis 64d) als Fahrbahnmarkierungskandidaten auf der Basis des erfassten Randbilds (Rands) 60f und des Randbilds (Rands) 60n (62a, 64a) bestimmen, das innerhalb des Kurze-Distanz-Bereichs Dn existiert, der dem Fahrzeug 12 näher ist als das Randbild (Rand) 60f, und das sich an das Randbild (Rand) 60f (62b bis 62d, 64b bis 64d) anschließt. Ferner kann der Fahrbahnmarkierungserkenner 42 Fahrbahnmarkierungen 82, 84 erkennen, indem er einen Fahrbahnmarkierungserkennungsprozess an den geraden Linien 75, 77 und den Randbildern (Rändern) (62a bis 62d und 64a bis 64d), die durch den Fahrbahnmarkierungskandidatbestimmer 41 bestimmt worden sind, ausführt.
-
Die vorliegende Erfindung ist nicht auf die obige Ausführung beschränkt, sondern es können darin basierend auf der Offenbarung der obigen Beschreibung verschiedene Anordnungen angewendet werden.
