-
Die vorliegende Erfindung betrifft ein Verfahren zum Erfassen einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines auf einer Straße fahrenden Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- - Erfassen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird, und
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines F ah rspurmarkierung skandidaten.
-
Auch betrifft die Erfindung eine Sensoreinheit eines Spurhaltewarnsystems für ein Fahrzeug, die für ein Verfahren zum Erfassen einer Fahrspurmarkierung durch das Spurhaltewarnsystem des auf einer Straße fahrenden Fahrzeugs geeignet ist, wobei das Verfahren die folgenden Schritte aufweist:
- - Aufnehmen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird, und
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines Fahrspurmarkierungskandidaten.
-
Des Weiteren betrifft die vorliegende Erfindung ein nichtflüchtiges computerlesbares Medium, das darauf gespeicherte Befehle aufweist, die, wenn sie durch einen Prozessor ausgeführt werden, ein Spurhaltewarnsystem eines auf einer Straße fahrenden Fahrzeugs veranlassen, die folgenden Schritte auszuführen:
- - Aufnehmen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird, und
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines Fahrspurmarkierungskandidaten.
-
In der Terminologie des Straßenverkehrswesens ist ein Spurhaltewarnsystem ein Mechanismus, der dafür ausgelegt ist, einen Fahrer zu warnen, wenn das Fahrzeug auf Autobahnen und Hauptverkehrsstraßen beginnt, seine Fahrspur zu verlassen. Diese Systeme sind allgemein dafür ausgelegt, Kollisionen zu vermeiden, indem die Hauptursachen von Kollisionen, d.h. Fahrerfehler, Ablenkungen und Müdigkeit, betrachtet werden.
-
Es gibt verschiedene Arten von Spurhaltewarnsystemen, z.B. Systeme, die den Fahrer warnen, wenn das Fahrzeug dazu neigt, seine Fahrspur zu verlassen, und Systeme, die automatisch Maßnahmen ergreifen, um sicherzustellen, dass das Fahrzeug in seiner Fahrspur bleibt. Für solche Systeme können verschiedenartige Sensoren verwendet werden, wie beispielsweise Videosensoren im visuellen Bereich, Lasersensoren oder Infrarotsensoren. Das Arbeitsprinzip derartiger Systeme basiert allgemein auf dem Erfassen von Fahrspurlinien in einem Echtzeit-Kamerabild durch Erfassen der Ränder von Fahrspurmarkierungen. Um zu bestimmen, ob eine Fahrspurmarkierung erfasst worden ist, wird in der Praxis die Signalintensität des Bereichs zwischen dem linken Rand und dem rechten Rand der vermuteten Fahrspurmarkierung geprüft, und wenn diese Signalintensität zwischen den beiden Rändern heller ist als die beiden Signalintensitäten auf der linken Seite bzw. auf der rechten Seite dieser Ränder, wird bestimmt, dass eine gültige Fahrspurmarkierung erfasst worden ist.
-
In Westeuropa sind die Straßen im Allgemeinen einigermaßen homogen, d.h. sie haben einen hochwertigen Asphalt mit deutlichen gestrichenen Linien als Fahrspurmarkierungen. In anderen Teilen der Welt haben Straßen jedoch möglicherweise nicht die gleiche Qualität. Beispielsweise gibt es in Nordamerika üblicherweise schmale Teernähte und Dehnungsfugen, um Betonplatten auf den Straßen zu verbinden und zu reparieren. Diese Merkmale können Probleme für randbasierte Bildverarbeitungsalgorithmen von Spurhaltewarnsystemen verursachen, da sie wie die Randstrukturen aufgemalter Straßenmarkierungen erscheinen können.
-
Der Erfindung liegt daher die Aufgabe zugrunde, eine Möglichkeit anzugeben, gemäß der zuverlässig geprüft werden kann, ob die durch ein Spurhaltewarnsystem eines auf einer Straße fahrenden Fahrzeugs erfassten Ränder die Ränder einer realen Fahrspurmarkierung sind, oder ob mindestens einer der Ränder ein Artefakt z.B. aufgrund einer Teernaht ist.
-
Die Lösung dieser Aufgabe erfolgt erfindungsgemäß durch den Gegenstand der unabhängigen Ansprüche. Bevorzugte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Die Erfindung betrifft daher ein Verfahren zum Erfassen einer Fahrspurmarkierung durch ein Spurhaltewarnsystem eines auf einer Straße fahrenden Fahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- - Aufnehmen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird,
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines Fahrspurmarkierungskandidaten,
- - Bestimmen der Bildintensität entlang einer Scanlinie zwischen dem rechten Rand und dem linken Rand als innere Intensitätsscanlinie,
- - Berechnen der mittleren Bildintensität des Bildteils zwischen dem rechten Rand und dem linken Rand als mittlere innere Intensität,
- - Subtrahieren der mittleren inneren Intensität von der inneren Intensitätsscanlinie, wodurch eine subtrahierte innere Intensitätsscanlinie erhalten wird,
- - Bestimmen der Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie und
- - Akzeptieren des Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie größer ist als ein vordefinierter Nulldurchgangsschwellenwert.
-
Es ist daher eine wesentliche Idee der Erfindung, die Anzahl von Nulldurchgängen der inneren Intensitätsscanlinie zu untersuchen, von der die mittlere innere Intensität zwischen den vermuteten Rändern subtrahiert worden ist. Wenn eine reale Fahrspurmarkierung erfasst worden ist, sollte entlang der Scanlinie zwischen dem rechten Rand und dem linken Rand eine nahezu konstante Intensität vorliegen. Intensitätsänderungen in der Scanlinie sollten praktisch nur auf Rauschen des erfassten Signals zurückzuführen sein. Wenn daher die mittlere innere Intensität von der inneren Intensitätsscanlinie subtrahiert wird, sollte eine subtrahierte innere Intensitätsscanlinie erhalten werden, die im Wesentlichen entlang der Nulllinie verläuft. In diesem Fall sollten aufgrund des Rauschens des Intensitätssignals viele Nulldurchgänge auftreten.
-
Im Gegensatz dazu ändert sich, wenn mindestens auf einer Seite eine Teernaht als ein vermuteter Rand einer Fahrspurmarkierung erfasst worden ist, die Intensität außerhalb der realen Fahrspurmarkierung abrupt. Wird in einem solchen Fall die mittlere innere Intensität von der inneren Intensitätsscanlinie subtrahiert, sollte eine subtrahierte innere Intensitätsscanlinie erhalten werden, die im Bereich der realen Fahrspurmarkierung oberhalb der Nulllinie verläuft und am Übergang von der realen Fahrspurmarkierung zur Teernaht oder zum Asphalt eine Unterbrechung hat, die zu einer Scanlinie führt, die unterhalb der Nulllinie verläuft. An dieser Unterbrechung tritt ein Nulldurchgang der subtrahierten inneren Intensitätsscanlinie auf. Wenn das Signal-zu-Rausch-Verhältnis gut genug ist, sollten keine weiteren Nulldurchgänge auftreten. Auf diese Weise kann auf der Basis der Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie zuverlässig bestimmt werden, ob die Ränder eines vermuteten Fahrspurmarkierungskandidaten real sind oder nicht.
-
Im Allgemeinen reicht das oben beschriebene Verfahren aus, um zuverlässig zu prüfen, ob eine reale Fahrspurmarkierung erfasst worden ist. Gemäß einer bevorzugten Ausführungsform der Erfindung weist das Verfahren jedoch ferner die folgenden Schritte auf:
- - Berechnen der Bildintensität eines Bildabschnitts auf der rechten Seite des rechten Rands als mittlere rechte äußere Intensität,
- - Berechnen der Bildintensität eines Bildabschnitts auf der linken Seite des linken Rands als mittlere linke äußere Intensität,
- - Vergleichen der mittleren inneren Intensität mit der mittleren rechten äußeren Intensität und der mittleren linken äußeren Intensität, und
- - Akzeptieren des Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn die mittlere innere Intensität höher ist als die mittlere rechte äußere Intensität und die mittlere linke äußere Intensität.
-
Auf diese Weise wird ein zusätzlicher Test bereitgestellt, ob der Fahrspurmarkierungskandidat eine gültige Fahrspurmarkierung ist.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung weist das Verfahren die folgenden Schritte auf:
- - Prüfen des Winkels zwischen dem rechten Rand und dem linken Rand, und
- - Akzeptieren der Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn der Winkel zwischen dem rechten Rand und dem linken Rand kleiner ist als ein vordefinierter Winkelschwellenwert.
-
Dieses Verfahren bietet die Möglichkeit zu prüfen, ob der rechte Rand und der linke Rand ausreichend parallel verlaufen, was für eine reale Fahrspurmarkierung erwartet würde. In dieser Hinsicht weist das Verfahren gemäß einer bevorzugten Ausführungsform der Erfindung ferner die folgenden Schritte auf:
- - Prüfen des Abstands zwischen dem rechten und dem linken Rand, und
- - Akzeptieren des Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn der Abstand zwischen dem rechten Rand und dem linken Rand kleiner ist als ein vordefinierter Abstandsschwellenwert.
-
Auf diese Weise werden nur solche Fahrspurmarkierungskandidaten als gültige Fahrspurmarkierungen akzeptiert, deren Breite einen vordefinierten Schwellenwert nicht überschreitet. Dieser vordefinierte Schwellenwert ist auf der Basis der maximalen Breite definiert, die für Fahrspurmarkierungen in der Realität erwartet werden kann.
-
Im Allgemeinen könnte das Intensitätssignal, durch das die innere Intensitätsscanlinie erhalten wird, ohne zusätzliche Verarbeitung verwendet werden. Gemäß einer bevorzugten Ausführungsform der Erfindung weist das Verfahren jedoch die folgenden Schritte auf:
- - Unterdrücken von Rauschen der inneren Intensitätsscanlinie oder der subtrahierten inneren Intensitätsscanlinie vor dem Bestimmen der Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie.
-
Eine derartige Rauschunterdrückung kann das Signal-zu-Rausch-Verhältnis derart signifikant erhöhen, dass im Falle einer fehlerhaften Erfassung eines Rands, d.h. einer Erfassung eines Rands, der kein Rand einer realen Fahrspurmarkierung ist, nur ein einziger Nulldurchgang auftritt. Insbesondere wird in einer derartigen Situation der Nulldurchgangsschwellenwert vorzugsweise auf 1 gesetzt. Gemäß einer bevorzugten Ausführungsform der Erfindung wird die Rauschunterdrückung der inneren Intensitätsscanlinie oder der subtrahierten inneren Intensitätsscanlinie durch Median-Filterung ausgeführt. Ein Median-Filter ist ein nichtlineares digitales Filter, das Rauschen von einem Bild oder einem Signal entfernt. Insbesondere bewahrt die Median-Filterung Ränder, während Rauschen entfernt wird, was ein Median-Filter für die vorliegende Erfindung besonders geeignet macht.
-
Die Erfindung betrifft außerdem die Verwendung eines oben beschriebenen Verfahrens für ein auf einer Straße fahrendes Fahrzeug.
-
Ferner betrifft die Erfindung auch eine Sensoreinheit eines Spurhaltewarnsystems für ein Fahrzeug, die für ein Verfahren zum Erfassen einer Fahrspurmarkierung durch das Spurhaltewarnsystem des auf einer Straße fahrenden Fahrzeugs geeignet ist, wobei das Verfahren die folgenden Schritte aufweist:
- - Aufnehmen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird,
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines Fahrspurmarkierungskandidaten,
- - Bestimmen der Bildintensität entlang einer Scanlinie zwischen dem rechten Rand und dem linken Rand als innere Intensitätsscanlinie,
- - Berechnen der mittleren Bildintensität des Bildabschnitts zwischen dem rechten Rand und dem linken Rand als mittlere innere Intensität,
- - Subtrahieren der mittleren inneren Intensität von der inneren Intensitätsscanlinie, wodurch eine subtrahierte innere Intensitätsscanlinie erhalten wird,
- - Bestimmen der Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie, und
- - Akzeptieren des Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie kleiner ist als ein vordefinierter Nulldurchgangsschwellenwert.
-
Die Erfindung betrifft außerdem ein nichtflüchtiges computerlesbares Medium, das darauf gespeicherte Befehle aufweist, die, wenn sie durch einen Prozessor ausgeführt werden, ein Spurhaltewarnsystem eines auf einer Straße fahrenden Fahrzeugs veranlassen, die folgenden Schritte auszuführen:
- - Aufnehmen eines Bildes eines Teils der Straße, wo eine Fahrspurmarkierung erwartet wird,
- - Bestimmen eines rechten Rands bzw. eines linken Rands eines Fahrspurmarkierungskandidaten,
- - Bestimmen der Bildintensität entlang einer Scanlinie zwischen dem rechten Rand und dem linken Rand als innere Intensitätsscanlinie,
- - Berechnen der mittleren Bildintensität des Bildabschnitts zwischen dem rechten Rand und dem linken Rand als mittlere innere Intensität,
- - Subtrahieren der mittleren inneren Intensität von der inneren Intensitätsscanlinie, wodurch eine subtrahierte innere Intensitätsscanlinie erhalten wird,
- - Bestimmen der Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie, und
- - Akzeptieren des Fahrspurmarkierungskandidaten als eine gültige Fahrspurmarkierung nur dann, wenn die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie kleiner ist als ein vordefinierter Nulldurchgangsschwellenwert.
-
Die bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens gelten auch für die vorstehend beschriebene Sensoreinheit und das nichtflüchtige computerlesbare Medium.
-
Diese und andere Aspekte der Erfindung werden anhand der nachfolgend beschriebenen Ausführungsformen ersichtlich und erläutert. Einzelne Merkmale, die in den Ausführungsformen offenbart sind, können alleine oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere Ausführungsform übertragen werden.
-
Es zeigen:
- 1 eine schematische Ansicht einer Straße mit Fahrspurmarkierungen und Teernähten;
- 2 schematisch ein Fahrzeug mit einer Sensoreinheit eines Spurhaltewarnsystems gemäß einer bevorzugten Ausführungsform der Erfindung; und
- 3a, b schematisch eine Situation mit einer ungültigen und einer gültigen Fahrspurmarkierung und ihre Erfassung gemäß einer bevorzugten Ausführungsform der Erfindung.
-
1 zeigt eine schematische Ansicht einer Straße, die eine leichte Linkskurve beschreibt und verschiedene Fahrspurmarkierungen 2, 3, 4, 7 sowie mehrere Teernähte aufweist. Nur Teernähte 5 und 6, die sich in der Nähe der Fahrspurmarkierung 2 befinden, sind mit Bezugszeichen versehen. Die Fahrspurmarkierungen 2, 3, 4 und 7 haben eine hellere Farbe als der Rest der Straße 1 und ergeben somit eine höhere Bildintensität bei der Aufnahme von Bildern der Straße 1. Typischerweise sind die Fahrspurmarkierungen weiß oder gelb, während der Rest der Straße grau ist und die Teernähte fast schwarz sind.
-
1 zeigt vier verschiedene Fahrspurmarkierungen 2, 3, 4, 7, d.h. eine rechte äußere Fahrspurmarkierung 2 für die rechte Fahrspur, eine linke innere Fahrspurmarkierung 3 für die rechte Fahrspur, eine linke innere Fahrspurmarkierung 4 für die linke Fahrspur und eine rechte äußere Fahrspurmarkierung 7 für die linke Fahrspur. Für die folgende Erläuterung einer bevorzugten Ausführungsform der Erfindung wird nur die Fahrspurmarkierung 2 betrachtet, nämlich in zwei verschiedenen Bereichen 8 und 9. Der Bereich 8 ist ein Bereich, in dem sich die Teernähte 5, 6 in der Nähe der Fahrspurmarkierung 2 befinden, während der Bereich 9 ein Bereich ist, in dem es keine Teernähte in der Nähe der Fahrspurmarkierung 2 gibt.
-
2 zeigt schematisch ein Fahrzeug 20 mit einer Sensoreinheit eines Spurhaltewarnsystems 21 gemäß einer bevorzugten Ausführungsform der Erfindung. Die Sensoreinheit des Spurhaltewarnsystems 21 erfasst Bilder von Fahrspurmarkierungen 2 und Teernähten 6, falls vorhanden. Die Sensoreinheit des Spurhaltewarnsystems 21 ist mit dem Lenkrad 22 des Fahrzeugs 20 gekoppelt, um auf das Lenkrad 22 einzuwirken, wenn bestimmt wird, dass die Gefahr besteht, dass das Fahrzeug die aktuelle Fahrspur verlässt. Auf diese Weise kann eine Rückmeldung an den Fahrer des Fahrzeugs 20 ausgegeben werden, um ihn auf diese Gefahr für ein Verlassen der aktuellen Fahrspur aufmerksam zu machen. Alternativ oder zusätzlich kann das Spurhaltewarnsystem das Fahrzeug 20 automatisch zurück in die Fahrspur lenken.
-
Die 3a, b zeigen schematisch Bilder der durch das Spurhaltewarnsystem 21 erfassten Bereiche 8, 9. Auf der linken Seite der 3a, b sind Scanlinien 10 dargestellt. Nachdem diese Bilder der jeweiligen Teile der Straße erfasst wurden, werden ein rechter Rand 11 und ein linker Rand 12 eines Fahrspurmarkierungskandidaten erfasst. Dies kann durch auf dem Fachgebiet bekannte Standard-Bilderkennungsverfahren erfolgen.
-
Nachdem der rechte Rand 11 und der linke Rand 12 bestimmt worden sind, wird die Bildintensität entlang einer Scanlinie 10 zwischen dem rechten Rand 11 und dem linken Rand 12 als innere Intensitätsscanlinie 13 ermittelt, die ebenfalls im oberen Diagramm auf der rechten Seite dargestellt ist. Dann wird die mittlere Bildintensität des Bildabschnitts zwischen dem rechten Rand und dem linken Rand als mittlere innere Intensität berechnet, die dann von der inneren Intensitätsscanlinie 13 subtrahiert wird, wodurch eine subtrahierte innere Intensitätsscanlinie 14 erhalten wird, die im unteren Diagramm auf der rechten Seite der 2a, 2b dargestellt ist.
-
Im nächsten Schritt wird die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie 14 bestimmt. Wie aus den Diagrammen ersichtlich ist, die die subtrahierte innere Intensitätsscanlinie 14 zeigen, zeigt in einem Bereich 8, in dem sich eine Teernaht 6 in der Nähe einer Fahrspurmarkierung 2 befindet und die Teernaht 6 als der rechte Rand 11 erfasst worden ist, die subtrahierte innere Scanlinie 14 nur einen einzigen Nulldurchgang, während die subtrahierte innere Scanlinie 14, die im Bereich 9 erhalten wird, entlang der Nulllinie des Diagramms verläuft und aufgrund des Rauschens des Bildsignals mehrere Nulldurchgänge zeigt. Auf diese Weise kann auf eine zuverlässige Weise bestimmt werden, ob der Fahrspurmarkierungskandidat mit den bestimmten Rändern 11, 12 eine gültige Fahrspurmarkierung ist, indem die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie 14 geprüft wird.
-
Gemäß der hierin beschriebenen bevorzugten Ausführungsform wird der Fahrspurmarkierungskandidat nur dann als eine gültige Fahrspurmarkierung akzeptiert, wenn die Anzahl von Nulldurchgängen der subtrahierten inneren Intensitätsscanlinie 14 größer als 1 ist. Da das Rauschen des Bildsignals ziemlich hoch ist, wie aus den Diagrammen in 3a ersichtlich ist, und somit die subtrahierte innere Intensitätsscanlinie der Nulllinie nahe kommt, kann das Verfahren noch zuverlässiger gemacht werden, indem ein Median-Filter zur Rauschunterdrückung des Bildsignals verwendet wird. Auf diese Weise kann das Bild-zu-Rausch-Verhältnis wesentlich erhöht werden, und der vordefinierte Nulldurchgangsschwellenwert kann als 1 gewählt werden, ohne dass irgendeine Gefahr besteht, dass ein Fahrspurmarkierungskandidat akzeptiert wird, der eine Teernaht 6 als einen Rand 11 aufweist.
-
Bezugszeichenliste
-
- 1
- Straße
- 2
- Fahrspurmarkierung
- 3
- Fahrspurmarkierung
- 4
- Fahrspurmarkierung
- 5
- Teernaht
- 6
- Teernaht
- 7
- Fahrspurmarkierung
- 8
- Bereich mit Teernähten
- 9
- Bereich ohne Teernähte
- 10
- Scanlinien
- 11
- rechter Rand
- 12
- linker Rand
- 13
- innere Intensitätsscanlinie
- 14
- subtrahierte innere Intensitätsscanlinie
- 20
- Fahrzeug
- 21
- Sensoreinheit eines Spurhaltewarnsystems
- 22
- Lenkrad
