VERFAHREN ZUR BEURTEILUNG EINER VERKEHRSSITUATION FÜR EIN FAHRZEUG SOWIE FAHRERASSISTENZSYSTEM FÜR EIN FAHRZEUG
Die Erfindung geht aus von einem Verfahren zur Beurteilung einer Verkehrssituation für ein Fahrzeug sowie von einem Fahrerassistenzsystem für ein Fahrzeug nach der Gattung der unabhängigen Ansprüche.
Verkehrszeichen sind laut Straßenverkehrsordnung an der Straße aufgestellte Schilder oder auf der Fahrbahn markierte Symbole Schriften und Linien. Sie dienen dazu, den Verkehrsfluss zu beeinflussen beziehungsweise zu regeln. Durch das Wiener Übereinkommen über Straßenverkehrszeichen sind Straßenschilder international vereinheitlicht worden, um diese leichter erfassen sowie interpretieren zu können.
Dabei ist zu berücksichtigen, dass insbesondere das „Stopp¬ schild" (Achteck) , das „Vorfahrt gewähren Schild" (auf der Spitze stehendes Dreieck) sowie das „Vorfahrtsstraßenschild" (um 45° gedrehtes Quadrat) einen markanten Umriss haben, der in vielen Ländern der Welt identisch ist, sodass eine eindeutige Interpretation derartiger Verkehrsschilder möglich ist, selbst wenn nur deren Umriss bzw. deren Kontur bekannt ist.
Aktuell erfolgt die Erkennung von Verkehrsschildern kamerabasiert. Hierzu werden die Verkehrsschilder zunächst innerhalb des Bildes detektiert und anhand ihrer Vorderseite interpre¬ tiert. Für zukünftige Anwendungen z.B. im Bereich des hoch automatisierten Fahrens werden weitere Informationen benötigt, um beispielsweise die Vorfahrtregeln an abknickenden Vorfahrtstraßen oder sonstigen an einer Vorfahrtstraße auftretenden Verkehrssituationen richtig interpretieren zu können .
Die vorliegende Erfindung schafft ein Verfahren zur Beurtei¬ lung einer Verkehrssituation für ein Fahrzeug, aufweisend ein System zur Erkennung von Verkehrszeichen, wobei die Verkehrs-
zeichen der eigenen Fahrspur von Verkehrszeichen anderer Fahrspuren bzw. einer Gegenfahrspur, die nicht in Fahrtrichtung des Fahrzeugs zeigen, unterschieden werden, und die Kontur der Verkehrszeichen der anderen Fahrspuren bzw. die von hinten erkennbare Rückseitenkontur der Verkehrszeichen der Gegenfahrspur zur Erkennung des Inhaltes bzw. Regelungsgehaltes der Verkehrszeichen ausgewertet wird.
Dabei liegt ein Vorteil des erfindungsgemäßen Verfahrens da¬ rin, dass das System nicht die Vorderseite des Verkehrszei¬ chens erkennen muss, um dieses Verkehrszeichen bzw. Verkehrsschild zu detektieren sowie zu interpretieren, sondern das Erkennen der Rückseite und der Kontur des Verkehrsschildes ausreichend ist, um dessen Regelungsgehalt davon abzuleiten. Bei besonders wichtigen Verkehrszeichen kann über deren Kontur sicher auf den Regelungsgehalt des Verkehrszeichens oder Verkehrsschildes geschlossen werden. Durch das erfindungsge¬ mäße Verfahren kann das System zur Erkennung von Verkehrszeichen unterstützend tätig sein, da zur Beurteilung der Verkehrssituation der gesamte Kontext berücksichtigt wird.
In einer bevorzugten Ausführungsform wird die erkannte Verkehrssituation an ein Fahrerassistenzsystem im Fahrzeug weitergegeben bzw. gemeldet. Diese Maßnahme informiert dann den Führer des Fahrzeuges vorteilhaft ständig über die aktuelle Verkehrssituation, selbst wenn er unachtsam war und ein oder mehrere Verkehrszeichen übersehen hat.
In einer weiteren Ausführungsform werden in Abhängigkeit von der erkannten Verkehrssituation vorbestimmte Fahrzeugfunktionen ausgelöst. Dies kann vorteilhaft die Effizienz der Fahr¬ zeugführung erhöhen, da bestimmte Funktionen, wie das Stoppen des Motors, bei Stillstand des Fahrzeuges unterdrückt oder ausgelöst werden. Bei einer erkannten roten Ampel oder einer Bahnschranke ist die Wartezeit z.B. voraussichtlich höher, und der Motor kann abgestellt werden.
In einer weiteren Ausführungsform wird bei erkanntem Regelungsgehalt der Verkehrszeichen anderer Fahrspuren bzw. der Gegenfahrspur zusammen mit den erkannten Verkehrszeichen der eigenen Fahrspur die aktuelle Vorfahrtsituation erkannt und an ein Fahrerassistenzsystem zur Unterstützung hoch automatisierten Fahrens weitergegeben. Durch die Erkennung der Vorder- und Rückseiten der Verkehrszeichen und der Interpretation bezüglich der aktuellen Verkehrsregelung kann die Sicherheit beim automatisieren Fahren vorteilhaft erhöht werden.
In einer weiteren Ausführungsform wird bei erkanntem Überfahren eines Stoppschildes oder Vorfahrt-gewahren Schildes eine Warnfunktion in dem Fahrzeug ausgelöst, insbesondere wenn ei¬ ne Kreuzungssituation erkannt wird. Durch das Erkennen des Regelungsgehaltes von Verkehrszeichen anderer Fahrspuren bzw. der Gegenfahrspur allein durch die Form des Verkehrszeichens kann eine Verkehrssituation, bei der sich Fahrzeuge kreuzen, erkannt und interpretiert werden. Der Fahrer eines Fahrzeuges kann zudem bei Überfahren eines Stoppschildes oder eines Vorfahrt-gewahren Schildes gewarnt werden, um die Sicherheit des Fahrzeuges zu erhöhen.
In einer weiteren Ausführungsform wird bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrtstraße der gespeicherte aktive Regelungsgehalt vor¬ mals erkannter mit der Vorfahrt zusammenhängender Schilder verworfen. Damit kann durch die vorteilhafte Erkennung von Verkehrsschildern basierend auf deren Form bzw. Kontur von der Rückseite aus eine besondere Verkehrssituation bei Abbie¬ gen eines Fahrzeuges an einer Kreuzung, insbesondere aufgrund einer abknickenden Vorfahrtstraße, erkannt werden, und diese Information entsprechend weitergegeben werden.
Die vorliegende Erfindung schafft ferner ein Fahrerassistenzsystem für ein Fahrzeug, aufweisend ein System zur Erkennung von Verkehrszeichen, mit mindestens einer Kamera, wobei das System zur Erkennung von Verkehrszeichen die Verkehrszeichen
der eigenen Fahrspur von Verkehrszeichen anderer Fahrspuren bzw. einer Gegenfahrspur unterscheidet, und das System zur Erkennung von Verkehrszeichen die Kontur (bzw. die von hinten erkennbare Rückseitenkontur) von Verkehrszeichen der anderen Fahrspuren bzw. der Gegenfahrspur zur Erkennung des Inhaltes der Verkehrszeichen nutzt. Da das erfindungsgemäße Fahreras¬ sistenzsystem das oben beschriebene Verfahren ausführt, weist es die gleichen, oben schon beschriebenen Vorteile bei der Erkennung einer Verkehrssituation auf. Durch die erfindungsgemäße Erkennung der Schilder anhand ihrer Form können auch vom Fahrzeug abgewandte Schilder hinsichtlich ihres Rege¬ lungsgehaltes interpretiert werden, wobei diese Informationen zur Beurteilung der aktuellen Verkehrssituation herangezogen werden. Ein Vorteil besteht darin, dass die Sicherheit der Erkennung der richtigen Verkehrssituation erheblich erhöht wird .
In einer weiteren Ausführungsform weist das System zur Erkennung von Verkehrszeichen ein weiteres Eingabegerät zur Ermittlung von verkehrssituationsbedingten Daten auf. Dies kann vorteilhaft den Grad der Erkennung von Verkehrszeichen erhöhen .
In einer weiteren Ausführungsform ist das Eingabegerät zur Ermittlung von verkehrssituationsbedingten Daten ein Lidar- Sensor. Lidar Sensoren sind äußerst robust bezüglich Licht- und Wetterverhältnissen und liefern eine große Menge an auswertbaren Daten, die vorteilhaft zur Beurteilung der Verkehrssituation herangezogen werden können.
In einer weiteren Ausführungsform unterdrückt das Fahrerassistenzsystem in Abhängigkeit von der erfassten Verkehrssituation vorbestimmte Fahrzeugfunktionen oder löst in Abhängigkeit von der erfassten Verkehrssituation vorbestimmte Fahrzeugfunktionen aus. Dies kann, wie oben beim Verfahren schon beschrieben, vorteilhaft die Effizienz der Fahrzeugführung positiv beeinflussen.
In einer weiteren Ausführungsform erkennt das Fahrerassistenzsystem den Regelungsgehalt der Verkehrszeichen anderer Fahrspuren, insbesondere einer Gegenfahrspur, zusammen mit den erkannten Verkehrszeichen der eigenen Fahrspur und interpretiert daraus die aktuelle Vorfahrtsituation und verwendet diese zur Unterstützung eines hoch automatisierten Fahrens des Fahrzeuges. Durch das Erkennen der Kontur der Verkehrs¬ zeichen an einer anderen Fahrspur von hinten kann vorteilhaft ein Beitrag zur Erhöhung der Sicherheit bei hoch automati¬ siertem Fahren des Fahrzeuges geleistet werden.
In einer weiteren Ausführungsform verwirft das Fahrerassistenzsystem des Fahrzeuges bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrt¬ straße den gespeicherten aktiven Regelungsgehalt vormals er¬ kannter mit der Vorfahrt zusammenhängender Schilder. Diese Maßnahme stellt eine korrekte Beurteilung der Änderung der Verkehrssituation bei Abbiegen des Fahrzeuges und bei einer abknickenden Vorfahrtstraße sicher. Durch die vorteilhafte Erkennung des Regelungsgehaltes von Verkehrsschildern basierend auf deren Form oder Kontur durch Erfassung von deren Rückseite kann vorteilhaft die aktuelle Verkehrssituation, in der sich das Fahrzeug befindet, präziser erkannt werden.
In einer weiteren Ausführungsform löst das Fahrerassistenzsystem des Fahrzeuges bei erkanntem Überfahren eines Stopp¬ schildes oder eines Vorfahrt-gewähren Schildes eine Warnfunktion in dem Fahrzeug aus, insbesondere wenn es eine Kreu¬ zungssituation erkennt. Diese Maßnahme kann vorteilhaft die Sicherheit des Fahrzeuges erhöhen, da das Auftreten von Vor¬ fahrtsfehlern des Fahrers unwahrscheinlicher wird.
Weitere vorteilhafte Weiterbildungen und Ausgestaltungen des erfindungsgemäßen Verfahrens und Fahrerassistenzsystems erge¬ ben sich aus weiteren abhängigen Ansprüchen und aus der folgenden Beschreibung.
Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung. Insbesondere wird dabei der Fachmann auch Einzelaspekte als Ver¬ besserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung er¬ geben sich anhand der nachfolgenden Beschreibung von Ausführungsbeispielen sowie anhand der Zeichnungen, in welchen gleiche oder funktionsgleiche Elemente mit identischen Be¬ zugszeichen versehen sind. Dabei zeigen:
Fig. 1 eine schematische Darstellung eines ersten Beispiels einer Verkehrssituation mit einem Fahrzeug mit dem erfindungsgemäßen Fahrerassistenzsystem;
Fig. 2 ein zweites Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Informatio¬ nen liefern kann;
Fig. 3 das Verkehrsschild „Vorfahrtsstrasse" als Beispiel für ein Schild, dessen Regelungsgehalt auch von hinten erkannt werden kann;
Fig. 4 das Verkehrsschild „Stop" als Beispiel für ein wei¬ teres Schild, dessen Regelungsgehalt auch von hinten erkannt werden kann;
Fig. 5 das Verkehrsschild „Vorfahrt gewähren" als Beispiel für ein weiteres Schild, dessen Regelungsgehalt auch von hin¬ ten erkannt werden kann;
Fig. 6 ein drittes Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Informatio¬ nen liefern kann.
Fig. 1 zeigt eine schematische Darstellung eines ersten Bei¬ spiels einer Verkehrssituation mit einem Fahrzeug 1, das ein erfindungsgemäßes Fahrerassistenzsystem 12 aufweist. Das Fahrzeug 1 weist eine Kamera 11 auf, die ihre Daten unter an¬ derem an ein System 14 zur Verkehrszeichenerkennung sendet. Die Kamera 11 ist bevorzugt an einen internen Fahrzeugbus an¬ geschlossen, so dass auch andere Systeme im Fahrzeug 1 die Daten der Kamera 11 nutzen können. Die Kamera 11 kann aber ebenfalls direkt an das System 14 zur Verkehrszeichenerkennung angeschlossen sein.
Die Verkehrszeichenerkennung 14 bildet Teil eines Fahreras¬ sistenzsystems 12, welches die aktuelle Verkehrslage analy¬ siert und diese Analyse an den Fahrer des Fahrzeuges 1 aus¬ gibt. Das Fahrerassistenzsystem 12 hat die Aufgabe, dem Fahrer des Fahrzeuges 1 immer die aktuelle Verkehrssituation in einem Sichtgerät anzuzeigen. Das Sichtgerät kann ein Bild¬ schirm im Cockpit des Fahrzeuges 1 sein. Das Sichtgerät kann ein sogenanntes Head-up-Display sein, welches die relevanten Informationen in die Windschutzscheibe des Fahrzeuges 1 einspiegelt .
Der Fahrer des Fahrzeuges 1 wird somit stets über die augen¬ blicklich herrschende Verkehrssituation informiert, selbst wenn er beim Führen des Fahrzeuges 1 kurz unachtsam war und ein oder mehrere Verkehrsschilder übersehen hat. In sicherheitsrelevanten Verkehrssituationen, wie bei Überfahren einer Kreuzung, kann der Fahrer des Fahrzeuges 1 auch aktiv gewarnt werden, wenn z.B. ein Stoppschild oder ein Vorfahrt-gewähren Schild überfahren wird. In dem in Fig. 1 dargestellten ersten Beispiel ist das zu erkennende Verkehrszeichen ein Vorfahrt¬ schild 43 auf der eigenen Fahrspur und ein Vorfahrtschild 41 auf der Gegenfahrspur. Das Fahrerassistenzsystem 12 des Fahr-
zeuges 1 wertet die Kameradaten der Kamera 11 aus, und er¬ kennt ein entgegenkommendes Fahrzeug 3. Da in der in Fig. 1 dargestellten Verkehrssituation keine Kreuzung zwischen dem Fahrzeug 1 und dem Fahrzeug 3 liegt, beziehen sich die Daten zum Verkehrsschild 41 auf eine Kreuzung, die das Fahrzeug 1 bereits passiert hat. Daher wird das Verkehrsschild 41 in dem dargestellten Beispiel zur Beurteilung der Verkehrssituation nicht herangezogen.
Fig.2 zeigt ein zweites Beispiel einer Verkehrssituation, bei der die von der Rückseite erfassbare Kontur des Verkehrs¬ schildes wichtige Informationen zur aktuellen Verkehrssitua¬ tion liefern kann. Das Fahrzeug 1, welches das erfindungsge¬ mäße Verfahren ausführt, befindet sich auf einer Vorfahrt¬ straße und fährt auf eine Kreuzung zu. Der Fahrer des Fahr¬ zeuges 1 möchte an der Kreuzung links abbiegen und setzt den Blinker des Fahrzeuges 1.
Zur Erkennung der Verkehrssituation verfügt das Fahrerassistenzsystem 12 über die im Fahrzeug 1 eingebaute Kamera 11 mit einer Verkehrszeichenerkennung 14. Die Verkehrszeichenerkennung 14 erkennt aufgrund des Verkehrsschildes 51, dass sich das Fahrzeug 1 auf einer Vorfahrtstraße befindet. Das Fahrer¬ assistenzsystem 12 wertet die erhaltenen Kameradaten hinsichtlich weiterer Objekte im Kamerabild aus, und erkennt so das entgegenkommende Fahrzeug 3, welches sich ebenfalls auf der Vorfahrtstraße befindet. Ferner erkennt das Fahrerassis¬ tenzsystem 12 des Fahrzeuges 1, dass sich eine Kreuzung zwischen dem entgegenkommenden Fahrzeug 3 und dem eigenen Fahrzeug 1 befindet. Da die Vorfahrtstraße, auf der sich das Fahrzeug 1 befindet, an der Kreuzung abknicken könnte, wobei ein entsprechendes Schild z.B. durch einen Lastkraftwagen oder dergleichen verstellt ist, ist es nicht sicher, ob das Fahrzeug 1 warten muss, um das entgegenkommende Fahrzeug 3 passieren zu lassen, oder ob das Fahrzeug 1 vorher abbiegen darf, weil die Vorfahrtstraße an der Kreuzung abknickt.
Das System 14 zur Erkennung von Verkehrszeichen innerhalb des Fahrzeuges 1 prüft nun den Bildinhalt der darin eingebauten Kamera 11 auf weitere Verkehrsschilder, die sich bei der Ge¬ genfahrspur befinden. Da diese Verkehrsschilder nicht in Fahrtrichtung des Fahrzeuges 1 zeigen, ist nur deren graue Rückseite auf den Kamerabildern zu erkennen. Einige wichtige Verkehrsschilder sind jedoch von hinten bereits anhand ihrer Form oder Kontur erkennbar.
Fig. 3 zeigt ein Schild 55, welches eine Vorfahrtsstraße kennzeichnet. Ein derartiges Schild 55 ist auch vor der in Fig. 2 dargestellten Kreuzung auf der Gegenfahrbahn als
Schild 53 aufgestellt, und kann von der Kamera 11 des Fahr¬ zeuges 1 erfasst werden. Da das Schild 53 dort das einzige Schild mit dieser besonderen Form ist, kann das System 14 zur Erkennung von Verkehrszeichen daraus ableiten, dass sich auch das andere entgegenkommende Fahrzeug 3 auf der Vorfahrtstraße befindet. Damit weist die in Fig. 2 dargestellte Kreuzung keine abknickende Vorfahrtsstraße auf, und das entgegenkom¬ mende Fahrzeug 3 hat demzufolge Vorfahrt gegenüber dem links abbiegenden Fahrzeug 1. Dadurch, dass das Fahrerassistenzsys¬ tem 12 des Fahrzeuges 1 die Rückseite bzw. Kontur des Schil¬ des 53 mit in die Beurteilung der Verkehrssituation einbezieht, kann diese richtig interpretiert werden.
Weitere wichtige Verkehrsschilder, welche die Vorfahrtregeln berühren und eine einzigartige Form aufweisen, sind das
Stoppschild 65 und das in Fig. 5 dargestellte Vorfahrt gewäh¬ ren Schild 67. Diese beiden Schilder offenbaren ihren Regelungsgehalt auch von ihrer Rückseite aus, da sie bereits durch ihre Form bzw. ihre Kontur erkannt werden können. Bei einem Vorfahrtstraßenschild ist dessen Kontur in Kontext mit der restlichen Verkehrssituation zu setzen, da keine eindeutige Zuordnung möglich ist. Im Gesamtkontext kann jedoch auch die Kontur eines solchen Verkehrszeichens wichtige Hinweise zur momentanen Verkehrssituation liefern.
Fig. 6 zeigt ein drittes Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Infor¬ mationen liefern kann. Die Situation ist ähnlich zur Verkehrssituation der Fig. 2. Im Unterschied zur Fig. 2 handelt es sich bei dieser Verkehrssituation um eine abknickende Vorfahrt. Diese ist normalerweise gut anhand der Fahrbahnmarkie¬ rungen zu erkennen. Wenn jedoch im Winter die Straße schneebedeckt ist, dann sind die Fahrbahnmarkierungen nicht mehr zu erkennen. Auch die Verkehrsschilder können im Winter verschneit sein, so dass ihr Regelungsgehalt nicht mehr anhand des Schildinhaltes verfügbar ist. Die Form bzw. Kontur ist jedoch auch bei einem verschneiten Verkehrsschild noch zu erkennen, so dass aufgrund der besonderen Form auf den Regelungsgehalt des Verkehrsschildes geschlossen werden kann. In der Verkehrssituation der Figur 6 kann das Fahrerassistenzsystem 12 anhand der durch die Kamera 11 erfassten Rückseite des „Vorfahrt gewähren"-Schildes 63 auf der Gegenfahrspur er¬ kennen, dass hier eine abknickende Vorfahrt vorliegen muss, und das Fahrzeug 1 selbst Vorfahrt hat. Das andere Fahrzeug 3 muss warten, obwohl das Fahrzeug 1 links abbiegen möchte. Diese Verkehrssituation ist selbst bei verschneiter Fahrbahn und bei verschneiten Schildern anhand der erfassten Schildrückseite bzw. Kontur des Verkehrsschildes 63 auf der Gegen¬ fahrbahn erkennbar. Das erfindungsgemäße Verfahren erhöht da¬ mit deutlich die Erkennungsgenauigkeit von Verkehrssituatio¬ nen und damit die Verkehrssicherheit der Verkehrsteilnehmer.
Falls das andere Fahrzeug 3 das erfindungsgemäße Fahrerassis¬ tenzsystem 12 ebenfalls eingebaut hat und an der in Fig. 6 dargestellten Kreuzung geradeaus fährt, verlässt es die un¬ tergeordnete Straße und fährt ab der Kreuzung auf der Vor¬ fahrtstraße. Dies kann durch das Fahrerassistenzsystem 12 des Fahrzeuges 3 anhand der Form der Rückseite des Vorfahrtschil¬ des 51 erkannt werden. Dies ändert die Logik der Erkennung der Verkehrssituation dahingehend, dass nun die bisherige Re¬ gel, dass durch das Fahrzeug 3 Vorfahrt gewährt werden muss, verworfen wird. Nach Einfahrt in die Kreuzung gilt für das
Fahrzeug 3, dass das Fahrzeug nunmehr selbst Vorfahrt hat. Diese Situation kann sicher detektiert werden, ohne dass zu¬ nächst ein Vorfahrtschild in Fahrtrichtung erkannt werden muss, welches unter Umständen erst wesentlich später im Verlauf der Straße aufgestellt ist. Die Logik der Verkehrserken¬ nung und somit die Anzeige des Fahrerassistenzsystems 12 hängt also davon ab, ob ein Abbiegevorgang auf eine Haupt¬ straße oder eine Nebenstraße detektiert wird. Durch die Er¬ kennung von Verkehrsschildern auf Basis von deren Kontur bzw. Umriss kann die Verkehrssituation wesentlich schneller erkannt werden und liefert damit einen wichtigen Beitrag zur Sicherheit des eigenen Fahrzeuges 1 und eines entgegenkommen¬ den Fahrzeuges 3.
BEZUGSZEICHEN
I Fahrzeug, welches das erfindungsgemäße Verfah¬ ren durchführt
3 am Verkehr beteiligtes weiteres Fahrzeug
II Kamera
12 Fahrerassistenzsystem
14 Verkehrszeichenerkennung
51, 53, 55 Vorfahrtstraßenschilder
61, 63, 67 Vorfahrt betreffende Verkehrsschilder
65 Stop-Schild