Verfahren und. Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems, insb. für Kraftfahrzeuge.
NavigationsSysteme in Fahrzeugen haben in den letzten Jahre große Verbreitung gefunden. Dabei geben die Navigationsdaten eine globale Sicht auf die Fahrumgebung, aus der die Verhaltenshinweise generiert werden (z.B. "jetzt rechts abbiegen"). Auch ist die Position des Fahrzeugs in den Kartendaten oft- mals nicht mit ausreichender Genauigkeit bekannt. Als Folge davon kann der exakte Zeitpunkt der Fahranweisungen durch das NavigationsSystem in vielen Fällen nicht korrekt gewählt werden.
Ein weiteres Problem, das sich aus der zu groben Zuordnung zwischen Kartendaten und Fahrzeugposition ergibt, ist die Generierung von hilfreichen Zwischenhinweisen, die auf den eigentlichen Fahrhinweis hinführen. Beispiel: das Fahrzeug fährt auf der mittleren von drei Fahrspuren, die nächste Fahranweisung wäre: "jetzt rechts abbiegen". In diesem Beispiel wäre der Zwischenhinweis "bitte auf rechte Fahrspur wechseln" sehr hilfreich. Idealerweise käme erst nach Ausführung dieses Fahrmanövers dann die Anweisung "jetzt rechts abbiegen" .
Bisher werden im Wesentlichen Informationen ausgenutzt, die dem NavigationsSystem zur Verfügung stehen (GPS Position und Kartenmaterial) , sowie Fahrzeugdaten (Odometrie) wie Raddrehzahlen, Geschwindigkeit, Lenkwinkel und ähnliches. Die Unge- nauigkeit der Positionsbestimmung bezüglich der tatsächlichen Fahrumgebung kann bis zu 50m betragen.
In zukünftigen Fahrzeugen werden neben NavigationsSystemen auch Kamerasysteme für Fahrerassistenzfunktionen wie Spurerkennung bzw. Überwachung, zum sog. Blind-Spot und Spurwechseln, zur Hinderniswarnung, zur Pre-Crash-Sensierung, zur Verkehrszeichenerkennung oder dergleichen mehr, eine wichtige Rolle spielen. Diese Kamerasysteme erlauben im Gegensatz zu den Kartendaten eine präzise lokale Sicht auf die Fahrumgebung.
Diesbezüglich ist beispielsweise aus der DE 199 37 489 AI die Kombination einer Umfelderfassung mit einem GPS System bekannt. Es wird jedoch weder die Generierung von Fahranweisungen offenbart, noch die Auswirkung der Bildverarbeitung auf diese.
Auch die US 5,922,036 AI offenbart ein Verfahren, bei dem mittels einer Kamera die Anzahl der Fahrspuren sowie die Nummer der eigenen Fahrspur bestimmt werden. Daraus wird dann zusammen mit einem GPS gestützten NavigationsSystem eine Fahranweisung generiert. Nachteilig bei diesem Verfahren ist jedoch die Bestimmung der Anzahl der Fahrspuren, da sich diese durch die perspektivische Projektion mitunter nicht eindeutig bestimmen lässt. Auch besteht die Gefahr einer Verwechselung der Spurmarkierungen der äußeren Fahrspuren mit z.B. der Leitplanke. Ein weiterer Nachteil ist die mögliche
Verdeckung äußerer Linien durch andere Fahrzeuge. Der Typ der Spurmarkierung (durchgezogen, gestrichelt) wird nicht erkannt .
Schließlich ist aus der US 6,577,334 Bl ein Verfahren bekannt, bei dem mittels einer Kamera eine Abzweigung von einem "Highway" sowie die grobe Nummer der Fahrspur erkannt wird. Dieses wird zusammen mit einem GPS gestützten Navigationssystem zur Kontrolle des Fahrzeugs (Motorsteuerung, Getriebe— Steuerung, 4WD, ABS, Aufhängung,...) benutzt. Die Generierung von Fahranweisungen wird beschrieben, jedoch nicht im Detail
ausgeführt. Im Unterschied zu US 5,922,036 AI besteht die Fahrspurerkennung aus drei Komponenten:
Einer Abzweigungiserkennung, die auf der Messung der Ver- breiterung einer Spurmarkierung beruht sowie zusätzlich oder alternativ der Verbreiterung der Fahrspur. Dieses ist im Detail sehr genau beschrieben.
Einer Spurpositionserkennung, die jedoch nicht wie bei US 5,922,036 AI die Zahl der Spuren erkennt, sondern den Hauptnachteil umgeht und den Typ der Markierung benutzt . Ist eine Linie durchgezogen, die andere gestrichelt, so befindet sich das Fahrzeug auf einer Randspur. Sind beide Linien gestrichelt, so befindet sich das Fahrzeug auf ei— ner Mittelspur.
Eine Messung eines Fahrspurwechsels.
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren sowie eine Vorrichtung zur Präzisierung der Fahranweisungen eines Navigationssystems, insb. für Kraftfahrzeuge bereitzustellen, das vorbenannte Nachteile vermeidet und vorbenannte Umstände zuverlässiger erkennt. Insbesondere sind technische Maßnahmen anzugeben, um folgende Ziele zu errei— chen: Vorbereitung und Verbesserung der Fahranweisungen sowie Verbesserung des Zeitpunktes der Fahranweisungen.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Patentansprüche gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen, welche einzeln oder in Kombination miteinander eingesetzt werden können, sind Gegenstand der abhängigen Ansprüche.
Bei dem Verfahren zur Präzisierung der Fahranweisungen eines Navigationssystems, insb. für Kraftfahrzeuge, werden erfindungsgemäß Daten der Fahrumgebung, insb. im Frontbereich, des
Kraftfahrzeuges in das NavigationsSystem eingespeist, welche mittels eines Kamerasystems gewonnen wurden, wobei die präzisierten Fahranweisungen im Wesentlichen auf den von dem Kamerasystem erkannten Typ (durchgezogene Linie, gestrichelte Li- nie, Wechsel von durchgezogener Linie auf gestrichelte und umgekehrt) der Markierung einer Fahrspur basieren.
In Abgrenzung zu US 5, 922, 036 AI und insbesondere zu US 6,577,334 Bl wird mit der vorliegenden Erfindung vorteilhaft eine wichtige Vereinfachung vorgenommen. Die Fahrspurerkennung und die daraus generierten Fahranweisungen basieren im Wesentlichen auf dem erkannten Typus der Spurmarkierung. Dadurch ist insbesondere ein Fahrspurmodell nicht erforderlich, was vorteilhaft erheblich an Rechenzeit einspart.
Alternativ oder kumulativ hierzu lassen sich Fahranweisungen im Wesentlichen auf Basis von dem Kamerasystem erkannter Ab- •biegepfeile, Haltelinien, Zebrastreifen, etc. der eigenen und/oder auf einer benachbarten Fahrspur präzisieren.
Im Gegensatz zu nicht wechselnden Markierungen von Fahrspuren weisen Zebrastreifen, Pfeile, Haltelinien, Kreuzungen, Straßeneinmündungen, Ampeln, und dergleichen einen definierten Längen und Breitengrad auf, welcher vorteilhaft einen präzi— sen Abgleich mit einem diesbezüglichen Eintrag in einem Kartensatz erlauben, wodurch ein Kraftfahrzeug genauer lokalisierbar und infolge dessen präziser navigierbar wird.
Das bloße Erkennen eines Verkehrsschildes, eines Zebrastrei- fens, einer Ampel, einer Stopplinie oder dergleichen erlaubt also einen exakten Abgleich der Fahrumgebung des Kfz mit hinterlegten Kartendaten.
Dies gilt jedoch nicht nur für stationäre Objekte sondern auch für andere Verkehrsteilnehmer, also für sich bewegende Objekte. Beispielsweise gibt die Position eines querenden Fahrzeuges im Bild der Kamera einen Hinweis auf die exakte
Position des eigenen Fahrzeuges relativ zu einer in den Navigationskarten bzw. -daten eingetragenen markanten Straßenbegebenheit wie Kreuzungen, Einmündungen, Ausfahrten oder dergleichen.
Deshalb lassen sich alternativ oder kumulativ hierzu Fahranweisungen im Wesentlichen auf Basis von dem Kamerasystem erkannter Verkehrsschilder, Ampeln, Gegen- und Querverkehr etc. präzisieren, ie aufgeführt erlaubt dies vorteilhaft die Ge- nerierung von Fahranweisungen in Abhängigkeit des aktuellen Verkehrsgeschehens .
Beispielsweise lassen sich so Fahranweisungen erzeugen, welche sich auf den aktuell befahrenen Spurtyp (geradeaus, Rechtsabbieger, Linksabbieger, etc.) beziehen.
Alternativ oder kumulativ hierzu lassen sich Fahranweisungen erzeugen, welche sich relativ auf die aktuell befahrene Spurnummer beziehen (z.B. versuchen Sie, zwei Spuren nach links zu wechseln) .
Erfindungsgemäß bevorzugt lassen sich erstmals vorteilhaft unnötige Fahranweisungen unterdrücken. Beispielsweise, wenn das Fahrzeug sich bereits auf einer richtigen Spur befindet, oder wenn die Art der Fahrbahnmarkierung ein Manöver nicht erlaubt, also kein "wenn möglich bitte wenden" bei durchgezogener Mittellinie oder dergleichen.
Alternativ oder kumulativ hierzu können erstmals Fahranwei— sungen oder Erinnerungen an eine vorhergehende Fahranweisung ausgegeben werden, sobald eine Änderung der Fahrbahnmarkierung ein Fahrmanöver erlaubt (z.B. "Der Mittelstreifen lässt jetzt ein Wenden zu" oder dergleichen) und/oder sobald der Wechsel der Art der Fahrbahnmarkierung ein vorgesehenes Manö- ver erlaubt oder erfordert (z.B. "Jetzt nach rechts auf die
Abbiegespur wechseln", nachdem rechts der Beginn einer Abbie-
gespur anhand des Beginns einer unterbrochenen Linie erkannt wird) .
Die Erfindung betrifft auch eine Vorrichtung zur Durchführung der zuvor beschriebenen Verfahren, nämlich ein Navigationssystem, welches erfindungsgemäß umfasst:
- ein Kamerasystem, welches die Fahrumgebung, insb. im Frontbereich, des Kraftfahrzeuges erfasst;
- eine Auswerteeinheit für die von der Überwachungseinheit erfassten Bilddaten;
- eine Recheneinheit, in welcher Fahranweisungen generiert werden auf Basis aufbereiteter Kartendaten, einer Positionsbestimmung des Kraftfahrzeuges z.B. mittels GPS, Odometrie und/oder dergleichen, und den Auswerteergebnissen der von dem Kamerasystem erfassten Bilddaten.
Die Mittel zur Durchführung der erfindungsgemäßen Verfahren weisen die diesbezüglich aufgeführten Vorteile auf.
In einer ersten Weiterbildung ist die Auswerteeinheit Teil der Recheneinheit, wobei die Bilddaten von dem Kamerasystem bevorzugt über eine LVDS-Verbindung an die Auswerteeinheit übertragen werden.
Alternativ oder kumulativ hierzu ist eine Auswerteeinheit im Kamerasystem vorgesehen, welche die erfassten Bilddaten teilweise oder vollständig (vor-) auswertet, wobei teilweise oder vollständig ausgewertete Bilddaten mittels einer CAN-, RS232- , MOST-, LIN- oder anderen geeigneten Verbindung an die Recheneinheit übertragen werden.
Die vorliegende Erfindung beruht auf der Erkenntnis, sich der Präzisierung der Fahranweisungen eines NavigationsSystems, insb. für Kraftfahrzeuge, eines Kamerasystems zu bedienen, welche beispielsweise den Typ der Markierung einer Fahrspur
(durchgezogene Linie, gestrichelte Linie, Wechsel von durchgezogener Linie auf gestrichelte und umgekehrt) zuverlässig erkenn ..
Damit erlaubt die Erfindung vorteilhaft den Abgleich der Position eines Kraftfahrzeuges zu in Kartendaten hinterlegten Markierungen wie Fahrspurwechsel, Pfeile, Zebrastreifen, Ampeln etc. zu den Kartendaten und damit ein präziseres Navigieren als im Stand der Technik bekannt.
Sie minimiert zudem in vorteilhafter Weise die Ausgabe unnötiger und/oder irreführender Fahranweisungen eines Navigationssystems an den Fahrer eines Kraftfahrzeuges im Straßenverkehr .
Zusätzliche Einzelheiten und weitere Vorteile der Erfindung werden nachfolgend an Hand eines bevorzugten Aus ührungsbei- spieles beschrieben.
Ein Kamerasystem bestehend aus Kamera und Bildverarbeitungsrechner ist beispielsweise an der Frontscheibe im Bereich des Innenspiegels montiert. Der Bildbereich umfasst den Straßenverlauf vor dem Fahrzeug mit einem totalen horizontalen Blickwinkel von ca. 50°. Das Kamerasystem erkennt die eigene Fahrspur, den Typ der Fahrspurmarkierung, die Zahl der vorhandenen Fahrspuren, Abbiegpfeile, Haltelinien, Verkehrs— Schilder, Zebrastreifen, Ampeln und/oder den Querverkehr, etc. Die Information wird als Botschaft z.B. auf dem CAN—Bus eingespeist, also in die Netzwerkhardware zur Datenübertra— gung im Fahrzeug. Diese Botschaften/Daten werden von einem Navigationssystem aus dem CAN ausgelesen und in verbesserte Fahranweisungen umgesetzt.
Das System besteht typischerweise aus: - einem Navigationssystem, welches die Kartendaten aufbereitet, die Position des Fahrzeugs z.B. mittels GPS sowie Odometrie bestimmt und Fahranweisungen generiert;
- einem Kamerasystem, welches die Fahrumgebung im Frontbereich des Fahrzeugs erfasst; sowie
- einer Kommunikation zwischen Kamerasystem und Navigationssystem mindestens in der Richtung: Kamera zu Naviga- tionssystem.
Das NavigationsSystem muss über eine Recheneinheit verfügen, das Kamerasystem kann über eine eigene Recheneinheit verfügen. Alternativ oder kumulativ sind folgende Fälle denkbar: - die Kamera überträgt die Bilddaten in eine eigene Recheneinheit, die Bilddaten werden auf dieser Recheneinheit ausgewertet und die Ergebnisse der Auswertung mit einer geeigneten Hardware auf den Navigationsrechner ü— bertragen (z.B. CAN, RS232, MOST, LIN, ....); - die Kamera überträgt die Bilddaten auf den Navigationsrechner (z.B. via LVDS) , die Bilddaten werden auf der Navigationseinheit ausgewertet und in die Ergebnisse in die Fahranweisungen eingearbeitet.
Die Vorbereitung und Verbesserung der Fahranweisungen mittels Bildauswertung durch eine Kamera ist insbesondere charakterisiert durch:
- eine Erkennung des Typs der Markierung der Fahrspur (z.B. durchgezogene Linie, gestrichelte Linie); - eine Erkennung des Wechsels einer Fahrspur auf die richtige/falsche Seite mit entsprechender Meldung;
- eine Erkennung von Abbiegepfeilen auf der eigenen Fahrspur;
- eine Erkennung von Abbiegepfeilen auf den Nachbarfahr— spuren;
- eine mögliche Erzeugung von Hinweisen, die sich auf den aktuell befahrenen Spurtyp (geradeaus, Rechtsabbieger, Linksabbieger) beziehen;
- eine mögliche Erzeugung von Hinweisen, die sich relativ auf die aktuelle befahrene Spurnummer beziehen, (z.B. "Versuchen Sie, zwei Spuren nach links zu wechseln." ) ;
- eine Unterdrückung von unnötigen Hinweisen zum Spurwechsel, wenn das Fahrzeug sich bereits auf einer richtigen Spur befindet;
- ' 'eine Unterdrückung von Hinweisen, wenn die Art ' der Fahr- bahnmarkierung das Manöver nicht erlaubt (z.B. kein "Wenn möglich bitte wenden" bei durchgezogener Mittellinie) ;
- eine Ausgabe von Hinweisen oder eine Erinnerung an einen vorhergehenden Hinweis, sobald eine Änderung der Fahr— bahnmarkierung ein Manöver erlaubt (z.B. "Der Mittelstreifen lässt jetzt eine Wende zu"); und/oder
- eine Ausgabe von Hinweisen, sobald der Wechsel der Art der Fahrbahnmarkierung ein vorgesehenes Manöver erlaubt oder erfordert (z.B: "Jetzt nach rechts auf die Abbiege- spur wechseln", nachdem rechts der Beginn einer Abbiegespur anhand des Beginns einer unterbrochenen Linie erkannt wird) .
Würde z.B. die nächste Fahranweisung lauten "rechts abbiegen" und es befindet sich eine durchgezogene Linie auf der rechten Seite der Fahrspur, so ist ein Wechsel der Fahrspur nicht erlaubt und somit auch nicht erforderlich. Befindet sich jedoch eine gestrichelte Linie auf der rechten Seite, so wäre ein Wechsel auf die rechte Fahrspur möglich und sehr wahrschein— lieh auch sinnvoll. Es könnte die Meldung "auf die rechte
Fahrspur wechseln" erfolgen und erst dann die Meldung "rechts abbiegen" . Sollte nach einem Wechsel der Fahrspur in die richtige Richtung abermals eine gestrichelte Linie auf der rechten Seite erscheinen, so könnte die Aufforderung zum Fahrspurwechsel wiederholt werden.
In einer weiteren Ausbaustufe des Systems erkennt die Kamera Abbiegpfeile auf der eigenen Fahrbahn und weist den Fahrer auf einen Fahrspurwechsel hin, wenn der Abbiegepfeil (z.B. gerader Pfeil) nicht zu dem in kürze bevorstehenden Abbiegemanöver ("rechts abbiegen") passt.
In einer weiteren Ausbaustufe des Systems kann zusätzlich berücksichtigt werden, welcher Abbiegpfeil auf der eigenen und den Nachbarfahrspuren vorliegt .
Die Verbesserung des Zeitpunktes von Fahranweisungen ist charakterisiert durch:
- eine Erkennung des Wechsels des Typs der Fahrspurmarkierung (z.B. von durchgezogener auf gestrichelte Linie);
- eine Erkennung des Wechsels des Typs der Fahrspurmarkie- rung insbesondere in einer Entfernung von ca. 25 bis 50m vor dem Fahrzeug;
- eine Erkennung von Abbiegpfeilen;
- eine Erkennung von Haltelinien auf der Fahrbahn;
- eine Erkennung von Verkehrsschildern (z.B. Stoppschild, Vorfahrt beachten, Vorfahrtsstraße, ... ) ;
- eine Erkennung von Zebrastreifen;
- eine Erkennung von Ampeln; und/oder
- eine Erkennung von Querverkehr.
In Abgrenzung zum eingangs zitierten Stand der Technik, insbesondere zur US 6,577,334 Bl, werden Autobahnaus ahrten nicht durch eine Verbreiterung der Spurmarkierung oder der Spur selbst erkannt, sondern vorteilhaft einfach anhand des Wechsels von durchgezogen auf gestrichelt. Eine weitergebil- dete Version des Systems erkennt Abfahrten nicht explizit, sondern die Fahranweisung lässt sich beispielsweise einfach deshalb generiert, weil der Typ der Spurmarkierung zu einem bestimmten Zeitpunkt gestrichelt ist (solange der Typ durchgezogen ist, wird die Anweisung unterdrückt) . Wird auf einer Autobahn ein Wechsel der rechten Spurmarkierung von durchgezogener Linie auf gestrichelte Linie erkannt, so kann an dieser Stelle der Hinweis "jetzt rechts abbiegen" erfolgen. In einer weiteren vorteilhaften Ausführung des Systems wird dieser Wechsel ca. 25 bis 50m vor dem Fahrzeug erkannt und die Fahranweisung noch frühzeitiger generiert.
Zur Präzisierung des Anweisungs Zeitpunktes können alle Markierungen herangezogen werden, die einen Hinweis auf einen Kreuzungsbereich geben. Dies sind Abbiegepfeile, Haltelinien, ' VerkehrsSchilder, Zebrastreifen und Ampeln. Insbesondere kann ein Abgleich mit der Information aus den Kartendaten vorgenommen werden. So ist z.B. die Position von Zebrastreifen in Kartendaten verfügbar.
Ein weiterer Hinweis auf einen Kreuzungsbereich ist die De— tektion von Querverkehr.
Die vorliegende Erfindung minimiert in vorteilhafter Weise die Ausgabe unnötiger und/oder irreführender Fahranweisungen eines Navigationssystems an den Fahrer eines Kraftfahrzeuges . Die aktuelle Position des Fahrzeugs in den Kartendaten eines herkömmlichen NavigationsSystems kann mittels GPS (Abschattungen) und Odometrie oft nur auf 50m genau bestimmt werden. Durch die kamerabasierte Erkennung charakteristischer und in den Kartendaten verzeichneter Merkmale wie Abbiegungen, Zeb- rastreifen, Stopplinien, Verkehrsschilder, etc. kann erstmals ein Abgleich der Fahrzeugposition in den Kartendaten vorgenommen werden und damit der Zeitpunkt der Fahranweisungen wesentlich präzisiert werden. Die vorliegende Erfindung verringert somit in vorteilhafter Weise das Unfallrisiko im Stra— ßenverkehr.