-
Diese Erfindung bezieht sich auf ein Verfahren zur Verkehrszeichenerkennung und eine Vorrichtung zur Verkehrszeichenerkennung.
-
Im Zuge der unermüdlichen Weiterentwicklung der Fahrzeugintelligenz können die Smart-Sensoren und/oder die intelligenten Rechnereinheiten zum Empfang der Sensordaten und zur Verarbeitung, mit denen die Fahrzeuge ausgestattet sind, bereits die korrekte Erkennung verschiedener Verkehrszeichen unterstützen, so dass die Ergebnisse der Erkennung als Input für die Fahrerassistenzfunktion / die Funktion des automatisierten Fahrens dienen. Jedoch gibt es neben den feststehenden Verkehrsschildern am Straßenrand in der realen Verkehrsumgebung auch noch viele am Heck großer Fahrzeuge angebrachte dynamische Zeichen.
-
Beispielsweise haben viele Provinzen und Städte auf Aufforderung des Ministeriums für öffentliche Sicherheit bereits damit begonnen, am Heck von Bussen Höchstgeschwindigkeitsschilder anzubringen, mit dem Ziel, die Fahrgäste und die Öffentlichkeit darauf aufmerksam zu machen, auf die Einhaltung der Geschwindigkeitsbegrenzungen durch die Busse zu achten. Hierbei handelt es sich jedoch nicht um eine für die Umgebung geltende Geschwindigkeitsbegrenzung, so dass wenn das Fahrzeug ein solches Geschwindigkeitsschild erkennt, dies leicht als für den gesamten Straßenabschnitt geltende Geschwindigkeitsbegrenzung verstanden wird, wodurch folglich die Rechner- und Steuereinheiten des Fahrzeugs mit nicht zutreffenden Informationen gespeist werden, was mittelbar eine Verringerung der Genauigkeit der Fahrerassistenzfunktion / Funktion des automatisierten Fahrens des Fahrzeugs (z. B. Verkehrszeichenerkennung (traffic signs recognition; TSR), intelligente Geschwindigkeitsbegrenzungsinformation (intelligent speed limit information; ISLI), intelligente Geschwindigkeitsregelung (intelligent speed limit control; ISLC), Autobahnassistent (High Way assist; HWA)) zur Folge hat. Darüber hinaus kommt es auch häufig vor, dass große Fahrzeuge Verkehrswarnzeichen missbräuchlich verwenden, was ebenfalls für eine gewisse Störung der Smart-Sensoren und/oder intelligenten Rechnereinheiten zum Empfang der Sensordaten und zur Verarbeitung von Fahrzeugen sorgt.
-
Derzeit werden im Stand der Technik Verfahren zur Verbesserung der Verkehrszeichenerkennung vorgeschlagen, bei denen zunächst mithilfe einer Kamera eine Reihe von Bildern des Raums vor dem Fahrzeug aufgenommen wird und dann diese Bilder daraufhin überprüft werden, ob sich die Größe und/oder Position der Verkehrszeichen verändert, um so die Geschwindigkeit der Verkehrszeichen abzuleiten und dann mittels Vergleich dieser Geschwindigkeit mit der Geschwindigkeit des Fahrzeugs darauf zu schließen, ob es sich um feststehende oder auf einem anderen Fahrzeug angebrachte Verkehrszeichen handelt.
Zudem ist bereits ein Verfahren zur Klassifikation von Verkehrszeichen in der Umgebung von Kraftfahrzeugen bekannt, wobei bei diesem Verfahren die mithilfe von Zielerkennungsalgorithmen erfassten geometrischen Abmessungen eines Verkehrszeichens mit den Referenzwerten eines feststehenden Verkehrszeichens verglichen werden, und so die Position des Verkehrszeichens ermittelt wird, woraufhin dann anhand dieser Position das Verkehrszeichen als Aufkleber oder feststehendes Verkehrszeichen klassifiziert wird.
-
Jedoch weist das vorangehend beschriebene Verfahren noch zahlreiche Unzulänglichkeiten auf. Insbesondere da sich das Fahrzeug selbst in Bewegung befindet, kann die Beurteilung der Gültigkeit eines Verkehrszeichens anhand eines einzelnen Erkennungsergebnisses möglicherweise zu Fehlern führen. Darüber hinaus ist unter manchen Umständen allein die reine Information in Bezug auf die Bewegung eines Verkehrszeichens nicht ausreichend, um es von einem feststehenden Verkehrszeichen zu unterscheiden.
-
Vor diesem Hintergrund wird darauf gewartet, dass ein verbessertes Verfahren zur Verkehrszeichenerkennung bereitgestellt wird, damit die Sinnhaftigkeit und der Anwendungsbereich von Verkehrszeichen in der Verkehrsumgebung mit größerer Verlässlichkeit beurteilt werden können.
-
Das Ziel dieser Erfindung besteht darin, ein Verfahren zur Verkehrszeichenerkennung und eine Vorrichtung zur Verkehrszeichenerkennung bereitzustellen, um zumindest einen Teil der gemäß dem aktuellen Stand der Technik bestehenden Probleme zu lösen.
-
Gemäß einem ersten Aspekt dieser Erfindung wird ein Verfahren zur Verkehrszeichenerkennung vorgebracht, wobei das besagte Verfahren die folgenden Schritte umfasst:
- S1: Erhalt von Informationen zur Bewegung des Fahrzeugs sowie von Informationen zur Veränderung von Verkehrszeichen in der Fahrzeugumgebung in einer mit einer Kamera aufgenommenen Bildsequenz;
- S2: Ermittlung der Gültigkeit der Verkehrszeichen auf Basis eines Vergleichs der Informationen zur Bewegung des Fahrzeugs und der Informationen zur Veränderung der Verkehrszeichen; und
- S3: Erfassen der Positionsbeziehung der besagten Verkehrszeichen zu mindestens einem anderen Fahrzeug in der Fahrzeugumgebung; und
- S4: Vornahme auf Grundlage der besagten Positionsbeziehung einer Zuverlässigkeitsprüfung der ermittelten Gültigkeit der Verkehrszeichen.
-
Diese Erfindung beinhaltet insbesondere die folgenden technischen Konzepte: Zunächst kann durch Berücksichtigung der Informationen zur Veränderung von Verkehrszeichen in einer Bildsequenz und der Informationen zur Bewegung des Fahrzeugs selbst ein erster Rückschluss auf die Gültigkeit der Verkehrszeichen erfolgen. Anschließend wird durch Erfassen der Positionsbeziehung der Verkehrszeichen zu anderen Verkehrsgegenständen die Zuverlässigkeit dieses ersten Rückschlusses überprüft. Dadurch wird in vorteilhafter Weise Folgendes erreicht: Bevor die Informationen zur Gültigkeit eines Verkehrszeichens der Entscheidungseinheit des Fahrzeugs bereitgestellt werden, werden sie einer erneuten Überprüfung unterzogen, um so sicherzustellen, dass vor Generierung der Fahrerassistenzfunktion / Funktion des automatisierten Fahrens ausschließlich oder mit größerem Gewicht die wertvollsten Informationen als Input berücksichtigt werden, wodurch in einem gewissen Maße die Störung des normalen Betriebs des Fahrzeugs durch fehlerhafte Informationen verringert wird.
-
Wahlweise umfasst das besagte Verfahren noch die folgenden Schritte:
- S3': Erhalt mithilfe der V2X-Technik von externen Input-Informationen zur Fahrzeugumgebung; und
- S4': Vornahme auf Grundlage der besagten externen Input-Informationen einer Zuverlässigkeitsprüfung der ermittelten Gültigkeit der Verkehrszeichen.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Erweiterung der Datenquellen zur Beurteilung der Gültigkeit von Verkehrszeichen. In dem Fall, dass die fahrzeugeigenen Sensoren (beispielsweise aufgrund von Funktionseinschränkungen, Sichtbehinderung etc.) den sinnvollen Anwendungsbereich eines Verkehrszeichens nicht präzise bestimmen können, kann durch das Kombinieren von mehreren fahrzeugexternen Datenquellen die Unzulänglichkeit des fahrzeugeigenen Erfassungsergebnisses ausgeglichen werden, so dass die Gültigkeit eines Verkehrszeichens vorteilhafterweise in mehrfacher Hinsicht geprüft wird.
-
Wahlweise umfassen die Informationen zur Bewegung des Fahrzeugs die Verschiebung des Fahrzeugs in einem bestimmten Zeitabschnitt, und die Informationen zur Veränderung eines Verkehrszeichens umfassen die 3D-Positionsveränderung des in einem bestimmten Zeitabschnitt mithilfe einer Fahrzeugkamera erfassten Verkehrszeichens.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Die Erfassung von Verkehrszeichen oder anderen Elementen in der Umgebung beim Fahren muss in jedem Fall mithilfe eines mit visueller Wahrnehmung kombinierten Verfahrens erfolgen, wobei es aktuell zahlreiche auf visueller Wahrnehmung basierende 3D-Zielerkennungsalgrorithmen gibt und an dieser Stelle keine Anforderungen an den konkreten Algorithmus gestellt werden.
-
Wahlweise umfasst das besagte Verfahren spätestens vor Schritt S3 noch die folgenden Schritte:
- Ermittlung mithilfe von Informationsfusion mehrerer fahrzeugeigener Sensoren der Geschwindigkeit und/oder der Position der Verkehrszeichen relativ zum Fahrzeug; und
- zusätzliche Ermittlung der Gültigkeit der Verkehrszeichen auf Grundlage der besagten Geschwindigkeit und/oder Position.
- Auf diese Weise wird folgender technischer Vorteil realisiert: Auf unterschiedlichen Prinzipien basierende Sensoren haben in der Regel unterschiedliche Aufgabenschwerpunkte und Anwendungsbedingungen, so dass durch die Fusion mehrerer Sensoren eine gegenseitige Überprüfung des Erkennungsergebnisses der verschiedenen Sensoren erfolgen kann, wodurch die Informationen mehrerer Koordinatenräume einander ergänzend und miteinander kombiniert verarbeitet werden und man so ein genaueres Erkennungsergebnis erhält.
-
Wahlweise umfasst der besagte Schritt S2 noch Folgendes:
- Klassifizierung der Verkehrszeichen auf Basis des besagten Vergleichsergebnisses als statische Verkehrszeichen oder dynamische Verkehrszeichen; und
- wenn ein Verkehrszeichen als statisches Verkehrszeichen klassifiziert wird, Beurteilung des besagten Verkehrszeichens als gültiges Verkehrszeichen.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Durch diese Unterscheidung auf Grundlage der statischen und der dynamischen Eigenschaft können in der ersten Erkennungsphase störende Elemente bereits weitestmöglich ausgeschlossen werden, so dass auch wenn der nachfolgende Prozess der erneuten Überprüfung nicht rechtzeitig oder nur eingeschränkt erfolgen kann, fehlerhafte Erkennungsergebnisse trotzdem in größtmöglichem Umfang verringert werden können, was die Akzeptanz von Fahrerassistenzfunktionen steigert.
-
Wahlweise ist es in dem besagten Schritt S4 so, dass wenn die Position eines Verkehrszeichens mit der Position von mindestens einem anderen Fahrzeug in der Fahrzeugumgebung übereinstimmt, das bereits ermittelte gültige Verkehrszeichen als ungültig bestätigt wird.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Was ein an einem anderen Fahrzeug angebrachtes Verkehrszeichen betrifft, so gilt, dass wenn sich das andere Fahrzeug in statischem Zustand befindet (wenn es beispielsweise am Straßenrand parkt), es folglich nicht ausreicht, sich ausschließlich auf die statische/dynamische Eigenschaft des Verkehrszeichens zu stützen, um es von am Straßenrand aufgestellten feststehenden Verkehrsschildern zu unterschieden. Ist unter diesen Umständen vollständig bekannt, ob es eine Übereinstimmung der Position des Verkehrszeichens mit der eines anderen Fahrzeugs in dessen Nähe gibt, so kann zuverlässig verifiziert werden, ob das Verkehrszeichen tatsächlich an einem anderen Fahrzeug angebracht ist.
-
Wahlweise umfassen die externen Input-Informationen Informationen zur Existenz von feststehenden Verkehrszeichen in der Fahrzeugumgebung, wobei in dem besagten Schritt S4' nur, wenn die besagten Informationen zur Existenz ergeben, dass in der Fahrzeugumgebung ein feststehendes Verkehrszeichen existiert, das bereits ermittelte gültige Verkehrszeichen als gültig bestätigt wird.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Wenn bekannt ist, ob es in der Nähe des Fahrzeugs feststehende Verkehrszeichen gibt, können identifizierte gültige Verkehrszeichen mit dieser Referenzinformation verglichen und so das erste Erkennungsergebnis verifiziert werden.
-
Wahlweise umfassen die besagten externen Input-Informationen Informationen zur Art mindestens eines Verkehrsgegenstandes in der Fahrzeugumgebung, wobei in dem besagten Schritt S4', wenn die Information zur Art des mindestens einen Verkehrsgegenstands mindestens eine vordefinierte Art angibt, ein bereits ermitteltes ungültiges Verkehrszeichen als gültig bestätigt wird.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Ist bekannt, dass es in der Fahrzeugumgebung Verkehrsgegenstände besonderer Art gibt, so deutet dies möglicherweise darauf hin, dass sich das Fahrzeug in einem extremen Anwendungsszenarium befindet, so dass die Kriterien zur Beurteilung der Gültigkeit eines Verkehrszeichens hier möglicherweise einer Änderung unterliegen. Zur Sicherheit ist ein bereits als ungültig ermitteltes Verkehrszeichen wieder als gültig zu klassifizieren, um so die Sicherheit bestmöglich zu erhöhen.
-
Wahlweise umfasst das besagte Verfahren noch folgenden Schritt: Übermittlung der auf Zuverlässigkeit geprüften Informationen zur Gültigkeit eines Verkehrszeichens an mindestens ein anderes Fahrzeug, eine grundlegende Infrastruktur und/oder Straßenüberwachungsplattform.
-
Auf diese Weise wird folgender technischer Vorteil realisiert: Durch das Teilen dieser Informationen können die anderen Fahrzeuge in der Fahrzeugumgebung rechtzeitig informiert werden, wodurch dafür gesorgt werden kann, dass diese weniger durch ungültige Verkehrszeichen gestört werden. Darüber hinaus kann so auch mithilfe anderer Plattformen die Gültigkeit der Erkennungsergebnisse weiter überprüft werden.
-
Gemäß einem zweiten Aspekt dieser Erfindung wird eine Vorrichtung zur Verkehrszeichenerkennung vorgebracht, wobei die besagte Vorrichtung zur Umsetzung des besagten Verfahrens des ersten Aspekts dieser Erfindung verwendet wird und die besagte Vorrichtung Folgendes umfasst:
- Ein Erfassungsmodul, das so konfiguriert ist, dass es Informationen zur Bewegung des Fahrzeugs sowie Informationen zur Veränderung von Verkehrszeichen in der Fahrzeugumgebung in einer mit einer Kamera aufgenommenen Bildsequenz erfassen kann, wobei das besagte Erfassungsmodul außerdem noch so konfiguriert ist, dass es die Positionsbeziehung der besagten Verkehrszeichen zu mindestens einem anderen Fahrzeug in der Fahrzeugumgebung erfassen kann;
ein Ermittlungsmodul, das so konfiguriert ist, dass es die Gültigkeit der Verkehrszeichen auf Basis eines Vergleichs der Informationen zur Bewegung des Fahrzeugs und der Informationen zur Veränderung der Verkehrszeichen ermitteln kann; und
ein Modul zur Zuverlässigkeitsprüfung, das so konfiguriert ist, dass es auf Grundlage der besagten Positionsbeziehung eine Zuverlässigkeitsprüfung der ermittelten Gültigkeit der Verkehrszeichen vornehmen kann.
-
Im Folgenden wird diese Erfindung durch Heranziehen von Figuren näher beschrieben, so dass das Prinzip, die Besonderheiten und die Vorteile besser verstanden werden können. Übersicht über die Figuren:
- 1 zeigt ein Blockdiagramm einer Vorrichtung zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung;
- 2 zeigt ein Flussdiagramm eines Verfahrens zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung;
- 3 zeigt ein Flussdiagramm von zwei Schritten eines Verfahrens zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung; und
- 4a und 4b zeigen die Anwendung des Verfahrens gemäß dieser Erfindung in einem beispielhaften Anwendungsszenarium.
-
Um das mit dieser Erfindung zu lösende technische Problem, die technische Lösung sowie die vorteilhaften technischen Auswirkungen noch deutlicher zu erläutern, wird diese Erfindung im Folgenden mithilfe der beigefügten Figuren und mehrerer beispielhafter Ausführungsbeispiele näher erläutert. Es ist darauf hinzuweisen, dass mit der hier erfolgenden Beschreibung der konkreten Ausführungsbeispiele diese Erfindung lediglich erläutert werden soll und sie keinesfalls zur Einschränkung des Schutzbereichs dieser Erfindung dient.
1 zeigt ein Blockdiagramm einer Vorrichtung zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung.
Wie in 1 zu sehen, wird die Vorrichtung 1 beispielsweise für ein Fahrzeug 2 mit Fahrerassistenzfunktion / Funktion des automatisierten Fahrens verwendet. Dieses Fahrzeug 2 kann beispielsweise teilautonom fahren oder auch vollautonom fahren. Zur Umsetzung einer verbesserten Verkehrszeichenerkennung umfasst die Vorrichtung 1 ein Erfassungsmodul, ein Ermittlungsmodul 20 und ein Modul zur Zuverlässigkeitsprüfung 30. Das Erfassungsmodul ist hier nicht in Form eines einzelnen integrierten Moduls, sondern beispielsweise als mehrere Arten von fahrzeugeigenen Sensoren (beispielsweise eine Kamera 11, einen Radarsensor 12 und einen Fahrzeugradgeschwindigkeitssensor 14) umfassend dargestellt. Darüber hinaus umfasst dieses Erfassungsmodul beispielsweise noch eine Datenfusionseinheit 13.
-
Bei der Kamera 11 handelt es sich beispielsweise um eine monokulare Kamera, eine binokulare Kamera oder eine Stereokamera, die so konfiguriert ist, dass sie zu verschiedenen Zeitpunkten mindestens ein Bild der Fahrzeugumgebung aufnimmt und gemäß entsprechenden 3D-Zielerkennungsalgrorithmen Verkehrszeichen und andere Arten von Verkehrsgegenständen identifiziert. Bei dem Radarsensor 12 handelt es sich beispielsweise um einen Lidar-Radarsensor, einen Millimeterwellen-Radarsensor etc., der so konfiguriert ist, dass er Informationen zum Abstand und zur Geschwindigkeit von Verkehrsgegenständen in der Fahrzeugumgebung erfasst. Der Fahrzeugradgeschwindigkeitssensor 14 ist beispielsweise so konfiguriert, dass er die Raddrehzahl misst, wodurch die Fahrzeuggeschwindigkeit berechnet werden kann.
-
Außerdem kann das Erfassungsmodul noch andere Arten von Sensoren umfassen, beispielsweise GNSS-Sensoren, Trägheitssensoren, Ultraschallsensoren, Infrarotsensoren etc., wobei die Erfassungsergebnisse dieser Sensoren in der Fusionseinheit 13 gemeinsam analysiert und verarbeitet werden können, um Informationen zur Beschreibung der Bewegungseigenschaften oder Positionseigenschaften von Verkehrszeichen und des Fahrzeugs zu erhalten.
-
Nachdem mithilfe des Erfassungsmoduls die Informationen der entsprechenden Sensoren erhalten wurden, werden diese Informationen an das Ermittlungsmodul 20 übermittelt, um dort die Informationen zur Bewegung des Fahrzeugs und die Informationen zur Veränderung der Verkehrszeichen im zeitlichen Verlauf miteinander zu vergleichen und so die Gültigkeit eines Verkehrszeichens zu ermitteln.
-
Gemäß den Ausführungsbeispielen dieser Erfindung wird diese Schlussfolgerung in Bezug auf die Gültigkeit nicht unmittelbar zur Verwendung durch Fahrerassistenzfunktionen bereitgestellt, sondern es kann zuvor noch mithilfe des Moduls zur Zuverlässigkeitsprüfung 30 eine erneute Überprüfung dieser Gültigkeitsinformation erfolgen. Zur Vornahme der erneuten Überprüfung kann das Modul zur Zuverlässigkeitsprüfung 30 beispielsweise vom Erfassungsmodul (z. B. von der Datenfusionseinheit 13) die Positionsbeziehung der Verkehrszeichen zu anderen Fahrzeugen in der Fahrzeugumgebung erhalten und anschließend auf Grundlage dieser Positionsbeziehung verifizieren, ob die Schlussfolgerung in Bezug auf die Gültigkeit zuverlässig ist.
-
Die Vorrichtung 1 umfasst beispielsweise noch eine auf Telematik basierende Kommunikationsschnittstelle 15, die so konfiguriert ist, dass sie vom Modul zur Zuverlässigkeitsprüfung 30 eine verifizierte Information zur Gültigkeit eines Verkehrszeichens erhält und diese Information an andere Verkehrsteilnehmer, grundlegende Infrastrukturen und/oder Straßenüberwachungsplattformen weitergibt. Darüber hinaus kann es sich bei der Kommunikationsschnittstelle 15 auch um einen Teil des Erfassungsmoduls handeln, wobei sie dann folglich so konfiguriert ist, dass sie externe Input-Informationen aus der Fahrzeugumgebung erhält und an das Modul zur Zuverlässigkeitsprüfung 30 übermittelt, um gestützt auf die Telematikdaten die Verifizierung der Gültigkeiten von Verkehrszeichen zu unterstützen.
-
2 zeigt ein Flussdiagramm eines Verfahrens zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung. Dieses Verfahren kann beispielsweise bei Verwendung einer Vorrichtung 1 gemäß 1 umgesetzt werden. Dieses Verfahren umfasst Schritt S1, wobei in diesem Schritt Informationen zur Bewegung des Fahrzeugs sowie Informationen zur Veränderung von Verkehrszeichen in der Fahrzeugumgebung in einer mit einer Kamera aufgenommenen Bildsequenz erhalten werden. Die Informationen zur Bewegung des Fahrzeugs umfassen beispielsweise die Geschwindigkeit und die Verschiebung des Fahrzeugs. Bei den Informationen zur Veränderung eines Verkehrszeichens kann es sich beispielsweise um die Veränderung der geometrischen Konturen und/oder Abmessungen des Verkehrszeichens handeln, auch kann es sich um die 3D-Verschiebung eines in verschiedenen Bildern erfassten Verkehrszeichens handeln. Das Ziel des Erhalts von Informationen zur Veränderung eines Verkehrszeichens besteht darin, die Verschiebung eines Verkehrszeichens relativ zum Fahrzeug in einem bestimmten Zeitabschnitt zu ermitteln. Wahlweise kann in Schritt S1 noch zusätzlich mithilfe von Informationsfusion mehrerer fahrzeugeigener Sensoren die Geschwindigkeit und/oder die Position des Verkehrszeichens relativ zum Fahrzeug ermittelt werden.
-
Anschließend wird in Schritt S2 auf Basis eines Vergleichs der Informationen zur Bewegung des Fahrzeugs und zur 3D-Positionsveränderung der Verkehrszeichen beurteilt, ob die erfassten Verkehrszeichen gültig sind. Wahlweise können in diesem Schritt zusätzlich mithilfe von Informationsfusion mehrerer Sensoren die relative Geschwindigkeit und/oder die relative Position der Verkehrszeichen gegenüber dem Fahrzeug erhalten werden, um so die Gültigkeit zu ermitteln. Der Vorteil dieser Vorgehensweise besteht darin, dass auf Grundlage der Erkennungsergebnisse mehrerer Sensoren zusammen die Bewegungseigenschaften eines Verkehrszeichens analysiert werden, wodurch die Genauigkeit der Gültigkeitsbeurteilung erhöht wird. Ergibt sich beispielsweise gemäß der relativen Position des Verkehrszeichens zum eigenen Fahrzeug, dass sich das Verkehrszeichen möglicherweise in der Mitte der Straße befindet, dann kann es bereits von Anfang an aus der Kategorie der gültigen Verkehrszeichen ausgeschlossen werden oder diese Informationen können dazu verwendet werden, das Ergebnis der 3D-Zielerkennung zu verifizieren. Der Bezugspunkt für die relative Geschwindigkeit und/oder die relative Position kann hierbei vom Entwickler auf Basis des Designs und der Algorithmen festgelegt werden, und es kann sich dabei beispielsweise um den Mittelpunkt der Vorderachse des Fahrzeugs, den Mittelpunkt der vorderen Stoßstange, den Mittelpunkt der Hinterachse etc. handeln. Im Sinne dieser Erfindung bedeutet gültiges Verkehrszeichen beispielsweise, dass der Geltungsbereich dieses Verkehrszeichens auf die Fahrzeugumgebung, in der sich das Fahrzeug gerade befindet, anwendbar ist, und dass folglich das Erkennungsergebnis für dieses Verkehrszeichen zur Informationsanzeige oder Fahrzeugsteuerung verwendet werden kann. Ungültiges Verkehrszeichen bedeutet beispielsweise, dass dieses Verkehrszeichen missbräuchlich oder nur für einen besonderen Zweck (z. B. nur zur Warnung anderer Fahrzeuge oder von Personen) verwendet wird, wobei in diesem Fall das Erkennungsergebnis für ein solches Verkehrszeichen nicht zur Verwendung durch Fahrerassistenzfunktionen bereitgestellt werden soll.
-
Wird, gemäß einem Ausführungsbeispiel, geurteilt, dass ein Verkehrszeichen gültig ist, dann kann in Schritt S3 die Positionsbeziehung des besagten Verkehrszeichens zu mindestens einem anderen Fahrzeug in der Fahrzeugumgebung erfasst werden. Hier kann beispielsweise mithilfe einer fahrzeugeigenen Kamera (beispielsweise auf Basis entsprechender 3D-Zielerkennungsalgrorithmen) die 3D-Position eines Ziels in der Fahrzeugumgebung erfasst und auf dieser Grundlage beurteilt werden, ob die 3D-Position des Verkehrszeichens mit einem anderen Fahrzeug übereinstimmt.
-
In Schritt S4 wird auf Grundlage der besagten Positionsbeziehung eine Zuverlässigkeitsprüfung der zuvor in Schritt S2 erhaltenen Information zur Gültigkeit der Verkehrszeichen vorgenommen. Beispielsweise können die Informationen zur 3D-Position von Zielen in der Fahrzeugumgebung mit der Information zur 3D-Position des Verkehrszeichens zur Feststellung des Übereinstimmungsgrads verglichen werden, wobei wenn der Übereinstimmungsgrad einen vordefinierten Schwellenwert erreicht, geurteilt wird, dass eine Positionsübereinstimmung vorliegt. Außerdem kann noch beurteilt werden, ob für das Verkehrszeichen und mindestens ein Ziel (beispielsweise ein anderes Fahrzeug) in einem festgelegten Bereich in seiner Umgebung die gleichen 3D-Positionsinformationen vorliegen, wobei wenn für beide die gleichen 3D-Positionsinformationen vorliegen, weiter beurteilt werden kann, ob die Position des Verkehrszeichens mit der dieses Ziels übereinstimmt.
-
Wird festgestellt, dass zwischen dem Verkehrszeichen und mindestens einem Fahrzeug eine Positionsübereinstimmung vorliegt, so bedeutet dies insbesondere, dass es sich bei diesem Verkehrszeichen nicht um ein unabhängig bestehendes einzelnes Verkehrszeichen handelt, sondern dass es an einem anderen Fahrzeug angebracht ist. Dies bedeutet beispielsweise, dass es sich bei dem erfassten Verkehrszeichen nicht um ein feststehendes Standard-Spezifikationen entsprechendes Verkehrszeichen am Straßenrand handelt, sondern dass es ein hinten auf ein anderes Fahrzeug geklebtes dynamisches Verkehrszeichen ist. In einem solchen Fall ist ein solches Verkehrszeichen, unabhängig davon, wie die Schlussfolgerung in Bezug auf die Gültigkeit im vorangehend beschriebenen Schritt ausgefallen ist, immer als ungültig anzusehen. In diesem Fall kann beispielsweise in Schritt S5 das bereits ermittelte gültige Verkehrszeichen als ungültig bestätigt werden.
-
Umgekehrt, wird in Schritt S4 keine Positionsübereinstimmung festgestellt, dann wird in Schritt S6 das vorherige Ergebnis der Gültigkeitsermittlung weiter beibehalten, das heißt, das bereits ermittelte gültige Verkehrszeichen bleibt weiterhin gültig.
-
Gemäß einem anderen Ausführungsbeispiel ist es so, dass wenn in Schritt S2 geurteilt wird, dass die Verkehrszeichen gültig sind, in Schritt S3' noch mithilfe der V2X-Technik der Erhalt von externen Input-Informationen zur Fahrzeugumgebung möglich ist. Zum Beispiel können die externen Input-Informationen Informationen zur Art mindestens eines Verkehrsgegenstandes in der Fahrzeugumgebung umfassen. Gemäß einem anderen Beispiel umfassen diese externen Input-Informationen Informationen zur Existenz von feststehenden Verkehrszeichen in der Fahrzeugumgebung. Als weiteres Beispiel werden mithilfe der V2X-Technik sichere und verlässliche Echtzeit-Input-Informationen in Bezug auf die Fahrzeugumgebung, einschließlich (dynamischer) Verkehrszeichen, erhalten.
-
In Schritt S4' kann beurteilt werden, ob das Verkehrszeichen zu einer vordefinierten Art gehört. Zum Beispiel kann mithilfe der externen Input-Informationen beurteilt werden, ob in der Fahrzeugumgebung ein Polizeiwagen mit einem Geschwindigkeitsschild vorbeifährt. Als weiteres Beispiel kann mithilfe der externen Input-Informationen beurteilt werden, ob es in der Fahrzeugumgebung Gefahrguttransporter oder Transportfahrzeuge mit akuten Sicherheitsproblemen gibt.
-
Ergibt die Beurteilung, dass mindestens ein Verkehrsgegenstand einer vordefinierten Art angehört, so wird in Schritt S7 das bereits ermittelte ungültige Verkehrszeichen als gültig bestätigt. Ziel dessen ist es, dass wenn es in der aktuellen Fahrumgebung besondere Fahrzeuge (Polizeiwagen, Gefahrguttransporter etc.) gibt, die ursprünglichen Kriterien zur Gültigkeitsbeurteilung möglicherweise nicht mehr verwendet werden, wobei folglich als Vorsichtsmaßnahme ein Verkehrszeichen, obwohl es bereits als ungültig identifiziert wurde, bei Verwendung der Fahrerassistenzfunktion dennoch in geeigneter Weise berücksichtigt werden oder ein entsprechender Hinweis an die Fahrzeuginsassen ergehen sollte.
-
Umgekehrt, haben die externen Input-Informationen nicht ergeben, dass es in der Fahrzeugumgebung Verkehrsgegenstände vordefinierter Art gibt, dann kann in Schritt S8 das vorherige Ergebnis der Gültigkeitsermittlung weiter beibehalten werden.
-
Wahlweise kann in Schritt S4' noch zusätzlich beurteilt werden, ob die externen Input-Informationen Informationen zur Existenz von feststehenden Verkehrszeichen in der Fahrzeugumgebung umfassen. Nur, wenn die besagten Informationen zur Existenz ergeben, dass in der Fahrzeugumgebung tatsächlich ein feststehendes Verkehrszeichen existiert, wird das bereits ermittelte gültige Verkehrszeichen als gültig bestätigt.
-
3 zeigt ein Flussdiagramm von zwei Schritten eines Verfahrens zur Verkehrszeichenerkennung gemäß einem beispielhaften Ausführungsbeispiel dieser Erfindung. In diesem beispielhaften Ausführungsbeispiel umfasst Schritt S1 des Verfahrens aus 2 die Unterschritte S11-S12, der Verfahrensschritt S2 umfasst die Unterschritte S21-S24.
In Schritt S11 wird die 3D-Positionsveränderung von Verkehrszeichen in dem Zeitraum zwischen einem ersten Zeitpunkt und einem zweiten Zeitpunkt berechnet. Hierbei können beispielsweise jeweils zum ersten Zeitpunkt und zum zweiten Zeitpunkt mithilfe einer fahrzeugeigenen Kamera Bilder der Fahrzeugumgebung aufgenommen und in den entsprechenden Bildern Verkehrszeichen erfasst werden. Gemäß 3D-Zielerkennungsalgrorithmen kann jeweils die 3D-Position der Verkehrszeichen zum ersten Zeitpunkt und zum zweiten Zeitpunkt ermittelt werden: D_sign_time_1, D_sign_time_2. Im Sinne dieser Erfindung meint diese 3D-Position die Position der Verkehrszeichen bezogen auf das Fahrzeug. Anschließend kann beispielsweise mithilfe der nachfolgenden Gleichung die 3D-Positionsveränderung des Verkehrszeichens ermittelt werden: D_sign = D_Sign_time_1 - D_sign_time_2.
-
In Schritt S12 wird die Verschiebung des Fahrzeugs in dem Zeitraum zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt berechnet. Hierbei ist die beispielsweise mithilfe eines Fahrzeugradgeschwindigkeitssensors erfasste Geschwindigkeit des Fahrzeugs zu irgendeinem Zeitpunkt v
_current, die Verschiebung innerhalb eines Zeitraums ist:
Alternativ oder zusätzlich kann mithilfe des fahrzeugeigenen Standortbestimmungsmoduls die Position des Fahrzeugs zum ersten Zeitpunkt und zum zweiten Zeitpunkt P
_vehicle_time_1, P
_vehicle_time_2 erfasst werden, wobei durch Vergleich der Position zu verschiedenen Zeitpunkten auch die Verschiebung berechnet werden kann: P
_vehicle = P
_vehicle_time_1 - P
_vehicle_time_2.
-
In Schritt S21 erfolgt ein Vergleich der 3D-Positionsveränderung der Verkehrszeichen mit der Verschiebung des Fahrzeugs. Hierbei kann beispielsweise die Differenz zwischen der 3D-Positionsveränderung der Verkehrszeichen und der Verschiebung des Fahrzeugs ermittelt werden.
-
In Schritt S22 wird gemäß dem Ergebnis des vorgenannten Vergleichs beurteilt, ob es sich um ein dynamisches Verkehrszeichen handelt. Wenn es zum Beispiel keinen großen Unterschied zwischen der 3D-Positionsveränderung eines Verkehrszeichens D_sign und der Verschiebung des Fahrzeugs D_vehicle gibt, das heißt, wenn beispielsweise D_vehicle*80 % ≤ D_sign ≤ D_vehicle*120 %, dann wird geurteilt, dass es sich um ein statisches Verkehrszeichen handelt. Ist zum Beispiel der Unterschied zwischen der 3D-Positionsveränderung eines Verkehrszeichens D_sign und der Verschiebung des Fahrzeugs D_vehicle relativ groß, das heißt, gilt beispielsweise D_sign < D_vehicle*80 % oder D_sign> D_vehicle*120 %, dann wird geurteilt, dass es sich um ein dynamisches Verkehrszeichen handelt.
-
Ergibt die Beurteilung, dass es sich um ein dynamisches Verkehrszeichen handelt, dann bedeutet dies, dass das Verkehrszeichen sehr wahrscheinlich an einem anderen Fahrzeug angebracht ist und sich mit dem anderen Fahrzeug gemeinsam vorwärtsbewegt, wobei in diesem Fall in Schritt S24 festgestellt wird, dass ein ungültiges Verkehrszeichen erfasst wurde.
-
Ergibt die Beurteilung, dass es sich um ein statisches Verkehrszeichen handelt, dann bedeutet dies, dass es sich bei dem Verkehrszeichen um einen feststehenden Gegenstand am Straßenrand in statischem Zustand handelt, so dass in Schritt S23 festgestellt werden kann, dass ein gültiges Verkehrszeichen erfasst wurde.
-
4a und 4b zeigen die Anwendung des Verfahrens gemäß dieser Erfindung in einem beispielhaften Anwendungsszenarium. In dem dargestellten Szenarium werden beim Fahren beispielsweise mithilfe einer Fahrzeugkamera zu unterschiedlichen Zeitpunkten Bilder von der Straße vor dem Fahrzeug aufgenommen. 4a zeigt ein zum ersten Zeitpunkt aufgenommenes Bild, 2 zeigt ein zum nach dem ersten Zeitpunkt gelegenen zweiten Zeitpunkt aufgenommenes Bild.
-
Betrachtet man 4a, kann man sehen, dass es vor dem Fahrzeug in nicht weiter Entfernung einen fahrenden Bus 41 gibt, wobei am Heck des Busses 41 ein erstes Geschwindigkeitsschild 401 angebracht ist. Außerdem befinden sich rechts vor dem Fahrzeug noch ein am Heck eines Lkw 42 angebrachtes zweites Geschwindigkeitsschild 402 sowie ein feststehendes Geschwindigkeitsschild 403 am Straßenrand. In diesem beispielhaften Szenarium hält der Lkw 42 am Straßenrand und befindet sich daher in statischem Zustand. Mithilfe entsprechender 3D-Zielerkennungsalgrorithmen können in diesem Bild beispielsweise drei Geschwindigkeitsschilder 401, 402, 403 erfasst werden.
-
Zur Beurteilung der Gültigkeit dieser drei Geschwindigkeitsschilder werden zu einem zweiten Zeitpunkt noch einmal Bilder von der Straße vor dem Fahrzeug aufgenommen, was beispielhaft in 4b dargestellt ist. Betrachtet man 4b, kann man sehen, dass, da der Bus 41 schneller fährt als das eigene Fahrzeug, folglich mit der Zeit der Abstand dieses Busses 41 zum Fahrzeug größer wird. Darüber hinaus wird mit dem Vorankommen des Fahrzeugs der Abstand des Geschwindigkeitsschilds 403 am Straßenrand sowie der des am Straßenrand haltenden Lkw 42 zum Fahrzeug kleiner. Mithilfe des Verfahrens gemäß dieser Erfindung kann anhand eines Vergleichs der Verschiebung des Fahrzeugs selbst mit der 3D-Positionsveränderung jedes der erfassten Geschwindigkeitsschilder 401, 402, 403 geurteilt werden, dass es sich bei dem Geschwindigkeitsschild 401 um ein dynamisches Verkehrszeichen handelt und dass die Geschwindigkeitsschilder 402 und 403 statische Verkehrszeichen sind, so dass bei der ersten Gültigkeitsermittlung das Geschwindigkeitsschild 401 der Kategorie der ungültigen Verkehrszeichen zugeteilt wird und die Geschwindigkeitsschilder 402 und 403 der Kategorie der gültigen Verkehrszeichen zugeteilt werden.
-
In diesem beispielhaften Szenarium dient das zweite Geschwindigkeitsschild 402 lediglich dem Zweck, dafür zu sorgen, dass andere Verkehrsteilnehmer das Fahrverhalten des Busses 42 überwachen, es dient nicht als Geschwindigkeitsvorschrift für den aktuellen Straßenabschnitt. Da jedoch dieses zweite Geschwindigkeitsschild 402 an einem statischen Fahrzeug 42 angebracht ist, wird es bei der ersten Gültigkeitsermittlung gemäß der Bewegungseigenschaft auch als statischer Gegenstand identifiziert und folglich fälschlicherweise als gültig eingestuft. Dies zeigt, dass die reine Information über die Geschwindigkeit eines Verkehrszeichens nicht ausreicht, um diese aufgebrachten Zeichen verlässlich von üblichen Geschwindigkeitsschildern zu unterscheiden.
-
In einem solchen Fall ist es erforderlich, anhand der 3D-Positionsbeziehung des Verkehrszeichens zu anderen Fahrzeugen das Ergebnis der Gültigkeitsermittlung zu verifizieren. Beispielsweise können auf der Grundlage von 3D-Zielerkennungsalgrorithmen Informationen zur 3D-Position des zweiten Geschwindigkeitsschilds 402 sowie Informationen zur 3D-Position des Fahrzeugs 42 in dessen Nähe erhalten werden, wobei es sich bei diesen beiden Informationen zur 3D-Position um die absoluten Positionen im globalen Koordinatensystem oder auch um relative Positionen in Bezug auf ein bestimmtes Koordinatensystem handeln kann, wobei nur gewährleistet sein muss, dass die Informationen zur 3D-Position der beiden auf Basis des gleichen Bezugskoordinatensystems errechnet werden. Wird hierbei beispielsweise ermittelt, dass die Position des zweiten Geschwindigkeitsschilds 402 mit der 3D-Position des Lkw 42 übereinstimmt, so kann daraus abgeleitet werden, dass das zweite Geschwindigkeitsschild am Lkw 42 angebracht ist, so dass die vorherige Schlussfolgerung in Bezug auf die Gültigkeit zu korrigieren ist.
-
Aus den 4a-4b lässt sich außerdem entnehmen, dass sich in der Fahrzeugumgebung noch ein weiteres Fahrzeug 43 mit einer Telematik-Kommunikationsschnittstelle 50 befindet, wobei besagtes Fahrzeug 43 beispielsweise mit der neuesten Version einer hochpräzisen Karte ausgestattet ist, aus der Folgendes hervorgeht: in der aktuellen Fahrzeugumgebung gibt es nur ein feststehendes Geschwindigkeitsschild, und dieses feststehende Geschwindigkeitsschild legt eine Höchstgeschwindigkeit von „80 km/h“ fest. Das Fahrzeug 43 teilt diese Information beispielsweise mit diesem Fahrzeug. Folglich kann dieses Fahrzeug, wenn es diese Information erhält, diese auch zur Zuverlässigkeitsprüfung der Gültigkeit der Verkehrszeichen nutzen.
-
Zwar wurden hier detailliert spezifische Ausführungsbeispiele dieser Erfindung beschrieben, diese wurden jedoch lediglich zum Zwecke der Erläuterung angeführt und dürfen nicht als den Schutzbereich dieser Erfindung einschränkend erachtet werden. Unter der Voraussetzung, dass der Kerngedanke und der Bereich dieser Erfindung nicht verlassen werden, können jedwede Arten von Ersetzungen, Änderungen und Modifikationen erdacht werden.