DE19938256A1 - Verfahren und Einrichtung zur elektronischen Erkennung von Verkehrszeichen - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur elektronischen Erkennung von Verkehrszeichen, bei welchen die Verkehrszeichen mit einer im Kraftfahrzeug angeordneten Kamera erfaßt und über Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, gemäß Oberbegriff der Patentansprüche 1 und 7. Um hierbei zu erreichen, daß auch bei Abweichungen von üblichen Verkehrszeichen oder Abweichungen von der genormten Aufstellungsweise trotzdem eine sichere Erkennung des Verkehrszeichens möglich ist, ist erfindungsgemäß vorgeschlagen, daß nonkonforme oder nonkonform aufgestellte Verkehrszeichen durch Template-Matching als solche erkannt werden und daß ihnen durch elektronisch logische Deutung eine Bedeutung zugewiesen und als weiteres Template adaptiv abgespeichert wird.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur elektronischen Erkennung von Verkehrszeichen, bei welchen die Verkehrszeichen mit einer im Kraftfahrzeug angeordneten Kamera erfaßt und über Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, gemäß Oberbegriff der Patentansprüche 1 und 7.

Verfahren und Einrichtungen dieser Art sollen den Fahrer im Fahrbetrieb unterstützen. Dabei unterstützen Verfahren und Einrichtungen dieser Art außerdem die Verkehrssicherheit, indem der Fahrer je nach Betriebsmodus an jede durch Verkehrszeichen markierte Änderung nochmalig und gesondert erinnert wird.

Im übrigen ist die Entwicklung solcher kameragestützter Systeme ein erster und entscheidender Schritt zur automatischen Verkehrsführung, welches insbesondere in Ballungszentren oder viel befahrenen Strecken von Vorteil ist. In diesem Zusammenhang gibt es daher zwei generelle Entwicklungslinien. Die eine bezieht sich auf Verkehrsleitsysteme, die mittels verdeckter Drahtschleifen oder Leitstrahlen die Kraftfahrzeuge automatisch führen sollen. Ein Schritt dorthin ist die Verkehrszeichenerkennung mittels Codierung. Hierbei werden Verkehrszeichen mit einem Codesender versehen, der bei Vorbeifahrt des Fahrzeuges gelesen wird. Die Aufstellung solcher Verkehrszeichen ist jedoch bei lohnender flächendeckender Verbreitung enorm teuer und daher aus öffentlicher Hand kaum finanzierbar. Zum anderen haben solche vollautomatischen Leitsysteme, wie sie im Flugverkehr eingesetzt werden, für den Straßenverkehr, in dem sich die Fahrzeuge sehr viel dichter zueinander bewegen, als im Luftraum, nur eine bedingte Übertragbarkeit ihrer Funktion.

Eine andere Entwicklungslinie befaßt sich mit der intelligenten Erkennung des Umfeldes, so wie der Fahrer die Umwelt auch erfassen würde. Hierzu gehören nicht nur codierte, ortsabhängige Signale, sondern das gesamte Erfassen der Umgebung mit all ihren miteinander und ineinander spielenden Nebenbedingungen. Es hat sich gezeigt, daß in diffizilen Situationen die zweitere Entwicklungslinie den Vorrang behalten wird und am allermeisten "menschliches Verhalten" nachbilden kann. Ein Weg zur intelligenten Überwachung des Verkehrsgeschehens ist die Auswertung von Kamerabildern.

So ist aus der DE 296 10 677 U1 ein Bilderfassungsgerät bekannt, welches mittels optischer Abtastung und Erkennung von am Straßenrand aufgestellten Verkehrsschildern durch Mustervergleich und entsprechender Anzeige im Kraftfahrzeug realisiert wird. So sind Mustervergleichsverfahren ein wesentlicher Bestandteil bei der Auswertung von Verkehrsschildern.

Aus der DE 298 02 953 U1 ist es bekannt, eine permanente Abtastung, d. h. optische Abtastung des rechten Fahrbahnrandes durch eine Videokamera vorzunehmen. Die ermittelten Bilddaten werden an einen Rechner innerhalb des Kraftfahrzeuges übertragen. Danach erfolgt eine visuelle und ggf. eine akustische Anzeige innerhalb des Kraftfahrzeuges. Durch Fahrbewegungen oder Lenkeinschläge zum Ausweichen vor Hindernissen kann eine reine Fixierung auf den Straßenrand sogar zum Übersehen von Verkehrszeichen führen.

Aus der DE 295 20 819 U1 ist eine geschwindigkeitsbegrenzende Einrichtung mit einer Codeerkennung von Verkehrszeichen bekannt. Wie oben bereits beschrieben, werden die Verkehrszeichen nicht visuell ausgewertet, sondern über einen Sendecode wird dem vorbeifahrenden Fahrzeug die entsprechenden Informationen auf eine innerhalb des Fahrzeuges angeordnete Anzeige übertragen. Bei der hier dargestellten Einrichtung erfolgt ein geschwindigkeitsbegrenzender Eingriff auf die Steuerung des Fahrzeuges. Die Versehung von Verkehrszeichen mit solchen Sendern ist zum einen enorm kostspielig und zum anderen führen Fehlfunktionen derselben zur entsprechend konsequenten Nichtbeachtung derselben.

Aus der DE 36 19 824 C2 ist ein Bildsensor bekannt, welcher Bilddaten aus unterschiedlichen Blickrichtungen liefert. Die Summe aller Bilddaten wird gesammelt und in Verbindung mit einer Verkehrszeichenerkennung werden Höchstgeschwindigkeitssollwerte ermittelt, die dann innerhalb des Fahrzeuges angezeigt werden.

Insgesamt können Verkehrszeichen durch Verschmutzung ggf. auch durch teilweise Zerstörung nur ungenügend lesbar sein. Für die Wahrnehmung und Begrifflichkeit des Menschen können die Verkehrszeichen dann in kombinatorischer Weise noch gedeutet oder ausgelegt werden. Bei Systemen der oben genannten Art jedoch versagt jede Form der Verkehrszeichendeutung in solchen Fällen.

Eine weitere Problematik sind nicht konforme oder nicht normgerecht gestaltete Verkehrszeichen oder nicht normgerecht aufgestellte. Dies kann zum einen in Gebieten nahe an Landesgrenzen möglich sein, zum anderen können es temporär aufgestellte Verkehrszeichen in Baustellenbereichen sein.

Der Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren sowie eine Einrichtung der eingangs genannten Art dahingehend weiterzubilden, daß auch bei Abweichungen von üblichen Verkehrszeichen oder Abweichungen von der genormten Aufstellungsweise trotzdem eine sichere Erkennung des Verkehrszeichens möglich ist.

Hinsichtlich eines Verfahrens der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den abhängigen Ansprüchen 2-6 angegeben.

Hinsichtlich einer Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 7 gelöst.

Weitere vorteilhafte Ausgestaltungen der Einrichtung sind in den übrigen abhängigen Ansprüchen angegeben.

Kern der verfahrensgemäßen Erfindung ist dabei, daß nicht normgerechte, bzw. nonkonforme oder nicht normgerecht aufgestellte Verkehrszeichen durch Template-Matching als solche erkannt werden. Mit Hilfe des an sich bekannten Template-Matchings erfolgt eine Bewertung oder ein Vergleich mit hinterlegten Mustern und wenn ein Verkehrszeichen von einem solchen Muster abweicht, so wird die Abweichung als solches zunächst elektronisch erfaßt. Auch bei bekannten Verkehrszeichenerkennungsverfahren werden Template- Matching-Verfahren eingesetzt, jedoch dort mit dem Ziel, ein normgerechtes bzw. normgerecht aufgestelltes Verkehrszeichen durch das entsprechend korrekte Template durch Vergleich zu erkennen. Somit würden nach bisher bekannten Verfahren bei Erfassung eines nonkonformen Verkehrszeichens deren elektronische Erfassung oder Deutung einfach ignoriert.

Beim erfindungsgemäßen Verfahren hingegen wird eine solche Abweichung mit Hilfe des Template-Matching keine Ignorierung generieren, sondern das System veranlassen, in solchen Fällen eine elektronische logische Deutung der Verkehrszeichenbedeutung vorzunehmen. Hierzu können verschiedenartige elektronische Verfahren gewählt werden. Wird einem solchen nonkonformen Verkehrszeichen nunmehr eine Bedeutung zugewiesen, so wird hernach die Nonkonformität des Verkehrszeichens als weiteres Template adaptiv abgespeichert und kann im nächsten Falle durch ein übliches Template-Matching wiederum erkannt werden.

Das System erlernt durch seine adaptive Auslegung auch Abweichungen von Verkehrszeichen mit der Zeit in immer reichhaltigerer Weise. Die wesentliche Verbesserung besteht darin, daß beim Template-Matching bei zunächst Nichterkennbarkeit aus einem der bekannten hinterlegten Templates keine Ignorierung des Verkehrszeichens erfolgt, sondern sozusagen ein logisches Deutungsverfahren elektronisch ausgelöst wird; die Abweichung hernach sogar als Template hinterlegt wird, um im nächsten Falle genau diese Abweichung schneller erkennen zu können.

In weiterer vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Erkennung solcher Verkehrszeichen das Navigationssystem zu Hilfe genommen und entsprechend ortsbezogen ein Streckenmarker gesetzt. Dies hat den Vorteil, daß in kritischen, verkehrszeichenmäßig schlecht ausgeleuchteten oder ortsmäßig unter schlechten Voraussetzungen aufgestellte Verkehrszeichen mit Hilfe der Streckenmarker erkannt werden können. Bei wiederholter Befahrung einer solchen Strecke wird das System wiederum sensibilisiert. So kann beispielsweise im Baustellenbetrieb, sobald dieser mit einem Streckenmarker im Navigationssystem gekennzeichnet ist, das Verkehrszeichenerkennungssystem an diesem Ort sensibilisiert werden. Dies kann dazu führen, daß entweder das Template-Matching aufgeweicht wird, oder eine Vielzahl von weiteren Templates generiert und gespeichert werden.

In weiterer vorteilhafter Ausgestaltung des erfindungsgemäßen Verfahrens ist angegeben, daß bei der logischen elektronischen Deutungsfindung des nonkonformen Verkehrszeichens eine Fahrerkorrektur oder ein Fahrerdeutungseingriff durch eine entsprechende Eingabeschnittstelle in manueller oder sprachgesteuerter Art vorgenommen werden kann. Dabei ist weiterhin vorteilhaft ausgestaltet, daß die durch den Fahrerkorrektureingriff sich ergebende Deutung auch den entsprechend abweichenden und adaptiv erstellten neuen Templates zugeordnet wird.

In weiterer vorteilhafter Ausgestaltung ist angegeben, daß länder-, oder ortsspezifische Templates erstellt werden, welche die Gesetzmäßigkeiten im Hinblick auf die Verkehrszeichen im Ausland berücksichtigen.

Weiterhin vorteilhaft ist dabei, daß Templates insbesondere adaptiv hinzugefügte Templates auf Datenträgerwechselmedien abgespeichert werden. Hierdurch ist es möglich, daß zum einen länderspezifische Datenträger mit entsprechenden Templates für die Deutung von Verkehrszeichen im Ausland nach Wunsch eingelegt und eingelesen werden können. So kann beispielsweise bei einer Urlaubsreise in entsprechende Länder mit Abweichungen von der inländischen Norm der Verkehrszeichen eine Deutung ohne weiteres und ohne Schwierigkeiten erfolgen, weil auf den Datenträgern die ent sprechenden Templates für das besagte Ausland abgespeichert sind. Weiterhin vorteilhaft kann auch sein, daß durch den Fahrbetrieb erworbene zusätzliche Templates von einem Fahrzeug zum nächsten sozusagen "vererbbar" sind. Auf diese Weise können im übrigen wertvolle Fahrdaten zum Nutzen des Kraftfahrers in einen sozusagen übergeordneten, globalen Deutungszyklus rückgeführt werden. Dies kommt dann allen Nutzern solcher Systeme zugute.

Bei einer Einrichtung der gattungsgemäßen Art besteht der Kern der Erfindung darin, die Kamera zunächst mit einer Auswerteeinheit und dann wiederum mit einer Deutungseinheit für die Bewertung nonkonformer Verkehrszeichen bi-direktional logisch zu verschalten. Dabei ist die Deutungseinheit sowohl mit einer sprachgesteuerten und/oder manuellen Eingabeeinheit zur Korrektur oder Deutung besagter Verkehrszeichen verbunden und zum anderen mit einer Anzeige der dann ermittelten Verkehrszeichen. Eine weitere bi-direktional logische Verbindung hat dabei die Deutungseinheit mit einer Schreib-/Leseeinheit, in welcher die Wechselmedien einzulegen sind.

Darüber hinausgehend kann die gesamte Einheit mit einer GSM-Schnittstelle versehen sein, um die besagten Daten auch auf dem Funkwege beispielsweise zu einer Zentrale zu übertragen. So könnten Verkehrssituationen, ortsbezogene Abweichungen, ggf. auch temporäre Abweichungen hinsichtlich der Beschilderung einer Zentrale übermittelt werden, die diese Daten wiederum für die Kraftfahrzeugfahrer übergeordnet bzw. global zur Verfügung stellt.

Die Erfindung ist hinsichtlich der sie realisierenden Einrichtung, aber auch im Hinblick auf die verfahrensgemäßen Funktionen in der Zeichnung dargestellt.

Die Abbildung zeigt die einzelnen wichtigen Elemente in ihrer logischen Verschaltung miteinander. Über eine Kamera 1 wird das Bild außerhalb des Kraftfahrzeuges, im wesentlichen der Halbraum vor dem Kraftfahrzeug erfaßt. Das Objektiv ist dabei so ausgelegt, daß ein genügend großer Raum bzw. eine entsprechende Brennweite eine Observation eines entsprechend großen Raumes ermöglicht. Weiterhin kann die Kamera 1 auch mit elektromechanischen Verschwenkmitteln versehen sein, um sie bei entsprechenden Verkehrs- oder Ortsverhältnissen nachzuführen. Informationstechnisch ist die Kamera mit einer Auswerteeinheit 2 verbunden. In dieser Auswerteeinheit 2 erfolgt eine elektronische, logische Auswertung des erfaßten Umfeldes. Innerhalb der Auswerteeinheit 2 wird bereits das Template-Matching vorgenommen. Durch die innerhalb der Auswerteeinheit hinterlegten Templates werden die konformen und auch normgerecht aufgestellten Verkehrszeichen sofort erkannt, und ihre Bedeutung wird zugewiesen. Diese Bedeutungszuweisung erfolgt dabei in der Deutungseinheit 3. Ist die zugewiesene Bedeutung zweifelsfrei, so erfolgt sofort eine Anzeige auf dem Anzeigeelement 4 oder eine entsprechende akustische Ausgabe der ermittelten Verkehrszeichenbedeutung. Weiterhin ist die Deutungseinheit 3 mit einer sprachgesteuerten oder einer manuellen Eingabeeinheit 5 verbunden, über welche ein korrektiver oder deutungsmäßiger Eingriff besagter erfaßter Verkehrszeichen vorgenommen wird bzw. vorgenommen werden kann.

Die Deutungseinheit 3 ist dabei wiederum bi-direktional logisch mit einer Schreib-/Leseeinheit 10 verbunden, welche für Datenträgerwechselmedien eingerichtet ist. Innerhalb dieser Schreib-/Leseeinheit können neue Templates mit entsprechend neuen Bedeutungen in entsprechend zugewiesener Weise eingelesen und gespeichert werden. Darüber hinaus können Template-/Deutungs-Zuweisungen bereits bekannter Art, die jedoch in der Auswerteeinheit 2 oder der Deutungseinheit 3 noch nicht erkannt oder hinterlegt sind, neu eingelesen werden. Auf diese Weise kann über die Schreib-/Leseeinheit 10 das System auch mit weitergehenden, beispielsweise, wie oben bereits beschriebenen Länderspezifika erweitert werden. Hier nicht weiter dargestellt ist die Kopplung des gesamten Systems mit einer GSM-Schnittstelle, welche auch einen bidirektionalen Kommunikationseingriff auf das System zuläßt. Auf diese Weise können ermittelte Templates auch einer Zentrale gesendet werden oder von einer Zentrale abgerufen werden.

Auch können über die Eingabeeinheit 5 Streckenmarker gesetzt werden, die aber eine Kombination des Systems mit einer Navigationseinrichtung bedingen. Ist dies der Fall, dann können die besagten abweichenden Verkehrszeichenerkennungen ortszugewiesen werden, und bei Wiederbefahrung des besagten Streckenpunktes geben Streckenmarker einen Hinweis darauf, daß die dortige lokale Erkennung von Verkehrszeichen sich schwieriger darstellt. Das System kann auf diese Weise ortsabhängig sensibilisiert werden.

Im übrigen können wiederum durch entsprechende Einbeziehung von GSM-Schnittstellen verfügbare Daten aus dem Funknetz bei Eingabe einer solchen geplanten Strecke entsprechende Templates bereits automatisch abrufen. Diese stehen dann bei Befahrung der Strecke dem Fahrer zur Verfügung.

Claims (10)

1. Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchen die Verkehrszeichen mit einer im Kraftfahrzeug angeordneten Kamera erfaßt und über Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, dadurch gekennzeichnet, daß nicht normgerechte (nonkonforme) oder nicht normgerecht (nonkonform) aufgestellte Verkehrszeichen durch Template-Matching als solche erkannt werden, daß ihnen durch elektronisch logische Deutung eine Bedeutung zugewiesen und als weiteres Template adaptiv abgespeichert wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß bei Erkennung solcher Verkehrszeichen unter Zuhilfenahme eines Navigationssystemes ein Streckenmarker gesetzt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß über eine Eingabeschnittstelle eine Fahrerkorrektur oder ein Deutungseingriff über den Fahrer vorgenommen wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß aus der adaptiven Templateerstellung auch eine adaptive Bedeutungskorrelation generiert wird und die entsprechende Zuordnung gespeichert wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß länder- oder ortsspezifische Templates erstellt werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß Templates, insbesondere adaptiv hinzugefügte Templates, auf Datenträgerwechselmedien abgespeichert werden.

7. Einrichtung zur elektronischen Erkennung von Verkehrszeichen, bei welchen die Verkehrszeichen mit einer im Kraftfahrzeug angeordneten Kamera erfaßt und über Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug über eine Anzeige oder einen akustischen Geber angezeigt bzw. hörbar gemacht werden, dadurch gekennzeichnet, daß die von der Kamera (1) erfaßten nonkonformen oder nonkonform aufgestellten Verkehrszeichen innerhalb einer Auswerteeinheit (2) durch Template-Matching als solche erkennbar sind, und daß der Auswerteeinheit (2) eine Deutungseinheit (3) logisch nachgeschaltet ist, die solchen besagten nonkonformen Verkehrszeichen eine Bedeutung zuweist und über entsprechende Speichermittel weitere Templates adaptiv abspeicherbar sind.

8. Einrichtung nach Anspruch 7, dadurch gekennzeichnet, daß die Einrichtung mit einer Datenträger-Schreib-/Leseeinheit (10) verbunden ist.

9. Einrichtung nach Anspruch 8, dadurch gekennzeichnet, daß die Schreib-/Leseeinheit (10) die Aufnahme von Datenspeicherwechselmedien derart ermöglicht, daß Template-/Bedeutungs-Zuordnungen von einem Fahrzeug zum anderen übertragbar sind.

10. Einrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Einrichtung über eine GSM-Schnittstelle zur bidirektionalen Übermittlung oder Empfang von Templates an oder von einer zentralen Sendestation, verfügt.