DE19954002A1 - Verfahren zur elektronischen Verkehrszeichenerkennung in Kraftfahrzeugen - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur elektronischen Verkehrzeichenerkennung mittels elektronischer Bilderfassung und automatischer, logischer Bildauswertung in Kraftfahrzeugen, gemäß Oberbegriff des Patentanspruches 1. DOLLAR A Um hierbei zu erreichen, daß auch implizite Geschwindigkeitsbeschränkungen erkannt werden können, ist erfindungsgemäß vorgeschlagen, daß vom elektronisch optischen System auch andere Verkehrszeichen erfaßt und elektronisch logisch nach Mustervergleichsverfahren assoziativ gedeutet werden, die eine geschwindigkeitsbeschränkende inhaltliche Bedeutung und/oder eine auf Zuschaltung übrige Aggregate wirkende Bedeutung haben.

Description

Die Erfindung betrifft ein Verfahren zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatischer, logischer Bildauswertung in Kraftfahrzeugen, gemäß Oberbegriff des Patentanspruches 1.

Verfahren und Einrichtungen dieser Art werden im Automobilbau bereits vielfach getestet und sind daher in verschiedenster Form bekannt. Wegen der Komplexität der Verkehrszeichenerkennung über elektronische Mittel, sind Verfahren und Einrichtungen dieser Art in der Praxis noch nicht zu finden. Die Einführung von Verfahren und Einrichtungen dieser Art ist für Serienfahrzeuge jedoch bereits in unmittelbarer Nähe. Verfahren und Einrichtungen dieser Art sind grundsätzlich technisch machbar, jedoch müssen diese in einem vertretbaren Verhältnis zum technischen Aufwand für Kraftfahrzeuge stehen, mit anderen Worten, die dazu notwendigen Mittel müssen bezahlbar sein. Darüber hinaus darf die Notwendigkeit von elektronischen Verarbeitungsgeräten nicht solche Ausmaße annehmen, dass die Unterbringung der notwendigen Geräte im Kraftfahrzeug Schwierigkeiten bereiten würde.

Auf Versuchsstrecken werden jedoch bereits funktionstüchtige und im Geräteaufwand vertretbare Verfahren und Einrichtungen erprobt. Diese Erprobungen werden zumeist unter Idealbedingungen durchgeführt. Für das Ziel einer Alltagstauglichkeit bedarf es aber Systeme, die auch mit visuell schwierigen Situationen, wie Regen, Dämmerlicht, vorausfahrende Fahrzeuge, sowie mit hohen Relativ- und Absolutfahrgeschwindigkeiten zurechtkommen.

Am wichtigsten sind wohl Verkehrszeichen, die eine Geschwindigkeitsbeschränkung vorgeben. Dabei gibt es Verkehrszeichen, die die maximal zulässige Höchstgeschwindigkeit direkt als Zahlenwert in der Einheit Km/h oder Miles/h etc. angeben. Automatische Systeme müssen dann nur den Zahlenwert ablesen.

Zur generellen elektronischen Verkehrszeichenerkennung beim Einsatz in Kraftfahrzeugen ist beispielsweise aus der DE 296 10 677 U1 ein Bilderfassungsgerät zur optischen Abtastung und Erkennung von am Straßenrand aufgestellten Verkehrsschilder durch Mustervergleich bekannt. Dabei werden die erfaßten Bilddaten innerhalb des Kraftfahrzeuges in entsprechender Weise angezeigt. Der Fahrzeugführer wird dadurch gesondert auf die entsprechende Verkehrssituation bzw. Beschilderung hingewiesen. Hierbei ist es bereits wichtig, dass die Verkehrsschilder an der erwarteten Stelle am Straßenrand aufgestellt werden, weil das Bilderfassungsgerät ansonsten Schwierigkeiten mit der Abtastung hätte. Zum einen sind solche Normplazierungen nicht in allen Situationen möglich, wie beispielsweise im Baustellenbereich und dgl. und zum anderen kommen Tageslichtverhältnisse hinzu, die die optische Abtastung und Erkennung erheblich erschweren.

Aus der DE 298 02 953 U1 ist eine permanente optische Abtastung des rechten Fahrbahnrandes durch Videokamera bekannt. Die so erfaßten Daten werden an einen Rechner im Kraftfahrzeug übermittelt. Innerhalb des Rechners erfolgt eine Auswertung der erfaßten Bilddaten, ggf. nach Mustern, und das Ermittlungsergebnis wird visuell und/oder akustisch im Fahrzeug angezeigt.

Aus der DE 295 20 819 U1 ist eine geschwindigkeitsbegrenzende Einrichtung bekannt, welche mit einer Codeerkennung von Verkehrszeichen arbeitet. Die Verkehrszeichen werden bei einer Einrichtung dieser Art nicht optisch erfaßt, sondern jedes Verkehrszeichen enthält eine Codierung, die innerhalb des Kraftfahrzeuges beim Passieren desselben erfaßt werden kann. Die so ermittelten Bedeutungsinhalte der Verkehrszeichen werden innerhalb des Fahrzeuges logisch umgesetzt und als geschwindigkeitsbegrenzende Eingriffnahme auf die Steuerung des Fahrzeuges geleitet. Das heißt, hierbei werden Gaspedalbetätigung und Bremspedalbetätigung beeinflußt. Nachteilig ist hierbei, dass die Verkehrszeichen nicht als solches erfaßt werden, sondern jedes Verkehrszeichen entweder mit einem Sender oder einem entsprechenden optischen Code versehen sein müßte, der sodann gelesen werden kann.

Aus der DE 36 19 824 C2 ist ein Bildsensor bekannt, welcher Bilddaten aus unterschiedlichen Blickrichtungen liefert. Die Summe aller Bilddaten wird gesammelt und in Verbindung mit der Verkehrszeichenerkennung werden Höchstgeschwindigkeitssollwerte ermittelt, die dann innerhalb des Fahrzeuges angezeigt werden. Die Summe aus mehreren Bildsensoren ergibt somit zwar ein größeres Blickfeld, jedoch werden unterschiedliche Tageslichtverhältnisse sowie auch Verkehrsverhältnisse nicht gesondert berücksichtigt.

Im allgemeinen sind weitere Verfahren sowie Einrichtungen bekannt, bei welchen die Optik von Bildsensoren oder Videokameras im Hinblick auf ihre Brennweite verändert werden kann. Auch hier findet keine gesonderte Berücksichtigung der Tagesverhältnisse oder auch der Sichtverhältnisse statt.

Wesentlich ist überdies, dass auch bei höheren Fahrgeschwindigkeiten Verkehrszeichen sicher erkannt werden müssen. Bei höheren Fahrgeschwindigkeiten kommen die schwierigen Tageslichtverhältnisse und weitere Verkehrsflußparameter erschwerend hinzu.

Mit Systemen bekannter Art beschränken sich auf geschwindigkeitsbeschränkende Verkehrszeichen, bei denen die Höchstgeschwindigkeit als Zahlenwert direkt ablesbar ist.

Der Erfindung liegt somit die Aufgabe zugrunde, auch Verkehrszeichen als solche zu erkennen, die zwar die geschwindigkeitsbeschränkende Angabe nicht direkt, aber assoziativ enthalten, ebenfalls elektronisch erkennen zu können.

Die gestellte Aufgabe ist beim Verfahren der gattungsgemäßen Art erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den übrigen Ansprüchen 2-7 angegeben.

Kern der Erfindung ist hierbei, daß vom elektronisch optischen System auch andere Verkehrszeichen erfaßt und elektronisch nach Mustervergleichsverfahren assoziativ gedeutet werden, die eine geschwindigkeitsbeschränkende inhaltliche Bedeutung und/oder eine Zuschaltung übriger Aggregate bewirkende Bedeutung haben.

Kern der Erfindung ist hierbei also eine assoziative Deutung von Verkehrszeichen zu ermöglichen. Geschwindigkeitsbeschränkende Verkehrszeichen enthalten üblicherweise die Höchstgeschwindigkeit als Zahl in der Einheit km/h. Dabei zielen die automatischen Verkehrszeichenerkennungsverfahren auf die Erkennung der Ziffern als solches ab. Darüber hinausgehend gibt es aber eine Reihe von Verkehrszeichen, deren inhaltliche Bedeutung nur assoziativ enthalten ist.

Hierzu gehören z. B. Ortseingangsschilder, die regelmäßig die Bedeutung einer Geschwindigkeitsbegrenzung auf 50 km/h haben. Darüber hinausgehend gibt es auch noch andere Ortseingangsschilder, die beispielsweise nicht in gelber Farbe, sondern in grüner Farbe abgedruckt sind, die wiederum keine Beschränkung auf 50 km/h enthalten müssen. Dies gilt insbesondere für Umgehungsstraßen oder Autobahnzubringer, die durch Ortschaften führen und in der entsprechenden Weise grün beschildert sind. Das erfindungsgemäße Verfahren zielt genau auf die spezifische Deutung solcher Situationen an. Der Bedeutungsinhalt der Verkehrszeichen soll aus denselben erkannt werden. Dies bedingt jedoch, daß entsprechend vielfältige Muster hinterlegt sind, die für entsprechende Vergleichsverfahren zur Deutung herangezogen werden können. Hierzu sind in entsprechend erfindungsgemäßer Ausgestaltung Muster für die Form, die Schriftgebung und die Farbe hinterlegt, um in entsprechend assoziativer Weise die Geschwindigkeitsbeschränkung deuten zu können.

Darüber hinausgehend sind Verkehrszeichen wie Spielstraße, beschrankter oder unbeschrankter Bahnübergang, sowie Hinweise auf Schulkinder oder Hinweise auf Tunneleinfahrten und weitere bekannt. Die Erkennung eines Spielstraßenverkehrsschildes bedingt nach der gültigen Straßenverkehrsordnung eine Reduzierung der Geschwindigkeit auf 7 km/h. Unbeschrankte Bahnübergänge werden mit dem entsprechenden Verkehrszeichen dargestellt und ein Erkennen eines solchen Verkehrszeichens soll dabei in erfindungsgemäßer Ausgestaltung des Verfahrens automatisch auf Verzögerungsaggregate wie Bremsung oder Motorbremse beim Fahrzeug einwirken, um ein entsprechendes verzögertes Herannahen an denselben in der durch das Verkehrsschild vermittelten vorgeschriebenen Funktion automatisch zu generieren.

Ein weiterer Eingriff auf entsprechende Aggregate, die durch die Verkehrszeichenerkennung ausgelöst werden können, ist die Lichtzuschaltung, beispielsweise der Erkennung einer Tunneleinfahrt. Mit Hilfe des erfindungsgemäßen Verfahrens können somit nicht nur geschwindigkeitsbegrenzende Verkehrszeichen mit direkter Angabe der Geschwindigkeitsbegrenzung erkannt werden, sondern auch solche, die eine assoziative Bedeutung auf die Geschwindigkeitsbegrenzung haben, die jedoch nicht direkt angezeigt wird.

Darüber hinausgehend können auf diese Weise auch weitergehende Aggregate angesteuert werden, als lediglich nur die Anzeige innerhalb des Fahrzeuges. Dies ist ein weiterer Schritt hin zur möglicherweise automatischen Verkehrsführung im Sinne eines Autopilotsystemes. Dies kann ganz besonders dann hilfreich sein, wenn in Ballungsgebieten Verkehrsverhältnisse vorgegeben sind, die mit einer automatischen Verkehrsführung und Fahrzeugführung deutlich besser zu entwirren sind, als wenn der Fahrbetrieb individuell durch jeden Fahrzeugführer ausschließlich geregelt wird.

Die Erfindung ist in der Zeichnung schematisch dargestellt und nachfolgend näher beschrieben.

Die Abbildung zeigt den logischen Aufbau nach dem das Verfahren funktioniert. Außen am Fahrzeug ist eine Kamera 1 zur Erfassung von Bilddaten vom Raum vor dem Fahrzeug angeordnet. Die Bilddaten werden zunächst in einer logischen Einheit 2 gesammelt, in welcher auch die Auswahl eines geeigneten Bildauschnittes erfolgt, in welchem das Verkehrszeichen zunächst nur als wesentliches Objekt als solches zu finden ist. Nachfolgend werden die Bild- bzw Bildauschnittdaten, die das Verkehrszeichen enthalten, in einer Mustervergleichseinheit 3 ausgewertet. Hier wird zunächst das Verkehrszeichen als solches erkannt. Dabei werden hinterlegte Muster 10 zum Vergleich herangezogen und in Form eines Fuzzy-schlusses erfolgt die Erkennung des Zeichens. Das erkannte Zeichen wird sodann in einer entsprechenden Assoziationseinheit 4 auf seinen Bedeutungsinhalt hin gedeutet.

Es wird bei zuvoriger genauer Erkennung des Verkehrszeichens nun nach weiteren, aus der Darstellung nur assoziativ entnehmbaren Informationen zum Verkehrszeichen gesucht. Aus dem entsprechenden Bedeutungsinhalt wird sodann die ggfs geschwindigkeitsbeschränkende implizite Bedeutung entnommen.

Weitere implizite Bedeutungsinhalte können aber auch die Aufforderung zur Einschaltung des Lichtes sein. Dies gilt bspw. dann, wenn das Verkehrszeichen zur Behinweisung einer Tunneleinfahrt erkannt wird.

Des weiteren können implizite Bedeutungsinhalte, wie bspw. bei Bahnübergängen, insbesondere bei unbeschrankten Bahnübergängen, darin bestehen, dass das Fahrzeug zum Passieren des Bahnüberganges zumindest in einem angemessen Maße abgebremst werden soll, um dadurch den Bahnübergang absichernd einsehen zu können.

Geschwindigkeitsbeschränkungen ergeben sich auch durch die Art des Ortseingangschildes auf ganz unterschiedliche Weise. So geben grüne Ortsschilder, die im wesentlichen auf Umgehungsstraßen zu finden sind, keine auf 50 km/h beschränkte Höchstgeschwindigkeit vor; gelbe Orteingangsschilder dafür sehr wohl.

Innerhalb der besagten Assoziationseinheit 4 wird elektronisch auch nach erfolgter Deutung der offensichtlichen aber auch assoziativen Bedeutung des Verkehrszeichens entschieden, ob entsprechende Steilsignale zur automatischen Eingriffnahme auf das elektrische Gaspedal 20, die elektrische Bremse 30, und/oder die Lichtzuschaltung 40 erzeugt werden.

Parallel dazu können die Bedeutungsinhalte der Verkehrszeichen auch zusätzlich einer optischen und/oder akustischen Anzeige 5 im Fahrzeug zugeführt werden, um dem Fahrer auch eine zusätzliche, ggfs die automatische Betätigung der Fahrzeugaggregate anders zu betätigende Eingriffnahme zu ermöglichen.

Claims (7)

1. Verfahren zur elektronischen Verkehrszeichenerkennung mittels elektronischer Bilderfassung und automatisch logischer Bildauswertung, dadurch gekennzeichnet, daß vom elektronisch optischen System auch andere Verkehrszeichen erfaßt und elektronisch logisch nach Mustervergleichsverfahren assoziativ gedeutet werden, die ein geschwindigkeitsbeschränkende inhaltliche Bedeutung und/oder eine auf Zuschaltung übriger Aggregate bewirkende Bedeutung haben.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Ortseinfahrtsschilder in Form, Schriftgebung und Farbe mit entsprechender assoziativer Geschwindigkeitsbeschränkung erkannt werden.

3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß auf das Vorliegen einer Spielstraße hinweisende Verkehrsschilder assoziativ gedeutet und erkannt werden.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß unbeschrankte Bahnübergänge als solches assoziativ erkannt werden und eine entsprechende Verzögerung bzw. Bremsung elektronisch eingeleitet wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Schulkinderhinweiszeichen erkannt und die entsprechenden Geschwindigkeitsbeschränkungen auf 30 km/h assoziativ erkannt und entsprechend regelungstechnisch durchgestellt werden.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Tunneleinfahrten durch entsprechende Verkehrszeichen erkannt und daraufhin die Lichtzuschaltung automatisch generiert wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß übrige Verkehrszeichen erkannt werden, deren geschwindigkeitsbeschränkende Höchstgeschwindigkeit nicht als Zahl angezeigt wird.