WO2016078651A1

WO2016078651A1 - Method for assessing a traffic situation for a vehicle and driver assistance system for a vehicle

Info

Publication number: WO2016078651A1
Application number: PCT/DE2015/200467
Authority: WO
Inventors: Oliver Billstein; Christoph Hassenpflug; Svenja NEUGEBAUER; Axel Roth; Mark Sollweck
Original assignee: Conti Temic Microelectronic Gmbh
Priority date: 2014-11-21
Filing date: 2015-10-06
Publication date: 2016-05-26
Also published as: DE102014223812A1; DE112015004087A5

Abstract

The invention describes a camera-based driver assistance system of a vehicle, which system detects, in particular, the stop sign, the priority road sign as well as the give way sign on the basis of its contour or its outline. The basic concept is that the system utilises the distinctive outlines of these signs in order to interpret their meaning. This has the advantage that the system does not have to detect the front side of these road signs in order to detect the meaning of these signs. By virtue of this invention, the driver assistance system of the vehicle can be active in assisting fashion, since the entire context is taken into account in the assessment of the traffic situation.

Description

VERFAHREN ZUR BEURTEILUNG EINER VERKEHRSSITUATION FÜR EIN FAHRZEUG SOWIE FAHRERASSISTENZSYSTEM FÜR EIN FAHRZEUG METHOD FOR ASSESSING A TRANSPORT SITUATION FOR A VEHICLE AND DRIVER ASSISTANCE SYSTEM FOR A VEHICLE

Die Erfindung geht aus von einem Verfahren zur Beurteilung einer Verkehrssituation für ein Fahrzeug sowie von einem Fahrerassistenzsystem für ein Fahrzeug nach der Gattung der unabhängigen Ansprüche. The invention is based on a method for assessing a traffic situation for a vehicle and on a driver assistance system for a vehicle according to the preamble of the independent claims.

Verkehrszeichen sind laut Straßenverkehrsordnung an der Straße aufgestellte Schilder oder auf der Fahrbahn markierte Symbole Schriften und Linien. Sie dienen dazu, den Verkehrsfluss zu beeinflussen beziehungsweise zu regeln. Durch das Wiener Übereinkommen über Straßenverkehrszeichen sind Straßenschilder international vereinheitlicht worden, um diese leichter erfassen sowie interpretieren zu können. Traffic signs are road signs according to road traffic regulations or symbols marked on the road signs and lines. They serve to influence or regulate the traffic flow. Road signs have been internationally standardized by the Vienna Convention on Road Signs so that they can be more easily grasped and interpreted.

Dabei ist zu berücksichtigen, dass insbesondere das „Stopp^¬ schild" (Achteck) , das „Vorfahrt gewähren Schild" (auf der Spitze stehendes Dreieck) sowie das „Vorfahrtsstraßenschild" (um 45° gedrehtes Quadrat) einen markanten Umriss haben, der in vielen Ländern der Welt identisch ist, sodass eine eindeutige Interpretation derartiger Verkehrsschilder möglich ist, selbst wenn nur deren Umriss bzw. deren Kontur bekannt ist. It should be noted that in particular the "Stop ^¬ shield" (Octagon), the "right of way grant Shield" (standing on the top triangle) and the "priority road sign" (turned by 45 ° square) have a distinctive contour which in many Countries of the world is identical, so that a clear interpretation of such road signs is possible, even if only their outline or its contour is known.

Aktuell erfolgt die Erkennung von Verkehrsschildern kamerabasiert. Hierzu werden die Verkehrsschilder zunächst innerhalb des Bildes detektiert und anhand ihrer Vorderseite interpre^¬ tiert. Für zukünftige Anwendungen z.B. im Bereich des hoch automatisierten Fahrens werden weitere Informationen benötigt, um beispielsweise die Vorfahrtregeln an abknickenden Vorfahrtstraßen oder sonstigen an einer Vorfahrtstraße auftretenden Verkehrssituationen richtig interpretieren zu können . Currently, the detection of traffic signs is camera-based. For this purpose, the traffic signs are first detected within the image and interpre ^¬ based on their front page. For future applications, for example in the field of highly automated driving, additional information is needed in order to be able to correctly interpret, for example, the rules of priority for turning right roads or other traffic situations occurring on a priority road.

Die vorliegende Erfindung schafft ein Verfahren zur Beurtei^¬ lung einer Verkehrssituation für ein Fahrzeug, aufweisend ein System zur Erkennung von Verkehrszeichen, wobei die Verkehrs- zeichen der eigenen Fahrspur von Verkehrszeichen anderer Fahrspuren bzw. einer Gegenfahrspur, die nicht in Fahrtrichtung des Fahrzeugs zeigen, unterschieden werden, und die Kontur der Verkehrszeichen der anderen Fahrspuren bzw. die von hinten erkennbare Rückseitenkontur der Verkehrszeichen der Gegenfahrspur zur Erkennung des Inhaltes bzw. Regelungsgehaltes der Verkehrszeichen ausgewertet wird. The present invention provides a method for Beurtei ^¬ development of a traffic situation for a vehicle, comprising a system for detection of traffic signals, wherein the traffic sign of the own lane of traffic signs of other lanes or an opposite lane, which do not point in the direction of travel of the vehicle are distinguished, and the contour of the traffic signs of the other lanes and the recognizable from behind back contour of traffic signs of the oncoming lane to detect the content or regulatory content the traffic sign is evaluated.

Dabei liegt ein Vorteil des erfindungsgemäßen Verfahrens da^¬ rin, dass das System nicht die Vorderseite des Verkehrszei^¬ chens erkennen muss, um dieses Verkehrszeichen bzw. Verkehrsschild zu detektieren sowie zu interpretieren, sondern das Erkennen der Rückseite und der Kontur des Verkehrsschildes ausreichend ist, um dessen Regelungsgehalt davon abzuleiten. Bei besonders wichtigen Verkehrszeichen kann über deren Kontur sicher auf den Regelungsgehalt des Verkehrszeichens oder Verkehrsschildes geschlossen werden. Durch das erfindungsge^¬ mäße Verfahren kann das System zur Erkennung von Verkehrszeichen unterstützend tätig sein, da zur Beurteilung der Verkehrssituation der gesamte Kontext berücksichtigt wird. Here is an advantage of the process because ^¬ rin invention is that the system does not recognize the front of the Traffic Sign ^¬ Chen to detect this traffic sign or traffic sign and interpret, but the recognition of the back and the contour of the road sign is sufficient derive its regulatory content from it. In the case of particularly important traffic signs, the contour of the traffic sign or traffic sign can be used to safely deduce their contour. By erfindungsge ^¬ Permitted method, the system for detecting traffic signs can be supporting, since the overall context is considered to assess the traffic situation.

In einer bevorzugten Ausführungsform wird die erkannte Verkehrssituation an ein Fahrerassistenzsystem im Fahrzeug weitergegeben bzw. gemeldet. Diese Maßnahme informiert dann den Führer des Fahrzeuges vorteilhaft ständig über die aktuelle Verkehrssituation, selbst wenn er unachtsam war und ein oder mehrere Verkehrszeichen übersehen hat. In a preferred embodiment, the detected traffic situation is forwarded or reported to a driver assistance system in the vehicle. This measure then advantageously informed the driver of the vehicle constantly about the current traffic situation, even if he was careless and has overlooked one or more traffic signs.

In einer weiteren Ausführungsform werden in Abhängigkeit von der erkannten Verkehrssituation vorbestimmte Fahrzeugfunktionen ausgelöst. Dies kann vorteilhaft die Effizienz der Fahr^¬ zeugführung erhöhen, da bestimmte Funktionen, wie das Stoppen des Motors, bei Stillstand des Fahrzeuges unterdrückt oder ausgelöst werden. Bei einer erkannten roten Ampel oder einer Bahnschranke ist die Wartezeit z.B. voraussichtlich höher, und der Motor kann abgestellt werden. In einer weiteren Ausführungsform wird bei erkanntem Regelungsgehalt der Verkehrszeichen anderer Fahrspuren bzw. der Gegenfahrspur zusammen mit den erkannten Verkehrszeichen der eigenen Fahrspur die aktuelle Vorfahrtsituation erkannt und an ein Fahrerassistenzsystem zur Unterstützung hoch automatisierten Fahrens weitergegeben. Durch die Erkennung der Vorder- und Rückseiten der Verkehrszeichen und der Interpretation bezüglich der aktuellen Verkehrsregelung kann die Sicherheit beim automatisieren Fahren vorteilhaft erhöht werden. In a further embodiment, predetermined vehicle functions are triggered as a function of the detected traffic situation. This can advantageously increase the efficiency of driving ^¬ imaging guidance, as certain functions, such as stopping of the engine can be suppressed or triggered at standstill of the vehicle. For example, if a red traffic light or a train gate is detected, the waiting time is likely to be longer and the engine can be stopped. In a further embodiment, when the regulatory content of the traffic signs of other traffic lanes or the opposite traffic lane is detected together with the recognized traffic signs of the own traffic lane, the current priority situation is recognized and forwarded to a driver assistance system for supporting highly automated driving. By detecting the front and rear sides of the traffic signs and the interpretation of the current traffic control, the safety in automated driving can advantageously be increased.

In einer weiteren Ausführungsform wird bei erkanntem Überfahren eines Stoppschildes oder Vorfahrt-gewahren Schildes eine Warnfunktion in dem Fahrzeug ausgelöst, insbesondere wenn ei^¬ ne Kreuzungssituation erkannt wird. Durch das Erkennen des Regelungsgehaltes von Verkehrszeichen anderer Fahrspuren bzw. der Gegenfahrspur allein durch die Form des Verkehrszeichens kann eine Verkehrssituation, bei der sich Fahrzeuge kreuzen, erkannt und interpretiert werden. Der Fahrer eines Fahrzeuges kann zudem bei Überfahren eines Stoppschildes oder eines Vorfahrt-gewahren Schildes gewarnt werden, um die Sicherheit des Fahrzeuges zu erhöhen. In a further embodiment, for a detected crossing a stop sign or the right of way-perceive shield triggered a warning function in the vehicle, especially if ei ^¬ ne intersection situation is detected. By recognizing the regulatory content of traffic signs of other traffic lanes or the counter traffic lane solely by the shape of the traffic sign, a traffic situation in which vehicles intersect can be recognized and interpreted. The driver of a vehicle can also be warned when driving over a stop sign or a right-of-way sign to increase the safety of the vehicle.

In einer weiteren Ausführungsform wird bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrtstraße der gespeicherte aktive Regelungsgehalt vor^¬ mals erkannter mit der Vorfahrt zusammenhängender Schilder verworfen. Damit kann durch die vorteilhafte Erkennung von Verkehrsschildern basierend auf deren Form bzw. Kontur von der Rückseite aus eine besondere Verkehrssituation bei Abbie^¬ gen eines Fahrzeuges an einer Kreuzung, insbesondere aufgrund einer abknickenden Vorfahrtstraße, erkannt werden, und diese Information entsprechend weitergegeben werden. In another embodiment, the stored active control content is discarded with the priority related signs before ^¬ times detected for a detected leaving a priority road, or at a detected entering a priority road. This can be detected by the advantageous recognition of traffic signs based on the shape or contour of the back of a special traffic ^situation in Abbie ^¬ conditions of a vehicle at an intersection, in particular due to a bending priority road, and this information is passed on accordingly.

Die vorliegende Erfindung schafft ferner ein Fahrerassistenzsystem für ein Fahrzeug, aufweisend ein System zur Erkennung von Verkehrszeichen, mit mindestens einer Kamera, wobei das System zur Erkennung von Verkehrszeichen die Verkehrszeichen der eigenen Fahrspur von Verkehrszeichen anderer Fahrspuren bzw. einer Gegenfahrspur unterscheidet, und das System zur Erkennung von Verkehrszeichen die Kontur (bzw. die von hinten erkennbare Rückseitenkontur) von Verkehrszeichen der anderen Fahrspuren bzw. der Gegenfahrspur zur Erkennung des Inhaltes der Verkehrszeichen nutzt. Da das erfindungsgemäße Fahreras^¬ sistenzsystem das oben beschriebene Verfahren ausführt, weist es die gleichen, oben schon beschriebenen Vorteile bei der Erkennung einer Verkehrssituation auf. Durch die erfindungsgemäße Erkennung der Schilder anhand ihrer Form können auch vom Fahrzeug abgewandte Schilder hinsichtlich ihres Rege^¬ lungsgehaltes interpretiert werden, wobei diese Informationen zur Beurteilung der aktuellen Verkehrssituation herangezogen werden. Ein Vorteil besteht darin, dass die Sicherheit der Erkennung der richtigen Verkehrssituation erheblich erhöht wird . The present invention further provides a driver assistance system for a vehicle, comprising a system for detecting traffic signs, with at least one camera, wherein the traffic signal recognition system detects the traffic signs the own lane of traffic signs of other lanes or an opposite lane, and the traffic signal recognition system uses the contour (or backward recognizable rear contour) of traffic signs of the other lanes or the opposite lane for recognizing the content of the traffic signs. Since according to the invention Fahreras ^¬ sistenzsystem that executes the method described above, it has the same, already above-described advantages in the detection of a traffic situation. The inventive recognition of the signs according to their shape and faces away from the vehicle signs can be interpreted in terms of their Rege ^¬ lung content, said information being used for evaluating the current traffic situation. One advantage is that the security of detecting the correct traffic situation is considerably increased.

In einer weiteren Ausführungsform weist das System zur Erkennung von Verkehrszeichen ein weiteres Eingabegerät zur Ermittlung von verkehrssituationsbedingten Daten auf. Dies kann vorteilhaft den Grad der Erkennung von Verkehrszeichen erhöhen . In a further embodiment, the system for detecting traffic signs has a further input device for determining traffic situation-related data. This can advantageously increase the degree of recognition of traffic signs.

In einer weiteren Ausführungsform ist das Eingabegerät zur Ermittlung von verkehrssituationsbedingten Daten ein Lidar- Sensor. Lidar Sensoren sind äußerst robust bezüglich Licht- und Wetterverhältnissen und liefern eine große Menge an auswertbaren Daten, die vorteilhaft zur Beurteilung der Verkehrssituation herangezogen werden können. In a further embodiment, the input device for determining traffic-related data is a lidar sensor. Lidar sensors are extremely robust in terms of light and weather conditions and provide a large amount of evaluable data, which can be used advantageously to assess the traffic situation.

In einer weiteren Ausführungsform unterdrückt das Fahrerassistenzsystem in Abhängigkeit von der erfassten Verkehrssituation vorbestimmte Fahrzeugfunktionen oder löst in Abhängigkeit von der erfassten Verkehrssituation vorbestimmte Fahrzeugfunktionen aus. Dies kann, wie oben beim Verfahren schon beschrieben, vorteilhaft die Effizienz der Fahrzeugführung positiv beeinflussen. In einer weiteren Ausführungsform erkennt das Fahrerassistenzsystem den Regelungsgehalt der Verkehrszeichen anderer Fahrspuren, insbesondere einer Gegenfahrspur, zusammen mit den erkannten Verkehrszeichen der eigenen Fahrspur und interpretiert daraus die aktuelle Vorfahrtsituation und verwendet diese zur Unterstützung eines hoch automatisierten Fahrens des Fahrzeuges. Durch das Erkennen der Kontur der Verkehrs^¬ zeichen an einer anderen Fahrspur von hinten kann vorteilhaft ein Beitrag zur Erhöhung der Sicherheit bei hoch automati^¬ siertem Fahren des Fahrzeuges geleistet werden. In a further embodiment, the driver assistance system suppresses predetermined vehicle functions as a function of the detected traffic situation or triggers predetermined vehicle functions as a function of the detected traffic situation. This can, as already described above in the method, advantageously positively influence the efficiency of the vehicle guidance. In a further embodiment, the driver assistance system recognizes the regulatory content of the traffic signs of other traffic lanes, in particular an oncoming lane, together with the recognized traffic signs of their own traffic lane and interprets the current priority situation and uses this to support highly automated driving of the vehicle. By recognizing the contour of the traffic ^¬ sign at another lane from behind a contribution to increasing the safety of highly automated ^¬ siertem driving the vehicle can be made favorable.

In einer weiteren Ausführungsform verwirft das Fahrerassistenzsystem des Fahrzeuges bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrt^¬ straße den gespeicherten aktiven Regelungsgehalt vormals er^¬ kannter mit der Vorfahrt zusammenhängender Schilder. Diese Maßnahme stellt eine korrekte Beurteilung der Änderung der Verkehrssituation bei Abbiegen des Fahrzeuges und bei einer abknickenden Vorfahrtstraße sicher. Durch die vorteilhafte Erkennung des Regelungsgehaltes von Verkehrsschildern basierend auf deren Form oder Kontur durch Erfassung von deren Rückseite kann vorteilhaft die aktuelle Verkehrssituation, in der sich das Fahrzeug befindet, präziser erkannt werden. In a further embodiment, the driver assistance system of the vehicle is detected when leaving a priority road, or at a detected entering a priority discard the stored road ^¬ active control content he formerly known per ^¬ with the priority of contiguous plates. This measure ensures a correct assessment of the change in the traffic situation when the vehicle turns off and a turning right-of-way road. Due to the advantageous recognition of the regulatory content of traffic signs based on their shape or contour by detecting the rear side can advantageously the current traffic situation in which the vehicle is located, are detected more precisely.

In einer weiteren Ausführungsform löst das Fahrerassistenzsystem des Fahrzeuges bei erkanntem Überfahren eines Stopp^¬ schildes oder eines Vorfahrt-gewähren Schildes eine Warnfunktion in dem Fahrzeug aus, insbesondere wenn es eine Kreu^¬ zungssituation erkennt. Diese Maßnahme kann vorteilhaft die Sicherheit des Fahrzeuges erhöhen, da das Auftreten von Vor^¬ fahrtsfehlern des Fahrers unwahrscheinlicher wird. In a further embodiment, the driver assistance system of the vehicle is detected at to stop at a stop ^¬ shield, or a priority-grant shield triggers a warning function in the vehicle, particularly when it detects a Kreu ^¬ wetting situation. This measure can advantageously increase the safety of the vehicle, since the occurrence of Vor ^¬ driving errors of the driver is unlikely.

Weitere vorteilhafte Weiterbildungen und Ausgestaltungen des erfindungsgemäßen Verfahrens und Fahrerassistenzsystems erge^¬ ben sich aus weiteren abhängigen Ansprüchen und aus der folgenden Beschreibung. Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung. Insbesondere wird dabei der Fachmann auch Einzelaspekte als Ver^¬ besserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen. Further advantageous developments and embodiments of the inventive method and the driver assistance system erge ^¬ ben from further dependent claims and from the following description. The above embodiments and developments can, if appropriate, combine with each other as desired. Further possible refinements, developments and implementations of the invention also include combinations of features of the invention which have not been explicitly mentioned above or described below with regard to the exemplary embodiments. In particular, the expert will also add individual aspects as Ver ^¬ improvements or additions to the respective basic form of the present invention.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung er^¬ geben sich anhand der nachfolgenden Beschreibung von Ausführungsbeispielen sowie anhand der Zeichnungen, in welchen gleiche oder funktionsgleiche Elemente mit identischen Be^¬ zugszeichen versehen sind. Dabei zeigen: Further advantages, features and details of the invention ^¬ be evident from the following description of exemplary embodiments and from the drawings, in which like or functionally identical elements are provided with identical reference symbols ^¬ Be. Showing:

Fig. 1 eine schematische Darstellung eines ersten Beispiels einer Verkehrssituation mit einem Fahrzeug mit dem erfindungsgemäßen Fahrerassistenzsystem; 1 is a schematic representation of a first example of a traffic situation with a vehicle with the driver assistance system according to the invention;

Fig. 2 ein zweites Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Informatio^¬ nen liefern kann; 2 shows a second example of a traffic ^situation in which the back of a traffic sign can provide important information.

Fig. 3 das Verkehrsschild „Vorfahrtsstrasse" als Beispiel für ein Schild, dessen Regelungsgehalt auch von hinten erkannt werden kann; 3 shows the traffic sign "Vorfahrtsstrasse" as an example of a sign whose control content can also be recognized from the rear;

Fig. 4 das Verkehrsschild „Stop" als Beispiel für ein wei^¬ teres Schild, dessen Regelungsgehalt auch von hinten erkannt werden kann; FIG. 4 shows the traffic sign "Stop" as an example of a ^further sign whose control content can also be recognized from the rear; FIG.

Fig. 5 das Verkehrsschild „Vorfahrt gewähren" als Beispiel für ein weiteres Schild, dessen Regelungsgehalt auch von hin^¬ ten erkannt werden kann; Fig. 6 ein drittes Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Informatio^¬ nen liefern kann. FIG. 5 shows the traffic sign "granting priority" as an example of another sign whose control content can also be recognized from the ^rear ; FIG. 6 shows a third example of a traffic ^situation in which the rear side of a traffic sign can provide important information.

Fig. 1 zeigt eine schematische Darstellung eines ersten Bei^¬ spiels einer Verkehrssituation mit einem Fahrzeug 1, das ein erfindungsgemäßes Fahrerassistenzsystem 12 aufweist. Das Fahrzeug 1 weist eine Kamera 11 auf, die ihre Daten unter an^¬ derem an ein System 14 zur Verkehrszeichenerkennung sendet. Die Kamera 11 ist bevorzugt an einen internen Fahrzeugbus an^¬ geschlossen, so dass auch andere Systeme im Fahrzeug 1 die Daten der Kamera 11 nutzen können. Die Kamera 11 kann aber ebenfalls direkt an das System 14 zur Verkehrszeichenerkennung angeschlossen sein. Fig. 1 shows a schematic illustration of a first game ^¬ In a traffic situation with a vehicle 1 having an inventive driver assistance system 12. The vehicle 1 has a camera 11, which transmits its data under ^¬ on to a system 14 for traffic sign recognition. The camera 11 is preferably closed to an internal vehicle ^bus , so that other systems in the vehicle 1 can also use the data of the camera 11. However, the camera 11 may also be connected directly to the traffic sign recognition system 14.

Die Verkehrszeichenerkennung 14 bildet Teil eines Fahreras^¬ sistenzsystems 12, welches die aktuelle Verkehrslage analy^¬ siert und diese Analyse an den Fahrer des Fahrzeuges 1 aus^¬ gibt. Das Fahrerassistenzsystem 12 hat die Aufgabe, dem Fahrer des Fahrzeuges 1 immer die aktuelle Verkehrssituation in einem Sichtgerät anzuzeigen. Das Sichtgerät kann ein Bild^¬ schirm im Cockpit des Fahrzeuges 1 sein. Das Sichtgerät kann ein sogenanntes Head-up-Display sein, welches die relevanten Informationen in die Windschutzscheibe des Fahrzeuges 1 einspiegelt . The road sign recognition 14 forms part of a Fahreras ^¬ sistenzsystems 12 which analy ^¬ Siert the current traffic situation and this analysis indicates the driver of the vehicle 1 from ^¬. The driver assistance system 12 has the task of the driver of the vehicle 1 always display the current traffic situation in a viewing device. The display device may be an image ^¬ screen in the cockpit of the vehicle. 1 The viewing device may be a so-called head-up display, which mirrors the relevant information in the windshield of the vehicle 1.

Der Fahrer des Fahrzeuges 1 wird somit stets über die augen^¬ blicklich herrschende Verkehrssituation informiert, selbst wenn er beim Führen des Fahrzeuges 1 kurz unachtsam war und ein oder mehrere Verkehrsschilder übersehen hat. In sicherheitsrelevanten Verkehrssituationen, wie bei Überfahren einer Kreuzung, kann der Fahrer des Fahrzeuges 1 auch aktiv gewarnt werden, wenn z.B. ein Stoppschild oder ein Vorfahrt-gewähren Schild überfahren wird. In dem in Fig. 1 dargestellten ersten Beispiel ist das zu erkennende Verkehrszeichen ein Vorfahrt^¬ schild 43 auf der eigenen Fahrspur und ein Vorfahrtschild 41 auf der Gegenfahrspur. Das Fahrerassistenzsystem 12 des Fahr- zeuges 1 wertet die Kameradaten der Kamera 11 aus, und er^¬ kennt ein entgegenkommendes Fahrzeug 3. Da in der in Fig. 1 dargestellten Verkehrssituation keine Kreuzung zwischen dem Fahrzeug 1 und dem Fahrzeug 3 liegt, beziehen sich die Daten zum Verkehrsschild 41 auf eine Kreuzung, die das Fahrzeug 1 bereits passiert hat. Daher wird das Verkehrsschild 41 in dem dargestellten Beispiel zur Beurteilung der Verkehrssituation nicht herangezogen. The driver of the vehicle 1 is thus always informed about the eye ^¬ currently prevailing traffic situation, even if he was briefly negligent when driving the vehicle 1 and has overlooked one or more traffic signs. In safety-relevant traffic situations, such as when crossing an intersection, the driver of the vehicle 1 can also be actively warned if, for example, a stop sign or a right-of-way shield is run over. In the example shown in FIG. 1, first example traffic signs to be recognized is a priority ^¬ shield 43 in the same lane, and a traffic sign 41 on the opposite lane. The driver assistance system 12 of the driving tool 1 evaluates the camera data of the camera 11, and he ^¬ knows an oncoming vehicle 3. Since in the traffic situation shown in Fig. 1, no intersection between the vehicle 1 and the vehicle 3, the data refer to the traffic sign 41 on an intersection that has already passed the vehicle 1. Therefore, the traffic sign 41 is not used in the illustrated example for assessing the traffic situation.

Fig.2 zeigt ein zweites Beispiel einer Verkehrssituation, bei der die von der Rückseite erfassbare Kontur des Verkehrs^¬ schildes wichtige Informationen zur aktuellen Verkehrssitua^¬ tion liefern kann. Das Fahrzeug 1, welches das erfindungsge^¬ mäße Verfahren ausführt, befindet sich auf einer Vorfahrt^¬ straße und fährt auf eine Kreuzung zu. Der Fahrer des Fahr^¬ zeuges 1 möchte an der Kreuzung links abbiegen und setzt den Blinker des Fahrzeuges 1. 2 shows a second example of a traffic situation in which the detectable from the back contour of the traffic ^¬ shield important information may provide the current traffic Situational ^¬ tion. The vehicle 1 which performs the erfindungsge ^¬ Permitted method, is located on a yield ^¬ road and travels at an intersection. The driver of the driving tool 1 ^¬ would turn left at the intersection and sets the turn signal of the vehicle first

Zur Erkennung der Verkehrssituation verfügt das Fahrerassistenzsystem 12 über die im Fahrzeug 1 eingebaute Kamera 11 mit einer Verkehrszeichenerkennung 14. Die Verkehrszeichenerkennung 14 erkennt aufgrund des Verkehrsschildes 51, dass sich das Fahrzeug 1 auf einer Vorfahrtstraße befindet. Das Fahrer^¬ assistenzsystem 12 wertet die erhaltenen Kameradaten hinsichtlich weiterer Objekte im Kamerabild aus, und erkennt so das entgegenkommende Fahrzeug 3, welches sich ebenfalls auf der Vorfahrtstraße befindet. Ferner erkennt das Fahrerassis^¬ tenzsystem 12 des Fahrzeuges 1, dass sich eine Kreuzung zwischen dem entgegenkommenden Fahrzeug 3 und dem eigenen Fahrzeug 1 befindet. Da die Vorfahrtstraße, auf der sich das Fahrzeug 1 befindet, an der Kreuzung abknicken könnte, wobei ein entsprechendes Schild z.B. durch einen Lastkraftwagen oder dergleichen verstellt ist, ist es nicht sicher, ob das Fahrzeug 1 warten muss, um das entgegenkommende Fahrzeug 3 passieren zu lassen, oder ob das Fahrzeug 1 vorher abbiegen darf, weil die Vorfahrtstraße an der Kreuzung abknickt. Das System 14 zur Erkennung von Verkehrszeichen innerhalb des Fahrzeuges 1 prüft nun den Bildinhalt der darin eingebauten Kamera 11 auf weitere Verkehrsschilder, die sich bei der Ge^¬ genfahrspur befinden. Da diese Verkehrsschilder nicht in Fahrtrichtung des Fahrzeuges 1 zeigen, ist nur deren graue Rückseite auf den Kamerabildern zu erkennen. Einige wichtige Verkehrsschilder sind jedoch von hinten bereits anhand ihrer Form oder Kontur erkennbar. To detect the traffic situation, the driver assistance system 12 has the camera 11 built into the vehicle 1 with a traffic sign recognition system 14. The traffic sign recognition system 14 recognizes, on the basis of the traffic sign 51, that the vehicle 1 is on a priority road. The driver ^¬ assistance system 12 evaluates the received camera data with regard to other objects in the camera image, and thus detects the oncoming vehicle 3, which is also located on the priority road. Further, the driver assistance ^¬ assistance system 12 of the vehicle 1 detects that an intersection between the oncoming vehicle 3 and the own vehicle 1 is located. Since the priority road on which the vehicle 1 is located could bend at the intersection, with a corresponding sign being displaced, for example, by a truck or the like, it is not certain that the vehicle 1 must wait to pass the oncoming vehicle 3 leave, or whether the vehicle 1 may turn ahead because the priority road at the intersection kinks. The system 14 for detecting traffic signs within the vehicle 1 now checks the image content of the camera 11 built therein on further traffic signs, which are located in the Ge ^¬ genfahrspur. Since these traffic signs do not point in the direction of travel of the vehicle 1, only their gray back on the camera images can be seen. However, some important traffic signs are already recognizable from behind by their shape or contour.

Fig. 3 zeigt ein Schild 55, welches eine Vorfahrtsstraße kennzeichnet. Ein derartiges Schild 55 ist auch vor der in Fig. 2 dargestellten Kreuzung auf der Gegenfahrbahn als Fig. 3 shows a sign 55, which indicates a priority road. Such a shield 55 is also in front of the crossing shown in Fig. 2 on the opposite lane as

Schild 53 aufgestellt, und kann von der Kamera 11 des Fahr^¬ zeuges 1 erfasst werden. Da das Schild 53 dort das einzige Schild mit dieser besonderen Form ist, kann das System 14 zur Erkennung von Verkehrszeichen daraus ableiten, dass sich auch das andere entgegenkommende Fahrzeug 3 auf der Vorfahrtstraße befindet. Damit weist die in Fig. 2 dargestellte Kreuzung keine abknickende Vorfahrtsstraße auf, und das entgegenkom^¬ mende Fahrzeug 3 hat demzufolge Vorfahrt gegenüber dem links abbiegenden Fahrzeug 1. Dadurch, dass das Fahrerassistenzsys^¬ tem 12 des Fahrzeuges 1 die Rückseite bzw. Kontur des Schil^¬ des 53 mit in die Beurteilung der Verkehrssituation einbezieht, kann diese richtig interpretiert werden. Shield 53 placed, and can be detected by the camera 11 of the driving tool 1 ^¬ . Since the sign 53 is the only sign with this particular shape there, the traffic sign recognition system 14 can deduce that the other oncoming vehicle 3 is also on the priority road. Thus, the intersection shown in Fig. 2 has no right has priority road, and the entgegenkom ^¬ Mende vehicle 3 consequently has priority over the left turn vehicle 1. The fact that the driver assistance ^¬ system 12 of the vehicle 1, the rear side or contour of the Shield ^¬ of 53 is included in the assessment of the traffic situation, this can be interpreted correctly.

Weitere wichtige Verkehrsschilder, welche die Vorfahrtregeln berühren und eine einzigartige Form aufweisen, sind das Other important traffic signs that affect the rules of priority and have a unique shape are

Stoppschild 65 und das in Fig. 5 dargestellte Vorfahrt gewäh^¬ ren Schild 67. Diese beiden Schilder offenbaren ihren Regelungsgehalt auch von ihrer Rückseite aus, da sie bereits durch ihre Form bzw. ihre Kontur erkannt werden können. Bei einem Vorfahrtstraßenschild ist dessen Kontur in Kontext mit der restlichen Verkehrssituation zu setzen, da keine eindeutige Zuordnung möglich ist. Im Gesamtkontext kann jedoch auch die Kontur eines solchen Verkehrszeichens wichtige Hinweise zur momentanen Verkehrssituation liefern. Fig. 6 zeigt ein drittes Beispiel einer Verkehrssituation, bei der die Rückseite eines Verkehrsschildes wichtige Infor^¬ mationen liefern kann. Die Situation ist ähnlich zur Verkehrssituation der Fig. 2. Im Unterschied zur Fig. 2 handelt es sich bei dieser Verkehrssituation um eine abknickende Vorfahrt. Diese ist normalerweise gut anhand der Fahrbahnmarkie^¬ rungen zu erkennen. Wenn jedoch im Winter die Straße schneebedeckt ist, dann sind die Fahrbahnmarkierungen nicht mehr zu erkennen. Auch die Verkehrsschilder können im Winter verschneit sein, so dass ihr Regelungsgehalt nicht mehr anhand des Schildinhaltes verfügbar ist. Die Form bzw. Kontur ist jedoch auch bei einem verschneiten Verkehrsschild noch zu erkennen, so dass aufgrund der besonderen Form auf den Regelungsgehalt des Verkehrsschildes geschlossen werden kann. In der Verkehrssituation der Figur 6 kann das Fahrerassistenzsystem 12 anhand der durch die Kamera 11 erfassten Rückseite des „Vorfahrt gewähren"-Schildes 63 auf der Gegenfahrspur er^¬ kennen, dass hier eine abknickende Vorfahrt vorliegen muss, und das Fahrzeug 1 selbst Vorfahrt hat. Das andere Fahrzeug 3 muss warten, obwohl das Fahrzeug 1 links abbiegen möchte. Diese Verkehrssituation ist selbst bei verschneiter Fahrbahn und bei verschneiten Schildern anhand der erfassten Schildrückseite bzw. Kontur des Verkehrsschildes 63 auf der Gegen^¬ fahrbahn erkennbar. Das erfindungsgemäße Verfahren erhöht da^¬ mit deutlich die Erkennungsgenauigkeit von Verkehrssituatio^¬ nen und damit die Verkehrssicherheit der Verkehrsteilnehmer. Stop sign 65 and the direction shown in Fig. 5 gewäh ^¬ ren shield 67. These two signs reveal their regulatory content from their back, since they can already be recognized by their shape or their contour. In the case of a priority road sign, its contour must be set in context with the remaining traffic situation, since no clear assignment is possible. In the overall context, however, the contour of such a traffic sign can also provide important information about the current traffic situation. Fig. 6 shows a third example of a traffic situation in which the back side of a road sign can provide important infor mation ^¬. The situation is similar to the traffic situation of FIG. 2. In contrast to FIG. 2, this traffic situation is a bending right of way. This is usually good to see from the Fahrbahnmarkie ^¬ requirements. However, if in winter the road is snow-covered, then the lane markings are no longer visible. Even the traffic signs can be snowy in winter, so that their regulatory content is no longer available on the basis of the sign. However, the shape or contour is still visible in a snowy road sign, so that due to the special shape on the regulatory content of the road sign can be concluded. In the traffic situation of Figure 6, the driver assistance system 12 may "give way" on the basis of the captured by the camera 11 back of -Schildes 63 on the opposite lane he ^¬ know that a right has priority must be present here, and the vehicle 1 itself has priority. The other vehicle 3 has to wait even though the vehicle 1 wants to turn left. This traffic situation can be seen even in snowy roads and snowy signs based on the detected shield back side or contour of the road sign 63 on the roadway counter ^¬. the inventive method increases because ^¬ with significantly the recognition accuracy of traffic ^situations and thus the traffic safety of road users.

Falls das andere Fahrzeug 3 das erfindungsgemäße Fahrerassis^¬ tenzsystem 12 ebenfalls eingebaut hat und an der in Fig. 6 dargestellten Kreuzung geradeaus fährt, verlässt es die un^¬ tergeordnete Straße und fährt ab der Kreuzung auf der Vor^¬ fahrtstraße. Dies kann durch das Fahrerassistenzsystem 12 des Fahrzeuges 3 anhand der Form der Rückseite des Vorfahrtschil^¬ des 51 erkannt werden. Dies ändert die Logik der Erkennung der Verkehrssituation dahingehend, dass nun die bisherige Re^¬ gel, dass durch das Fahrzeug 3 Vorfahrt gewährt werden muss, verworfen wird. Nach Einfahrt in die Kreuzung gilt für das Fahrzeug 3, dass das Fahrzeug nunmehr selbst Vorfahrt hat. Diese Situation kann sicher detektiert werden, ohne dass zu^¬ nächst ein Vorfahrtschild in Fahrtrichtung erkannt werden muss, welches unter Umständen erst wesentlich später im Verlauf der Straße aufgestellt ist. Die Logik der Verkehrserken^¬ nung und somit die Anzeige des Fahrerassistenzsystems 12 hängt also davon ab, ob ein Abbiegevorgang auf eine Haupt^¬ straße oder eine Nebenstraße detektiert wird. Durch die Er^¬ kennung von Verkehrsschildern auf Basis von deren Kontur bzw. Umriss kann die Verkehrssituation wesentlich schneller erkannt werden und liefert damit einen wichtigen Beitrag zur Sicherheit des eigenen Fahrzeuges 1 und eines entgegenkommen^¬ den Fahrzeuges 3. If the other vehicle has also built three inventive driver assistance system Assis ^¬ the 12 and moves to the position shown in Fig. 6 crossing straight, leaving the un ^¬ tergeordnete street and runs from the intersection of the pre ^¬ ride street. This can be detected by the driver assistance system 12 of the vehicle 3 on the basis of the shape of the rear side of the right-hand ^drive 51. This changes the logic of the detection of the traffic situation to the effect that now the previous ^rule that the right of way must be granted by the vehicle 3 is discarded. After entering the intersection applies to the Vehicle 3, that the vehicle now has right of way. This situation can be reliably detected without a give way sign must be recognized in direction to ^¬ next, which is placed in circumstances much later in the course of the road. The logic of the traffic ^{recognition ¬} and thus the display of the driver assistance system 12 thus depends on whether a turn on a main street ^¬ or a side street is detected. By He ^¬ recognition of traffic signs based on the contour or outline of the traffic situation can be detected much more quickly and thus makes an important contribution to the safety of their own vehicle 1 and a meet ^¬ the vehicle. 3

BEZUGSZEICHEN REFERENCE NUMBERS

I Fahrzeug, welches das erfindungsgemäße Verfah^¬ ren durchführt I vehicle, which performs inventive procedural ^¬ ren the

3 am Verkehr beteiligtes weiteres Fahrzeug 3 other vehicles involved in traffic

II Kamera II camera

12 Fahrerassistenzsystem 12 driver assistance system

14 Verkehrszeichenerkennung 14 traffic sign recognition

51, 53, 55 Vorfahrtstraßenschilder 51, 53, 55 Priority road signs

61, 63, 67 Vorfahrt betreffende Verkehrsschilder 61, 63, 67 Priority traffic signs

65 Stop-Schild 65 stop sign

Claims

PATENTANSPRÜCHE

1. Verfahren zur Beurteilung einer Verkehrssituation für ein Fahrzeug (1), aufweisend ein System (14) zur Erkennung von Verkehrszeichen, wobei Verkehrszeichen der eigenen Fahrspur (43, 51) von Verkehrszeichen einer Gegenfahrspur (41, 63, 53), die nicht in Fahrtrichtung des Fahrzeuges (1) zeigen, unterschieden werden, und die von hinten erkennbare Rückseitenkontur der Verkehrszeichen der Gegenfahrspur (41, 63, 53) zur Erkennung des Regelungsgehaltes der Ver^¬ kehrszeichen ausgewertet wird. A traffic situation assessment method for a vehicle (1), comprising a traffic signal recognition system (14), wherein traffic signals of own lane (43, 51) of traffic signals of an oncoming lane (41, 63, 53) not in Direction of travel of the vehicle (1) show different, and the recognizable from behind rear contour of the traffic signs of the opposite lane (41, 63, 53) is evaluated to detect the regulatory content of Ver ^¬ traffic signs.

2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die erkannte Verkehrssituation an ein Fahrerassistenzsys^¬ tem (12) des Fahrzeuges (1) weitergegeben wird. 2. The method according to claim 1, characterized in that the detected traffic ^situation to a driver assistance system ^¬ (12) of the vehicle (1) is passed.

3. Verfahren gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass in Abhängigkeit von der erkannten Ver^¬ kehrssituation vorbestimmte Fahrzeugfunktionen des Fahrzeuges (1) ausgelöst werden. 3. The method according to any one of claims 1 or 2, characterized in that predetermined vehicle functions of the vehicle (1) are triggered depending on the detected Ver ^¬ traffic situation.

4. Verfahren gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass auf Basis des erkannten Regelungsge^¬ halts der Verkehrszeichen der Gegenfahrspur (41, 63, 53) zusammen mit dem erkannten Regelungsgehalt der Verkehrs^¬ zeichen der eigenen Fahrspur (43, 51) eine aktuelle Vorfahrtsituation erkannt wird, die an das Fahrerassistenzsystem (12) des Fahrzeuges (1) gemeldet wird. 4. The method according to any one of claims 1 to 3, characterized in that based on the recognized Regelungsge ^¬ content of the traffic signs of the opposite lane (41, 63, 53) together with the recognized regulatory content of the traffic sign ^¬ own lane (43, 51) a current priority situation is detected, which is reported to the driver assistance system (12) of the vehicle (1).

5. Verfahren gemäß einem der vorhergehenden Ansprüche 1 bis 4, dadurch gekennzeichnet, dass bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrtstraße der gespeicherte aktive Regelungsgehalt vormals erkannter mit der Vorfahrt zusammenhängender Verkehrszeichen verworfen wird. 5. The method according to any one of the preceding claims 1 to 4, characterized in that when detected leaving a priority road or recognized retraction into a priority road, the stored active control content previously detected with the right of way related traffic signs is discarded.

6. Verfahren gemäß einem der vorhergehenden Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei erkanntem Überfahren eines Stoppschildes oder eines Vorfahrt-gewahren Schildes durch das Fahrzeug (1) eine Warnfunktion in dem Fahrzeug (1) ausgelöst wird. 6. The method according to any one of the preceding claims 1 to 5, characterized in that when detected driving over a stop sign or a right-of-way sign by the vehicle (1) a warning function in the vehicle (1) is triggered.

7. Fahrerassistenzsystem (12) für ein Fahrzeug (l)mit: einem System (14) zur Erkennung von Verkehrszeichen, mit einer Kamera (11), welche Kamerabilder der Fahrzeugumgebung des Fahrzeuges (1) liefert; wobei das System (14) zur Erkennung von Verkehrszeichen die Verkehrszeichen der eigenen Fahrspur (43, 51) von Verkehrszeichen einer Gegenfahrspur (41, 63, 53) , die nicht in Fahrtrichtung des Fahrzeuges (1) zeigen, unterscheidet, und das System (14) zur Erkennung von Verkehrszeichen die von hinten erkennbare Rückseitenkontur der in den Kamerabildern enthaltenen Verkehrszeichen der Gegenfahrspur (41, 63, 53) zur Erkennung des Regelungsgehaltes der Verkehrs^¬ zeichen auswertet. A driver assistance system (12) for a vehicle (1), comprising: a traffic sign recognition system (14) having a camera (11) which provides camera images of the vehicle surroundings of the vehicle (1); the traffic sign recognition system (14) distinguishes the traffic lanes of the own traffic lane (43, 51) from traffic signals of an oncoming lane (41, 63, 53) not pointing in the direction of travel of the vehicle (1), and the system (14 ) for recognition of road signs of visible behind rear contour of the traffic sign of the opposite lane contained in the camera images (41, 63, 53) evaluates for the detection of the control content of the traffic sign ^¬.

8. Fahrerassistenzsystem (12) gemäß Anspruch 7, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (12) des Fahrzeuges (1) in Abhängigkeit von der erfassten Verkehrs^¬ situation vorbestimmte Fahrzeugfunktionen des Fahrzeuges (1) auslöst oder unterdrückt. 8. driver assistance system (12) according to claim 7, characterized in that the driver assistance system (12) of the vehicle (1) in response to the detected traffic ^¬ situation predetermined vehicle functions of the vehicle (1) triggers or suppressed.

9. Fahrerassistenzsystem (12) gemäß Anspruch 8, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (12) des Fahrzeuges 1 bei erkanntem Regelungsgehalt der Verkehrs^¬ zeichen der Gegenfahrspur (41, 63, 53) zusammen mit dem erkannten Regelungsgehalt der Verkehrszeichen der eigenen Fahrspur (41, 63, 53) eine aktuelle Vorfahrtsituation erkennt und zur Unterstützung eines hoch automatisierten Fahrens des Fahrzeuges (1) verwendet. 9. driver assistance system (12) according to claim 8, characterized in that the driver assistance system (12) of the vehicle 1 with detected regulatory content of the traffic sign ^¬ the opposite lane (41, 63, 53) together with the recognized regulatory content of the traffic signs of the own lane (41 , 63, 53) detects a current priority situation and used to support a highly automated driving of the vehicle (1).

10. Fahrerassistenzsystem (12) gemäß einem der vorhergehenden Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das Fah^¬ rerassistenzsystem (12) des Fahrzeuges (1) bei erkanntem Verlassen einer Vorfahrtstraße oder bei erkanntem Einfahren in eine Vorfahrtstraße den gespeicherten aktiven Regelungsgehalt vormals erkannter mit der Vorfahrt zusammen^¬ hängender Schilder verwirft. 10. driver assistance system (12) according to any one of the preceding claims 7 to 9, characterized in that the Fah ^¬ rerassistenzsystem (12) of the vehicle (1) when detected leaving a priority road or when recognized entering a priority road the stored active control content previously detected with the right of way together ^¬ hanging signs discarded.

11. Fahrerassistenzsystem (12) gemäß einem der vorhergehenden Ansprüche 7 bis 10, dadurch gekennzeichnet, dass bei er^¬ kanntem Überfahren eines Stoppschildes oder eines Vorfahrt-gewahren Schildes das Fahrerassistenzsystem (12) eine Warnfunktion in dem Fahrzeug (1) auslöst, insbesondere wenn eine Kreuzungssituation erkannt wird. 11. driver assistance system (12) according to any one of the preceding claims 7 to 10, characterized in that he ^¬ knew running over a stop sign or a right of way sign the driver assistance system (12) triggers a warning function in the vehicle (1), especially if a Crossing situation is detected.