DE102022125693A1 - Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle - Google Patents

Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle Download PDF

Info

Publication number
DE102022125693A1
DE102022125693A1 DE102022125693.6A DE102022125693A DE102022125693A1 DE 102022125693 A1 DE102022125693 A1 DE 102022125693A1 DE 102022125693 A DE102022125693 A DE 102022125693A DE 102022125693 A1 DE102022125693 A1 DE 102022125693A1
Authority
DE
Germany
Prior art keywords
traffic sign
image data
color
vehicle
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022125693.6A
Other languages
German (de)
Inventor
Michel Lanz
Reinhard Cavetchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022125693.6A priority Critical patent/DE102022125693A1/en
Publication of DE102022125693A1 publication Critical patent/DE102022125693A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs mit den Schritten: Empfangen von Bilddaten, wobei die Bilddaten die Umgebung des Fahrzeugs beschreiben und wobei die Bilddaten Farbinformationen umfassen, Erkennen eines Verkehrszeichens in den Bilddaten, Klassifizierung des erkannten Verkehrszeichens, wobei die Klassifizierung auf einem zuvor durchgeführten Training mit Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben, basiert, wobei in den Bilddaten ein Verkehrszeichenbereich bestimmt wird, welcher dem erkannten Verkehrszeichen zugeordnet wird, anhand der Farbinformationen der Bilddaten in dem Verkehrszeichenbereich eine Farbverteilung des Verkehrszeichens bestimmt wird und die Klassifizierung des erkannten Verkehrszeichens anhand der bestimmten Farbverteilung plausibilisiert und/oder korrigiert wird.The invention relates to a method for recognizing traffic signs in an environment of a vehicle, comprising the steps of: receiving image data, wherein the image data describe the environment of the vehicle and wherein the image data comprise color information, recognizing a traffic sign in the image data, classifying the recognized traffic sign, wherein the classification is based on a previously carried out training with training data describing reference traffic signs, wherein a traffic sign area is determined in the image data, which is assigned to the recognized traffic sign, a color distribution of the traffic sign is determined based on the color information of the image data in the traffic sign area, and the classification of the recognized traffic sign is checked for plausibility and/or corrected based on the determined color distribution.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs. Des Weiteren betrifft die vorliegende Erfindung eine Vorrichtung zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs. Schließlich betrifft die vorliegende Erfindung ein Fahrzeug mit einer derartigen Vorrichtung.The present invention relates to a method for recognizing traffic signs in the surroundings of a vehicle. Furthermore, the present invention relates to a device for recognizing traffic signs in the surroundings of a vehicle. Finally, the present invention relates to a vehicle with such a device.

Moderne Fahrerassistenzsysteme berücksichtigen Informationen von Verkehrszeichen, die sich in der Umgebung des Fahrzeugs befinden. Beispielsweise wird für die Darstellung und Regelung von unterschiedlichen Kundenfunktionen im Zusammenhang mit Verkehrszeichen, wie die automatische Erkennung und Anzeige des Geschwindigkeitslimits, neben einer digitalen Karte eine kamerabasierte Erkennung von Verkehrszeichen genutzt. Beispielhafte Kundenfunktionen, welche die Erkennung von Verkehrszeichen nutzen, sind eine Information zur aktuell geltenden Höchstgeschwindigkeit, eine Information zu Vorfahrtsstraßen, eine Falschfahrinformation sowie aktuell in der Entwicklung befindliche Assistenzfunktionen gemäß dem SAE Level 3 und höher.Modern driver assistance systems take into account information from traffic signs that are located in the vehicle's surroundings. For example, camera-based traffic sign recognition is used in addition to a digital map to display and control various customer functions related to traffic signs, such as the automatic recognition and display of the speed limit. Examples of customer functions that use traffic sign recognition include information on the current speed limit, information on priority roads, wrong-way information, and assistance functions currently under development in accordance with SAE Level 3 and higher.

Die Erkennung von Verkehrszeichen bzw. die Verkehrsschildererkennung muss in der Lage sein, alle relevanten Verkehrszeichen hinsichtlich ihrer Erscheinung und der semantischen Information, beispielsweise ein Geschwindigkeitslimit, zu erkennen und konkret zu klassifizieren. Eine große Herausforderung sind hier vielfältige länderspezifische Besonderheiten, abweichende Darstellungen der Schilder und große Ähnlichkeiten zwischen Schildern mit unterschiedlicher Bedeutung.The recognition of traffic signs or traffic sign recognition must be able to recognize and specifically classify all relevant traffic signs in terms of their appearance and semantic information, such as a speed limit. A major challenge here is the diverse country-specific characteristics, differing representations of the signs and great similarities between signs with different meanings.

Aktuell verwendete Vorrichtungen zur Erkennung von Verkehrszeichen basieren beispielsweise auf Deep-Learning-Verfahren auf Basis von global gesammelten Trainingsdaten. Ein guter Klassifikator unterscheidet mittlerweile zwischen mehr als 300 Schilderklassen. Um länderspezifische Varianten abzudecken, werden möglichst viele Trainingsdaten über alle relevanten Länder verwendet. Die Klassifizierung erfolgt meist auf Basis von Bildausschnitten, um eine kameraübergreifende Kompatibilität zu erreichen. Bei der Klassifizierung der Verkehrszeichen gehen vor allem die Geometrie und Konturen als relevante Merkmale ein.Devices currently used to recognize traffic signs, for example, are based on deep learning methods based on training data collected globally. A good classifier can now distinguish between more than 300 sign classes. In order to cover country-specific variants, as much training data as possible is used across all relevant countries. Classification is usually carried out on the basis of image sections in order to achieve cross-camera compatibility. When classifying traffic signs, geometry and contours are the most important relevant features.

In diesem Zusammenhang beschreibt die DE 10 2012 023 022 A1 ein Verfahren zur Erkennung von Verkehrszeichen in Bilddaten. In den Bilddaten wird eine Segmentierung eines Objekts durchgeführt, das mit einer vorgegebenen ersten Wahrscheinlichkeit ein Verkehrszeichen ist. In den segmentierten Bilddaten wird darin abgebildeter Text, Zahlen und/oder Wörter und/oder Abkürzungen und/oder Kombinationen daraus ermittelt. Es kann zudem vorgesehen sein, dass eine Soll-Übereinstimmung der Farben in den segmentierten Bilddaten mit Farben von bekannten Verkehrsschildern bestimmt wird. Hierbei können bevorzugt mögliche Farbkombinationen sowie Flächenanteile pro Farbe für Verkehrsschilder vorgegeben und mit den segmentierten Bilddaten, in denen das Objekt abgebildet ist, verglichen werden.In this context, the EN 10 2012 023 022 A1 a method for recognizing traffic signs in image data. In the image data, a segmentation of an object is carried out that is a traffic sign with a predetermined first probability. In the segmented image data, text, numbers and/or words and/or abbreviations and/or combinations thereof are determined. It can also be provided that a target match of the colors in the segmented image data with colors of known traffic signs is determined. In this case, possible color combinations and area proportions per color for traffic signs can preferably be specified and compared with the segmented image data in which the object is depicted.

Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie Verkehrszeichen in der Umgebung eines Fahrzeugs auf Grundlage von Bilddaten zuverlässiger erfasst werden können.It is an object of the present invention to show a solution how traffic signs in the surroundings of a vehicle can be detected more reliably on the basis of image data.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Vorrichtung sowie durch ein Fahrzeug mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved according to the invention by a method, by a device and by a vehicle having the features according to the independent claims. Advantageous developments of the present invention are specified in the dependent claims.

Ein erfindungsgemäßes Verfahren dient zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs. Das Verfahren umfasst das Empfangen von Bilddaten, wobei die Bilddaten die Umgebung des Fahrzeugs beschreiben und wobei die Bilddaten Farbinformationen umfassen. Darüber hinaus umfasst das Verfahren das Erkennen eines Verkehrszeichens in den Bilddaten. Außerdem umfasst das Verfahren das Klassifizieren des erkannten Verkehrszeichens, wobei die Klassifizierung auf einem zuvor durchgeführten Training mit Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben, basiert. Des Weiteren wird in den Bilddaten ein Verkehrszeichenbereich bestimmt, welcher dem erkannten Verkehrszeichen zugeordnet wird. Zudem wird anhand der Farbinformationen der Bilddaten in dem Verkehrszeichenbereich eine Farbverteilung des Verkehrszeichens bestimmt. Zudem wird die Klassifizierung des erkannten Verkehrszeichens anhand der bestimmten Farbverteilung plausibilisiert und/oder korrigiert.A method according to the invention is used to recognize traffic signs in the surroundings of a vehicle. The method comprises receiving image data, wherein the image data describes the surroundings of the vehicle and wherein the image data comprises color information. In addition, the method comprises recognizing a traffic sign in the image data. In addition, the method comprises classifying the recognized traffic sign, wherein the classification is based on a previously carried out training with training data describing reference traffic signs. In addition, a traffic sign area is determined in the image data, which is assigned to the recognized traffic sign. In addition, a color distribution of the traffic sign is determined based on the color information of the image data in the traffic sign area. In addition, the classification of the recognized traffic sign is checked for plausibility and/or corrected based on the determined color distribution.

Das Verfahren kann mit einer entsprechenden Vorrichtung durchgeführt werden, welche zumindest einen Prozessor, eine Recheneinheit, ein elektronisches Steuergerät und/oder dergleichen umfassen kann. Die Vorrichtung kann die Bilddaten von einer Kamera des Fahrzeugs empfangen. Bei den Bilddaten kann es sich um zumindest ein Bild bzw. eine Sequenz von Bildern handeln. Diese Bilddaten beschreiben die Umgebung des Fahrzeugs bzw. das Umfeld des Fahrzeugs. Dabei umfassen die Bilddaten eine Farbinformation. Dies bedeutet insbesondere, dass die Bilddaten digitale Farbbilder umfassen können. Beispielsweise können die Bilddaten in dem RGB-Raum oder einem anderen Farbraum aufgenommen werden.The method can be carried out with a corresponding device, which can comprise at least one processor, a computing unit, an electronic control unit and/or the like. The device can receive the image data from a camera of the vehicle. The image data can be at least one image or a sequence of images. This image data describes the surroundings of the vehicle or the environment of the vehicle. The image data includes color information. This means in particular that the image data can include digital color images. For example, the image data can be recorded in the RGB space or another color space.

In den Bilddaten kann dann das Verkehrszeichen erkannt werden. Grundsätzlich können auch mehrere Verkehrszeichen in den Bilddaten erkannt werden. Zum Erkennen des Verkehrszeichens in den Bilddaten können bekannte Verfahren der Bildverarbeitung oder Mustererkennung, beispielsweise die Segmentierung oder dergleichen, genutzt werden. Zudem ist vorgesehen, dass das erkannte Verkehrszeichen klassifiziert wird. Zum Klassifizieren des Verkehrszeichens können beispielsweise charakteristische Merkmale in den Bildern bzw. Bilddaten erkannt werden. Beispielsweise können Kanten in den Bilddaten erkannt werden. Zudem kann bei der Klassifizierung die Geometrie bzw. die Formgebung und/oder Kontur der Verkehrszeichen berücksichtigt werden. Insbesondere werden zum Klassifizieren der Verkehrszeichen Deep-Learning-Verfahren genutzt. Grundsätzlich können zum Klassifizieren der Verkehrszeichen Verfahren des maschinellen Lernens genutzt werden, die auf Trainingsdaten basieren. Dabei können die Trainingsdaten bevorzugt Referenzverkehrszeichen bzw. bekannte Verkehrszeichen beschreiben.The traffic sign can then be recognized in the image data. In principle, several traffic signs can also be recognized in the image data. Known image processing or pattern recognition methods, such as segmentation or the like, can be used to recognize the traffic sign in the image data. In addition, it is intended that the recognized traffic sign is classified. To classify the traffic sign, for example, characteristic features can be recognized in the images or image data. For example, edges can be recognized in the image data. In addition, the geometry or shape and/or contour of the traffic signs can be taken into account during classification. In particular, deep learning methods are used to classify the traffic signs. In principle, machine learning methods based on training data can be used to classify the traffic signs. The training data can preferably describe reference traffic signs or known traffic signs.

Gemäß der vorliegenden Erfindung wird berücksichtigt, dass bei aktuellen Klassifizierungsverfahren die Farbmerkmale nicht ausreichend berücksichtigt werden. Der Grund hierfür ist, dass die Farbinformation bei der Vorverarbeitung meist verloren geht, um eine Kompatibilität zu unterschiedlichen Kameramodellen und Umgebungsvarianten zu erreichen. Des Weiteren spielt bei der Klassifizierung der Verkehrszeichen die Farbinformation in einem ersten Schritt eine geringe Rolle, weil die Geometrie und Kontur dominanter sind. Ferner sind Varianten der Verkehrszeichen länderspezifisch und daher teilweise nicht in einem globalen Klassifikator abbildbar.According to the present invention, it is taken into account that the color features are not sufficiently taken into account in current classification methods. The reason for this is that the color information is usually lost during preprocessing in order to achieve compatibility with different camera models and environment variants. Furthermore, the color information plays a minor role in the classification of traffic signs in a first step because the geometry and contour are more dominant. Furthermore, variants of the traffic signs are country-specific and therefore sometimes cannot be mapped in a global classifier.

Gemäß der vorliegenden Erfindung ist nun vorgesehen, dass in den Bilddaten ein Verkehrszeichenbereich bestimmt wird. Dieser Verkehrszeichenbereich ist dem Verkehrszeichen zugeordnet, das in den Bilddaten erkannt wird. Von diesem Verkehrszeichenbereich wird für das darin erkannte Verkehrszeichen eine Farbverteilung bestimmt. Dies erfolgt auf Grundlage der Farbinformation der Bilddaten. Die Farbverteilung kann auch als Farbmusterverteilung bezeichnet werden. Grundsätzlich kann die Farbverteilung eine oder mehrere Farben, welche in dem Verkehrszeichenbereich vorhanden sind, beschreiben. Zudem kann die Farbverteilung beschreiben, in welchen Bereichen bzw. Teilbereichen des Verkehrszeichenbereichs diese Farben vorhanden sind.According to the present invention, it is now provided that a traffic sign area is determined in the image data. This traffic sign area is assigned to the traffic sign that is recognized in the image data. A color distribution is determined from this traffic sign area for the traffic sign recognized in it. This is done on the basis of the color information of the image data. The color distribution can also be referred to as a color pattern distribution. In principle, the color distribution can describe one or more colors that are present in the traffic sign area. In addition, the color distribution can describe in which areas or sub-areas of the traffic sign area these colors are present.

Bei der Bestimmung der Farbverteilung können in dem Verkehrszeichenbereich beispielsweise unterschiedliche Farbsegmente detektiert werden. Im Anschluss daran können die Farben bzw. Farbanteile der Farbsegmente klassifiziert werden. Beispielsweise kann hierbei die Farbe der Farbsegmente bestimmt werden. Die detektierten Farbsegmente und deren klassifizierte Farbeigenschaft können dann zur Optimierung der Schilderklassifizierung genutzt werden.When determining the color distribution, different color segments can be detected in the traffic sign area, for example. The colors or color components of the color segments can then be classified. For example, the color of the color segments can be determined. The detected color segments and their classified color properties can then be used to optimize the sign classification.

Gemäß der vorliegenden Erfindung wird diese Farbverteilung des Verkehrszeichens nun genutzt, um die in einem ersten Schritt durchgeführte Klassifizierung des Verkehrszeichens zu plausibilisieren und/oder zu korrigieren. Hierbei wird insbesondere berücksichtigt, dass Verkehrszeichen, die sich hinsichtlich der Geometrie, der Formgebung einer Beschriftung und/oder einem Zahlenwert ähneln, verwechselt werden können bzw. falsch klassifiziert werden können. Um dies zu vermeiden, wird vorliegend die Farbverteilung herangezogen, um die Klassifizierung zu plausibilisieren oder zu korrigieren. Hierbei kann beispielsweise bestätigt werden, dass die Klassifizierung korrekt ist oder mit einer hohen Wahrscheinlichkeit korrekt durchgeführt wurde. Andernfalls kann bestimmt werden, dass die Klassifizierung mit einer geringen Wahrscheinlich zutreffend ist. In diesem Fall kann die Klassifizierung als nicht gültig angesehen werden.According to the present invention, this color distribution of the traffic sign is now used to check the plausibility and/or correct the classification of the traffic sign carried out in a first step. In this case, particular consideration is given to the fact that traffic signs that are similar in terms of geometry, the shape of a lettering and/or a numerical value can be confused or incorrectly classified. To avoid this, the color distribution is used to check the plausibility or correct the classification. This can, for example, confirm that the classification is correct or was carried out correctly with a high probability. Otherwise, it can be determined that the classification is correct with a low probability. In this case, the classification can be considered invalid.

Durch die Berücksichtigung der Farbinformation bzw. der Farbverteilung des Verkehrszeichens kann die Klassifizierung, die auf Grundlage von Trainingsdaten erfolgt ist, verbessert bzw. optimiert werden. Insbesondere kann durch die Berücksichtigung der Farbverteilung eine semantische Optimierung der kamerabasierten Klassifizierung der Verkehrszeichen erreicht werden. Insgesamt kann somit die Erkennung von Verkehrszeichen in der Umgebung des Fahrzeugs auf Grundlage von Bilddaten verbessert werden.By taking into account the color information or the color distribution of the traffic sign, the classification that was carried out on the basis of training data can be improved or optimized. In particular, by taking the color distribution into account, a semantic optimization of the camera-based classification of the traffic signs can be achieved. Overall, the recognition of traffic signs in the vehicle's surroundings can thus be improved on the basis of image data.

Bevorzugt wird die Farbverteilung des erkannten Verkehrszeichens zum Plausibilisieren und/oder zum Korrigieren der Klassifizierung mit vorbestimmten Farbverteilungen verglichen. Bei der Bestimmung der Farbverteilung kann beispielsweise eine definierte Farbe erkannt werden, welche das Verkehrszeichen aufweist. Diese Farbe kann sich von einer Grundfarbe des Verkehrszeichens, beispielsweise einer weißen Farbe, unterscheiden. Beispielsweise können relevante Verkehrszeichen, wie Gefahrenzeichen, Vorschriftszeichen oder dergleichen, in der Farbverteilung eine rote Farbe aufweisen. Die vorbestimmten Farbverteilungen können beispielsweise beschreiben, dass die Farbe Rot relevanten Verkehrszeichen zugeordnet ist. Die vorbestimmten Farbverteilungen können auch die unterschiedlichen Farben bzw. Farbverteilungen von bekannten Verkehrszeichen beschreiben. Die vorbestimmten Farbverteilungen können auf einem Speicher bzw. einer Speichereinheit des Fahrzeugs hinterlegt sein. Alternativ oder zusätzlich können die vorbestimmten Farbverteilungen von einem Server oder dergleichen abgerufen werden.Preferably, the color distribution of the recognized traffic sign is compared with predetermined color distributions to check the plausibility and/or to correct the classification. When determining the color distribution, for example, a defined color can be recognized which the traffic sign has. This color can differ from a basic color of the traffic sign, for example a white color. For example, relevant traffic signs, such as danger signs, regulatory signs or the like, can have a red color in the color distribution. The predetermined color distributions can, for example, describe that the color red is assigned to relevant traffic signs. The predetermined color distributions can also describe the different colors or color distributions of known traffic signs. The predetermined color distributions can be stored in a memory or a storage unit of the vehicle. Alternatively or additionally, the predetermined color distributions are retrieved from a server or the like.

Wenn beispielsweise in den Bilddaten ein Verkehrszeichen in Form eines aufgestellten Dreiecks erkannt wird, kann dieses mittels des Klassifikators als das Verkehrszeichen „Vorfahrt gewähren“ klassifiziert werden. Ein solches Verkehrszeichen stellt ein relevantes Verkehrszeichen dar, da es beispielsweise von einem Fahrerassistenzsystem einen Bremseingriff fordern kann. Wenn nun in dem zweiten Schritt die Farbverteilung bestimmt wird und hierbei überprüft wird, ob in der Farbverteilung des erkannten Verkehrszeichens die Farbe Rot erkannt wird, kann die in einem ersten Schritt durchgeführte Klassifizierung bestätigt werden. Wenn aber innerhalb der Farbverteilung eine grüne Farbe erkannt wurde, kann dies darauf hindeuten, dass nicht das Verkehrszeichen „Vorfahrt gewähren“, sondern beispielsweise das Verkehrszeichen „Landschaftsschutzgebiet“ erkannt wurde. In diesem Fall kann die Klassifizierung korrigiert werden. Auf diese Weise kann beispielsweise verhindert werden, dass bei einer falschen Erkennung des Verkehrszeichens ein Bremseingriff oder dergleichen durchgeführt wird.If, for example, a traffic sign in the form of a raised triangle is recognized in the image data, this can be classified as the "Give way" traffic sign using the classifier. Such a traffic sign is a relevant traffic sign because it can, for example, require a driver assistance system to intervene with the brakes. If the color distribution is now determined in the second step and it is checked whether the color red is recognized in the color distribution of the recognized traffic sign, the classification carried out in a first step can be confirmed. If, however, a green color was recognized within the color distribution, this may indicate that the "Give way" traffic sign was recognized, rather than the "Give way" traffic sign, for example. In this case, the classification can be corrected. In this way, for example, it can be prevented that braking intervention or something similar is carried out if the traffic sign is incorrectly recognized.

Weiterhin ist vorteilhaft, wenn ein Land bestimmt wird, in welchem sich das Fahrzeug aktuell befindet und die vorbestimmten Farbverteilungen spezifisch für das Land, in dem sich das Fahrzeug aktuell befindet, ausgewählt werden. Die aktuelle Position des Fahrzeugs kann beispielsweise mittels eines satellitengestützten Positionsbestimmungssystems ermittelt werden. Auf Grundlage von digitalen Kartendaten kann dann das Land bestimmt werden, in dem sich das Fahrzeug aktuell befindet. Somit können für dieses Land definierte Farbverteilungen ausgewählt werden, welche dann mit den erkannten Farbverteilungen des Verkehrszeichens verglichen werden.It is also advantageous if a country is determined in which the vehicle is currently located and the predetermined color distributions are selected specifically for the country in which the vehicle is currently located. The current position of the vehicle can be determined, for example, using a satellite-based positioning system. The country in which the vehicle is currently located can then be determined on the basis of digital map data. Color distributions defined for this country can thus be selected, which are then compared with the recognized color distributions of the traffic sign.

Wie bereits zuvor erläutert, kann beispielsweise für das Land Deutschland berücksichtigt werden, dass die relevanten Verkehrszeichen üblicherweise in der Farbverteilung eine rote Farbe aufweisen. Im Vergleich hierzu können Gefahrenzeichen in den USA in der Farbverteilung die Farbe Gelb aufweisen. Insgesamt können somit länderspezifische Varianten der Verkehrszeichen berücksichtigt werden und somit die Verkehrszeichenerkennung verbessert werden.As already explained, for example, for the country Germany it can be taken into account that the relevant traffic signs usually have a red color distribution. In comparison, danger signs in the USA can have a yellow color distribution. Overall, country-specific variants of the traffic signs can therefore be taken into account and traffic sign recognition can be improved.

In einer weiteren Ausführungsform werden unterschiedliche Teilbereiche in dem Verkehrszeichenbereich definiert und die Farbverteilung wird auf Grundlage der unterschiedlichen Teilbereiche bestimmt. Beispielsweise kann davon ausgegangen werden, dass in dem Verkehrszeichenbereich bzw. dem Verkehrszeichen ein Hintergrundbereich mit einer Hintergrundfarbe vorhanden ist. Diese Hintergrundfarbe kann in Deutschland beispielsweise der Farbe Weiß entsprechen, aber in den USA beispielsweise Gelb oder Orange sein. Zudem kann in dem Verkehrszeichen bzw. dem Verkehrszeichenbereich ein Informationsbereich als Teilbereich vorhanden sein, in dem ein Text, ein Symbol und/oder eine Zahl vorhanden ist. Beispielsweise kann die Zahl auf eine zulässige Höchstgeschwindigkeit hindeuten. Zudem kann ein Randbereich als Teilbereich vorhanden sein, der den Text bzw. die Zahl umgibt. Beispielsweise kann der Randbereich die Form eines Rahmens oder eines Rings, insbesondere eines Kreisrings, aufweisen. Alternativ oder zusätzlich kann der Randbereich auch dem Rand des Verkehrszeichens zugeordnet sein. Insbesondere in dem Randbereich kann die Farbe bzw. die Farbverteilung des Verkehrszeichens auf die Art des Verkehrszeichens hindeuten.In a further embodiment, different sub-areas are defined in the traffic sign area and the color distribution is determined based on the different sub-areas. For example, it can be assumed that a background area with a background color is present in the traffic sign area or the traffic sign. This background color can correspond to the color white in Germany, for example, but can be yellow or orange in the USA, for example. In addition, an information area can be present in the traffic sign or the traffic sign area as a sub-area in which text, a symbol and/or a number is present. For example, the number can indicate a permissible maximum speed. In addition, an edge area can be present as a sub-area that surrounds the text or the number. For example, the edge area can have the shape of a frame or a ring, in particular a circular ring. Alternatively or additionally, the edge area can also be assigned to the edge of the traffic sign. In particular in the edge area, the color or the color distribution of the traffic sign can indicate the type of traffic sign.

Beispielsweise kann in Deutschland ein Verkehrszeichen, das die zulässige Höchstgeschwindigkeit beschreibt, einen Informationsbereich aufweisen, in dem eine Zahl die zulässige Höchstgeschwindigkeit beschreibt. Dieser Informationsbereich ist von einem roten kreisringförmigen Randbereich umgeben. Im Vergleich hierzu sind beispielsweise in Schottland ähnliche Verkehrszeichen bekannt, die aber auf eine Richtgeschwindigkeit hindeuten, und die im Randbereich die Farbe Grün aufweisen. Durch die Berücksichtigung der unterschiedlichen Teilbereiche kann die Erkennung der Verkehrszeichen verbessert werden.For example, in Germany, a traffic sign that describes the maximum permitted speed can have an information area in which a number describes the maximum permitted speed. This information area is surrounded by a red circular border. In comparison, there are similar traffic signs in Scotland, for example, which indicate a recommended speed and have a green border. By taking the different sub-areas into account, the recognition of the traffic signs can be improved.

In einer weiteren Ausführungsform wird bei dem Bestimmen der Farbverteilung des Verkehrszeichens eine dominante Farbe des Verkehrszeichens bestimmt und das Plausibilisieren und/oder Korrigieren der Klassifizierung wird auf Grundlage der dominanten Farbe durchgeführt. Dabei kann die dominante Farbe diejenige Farbe in der Farbverteilung beschreiben, welche in dem Verkehrszeichenbereich am häufigsten vorhanden ist oder die größte Fläche auf dem Verkehrszeichen einnimmt. Der dominanten Farbe können auch die meisten Bildpunkte in dem Verkehrszeichenbereich zugeordnet sein. Bei der dominanten Farbe kann es sich auch um eine Hintergrundfarbe handeln.In a further embodiment, when determining the color distribution of the traffic sign, a dominant color of the traffic sign is determined and the plausibility check and/or correction of the classification is carried out on the basis of the dominant color. The dominant color can describe the color in the color distribution that is most frequently present in the traffic sign area or takes up the largest area on the traffic sign. The dominant color can also be assigned the most pixels in the traffic sign area. The dominant color can also be a background color.

Durch die Bestimmung der dominanten Farbe kann beispielsweise in den USA zwischen Gefahrenzeichen, die als dominante Farbe bzw. Hintergrundfarbe eine gelbe Farbe aufweisen, und Baustellenzeichen, die als dominante Farbe eine orange Farbe aufweisen, unterschieden werden. Auch durch die Berücksichtigung der dominanten Farbe kann die Verkehrszeichenerkennung verbessert werden.By determining the dominant color, for example, in the USA it is possible to distinguish between danger signs that have yellow as the dominant color or background color and construction site signs that have orange as the dominant color. Traffic sign recognition can also be improved by taking the dominant color into account.

Ferner ist zudem vorgesehen, dass bei der Bestimmung der Farbverteilung die Beleuchtungsverhältnisse in der Umgebung des Fahrzeugs berücksichtigt werden. Die Beleuchtungsverhältnisse können auf Grundlage der Bilddaten der Kamera und/oder mittels eines separaten Sensors bestimmt werden. Somit kann der Einfluss der Beleuchtungsverhältnisse bzw. der Sonneneinstrahlung im Bereich des Verkehrszeichens berücksichtigt werden. Auf diese Weise kann die Unterscheidung zwischen ähnlichen Farben - beispielsweise den zuvor beschriebenen Farben Gelb und Orange - verbessert werden.It is also planned that the lighting conditions in the area surrounding the vehicle are taken into account when determining the color distribution. The lighting conditions can be determined based on the image data from the camera and/or using a separate sensor. This allows the influence of the lighting conditions or the sunlight in the area of the traffic sign to be taken into account. In this way, the distinction between similar colors - for example the colors yellow and orange described above - can be improved.

In einer weiteren Ausführungsform wird die Farbverteilung des Verkehrszeichens mittels eines Verfahrens der Mustererkennung bestimmt. Grundsätzlich ist es nicht erforderlich, dass für die Bestimmung der Farbverteilung des Verkehrszeichens ein Algorithmus bzw. ein Verfahren verwendet wird, das auf Trainingsdaten basiert. Grundsätzlich kann zur Bestimmung der Farbverteilung des Verkehrszeichens ein so genannter generischer Algorithmus verwendet werden. Die Farbe bzw. die Farbverteilung des Verkehrszeichens muss also vorher nicht bekannt sein oder definiert werden. Somit kann berücksichtigt werden, dass beispielsweise nicht für alle Länder entsprechende Trainingsdaten oder eine ausreichende Menge von Trainingsdaten vorhanden sind.In a further embodiment, the color distribution of the traffic sign is determined using a pattern recognition method. In principle, it is not necessary to use an algorithm or method based on training data to determine the color distribution of the traffic sign. In principle, a so-called generic algorithm can be used to determine the color distribution of the traffic sign. The color or color distribution of the traffic sign does not have to be known or defined in advance. This allows for the fact that, for example, appropriate training data or a sufficient amount of training data is not available for all countries.

Eine erfindungsgemäße Vorrichtung zum Erkennen von Verkehrszeichen in einer Umgebung eines Fahrzeugs ist dazu eingerichtet, Bilddaten zu empfangen, wobei die Bilddaten der Umgebung des Fahrzeugs beschreiben und eine Farbinformation umfassen. Des Weiteren ist die Vorrichtung dazu eingerichtet, ein Verkehrszeichen in den Bilddaten zu erkennen. Außerdem ist die Vorrichtung dazu eingerichtet, das erkannte Verkehrszeichen zu klassifizieren, wobei die Klassifizierung auf einem zuvor durchgeführten Training mit Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben, basiert. Darüber hinaus ist die Vorrichtung dazu eingerichtet, in den Bilddaten einen Verkehrszeichenbereich zu bestimmen, welcher dem erkannten Verkehrszeichen zugeordnet ist. Des Weiteren ist die Vorrichtung dazu eingerichtet, anhand der Farbinformation der Bilddaten in dem Verkehrszeichenbereich eine Farbverteilung des Verkehrszeichens zu bestimmen. Schließlich ist die Vorrichtung dazu eingerichtet, die Klassifizierung des erkannten Verkehrszeichens anhand der bestimmten Farbverteilung zu plausibilisieren und/oder zu korrigieren.A device according to the invention for recognizing traffic signs in the surroundings of a vehicle is designed to receive image data, wherein the image data describes the surroundings of the vehicle and includes color information. Furthermore, the device is designed to recognize a traffic sign in the image data. In addition, the device is designed to classify the recognized traffic sign, wherein the classification is based on a previously carried out training with training data describing reference traffic signs. In addition, the device is designed to determine a traffic sign area in the image data that is assigned to the recognized traffic sign. Furthermore, the device is designed to determine a color distribution of the traffic sign based on the color information of the image data in the traffic sign area. Finally, the device is designed to check the plausibility of and/or correct the classification of the recognized traffic sign based on the determined color distribution.

Die Vorrichtung kann zumindest einen Prozessor, eine Recheneinheit, ein elektronisches Steuergerät oder dergleichen aufweisen. Auf der Vorrichtung kann ein entsprechendes Computerprogramm ausgeführt werden, um das erfindungsgemäße Verfahren und die vorteilhaften Ausgestaltungen durchzuführen.The device can have at least one processor, a computing unit, an electronic control unit or the like. A corresponding computer program can be executed on the device in order to carry out the method according to the invention and the advantageous embodiments.

Bevorzugt umfasst die Vorrichtung eine Klassifizierungseinheit zum Klassifizieren des erkannten Verkehrszeichens und eine Optimierungseinheit zum Plausibilisieren und/oder Korrigieren der Klassifizierung. Mit anderen Worten sollen also die zunächst durchgeführte Klassifizierung des Verkehrszeichens und die im Anschluss daran durchgeführte Plausibilisierung bzw. die Korrektur der Klassifizierung auf unterschiedlichen Instanzen ausgeführt werden. Daher weist die Vorrichtung die Klassifizierungseinheit zum Klassifizieren und die Optimierungseinheit für die semantische Optimierung auf Grundlage der Farbklassifikation auf. Die Klassifizierungseinheit kann eine Schilderklasse des Verkehrszeichens bestimmen. Die Optimierungseinheit kann eine optimierte Schilderklasse auf Basis der Farbverteilung, der ursprünglichen Schilderklasse und dem Referenzdatensatz bzw. den vorbestimmten Farbverteilungen bereitstellen. Beispielsweise kann die Klassifizierungseinheit und die Optimierungseinheit durch unterschiedliche Recheneinrichtungen, Prozessoren oder Steuergeräte bereitgestellt werden. Die Trennung der Klassifizierungseinheit und der Optimierungseinheit kann auch auf Software-Ebene bzw. Programmebene erfolgen.The device preferably comprises a classification unit for classifying the recognized traffic sign and an optimization unit for checking the plausibility and/or correcting the classification. In other words, the classification of the traffic sign that is initially carried out and the subsequent plausibility check or correction of the classification should be carried out on different instances. The device therefore has the classification unit for classifying and the optimization unit for the semantic optimization based on the color classification. The classification unit can determine a sign class of the traffic sign. The optimization unit can provide an optimized sign class based on the color distribution, the original sign class and the reference data set or the predetermined color distributions. For example, the classification unit and the optimization unit can be provided by different computing devices, processors or control units. The separation of the classification unit and the optimization unit can also take place at the software level or program level.

Ein erfindungsgemäßes Fahrzeug umfasst eine erfindungsgemäße Vorrichtung. Das Fahrzeug kann insbesondere als Personenkraftwagen ausgebildet sein. Die Informationen bezüglich der Erkennung der Verkehrszeichen kann für ein der mehrere Fahrerassistenzsysteme des Fahrzeugs genutzt werden.A vehicle according to the invention comprises a device according to the invention. The vehicle can be designed in particular as a passenger car. The information relating to the recognition of the traffic signs can be used for one of the several driver assistance systems of the vehicle.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Vorrichtung sowie das erfindungsgemäße Fahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply accordingly to the device according to the invention and the vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur jeweils in der angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures can be used not only in the combination specified, but also in other combinations or on their own, without departing from the scope of the invention.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:

  • 1 eine schematische Darstellung eines Fahrzeugs, welches eine Vorrichtung zum Erkennen von Verkehrszeichen aufweist; und
  • 2 eine Gegenüberstellung von zwei ähnlichen Verkehrszeichen.
The invention will now be explained in more detail using preferred embodiments and with reference to the accompanying drawings, in which:
  • 1 a schematic representation of a vehicle having a device for recognizing traffic signs; and
  • 2 a comparison of two similar traffic signs.

1 zeigt in einer schematischen Darstellung ein Fahrzeug 1, welches vorliegend als Personenkraftwagen ausgebildet ist, in einer Draufsicht. Das Fahrzeug 1 umfasst eine Vorrichtung 2, welche dazu dient, Verkehrszeichen 3 in einer Umgebung 4 des Fahrzeugs 1 zu erkennen. Die mittels der Vorrichtung 2 erkannten Verkehrszeichen 3 können von unterschiedlichen Fahrerassistenzsystemen des Fahrzeugs 1 genutzt werden. Beispielsweise kann die Information zu erkannten Verkehrszeichen 3, welche eine aktuell zulässige Höchstgeschwindigkeit beschreiben, von einem Fahrerassistenzsystem zur Geschwindigkeitsbegrenzung oder Längsregelung des Fahrzeugs 1 genutzt werden. 1 shows a schematic representation of a vehicle 1, which in this case is designed as a passenger car, in a top view. The vehicle 1 comprises a device 2, which serves to recognize traffic signs 3 in an environment 4 of the vehicle 1. The traffic signs 3 recognized by means of the device 2 can be used by different driver assistance systems of the vehicle 1. For example, the information on recognized traffic signs 3, which describe a currently permitted maximum speed, can be used by a driver assistance system to limit the speed or regulate the longitudinal direction of the vehicle 1.

Die Vorrichtung 2 ist mit einer Kamera 5 des Fahrzeugs 1 zur Datenübertragung verbunden. Mittels der Kamera 5 können Bilddaten bereitgestellt werden, welche die Umgebung 4 und in der Umgebung 4 vorhandene Verkehrszeichen 3 beschreiben. Die Bilddaten werden in Form von zumindest einem Farbbild bzw. einer Sequenz von Farbbildern bereitgestellt und an die Vorrichtung 2 übertragen. Dies bedeutet, dass die mit der Kamera 5 bereitgestellten Bilddaten eine Farbinformation umfassen.The device 2 is connected to a camera 5 of the vehicle 1 for data transmission. The camera 5 can be used to provide image data that describe the surroundings 4 and traffic signs 3 present in the surroundings 4. The image data are provided in the form of at least one color image or a sequence of color images and transmitted to the device 2. This means that the image data provided by the camera 5 includes color information.

Mittels der Vorrichtung 2 können in den Bilddaten Verkehrszeichen 3 erkannt werden. Hierzu können Verfahren zur Segmentierung bzw. Deep-Learning-Verfahren genutzt werden. In den Bilddaten kann dann ein Verkehrszeichenbereich definiert werden, der das aufgenommene Verkehrszeichen 3 beschreibt. Darüber hinaus umfasst die Vorrichtung 2 eine Klassifizierungseinrichtung 6, mittels welcher das in den Bilddaten erkannte Verkehrszeichen 3 klassifiziert werden kann. Bei der Klassifizierung der Verkehrszeichen 3 kann die Formgebung bzw. die Geometrie des Verkehrszeichens 3 berücksichtigt werden. Vorliegend wird in der Umgebung für das Fahrzeug 1 ein Verkehrszeichen 3 erkannt, welches eine dreieckige Form aufweist. Zudem können in dem Verkehrszeichenbereich in den Bilddaten entsprechende Kanten erkannt werden. Die Klassifizierung erfolgt auf Grundlage von Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben. Mit anderen Worten wurde der Klassifikator bzw. die Klassifikationseinheit 6 entsprechend mit Referenzdaten bzw. Trainingsdaten im Vorfeld trainiert.By means of the device 2, traffic signs 3 can be recognized in the image data. For this purpose, segmentation methods or deep learning methods can be used. A traffic sign area can then be defined in the image data, which describes the recorded traffic sign 3. In addition, the device 2 comprises a classification device 6, by means of which the traffic sign 3 recognized in the image data can be classified. When classifying the traffic signs 3, the shape or geometry of the traffic sign 3 can be taken into account. In the present case, a traffic sign 3 is recognized in the environment for the vehicle 1, which has a triangular shape. In addition, corresponding edges can be recognized in the traffic sign area in the image data. The classification is carried out on the basis of training data, which describe reference traffic signs. In other words, the classifier or classification unit 6 was trained accordingly with reference data or training data in advance.

Darüber hinaus umfasst die Vorrichtung 2 eine Optimierungseinheit 7, mittels welcher die bereits durchgeführte Klassifizierung des Verkehrszeichens 3 plausibilisiert und/oder korrigiert werden kann. Innerhalb der Optimierungseinheit 7 kann eine Farbverteilung des Verkehrszeichens 3 bestimmt werden. Hierzu werden die Farbinformationen in den Bilddaten genutzt, die den Verkehrszeichenbereich beschreiben. Auf Grundlage dieser erkannten Farbverteilung des Verkehrszeichens 3 kann dann die Klassifizierung plausibilisiert oder korrigiert werden.In addition, the device 2 comprises an optimization unit 7, by means of which the already performed classification of the traffic sign 3 can be checked for plausibility and/or corrected. A color distribution of the traffic sign 3 can be determined within the optimization unit 7. For this purpose, the color information in the image data that describes the traffic sign area is used. The classification can then be checked for plausibility or corrected on the basis of this recognized color distribution of the traffic sign 3.

Die Vorrichtung 2 ist zudem mit einer Speichereinheit 8 verbunden, auf welcher vorbestimmte Farbverteilungen hinterlegt sind. Mit diesen vorbestimmten Farbverteilungen kann die in den Bilddaten erkannte Farbverteilung des Verkehrszeichens 3 verglichen werden. Alternativ dazu können die vorbestimmten Farbverteilungen von einer externen Einrichtung, beispielsweise einem Server oder einem Backend, abgerufen werden.The device 2 is also connected to a storage unit 8 on which predetermined color distributions are stored. The color distribution of the traffic sign 3 recognized in the image data can be compared with these predetermined color distributions. Alternatively, the predetermined color distributions can be retrieved from an external device, for example a server or a backend.

2 zeigt im oberen Bereich ein erstes Verkehrszeichen 3, welches dem Verkehrszeichen „Vorfahrt gewähren“ in Deutschland entspricht. In dem unteren Bereich von 2 ist das Verkehrszeichen „Landschaftsschutzgebiet“ aus Deutschland dargestellt. Diese beiden Verkehrszeichen 3 können bei der Erkennung des Verkehrszeichens mittels der Vorrichtung - wie in 1 dargestellt - miteinander verwechselt werden. Um einen Fehler bei der Klassifizierung zu vermeiden, wird mittels der Vorrichtung 2 bzw. der Optimierungseinheit 7 der Vorrichtung die Farbverteilung des Verkehrszeichens ermittelt. 2 shows in the upper part a first traffic sign 3, which corresponds to the traffic sign “Give way” in Germany. In the lower part of 2 The traffic sign “Landscape Protection Area” from Germany is shown. These two traffic signs 3 can be identified by the device as shown in 1 shown - can be confused with each other. In order to avoid an error in classification, the color distribution of the traffic sign is determined by means of the device 2 or the optimization unit 7 of the device.

Bei dem Verkehrszeichen „Vorfahrt gewähren“ kann in einem Teilbereich bzw. Randbereich 9 die Farbe Rot (vorliegend dargestellt durch die erste Schraffur 10) erkannt werden. Im Vergleich hierzu kann bei dem Verkehrszeichen „Landschaftsschutzgebiet“ in dem Randbereich 9 die Farbe Grün (vorliegend gekennzeichnet durch die zweite Schraffur 11) erkannt werden. Wenn nun bei der Klassifizierung mittels der Klassifizierungseinheit 6 zunächst das Schild als das Verkehrszeichen „Vorfahrt gewähren“ erkannt wird, und bei der Bestimmung der Farbverteilung mittels der Optimierungseinheit 7 die Farbe Rot in dem Randbereich 9 erkannt wird, kann diese Klassifizierung plausibilisiert werden. Wenn allerdings bei der Bestimmung der Farbverteilung die Farbe Grün in dem Randbereich 9 erkannt wird, kann die zunächst durchgeführte Klassifizierung korrigiert werden bzw. widerrufen werden, da es sich mit hoher Wahrscheinlichkeit nicht um das Verkehrszeichen „Vorfahrt gewähren“, sondern um das Verkehrszeichen „Landschaftsschutzgebiet“ handelt. For the “Give way” traffic sign, the color red (here shown by the first hatching 10) can be recognized in a partial area or edge area 9. In comparison, for the “Landscape conservation area” traffic sign, the color green (here shown by the second hatching 11) can be recognized in the edge area 9. If the sign is initially recognized as the “Give way” traffic sign during classification using the classification unit 6, and the color red is recognized in the edge area 9 when determining the color distribution using the optimization unit 7, this classification can be checked for plausibility. However, if the color green is recognized in the edge area 9 when determining the color distribution, the initial classification can be corrected or revoked, since it is highly likely that it is not the “Give way” traffic sign, but the “Landscape conservation area” traffic sign.

Bei der Bestimmung der Farbverteilung können in den Verkehrszeichen 3 bzw. den korrespondierenden Verkehrszeichenbereichen in den Bilddaten auch andere Teilbereiche untersucht werden. Beispielsweise kann als Teilbereich ein Hintergrundbereich 12 mit einer eine Hintergrundfarbe berücksichtigt werden. Als weiterer Teilbereich kann auch ein Informationsbereich 15, der beispielhaft in dem Verkehrszeichen „Landschaftsschutzgebiet“ einen Text 13 und ein Symbol 14 umfasst, berücksichtigt werden.When determining the color distribution, other sub-areas can also be examined in the traffic signs 3 or the corresponding traffic sign areas in the image data. For example, a background area 12 with a background color can be considered as a sub-area. Another sub-area can also be an information area 15 which, for example in the traffic sign “Landscape Protection Area”, comprises a text 13 and a symbol 14, must be taken into account.

Bevorzugt kann zudem die aktuelle Position des Fahrzeugs 1 ermittelt werden. Hierzu kann ein satellitengestütztes Positionsbestimmungssystem und/oder digitale Kartendaten genutzt werden. Hierbei ist insbesondere vorgesehen, dass die vorbestimmten Farbverteilungen, welche zum Vergleich mit der bestimmten Farbverteilung des erfassten Verkehrszeichens 3 verglichen werden, länderspezifisch von der Speichereinheit 8 abgerufen werden. Auf diese Weise können länderspezifische Besonderheiten der Verkehrszeichen 3 berücksichtigt werden.Preferably, the current position of the vehicle 1 can also be determined. A satellite-based positioning system and/or digital map data can be used for this purpose. In particular, it is provided that the predetermined color distributions, which are compared with the specific color distribution of the detected traffic sign 3, are retrieved from the storage unit 8 on a country-specific basis. In this way, country-specific features of the traffic signs 3 can be taken into account.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012023022 A1 [0005]DE 102012023022 A1 [0005]

Claims (9)

Verfahren zum Erkennen von Verkehrszeichen (3) in einer Umgebung (4) eines Fahrzeugs (1) mit den Schritten: - Empfangen von Bilddaten, wobei die Bilddaten die Umgebung (4) des Fahrzeugs (1) beschreiben und wobei die Bilddaten Farbinformationen umfassen, - Erkennen eines Verkehrszeichens (3) in den Bilddaten, - Klassifizierung des erkannten Verkehrszeichens (3), wobei die Klassifizierung auf einem zuvor durchgeführten Training mit Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben, basiert, dadurch gekennzeichnet, dass - in den Bilddaten ein Verkehrszeichenbereich bestimmt wird, welcher dem erkannten Verkehrszeichen (3) zugeordnet wird, - anhand der Farbinformationen der Bilddaten in dem Verkehrszeichenbereich eine Farbverteilung des Verkehrszeichens (3) bestimmt wird und - die Klassifizierung des erkannten Verkehrszeichens (3) anhand der bestimmten Farbverteilung plausibilisiert und/oder korrigiert wird.Method for recognizing traffic signs (3) in an environment (4) of a vehicle (1), comprising the steps of: - receiving image data, wherein the image data describe the environment (4) of the vehicle (1) and wherein the image data comprise color information, - recognizing a traffic sign (3) in the image data, - classifying the recognized traffic sign (3), wherein the classification is based on a previously carried out training with training data describing reference traffic signs, characterized in that - a traffic sign area is determined in the image data, which is assigned to the recognized traffic sign (3), - a color distribution of the traffic sign (3) is determined based on the color information of the image data in the traffic sign area, and - the classification of the recognized traffic sign (3) is checked for plausibility and/or corrected based on the determined color distribution. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Farbverteilung des erkannten Verkehrszeichens (3) zum Plausibilisieren und/oder Korrigieren der Klassifizierung mit vorbestimmten Farbverteilungen verglichen wird.Procedure according to Claim 1 , characterized in that the color distribution of the recognized traffic sign (3) is compared with predetermined color distributions for checking the plausibility and/or correcting the classification. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Land bestimmt wird, in welchem sich das Fahrzeug (1) aktuell befindet, und die vorbestimmten Farbverteilungen spezifisch für das Land, in dem sich das Fahrzeug (1) aktuell befindet, ausgewählt werden.Procedure according to Claim 2 , characterized in that a country is determined in which the vehicle (1) is currently located, and the predetermined color distributions are selected specifically for the country in which the vehicle (1) is currently located. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass unterschiedliche Teilbereiche (9, 12, 15) in dem Verkehrszeichenbereich definiert werden und die Farbverteilung auf Grundlage der unterschiedlichen Teilbereiche (9, 12, 15) bestimmt wird.Method according to one of the preceding claims, characterized in that different sub-areas (9, 12, 15) are defined in the traffic sign area and the color distribution is determined on the basis of the different sub-areas (9, 12, 15). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Bestimmen der Farbverteilung des Verkehrszeichens (3) eine dominante Farbe des Verkehrszeichens (3) bestimmt wird und Plausibilisieren und/oder Korrigieren der Klassifizierung auf Grundlage der dominanten Farbe durchgeführt wird.Method according to one of the preceding claims, characterized in that when determining the color distribution of the traffic sign (3), a dominant color of the traffic sign (3) is determined and plausibility checking and/or correction of the classification is carried out on the basis of the dominant color. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Farbverteilung des Verkehrszeichens (3) mittels eines Verfahrens der Mustererkennung bestimmt wird.Method according to one of the preceding claims, characterized in that the color distribution of the traffic sign (3) is determined by means of a pattern recognition method. Vorrichtung (2) zum Erkennen von Verkehrszeichen (3) in einer Umgebung (4) eines Fahrzeugs (1), wobei die Vorrichtung (2) dazu eingerichtet ist: - Bilddaten zu empfangen, wobei die Bilddaten die Umgebung (4) des Fahrzeugs (1) beschreiben und wobei die Bilddaten Farbinformationen umfassen, - ein Verkehrszeichen (3) in den Bilddaten zu erkennen, - das erkannte Verkehrszeichen (3) zu klassifizieren, wobei die Klassifizierung auf einem zuvor durchgeführten Training mit Trainingsdaten, welche Referenz-Verkehrszeichen beschreiben, basiert, dadurch gekennzeichnet, dass die Vorrichtung (2) ferner dazu eingerichtet ist: - in den Bilddaten einen Verkehrszeichenbereich zu bestimmen, welcher dem erkannten Verkehrszeichen (3) zugeordnet ist, - anhand der Farbinformationen der Bilddaten in dem Verkehrszeichenbereich eine Farbverteilung des Verkehrszeichens (3) zu bestimmen und - die Klassifizierung des erkannten Verkehrszeichens (3) anhand der bestimmten Farbverteilung zu plausibilisieren und/oder zu korrigieren.Device (2) for recognizing traffic signs (3) in an environment (4) of a vehicle (1), wherein the device (2) is set up to: - receive image data, wherein the image data describes the environment (4) of the vehicle (1) and wherein the image data comprises color information, - recognize a traffic sign (3) in the image data, - classify the recognized traffic sign (3), wherein the classification is based on a previously carried out training with training data which describes reference traffic signs, characterized in that the device (2) is further set up to: - determine a traffic sign area in the image data which is assigned to the recognized traffic sign (3), - determine a color distribution of the traffic sign (3) based on the color information of the image data in the traffic sign area, and - check the plausibility of and/or correct the classification of the recognized traffic sign (3) based on the determined color distribution. Vorrichtung (2) nach Anspruch 7, dadurch gekennzeichnet, dass die Vorrichtung (2) eine Klassifizierungseinheit (6) zum Klassifizieren des erkannten Verkehrszeichens (3) und eine Optimierungseinheit (7) zu Plausibilisieren und/oder Korrigieren der Klassifizierung aufweist.Device (2) according to Claim 7 , characterized in that the device (2) has a classification unit (6) for classifying the recognized traffic sign (3) and an optimization unit (7) for checking the plausibility and/or correcting the classification. Fahrzeug (1), insbesondere Personenkraftwagen, umfassend eine Vorrichtung (2) nach Anspruch 7 oder 8.Vehicle (1), in particular passenger car, comprising a device (2) according to Claim 7 or 8th .
DE102022125693.6A 2022-10-05 2022-10-05 Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle Pending DE102022125693A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022125693.6A DE102022125693A1 (en) 2022-10-05 2022-10-05 Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022125693.6A DE102022125693A1 (en) 2022-10-05 2022-10-05 Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle

Publications (1)

Publication Number Publication Date
DE102022125693A1 true DE102022125693A1 (en) 2024-04-11

Family

ID=90355119

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022125693.6A Pending DE102022125693A1 (en) 2022-10-05 2022-10-05 Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle

Country Status (1)

Country Link
DE (1) DE102022125693A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012023022A1 (en) 2012-11-26 2014-05-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for detecting traffic sign in image data used in motor vehicle, involves applying classifier to segmented image data to recognize object as a specific traffic sign, when probability value is greater than predetermined threshold
EP2179381B1 (en) 2007-07-24 2015-06-24 Hella KGaA Hueck & Co. Method and apparatus for recognizing traffic signs
US20160034769A1 (en) 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
CN107784042B (en) 2016-08-31 2021-02-05 阿里巴巴（中国）有限公司 Object matching method and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2179381B1 (en) 2007-07-24 2015-06-24 Hella KGaA Hueck & Co. Method and apparatus for recognizing traffic signs
DE102012023022A1 (en) 2012-11-26 2014-05-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for detecting traffic sign in image data used in motor vehicle, involves applying classifier to segmented image data to recognize object as a specific traffic sign, when probability value is greater than predetermined threshold
US20160034769A1 (en) 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
CN107784042B (en) 2016-08-31 2021-02-05 阿里巴巴（中国）有限公司 Object matching method and device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ORUKLU, E., et al.: Real-time traffic sign detection and recognition for in-car driver assistance systems. In: 2012 IEEE 55th International Midwest Symposium on Circuits and Systems (MWSCAS). IEEE, 2012. S. 976-979. doi: 10.1109/MWSCAS.2012.6292185
RUTA, A., Li, Y., Liu, X.: Real-time traffic sign recognition from video by class-specific discriminative features. In: Pattern Recognition, 2010, 43. Jg., Nr. 1, S. 416-430. doi: 10.1016/j.patcog.2009.05.018

Similar Documents

Publication Publication Date Title
DE102016003424B4 (en) Method and device for recognizing traffic signs
EP2483836B1 (en) Method for traffic sign recognition
DE102019125707A1 (en) Method and device for computer-assisted or autonomous driving traffic sign recognition
DE102012107886A1 (en) Method for the electronic detection of traffic signs
DE102020210515A1 (en) Method for checking detected changes for an environment model of a digital environment map
DE102012221159A1 (en) Method and device for detecting variable message signs
DE102012022486A1 (en) Method for operating driver assistance system of passenger car, involves determining potential hazard due to change of lane by recognition of vehicle in lane, and providing mark in captured portion of image based on potential hazard
DE102016212702A1 (en) Method and device for changing at least one driving parameter of a vehicle during a journey
DE102016120066A1 (en) A computer implemented method for controlling an object recognition system
DE102016223581A1 (en) Device and method for checking a functionality of a sensor
DE102016225631A1 (en) Method and device for removing at least one landmark position of a landmark in a radar map
DE102011005780A1 (en) Method for determining distance between vehicle and object, involves using displayed size of imaged component of object and reference size of imaged component of object
DE102022125693A1 (en) Method and device for recognizing traffic signs in the environment of a vehicle taking into account a color distribution and vehicle
DE102012201454A1 (en) Object recognition device for use in vehicle to recognize e.g. highway sign, has alignment object restriction unit excluding alignment objects that correspond to recognized and stored object from being used in pattern alignment
DE102012219595A1 (en) Method for updating a data set of a navigation database and method for checking a data record of a navigation database
DE102016225349A1 (en) Method for checking the validity of image data
WO2021122339A1 (en) Method and device for making a neural network more robust in relation to adversarial disruptions
DE102019108722A1 (en) Video processing for machine learning
DE102019103192A1 (en) Method for generating training data for a digital, adaptive camera system
DE102022201659B3 (en) Vehicle system and method for assigning traffic lights to lanes
DE102017214666A1 (en) Method and device for estimating a self-motion of a vehicle
DE102021213097B3 (en) Method for classifying objects in an image showing the road ahead of a motor vehicle
DE102019214143B3 (en) Method for detecting a traffic map change with classifiers
DE102017214731A1 (en) Method and device for determining a highly accurate position and for operating an automated vehicle
DE102017211819A1 (en) Method and device for controlling a driver assistance system of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified