DE102015207903A1

DE102015207903A1 - Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem

Info

Publication number: DE102015207903A1
Application number: DE102015207903.1A
Authority: DE
Inventors: Jochen ABHAU; Axel Panning
Original assignee: Mando Corp
Current assignee: HL Klemove Corp
Priority date: 2015-04-29
Filing date: 2015-04-29
Publication date: 2016-11-03
Also published as: US9805277B2; KR101772438B1; US20160321510A1; KR20160128930A

Abstract

Es werden eine Vorrichtung und ein Verfahren zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem offenbart. Das Verfahren kann enthalten: einen Verkehrszeichen-Erfassungsschritt des Erfassens eines Verkehrszeichens aus Bildinformationen enthaltend das Verkehrszeichen; einen Erkennungsbereichs-Setzschritt des Setzens eines Erkennungsbereichs auf einem durch den Verkehrszeichen-Erfassungsschritt erfassten Verkehrszeichen; einen Hauptkomponentenanalyse(PCA)-Operationsverarbeitungsschritt des Anwendens eines PCA-Algorithmus auf alle Pixel in dem durch den Erkennungsbereich-Setzschritt gesetzten Erkennungsbereich, und des Bestimmens eines Eigenvektors; und einen Zeichenbestimmungsschritt des Bestimmens eines Winkels ”α” des Eigenvektors, des Vergleichens einer Abweichung ”d” des bestimmten Winkels mit einem Schwellenwert ”Pt”, und des Bestimmens, ob eine Entsprechung mit einem Zeichen von einem Balkentyp vorliegt.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf ein Verfahren und eine Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem, und insbesondere auf ein Verkehrszeichen-Erkennungssystem und -verfahren zum effektiven Erfassen eines Verkehrszeichens vom Balkentyp, beispielsweise eines Zeichens zum Beenden einer Geschwindigkeitsbeschränkung, unter Verwendung einer Analyse der Hauptkomponenten (PCA).
Beschreibung des Standes der Technik
In jüngerer Zeit wurden zur Bequemlichkeit eines Fahrers verschiedene Funktionen unter Verwendung einer Frontkamera eines Fahrzeugs entwickelt. Beispielsweise gibt es Funktionen zum Warnen vor dem Verlassen einer Fahrspur, zur Fahrzeug-Kollisionserfassung und dergleichen, und weiterhin enthält eine Frontkamera eines Fahrzeugs einen Verkehrszeichen-Erkennungsalgorithmus zum Erkennen eines an einer Straße, entlang der ein Fahrzeug fährt, aufgestellten Verkehrszeichens, und zum Übermitteln von Informationen über das entsprechende Verkehrszeichen an den Fahrer.
Genauer gesagt, eine Verkehrszeichenerkennungs(TSR)-Technik zum automatischen Erkennen eines vorderen Geschwindigkeitszeichens unter Verwendung einer Frontkamera und des Lieferns von Geschwindigkeitsbeschränkungsinformationen zu einem Fahrer wird gegenwärtig allgemein verwendet. Der herkömmliche Geschwindigkeitszeichen-Erkennungsalgorithmus hat ein allgemeines Erkennungsvermögen des Erfassens eines Bereichs, in welchem ein Verkehrszeichen existiert, unter Verwendung eines Mustererkennungsalgorithmus mit Bezug auf ein Basisbild, des Erkennens von Inhalten des entsprechenden Verkehrszeichens in dem erfassten Bereich, und des Benachrichtigens eines Fahrers von dem auf dem entsprechenden Verkehrszeichen ausgedrückten Inhalt, wenn ein fahrendes Fahrzeug das entsprechende Verkehrszeichen passiert.
Jedoch treten häufig Fehler aufgrund einer ungenauen Erkennung des Inhalts, d. h., einer Zahl, einer Linie oder dergleichen, der auf einem Verkehrszeichen ausgedrückt wird, auf. Somit ist ein genauerer Verkehrszeichen-Erkennungsalgorithmus erforderlich.
[Dokument des Standes der Technik]
[Patentdokument]

WO 2013-052812 A1 (Veröffentlicht am 11. April 2013).

ZUSAMMENFASSUNG DER ERFINDUNG
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum genauen Erfassen eines Zeichens vom Balkentyp, das in einer diagonalen Richtung geneigt ist, vorzusehen, durch Verfolgen eines Verkehrszeichens, das aufeinanderfolgend in einem Bild erscheint, und Verwenden einer Analyse einer Hauptkomponente (PCA) mit Bezug auf das Bild, das durch Fotografieren eines Zeichens vom Balkentyp in dem Bereich vor einem Fahrzeug unter Verwendung einer an der Vorderseites des Fahrzeugs befestigten Kamera erhalten wird.
Gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem vorgesehen, wobei das Verfahren enthält: einen Verkehrszeichen-Erfassungsschritt des Erfassens eines Verkehrszeichens anhand von das Verkehrszeichen enthaltenden Bildinformationen; einen Erkennungsbereich-Setzschritt des Setzens eines Erkennungsbereichs für das durch den Verkehrszeichen-Erfassungsschritt erfasste Verkehrszeichen; einen Hauptkomponentenanalyse(PCA)-Operationsverarbeitungsschritt des Anwendens eines PCA-Algorithmus auf alle Pixel in dem Erkennungsbereich, der durch den Erkennungsbereich-Setzschritt gesetzt wurde, und des Bestimmens eines Eigenvektors; und einen Zeichenbestimmungsschritt des Bestimmens eines Winkels des Eigenvektors, des Vergleichens einer Abweichung des bestimmten Winkels mit einem Schwellenwert, und des Bestimmens, ob einem Zeichen vom Balkentyp entsprochen wird.
Hier kann in dem Erkennungsbereich-Setzschritt ein rechteckiger Erkennungsbereich für das erfasste Verkehrszeichen gesetzt werden.
Der PCA-Operationsverarbeitungsschritt kann die Schritte enthalten: Binärisieren aller Pixel in dem Erkennungsbereich; Berechnen eines Mittelvektors der binärisierten Pixel; Berechnen einer Kovarianzmatrix auf der Grundlage des Mittelvektorwerts; und Berechnen eines Eigenvektors der Kovarianzmatrix.
Der Zeichenbestimmungsschritt kann die Schritte enthalten: Bestimmen eines Winkels ”α” des Eigenvektors; Berechnen einer Abweichung ”d” des bestimmten Winkels ”α”; und Bestimmen eines Zeichens vom Balkentyp durch Vergleichen der Abweichung ”d” des Winkels ”α” mit einem Schwellenwert ”Pt”.
Hier kann die Abweichung ”d” des Winkels ”α” durch die Gleichung d = |α – 45°| berechnet werden, wobei, wenn die Abweichung ”d” kleiner als der Schwellenwert ”Pt” ist der gesetzt wurde, um ein Zeichen für die Beendigung der Geschwindigkeitsbeschränkung zu erfassen, ein entsprechendes Zeichen als ein Zeichen zur Beendigung der Geschwindigkeitsbeschränkung bestimmt werden kann.
Zusätzlich kann das Verfahren die Schritte enthalten: Bestimmen eines Zeichens vom Balkentyp gemäß einem Differenzbereich zwischen der Abweichung ”d” und dem Schwellenwert ”Pt”; und Bestimmen eines Verkehrszeichens entsprechend einem Zeichen vom Balkentyp, das einem Differenzbereich zwischen jeder Abweichung ”d” und dem Schwellenwert ”Pt” entspricht.
Der Zeichenbestimmungsschritt kann die Schritte enthalten: Empfangen von Frontbildinformationen eines Fahrzeugs, das durch eine Frontkamera fotografiert wurde; Erfassen eines Verkehrszeichens anhand der Frontbildinformationen unter Verwendung einer Objekterfassung; und Verfolgen eines Verkehrszeichens, das aufeinanderfolgend in den Frontbildinformationen erscheint, und Eliminieren eines falsch erkannten Objekts.
Zusätzlich kann der Zeichenbestimmungsschritt einen Schritt des Ausgebens eines Verkehrszeichens entsprechend einem Zeichen vom Balkentyp enthalten, wenn ein Zeichen als das Zeichen vom Balkentyp bestimmt ist.
Gemäß einem anderen Aspekt der vorliegenden Erfindung ist eine Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem vorgesehen, wobei die Vorrichtung enthalten kann: eine Verkehrszeichen-Erfassungseinheit zum Empfangen von Bildinformationen enthaltend ein Verkehrszeichen von einem Kameramodul und zum Erfassen eines Verkehrszeichens anhand der Bildinformationen; eine Erkennungsbereichs-Setzeinheit zum Setzen eines Erkennungsbereichs für die Erfassung eines Zeichens vom Balkentyp auf dem von der Verkehrszeichen-Erfassungseinheit erfassten Verkehrszeichen; eine PCA-Operationsverarbeitungseinheit zum Verwenden eines PCA-Algorithmus für alle Pixel in dem von der Erkennungsbereich-Setzeinheit gesetzten Erkennungsbereich, und zum Bestimmen eines Eigenvektors; und eine Zeichenbestimmungseinheit zum Bestimmen einer Abweichung eines Winkels von dem Winkel des Eigenvektors, zum Vergleichen der Abweichung mit einem Schwellenwert, und zum Bestimmen, ob das Verkehrszeichen einem Zeichen vom Balkentyp entspricht.
Zusätzlich kann die PCA-Operationsverarbeitungseinheit enthalten: eine Pixelumwandlungseinheit zum Umwandeln sämtlicher Pixel in dem Erkennungsbereich in invertierte, binärisierte oder normierte Farbkoordinaten; und eine Operationseinheit zum Berechnen eines Mittelvektors der umgewandelten Pixel, zum Berechnen einer Kovarianzmatrix auf der Grundlage des Mittelvektorwerts, und zum Berechnen eines Eigenvektors.
Zusätzlich kann die Zeichenbestimmungseinheit enthalten: eine Abweichungsberechnungseinheit zum Bestimmen des Winkels des Eigenvektors und zum Berechnen der Abweichung des bestimmten Winkels; und eine Bestimmungseinheit des Zeichens vom Balkentyp zum Vergleichen der Abweichung des Winkels mit dem Schwellenwert und zum Bestimmen eines Zeichens vom Balkentyp.
Die Abweichungsberechnungseinheit kann die Abweichung ”d” durch d = |α – 45°| berechnen (worin ”d” eine Abweichung darstellt, und ”α” einen Winkel eines Eigenvektors darstellt); wobei, wenn die Abweichung ”d” kleiner als ein Schwellenwert ”Pt” ist, der voreingestellt ist, um ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung zu bestimmen, die Bestimmungseinheit des Zeichens vom Balkentyp bestimmen kann, das ein entsprechendes Zeichen einem Zeichen zur Beendigung einer Geschwindigkeitsbeschränkung entspricht.
Zusätzlich kann die Vorrichtung eine Zeichenausgabeeinheit zum Ausgeben eines Verkehrszeichens entsprechend einem bestimmten Zeichen vom Balkentyp, wenn die Zeichenbestimmungseinheit ein Zeichen als ein Zeichen vom Balkentyp bestimmt hat, enthalten.
Zusätzlich bestimmt die Zeichenbestimmungseinheit die Bedeutung eines Zeichens vom Balkentyp gemäß dem Differenzbereich zwischen einer Abweichung und dem Schwellenwert, und die Vorrichtung kann zusätzlich eine Datenbank zum Speichern von Verkehrszeichen entsprechend Zeichen vom Balkentyp, die den jeweiligen Differenzbereichen zwischen den jeweiligen Abweichungen und dem Schwellenwert entsprechen, enthalten.
Zusätzlich kann die Verkehrszeichen-Erfassungseinheit so konfiguriert sein, dass sie ein Verkehrszeichen anhand der Bildinformationen unter Verwendung einer Objekterfassung erfasst, um ein Verkehrszeichen, das aufeinanderfolgend in den Bildinformationen erscheint, zu verfolgen und ein falsch erkanntes Objekt zu eliminieren.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorgenannten und andere Aufgaben, Merkmale und andere Vorteile der vorliegenden Erfindung werden besser verständlich anhand der folgenden detaillierten Beschreibung, die in Verbindung mit den begleitenden Zeichnungen gegeben wird, in denen:
1 ein Funktionsblockdiagramm ist, das die Konfiguration einer Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert;
2 ein Funktionsblockdiagramm ist, das die Konfiguration einer PCA-Operationsverarbeitungseinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert;
3 ein Funktionsblockdiagramm ist, das die Konfiguration einer Zeichenbestimmungseinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert;
4 eine Ansicht ist, die ein Verkehrszeichen illustriert, in welchem ein Erkennungsbereich gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gesetzt ist;
5 eine Ansicht ist, die durch Invertieren des in 4 illustrierten Verkehrszeichens erhalten wurde;
6 eine Ansicht ist, die einen Vorgang des Durchführens der Bestimmung eines Zeichens vom Balkentyp durch Vergleich mit einem Schwellenwert gemäß einem Ausführungsbeispiel der vorliegenden Erfindung erläutert;
7 ein Flussdiagramm ist, das ein Verfahren zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert;
8 ein Flussdiagramm ist, das ein Verfahren zum Bestimmen eines Zeichens vom Balkentyp durch einen PCA-Algorithmus gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert; und
9 eine Ansicht ist, die Verkehrszeichen vom Balkentyp gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
BESCHREIBUNG VON SPEZIFISCHEN AUSFÜHRUNGSBEISPIELEN
Da die vorliegende Erfindung verschiedene Änderungen vornehmen und verschiedene Formen haben kann, ist beabsichtigt, in den Zeichnungen spezifische Ausführungsbeispiele zu illustrieren und sie im Einzelnen zu beschreiben. Jedoch ist darauf hinzuweisen, dass hierdurch nicht beabsichtigt ist, die vorliegende Erfindung auf spezifische offenbarte Formen zu beschränken, sondern alle Änderungen, Äquivalente und Ersetzungen, die in den Geist und den technischen Bereich der vorliegenden Erfindung fallen, einzubeziehen.
Ein Erkennungssystem und -verfahren für ein Geschwindigkeitsbeschränkungszeichen unter Verwendung einer Frontkamera gemäß Ausführungsbeispielen der vorliegenden Erfindung werden nachfolgend im Einzelnen unter Bezugnahme auf die begleitenden Zeichnungen beschrieben. In den begleitenden Zeichnungen haben dieselben oder entsprechende Elemente dieselben zugeteilten Bezugszahlen, und deren Beschreibung wird nicht wiederholt.
1 ist ein Funktionsblockdiagramm, das die Konfiguration einer Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
Wie in 1 illustriert ist, kann gemäß einem Ausführungsbeispiel der vorliegenden Erfindung eine Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem enthalten: eine Verkehrszeichen-Erfassungseinheit 100, eine Erkennungsbereichs-Setzeinheit 200, eine Hauptkomponentenanalyse(PCA)-Operationsverarbeitungseinheit 300, eine Zeichenbestimmungseinheit 400, eine Zeichenausgabeeinheit 500 und eine Datenbank 600.
Die Verkehrszeichen-Erfassungseinheit 100 kann ein Bild in der Bewegungsrichtung eines Fahrzeugs empfangen, das durch eine an dem Fahrzeug befestigte Kamera erworben wurde, und kann ein Verkehrszeichen aus Bildinformationen erfassen.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung kann die Verkehrszeichen-Erfassungseinheit 100 eine Erfassungsoperation für ein Verkehrszeichen unter Verwendung eines auf Haar-Feature basierenden Viola-Jones Adaptive Boosting (Adaboost)-Algorithmus durchführen, der für eine Objekterfassung verwendet wird.
Hier enthält der Adaptive Boosting-Algorithmus mehrere starke Klassifizierer mit einer Kaskadenstruktur und ermöglicht, zu identifizieren, ob ein eingegebenes Bild einem ”Verkehrszeichen” oder einem ”Nichtverkehrszeichen” entspricht.
Zusätzlich enthält der Adaptive Boosting-Algorithmus: einen Verkehrszeichen-Trainingsschritt (Probentraining) des Trainierens der Verkehrszeichen-Erfassungseinheit 100 unter Verwendung eines Verkehrszeichenbilds (positive Probe), die ein tatsächliches zu erkennendes Ziel ist, und eines Nichtverkehrszeichenbilds (negative Probe); und einen Abtastfenster-Prüfschritt des Bestimmens, ob ein Subfenster, das unter Verwendung eines Abtastfenster-Suchschemas mit Bezug auf einen interessierenden Bereich (ROI) eines Frontbilds empfangen wird, einem tatsächlichen ”Verkehrszeichen” oder einem ”Nichtverkehrszeichen” entspricht.
Zusätzlich wird das Verkehrszeichenbild (positive Probe) durch Hinzufügen von einem oder zwei Randpixeln zu einem herausgezogenen Bild und dann Normieren des sich ergebenden Bilds in eine Größe von 20 × 20 erhalten, und das Nichtverkehrszeichenbild (negative Probe) wird zufällig aus einem Bild, das kein Verkehrszeichen enthält, herausgezogen. Zusätzlich kann die Verkehrszeichen-Erfassungseinheit 100 mit Verkehrszeichenbildern (positive Proben) und Nichtverkehrszeichenbildern (negative Proben), deren Anzahl in einem Verhältnis von 1:2 ist, trainiert werden.
Zusätzlich kann die Verkehrszeichen-Erfassungseinheit 100 einen horizontalen Detektor und einen vertikalen Detektor enthalten. Der horizontale Detektor kann nur für einen Teil trainiert sein, der durch 20 horizontale und 10 vertikale innerhalb eines in eine Größe von 20 × 20 normierten Bilds gebildet ist, und der vertikale Detektor kann nur für einen Teil trainiert sein, der durch 10 horizontale und 20 vertikale innerhalb eines in eine Größe von 20 × 20 normierten Bilds gebildet ist.
Die Verkehrszeichen-Erfassungseinheit 100 kann einen Bereich, in welchem der horizontale Detektor und der vertikale Detektor einander überlappen, als einen tatsächlichen ”Verkehrszeichen”-Bereich erfassen.
Zusätzlich kann die Verkehrszeichen-Erfassungseinheit 100 eine Verfolgungseinheit (nicht gezeigt) enthalten. Die Verfolgungseinheit kann ein Verkehrszeichen, das aufeinanderfolgend in Frontbildern erscheint, verfolgen und ein vorübergehend falsch erkanntes Objekt eliminieren.
Zusätzlich kann die Verfolgungseinheit ein Verkehrszeichen gemäß einem Schablonenvergleich verfolgen, das Innere eines Verkehrszeichens, das in einem Bild der Zeit ”t” erkannt wurde, als eine Schablone setzen, einen interessierenden Bereich (ROI) in einem Bild der Zeit ”t + 1” auf der Grundlage der Bewegungsgeschwindigkeit des entsprechenden Fahrzeugs beschränken, den Verfolgungsinhalt aktualisieren, wenn ein Verkehrszeichen in dem beschränkten interessierenden Bereich existiert, und einen vorhergehenden Zustand aufrechterhalten, wenn ein Verkehrszeichen nicht darin existiert.
Die Erkennungsbereich-Setzeinheit 200 kann einen Erkennungsbereich mit Bezug auf ein Verkehrszeichen setzen, das von der Verkehrszeichen-Erfassungseinheit 100 erfasst wurde.
Die Erkennungsbereich-Setzeinheit 200 kann einen Erkennungsbereich innerhalb eines Verkehrszeichens setzen, z. B. einen Erkennungsbereich mit einer rechteckigen Form.
4 ist eine Ansicht, die ein Verkehrszeichen illustriert, in welchem ein Erkennungsbereich 40 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung gesetzt ist.
4 zeigt ein Verkehrszeichen 10 vom Balkentyp, das von der Verkehrszeichen-Erfassungseinheit 100 erfasst wurde, und illustriert ein Zeichen 10 für die Beendigung einer Geschwindigkeitsbeschränkung.
Das Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung hat die Bedeutung, dass die Fahrgeschwindigkeiten von Fahrzeugen auf einer Autobahn nicht beschränkt sind. 9 illustriert Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung, die in verschiedenen Ländern verwendet werden.
Gemäß 9 werden entsprechend den Ländern Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung mit gegenseitig leicht unterschiedlichen Zeichengestaltungen verwendet, aber es werden gemeinsam Markierungen vom Balkentyp verwendet. Genauer gesagt, die Verkehrszeichen zeigen diagonale Linien vom Balkentyp, die von einem linken unteren Ende zu einem rechten oberen Ende mit Bezug auf ein kreisförmiges Verkehrszeichen verbunden sind. Das heißt, die Verkehrszeichen zeigen diagonale Linien unter einem Winkel von 45 Grad in der x-Achsen- und der y-Achsenrichtung mit dem Nullpunkt in ihrer Mitte.
Wie in 4 gezeigt ist, setzt die Erkennungsbereichs-Setzeinheit 200 einen Erkennungsbereich 40 in einem Verkehrszeichen 10, so dass es möglich ist, das Verkehrszeichen 10 intensiv zu analysieren und ein in dem Verkehrszeichen 10 markiertes Verkehrszeichen genau und schnell zu erfassen.
2 ist ein Funktionsblockdiagramm, das die Konfiguration einer PCA-Operationsverarbeitungseinheit 300 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
Die PCA-Operationsverarbeitungseinheit 300 wendet einen PCA-Algorithmus für den Erkennungsbereich 40 an, wodurch ermöglicht wird, dass das Verkehrszeichen in einem Erkennungsbereichsteil genau erkannt wird. Genauer gesagt, die PCA-Operationsverarbeitungseinheit 300 kann einen Eigenvektor einer Silhouette bestimmen, die aus dem Erkennungsbereich 40 durch den PCA-Algorithmus erfasst wird.
Die Hauptkomponentenanalyse (PCA) ist ein Verfahren zum Herausziehen einer Hauptkomponente von verteilten Daten. PCA ist nicht ein Verfahren zum individuellen Analysieren der jeweiligen Komponenten von Daten, sondern ist ein Verfahren zum Analysieren einer Hauptkomponente einer Verteilung, wenn mehrere Datenstücke gruppiert sind, um die Verteilung zu bilden. Hier bedeutet die Hauptkomponente einen Richtungsvektor in der Richtung, in der die Verteilung von Daten am größten ist.
Die PCA führt zwei gegenseitig senkrechte Hauptkomponentenvektoren zurück, wenn die PCA bei einem zweidimensionalen Datensatz durchgeführt wurde und führt drei gegenseitig senkrechte Hauptkomponentenvektoren zurück, wenn die PCA bei dreidimensionalen Punkten durchgeführt wurde. Beispielsweise werden mit Bezug auf dreidimensionale Daten drei gegenseitig senkrechte Hauptkomponentenvektoren wie folgt erfasst.
Die PCA-Operationsverarbeitungseinheit 300 kann eine Pixelumwandlungseinheit 310 und eine Operationseinheit 320 enthalten.
Die Pixelumwandlungseinheit 310 kann alle Pixeln in einem Erkennungsbereich in invertierte, binärisierte oder normierte Farbkoordinaten umwandeln. Das heißt, selbst wenn ein Verkehrszeichen mit RGB, Gray, Batyer oder dergleichen konfiguriert ist, können die Pixeln in einem Erkennungsbereich umgewandelt werden, um leicht analysiert zu werden.
Das binärisierte Bild bedeutet ein Bild, in welchem alle Pixel durch nur Schwarz und Weiß dargestellt sind. Das heißt, das binärisierte Bild bedeutet ein Bild, in welchem die Helligkeit nur durch Null und Eins ausgedrückt ist, d. h. rein schwarz und weiß.
Ein Grauskalen-Bild wird nur durch 256-stufige Helligkeit ausgedrückt.
Das heißt, die Pixelumwandlungseinheit kann eine Silhouette vom Balkentyp durch Pixelumwandlung in einem Erkennungsbereich von einem Hintergrund trennen. Da ein Verkehrszeichen ein zweidimensionales Bild ist, haben die Pixel in einem Erkennungsbereich x- und y-Koordinaten.
5 ist eine Ansicht, die durch Invertieren des in 4 illustrierten Verkehrszeichens erhalten wurde.
Gemäß 5 kann bestätigt werden, dass ein Zeichen vom Balkentyp, das heißt, ein diagonaler Anzeigebereich, das als ein von 4 erfasstes Verkehrszeichen hell angezeigt wird, invertiert ist.
Die Operationseinheit 320 kann einen Mittelvektor von Pixeln, die wie vorstehend umgewandelt wurden, berechnen, eine Kovarianzmatrix auf der Grundlage des mittleren Vektorwerts berechnen, und einen Eigenvektor berechnen.
Eine Kovarianz von ”x” und ”y” kann als Gleichung 1 definiert werden. cov(x, y) = E⌊(x – m_x)(y – m_y)⌋ = E[xy] – m_xm_y (1)
Hier stellt ”m_x” einen Mittelwert von ”x”-Werten dar, und ”my E[a]” stellt einen Mittelwert von ”a” dar.
Die Varianz von ”x” stellt dar, wie weit ”x”-Werte mit Bezug auf einen Mittelwert gestreut sind, und die Kovarianz von ”x” und ”y” stellt eine Korrelation der Streugrade zwischen ”x” und ”y” dar. Beispielsweise gilt in dem Zustand, in welchem die Varianz jeweils von ”x” und ”y” konstant ist: wenn ”y” größer als ”m_y” wird, wird, da ”x” größer als ”m_x” wird, die Kovarianz das Maximum; wenn ”y” kleiner als ”m_y” wird, wird, da ”x” größer als ”m_x” wird, die Kovarianz das Minimum (d. h., wird eine negative Zahl); und wenn keine Korrelation zwischen ”x” und ”y” gegeben ist, wird die Kovarianz gleich null.
eine Kovarianzmatrix hat Kovarianzwerte zwischen Koordinatenkomponenten von Daten als deren Elemente. Die Kovarianzmatrix hat einen Kovarianzwert zwischen einer j^th-Koordinatenkomponente und einer i^th-Koordinatenkomponente von Daten als ein i-Reihen-j-Spalten-Elementenwert der Matrix.
Die Kovarianzmatrix kann als Gleichung 2 berechnet werden.
Hier stellt ”n” die Anzahl von Pixeln dar.
Ein Eigenvektor kann als Gleichung 3 berechnet werden.
Hier stellt ”λ” einen Eigenwert dar, und [ x / y] stellt einen Eigenvektor dar.
Ein durch Gleichung 3 berechneter Eigenvektor ist ein Hauptvektor und stellt eine Richtung dar, in der eine Varianz in der Verteilung von Pixeln groß ist, wobei ein entsprechender Eigenwert den Grad der Varianz darstellt.
Das heißt, gemäß dem Vorgang des Ableitens eines Eigenvektors durch die Operationseinheit 320 hat der Bereich der hell angezeigten diagonalen Linie 50 nach 5 einen relativ höheren Gewichtswert als ein dunkler Hintergrundbereich.
Das heißt, dies kann bedeuten, dass ein Wert, der als ein Eigenvektor abgeleitet ist, in einer Richtung abgeleitet ist, die ähnlich der der Vektorwerte von eine diagonale Linie bildenden Pixeln ist.
Daher kann durch einen Eigenvektor, der durch die Operationseinheit 320 abgeleitet ist, ein geneigter Grad eines Zeichens vom Balkentyp (z. B. die diagonale Linie in 5), das auf einem Verkehrszeichen ausgedrückt ist, identifiziert werden.
3 ist ein Funktionsblockdiagramm, das die Konfiguration der Zeichenbestimmungseinheit 400 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
Die Zeichenbestimmungseinheit 400 kann eine Abweichungsberechnungseinheit 410 und eine Bestimmungseinheit 420 für ein Zeichen vom Balkentyp enthalten.
Die Abweichungsberechnungseinheit 410 kann den Winkel ”α” eines Eigenvektors bestimmen und die Abweichung ”d” des bestimmten Winkels ”α” berechnen.
6 ist eine Ansicht, die einen Prozess erläutert, in welchem die Bestimmungseinheit 420 für ein Zeichen vom Balkentyp die Bestimmung eines Zeichens vom Balkentyp durch Vergleich mit einem Schwellenwert gemäß einem Ausführungsbeispiel der vorliegenden Erfindung durchführt.
Gemäß 6 kann ein von einem Erkennungsbereich eines Verkehrszeichens berechneter Eigenvektor identifiziert werden. Die als ein Pfeil gezeigte gerade Linie stellt einen Eigenvektor dar, und der Winkel des Pfeils kann durch einen Winkel von einer x-Achse identifiziert werden. In der vorliegenden Beschreibung wird der Winkel des Pfeils für den Zweck der Illustration als ”α” bezeichnet.
Ein Schwellenwert ”Pt” kann vorher gesetzt werden, um zu bestimmen, ob ein Zeichen vom Balkentyp ein bestimmtes Verkehrszeichen darstellt.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung als Beispiel genommen, aber die vorliegende Erfindung ist nicht hierauf beschränkt.
Das Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung hat diagonale Linien, die unter etwa 45 Grad in dem ersten und dem dritten Quartal gebildet sind, wobei die Mitte eines kreisförmigen Verkehrszeichens 10 als ein Ursprung genommen wird.
In diesem Fall kann der Schwellenwert ”Pt” so gesetzt werden, dass ein Fehlerwert in Betracht gezogen wird, der nicht übermäßig von etwa 45 Grad abweicht.
In diesem Fall kann die Abweichung eines Winkels als Gleichung 4 berechnet werden. d = |α – 45°| (4)
Wenn die Abweichung ”d” kleiner als der Schwellenwert ”Pt” ist, der gesetzt wurde, um ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung zu erfassen, kann ein entsprechendes Zeichen als ein Zeichen zur Beendigung einer Geschwindigkeitsbeschränkung bestimmt werden.
Wenn ein Zeichen von dem Schwellenwert ”Pt” abweicht, was bedeutet, dass das Zeichen aus einer vorbestimmten Markierung für das Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung herausgelangt wird nicht bestimmt, dass das Zeichen ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung ist.
Gemäß einem anderen Ausführungsbeispiel der vorliegenden Erfindung kann, wenn ein Verkehrszeichen vom Balkentyp so geneigt ist, dass es eine größere Abweichung ”d” als den Schwellenwert ”Pt” hat, ein von dem Schwellenwert ”Pt” abweichender Bereich gesetzt werden. Zusätzlich können gegenseitig unterschiedliche Bereiche jeweils für gegenseitig unterschiedliche Verkehrszeichen gesetzt werden.
Beispielsweise kann, wenn ein Stoppzeichen bei 180 Grad in einem kreisförmigen Verkehrszeichen gebildet ist, ein von dem Schwellenwert ”Pt” abweichender Bereich, d. h., ein Bereich zum Erfassen des Stoppzeichens, so gesetzt sein, dass er in der Nähe einer ”x”-Achse gebildet ist.
Zusätzlich kann gemäß den Implementierungen das Verfahren zum Bestimmen eines Zeichens vom Balkentyp gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, das mit Bezug auf 6 beschrieben wird, angewendet werden, um Verkehrszeichen (z. B. eine horizontale Balkenform, eine vertikale Balkenform oder dergleichen), die unter einem unterschiedlichen Winkel gebildet sind, zusätzlich zu dem diagonalen Verkehrszeichen vom Balkentyp. Beispielsweise können in Gleichung 4 180 Grad anstelle von 45 Grad verwendet werden, wenn ein Verkehrszeichen mit einem horizontalen Balken erfasst wird, und 90 Grad anstelle von 45 Grad können in Gleichung 4 verwendet werden, wenn ein Verkehrszeichen mit vertikalem Balken erfasst wird.
Die Zeichenausgabeeinheit 500 kann ein Zeichen ausgeben, das durch die Zeichenbestimmungseinheit 400 bestimmt wurde.
Die Zeichenausgabeeinheit 500 kann alle Mittel enthalten, einschließlich eines Lautsprechers, einer Anzeigevorrichtung, einer Vibrationsvorrichtung oder dergleichen, die in der Lage sind, einen Benutzer über das Zeichen zu benachrichtigen.
Die Datenbank 600 kann den Schwellenwert ”Pt” speichern, um ein Zeichen vom Balkentyp zu bestimmen, und Informationen in einem Bereich, dem von dem Schwellenwert ”Pt” abweichende Abweichungen entsprechen.
Das heißt, die Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem identifiziert den Winkel eines Eigenvektors, der unter Verwendung des PCA-Algorithmus berechnet wurde, und kann somit ein Zeichen vom Balkentyp genau erfassen.
7 ist ein Flussdiagramm, das ein Verfahren zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert.
Wie in 7 gezeigt ist, kann das Verfahren gemäß einem Ausführungsbeispiel der vorliegenden Erfindung enthalten: Schritt S10 des Erfassens eines Verkehrszeichens aus Bildinformationen, Schritt S20 des Setzens eines Erkennungsbereichs des Verkehrszeichens, Schritt S30 des Bestimmens eines Eigenvektors des Verkehrszeichens durch eine PCA-Operationsverarbeitung, Schritt S40 des Bestimmens eines Zeichens für die Beendigung einer Geschwindigkeitsbeschränkung, und Schritt S50 des Ausgebens des Zeichens für die Beendigung einer Geschwindigkeitsbeschränkung.
Schritt S10 des Erfassens eines Verkehrszeichens kann die Schritte enthalten: Empfangen von Frontbildinformationen eines durch eine Frontkamera fotografierten Fahrzeugs; Erfassen eines Verkehrszeichens aus den Frontbildinformationen unter Verwendung einer Objekterfassung; und Verfolgen eines Verkehrszeichens, das aufeinanderfolgend in den Frontbildinformationen erscheint, und Eliminieren eines falsch erkannten Objekts.
Schritt S20 des Setzens eines Erkennungsbereichs kann durchgeführt werden, um einen rechteckigen Erkennungsbereich mit Bezug auf ein erfasstes Verkehrszeichen zu setzen. Der Erkennungsbereich ist nicht auf die rechteckige Form beschränkt, sondern kann so gesetzt sein, dass er verschiedene Formen hat.
Schritt S30 des Durchführens einer PCA-Operationsverarbeitung kann die Schritte enthalten: Binärisieren aller Pixel in dem Erkennungsbereich; Berechnen eines Mittelvektors der binärisierten Pixel; Berechnen einer Kovarianzmatrix auf der Grundlage eines Mittelvektorwerts; und Berechnen eines Eigenvektors der Kovarianzmatrix.
Schritt S40 des Bestimmens eines Zeichens kann die Schritte enthalten: Bestimmen eines Winkels ”α” eines Eigenvektors; Berechnen einer Abweichung ”d” des bestimmten Winkels ”α”; und Vergleichen der Abweichung ”d” des Winkels ”α” mit einem Schwellenwert ”Pt”, und Bestimmen eines Zeichens vom Balkentyp.
Hier kann die Abweichung ”d” des Winkels ”α” durch d = |α – 45°| berechnet werden, und das entsprechende Zeichen kann als ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung bestimmt werden, wenn die Abweichung ”d” kleiner als der Schwellenwert ”Pt” ist, der gesetzt wurde, um ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung zu erfassen.
Schritt S40 des Bestimmens eines Zeichens kann zusätzlich den Schritt enthalten: Bestimmen von Zeichen vom Balkentyp gemäß den Bereichen der Differenzen zwischen Abweichungen ”d” und dem Schwellenwert ”Pt”; und Bestimmen der jeweiligen Verkehrszeichen, die Zeichen vom Balkentyp bedeuten, die den Bereichen der Differenzen zwischen den Abweichungen ”d” und dem Schwellenwert ”Pt” entsprechen.
Die Schritte 30 und 40 werden im Einzelnen mit Bezug auf 8 beschrieben.
8 ist ein Flussdiagramm, das ein Verfahren zum Bestimmen eines Zeichens vom Balkentyp durch einen PCA-Algorithmus gemäß einem Ausführungsbeispiel der vorliegenden Erfindung illustriert. Obgleich 8 ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung unter Zeichen vom Balkentyp für den Zweck der Illustration zeigt, ist die vorliegende Erfindung nicht hierauf beschränkt, und ein Verkehrszeichen kann gemäß einer Differenz zwischen dem Schwellenwert ”Pt” und einer Abweichung ”d” bestimmt werden.
Wie in 8 gezeigt ist, kann das Verfahren zum Bestimmen eines Zeichens vom Balkentyp durch einen PCA-Algorithmus enthalten: Schritt S301 des Binärisierens aller Pixel in einem Erkennungsbereich; Schritt S302 des Berechnens eines Mittelvektors der binärisierten Pixel; Schritt S303 des Berechnens eines Kovarianzmatrix; Schritt S304 des Berechnens eines Eigenvektors der Kovarianzmatrix; Schritt S305 des Berechnens einer Abweichung ”d” eines Winkels von dem Winkel ”α” des Eigenvektors; Schritt S306 des Vergleichens der Abweichung ”d” des Winkels mit dem Schwellenwert ”Pt”; und Schritt S307 des Bestimmens eines entsprechenden Zeichens als ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung, wenn die Abweichung ”d” des Winkels kleiner als der Schwellenwert ”Pt” ist.
Schritt S301 des Binärisierens aller Pixel in einem Erkennungsbereich kann durch einen Schritt des Umwandelns aller Pixel in invertierte oder normierte Farbkoordinaten ersetzt werden.
Das heißt, durch einen derartigen. eine PCA verwendenden Algorithmus können Verkehrszeichen vom Balkentyp durch ihre Eigenvektoren und deren Winkel genau erfasst werden.
Gemäß der vorliegenden Erfindung kann ein Zeichen vom Balkentyp, z. B. ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung, anhand eines Straßenbilds, das durch Fotografieren eines Bereichs vor einem Fahrzeug erhalten wurde, genau erfasst werden.
Zusätzlich wird ein geneigter Grad einer Balkenform, der von einem Zeichen durch eine Hauptkomponentenanalyse eines Eigenvektors erfasst wurde, unter Verwendung eines PCA-Algorithmus bestimmt, so dass die Typen von Verkehrszeichen genau erfasst werden können.
Da der Fachmann auf dem Gebiet der vorliegenden Erfindung verstehen kann, dass die vorliegende Erfindung in anderen spezifischen Formen durchgeführt werden kann, ohne die technischen Konzepte oder wesentlichen Merkmale von dieser geändert werden, ist offensichtlich, dass die vorbeschriebenen Beispiele in jeder Weise veranschaulichend und nicht beschränkend sind. Der Bereich der vorliegenden Erfindung ist durch die folgenden Ansprüche definiert, und alle modifizierten oder veränderten Formen, die von der Bedeutung und dem Bereich der Ansprüche abgeleitet sind, und auch äquivalente Konzepte hiervon sollten so ausgelegt werden, dass sie in dem Bereich der vorliegenden Erfindung enthalten sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2013-052812 A1 [0005]

Claims

Vorrichtung zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem, welche Vorrichtung aufweist: eine Verkehrszeichen-Erfassungseinheit (100) zum Empfangen von Bildinformationen enthaltend ein Verkehrszeichen von einem Kameramodul, und zum Erfassen eines Verkehrszeichens aus den Bildinformationen; eine Erkennungsbereich-Setzeinheit (200) zum Setzen eines Erkennungsbereichs (40) für die Erfassung eines Zeichens vom Balkentyp auf dem von der Verkehrszeichen-Erfassungseinheit erfassten Verkehrszeichen; eine PCA-Operationsverarbeitungseinheit (300) zum Anwenden eines PCA-Algorithmus für alle Pixel in dem Erkennungsbereich (40), der durch die Erkennungsbereichs-Setzeinheit gesetzt ist, und zum Bestimmen eines Eigenvektors; und eine Zeichenbestimmungseinheit (400) zum Bestimmen einer Abweichung eines Winkels von dem Winkel des Eigenvektors, Vergleichen der Abweichung mit einem Schwellenwert, und Bestimmen, ob das Verkehrszeichen einem Zeichen vom Balkentyp entspricht.
Vorrichtung nach Anspruch 1, bei der die PCA-Operationsverarbeitungseinheit (300) aufweist: eine Pixelumwandlungseinheit (310) zum Umwandeln aller Pixel in dem Erkennungsbereich (40) in invertierte, binärisierte oder normierte Farbkoordinaten; und eine Operationseinheit (320) zum Berechnen eines Mittelvektors der umgewandelten Pixel, Berechnen einer Kovarianzmatrix auf der Grundlage des Mittelvektorwerts, und Berechnen eines Eigenvektors.
Vorrichtung nach einem der Ansprüche 1 oder 2, bei der die Zeichenbestimmungseinheit (400) aufweist: eine Abweichungsberechnungseinheit (410) zum Bestimmen des Winkels des Eigenvektors, und zum Berechnen der Abweichung des bestimmten Winkels; und eine Bestimmungseinheit (420) für ein Zeichen vom Balkentyp zum Vergleichen der Abweichung des Winkels mit dem Schwellenwert, und Bestimmen eines Zeichens vom Balkentyp.
Vorrichtung nach Anspruch 3, bei der die Abweichungsberechnungseinheit (410) die Abweichung ”d” wie folgt berechnet: d = |α – 45°| (worin ”d” eine Abweichung darstellt und ”α” den Winkel eines Eigenvektors darstellt); wobei, wenn die Abweichung ”d” kleiner als ein Schwellenwert ”Pt” ist der voreingestellt ist, um ein Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung zu bestimmen, die Bestimmungseinheit für das Zeichen vom Balkentyp bestimmt, dass ein entsprechendes Zeichen einem Zeichen für die Beendigung einer Geschwindigkeitsbeschränkung entspricht.
Vorrichtung nach einem der Ansprüche 3 oder 4, weiterhin aufweisend eine Zeichenausgabeeinheit (500) zum Ausgeben eines Verkehrszeichens entsprechend einem bestimmten Zeichen vom Balkentyp, wenn die Zeichenbestimmungseinheit (400) ein Zeichen als ein Zeichen vom Balkentyp bestimmt hat.
Vorrichtung nach einem der Ansprüche 3 bis 5, weiterhin aufweisend eine Datenbank (600) zum Speichern von Verkehrszeichen, die Zeichen vom Balkentyp bedeuten, welche den jeweiligen Bereichen von Differenzen zwischen Abweichungen und dem Schwellenwert entsprechen, gemäß den Bereichen von Differenzen zwischen den Abweichungen und dem Schwellenwert, wobei die Zeichenbestimmungseinheit (400) die Bedeutung eines Zeichens vom Balkentyp gemäß dem Bereich der Differenz zwischen einer Abweichung und dem Schwellenwert bestimmt.
Vorrichtung nach einem der Ansprüche 1 bis 6, bei der die Verkehrszeichen-Erfassungseinheit (100) zusätzlich zum Erfassen eines Verkehrszeichens aus den Bildinformationen unter Verwendung einer Objekterfassung, zum Verfolgen eines Verkehrszeichens, das aufeinanderfolgend in den Bildinformationen erscheint, und zum Eliminieren eines falsch erkannten Objekts konfiguriert ist.
Verfahren zum Erfassen eines Zeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem, welches Verfahren aufweist: einen Verkehrszeichen-Erfassungsschritt des Erfassens eines Verkehrszeichens aus Bildinformationen, die das Verkehrszeichen enthalten; einen Erkennungsbereichs-Einstellschritt des Einstellens eines Erkennungsbereichs (40) auf dem durch den Verkehrszeichen-Erfassungsschritt erfassten Verkehrszeichen; einen Hauptkomponentenanalyse(PCA)-Operationsverarbeitungsschritt des Anwendens eines PCA-Algorithmus auf alle Pixel in dem durch den Erkennungsbereich-Einstellschritt eingestellten Erkennungsbereich, und des Bestimmens eines Eigenvektors; und einen Zeichenbestimmungsschritt des Bestimmens eines Winkels des Eigenvektors, des Vergleichens einer Abweichung des bestimmten Winkels mit einem Schwellenwert, und des Bestimmens, ob eine Entsprechung mit einem Zeichen von Balkentyp vorliegt.