DE102016200995B4

DE102016200995B4 - System und Verfahren zum Erfassen von Fahrzeugen

Info

Publication number: DE102016200995B4
Application number: DE102016200995.8A
Authority: DE
Inventors: Young Ha CHO
Original assignee: Mando Corp
Current assignee: HL Klemove Corp
Priority date: 2015-01-28
Filing date: 2016-01-25
Publication date: 2021-02-11
Anticipated expiration: 2036-01-26
Also published as: US20160217334A1; CN105825174A; CN105825174B; DE102016200995A1; US9965692B2

Abstract

Fahrzeug-Erfassungssystem, welches aufweist:
eine Kamera (10), die ein Bild eines Bereichs vor einem Fahrzeug aufnimmt;
eine Kantenerfassungseinheit (40), die eine Kante in einem von der Kamera (10) aufgenommenen Bild erfasst und ein horizontales binäres Bild und ein vertikales binäres Bild erzeugt;
eine erste Kandidatengruppen-Erfassungseinheit (50), die eine Bodenflächen-Kandidatengruppe bezogen auf ein vorausfahrendes Fahrzeug in dem horizontalen binären Bild erfasst und eine Seitenflächen-Kandidatengruppe bezogen auf das vorausfahrende Fahrzeug in dem vertikalen binären Bild erfasst;
eine zweite Kandidatengruppen-Erfassungseinheit (60), die konfiguriert ist zum, wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen bezogen auf das Paar von Seitenflächen-Kandidatengruppen nicht erfasst wird, Schätzen der Seitenflächen-Kandidatengruppe oder Bodenflächen-Kandidatengruppe, und zum Erzeugen einer Fahrzeug-Kandidatengruppe; und
eine Fahrzeug-Erfassungseinheit (70), die die Fahrzeug-Kandidatengruppe filtert und das vorausfahrende Fahrzeug erfasst.

Description

Diese Anmeldung beansprucht die Priorität und den Nutzen unter 35 U.S.C. § 119(a) der koreanischen Patentanmeldung Nr. 10-2015-0013314 , die am 28. Januar 2015 eingereicht wurde und die hierdurch für alle Zwecke so einbezogen wird, als ob sie hier vollständig offenbart wäre.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein System und ein Verfahren zum Erfassen eines Fahrzeugs und insbesondere auf ein System und ein Verfahren zum Erfassen eines Fahrzeugs, die eine Fahrzeug-Kandidatengruppe, die als ein Fahrzeug angenommen wird, selbst wenn eine Seitenfläche oder Bodenfläche des Fahrzeugs nicht erfasst wird, erzeugen können, wodurch ein vorausfahrendes Fahrzeug genauer erfasst wird, so dass die Sicherheit eines Fahrers gewährleistet wird.
Beschreibung des Standes der Technik
In jüngerer Zeit wurden Systeme, die verschiedene Funktionen durch Erkennen von Fahrzeugen vor oder hinter dem Fahrzeug eines Fahrers implementieren können, in Fahrzeugen nacheinander installiert. Die vorgenannten Systeme können Bilder von vorausfahrenden und nachfolgenden Fahrzeugen, so wie sie sind, einem Fahrer anzeigen oder können die Bilder verarbeiten, um dem Fahrer spezielle Informationen zu liefern.
Ein Vorwärtskollisions-Warnsystem unter diesen Systemen kann das vorausfahrende Fahrzeug durch Verwenden eines Radars zum Erfassen eines Fahrzeugs und einer Kamera zum Ausgeben eines Bilds des Fahrzeugs erfassen, wodurch eine Warnung zu dem Fahrer ausgegeben wird oder automatisch die Bremse gemäß der Möglichkeit einer Kollision betätigt wird, um eine Kollision zwischen dem Fahrzeug des Fahrers und dem vorausfahrenden Fahrzeug zu verhindern.
In jüngerer Zeit wurde dank der Vereinfachung einer Systemstruktur und der Verringerung der Herstellungskosten ein Fahrzeug-Erkennungsverfahren, das ein Fahrzeug durch Verwendung eines von einer Kamera fotografierten Bildes ohne Verwendung von peripheren Vorrichtungen wie eines Radars erkennen kann, zunehmend gefordert.
Wie vorstehend beschrieben ist, kann, wenn ein vorausfahrendes Fahrzeug durch Verwendung eines von einer Kamera fotografierten Bilds erfasst wird, das Ergebnis der Fahrzeugerkennung gemäß der Beleuchtung und des Wetters variieren. Wenn beispielsweise das Sonnenlicht als Seitenlicht oder als hinteres Licht sehr intensiv ist, ist eine Seitenfläche oder eine Bodenfläche eines vorausfahrenden Fahrzeugs undeutlich und somit kann es sein, dass das vorausfahrende Fahrzeug nicht erfasst wird. Daher gibt das Vorwärtskollisions-Warnsystem keine Warnung an einen Fahrer aus oder betätigt nicht automatisch die Bremse, und somit kann die Sicherheit des Fahrers gefährdet sein.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung gibt ein System und ein Verfahren zum Erfassen eines Fahrzeugs an, die eine Fahrzeug-Kandidatengruppe erzeugen können, die als ein Fahrzeug selbst dann angenommen wird, wenn eine von einer Seitenfläche oder einer Bodenfläche des Fahrzeugs nicht erfasst wird, wodurch ein vorausfahrendes Fahrzeug genauer erfasst wird, so dass die Sicherheit eines Fahrers gewährleistet ist.
Der vorbeschriebene Zweck kann erreicht werden durch ein Fahrzeug-Erfassungssystem, das enthält: eine Kamera, die einen Bereich vor einem Fahrzeug fotografiert; eine Kantenerfassungseinheit, die eine Kante eines von der Kamera fotografierten Bilds erfasst und ein horizontales binäres Bild und ein vertikales binäres Bild erzeugt; eine Erfassungseinheit für eine erste Kandidatengruppe, die eine Bodenflächen-Kandidatengruppe, die sich auf ein vorausfahrendes Fahrzeug bezieht, anhand des horizontalen Bilds erfasst und eine Seitenflächen-Kandidatengruppe, die sich auf das vorausfahrende Fahrzeug bezieht, anhand des vertikalen binären Bilds erfasst; eine Erfassungseinheit für eine zweite Kandidatengruppe, die, wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen des Paars von Seitenflächen-Kandidatengruppen nicht erfasst wird, konfiguriert ist zum Annehmen der Seitenflächen-Kandidatengruppe und Bodenflächen-Kandidatengruppe und zum Erzeugen einer Fahrzeug-Kandidatengruppe; und eine Fahrzeug-Erfassungseinheit, die die Fahrzeug-Kandidatengruppe filtert und das vorausfahrende Fahrzeug erfasst.
Der vorbeschriebene Zweck kann auch erreicht werden durch ein Fahrzeug-Erfassungssystem, das enthält: Fotografieren eines Bereichs vor einem Fahrzeug; Erfassen einer Kante eines von der Kamera fotografierten Bilds und Erzeugen eines horizontalen binären Bildes und eines vertikalen binären Bilds; Erfassen einer Bodenflächen-Kandidatengruppe bezogen auf ein vorausfahrendes Fahrzeug anhand des horizontalen binären Bilds und Erfassen einer Seitenflächen-Kandidatengruppe bezogen auf das vorausfahrende Fahrzeug anhand des vertikalen binären Bildes; wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen des Paares von Seitenflächen-Kandidatengruppen nicht erfasst wird, Annehmen der Seitenflächen-Kandidatengruppe und Bodenflächen-Kandidatengruppe und Erzeugen einer Fahrzeug-Kandidatengruppe; und Filtern der Fahrzeug-Kandidatengruppe und Erfassen des vorausfahrenden Fahrzeugs.
In einem Fahrzeug-Erfassungssystem gemäß der vorliegenden Erfindung kann, selbst wenn alle Fahrzeuge nicht perfekt fotografiert werden, eine Fahrzeug-Kandidatengruppe eines vorausfahrenden Fahrzeugs erzeugt werden, und das vorausfahrende Fahrzeug kann somit genauer erfasst werden. Daher kann die vorliegende Erfindung wie benötigt eine Warnung zu einem Fahrer ausgeben oder automatisch die Bremse betätigen, und somit kann die Sicherheit eines Fahrers gewährleistet werden.
Figurenliste
Die vorstehenden und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden ersichtlicher anhand der folgenden detaillierten Beschreibung, die in Verbindung mit den begleitenden Zeichnungen gegeben wird, in denen:

1 ein Konfigurationsblockschaltbild eines Fahrzeug-Erfassungssystems gemäß der vorliegenden Erfindung ist;
2 eine beispielhafte Ansicht eines fotografierten Bilds und eines Bilds, aus dem Störungen entfernt sind, in dem Fahrzeug-Erfassungssystem nach 1 ist;
3 eine beispielhafte Ansicht eines Bilds, in welchem ein interessierender Bereich gesetzt ist, in dem Fahrzeug-Erfassungssystem nach 1 ist;
4 eine beispielhafte Ansicht eines Bilds, das zum Erfassen einer Kante verarbeitet wurde, in dem Fahrzeug-Erfassungssystem nach 1 ist;
5 eine beispielhafte Ansicht eines horizontalen binären Bilds und eines vertikalen binären Bilds ist, die durch horizontale Binärisierung und vertikale Binärisierung erzeugt wurden, in dem Fahrzeug-Erfassungssystem nach 1;
6 eine beispielhafte Ansicht eines Bilds, das durch horizontale Binärisierung erzeugt wurde, und eines Bilds mit einer Fahrzeug-Bodenflächen-Kandidatengruppe, die aus einem Frontbild erfasst wurde, in dem Fahrzeug-Erfassungssystem nach 1 ist;
7 eine beispielhafte Ansicht eines Bilds, das durch vertikale Binärisierung erzeugt wurde, und eines Bildes mit einer Fahrzeug-Seitenflächen-Kandidatengruppe, die aus einem Frontbild erfasst wurde, in dem Fahrzeug-Erfassungssystem nach 1 ist;
8 eine beispielhafte Ansicht eines Bilds, aus dem eine Fahrzeug-Kandidatengruppe erfasst wurde, in dem Fahrzeug-Erfassungssystem nach 1 ist;
9 eine beispielhafte Ansicht eines Bildes, in welchem ein Fahrzeug erfasst wurde, in dem Fahrzeug-Erfassungssystem nach 1 ist;
10 eine beispielhafte Ansicht eines Erfassungsverfahrens für vorausfahrende Fahrzeuge unter Verwendung eines adaptiven Verstärkungsverfahrens ist;
11 ein Flussdiagramm ist, das die Erfassung eines Fahrzeugs in einem Fahrzeug-Erfassungssystem gemäß der vorliegenden Erfindung illustriert.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Nachfolgend werden einige Ausführungsbeispiele der vorliegenden Erfindung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. In der folgenden Beschreibung werden dieselben Komponenten durch dieselben Bezugszahlen bezeichnet, obgleich sie in verschiedenen Zeichnungen gezeigt sind. Weiterhin wird in der folgenden Beschreibung der vorliegenden Erfindung eine detaillierte Beschreibung von hier einbezogenen bekannten Funktionen und Konfigurationen weggelassen, wenn hierdurch die Klarheit des Gegenstands der vorliegenden Erfindung beeinträchtigt werden kann.
Zusätzlich können hier Ausdrücke wie erste, zweite, A, B, (a), (b) oder dergleichen verwendet werden, wenn Komponenten der vorliegenden Erfindung beschrieben werden. Diese Ausdrücke werden lediglich verwendet, um ein strukturelles Element von anderen strukturellen Elementen zu unterscheiden, und eine Eigenschaft, eine Reihenfolge, eine Sequenz und dergleichen eines entsprechenden strukturellen Elements sind nicht durch den Ausdruck beschränkt. Es ist zu bemerken, dass, wenn in der Beschreibung wiedergegeben wird, dass eine Komponente mit einer anderen Komponente „verbunden“, „gekoppelt“ oder „vereinigt“ ist, eine dritte Komponente zwischen der ersten und der zweiten Komponente „verbunden“, „gekoppelt“ und „vereinigt“ sein kann, obgleich die erste Komponente direkt mit der zweiten Komponente verbunden, gekoppelt oder vereinigt sein kann.
1 ist ein Konfigurationsblockschaltbild eines Fahrzeug-Erfassungssystems gemäß der vorliegenden Erfindung.
Wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen bezogen auf das Paar von Seitenflächen-Kandidatengruppen in dem Fall des Erfassens einer Fahrzeug-Kandidatengruppe aus einem von der Kamera fotografierten Frontbild nicht erfasst wird, nimmt ein Fahrzeug-Erfassungssystem 1 gemäß der vorliegenden Erfindung die Seitenflächen-Kandidatengruppen oder die Bodenflächen-Kandidatengruppe an und erzeugt mehrere Fahrzeug-Kandidatengruppen; und filtert die mehreren Fahrzeug-Kandidatengruppen und erfasst Fahrzeuge.
Das vorliegende Fahrzeug-Erfassungssystem 1 kann enthalten: eine Frontkamera 10, das ein Bild eines Bereichs vor einem Fahrzeug aufnimmt; eine Störungsentfernungseinheit 20, die eine Störung aus einem Frontbild entfernt; eine Setzeinheit 30 für einen interessierenden Bereich, die einen interessierenden Bereich in dem Frontbild setzt; eine Kantenerfassungseinheit 40, die eine Kante aus dem Frontbild erfasst und die erfasste Kante binärisiert; eine erste Kandidatengruppen-Erfassungseinheit 50, die eine Bodenflächen-Kandidatengruppe und eine Seitenflächen-Kandidatengruppe anhand eines binärisierten Bilds erfasst; eine zweite Kandidatengruppen-Erfassungseinheit 60, die eine Fahrzeug-Kandidatengruppe erfasst; und eine Fahrzeug-Erfassungseinheit 70, die ein Fahrzeug aus der Fahrzeug-Kandidatengruppe erfasst.
Die Frontkamera 10, die einer monokularen Kamera entspricht, ist an der Vorderseite eines Fahrzeugs installiert, um ein Bild eines Bereichs vor dem Fahrzeug aufzunehmen. Ein Frontbild, das von der Frontkamera 10 fotografiert wurde, wird zu der Störungsentfernungseinheit 20 übertragen. 2A illustriert ein Frontbild, das von der Frontkamera 10 fotografiert wurde.
Die Störungsentfernungseinheit 20 entfernt eine Störung aus dem Frontbild, das von der Frontkamera 10 aufgenommen wurde, wodurch die Erfassung einer Kante erleichtert wird. Die Störungsentfernungseinheit 20 entfernt eine Störung durch Faltung eines 3x3-Mittenfilters auf das Frontbild, und daher kann das wie in 2B illustrierte Bild ausgegeben werden. Bei dem vorliegenden Ausführungsbeispiel wurde das Mittenfilter verwendet, um eine Störung zu beseitigen. Jedoch können andere Filter verwendet werden.
Die Setzeinheit 30 für den interessierenden Bereich kann den maximalen vom Fahrzeug erfassbaren Abstand auf ein Frontbild projizieren, aus dem eine Störung entfernt wurde, durch Verwendung einer Homogramm-Matrix (H-Matrix) in einem dreidimensionalen reellen Koordinatensystem. Hier zeigt die H-Matrix eine Funktion zum Abbilden des dreidimensionalen reellen Koordinatensystems auf ein zweidimensionales Frontbild-Koordinatensystem an.
Die Setzeinheit 30 für einen interessierenden Bereich kann, wie in 3A illustriert ist, das dreidimensionale Koordinatensystem, das den maximalen vom Fahrzeug erfassbaren Abstand als einen roten Punkt illustriert, auf das Frontbild durch Verwendung der H-Matrix projizieren, wodurch ein Bereich innerhalb des maximalen vom Fahrzeug erfassbaren Abstands als ein interessierender Bereich gesetzt wird, wie in 3B illustriert ist. Hier wird der interessierende Bereich ein Bereich unterhalb einer roten Linie in 3B.
Die Kantenerfassungseinheit 40 führt eine Differenzialrechnung durch, um eine Kante zu erfassen, und sie kann bei dem vorliegenden Ausführungsbeispiele eine horizontale Neigung und eine vertikale Neigung des Frontbilds durch Verwendung eines Sobel-Differenzialoperators berechnen. 4 illustriert ein horizontales Neigungsbild und ein vertikales Neigungsbild eines Frontbilds, die durch Verwendung des Sobel-Differenzialoperators erhalten wurden.
Dann binärisiert die Kantenerfassungseinheit 40 das horizontale Neigungsbild und das vertikale Neigungsbild durch 0 und 1. Mit anderen Worten, die Kantenerfassungseinheit 40 weist „1“ einem Punkt zu, der einen Neigungswert gleich einem oder größer als ein voreingestellter Schwellenwert hat, von einem horizontalen Neigungsbild und einem vertikalen Neigungsbild, und weist „0“ einem Punkt mit einem Neigungswert gleich einem oder kleiner als ein voreingestellter Schwellenwert zu, wodurch das horizontale Neigungsbild und das vertikale Neigungsbild binärisiert und das horizontale binäre Bild und das vertikale binäre Bild wie in den 5A und 5B illustriert erzeugt werden.
Die erste Kandidatengruppen-Erfassungseinheit 50 kann eine Bodenflächen-Kandidatengruppe und eine Seitenflächen-Kandidatengruppe anhand des horizontalen binären Bilds bzw. des vertikalen binären Bilds erfassen.
Die erste Kandidatengruppen-Erfassungseinheit 50 kann das horizontale binäre Bild durch Verwendung eines Verfahrens verbundener Komponenten kennzeichnen, um die Bodenflächen-Kandidatengruppe anhand des horizontalen binären Bilds zu erfassen. Die erste Kandidatengruppen-Erfassungseinheit 50 erfasst eine Bodenfläche anhand des horizontalen binären Bilds durch Verwendung des Verfahrens mit verbundenen Komponenten, wandelt das gekennzeichnete horizontale binäre Bild in ein dreidimensionales Bild um durch Verwendung einer inversen perspektivischen Matrix (IPM), und bestimmt dann, ob die erfasste Bodenfläche der realen Breite eines Fahrzeugs genügt. Mit anderen Worten, da in dem dreidimensionalen Bild der Bereich der Größe eines vorausfahrenden Fahrzeugs gemäß einem Abstand zwischen dem Fahrzeug eines Fahrers und dem vorausfahrenden Fahrzeug bestimmt ist, wird bestimmt, ob die erfasste Bodenfläche, die gemäß einem Abstand von dem Fahrzeug des Fahrers erfasst wird, mit der Breite des vorausfahrenden Fahrzeugs übereinstimmt. Daher wird, wie in 6A illustriert ist, die Bodenflächen-Kandidatengruppe auf dem horizontalen binären Bild angezeigt, und wenn die erfasste Bodenflächen-Kandidatengruppe auf das Frontbild angewendet wird, wird es wie in 6B illustriert angezeigt.
Die erste Kandidatengruppen-Erfassungseinheit 50 kann ein vertikales binäres Bild durch Verwendung eines Verfahrens mit verbundenen Komponenten kennzeichnen, um die Seitenflächen-Kandidatengruppe anhand des vertikalen binären Bilds zu erfassen. Die erste Kandidatengruppen-Erfassungseinheit 50 erfasst eine Seitenfläche aus dem vertikalen binären Bild durch Verwendung des Verfahrens mit verbundenen Komponenten, wandelt das gekennzeichnete vertikale binäre Bild in ein dreidimensionales Bild durch Verwendung einer inversen perspektivischen Matrix (IPM) um, und bestimmt dann, ob die erfasste Seitenfläche der realen Höhe eines Fahrzeugs genügt. Mit anderen Worten, da in dem dreidimensionalen Bild der Bereich der Größe eines vorausfahrenden Fahrzeugs gemäß einem Abstand zwischen dem Fahrzeug eines Fahrers und dem vorausfahrenden Fahrzeug bestimmt ist, wird bestimmt, ob die Seitenfläche, die gemäß einem Abstand von dem Fahrzeug des Fahrers erfasst wird, mit der Höhe des vorausfahrenden Fahrzeugs übereinstimmt. Daher wird, wie in 7A illustriert ist, die Seitenflächen-Kandidatengruppe auf dem vertikalen binären Bild angezeigt, und wenn die erfasste Seitenflächen-Kandidatengruppe auf das Frontbild angewendet wird, wird sie wie in 7B illustriert angezeigt.
Die zweite Kandidatenerfassungseinheit 60 kann eine fensterförmige Fahrzeug-Kandidatengruppe erfassen durch Verwendung der Seitenflächen-Kandidatengruppe und der Bodenflächen-Kandidatengruppe, die von der ersten Kandidatengruppen-Erfassungseinheit 50 erfasst wurden. Die zweite Kandidatengruppen-Erfassungseinheit 60 zieht zuerst Seitenflächen-Kandidatengruppen, die ein Paar bilden, aus Seitenflächen-Kandidatengruppen, die durch die erste Kandidatengruppen-Erfassungseinheit 50 erfasst wurden, heraus. Hier beziehen sich die Seitenflächen-Kandidatengruppen, die ein Paar bilden, auf ein Paar von Seitenflächen-Kandidatengruppen, die beide Seitenflächen eines Fahrzeugs bilden, auf der Grundlage eines Größenvergleichs mit dem Fahrzeug.
Wenn ein Paar von Seitenflächen-Kandidatengruppen herausgezogen ist, bestimmt die zweite Kandidatengruppen-Erfassungseinheit 60, ob eine Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden ist. Wenn die Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden ist, kann die zweite Kandidatengruppen-Erfassungseinheit 60 eine fensterförmige Fahrzeugkandidatengruppe durch Verwendung des Paars von Seitenflächen-Kandidatengruppen und der Bodenflächen-Kandidatengruppe erzeugen.
Wenn ein Paar von Seitenflächen-Kandidatengruppen herausgezogen ist, aber keine Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden ist, kann die zweite Kandidatengruppen-Erfassungseinheit 60 das obere und das untere Ende des Paars von Seitenflächen-Kandidatengruppen bestimmen und die Position einer Bodenfläche annehmen. Mit anderen Worten, die zweite Kandidatengruppen-Erfassungseinheit 60 kann eine Bodenflächen-Kandidatengruppe, die die unteren Enden eines Paars von Seitenflächen-Kandidatengruppen verbindet, erzeugen, wodurch eine fensterförmige Fahrzeug-Kandidatengruppe erzeugt wird.
Wenn eine Bodenflächen-Kandidatengruppe, die benachbart zu einer von einem Paar von Seitenflächen-Kandidatengruppen ist, herausgezogen ist, kann die zweite Kandidatengruppen-Erfassungseinheit 60 die Seitenflächen-Kandidatengruppen und die Bodenflächen-Kandidatengruppe verbinden, und die andere Seitenflächen-Kandidatengruppe, die der erfassten Seitenflächen-Kandidatengruppe zugewandt ist, annehmen, wodurch eine fensterförmige Fahrzeugkandidatengruppe erzeugt wird. Hier kann die zweite Kandidatengruppen-Erfassungseinheit 60 die andere Seitenflächen-Kandidatengruppe an einem Ort annehmen und erzeugen, der einen Abstand von der erfassten Seitenflächen-Kandidatengruppe um die Breite eines Fahrzeugs hat.
Wenn die zweite Kandidatengruppen-Erfassungseinheit 60 eine Fahrzeug-Kandidatengruppe durch den vorbeschriebenen Schritt erzeugt, werden mehrere Fahrzeug-Kandidatengruppen auf einem Frontbild angezeigt, wie in 8 illustriert ist.
Die Fahrzeug-Erfassungseinheit 70 filtert Fahrzeug-Kandidatengruppen, die durch die zweite Kandidatengruppen-Erfassungseinheit 60 erfasst wurden, durch Verwendung eines schwachen Klassifizierers und eines starken Klassifizierers, und kann hierdurch ein vorausfahrendes Fahrzeug aus mehreren Fahrzeug-Kandidatengruppen erfassen.
Der schwache Klassifizierer kann zwischen einem Fahrzeug und einem Nichtfahrzeug durch Verwendung eines vorher gelernten Merkmalspunktvektors eines Fahrzeugs unterscheiden. Ein Merkmalspunktvektor, der die Unterscheidung zwischen einem Fahrzeug und einem Nichtfahrzeug ermöglicht, wird erzeugt durch vorheriges Lernen von Horizontalkantendichte (die Anzahl von Kanten pro Flächeneinheit), Vertikalkantendichte und des Grads von Symmetrie zwischen Merkmalen, die das Fahrzeug und das Nichtfahrzeug unterscheiden. Das vorherige Lernen bereitet drei Merkmalspunktvektoren vor, in denen Bilder von realen Fahrzeugen und Bilder von Nichtfahrzeugen gesammelt und so normiert sind, dass sie dieselbe Größe haben, und sie werden dann gruppiert durch Verwendung der Horizontalkantendichte und der Vertikalkantendichte aus den normierten Bildern, werden gruppiert durch Verwendung der Horizontalkantendichte und des Grads der Symmetrie, und werden gruppiert durch Verwendung der Vertikalkantendichte und des Grads der Symmetrie. Weiterhin kann die Fahrzeug-Erfassungseinheit 70 zwischen einem Fahrzeug und einem Nichtfahrzeug durch Verwendung der Merkmalspunktvektoren unterscheiden.
Die Fahrzeug-Erfassungseinheit 70 vereinheitlicht die Größe einer Fahrzeug-Kandidatengruppe, so dass sie die gleiche ist wie die eines zum Lernen in dem schwachen Klassifizierer verwendeten Fahrzeugs, und erfasst dann die Horizontalkantendichte und die Vertikalkantendichte der Fahrzeug-Kandidatengruppe und berechnet den Grad von Symmetrie von dieser. Dann kann die Fahrzeug-Erfassungseinheit 70 mit den Merkmalspunktvektoren jeweils die Horizontalkantendichte und die Vertikalkantendichte der Fahrzeug-Kandidatengruppe, die Horizontalkantendichte und den Grad von Symmetrie von dieser, und die Vertikalkantendichte und den Grad von Symmetrie von dieser vergleichen, wodurch bestimmt wird, ob die Fahrzeug-Kandidatengruppe zu Fahrzeuggruppen gehört.
Der starke Klassifizierer filtert wieder die Fahrzeug-Kandidatengruppe, die durch den schwachen Klassifizierer hindurchgegangen ist, durch Verwendung einer Stützvektormaschine (SVM) entsprechend einem von Klassifizierungsalgorithmen. Wenn die Fahrzeug-Kandidatengruppe durch den starken Klassifizierer hindurchgeht, wird ein Frontbild, in welchem ein vorausfahrendes Fahrzeug erfasst wurde, wie in 9 illustriert angezeigt.
Die Fahrzeug-Erfassungseinheit 70 kann ein vorausfahrendes Fahrzeug aus mehreren Fahrzeug-Kandidatengruppen erfassen durch Verwendung von Maschinenlernen, beispielsweise eines adaptiven Verstärkungsverfahrens.
10 ist eine beispielhafte Ansicht eines Verfahrens zum Erfassen eines vorausfahrenden Fahrzeugs unter Verwendung eines adaptiven Verstärkungsverfahrens.
Durch Offline-Lernen kann ein Filtermodell enthaltend mehrere Stufen (S1, S2, ..., SN) erzeugt werden.
Die Fahrzeug-Erfassungseinheit 70 kann einen Merkmalspunktvektor in ein derartiges Filtermodell eingeben und ein vorausfahrendes Fahrzeug aus einer Fahrzeug-Kandidatengruppe erfassen.
Beispielsweise kann die Fahrzeug-Erfassungseinheit 70 einen Merkmalspunktvektor in eine erste Stufe (S1) eingeben und bestimmen, ob ein berechneter Wert der ersten Stufe (S1) einen Schwellenwert überschreitet. Weiterhin kann die Fahrzeug-Erfassungseinheit 70, wenn der berechnete Wert der ersten Stufe (S1) größer als der Schwellenwert ist, eine Berechnung einer zweiten Stufe (S2) durchführen. Zusätzlich kann die Fahrzeug-Erfassungseinheit 70 aufeinanderfolgend eine Berechnung jedes Schritts durchführen und schließlich ein vorausfahrendes Fahrzeug aus einer Fahrzeug-Kandidatengruppe erfassen.
Ein Filtermodell gemäß dem adaptiven Verstärkungsverfahren enthält, wie vorstehend beschrieben ist, mehrere Stufen vom Kaskadentyp. Die Fahrzeug-Erfassungseinheit 70 kann ein vorausfahrendes Fahrzeug aus einer Fahrzeug-Kandidatengruppe durch Verwendung eines Filtermodells vom Kaskadentyp erfassen.
Die Fahrzeug-Erfassungseinheit 70 kann die Zuverlässigkeit der Erfassung des vorausfahrenden Fahrzeugs erhöhen durch Verifizieren der Fahrzeug-Kandidatengruppe anhand mehrerer Schritte.
Wenn der berechnete Wert jedes Schritts kleiner als der Schwellenwert ist, kann die Fahrzeug-Erfassungseinheit 70 die Erfassung des vorausfahrenden Fahrzeugs in dem entsprechenden Schritt beenden. Wenn beispielsweise ein berechneter Wert des ersten Schritts (S1) kleiner als ein Schwellenwert ist, kann die Fahrzeug-Erfassungseinheit 70 die Erfassung des vorhergehenden Fahrzeugs beenden. Wie vorstehend beschrieben ist, kann die Fahrzeug-Erfassungseinheit 70 andere Objekte als ein vorausfahrendes Fahrzeug herausfiltern, ohne durch sämtliche von mehreren Stufen (S1, S2, ..., SN) hindurchzugehen. Daher kann die Filterungsberechnungsgeschwindigkeit zunehmen.
Die Erfassung eines Fahrzeugs in einem Fahrzeug-Erfassungssystem 1 nach der vorliegenden Erfindung gemäß einer derartigen Konfiguration wird nachfolgend mit Bezug auf 11 beschrieben.
Wenn die Frontkamera 10 ein Bild des Bereichs vor einem Fahrzeug aufnimmt (S1100), wird das fotografierte Frontbild zu der Störungsentfernungseinheit 20 übertragen, um eine Störung aus dem fotografierten Frontbild zu entfernen, so dass eine Kante leicht erfasst wird (S1105). Das Frontbild, aus dem eine Störung entfernt ist, wird zu der Setzeinheit 30 für einen interessierenden Bereich übertragen, und die Setzeinheit 30 für einen interessierenden Bereich setzt einen interessierenden Bereich, während der maximale Abstand für eine Fahrzeugerkennung im dreidimensionalen Raum berücksichtigt wird (S1110).
Die Kantenerfassungseinheit 40 erfasst eine Kante aus einem Frontbild, in welchem der interessierende Bereich gesetzt ist, und erzeugt ein Horizontalneigungsbild und ein Vertikalneigungsbild; und binärisiert das Horizontalneigungsbild und das Vertikalneigungsbild und erzeugt ein horizontales binäres Bild und ein vertikales binäres Bild (S1115).
Die erste Kandidatengruppen-Erfassungseinheit 50 erfasst eine Fahrzeug-Bodenflächen-Kandidatengruppe anhand des horizontalen binären Bilds, und erfasst eine Fahrzeug-Seitenflächen-Kandidatengruppe anhand des vertikalen binären Bilds (S1120). Dann erfasst die zweite Kandidatengruppen-Erfassungseinheit 60 eine Fahrzeug-Kandidatengruppe durch Verwendung der Bodenflächen-Kandidatengruppe und der Seitenflächen-Kandidatengruppe.
Die zweite Kandidatengruppen-Erfassungseinheit 60 wird mit Informationen über die erfasste Bodenflächen-Kandidatengruppe und Seitenflächen-Kandidatengruppen, die von der ersten Kandidatengruppen-Erfassungseinheit 50 erfasst wurden, und bestimmt zuerst, ob jede Seitenflächen-Kandidatengruppe ein Paar bildet (S1125). Wenn die Seitenflächen-Kandidatengruppen ein Paar bilden, bestimmt die zweite Kandidatengruppen-Erfassungseinheit 60, ob die Bodenflächen-Kandidatengruppe zwischen den Seitenflächen-Kandidatengruppen, die ein Paar bilden, vorhanden ist (S1130). Wenn eine Bodenflächen-Kandidatengruppe vorhanden ist, erzeugt die zweite Kandidatengruppen-Erfassungseinheit 60 eine fensterförmige Fahrzeug-Kandidatengruppe enthaltend ein Paar von Seitenflächen-Kandidatengruppen und die Bodenflächen-Kandidatengruppe (S1135).
Wenn die Seitenflächen-Kandidatengruppen nicht ein Paar bilden (S1125-N), bestimmt die zweite Kandidatengruppen-Erfassungseinheit 60, ob eine Bodenflächen-Kandidatengruppe benachbart den Seitenflächen-Kandidatengruppen vorhanden ist (S1145). Wenn eine Bodenflächen-Kandidatengruppe vorhanden ist, nimmt die zweite Kandidatengruppen-Erfassungseinheit 60 die andere Seitenflächen-Kandidatengruppe, die einer Seitenflächen-Kandidatengruppe zugewandt ist, auf der Grundlage der Bodenflächen-Kandidatengruppe an (S1150), und erzeugt eine fensterförmige Fahrzeug-Kandidatengruppe durch Verwendung der Seitenflächen-Kandidatengruppe, der Bodenflächen-Kandidatengruppe und der anderen Seitenflächen-Kandidatengruppe (S1135). Wenn die Seitenflächen-Kandidatengruppen nicht ein Paar bilden und keine Bodenflächen-Kandidatengruppe vorhanden ist, bestimmt die zweite Kandidatengruppen-Erfassungseinheit 60 dass die entsprechende Seitenflächen-Kandidatengruppe kein Fahrzeug ist, und ignoriert die entsprechende Seitenflächen-Kandidatengruppe.
Wenn Seitenflächen-Kandidatengruppen ein Paar bilden, aber keine Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden ist (S1130-N), nimmt die zweite Kandidatengruppen-Erfassungseinheit 60 eine Bodenflächen-Kandidatengruppe an und erzeugt diese auf der Grundlage des oberen und des unteren Endes des Paares von Seitenflächenkandidaten- Dann erzeugt die zweite Kandidatengruppen-Erfassungseinheit 60 eine fensterförmige Fahrzeug-Kandidatengruppe durch Verwendung eines Paares von Seitenflächen-Kandidatengruppen und der angenommenen Bodenflächen-Kandidatengruppe (S1135).
Wie vorstehend beschrieben ist, kann die Fahrzeug-Erfassungseinheit 70, wenn eine Fahrzeug-Kandidatengruppe durch die zweite Kandidatengruppen-Erfassungseinheit 60 erzeugt wird, einen Merkmalspunktvektor, der vorher gelernt wurde, und einen Merkmalspunktvektor der Fahrzeug-Kandidatengruppe vergleichen und dann zuerst die Fahrzeug-Kandidatengruppe filtern durch Verwendung des schwachen Klassifizierers, und zweitens die Fahrzeug-Kandidatengruppe filtern durch Verwendung einer SVM, die einem starken Klassifizierer entspricht, wodurch ein Fahrzeug erfasst wird (S1140).
Wie vorstehend beschrieben ist, erzeugt in dem Fall des Erzeugens einer Fahrzeug-Kandidatengruppe durch Verwendung von Fahrzeug-Seitenflächen-Kandidatengruppen und einer Fahrzeug-Bodenflächen-Kandidatengruppe, wenn keine von einem Paar von Seitenflächen-Kandidatengruppen und einer Bodenflächen-Kandidatengruppe vorhanden ist, das Fahrzeug-Erfassungssystem 1 gemäß der vorliegenden Erfindung die Fahrzeug-Kandidatengruppe durch Annehmen einer nicht erfassten Seitenflächen-Kandidatengruppe oder einer nicht erfassten Bodenflächen-Kandidatengruppe durch Verwendung einer erfassten Seitenflächen-Kandidatengruppe oder einer erfassten Bodenflächen-Kandidatengruppe. Daher kann, selbst wenn sämtliche Fahrzeuge nicht perfekt fotografiert sind, das Fahrzeug-Erfassungssystem 1 eine Fahrzeug-Kandidatengruppe eines vorausfahrenden Fahrzeugs erzeugen, und somit das vorausfahrende Fahrzeug genauer erfassen. Daher kann das System, wie benötigt, eine Warnung zu einem Fahrer ausgeben oder automatisch die Bremse betätigen, und somit die Sicherheit eines Fahrers gewährleisten.
Ein Standardinhalt oder Standarddokumente, die in dem vorbeschriebenen Ausführungsbeispiel erwähnt wurden und die für eine kurze Beschreibung weggelassen wurden, bilden einen Teil der vorliegenden Beschreibung. Daher sollte das Hinzufügen von einigem des vorgenannten Standardinhalts und einigen Inhalts der vorgenannten Standarddokumente zu der vorliegenden Beschreibung oder der Erwähnung von diesen in den Ansprüchen so interpretiert werden, dass diese dem Bereich der vorliegenden Erfindung entsprechen.
Obgleich die Ausführungsbeispiele der vorliegenden Erfindung zu veranschaulichenden Zwecken beschrieben wurden, ist für den Fachmann offensichtlich, dass verschiedene Modifikationen, Hinzufügungen und Substitutionen möglich sind, ohne den Bereich und den Geist der Erfindung zu verlassen. Daher wurden beispielhafte Aspekte der vorliegenden Erfindung nicht zu beschränkenden Zwecken beschrieben. Der Bereich der vorliegenden Erfindung soll auf der Grundlage der begleitenden Ansprüche in einer solchen Weise ausgelegt werden, dass sämtliche technischen Ideen, die in dem zu den Ansprüchen äquivalenten Bereich enthalten sind, zu der vorliegenden Erfindung gehören.

Claims

Fahrzeug-Erfassungssystem, welches aufweist: eine Kamera (10), die ein Bild eines Bereichs vor einem Fahrzeug aufnimmt; eine Kantenerfassungseinheit (40), die eine Kante in einem von der Kamera (10) aufgenommenen Bild erfasst und ein horizontales binäres Bild und ein vertikales binäres Bild erzeugt; eine erste Kandidatengruppen-Erfassungseinheit (50), die eine Bodenflächen-Kandidatengruppe bezogen auf ein vorausfahrendes Fahrzeug in dem horizontalen binären Bild erfasst und eine Seitenflächen-Kandidatengruppe bezogen auf das vorausfahrende Fahrzeug in dem vertikalen binären Bild erfasst; eine zweite Kandidatengruppen-Erfassungseinheit (60), die konfiguriert ist zum, wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen bezogen auf das Paar von Seitenflächen-Kandidatengruppen nicht erfasst wird, Schätzen der Seitenflächen-Kandidatengruppe oder Bodenflächen-Kandidatengruppe, und zum Erzeugen einer Fahrzeug-Kandidatengruppe; und eine Fahrzeug-Erfassungseinheit (70), die die Fahrzeug-Kandidatengruppe filtert und das vorausfahrende Fahrzeug erfasst.
System nach Anspruch 1, bei dem, wenn nur das Paar von Seitenflächen-Kandidatengruppen erfasst wird, die zweite Kandidatengruppen-Erfassungseinheit (60) eine Bodenflächen-Kandidatengruppe durch das untere Ende des Paares der Seitenflächen-Kandidatengruppe schätzt, wodurch die Fahrzeug-Kandidatengruppe erzeugt wird.
System nach einem der Ansprüche 1 oder 2, bei dem, wenn nur eine Seitenflächen-Kandidatengruppe erfasst wird und eine Bodenflächen-Kandidatengruppe benachbart der einen Seitenflächen-Kandidatengruppe erfasst wird, die zweite Kandidatengruppen-Erfassungseinheit (60) die andere Seitenflächen-Kandidatengruppe, die der einen Seitenflächen-Kandidatengruppe zugewandt ist, so schätzt, dass sie benachbart der Bodenflächen-Kandidatengruppe ist, wodurch die Fahrzeug-Kandidatengruppe erzeugt wird.
System nach Anspruch 3, bei dem die zweite Kandidatengruppen-Erfassungseinheit (60) die andere Seitenflächen-Kandidatengruppe an der Position in einem Abstand von der einen Seitenflächen-Kandidatengruppe entsprechend der Breite eines Fahrzeugs erzeugt.
System nach einem der Ansprüche 1 bis 4, bei dem, wenn das Paar von Seitenflächen-Kandidatengruppen und eine Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden sind, die zweite Kandidatengruppen-Erfassungseinheit (60) das Paar von Seitenflächen-Kandidatengruppen und die Bodenflächen-Kandidatengruppe verbindet, wodurch eine Fahrzeug-Kandidatengruppe erzeugt wird.
System nach einem der Ansprüche 1 bis 5, weiterhin aufweisend eine Setzeinheit (30) für einen interessierenden Bereich zum Setzen eines interessierenden Bereichs auf der Grundlage des maximalen Abstands, in welchem ein vorausfahrendes Fahrzeug anhand eines von der Kamera (10) aufgenommenen Bildes erfasst werden kann, wobei die Kantenerfassungseinheit (40) eine Kante von einem von der Setzeinheit (30) für einen interessierenden Bereich gesetzten interessierenden Bereich erfasst und das horizontale binäre Bild und das vertikale binäre Bild erzeugt.
System nach einem der Ansprüche 1 bis 6, bei dem die Fahrzeug-Erfassungseinheit (70) das vorausfahrende Fahrzeug aus der Fahrzeug-Kandidatengruppe durch Verwendung eines durch ein adaptives Verstärkungsverfahren erzeugten Filtermodells vom Kaskadentyp erfasst.
Fahrzeug-Erfassungsverfahren, welches aufweist: Fotografieren eines Bereichs vor einem Fahrzeug; Erfassen einer Kante von einem von der Kamera (10) aufgenommenen Bild und Erzeugen eines horizontalen binären Bilds und eines vertikalen binären Bild; Erfassen einer Bodenflächen-Kandidatengruppe bezogen auf ein vorausfahrendes Fahrzeug aus dem horizontalen binären Bild und Erfassen einer Seitenflächen-Kandidatengruppe bezogen auf das vorausfahrende Bild aus dem vertikalen binären Bild; wenn eine von einem Paar von Seitenflächen-Kandidatengruppen und Bodenflächen-Kandidatengruppen des Paares von Seitenflächen-Kandidatengruppen nicht erfasst wird, Schätzen der Seitenflächen-Kandidatengruppe und Bodenflächen-Kandidatengruppe, und Erzeugen einer Fahrzeug-Kandidatengruppe; und Filtern der Fahrzeug-Kandidatengruppe und Erfassen des vorausfahrenden Fahrzeugs.
Verfahren nach Anspruch 8, bei dem, wenn nur das Paar von Seitenflächen-Kandidatengruppen erfasst wird, das Erzeugen einer Fahrzeug-Kandidatengruppe das Erzeugen der Fahrzeug-Kandidatengruppe durch Schätzen einer Bodenflächen-Kandidatengruppe durch das untere Ende des Paares von Seitenflächen-Kandidatengruppen ist.
Verfahren nach einem der Ansprüche 8 und 9, bei dem, wenn nur eine Seitenflächen-Kandidatengruppe erfasst wird und eine Bodenflächen-Kandidatengruppe benachbart der einen Seitenflächen-Kandidatengruppe vorhanden ist, das Erzeugen der Fahrzeug-Kandidatengruppe das Erzeugen der Fahrzeug-Kandidatengruppe durch Schätzen der anderen Seitenflächen-Kandidatengruppe, die der einen Seitenflächen-Kandidatengruppe zugewandt ist, derart, dass sie benachbart der Bodenflächen-Kandidatengruppe ist, ist.
Verfahren nach Anspruch 10, bei dem das Erzeugen der Fahrzeug-Kandidatengruppe das Erzeugen der anderen Seitenflächen-Kandidatengruppe an der Position, die einen Abstand von der einen Seitenflächen-Kandidatengruppe entsprechend der Breite eines Fahrzeugs hat, aufweist.
Verfahren nach einem der Ansprüche 8 bis 11, bei dem, wenn das Paar von Seitenflächen-Kandidatengruppen und eine Bodenflächen-Kandidatengruppe zwischen dem Paar von Seitenflächen-Kandidatengruppen vorhanden sind, das Erzeugen einer Fahrzeug-Kandidatengruppe das Erzeugen einer Fahrzeug-Kandidatengruppe durch Verbinden des Paares von Seitenflächen-Kandidatengruppen und der Bodenflächen-Kandidatengruppe ist.
Verfahren nach einem der Ansprüche 8 bis 12, weiterhin aufweisend das Setzen eines interessierenden Bereichs auf der Grundlage des maximalen Abstands, in welchem ein vorausfahrendes Fahrzeug anhand eines von der Kamera (10) aufgenommenen Bildes erfasst werden kann, wobei bei der Erzeugung des horizontalen binären Bildes und des vertikalen binären Bildes eine Kante aus einem interessierenden Bereich zwischen von der Kamera (10) aufgenommenen Bildern erfasst wird und das horizontale binäre Bild und das vertikale binäre Bild erzeugt werden.
Verfahren nach einem der Ansprüche 8 bis 13, bei dem bei der Erfassung des vorausfahrenden Fahrzeugs das vorausfahrende Fahrzeug aus der Fahrzeug-Kandidatengruppe durch Verwendung eines durch ein adaptives Verstärkungsverfahren erzeugten Filtermodells vom Kaskadentyp erfasst wird.