DE112017005670T5

DE112017005670T5 - Parklücken-Erkennungsvorrichtung

Info

Publication number: DE112017005670T5
Application number: DE112017005670.5T
Authority: DE
Inventors: Daisuke SUGIURA
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-11-10
Filing date: 2017-10-30
Publication date: 2019-08-08
Also published as: WO2018088262A1; JP2018077705A; CN109923586B; CN109923586A; JP6677141B2

Abstract

Eine Parklücken-Erkennungsvorrichtung (20) der vorliegenden Offenbarung umfasst einen Bilderfassungsabschnitt (S110), einen Linien-Extraktionsabschnitt (S120, S150) und einen Verfügbare-Lücke-Erkennungsabschnitt (S210, S220). Der Bilderfassungsabschnitt ist eingerichtet, eine Mehrzahl von aufgenommenen Bildern zu erfassen, die jeweilige aufgenommene Bilder bezeichnen, die von einer Mehrzahl von Abbildungsvorrichtungen aufgenommen wurden, die an verschiedenen Positionen eines eigenen Fahrzeugs angeordnet sind. Der Linien-Extraktionsabschnitt ist eingerichtet, eine Parklücke aus der Mehrzahl von aufgenommenen Bildern zu extrahieren und eine Ziellinie zu extrahieren, die eine Linie bezeichnet, die einen Randteil der Parklücke auf einer weiter vom eigenen Fahrzeug entfernten Seite definiert. Der Verfügbare-Lücke-Erkennungsabschnitt ist eingerichtet, zu bestimmen, ob Formen der Ziellinie dieselben für dieselbe Parklücke sind, die aus der Mehrzahl von aufgenommenen Bildern extrahiert wurde, und eine Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt wurden, als eine verfügbare Parklücke zu erkennen.

Description

Querverweis zu zugehörigen Anmeldungen
Die vorliegende internationale Anmeldung basiert auf und beansprucht den Vorteil der Priorität von der früheren, am 10. November 2016 eingereichten japanischen Patentanmeldung Nr. 2016-219644 , deren gesamter Inhalt durch Verweis hierin aufgenommen wird.
Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Technologie zum Erkennen einer verfügbaren Parklücke, die eine Parklücke bezeichnet, in welcher ein eigenes Fahrzeug geparkt werden kann.
Technischer Hintergrund
Die folgende PTL 1 schlägt als eine Technologie zur Erkennung einer verfügbaren Parklücke eine Technologie vor, die in dem Fall, wenn eine weiße Linie auf einer weiter von einem eigenen Fahrzeug entfernten Seite länger ist als eine weiße Linie auf einer Seite näher zu dem eigenen Fahrzeug inmitten von weißen Linien, welche eine Parklücke konstituieren, welche von dem eigenen Fahrzeug beobachtet werden kann, bestimmt, dass eine Parklücke eine verfügbare Parklücke ist.
Zitierliste
Patentliteratur
[PTL 1] JP 2016-016681 A
Zusammenfassung der Erfindung
Als ein Ergebnis von detaillierter Überlegung durch den Erfinder wurde ein Problem gefunden, dass bei der Technologie der vorstehend beschriebenen PTL 1 in dem Fall, wenn ein Fahrzeug mit einer kurzen Fahrzeuglänge, so wie ein leichtes Fahrzeug, in einer Parklücke geparkt wird, zumal es einen Fall gibt, wenn die weiße Linie auf einer weiter von dem eigenen Fahrzeug entfernten Seite als länger als die weiße Linie auf einer Seite näher zu dem eigenen Fahrzeug beobachtet wird, eine Parklücke, in welcher ein anderes Fahrzeug geparkt ist, leicht fälschlicherweise als eine verfügbare Parklücke erkannt werden kann.
Ein Aspekt der vorliegenden Offenbarung ist, eine Technologie anzugeben, die die Erkennung einer verfügbaren Parklücke mit höherer Genauigkeit bei einer Parklücken-Erkennungsvorrichtung ermöglicht, welche eine verfügbare Parklücke erkennt, die eine Parklücke bezeichnet, in welcher ein eigenes Fahrzeug geparkt werden kann.
Eine Parklücken-Erkennungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung umfasst einen Bilderfassungsabschnitt, einen Linien-Extraktionsabschnitt und einen Verfügbare-Lücke-Erkennungsabschnitt. Der Bilderfassungsabschnitt ist eingerichtet, eine Mehrzahl von aufgenommenen Bildern zu erfassen, welche die jeweiligen aufgenommenen Bilder bezeichnen, die von einer Mehrzahl von Abbildungsvorrichtungen aufgenommen wurden, welche an verschiedenen Positionen eines eigenen Fahrzeugs angeordnet sind.
Der Linien-Extraktionsabschnitt ist eingerichtet, eine Parklücke aus der Mehrzahl von aufgenommenen Bildern zu extrahieren und eine Ziellinie zu extrahieren, die eine Linie bezeichnet, die einen Randteil der Parklücke auf einer vom eigenen Fahrzeug weiter entfernten Seite definiert. Der Verfügbare-Lücke-Erkennungsabschnitt ist eingerichtet, zu bestimmen, ob Formen der Ziellinie für dieselbe Parklücke, die aus der Mehrzahl von aufgenommenen Bildern extrahiert wurde, dieselben sind, und eine Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt werden, als eine verfügbare Parklücke zu erkennen.
D. h., die Parklücken-Erkennungsvorrichtung der vorliegenden Offenbarung verwendet Merkmale, dass im Falle, wenn es ein geparktes Fahrzeug in einer Parklücke gibt, die Formen derselben Ziellinie, die an verschiedenen Positionen aufgenommen wurden, als verschiedene Formen beobachtet werden, als ein Ergebnis davon, dass die Ziellinie durch das geparkte Fahrzeug versteckt wird. Es sei darauf hingewiesen, dass die Formen der Ziellinie entsprechend einem Übereinstimmungsgrad von Vergleichsparametern wie der Anzahl der Ecken der Linie, einer Länge der Linie, einem Seitenverhältnis und einer Krümmung eines Rands bestimmt werden können. Der Übereinstimmungsgrad kann bestimmt werden, indem z. B. die Parameter für den Vergleich mit Schwellenwerten verglichen werden.
Gemäß einer solchen Parklücken-Erkennungsvorrichtung ist es möglich, eine verfügbare Parklücke mit hoher Genauigkeit zu erkennen, weil je nachdem, ob die Formen derselben Ziellinie, die an verschiedenen Positionen aufgenommen werden, dieselben sind, bestimmt wird, ob eine Parklücke eine verfügbare Parklücke ist.
Es sei darauf hingewiesen, dass die in Klammern gesetzten Bezugszeichen in den Ansprüchen eine Korrespondenzbeziehung mit spezifischen Mitteln bezeichnen, die in einer Ausführungsform beschrieben sind, die später als ein Aspekt beschrieben wird, und keinen technischen Umfang der vorliegenden Offenbarung einschränken.
Figurenliste

1 ist ein Blockdiagramm zur Darstellung einer Konfiguration eines Abbildungssystems.
2 ist ein Flussdiagramm, welches die Verarbeitung einer Verfügbare-Parklücke-Erkennung darstellt.
3 ist ein Bilddiagramm, welches ein Beispiel eines von einer Frontkamera aufgenommenen Bilds darstellt.
4 ist ein Bilddiagramm, welches ein Beispiel eines von einer linken Kamera aufgenommen Bilds darstellt.
5 ist eine Vogelperspektive zur Darstellung eines Beispiels einer möglichen Erscheinung einer Ziellinie.

Beschreibung der Ausführungsformen
Eine Ausführungsform der vorliegenden Offenbarung wird nachstehend anhand der Zeichnungen beschrieben.
Ausführungsform
Konfiguration
Wie in 1 dargestellt, umfasst ein Abbildungssystem 1 der vorliegenden Ausführungsform, welches ein in einem Fahrzeug wie einem Personenwagen eingebautes System ist, eine Steuereinheit 10. Weiter kann das Abbildungssystem 1 eine Frontkamera 4F, eine Heckkamera 4B, eine rechte Kamera 4R, eine linke Kamera 4L, eine Anzeigeeinheit 30, eine Fahrzeug-Steuereinheit 32 oder Ähnliches umfassen. Es sei darauf hingewiesen, dass ein Fahrzeug, in welchem das Abbildungssystem 1 eingebaut ist, auch als ein eigenes Fahrzeug bezeichnet wird.
Die Frontkamera 4F bzw. die Heckkamera 4B haben die Funktion, Straßen vor bzw. hinter dem eigenen Fahrzeug abzubilden, und werden in einem Frontteil bzw. in einem Heckteil des eigenen Fahrzeugs befestigt. Weiter haben die rechte Kamera 4R bzw. die linke Kamera 4L die Funktion, Straßen auf einer rechten Seite bzw. auf einer linken Seite des eigenen Fahrzeugs abzubilden, und werden an einer rechten Seitenoberfläche bzw. an einer linken Seitenoberfläche befestigt. D. h. die Frontkamera 4F, die Heckkamera 4B, die rechte Kamera 4R und die linke Kamera 4L werden jeweils an verschiedenen Positionen des eigenen Fahrzeugs angeordnet. Hierbei bedeuten die verschiedenen Positionen, dass die Abbildungsvorrichtungen nicht auf derselben vertikalen Linie angeordnet sind, sondern auf verschiedenen vertikalen Linien angeordnet sind.
Die Steuereinheit 10 erzeugt aus Bildern, die von diesen Kameras 4F, 4B, 4R und 4L aufgenommen wurden, ein aus einer vertikalen Richtung gesehenes Vogelperspektiven-Bild einer Straße um das Fahrzeug. Die Steuereinheit 10 veranlasst dann die Anzeigeeinheit 30, welche als ein Flüssigkristall-Display oder Ähnliches konfiguriert ist, und welche im Fahrzeuginnern angeordnet ist, das erzeugte Vogelperspektiven-Bild anzuzeigen.
Weiter erkennt die Steuereinheit 10 eine verfügbare Parklücke aus den Bildern, die von diesen Kameras 4F, 4B, 4R und 4L aufgenommen wurden. Es sei darauf hingewiesen, dass die Parklücke eine Fläche zwischen wenigstens einer Linie, welche eine Breite innerhalb eines vorher festgelegten Bereichs hat, und einem Objekt mit einer Seite oder einer Linie parallel zu der Linie an einer Position, welche von der Linie um einen Abstand entsprechend der Breite eines Fahrzeugs entfernt ist, bezeichnet.
Weiter bezeichnet die verfügbare Parklücke eine Parklücke, in welcher das eigene Fahrzeug geparkt werden kann. Weiter beinhaltet der hier beschriebene Begriff „parallel“ „im Wesentlichen parallel“. Des Weiteren korrespondiert das hier beschriebene „Objekt mit einer Seite oder einer Linie parallel zu der Linie“ beispielsweise zu einem Bordstein, anderen Linien, einer Wand, einem Baum, einem Geländer oder Ähnlichem.
Die Steuereinheit 10 umfasst eine Abbildungssignal-Eingabeeinheit 12, eine Detektionssignal-Eingabeeinheit 14, einen Speicher 16, eine Anzeige-Steuereinheit 18 und eine Bildverarbeitungseinheit 20.
Die Abbildungssignal-Eingabeeinheit 12 hat eine Funktion zum Aufnehmen von Abbildungssignalen von der Frontkamera 4F, der Heckkamera 4B, der rechten Kamera 4R und der linken Kamera 4L und zum Eingeben der Abbildungssignale in die Bildverarbeitungseinheit 20 als aufgenommene Bilddaten.
Die Detektionssignal-Eingabeeinheit 14 hat eine Funktion zum Aufnehmen jedes der Detektionssignale von einem Radgeschwindigkeits-Sensor 6, welcher eine Rotationsgeschwindigkeit von jedem Rad des eigenen Fahrzeugs detektiert, und von einem Lenkungswinkel-Sensor 8, welcher einen Lenkungswinkel von einer Lenkung detektiert, zum Umwandeln der Detektionssignale in Radgeschwindigkeits-Daten und Lenkungswinkeldaten, und zum Eingeben der Daten in die Bildverarbeitungseinheit 20.
Die Bildverarbeitungseinheit 20 ist hauptsächlich durch einen bekannten Mikrocomputer konfiguriert, der eine CPU 18 und einen Halbleiterspeicher (nachstehend einen Speicher 16), wie einen RAM, einen ROM und einen Flashspeicher, umfasst. Verschiedene Arten von Funktionen der Bildverarbeitungseinheit 20 sind durch die CPU 18 implementiert, die ein Programm ausführt, das in einem nichtflüchtigen materiellen Aufzeichnungsmedium gespeichert ist. In diesem Beispiel korrespondiert der Speicher 16 zu einem nichtflüchtigen materiellen Aufzeichnungsmedium, in welchem das Programm gespeichert ist.
Weiter wird, indem dieses Programm ausgeführt wird, ein Verfahren korrespondierend zu dem Programm ausgeführt. Es sei darauf hingewiesen, dass das nichtflüchtige materielle Aufzeichnungsmedium ein Aufzeichnungsmedium außer elektromagnetischen Wellen meint. Weiter kann die Bildverarbeitungseinheit 20 durch eine oder eine Mehrzahl von Mikrocomputern konfiguriert sein.
Die Bildverarbeitungseinheit 20 umfasst eine Linien-Detektionseinheit 22, eine Positions-Assoziations-Einheit 24, eine Lücken-Schätzungseinheit 26 und eine Nachverfolgungs-Einheit 28, wie in 1 dargestellt, als eine Konfiguration für Funktionen, die durch die CPU 18 implementiert sind, die das Programm ausführt. Ein Weg, diese Elemente, die die Bildverarbeitungseinheit 20 konstituieren, zu implementieren, ist nicht auf Software beschränkt, und ein Teil oder alle der Elemente können durch eine oder eine Mehrzahl von Arten von Hardware implementiert sein. Zum Beispiel kann in dem Fall, wenn die vorstehend beschriebenen Funktionen durch einen elektronischen Schaltkreis implementiert sind, welcher Hardware ist, der elektronische Schaltkreis durch einen digitalen Schaltkreis, welcher eine Anzahl von logischen Schaltkreisen umfasst, einen analogen Schaltkreis oder die Kombination davon implementiert sein.
Als eine Funktion der Linien-Detektionseinheit 22 wird die Verarbeitung zum Detektieren einer Linie wie einer weißen Linie und einer gelben Linie durchgeführt, indem Bildverarbeitung wie eine bekannte Hough-Transformation an den aufgenommenen Bildern durchgeführt wird.
Als eine Funktion der Positions-Assoziationseinheit 24 wird für jede detektierte Linie die Verarbeitung zum Bestimmen, ob Linien, die innerhalb eines Abbildungsbereichs, der mit anderen Kameras gemeinsam ist, dieselbe Linie sind, und zum Assoziieren der Linien, die dieselben sind, durchgeführt. Es sei darauf hingewiesen, dass Korrespondenzinformation, in welcher Abbildungsbereiche, die mit anderen Kameras gemeinsam sind, und korrespondierende Koordinaten vorab für jede Kamera festgelegt werden, in dem Speicher 16 gespeichert wird, und dass unter Verwendung dieser Korrespondenzinformation bestimmt wird, ob die Linien dieselbe Linie sind.
Als eine Funktion der Lücken-Schätzungseinheit 26 wird die Verarbeitung zum Schätzen eines oder einer Mehrzahl von Parklücken, die in dem aufgenommenen Bild existieren, und zum Schätzen einer verfügbaren Parklücke aus diesen Parklücken durchgeführt.
Als eine Funktion der Nachverfolgungs-Einheit 28 wird die Verarbeitung zum Nachverfolgen eines Objekts in dem aufgenommenen Bild durch Assoziieren der Menge der Bewegung des eigenen Fahrzeugs mit der Menge der Bewegung des Objekts in dem aufgenommenen Bild durchgeführt. Insbesondere wird in der vorliegenden Ausführungsform eine Parklücke nachverfolgt, und eine Position der Parklücke wird erkannt. Information über die Position der verfügbaren Parklücke wird an die Fahrzeug-Steuereinheit 32 übermittelt.
Weiter wird als eine Funktion der Nachverfolgungs-Einheit 28 ein Bild, das eine Parklücke bezeichnet, erzeugt, während die Menge der Bewegung des eigenen Fahrzeugs berücksichtigt wird, und dieses Bild wird an die Anzeige-Steuereinheit 18 ausgegeben. Die Anzeige-Steuereinheit 18 wandelt das von der Bildverarbeitungseinheit übertragene Bild in ein Bildsignal um, welches auf der Anzeigeeinheit 30 angezeigt werden kann, und überträgt das Bildsignal an die Anzeigeeinheit 30.
Die Fahrzeug-Steuereinheit 32 erhält die Position der verfügbaren Parklücke, erzeugt eine Trajektorie des eigenen Fahrzeugs zum Parken des Fahrzeugs in der verfügbaren Parklücke und steuert Beschleunigung und Verlangsamung des eigenen Fahrzeugs, einen Lenkungswinkel des eigenen Fahrzeugs oder Ähnliches, um das eigene Fahrzeug entsprechend dieser Trajektorie zu bewegen.
Verarbeitung
Die Verfügbare-Parklücke-Erkennungsverarbeitung, die von der Bildverarbeitungseinheit 20 ausgeführt werden soll, wird als nächstes anhand eines Flussdiagramms in 2 beschrieben. Die Verfügbare-Parklücke-Erkennungsverarbeitung wird zum Beispiel gestartet, wenn das eigene Fahrzeug in Betrieb gesetzt wird, und wird danach wiederholt durchgeführt. Die Verfügbare-Parklücke-Erkennungsverarbeitung kann für jeden Abbildungszyklus der Kameras aktiviert werden.
Wie in 2 dargestellt, werden in der Verfügbare-Parklücke-Erkennungsverarbeitung zuerst in S110 Bilder, die von den Kameras aufgenommen werden, erfasst. Bei dieser Verarbeitung werden die jeweiligen aufgenommenen Bilder, die von der Frontkamera 4F, der rechten Kamera 4R und der linken Kamera 4L im Wesentlichen zu derselben Zeit aufgenommen werden, erfasst.
Als das aufgenommene Bild, das von der Frontkamera 4F aufgenommen wird, wird zum Beispiel ein aufgenommenes Bild erhalten, wie in 3 dargestellt, und als das aufgenommene Bild, das von der linken Kamera 4L aufgenommen wird, wird zum Beispiel ein aufgenommenes Bild erhalten, wie in 4 dargestellt. Es sei darauf hingewiesen, dass, während es möglich ist, eine beliebige Kombination von zwei oder mehreren aufgenommenen Bildern, die von den jeweiligen Kameras 4F, 4B, 4R und 4L aufgenommen wurden, die in dem Fahrzeug montiert sind, in der anschließenden Verarbeitung zu verwenden, in der vorliegenden Ausführungsform, um die Erläuterung zu vereinfachen, nur ein Beispiel beschrieben wird, bei dem die Kombination der aufgenommenen Bilder, die von der Frontkamera 4F und der linken Kamera 4L aufgenommen werden, verwendet wird.
Anschließend wird in S120 eine Linie, wie eine weiße Linie und eine gelbe Linie, für jedes der erfassten aufgenommenen Bilder detektiert. Bei dieser Verarbeitung werden alle in dem aufgenommenen Bild existierenden Linien detektiert, indem Ränder detektiert werden, welche Begrenzungen von Helligkeit und Farbe in einer Anzahl von Pixeln sind, welche das aufgenommene Bild konstituieren, und indem eine Verarbeitung wie eine bekannte Hough-Transformation an den Rändern durchgeführt wird. Die hier beschriebene Linie hat eine Breite und umfasst zum Beispiel Farbe auf der Straße. Es sei darauf hingewiesen, dass die detektierte Linie als eine detektierte Linie bezeichnet werden wird. In den in 3 und 4 dargestellten Beispielen sind alle Linien 41, 42 und 43 von den weißen Linien 40, welche alle Parklücken bezeichnen, detektierte Linien.
Anschließend wird in S130 bestimmt, ob eine Mehrzahl von detektierten Linien in jedem der aufgenommenen Bilder existiert. Bei der vorliegenden Verarbeitung wird, zumal eine Fläche zwischen zwei Linien als eine Parklücke erkannt wird, in dem Fall, wenn nicht zwei oder mehrere Linien detektiert werden, erkannt, dass dort keine Parklücke ist. Daher kann die Verarbeitung in S130 als eine Verarbeitung zum Bestimmen, ob eine Parklücke möglicherweise existiert, angesehen werden.
Wenn keine Mehrzahl von detektierten Linien existiert, wird in S240 die Information, die bezeichnet, dass keine verfügbare Parklücke existiert, in dem Speicher 16 gespeichert, und die Verfügbare-Parklücke-Erkennungsverarbeitung wird beendet. Indessen werden, wenn eine Mehrzahl von detektierten Linien existiert, alle der aufgenommenen Bilder oder wenigstens der detektierten Linien in den aufgenommenen Bildern, die in S140 erhalten wurden, in ein ebenes Koordinatensystem umgewandelt. Diese Verarbeitung muss nur durch eine bekannte Verarbeitung zum Erzeugen eines aus der vertikalen Richtung gesehenen Vogelperspektiven-Bilds des aufgenommenen Bilds implementiert werden.
Anschließend wird Parklücken-Schätzung in S150 durchgeführt. Bei dieser Verarbeitung wird eine Parklücke aus der Mehrzahl von aufgenommenen Bildern extrahiert. Als die Parklücke wird eine Fläche extrahiert, die zwischen wenigstens zwei Linien ist und welche eine Fläche ist, in welcher ein Intervall zwischen den beiden Linien innerhalb eines bezogen auf die Breite eines Fahrzeugs vorher festgelegten Bereichs ist. In diesem Fall werden alle Parklücken, die in den aufgenommenen Bildern existieren, extrahiert. In den in 3 und 4 dargestellten Beispielen werden eine Fläche zwischen den weißen Linien 41 und 42 und eine Fläche zwischen den weißen Linien 42 und 43 als Parklücken extrahiert. Während eine Fläche zwischen den weißen Linien 41 und 43 als eine Parklücke extrahiert werden kann, zumal in der vorliegenden Verarbeitung nur eine Fläche, in welcher der Abstand zwischen weißen Linien innerhalb eines vorher festgelegten Bereichs ist, als eine Parklücke erkannt wird, wird die Fläche zwischen den weißen Linien 41 und 43 von der Parklücke ausgenommen.
Es sei darauf hingewiesen, dass, wenn die Parklücke extrahiert wird, es auch möglich ist, nur eine spezifische Parklücke zu extrahieren, so wie eine Parklücke, die am nächsten zu dem eigenen Fahrzeug ist, und eine Parklücke, die nur auf eine rechten oder auf einer linken Seite des eigenen Fahrzeugs angeordnet ist. Weiter wird in dieser Verarbeitung eine Ziellinie extrahiert, die eine Linie bezeichnet, welche einen Randteil der Parklücke auf einer weiter vom eigenen Fahrzeug entfernten Seite definiert. In den in 3 und 4 dargestellten Beispielen wird die weiße Linie 42 zu einer Ziellinie in der Parklücke zwischen den weißen Linien 41 und 42, und die weiße Linie 43 wird zu einer Ziellinie in der Parklücke zwischen den weißen Linien 42 und 43.
Anschließend wird in S160 bestimmt, ob es einen Kandidaten für die Parklücke gibt. Der hier beschriebene Kandidat für die Parklücke umfasst eine verfügbare Parklücke, aber ist nicht auf die verfügbare Parklücke beschränkt, und bezeichnet eine typische Parklücke, welche eine Parklücke umfasst, in welcher kein anderes Fahrzeug bereits geparkt ist.
Wenn ein Kandidat für die Parklücke nicht existiert, geht die Verarbeitung zu dem vorstehend beschriebenen S240 über. Indessen wird, wenn ein Kandidat für die Parklücke existiert, in S210 bestimmt, ob die Formen der Ziellinie in den Abbildungsregionen, die mit einer Mehrzahl von aufgenommenen Bildern gemeinsam sind, dieselben sind.
Bei dieser Verarbeitung wird zuerst dieselbe Parklücke, die aus verschiedenen Positionen beobachtet wird, aus der Mehrzahl von aufgenommenen Bildern extrahiert, und die Formen derselben Ziellinie, die diese Parklücke konstituiert, werden verglichen. Dieselbe Parklücke wird spezifiziert, indem eine gemeinsame Region spezifiziert wird, in welcher dasselbe Objekt in einer Mehrzahl von aufgenommenen Bildern erscheint, unter der Bedingung, dass die Mehrzahl von aufgenommenen Bildern erhalten werden, zum Beispiel Versätze der Anordnung von einer Mehrzahl von Kameras, und indem eine Parklücke extrahiert wird, welche innerhalb einer Region ist, die mit einer Parklücke in einem bestimmten aufgenommenen Bild gemeinsam ist.
Weiter werden, wenn die Formen der Ziellinie verglichen werden, zum Beispiel Längen der Ziellinie verglichen. Hierbei bezeichnet die Länge der Linie eine Länge von der Linie in einer Längsrichtung. Die Längsrichtung ist eine Richtung senkrecht zu einer Breitenrichtung der Linie. In dem Fall, wenn die Längen der Ziellinie verglichen werden, werden zum Beispiel, wie in 3 und 4 dargestellt, Längen L1 und L2 derselben weißen Linie 42 verglichen. Die Längen der weißen Linie, deren Koordinaten in ein ebenes Koordinatensystem umgewandelt werden, werden verglichen.
Wie in 5 dargestellt, sind in dem Fall, wenn ein Auto in der Parklücke geparkt ist, ein Anteil der weißen Linie 42 durch dieses Fahrzeug versteckt, und versteckte Teile von der weißen Linie 42 sind abhängig von Abbildungspositionen der Kameras verschieden. Daher tritt ein Unterschied in der von den Kameras beobachteten Längen der weißen Linie 42 auf.
Indessen wird eine Ziellinie wie zum Beispiel die weiße Linie 43 einer Parklücke, in welcher kein Fahrzeug geparkt ist, beobachtet, ohne dass die gesamte Ziellinie durch ein Fahrzeug in einem relativ großen Bereich verdeckt ist. In diesem Fall wird der Unterschied in den Längen der Ziellinie klein.
Daher wird in der vorliegenden Ausführungsform erkannt, dass die Formen dieselben sind, wenn der Unterschied in den Längen der Ziellinie innerhalb einer vorher festgelegten Schwelle ist. Wenn die Längen der Ziellinie dieselben in S210 sind, wird die Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt werden, in S220 als eine verfügbare Parklücke erkannt. Weiter wird in S230, wenn die Formen der Ziellinie nicht dieselben sind, erkannt, dass die Parklücke, für welche die Formen der Ziellinie als nicht dieselben bestimmt werden, keine verfügbare Parklücke ist.
Nachdem solche Verarbeitung beendet ist, ist die Verfügbare-Parklücke-Erkennungsverarbeitung beendet.
Effekte
Gemäß der vorstehend im Detail beschriebenen Ausführungsform werden die folgenden Effekte erreicht.
(1a) In dem vorstehend beschriebenen Abbildungssystem 1 erfasst die Bildverarbeitungseinheit 20 eine Mehrzahl aufgenommener Bilder, die zugehörige aufgenommene Bilder bezeichnen, die von einer Mehrzahl von Abbildungsvorrichtungen aufgenommen wurden, die an verschiedenen Positionen des eigenen Fahrzeugs angeordnet sind. Die Bildverarbeitungseinheit 20 extrahiert dann einen Parkplatz aus der Mehrzahl aufgenommener Bilder und extrahiert eine Ziellinie, die eine Linie bezeichnet, die einen Randteil der Parklücke auf einer weiter von dem eigenen Fahrzeug entfernten Seite definiert. Weiter bestimmt die Bildverarbeitungseinheit 20, ob die Formen der Ziellinie dieselben für dieselbe Parklücke sind, die aus der Mehrzahl aufgenommener Bilder extrahiert wurde, und erkennt eine Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt wurden, als eine verfügbare Parklücke.
Gemäß einem solchen Abbildungssystem 1 ist es möglich, eine verfügbare Parklücke mit hoher Genauigkeit zu erkennen, da bestimmt wird, ob die Parklücke eine verfügbare Parklücke ist, je nachdem, ob die Formen derselben Ziellinie, deren Bilder an verschiedenen Positionen aufgenommen werden, dieselben sind.
(1b) In dem vorstehend beschriebenen Abbildungssystem 1 bestimmt die Bildverarbeitungseinheit 20, ob die Längen der Ziellinie dieselben sind wie die Formen der Ziellinie.
Gemäß einem solchen Abbildungssystem 1 ist es möglich, zumal die Formen der Ziellinie bestimmt werden, indem die Längen der Ziellinie verglichen werden, eine verfügbare Parklücke durch eine simple Konfiguration zu erkennen, verglichen mit einer Konfiguration, bei der die Formen der gesamten Linie bestimmt werden.
(1c) In dem vorstehend beschriebenen Abbildungssystem 1 extrahiert die Bildverarbeitungseinheit 20 eine Fläche zwischen wenigstens zwei Linien als die Parklücke.
Gemäß einem solchen Abbildungssystem 1 ist es möglich, zumal eine Fläche zwischen wenigstens zwei Linien als eine Parklücke extrahiert wird, eine Parklücke unter Verwendung einer bekannten Technologie zur Erkennung einer weißen Linie zu extrahieren. Daher ist es möglich, eine verfügbare Parklücke durch eine einfachere Konfiguration zu erkennen.
(1d) In dem vorstehend beschriebenen Abbildungssystem 1 wandelt die Bildverarbeitungseinheit 20 jedes der aufgenommenen Bilder in ein ebenes Koordinatensystem um, bestimmt, ob die Formen der Ziellinie dieselben für dieselbe Parklücke sind, die aus den in das ebene Koordinatensystem umgewandelten aufgenommenen Bildern extrahiert wurde, und erkennt eine Parklücke, für welche die Formen der Ziellinie als dieselben wie eine verfügbare Parklücke bestimmt werden.
Gemäß einem solchen Abbildungssystem 1 ist es möglich, weil in dem ebenen Koordinatensystem bestimmt wird, ob die Formen der Ziellinie dieselben sind, die Formen vorteilhaft zu bestimmen, selbst wenn die Ziellinie sich in der Form ändert als Folge von verschiedenen Positionen, an denen die aufgenommenen Bilder erhalten wurden.
Andere Ausführungsformen
Während die Ausführungsform der vorliegenden Offenbarung vorstehend beschrieben wurde, ist die vorliegende Offenbarung nicht auf die vorstehend beschriebene Ausführungsform begrenzt und kann mit verschiedenen Modifikationen implementiert werden.
(2a) Während in der vorstehend beschriebenen Ausführungsform es entsprechend den Längen der Ziellinie bewertet wird, ob die Formen der Ziellinie dieselben sind, ist die Bewertung nicht darauf beschränkt. Zum Beispiel ist es auch möglich, zu bestimmen, ob die gesamten Formen der Ziellinie, Formen eines Randteils der Ziellinie auf einer weiter vom eigenen Fahrzeug entfernten Seite, oder Ähnliches, dieselben wie die Formen der Ziellinie sind.
Genauer gesagt, werden in dem Fall, in dem bestimmt wird, ob die Formen der Randteile der Ziellinie auf der weiter vom eigenen Fahrzeug entfernten Seite dieselben sind, wie in 3 und 4 dargestellt, die Formen der Randteile der weiter vom Fahrzeug entfernten weißen Linie 42, d. h. die Formen der weißen Linie 42 innerhalb einer Fläche [A] und einer Fläche [B], verglichen. In dem Fall, wenn ein Fahrzeug in einer Parklücke existiert, zumal der Randteil der weiter vom Fahrzeug entfernten weißen Linie 42 durch das Fahrzeug versteckt wird, und ein Teil des Fahrzeugs, welcher die weiße Linie 42 versteckt, sich entsprechend den Positionen der Kameras ändert, ändert sich die Form des Randteils der weiter vom Fahrzeug entfernten weißen Linie 42. Indessen ändert sich in dem Fall, wenn die weiße Linie 42 nicht versteckt ist, die Form des Randteils der weiter vom Fahrzeug entfernten weißen Linie 42 nicht. Daher ist es möglich, zu bestimmen, ob die Parklücke eine verfügbare Parklücke ist, je nachdem, ob die Formen des Randteils der Ziellinie auf einer weiter vom eigenen Fahrzeug entfernten Seite dieselben sind.
Gemäß einem solchen Abbildungssystem ist es möglich, zumal die Formen der Ziellinie bestimmt werden, indem die Formen des Randteils der Ziellinie auf der weiter von dem eigenen Fahrzeug entfernten Seite verglichen werden, eine verfügbare Parklücke durch eine Konfiguration zu erkennen, die einfacher als die Konfiguration ist, bei der die Formen der gesamten Linie bestimmt werden.
(2b) Bei dem vorstehend beschriebenen Abbildungssystem 1, wenn es bestimmt wird, ob die Parklücke eine verfügbare Parklücke ist, ist es, während es möglich ist, die Bestimmung nur unter Verwendung der vorstehend beschriebenen Verfügbare-Parklücke-Erkennungsverarbeitung durchzuführen, ebenfalls möglich, die Bestimmung unter Verwendung der Kombination der vorstehend beschriebenen Verfügbare-Parklücke-Erkennungsverarbeitung und bekannter Verarbeitung durchzuführen. Zum Beispiel ist es auch möglich, temporär eine verfügbare Parklücke durch bekannte Verarbeitung zu extrahieren und die Verfügbare-Parklücke-Erkennungsverarbeitung für eine Schlussbewertung zu verwenden. Weiter ist es ebenfalls möglich, zu bestimmen, dass die Parklücke eine verfügbare Parklücke ist, in dem Fall, in dem bestimmt wird, dass die Parklücke eine verfügbare Parklücke ist, durch wenigstens eines, eine Mehrheit von den bekannten Verarbeitungsverfahren oder Ähnliches und die Verfügbare-Parklücke-Erkennungsverarbeitung.
(2c) Es ist auch möglich, eine Mehrzahl von Funktionen von einer Komponente in der oben beschriebenen Ausführungsform durch eine Mehrzahl von Komponenten zu implementieren oder eine Funktion einer Komponente durch eine Mehrzahl von Komponenten zu implementieren. Weiterhin ist es auch möglich, eine Mehrzahl von Funktionen einer Mehrzahl von Komponenten durch eine Komponente zu implementieren oder eine Funktion von einer Mehrzahl von Komponenten durch eine Komponente zu implementieren. Weiterhin ist es auch möglich, einen Teil der Konfiguration der oben beschriebenen Ausführungsform wegzulassen. Darüber hinaus ist es auch möglich, einen Teil der Konfiguration der oben beschriebenen Ausführungsform zu anderen Konfigurationen der oben beschriebenen Ausführungsform hinzuzufügen oder einen Teil der Konfiguration der oben beschriebenen Ausführungsform durch andere Konfigurationen der oben beschriebenen Ausführungsform zu ersetzen. Es sei darauf hingewiesen, dass jeder Aspekt, der in der technischen Idee enthalten ist, die durch die Sprache in den Ansprüchen spezifiziert ist, eine Ausführungsform der vorliegenden Offenbarung ist.
(2d) Die vorliegende Offenbarung kann in verschiedenen Formen implementiert werden, wie, zusätzlich zu dem vorstehend beschriebenen Abbildungssystem 1, verschiedenen Arten von Vorrichtungen wie einer Parklücken-Erkennungsvorrichtung, welche eine Komponente des Abbildungssystems 1 ist, einem Programm, um einen Computer dazu zu bringen, als das Abbildungssystem 1 zu fungieren, einem nichtflüchtigen materiellen Aufzeichnungsmedium wie einem Halbleiterspeicher, in welchem dieses Programm gespeichert ist, einem Parklücken-Erkennungsverfahren oder Ähnliches.
[Korrespondenzbeziehung zwischen Konfiguration der Ausführungsform und Konfiguration der vorliegenden Offenbarung]
Die Bildverarbeitungseinheit 20 des Abbildungssystems 1 in der vorstehend beschriebenen Ausführungsform korrespondiert zu der Parklücken-Erkennungsvorrichtung in der vorliegenden Offenbarung. Weiter korrespondiert die Verarbeitung in S110 inmitten der Verarbeitung, die durch die Bildverarbeitungseinheit 20 ausgeführt werden soll, zu dem Bilderfassungsabschnitt in der vorliegenden Offenbarung, und die Verarbeitung in S120 und S150 in der vorstehenden Ausführungsform korrespondiert zu dem Linien-Extraktionsabschnitt in der vorliegenden Offenbarung. Weiter korrespondiert die Verarbeitung in S140 in der vorstehend beschriebenen Ausführungsform zu dem Koordinaten-Umwandlungsabschnitt in der vorliegenden Offenbarung, und die Verarbeitung in S210 und S220 in der vorstehend beschriebenen Ausführungsform korrespondiert zu dem Verfügbare-Parklücke-Erkennungsabschnitt in der vorliegenden Offenbarung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016219644 [0001]
JP 2016016681 A [0004]

Claims

Parklücken-Erkennungsvorrichtung (20), aufweisend: einen Bilderfassungsabschnitt (S110), der eingerichtet ist, eine Mehrzahl von aufgenommenen Bildern zu erfassen, welche jeweilige aufgenommene Bilder bezeichnen, die von einer Mehrzahl von Abbildungsvorrichtungen aufgenommen worden sind, die an verschiedenen Positionen eines eigenen Fahrzeugs angeordnet sind; einen Linien-Extraktionsabschnitt (S120, S150), der eingerichtet ist, eine Parklücke aus der Mehrzahl von aufgenommenen Bildern zu extrahieren und eine Ziellinie, die eine Linie bezeichnet, die einen Randteil der Parklücke definiert, auf einer weiter vom eigenen Fahrzeug entfernten Seite zu extrahieren; und einen Verfügbare-Lücke-Erkennungsabschnitt (S210, S220), der eingerichtet ist, zu bestimmen, ob Formen der Ziellinie dieselben für dieselbe Parklücke sind, die aus der Mehrzahl von aufgenommenen Bildern extrahiert wurde, und eine Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt wurden, als eine verfügbare Parklücke zu erkennen, welche eine Parklücke bezeichnet, in welcher das eigene Fahrzeug geparkt werden darf.
Parklücken-Erkennungsvorrichtung nach Anspruch 1, wobei der Verfügbare-Lücke-Erkennungsabschnitt bestimmt, ob Längen der Ziellinie dieselben sind wie die Formen der Ziellinie.
Parklücken-Erkennungsvorrichtung nach Anspruch 1 oder 2, wobei der Verfügbare-Lücke-Erkennungsabschnitt bestimmt, ob Formen eines Randteils der Ziellinie auf einer weiter vom eigenen Fahrzeug entfernten Seite dieselben sind wie die Formen der Ziellinie.
Parklücken-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei der Linien-Extraktionsabschnitt eine Fläche zwischen wenigstens zwei Linien als die Parklücke extrahiert.
Parklücken-Erkennungsvorrichtung nach einem der Ansprüche 1 bis 4, weiter aufweisend: einen Koordinaten-Umwandlungsabschnitt (S140), der eingerichtet ist, jedes der aufgenommenen Bilder in ein ebenes Koordinatensystem umzuwandeln, wobei der Verfügbare-Lücke-Erkennungsabschnitt bestimmt, ob die Formen der Ziellinie dieselben sind für dieselbe Parklücke, die aus den aufgenommenen, in das ebene Koordinatensystem umgewandelten Bildern extrahiert wurde, und eine Parklücke, für welche die Formen der Ziellinie als dieselben bestimmt wurden, als die verfügbare Parklücke erkennt.