DE112008004291B4

DE112008004291B4 - Bewegungszustand-Schätzvorrichtung

Info

Publication number: DE112008004291B4
Application number: DE112008004291.8T
Authority: DE
Inventors: Naohide Uchida; Tatsuya Shiraishi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-12-25
Filing date: 2008-12-24
Publication date: 2023-12-07
Anticipated expiration: 2028-12-25
Also published as: US20100226544A1; US8559674B2; JP4337929B2; CN101910781B; DE112008003486T5; WO2009081920A1; CN101910781A; DE112008003486B4; JP2009156611A

Abstract

Bewegungszustand-Schätzvorrichtung (100) mit einem Kennzeichnungspunkt-Kandidaten-Extrahierteil(10), der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor (2) aufgenommenen Bild, einem Positionsverhältnis-Gewinnungsteil (11), der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper, einem Kennzeichnungspunkt-Auswählteil (12), der eingerichtet ist zum Auswählen eines Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auf Basis des Positionsverhältnisses des Kennzeichnungspunkt-Kandidaten, einem Entsprechungspunkt-Extrahierteil (13), der eingerichtet ist zum in einem von dem Bildgebungssensor (2) zu einem zweiten Zeitpunkt aufgenommenen Bild Extrahieren eines zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunktes, und einem Bewegungszustand-Schätzteil, der eingerichtet ist zum auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes Schätzen eines Bewegungszustandes des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Bewegungszustand-Schätzvorrichtung, welche einen Bewegungszustand eines mit einem Bildsensor ausgerüsteten sich bewegenden Körpers auf Basis von von dem Bildgebungssensor aufgenommenen Bildern schätzt.
STAND DER TECHNIK
Üblicherweise ist eine Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper, welche durch Verwenden einer monokularen Kamera eine Position und eine Orientierung eines Zielfahrzeugs schätzt, bekannt (siehe die JP 2004-198 211 A ).
Diese Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper extrahiert zu einem ersten Zeitpunkt, während sich das Zielfahrzeug bewegt, aus einem von der an das Zielfahrzeug montierten monokularen Kamera aufgenommenen Bild vier oder mehr Kennzeichnungspunkte auf einer Straßenoberfläche. Dann extrahiert die Vorrichtung, während sie die Kennzeichnungspunkte verfolgt, aus einem von der monokularen Kamera zu einem zweiten Zeitpunkt aufgenommenen Bild einen Punkt, welcher zu jedem dieser Kennzeichnungspunkte auf einer Straßenoberfläche korrespondiert. Dann leitet die Vorrichtung auf Basis der zweidimensionalen Koordinaten der Kennzeichnungspunkte und der zweidimensionalen Koordinaten der korrespondierenden Punkte eine Homographie her, so dass die Vorrichtung die relative Abweichung zwischen der Position und der Orientierung der monokularen Kamera zum ersten Zeitpunkt und der Position und der Orientierung der monokularen Kamera zum zweiten Zeitpunkt herleitet.
Folglich kann diese Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper die Position und die Orientierung des mit der monokularen Kamera ausgerüsteten Fahrzeugs schätzen.
Die EP 1 431 120 A1 offenbart eine Bewegungszustand-Schätzvorrichtung mit einem Kennzeichnungspunkt-Kandidaten-Extrahierteil, der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bild, einem Kennzeichnungspunkt-Auswählteil, der eingerichtet ist, einen Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auszuwählen, einem Entsprechungspunkt-Extrahierteil, der eingerichtet ist, um in einem von dem Bildgebungssensor zu einem zweiten Zeitpunkt aufgenommenen Bild einen zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunkt zu extrahieren, und einem Bewegungszustand-Schätzteil, der eingerichtet ist, um auf Basis der Koordinaten der ausgewählten Kennzeichnungspunktes und der Koordinaten der Entsprechungspunktes einen Bewegungszustand des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt zu schätzen.
MÄHLISCH, Mirko, et al. „Sensorfusion using spatio-temporal aligned video and lidar for improved vehicle detection.", in: 2006 IEEE Intelligent Vehicles Symposium. IEEE, 2006. S. 424-429, lehrt ein Verfahren zur Sensor-Fusion von Distanzmesssensoren und Bilddaten. Die Tiefeninformation wird verwendet, um eine „region of interest“ festzulegen und die Suche einzuschränken.
OFFENBARUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Obwohl die JP 2004-198 211 A beschreibt, dass die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper vier oder mehr Kennzeichnungspunkte aus einer weißen Linie, einer Bodenwelle, einer Höhendifferenz oder einem Muster auf der von der monokularen Kamera aufgenommenen Straßenoberfläche extrahiert, beschreibt dieses jedoch nicht, wie die Kennzeichnungspunkte zu selektieren sind. Demgemäß kann die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper in Bezug auf Distanz oder Richtung vorbelastete Kennzeichnungspunkte extrahieren und somit die Schätzgenauigkeit für die Position und die Orientierung des Zielfahrzeugs reduzieren.
Die Umkreisüberwachungsvorrichtung für einen sich bewegenden Körper kann ferner einen Punkt auf einem sich bewegenden Körper, wie beispielsweise von der monokularen Kamera aufgenommene andere Fahrzeuge, als einen Kennzeichnungspunkt extrahieren und damit die Schätzgenauigkeit für die Position und die Orientierung des Zielfahrzeugs reduzieren.
Im Hinblick auf die oben genannten Probleme ist es ein Ziel der vorliegenden Erfindung, eine Bewegungszustand-Schätzvorrichtung bereitzustellen, welche eine genauere Schätzung eines Bewegungszustands eines sich bewegenden Körpers auf Basis von von einem an dem sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bildern erzielt.
PROBLEMLÖSUNGSMITTEL
Zum Erreichen des obigen Ziels weist eine Bewegungszustand-Schätzvorrichtung gemäß einer ersten Ausführungsform der Erfindung auf: einen Kennzeichnungspunkt-Kandidaten-Extrahierteil, der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt von einem an einen sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bild, einen Positionsverhältnis-Gewinnungsteil, der eingerichtet ist zum Erlangen eines Positionsverhältnisses einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper, einen Kennzeichnungspunkt-Auswählteil, der eingerichtet ist zum auf Basis des Positionsverhältnisses des Kennzeichnungspunkt-Kandidaten Auswählen eines Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt, einen Entsprechungspunkt-Extrahierteil, der eingerichtet ist zum in einem von dem Bildgebungssensor zu einem zweiten Zeitpunkt aufgenommenen Bild Extrahieren eines zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunktes, und einen Bewegungszustand-Schätzteil, der eingerichtet ist zum auf Basis einer Koordinate des ausgewählten Kennzeichnungspunktes und einer Koordinate des Entsprechungspunktes Schätzen eines Bewegungszustandes des sich bewegenden Körpers von dem ersten Zeitpunkt zu dem zweiten Zeitpunkt.
Gemäß einer zweiten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß der ersten Ausführungsform der Erfindung bereitgestellt, wobei das Positionsverhältnis aufweist: eine Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem sich bewegenden Körper, eine wie von dem sich bewegenden Körper aus gesehene Richtung der aktuellen Position des Kennzeichnungspunkt-Kandidaten oder eine Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper.
Gemäß einer dritten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß der ersten oder der zweiten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Bestimmen, ob der Kennzeichnungspunkt-Kandidat stationär ist oder nicht, und zum Auswählen des Kennzeichnungspunktes aus stationären Kennzeichnungspunkt-Kandidaten.
Gemäß einer vierten Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß einer von der ersten, der zweiten und der dritten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass eine Distanzdifferenz zwischen einer aktuellen Position jedes Kennzeichnungspunktes und dem sich bewegenden Körper größer als oder gleich wie ein vorbestimmter Wert ist.
Gemäß einer fünften Ausführungsform der Erfindung wird eine Bewegungszustand-Schätzvorrichtung gemäß einer von der ersten, der zweiten, der dritten und der vierten Ausführungsform der Erfindung bereitgestellt, wobei der Kennzeichnungspunkt-Auswählteil eingerichtet ist zum Auswählen von Kennzeichnungspunkten, so dass Winkel zwischen wie von dem sich bewegenden Körper aus gesehenen Richtungen von aktuellen Positionen jedes Kennzeichnungspunktes größer als oder gleich wie ein vorbestimmter Wert sind.
Hierin steht „ein Kennzeichnungspunkt“ für einen Koordinatenpunkt (ein Pixel) in einem Bild zur Verwendung bei der Erzeugung einer Homographie, das heißt, einen Koordinatenpunkt (ein Pixel), der aus einem Kennzeichnungspunkt-Kandidaten unter bestimmten Bedingungen ausgewählt ist. Beispielsweise definiert das Koordinatensystem ein Pixel an einer unteren linken Ecke eines von einem Bildgebungssensor aufgenommenen Bildes als seinen Ursprung (0,0), wohingegen es ein Pixel, welches direkt rechts des Ursprungs ist, als die Koordinate (1,0) und ein Pixel, welches direkt über dem Ursprung ist, als die Koordinate (0,1) definiert.
„Ein Kennzeichnungspunkt-Kandidat“ steht für einen Koordinatenpunkt (ein Pixel), welcher ein Kennzeichnungspunkt sein kann, das heißt, ein extrahierbares Pixel aus einem Bild unter bestimmten Bedingungen, zum Beispiel ein Pixel, dessen Luminanzdifferenz in Bezug auf das benachbarte Pixel größer als oder gleich wie ein vorbestimmter Wert ist, oder ein zentrales Pixel einer Pixelgruppe, deren Luminanzmuster mit einem vorbestimmten Luminanzmuster übereinstimmt usw.
„Ein Entsprechungspunkt“ steht für einen Koordinatenpunkt (ein Pixel) in einem anderen Bild als dem Bild, in welchem der ausgewählte Kennzeichnungspunkt existiert, wobei der Koordinatenpunkt in einem fotographischen Motiv enthalten ist, das durch einen Koordinatenpunkt (ein Pixel) gekennzeichnet ist, der als ein Kennzeichnungspunkt in dem Bild, in dem der ausgewählte Kennzeichnungspunkt existiert, ausgewählt ist. Beispielsweise wird ein Entsprechungspunkt aus dem anderen Bild extrahiert durch Abgleichen eines Luminanzmusters einer Pixelgruppe in dem anderen Bild, in dem der Entsprechungspunkt existiert, mit einem Luminanzmuster einer Pixelgruppe in dem Bild, in dem der ausgewählte Kennzeichnungspunkt existiert, zum Beispiel in dessen Zentrum. Das Luminanzmuster kann ein auf anderen Eigenschaften basierendes Muster sein, wie beispielsweise ein Farbmuster.
„Ein Positionsverhältnis“ steht für Information bezüglich einer Relativposition zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten, welcher ein Kennzeichnungspunkt sein kann, und einem sich bewegenden Körper, der mit einem Bildgebungssensor ausgerüstet ist, welcher ein Bild aufgenommen hat. Beispielsweise kann die Information enthalten: eine Distanz zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten, welcher ein Kennzeichnungspunkt sein kann, und einem Zielfahrzeug, eine Richtung einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten wie von einem Zielfahrzeug aus gesehen, eine Relativgeschwindigkeit einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf ein Zielfahrzeug usw.
WIRKUNG DER ERFINDUNG
Gemäß den obigen Mitteln ist es für die vorliegende Erfindung möglich, eine Bewegungszustand-Schätzvorrichtung bereitzustellen, welche eine genauere Schätzung eines Bewegungszustandes eines sich bewegenden Körpers auf Basis von von einem an den sich bewegenden Körper montierten Bildgebungssensor aufgenommenen Bildern erzielt.
KURZBESCHREIBUNG DER FIGUREN

1 ist ein Diagramm, in dem eine Ausführungsform der Bewegungszustand-Schätzvorrichtung gemäß der vorliegenden Erfindung dargestellt ist.
2A ist eine erste Darstellung eines Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
2B ist eine zweite Darstellung des Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
2C ist eine dritte Darstellung des Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten.
3 ist ein Ablaufdiagramm, in dem ein Ablauf eines Bewegungszustand-Schätzverfahrens dargestellt ist.

ERLÄUTERUNG DER BEZUGSZEICHEN

1: Steuervorrichtung
2: Bildgebungssensor
3: Distanzmesssensor
4: Fahrzeuggeschwindigkeitssensor
5: Lenkwinkelsensor
6: Anzeigevorrichtung
7: Audioausgabevorrichtung
10: Kennzeichnungspunkt-Kandidaten-Extrahierteil
11: Positionsverhältnis-Gewinnungsteil
12: Kennzeichnungspunkt-Auswählteil
13: Entsprechungspunkt-Extrahierteil
14: Bewegungszustand-Schätzteil
100: Bewegungszustand-Schätzvorrichtung
D1-D3: räumliche Distanz
α, β: Winkel zwischen aktuellen Positionen
P1: erster Kennzeichnungspunkt
P2: zweiter Kennzeichnungspunkt
P3: dritter Kennzeichnungspunkt
V1: Zielfahrzeug
V2: geparktes Fahrzeug
V3: sich bewegendes Fahrzeug

BESTE ART ZUM AUSFÜHREN DER ERFINDUNG
Unter Bezugnahme auf die Figuren wird nachstehend die Beschreibung der besten Art zum Ausführen der vorliegenden Erfindung gegeben.
[Ausführungsformen]
1 ist ein Diagramm, in dem eine Ausführungsform der Bewegungszustand-Schätzvorrichtung gemäß der vorliegenden Erfindung dargestellt ist. Die Bewegungszustand-Schätzvorrichtung 100 ist eine fahrzeugeigene Vorrichtung, welche einen Bewegungszustand, wie beispielsweise eine Translation oder eine Rotation eines Fahrzeugs, schätzt. Die Bewegungszustand-Schätzvorrichtung 100 weist eine Steuervorrichtung 1 auf, welche über ein Fahrzeug-LAN, wie beispielsweise CAN (Gesteuertes-Feldbus-Netzwerk) oder andere, mit einem Bildgebungssensor 2, einem Distanzmesssensor 3, einen Fahrzeuggeschwindigkeitssensor 4, einem Lenkwinkelsensor 5, einer Anzeigevorrichtung 6 und einer Audioausgabevorrichtung 7 verbunden ist.
Die Steuervorrichtung 1 ist ein Computer, welcher eine CPU (zentrale Verarbeitungseinheit), ein RAM (Direktzugriffspeicher), ein ROM (Nur-LeseSpeicher) usw. aufweist. Beispielsweise können Programme, die einem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10, einem Positionsverhältnis-Gewinnungsteil 11, einem Kennzeichnungspunkt-Auswählteil 12, einem Entsprechungspunkt-Extrahierteil 13 und einem Bewegungszustand-Schätzteil 14 entsprechen, jeweils in dem ROM gespeichert sein und die CPU führt ein jedem Teil entsprechendes Verfahren aus.
Der Bildgebungssensor 2 ist ein Sensor zum Aufnehmen eines Bildes rund um ein Fahrzeug. Beispielsweise kann der Bildgebungssensor 2 eine Kamera mit einer Bildabtastvorrichtung sein, wie beispielsweise einem CCD (ladungsgekoppeltes Bauelement), einem CMOS (Komplementär-Metalloxid-Halbleiter) oder anderen. Der Bildgebungssensor 2 kann ferner eine nachtfotographietaugliche Infrarotkamera oder eine Stereokamera sein, die in der Lage ist, eine Distanz zu einem fotographischen Motiv zu messen.
Gemäß einem Beispiel kann der Bildgebungssensor 2 in der Nähe eines Rückspiegels in einem Fahrzeuginneren und mit fester Bildgebungsrichtung platziert sein und gibt an die Steuervorrichtung 1 mit einem vorgegebenen Zeitintervall aufgenommene Bilder aus.
Der Distanzmesssensor 3 ist ein Sensor zum Gewinnen von Information bezüglich einer Relativposition zwischen einem Objekt rund um ein Zielfahrzeug und dem Zielfahrzeug. Beispielsweise kann der Distanzmesssensor 3 ein Millimeterwellensensor, ein Radar-Laser-Sensor, ein Ultraschallsensor oder ein anderer Sensor sein, welcher fest in der Nähe eines Frontgrills oder eines vorderen Stoßfängers des Zielfahrzeugs montiert sein kann. Der Distanzmesssensor 3 emittiert eine Radiowelle, Licht oder eine Ultraschallwelle in Richtung zur Umgebung des Zielfahrzeugs hin, berechnet die Distanz zwischen einem Objekt rund um das Zielfahrzeug und dem Zielfahrzeug oder die Relativgeschwindigkeit des Objektes rund um das Zielfahrzeug auf Basis der Zeit zum Empfang von dessen Reflexionswelle oder der auf dem Doppler-Effekt basierenden Frequenzdifferenz der Reflexionswelle und gibt dann den berechneten Wert an die Steuervorrichtung 1 aus.
Der Fahrzeuggeschwindigkeitssensor 4 ist ein Sensor zum Messen einer Geschwindigkeit eines Zielfahrzeugs. Beispielsweise kann der Fahrzeuggeschwindigkeitssensor 4 die Variation in einem Magnetfeld, das durch einen an jedem Rad des Zielfahrzeugs angebrachten und damit rotierenden Magneten erzeugt wird, mittels eines MR- (Magnetwiderstand) Elements als magnetischen Widerstand auslesen. Dann erfasst der Fahrzeuggeschwindigkeitssensor 4 den magnetischen Widerstand als ein Impulssignal, das proportional zur Drehzahl jedes Rades ist, so dass er die Drehzahl jedes Rades und damit die Geschwindigkeit des Fahrzeugs erfasst, und gibt dann den erfassten Wert an die Steuervorrichtung 1 aus.
Der Lenkwinkelsensor 5 ist ein Sensor zum Messen eines Drehwinkels einer Lenkwelle bezogen auf einen Lenkwinkel eines Rades des Zielfahrzeugs. Beispielsweise kann der Lenkwinkelsensor 5 mittels eines MR-Elementes einen magnetischen Widerstand eines in die Lenkwelle eingebetteten Magneten auslesen, einen Drehwinkel der Lenkwelle erfassen und dann den erfassten Wert an die Steuervorrichtung 1 ausgeben.
Die Anzeigevorrichtung 6 ist eine Vorrichtung zum Anzeigen einer Vielzahl von Informationen. Beispielsweise kann die Anzeigevorrichtung 6 eine Flüssigkristallanzeige sein, welche von dem Bildgebungssensor 2 aufgenommene Bilder oder eine Vielzahl von Textnachrichten anzeigt.
Die Audioausgabevorrichtung 7 ist eine Vorrichtung zur Audioausgabe einer Vielzahl von Informationen. Beispielsweise kann die Audioausgabevorrichtung 7 ein fahrzeugeigener Lautsprecher sein, welcher einen akustischen Alarm oder eine Audiounterstützung audiomäßig ausgibt.
Das Nächste ist eine Erläuterung jedes Teils in der Steuervorrichtung 1.
Der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 ist ein Teil zum Extrahieren von Kennzeichnungspunkt-Kandidaten. Gemäß einem Beispiel kann der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 eine Bildverarbeitungstechnik, wie beispielsweise eine Graustufenverarbeitung, eine Digitalisierungsverarbeitung, eine Kantenerkennungsverarbeitung usw. auf ein von dem Bildgebungssensor 2 aufgenommenes Bild einer Ansicht rund um ein Zielfahrzeug anwenden und dann Kennzeichnungspunkt-Kandidaten extrahieren.
Gemäß einem Beispiel kann der Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 beispielsweise ein Pixel, dessen Luminanzdifferenz in Bezug auf ein benachbartes Pixel größer als oder gleich wie ein vorbestimmter Wert ist, oder ein zentrales Pixel einer Pixelgruppe, deren Luminanzmuster mit einem vorbestimmten Luminanzmuster übereinstimmt, usw. als einen Kennzeichnungspunkt-Kandidaten extrahieren und dann die Position (Koordinatenwert) des Kennzeichnungspunkt-Kandidaten (das heißt des extrahierten Pixels) in dem RAM speichern.
Der Positionsverhältnis-Gewinnungsteil 11 ist ein Teil zum Gewinnen eines relativen Positionsverhältnisses zwischen einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten und einer aktuellen Position des Zielfahrzeugs. Gemäß einem Beispiel erlangt der Positionsverhältnis-Gewinnungsteil 11 auf Basis einer Ausgabe des Distanzmesssensors 3 eine Distanz zwischen einer aktuellen Position eines von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 extrahierten Kennzeichnungspunkt-Kandidaten und dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) (nachstehend „eine räumliche Distanz“ genannt), eine wie von dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) gesehene von einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) definierte Richtung (nachstehend „eine aktuelle Richtung“ genannt), eine Geschwindigkeit einer aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) (nachstehend „eine Relativgeschwindigkeit“ genannt) oder anderes.
Der Positionsverhältnis-Gewinnungsteil 11 speichert die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit, die für jeden Kennzeichnungspunkt-Kandidaten erlangt wurden, in dem RAM in Relation zu dem von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 gespeicherten Koordinatenwert jedes Kennzeichnungspunkt-Kandidaten.
Der Kennzeichnungspunkt-Auswählteil 12 ist ein Teil zum Auswählen eines Kennzeichnungspunktes aus (einem) Kennzeichnungspunkt-Kandidaten. Gemäß einem Beispiel schließt auf Basis der durch den Positionsverhältnis-Gewinnungsteil 11 erlangten Relativgeschwindigkeit der aktuellen Position eines Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) der Kennzeichnungspunkt-Auswählteil 12 einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper (zum Beispiel einem Fußgänger oder einem sich bewegenden Fahrzeug usw.) befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus und wählt einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem stationären Körper (zum Beispiel einer Straßenkennzeichnung, einem Verkehrszeichen, einer Leitplanke, einer Verkehrsampel oder einem geparkten Fahrzeug usw.) befindet, als einen in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus.
Der Grund dafür besteht darin, dass das Auswählen eines Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten es schwierig macht, die Verlagerung des Kennzeichnungspunktes von der Verlagerung des Zielfahrzeugs zu unterscheiden, was die Schätzgenauigkeit für den Bewegungszustand des Zielfahrzeugs reduzieren würde.
Auf Basis der räumlichen Distanz, welche zum Beispiel die Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem Distanzmesssensor 3 (das heißt dem Zielfahrzeug) ist, wählt der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen räumliche Distanz die kleinste unter den Kennzeichnungspunkt-Kandidaten ist, als einen ersten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten aus. Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 als den ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten auswählen, dessen räumliche Distanz die größte unter den Kennzeichnungspunkt-Kandidaten ist.
Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 auf Basis der aktuellen Richtung, welche die wie vom Distanzmesssensor 3 (das heißt dem Zielfahrzeug) gesehene von der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den Distanzmesssensor 3 (das heißt das Zielfahrzeug) definierte Richtung ist, als den ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten auswählen, dessen aktuelle Richtung in Bezug auf eine vorbestimmte Richtung die nächste an einem vorbestimmten Winkel ist und größer als oder gleich wie der vorbestimmte Winkel (zum Beispiel 0 Grad wie in dem Fall, in dem der Winkel beginnend in einer Vorwärtsrichtung des Zielfahrzeugs als 0 Grad im Uhrzeigersinn zunimmt) ist.
Auf Basis der räumlichen Distanz des ersten Kennzeichnungspunktes und der räumlichen Distanzen anderer Kennzeichnungspunkt-Kandidaten wählt der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen Differenz zwischen seiner räumlichen Distanz und der räumlichen Distanz des ersten Kennzeichnungspunktes die kleinste unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie ein vorbestimmter Wert ist, als einen zweiten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten aus.
Der Kennzeichnungspunkt-Auswählteil 12 setzt die Auswahl von Kennzeichnungspunkten, wie beispielsweise einem dritten Kennzeichnungspunkt, einem vierten Kennzeichnungspunkt, einem fünften Kennzeichnungspunkt usw., fort, bis der Kennzeichnungspunkt-Auswählteil 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Erzeugen einer Homographie auswählt.
Auf Basis der aktuellen Richtung des ersten Kennzeichnungspunktes und der aktuellen Richtung anderer Kennzeichnungspunkt-Kandidaten kann der Kennzeichnungspunkt-Auswählteil 12 den Kennzeichnungspunkt-Kandidaten, dessen Winkel zwischen seiner aktuellen Richtung und der aktuellen Richtung des ersten Kennzeichnungspunktes die kleinste unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie ein vorbestimmter Wert ist, als den zweiten Kennzeichnungspunkt unter mehreren Kennzeichnungspunkt-Kandidaten auswählen.
In der gleichen Weise, in der der Kennzeichnungspunkt-Auswählteil 12 den zweiten Kennzeichnungspunkt auswählt, wählt der Kennzeichnungspunkt-Auswählteil 12 gleichfalls den dritten Kennzeichnungspunkt, den vierten Kennzeichnungspunkt, den fünften Kennzeichnungspunkt usw. aus und setzt die Auswahl der Kennzeichnungspunkte fort, bis der Kennzeichnungspunkt-Auswählteil 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Erzeugen einer Homographie auswählt.
Der Kennzeichnungspunkt-Auswählteil 12 kann als einen Kennzeichnungspunkt einen Kennzeichnungspunkt-Kandidaten auswählen, für den sowohl seine räumliche Distanz als auch seine aktuelle Richtung die jeweiligen vorbestimmten Bedingungen erfüllen. Alternativ kann der Kennzeichnungspunkt-Auswählteil 12 das von dem Bildgebungssensor 2 aufgenommene Bild in eine Mehrzahl von kleinen Abschnitten unterteilen und in jedem kleinen Abschnitt eine vorbestimmte Anzahl von Kennzeichnungspunkten aus Kennzeichnungspunkt-Kandidaten auswählen.
Die 2A, 2B und 2C sind jeweils eine Darstellung eines Verfahrens zum Auswählen eines Kennzeichnungspunktes aus einer Mehrzahl von Kennzeichnungspunkt-Kandidaten. 2A erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten („X“-Markierungen in 2A) an anderen Fahrzeugen V2 und V3 extrahiert, die Relativgeschwindigkeit der aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf das Zielfahrzeug V1 erlangt und, während sie den Kennzeichnungspunkt-Kandidaten C1 des sich bewegenden Fahrzeugs V3 als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten ausschließt, den Kennzeichnungspunkt-Kandidaten C2 des geparkten Fahrzeugs V2 als den in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten auswählt.
2B erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten („X“-Markierungen in 2B) an Leitplanken extrahiert, die räumlichen Distanzen zwischen dem Zielfahrzeug V1 und jedem Kennzeichnungspunkt-Kandidaten erlangt, als den ersten Kennzeichnungspunkt P1 den Kennzeichnungspunkt-Kandidaten auswählt, dessen räumliche Distanz die kleinste unter den Kennzeichnungspunkt-Kandidaten ist, und dann den zweiten Kennzeichnungspunkt P2 so auswählt, dass die Differenz zwischen der räumlichen Distanz D1 des ersten Kennzeichnungspunktes P1 und der räumlichen Distanz D2 des zweiten Kennzeichnungspunktes P2 größer als oder gleich wie ein vorbestimmter Wert ist, und den dritten Kennzeichnungspunkt P3 so auswählt, dass die Differenz zwischen der räumlichen Distanz D2 des zweiten Kennzeichnungspunktes P2 und der räumlichen Distanz D3 des dritten Kennzeichnungspunktes P3 größer als oder gleich wie der vorbestimmte Wert ist. Es wird angenommen, dass der vierte Kennzeichnungspunkt (in 2B nicht gezeigt) oder spätere in gleicher Weise ausgewählt werden.
2C erläutert, dass die Bewegungszustand-Schätzvorrichtung 100 Kennzeichnungspunkt-Kandidaten („X“-Markierungen in 2C) auf Straßenkennzeichnungen (Fahrspurlinien) extrahiert, die aktuelle Richtung jedes Kennzeichnungspunkt-Kandidaten (das heißt die wie von dem Zielfahrzeug V1 aus gesehene durch eine aktuelle Position des Kennzeichnungspunkt-Kandidaten in Bezug auf das Zielfahrzeug V1 definierte Richtung) erlangt, als den ersten Kennzeichnungspunkt P1 den Kennzeichnungspunkt-Kandidaten auswählt, dessen aktuelle Richtung relativ zu einer Vorwärtsrichtung des Zielfahrzeugs die nächste zu 0 Grad unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie 0 Grad ist, und dann den zweiten Kennzeichnungspunkt P2 so auswählt, dass der Winkel α zwischen der aktuellen Richtung des ersten Kennzeichnungspunktes P1 und der aktuellen Richtung des zweiten Kennzeichnungspunktes P2 größer als oder gleich wie ein vorbestimmter Wert ist, und den dritten Kennzeichnungspunkt P3 so auswählt, dass der Winkel β zwischen der aktuellen Richtung des zweiten Kennzeichnungspunktes P2 und der aktuellen Richtung des dritten Kennzeichnungspunktes P3 größer als oder gleich wie ein vorbestimmter Wert ist. Es wird angenommen, dass der vierte Kennzeichnungspunkt (in 2C nicht gezeigt) oder spätere auf gleiche Weise ausgewählt werden.
Der Kennzeichnungspunkt-Auswählteil 12 wählt eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Berechnen einer Homographie aus. Der Kennzeichnungspunkt-Auswählteil 12 speichert für jeden Kennzeichnungspunkt das Luminanzmuster der Pixelgruppe (5x5 Pixel zum Beispiel), in welcher der Kennzeichnungspunkt existiert, in dem RAM, so dass wie hierin nachstehend beschrieben werden wird der Entsprechungspunkt-Extrahierteil 13 durch Verwendung eines Musterabgleichverfahrens einen zu dem Kennzeichnungspunkt korrespondierenden Punkt aus einem späteren Bild extrahieren kann.
Der Entsprechungspunkt-Extrahierteil 13 ist ein Teil zum Extrahieren eines Entsprechungspunktes. Gemäß einem Beispiel extrahiert der Entsprechungspunkt-Extrahierteil 13, durch Verwenden eines Musterabgleichverfahrens, mittels Abgleichens eines Luminanzmusters in dem späteren Bild (hierin nachstehend „das zweite Bild“ genannt, wobei das zweite Bild ein Bild ist, das von dem Bildgebungssensor 2 aufgenommen wurde, nachdem ein
vorbestimmtes Zeitintervall seitdem das erste Bild aufgenommen wurde vergangen ist), welches sich von dem Bild unterscheidet, das von dem Bildgebungssensor 2 aufgenommen wurde und das von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 zum Extrahieren der Kennzeichnungspunkt-Kandidaten verwendet wurde (hierein nachstehend „das erste Bild“ genannt), wobei das auf den Kennzeichnungspunkt bezogene Luminanzmuster durch den Kennzeichnungspunkt-Auswählteil 12 in dem RAM gespeichert wurde, einen Entsprechungspunkt für jeden von dem Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunkt.
Gemäß einem Beispiel kann der Entsprechungspunkt-Extrahierteil 13 den Bereich in dem Bild, welcher dem Musterabgleichverfahren zu unterziehen ist, beschränken, beispielsweise durch grobes Abschätzen eines Bewegungszustandes des Fahrzeugs auf Basis der Ausgaben des Fahrzeuggeschwindigkeitssensors 4 und des Lenkwinkelsensors 5. Dies dient der Verbesserung der Effizienz des Musterabgleichverfahrens.
Der Entsprechungspunkt-Extrahierteil 13 extrahiert einen Entsprechungspunkt (ein Entsprechungspunkt korrespondiert zu einem Kennzeichnungspunkt und wird hierin „ein primärer Entsprechungspunkt“ genannt, um ihn von einem später genannten sekundären Entsprechungspunkt zu unterscheiden), und der Entsprechungspunkt-Extrahierteil 13 speichert das Luminanzmuster der Pixelgruppe (5x5 Pixel zum Beispiel), in welcher der primäre Entsprechungspunkt existiert, in dem RAM, so dass der Entsprechungspunkt-Extrahierteil 13 durch Verwendung eines Musterabgleichverfahrens einen nachfolgenden Entsprechungspunkt (den sekundären Entsprechungspunkt), welcher zu dem primären Entsprechungspunkt korrespondiert, aus noch einem späteren Bild extrahieren kann.
Durch der Reihe nach Verfolgen eines Kennzeichnungspunktes gemäß einer Reihenfolge von zum Beispiel einem Kennzeichnungspunkt, einem primären Entsprechungspunkt, einem sekundären Entsprechungspunkt, einem tertiären Entsprechungspunkt usw. kann die Bewegungszustand-Schätzvorrichtung 100
beginnend zu der Zeit, zu der die Bewegungszustand-Schätzvorrichtung 100 das für die Auswahl des Kennzeichnungspunktes verwendete Bild erlangt, kontinuierlich den Bewegungszustand des Zielfahrzeugs schätzen.
Der Bewegungszustand-Schätzteil 14 ist ein Teil zum Schätzen eines Bewegungszustandes eines Zielfahrzeugs. Gemäß einem Beispiel erzeugt der Bewegungszustand-Schätzteil 14 durch Verwenden der zweidimensionalen Koordinate des durch den Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunktes und der zweidimensionalen Koordinate des durch den Entsprechungspunkt-Extrahierteil 13 extrahierten Entsprechungspunktes eine Homographie. Der Bewegungszustand-Schätzteil 14 schätzt eine von dem Zielfahrzeug während einer Zeitspanne von dem Zeitpunkt, zu dem der Bildgebungssensor 2 das erste Bild aufgenommen hat, das von dem Kennzeichnungspunkt-Kandidaten-Extrahierteil 10 für die Extraktion des Kennzeichnungspunktes verwendet wurde, bis zu dem Zeitpunkt, zu dem der Bildgebungssensor 2 das zweite Bild aufgenommen hat, das von dem Entsprechungspunkt-Extrahierteil 13 für die Extraktion des Entsprechungspunktes verwendet wurde, durchgeführte Translation oder Rotation.
Durch Initiieren einer Schätzung eines Bewegungszustandes eines Zielfahrzeugs, wenn die Steuervorrichtung 1 auf Basis einer Ausgabe des Distanzmesssensors 3 ein Hindernis (zum Beispiel einen Bordstein, eine Betonblockwand oder anderes) innerhalb eines vorbestimmten Bereichs von dem Zielfahrzeug aus erfasst, kann die Steuervorrichtung 1, sogar wenn das Hindernis von dem Bildbereich des Bildgebungssensors 2 abweicht, wenn das Zielfahrzeug nach links oder nach rechts schwenkt, auf Basis des geschätzten Bewegungszustandes des Zielfahrzeugs beispielsweise bestimmen, ob es eine Möglichkeit gibt, dass das Zielfahrzeug in Kontakt mit dem Hindernis kommen kann.
Falls die Steuervorrichtung 1 bestimmt, dass es eine hohe Wahrscheinlichkeit gibt, dass das Zielfahrzeug mit einem Hindernis in Kontakt
kommen wird, fordert die Steuervorrichtung 1 die Aufmerksamkeit eines Fahrers an, indem sie bewirkt, dass die Anzeigevorrichtung 6 eine Warnnachricht anzeigt, oder indem sie bewirkt, dass die Audioausgabevorrichtung 7 einen Warnton ausgibt.
Auf Basis des geschätzten Bewegungszustandes des Zielfahrzeuges kann die Steuervorrichtung 1 bewirken, dass die Anzeigevorrichtung 6 ein Quasi-Bild anzeigt, welches das Positionsverhältnis zwischen dem Zielfahrzeug und dem Hindernis repräsentiert, und kann das Fahren des Zielfahrzeugs unterstützen, so dass ein Kontakt mit dem Hindernis vermieden wird.
Unter Bezugnahme auf 3 wird das Verfahren, mittels dessen die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Zielfahrzeugs schätzt (hierin nachstehend „das Bewegungszustand-Schätzverfahren“ genannt) detailliert erläutert. 3 ist ein Ablaufdiagramm, in dem der Ablauf des Bewegungszustand-Schätzverfahrens erläutert wird. Die Steuervorrichtung 1 der Bewegungszustand-Schätzvorrichtung 100 führt das Bewegungszustand-Schätzverfahren wiederholt aus, beispielsweise nachdem der Blinker betätigt wurde, bis das Fahrzeug die Links/Rechts-Kurve vollendet.
Alternativ kann die Bewegungszustand-Schätzvorrichtung 100 das Bewegungszustand-Schätzverfahren wiederholt in einem Fall ausführen, in dem die Bewegungszustand-Schätzvorrichtung 100 die Situation erfasst, dass es eine hohe Wahrscheinlichkeit gibt, dass das Zielfahrzeug in Kontakt mit einem Hindernis kommen kann, wie beispielsweise wenn die Geschwindigkeit des Zielfahrzeugs geringer als ein vorbestimmter Wert ist oder wenn die Schaltposition auf eine „R (Rückwärtsgang)“-Position eingestellt ist oder anderes.
Zuerst erlangt die Steuervorrichtung 1 die von dem Bildgebungssensor 2 zu einem Zeitpunkt T1 aufgenommenen Bilddaten (Schritt S1) und wendet dann durch Verwenden des Kennzeichnungspunkt-Kandidaten-Extrahierteils 10 eine Bildverarbeitung auf die Bilddaten an, so dass Kennzeichnungspunkt-Kandidaten extrahiert werden, wobei ein extrahiertes Pixel eines ist, dessen Luminanzdifferenz in Bezug auf ein benachbartes Pixel größer als oder gleich wie ein vorbestimmter Wert ist (Schritt S2).
Als Nächstes erlangt die Steuervorrichtung 1 durch Verwenden des Positionsverhältnis-Gewinnungsteils 11 und basierend auf dem Ausgabewert des Distanzmesssensors 3 das Positionsverhältnis zwischen der aktuellen Position jedes Kennzeichnungspunkt-Kandidaten und der Position des Distanzmesssensors 3 (Schritt S3). Die Steuervorrichtung 1 speichert das Positionsverhältnis (das heißt die Relativgeschwindigkeit, die räumliche Distanz und die aktuelle Richtung) jedes Kennzeichnungspunkt-Kandidaten in Relation zu dem Koordinatenwert des Kennzeichnungspunkt-Kandidaten in dem RAM.
Als Nächstes bestimmt die Steuervorrichtung 1 durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 und basierend auf der durch den Positionsverhältnis-Gewinnungsteil 11 erlangten aktuellen Position des Kennzeichnungspunkt-Kandidaten, der durch den Fahrzeuggeschwindigkeitssensor 4 ausgegebenen Geschwindigkeit des Zielfahrzeugs und dem durch den Lenkwinkelsensor 5 ausgegebenen Lenkwinkel (Fahrrichtung) des Zielfahrzeugs für jeden Kennzeichnungspunkt-Kandidaten, ob die aktuelle Position des Kennzeichnungspunkt-Kandidaten stationär bleibt oder in Bewegung ist. Durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 schließt die Steuervorrichtung 1 einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem sich bewegenden Körper befindet, als einen in einem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten aus, wohingegen sie einen Kennzeichnungspunkt-Kandidaten, dessen aktuelle Position sich auf einem stationären Körper befindet, als einen in dem nachfolgenden Verfahren zu verwendenden Kennzeichnungspunkt-Kandidaten beibehält (Schritt S4).
Als Nächstes wählt die Steuervorrichtung 1 durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 als einen ersten Kennzeichnungspunkt den Kennzeichnungspunkt-Kandidaten aus, dessen räumliche Distanz die kleinste
unter den durch den Positionsverhältnis-Gewinnungsteil 11 erlangten räumlichen Distanzen der Kennzeichnungspunkt-Kandidaten ist (Schritt S5).
Als Nächstes wählt die Steuervorrichtung 1, nach Setzen der räumlichen Distanz der aktuellen Position des ersten Kennzeichnungspunktes als Basis, durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 der Reihe nach andere Kennzeichnungspunkte aus, so dass die Differenz zwischen jeder räumlichen Distanz größer als oder gleich wie ein vorbestimmter Wert ist (Schritt S6).
Die Steuervorrichtung 1 wählt durch Verwenden des Kennzeichnungspunkt-Auswählteils 12 eine notwendige und ausreichende Anzahl von Kennzeichnungspunkten zum Berechnen einer Homographie aus und speichert für jeden ausgewählten Kennzeichnungspunkt das Luminanzmuster der Pixelgruppe (5x5 Pixel zum Beispiel), in der der Kennzeichnungspunkt existiert, in dem RAM ab, so dass ein Entsprechungspunkt, welcher zu dem Kennzeichnungspunkt korrespondiert, aus einem nachfolgend aufgenommenen Bild extrahiert werden kann (Schritt S7).
Als Nächstes erlangt die Steuervorrichtung 1 von dem Bildgebungssensor 2 zu einem Zeitpunkt T2 (der Zeitpunkt T2 ist später als der Zeitpunkt T1) aufgenommene Bilddaten (Schritt S8). Dann wendet die Steuervorrichtung 1 durch Verwenden des Entsprechungspunkt-Extrahierteils 13 die gleiche Bildverarbeitung wie in Schritt S1 auf die zum Zeitpunkt T2 aufgenommenen Bilddaten an und beschränkt in Bezug auf das für jeden Kennzeichnungspunkt gespeicherte Luminanzmuster und auf Basis der Ausgaben des Fahrzeuggeschwindigkeitssensors 4 und des Lenkwinkelsensors 5 den Bereich in dem Bild, welcher einem Musterabgleichverfahren zu unterziehen ist (Schritt S9). Dies dient zum Verbessern der Effizienz des Musterabgleichverfahrens. Zusätzlich kann der Entsprechungspunkt-Extrahierteil 13 den Bereich in dem Bild, welcher dem Musterabgleichverfahren zu unterziehen ist, auf Basis der Koordinate jedes Kennzeichnungspunktes beschränken oder kann das Musterabgleichverfahren ohne Beschränkung des Bereichs in dem Bild durchführen.
Als Nächstes führt die Steuervorrichtung 1 durch Verwenden des Entsprechungspunkt-Extrahierteils 13 und mittels Abgleichens des Luminanzmusters in dem beschränkten Bereich mit dem jeweiligen Luminanzmuster des Kennzeichnungspunktes das Musterabgleichverfahren für jeden beschränkten Bereich des Bildes durch und extrahiert das zentrale Pixel des übereinstimmenden Luminanzmusters als den Punkt, welcher zu dem Kennzeichnungspunkt korrespondiert (das heißt den „Entsprechungspunkt“) (Schritt S10).
Als Letztes berechnet die Steuervorrichtung 1 durch Verwenden des Bewegungszustand-Schätzteils 14 und auf Basis der zweidimensionalen Koordinate des jeweiligen durch den Kennzeichnungspunkt-Auswählteil 12 ausgewählten Kennzeichnungspunktes und der zweidimensionalen Koordinate des jeweiligen durch den Entsprechungspunkt-Extrahierteil 13 extrahierten Entsprechungspunktes eine Homographie. Dann schätzt die Steuervorrichtung 1 den Zustand von von dem Zielfahrzeug zwischen dem Zeitpunkt T1 und dem Zeitpunkt T2 durchgeführter Translation und Rotation (Schritt S11). Dann beendet die Steuervorrichtung 1 dieses Bewegungszustand-Schätzverfahren.
Auf diese Weise wählt die Bewegungszustand-Schätzvorrichtung 100, während sie die Ausgabe des Bildgebungssensors 2 und die Ausgabe des Distanzmesssensors 3 kombiniert, Kennzeichnungspunkte aus, deren aktuelle Positionen in Bezug auf Distanz und Richtung nicht vorbelastet sind, und berechnet eine Homographie, die auf den Koordinaten jener Kennzeichnungspunkte und den Koordinaten der Entsprechungspunkte, welche zu diesen Kennzeichnungspunkten korrespondieren, basiert. Somit kann die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Bildgebungssensors 2 und daher den Bewegungszustand des Zielfahrzeugs mit hohem Genauigkeitsgrad schätzen.
Dies ist deshalb so, weil, wenn es eine Vorbelastung in den aktuellen Positionen der Kennzeichnungspunkte gibt, die Bewegungszustand-Schätzvorrichtung 100 leicht durch Störungen beeinflusst wird, welche beim Auswählen jener Kennzeichnungspunkte eingemischt werden und welche von der Vibration des Zielfahrzeugs oder des fotographischen Motivs, dem Fehler in der Bildverarbeitung oder anderem resultieren, und weil die Bewegungszustand-Schätzvorrichtung 100 den Effekt jener Störungen durch Verteilen der aktuellen Positionen der Kennzeichnungspunkte in Bezug auf Distanz und Richtung lindern kann.
[Zusätzliche Erklärung]
Obwohl die vorliegende Erfindung im Obigen unter Bezugnahme auf bevorzugte Ausführungsformen beschrieben wurde, ist die vorliegende Erfindung nicht derart zu beschränken, und die oben beschriebenen Ausführungsformen können diversen Modifikationen und Substitutionen unterliegen, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
Bei den obigen Ausführungsformen kann beispielsweise, obwohl die Bewegungszustand-Schätzvorrichtung die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten auf Basis der Ausgabe des Distanzmesssensors 3 erlangt, die Bewegungszustand-Schätzvorrichtung 100 die räumliche Distanz, die aktuelle Richtung und die Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten auf Basis der Ausgabe einer Stereokamera erlangen, die in der Lage ist, eine Distanz zu einem fotographischen Motiv zu messen. In solch einem Fall kann die Bewegungszustand-Schätzvorrichtung 100 den Distanzmesssensor 3 weglassen.
Zusätzlich kann bei den obigen Ausführungsformen, obwohl die Bewegungszustand-Schätzvorrichtung 100 den Bewegungszustand des Fahrzeugs schätzt, diese den Bewegungszustand anderer sich bewegender Körper schätzen, wie beispielsweise eines Industrieroboters, eines Schiffes, eines Motorrades, eines Flugzeuges usw. In solch einem Fall kann die Bewegungszustand-Schätzvorrichtung 100 zusätzlich zum Bewegungszustand in der ebenen Fläche von vorne nach hinten und von Seite zu Seite den Bewegungszustand in vertikaler Richtung schätzen.
Ferner kann bei den obigen Ausführungsformen, obwohl der Entsprechungspunkt-Extrahierteil 13 das Musterabgleichverfahren zum Extrahieren des Punktes, welcher zu dem Kennzeichnungspunkt korrespondiert (das heißt dem „Entsprechungspunkt“), der Entsprechungspunkt-Extrahierteil jede andere Technik verwenden, sofern sie den Entsprechungspunkt extrahieren kann. Beispielsweise kann der Entsprechungspunkt-Extrahierteil 13 den Entsprechungspunkt mit einer Optischer-Fluss-Technik extrahieren.

Claims

Bewegungszustand-Schätzvorrichtung (100) mit: einem Kennzeichnungspunkt-Kandidaten-Extrahierteil (10), der eingerichtet ist zum Extrahieren von Kennzeichnungspunkt-Kandidaten in einem zu einem ersten Zeitpunkt (T1) von einem an einen sich bewegenden Körper (V1) montierten Bildgebungssensor (2) aufgenommenen Bild, einem Positionsverhältnis-Gewinnungsteil (11), der eingerichtet ist, auf der Basis einer Ausgabe einer Distanzmesssensors (3), der an dem sich bewegenden Körper (V1) montiert ist, ein Positionsverhältnis einer aktuellen Position jedes Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper zu bestimmen, einem Kennzeichnungspunkt-Auswählteil (12), der eingerichtet ist, auf Basis des Positionsverhältnisses einen Kennzeichnungspunkt-Kandidaten als einen Kennzeichnungspunkt auszuwählen, wobei das Positionsverhältnis eine Distanz zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem sich bewegenden Körper, eine wie von dem sich bewegenden Körper aus gesehene Richtung der aktuellen Position des Kennzeichnungspunkt-Kandidaten oder eine Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper aufweist, einem Entsprechungspunkt-Extrahierteil (13), der eingerichtet ist, um in einem von dem Bildgebungssensor (2) zu einem zweiten Zeitpunkt (T2) aufgenommenen Bild einen zu dem ausgewählten Kennzeichnungspunkt korrespondierenden Entsprechungspunkt zu extrahieren, und einem Bewegungszustand-Schätzteil (14), der eingerichtet ist, um auf Basis der Koordinaten der ausgewählten Kennzeichnungspunktes und der Koordinaten der Entsprechungspunktes einen Bewegungszustand des sich bewegenden Körpers (V1) von dem ersten Zeitpunkt (T1) zu dem zweiten Zeitpunkt (T2) zu schätzen, wobei die Bewegungszustand-Schätzvorrichtung (100) ausgehend von einem ersten Kennzeichnungspunkt (P1), dessen räumliche Distanz (D1) die kleinste unter den Kennzeichnungspunkt-Kandidaten ist, weitere Kennzeichnungspunkte (P2, P3) so auswählt, dass eine Differenz zwischen den jeweiligen Distanzen (D2, D3) von einem zum nächsten aus den Kennzeichnungspunkten (P1 bis P3) jeweils größer als oder gleich wie ein vorbestimmter Wert ist oder ausgehend vom ersten Kennzeichnungspunkt (P1), der so bestimmt wird, dass dessen aktuelle Richtung relativ zu einer Vorwärtsrichtung des Zielfahrzeugs die nächste zu 0 Grad unter den Kennzeichnungspunkt-Kandidaten ist und größer als oder gleich wie 0 Grad ist, dann den zweiten Kennzeichnungspunkt (P2) so auswählt, dass ein Winkel (α) zwischen einer aktuellen Richtung des ersten Kennzeichnungspunktes (P1) und einer aktuellen Richtung des zweiten Kennzeichnungspunktes (P2) größer als oder gleich wie ein vorbestimmter Wert ist, und den dritten Kennzeichnungspunkt (P3) so auswählt, dass ein Winkel (β) zwischen der aktuellen Richtung des zweiten Kennzeichnungspunktes (P2) und einer aktuellen Richtung des dritten Kennzeichnungspunktes (P3) größer als oder gleich wie ein vorbestimmter Wert ist.
Bewegungszustand-Schätzvorrichtung (100) gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil (12) eingerichtet ist, auf der Basis der durch den Positionsverhältnis-Gewinnungsteil (11) bestimmten Relativgeschwindigkeit der aktuellen Position des Kennzeichnungspunkt-Kandidaten in Bezug auf den sich bewegenden Körper (V1) zu bestimmen, ob der Kennzeichnungspunkt-Kandidat stationär ist oder nicht, und den Kennzeichnungspunkt (P1) aus stationären Kennzeichnungspunkt-Kandidaten auszuwählen.
Bewegungszustand-Schätzvorrichtung (100) gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil (12) eingerichtet ist, auf der Basis der durch den Positionsverhältnis-Gewinnungsteil (11) bestimmten Distanz (D1 bis D3) zwischen der aktuellen Position des Kennzeichnungspunkt-Kandidaten und dem sich bewegenden Körper (P1) Kennzeichnungspunkte (P1 bis P3) derart auszuwählen, dass eine Distanzdifferenz zwischen einer aktuellen Position jedes Kennzeichnungspunktes (P1 bis P3) und dem sich bewegenden Körper (V1) größer als oder gleich groß wie ein vorbestimmter Wert ist.
Bewegungszustand-Schätzvorrichtung (100) gemäß Anspruch 1, wobei der Kennzeichnungspunkt-Auswählteil (12) eingerichtet ist, auf der Basis einer von dem sich bewegenden Körper (V1) aus gesehenen, durch den Positionsverhältnis-Gewinnungsteil (11) bestimmten Richtung der aktuellen Position des Kennzeichnungspunkt-Kandidaten Kennzeichnungspunkte (P1, P2, P3) derart auszuwählen, dass die Winkel (α, β) zwischen von dem sich bewegenden Körper (V1) aus gesehenen Richtungen von aktuellen Positionen jedes Kennzeichnungspunktes (P1, P2, P3) größer als oder gleich groß wie ein vorbestimmter Wert sind.