DE112015002764T5

DE112015002764T5 - Montagewinkeleinstellverfahren und Montagewinkelerfassungseinrichtung für bordeigene Kamera

Info

Publication number: DE112015002764T5
Application number: DE112015002764.5T
Authority: DE
Inventors: Osamu Shimomura; Daisuke SUGIURA; Hirohiko Yanagawa
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-06-11
Filing date: 2015-06-02
Publication date: 2017-03-23
Anticipated expiration: 2035-06-03
Also published as: WO2015190066A1; DE112015002764B4; JP2016001776A; JP6450530B2

Abstract

Ein aufgenommenes Bild einer Referenzfigur einer bekannten Form wird in ein Vogelperspektivenansichtbild konvertiert, und basierend auf der Form der in dem Vogelperspektivenansichtbild gezeigten Referenzfigur werden Winkel in Neigungs-, Wank- und Gierrichtungen einer bordeigenen Kamera in Bezug auf die Referenzfigur ermittelt. Das Fahrzeug wird geradeaus bewegt, und basierend auf der Richtung einer Verschiebung der Referenzfigur zwischen Vogelperspektivenansichtbildern, die generiert wurden, bevor und nachdem das Fahrzeug geradeaus bewegt ist, wird der Winkel in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur ermittelt. Dann wird basierend auf den Bordeigenkamerawinkeln in Bezug auf die Referenzfigur und dem Fahrzeugwinkel in Bezug auf die Referenzfigur der Montagewinkel der bordeigenen Kamera eingestellt. In dieser Weise kann der Montagewinkel der bordeigenen Kamera auch an einem Fahrzeug eingestellt werden, an dem zwar bordeigene Kameras montiert sind, aber nicht an allen von vorderen, hinteren, linke und rechten Abschnitten des Fahrzeugs.

Description

QUERVERWEIS ZU VERWANDTER ANMELDUNG
Diese Anmeldung beruht auf der japanischen Patentanmeldung Nr. 2014-120318 , die am 11. Juni 2014 eingereicht wurde und deren Offenbarung durch Bezugnahme hierin einbezogen wird.
TECHNISCHES GEBIET
Die Erfindung betrifft ein Montagewinkeleinstellverfahren und eine Montagewinkeleinstelleinrichtung für eine bordeigene Kamera.
TECHNISCHER HINTERGRUND
Verschiedene Techniken wurden in die Praxis umgesetzt, welche es ermöglichen, ein durch eine bordeigene Kamera aufgenommenes Bild auf einem Betrachtungsbildschirm anzuzeigen, um es dadurch einem Fahrer des Fahrzeugs zu erlauben, die Situation um das Fahrzeug leicht zu prüfen. Zum Beispiel wurde eine Technik zum Unterstützen des Rückwärtsfahrens eines Fahrzeugs in praktische Verwendung umgesetzt, welche es ermöglicht, ein Bild, das eine Situation hinter dem Fahrzeug wie durch eine in einem hinteren Abschnitt des Fahrzeugs montierte bordeigene Kamera aufgenommen zeigt, während sich das Fahrzeug rückwärts bewegt, auf einem Betrachtungsbildschirm anzuzeigen und dann durch eine Anzeige eines vorhergesagten Verlaufs der Fahrzeugbewegung zu überlagern.
Eine andere Technik wurde ebenfalls in praktische Verwendung umgesetzt, welche es einem Fahrer eines Fahrzeugs ermöglicht, die umgebende Situation durch Aufnehmen von Bildern unter Verwendung von bordeigenen Kameras, die in vorderen, hinteren, linken und rechten Abschnitten des Fahrzeugs montiert sind, leicht zu erfassen, die aufgenommenen Bilder einer Blickrichtungs- bzw. Sichtlinienkonversion zur Umwandlung in ein Bild zu unterziehen, das, wie wenn es von oben gesehen werden würde, die Situation um das Fahrzeug zeigt, und das Bild auf einem Betrachtungsbildschirm anzuzeigen.
Diese Techniken erfordern als eine Voraussetzung, dass bordeigene Kameras an einem Fahrzeug in vorgesehenen korrekten Winkeln in Bezug auf das Fahrzeug montiert sind. Falls zum Beispiel die Montagewinkel von bordeigenen Kameras gegenüber den jeweiligen vorgesehenen Winkeln verschoben sind, wird ein vorhergesagter Verlauf der Fahrzeugbewegung, der dann, wenn sich das Fahrzeug rückwärts bewegt, überlappend mit einem aufgenommenen Bild eines Bereichs hinter dem Fahrzeug angezeigt wird, nicht mit einem tatsächlichen Verlauf der Bewegung des Fahrzeugs übereinstimmen. Oder wird sich dann, wenn Bilder, die durch bordeigene Kameras aufgenommen wurden, die in vorderen, hinteren, linken und rechten Bereichen eines Fahrzeugs montiert sind, nachdem sie einer Sichtlinienkonversion unterzogen wurde, als ein Bild angezeigt werden, das, wie wenn von oben betrachtet würde, die Situation um das Fahrzeug zeigt, eine Fehlausrichtung zwischen Bildern, die durch benachbarte bordeigene Kameras aufgenommen wurden, zeigen.
Natürlich sind dann, wenn ein Fahrzeug aus einem Werk ausgeliefert wird, die Montagewinkel der bordeigenen Kameras, die an dem Fahrzeug montiert sind, so eingestellt, dass sie in einem zulässigen Bereich liegen. Es gibt jedoch Fälle, in welchem eine Rejustierung bzw. Neueinstellung der Montagewinkel solcher bordeigenen Kameras notwendig wird, zum Beispiel nachdem ihre Montagewinkel über eine längere Benutzungsdauer hinweg verschoben worden sind, oder nachdem die bordeigenen Kameras zur Reparatur demontiert worden sind.
Unter solchen Umständen wurde eine Technik vorgeschlagen, in welcher ein Fahrzeug in einen Rahmen einer bekannten Form, zum Beispiel einen Parkrahmen, bewegt wird, Bilder, die durch bordeigene Kameras, die in vorderen, hinteren, linken und rechten Abschnitten des Fahrzeugs montiert sind, einer Sichtlinienkonversion bzw. Blickrichtungskonversion unterzogen werden, und dadurch die Montagewinkel der jeweiligen bordeigenen Kameras ermittelt bzw. bestimmt werden (Patentliteratur 1). Falls die bordeigenen Kameras jeweils in korrekten Montagewinkeln montiert sind, sollten die durch die jeweiligen bordeigenen Kameras aufgenommenen und der Sichtlinienkonversion unterzogenen Bilder dort, wo die jeweiligen Bilder zusammengefügt sind, keinerlei Fehlausrichtung zeigen.
In der vorgeschlagenen Technik, die den vorstehenden Punkt berücksichtigt, werden die Montagewinkel von bordeigenen Kameras in Bezug auf das Fahrzeug, an welchem sie montiert sind, derart bestimmt bzw. ermittelt, dass die durch die jeweiligen bordeigenen Kameras aufgenommenen und der Sichtlinienkonversion unterzogenen Bilder keinerlei Fehlausrichtung zwischen denselben zeigen. Wenn die Montagewinkel der jeweiligen bordeigenen Kameras in der vorstehenden Weise bestimmt werden können, können ihre Montagewinkel so eingestellt werden, dass sie in den jeweiligen zulässigen Bereichen liegen.
DRUCKSCHRIFTLICHER STAND DER TECHNIK
PATENTLITERATUR

Patentliteratur 1: JP 2011-182236 A

KURZBESCHREIBUNG DER ERFINDUNG
Die vorstehend vorgeschlagene Technik basiert jedoch auf der Annahme, dass bordeigene Kameras in vorderen, hinteren, linken und rechten Abschnitten eines Fahrzeugs montiert sind und dass Bilder von das Fahrzeug umgebenden Bereichen bzw. Gebieten unter Verwendung der bordeigenen Kameras aufgenommen werden können. Daher können dann, wenn bordeigene Kameras nicht in allen von vorderen, hinteren, linken und rechten Abschnitten eines Fahrzeugs montiert sind (zum Beispiel, wenn bordeigene Kameras nur in vorderen und hinteren Abschnitten des Fahrzeugs montiert sind und keine bordeigenen Kameras in entweder einem linken oder rechten Abschnitt des Fahrzeugs montiert sind), die Montagewinkel der an dem Fahrzeug montierten bordeigenen Kameras nicht eingestellt werden.
Die Erfindung zielt darauf ab, eine Montagewinkeleinstelleinrichtung und ein Montagewinkelerfassungsverfahren für eine bordeigene Kamera bereitzustellen, um es zu ermöglichen, den Montagewinkel einer bordeigenen Kamera auch in Fällen einzustellen, in denen bordeigene Kameras nicht in allen von vorderen, hinteren, linken und rechten Abschnitten des Fahrzeugs montiert bzw. angebracht sind.
In Übereinstimmung mit einem ersten Aspekt der Erfindung dient das Montagewinkeleinstellverfahren dazu, den Montagewinkel einer bordeigenen Kamera einzustellen, die diagonal nach unten gerichtet bzw. abwärts an einem Fahrzeug montiert ist, um ein Bild aufzunehmen, das eine Bodenoberfläche bzw. Geländeoberfläche um das Fahrzeug zeigt.
Das Montagewinkeleinstellverfahren beinhaltet die Schritte des:
Aufnehmens einer vorbestimmten Referenzfigur mit der bordeigenen Kamera, wobei die Referenzfigur auf der Geländeoberfläche ausgebildet ist und zumindest drei gerade Linien beinhaltet, die sich in einem bekannten Winkel schneiden;
Vogelperspektivenansichtkonvertierens zum Umwandeln eines aufgenommenen Bilds der Referenzfigur in ein Vogelperspektivenansichtbild, das, wie wenn es von oben betrachtet würde, die Geländeoberfläche zeigt, an der die Referenzfigur ausgebildet ist;
Kamerawinkelbestimmens zum Bestimmen, basierend auf einer Abweichung zwischen einer Form der Referenzfigur, die in dem Vogelperspektivenansichtbild gezeigt ist, und einer Form der Referenzfigur, die auf der Geländeoberfläche ausgebildet ist, von Winkelkomponenten eines Winkels einer optischen Achse der bordeigenen Kamera in Bezug auf die Referenzfigur, wobei die Winkelkomponenten eine Winkelkomponente in einer Neigungsrichtung, in welcher ein Endabschnitt der optischen Achse aufwärts und abwärts bewegt wird, eine Winkelkomponente in einer Wankrichtung, in welcher eine Rotation um die optische Achse erfolgt, und eine Winkelkomponente in einer Gierrichtung, in welcher ein Endabschnitt der optischen Achse von Seite zu Seite bewegt wird, sind;
Fahrzeugwinkelbestimmens zum Aufnehmen der Referenzfigur, während das Fahrzeug geradeaus bewegt wird, und, basierend auf den Vogelperspektivenansichtbildern der Referenzfigur, die an zumindest zwei Orten aufgenommen wurden, zum Bestimmen einer Winkelkomponente in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur; und
Einstellens zum Einstellen eines Montagewinkels der bordeigenen Kamera in Bezug auf das Fahrzeug basierend auf den Winkelkomponenten, die in dem Kamerawinkelbestimmungsschritt bestimmt wurden, und der Winkelkomponente, die in dem Fahrzeugwinkelbestimmungsschritt bestimmt wurde.
In dem Montagewinkeleinstellverfahren wird ein aufgenommenes Bild einer Referenzfigur einer bekannten Form in ein Vogelperspektivenansichtbild umgewandelt, und werden basierend auf der Form der in dem Vogelperspektivenansichtbild gezeigten Referenzfigur Winkel in Neigungs-, Wank- und Gierrichtungen einer bordeigenen Kamera in Bezug auf die Referenzfigur bestimmt. Das Fahrzeug wird geradeaus bewegt, und basierend auf der Richtung der Verschiebung zwischen den Vogelperspektivenansichtbildern, die vor und nach der Geradeausbewegung des Fahrzeugs erzeugt wurden, wird der Winkel in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur bestimmt. Dann wird basierend auf den Winkeln der bordeigenen Kameras in Bezug auf die Referenzfigur und dem Fahrzeugwinkel in Bezug auf die Referenzfigur der Montagewinkel der bordeigenen Kamera eingestellt.
In dieser Weise ist von dem Winkel in der Gierrichtung der bordeigenen Kamera in Bezug auf die Referenzfigur der Abschnitt bekannt, der durch die Fahrzeugneigung in Bezug aus die Referenzfigur beigetragen wird, so dass der Montagewinkel in der Gierrichtung der bordeigenen Kamera in Bezug auf das Fahrzeug bekannt werden kann. Was die Winkel in den Gier- und Wankrichtungen der bordeigenen Kamera in Bezug auf die Referenzfigur anbelangt, können die Beiträge durch den Fahrzeugwinkel in Bezug auf die Referenzfigur adäquat klein gemacht werden. Daher können die Montagewinkel in den Neigungs- und Wankrichtungen der bordeigenen Kamera in Bezug auf das Fahrzeug bekannt werden. Dies macht es möglich, den Montagewinkel der bordeigenen Kamera in Bezug auf das Fahrzeug einzustellen.
In Übereinstimmung mit einem zweiten Aspekt der Erfindung ist die Montagewinkelerfassungseinrichtung für eine bordeigene Kamera, die diagonal nach unten gerichtet bzw. abwärts an einem Fahrzeug montiert ist, um ein Bild aufzunehmen, das eine Bodenoberfläche bzw. Geländeoberfläche um das Fahrzeug zeigt.
Die Montagewinkelerfassungseinrichtung beinhaltet:
eine Aufnahmebilderhalteeinheit zum Erhalten eines Bilds einer vorbestimmten Referenzfigur, das durch die bordeigenen Kamera aufgenommen wurde, wobei die Referenzfigur auf der Geländeoberfläche ausgebildet ist und zumindest drei gerade Linien beinhaltet, die sich in einem bekannten Winkel schneiden;
eine Vogelperspektivenansichtumwandlungseinheit zum Umwandeln eines aufgenommenen Bilds der Referenzfigur in ein Vogelperspektivenansichtbild, das, wie wenn es von oben betrachtet würde, die Geländeoberfläche zeigt, an der die Referenzfigur ausgebildet ist;
eine Kamerawinkelbestimmungseinheit zum Bestimmen, basierend auf einer Abweichung zwischen einer Form der Referenzfigur, die in dem Vogelperspektivenansichtbild gezeigt ist, und einer Form der Referenzfigur, die auf der Geländeoberfläche ausgebildet ist, von Winkelkomponenten eines Winkels einer optischen Achse der bordeigenen Kamera in Bezug auf die Referenzfigur, wobei die Winkelkomponenten eine Winkelkomponente in einer Neigungsrichtung, in welcher ein Endabschnitt der optischen Achse aufwärts und abwärts bewegt wird, eine Winkelkomponente in einer Wankrichtung, in welcher eine Rotation um die optische Achse erfolgt, und eine Winkelkomponente in einer Gierrichtung, in welcher ein Endabschnitt der optischen Achse von Seite zu Seite bewegt wird, sind;
eine Fahrzeugwinkelbestimmungseinheit zum Aufnehmen der Referenzfigur, während das Fahrzeug geradeaus bewegt wird, und, basierend auf den Vogelperspektivenansichtbildern der Referenzfigur, die an zumindest zwei Orten aufgenommen wurden, und Bestimmen einer Winkelkomponente in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur; und
eine Montagewinkelerfassungseinheit (26) zum Erfassen eines Montagewinkels der bordeigenen Kamera in Bezug auf das Fahrzeug basierend auf den Winkelkomponenten, die in der Kamerawinkelbestimmungseinheit bestimmt wurden, und der Winkelkomponente, die in der Fahrzeugwinkelbestimmungseinheit bestimmt wurde.
Die vorstehende Montagewinkelerfassungseinrichtung macht es möglich, den Montagewinkel einer fahrzeugverbauten bordeigenen Kamera in Bezug auf das Fahrzeug zu bestimmen, so dass basierend auf dem Bestimmungsergebnis der Montagewinkel der bordeigenen Kamera akkurat eingestellt werden kann.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorstehenden und weitere Ziele, Merkmale und Vorteile der Erfindung sind der folgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen besser entnehmbar. In den Zeichnungen zeigen:
1 ein Diagramm zum Erklären einer Umrisskonfiguration eines Fahrzeugs, an dem eine bordeigene Kamera montiert ist;
2 ein Blockdiagramm, das eine Umrisskonfiguration von Interna einer Steuereinrichtung gemäß einem ersten Ausführungsbeispiel zeigt;
3 ein Ablaufdiagramm eines ersten Halbteils einer Montagewinkeleinstellverarbeitung zum Einstellen des Montagewinkels der bordeigenen Kamera gemäß dem ersten Ausführungsbeispiel;
4 ein Diagramm zum Erklären von Vogelperspektivenansichtbildern, die durch Unterziehen eines aufgenommenen Bilds eines Parkrahmens unter eine Vogelperspektivenansichtkonversion erhalten wurden;
5 ein Diagramm zum Erklären einer Beziehung zwischen einem fahrzeugbasierten Koordinatensystem und einem kamerabasierten Koordinatensystem;
6 ein Diagramm zum Erklären eines Verfahrens zum Umwandeln bzw. Konvertieren eines fahrzeugbasierten Koordinatensystems in ein fahrzeugbasiertes Koordinatensystem zur Analyse;
7 ein Diagramm zum Erklären einer Weise, in welcher ein fahrzeugbasiertes Koordinatensystem zur Analyse in ein kamerabasiertes Koordinatensystem konvertiert wird;
8 ein Diagramm zum Erklären einer Weise, in welcher ein kamerabasiertes Koordinatensystem in ein Bildebenenkoordinatensystem konvertiert wird;
9 ein Diagramm zum Erklären einer Vogelperspektivenansichtkonversion;
10 ein Diagramm zum Erklären einer Weise, in welcher Bilder, die mit in Bezug auf den Parkrahmen variierten Winkeln von bordeigenen Kameras aufgenommen wurden, in Vogelperspektivenansichtbilder konvertiert werden;
11 ein Diagramm, das eine Beispielevaluationsfunktion zum Evaluieren bzw. Auswerten von Ergebnissen der Vogelperspektivenansichtkonversion zeigt;
12 ein Diagramm zum Erklären einer Beziehung zwischen einem Bordeigenkamerawinkel θy in der Gierrichtung in Bezug auf den Parkrahmen und einem Fahrzeugwinkel θys in der Gierrichtung in Bezug auf den Parkrahmen;
13 ein Diagramm zum Erklären, warum der Fahrzeugwinkel θy in der Gierrichtung in Bezug auf den Parkrahmen durch Geradeausbewegen des Fahrzeugs bekannt werden kann;
14 ein Blockdiagramm, das eine interne Konfiguration einer Steuereinrichtung gemäß einem zweiten Ausführungsbeispiel zeigt;
15 ein Ablaufdiagramm eines ersten Halbteils einer Montagewinkeleinstellverarbeitung zum Einstellen des Montagewinkels der bordeigenen Kamera gemäß dem zweiten Ausführungsbeispiel;
16 ein Ablaufdiagramm eines Teils der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels; und
17 ein Ablaufdiagramm eines Letzthälftenteils der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels.
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Nachstehend werden Ausführungsbeispiele beschrieben, um die Inhalte der vorstehend beschriebenen, vorliegenden Offenbarung bzw. Erfindung klar zu machen.
A. Einrichtungskonfiguration
1(a) stellt eine Umrisskonfiguration eines Fahrzeugs 1 dar, an dem eine bordeigene Kamera 10 verbaut ist. In dem dargestellten Beispiel ist die bordeigene Kamera 10 so montiert, dass sie in einem hinteren Abschnitt des Fahrzeugs 1 diagonal nach unten weist und einen Bereich hinter dem Fahrzeug 1 von diagonal oberhalb aus aufnehmen kann. Das von der bzw. durch die Kamera 10 aufgenommene Bild wird über eine Steuereinrichtung 20 auf einem Monitor 11 angezeigt. Ein das Fahrzeug 1 fahrender Fahrer kann eine Situation bzw. Lage hinter dem Fahrzeug durch Betrachten des auf dem Monitor 11 angezeigten Bilds prüfen.
Die Steuereinrichtung 20 (C) weist eine Vogelperspektivenansichtkonversionsfunktion auf zum Konvertieren bzw. Umwandeln eines durch die Kamera 10 von diagonal oben aufgenommenen Bilds in ein Vogelperspektivenansichtbild, das wie ein von direkt von oben aufgenommenes aussieht. Daher kann der Fahrer ein durch die bordeigene Kamera 10 aufgenommenes Bild durch die Steuereinrichtung 20 bei Bedarf in ein Vogelperspektivenansichtbild umwandeln lassen, und kann das resultierende Vogelperspektivenansichtbild auf dem Monitor 11 anzeigen lassen.
Ferner ist an dem Fahrzeug 1 ein Fahrzeuginformationssensor 12 (S) verbaut zum Erfassen von Fahrzeuginformation, und kann die Steuereinrichtung 20 Fahrzeuginformation basierend auf der Ausgabe des Fahrzeuginformationssensors 12 erhalten. Der Fahrzeuginformationssensor 12 kann ein Fahrzeuggeschwindigkeitssensor, ein Lenkwinkelsensor oder ein Schaltpositionssensor sein, und die Fahrzeuginformation kann eine Fahrzeuggeschwindigkeit, einen Lenkwinkel oder eine Schaltposition bzw. Position eines Getriebe- bzw. Fahrstufenwählhebels sein.
In der Vogelperspektivenansichtkonversion, wie sie im Einzelnen noch zu beschreiben ist, wird ein durch die bordeigene Kamera 10 aufgenommenes Bild basierend auf der Annahme, dass die bordeigene Kamera 10 in einem korrekten Winkel in Bezug auf das Fahrzeug 1 montiert ist, in ein Vogelperspektivenansichtbild umgewandelt. Selbstverständlich wurde, wenn das Fahrzeug 1 aus dem Werk ausgeliefert wird, der Montagewinkel der bordeigenen Kamera 10 korrekt eingestellt. Es kann jedoch Fälle geben, in welchen der Montagewinkel der bordeigenen Kamera 10 über eine längere Benutzungsdauer oder aus irgendeinem anderen Grund verschoben wird. Wenn der Montagewinkel der bordeigenen Kamera 10 verschoben wurde, erzeugt die Vogelperspektivenansichtkonversion ein deformiertes bzw. verformtes Vogelperspektivenansichtbild.
Zum Beispiel dann, wenn das Fahrzeug 1 mit der in einem korrekten Montagewinkel montierten bordeigenen Kamera zum Einparken in einen Parkrahmen bzw. eine Parklücke rückwärts bewegt wird, wird ein Vogelperspektivenansichtbild, das den Parkrahmen so zeigt, als würde er direkt von oben gesehen, auf dem Monitor 11 angezeigt werden, wie in 1(b) gezeigt. Dies ermöglicht es dem Fahrer, die positionelle Beziehung zwischen dem Fahrzeug 1 und dem Parkrahmen leicht zu erfassen und ein Gefühl für den Abstand durch Betrachten des Monitors 11 zu gewinnen.
Falls der Montagewinkel der bordeigenen Kamera 10 verschoben wurde, wird der Parkrahmen auf dem Monitor 11 verformt angezeigt werden, wie in 1(C) gezeigt, so dass es für den Fahrer schwierig ist, die positionelle Beziehung zwischen dem Fahrzeug 1 und dem Parkrahmen zu erfassen. In einem solchen Fall ist es notwendig, den Montagewinkel der bordeigenen Kamera 10 einzustellen. Dies berücksichtigend ist die Steuereinrichtung 20 mit einer Funktion zum Einstellen bzw. Justieren oder Erfassen des Montagewinkels der bordeigenen Kamera 10 versehen.
Die folgenden Ausführungsbeispiele werden basierend auf der Annahme beschrieben, dass die bordeigene Kamera 10 in einem hinteren Abschnitt des Fahrzeugs 1 angebracht bzw. montiert ist, aber der Montagewinkel der bordeigenen Kamera 10 in ähnlicher Weise auch in Fällen eingestellt werden kann, in denen die bordeigene Kamera 10 in einem vorderen Abschnitt des Fahrzeugs 1 angebracht bzw. montiert ist.
B. Erstes Ausführungsbeispiel
2 ist ein Blockdiagramm, das eine Umrissinternkonfiguration bzw. Umrisskonfiguration von Interna bzw. schematisch eine interne Konfiguration der Steuereinrichtung 20 gemäß einem ersten Ausführungsbeispiel zeigt. Wie gezeigt ist, beinhaltet die Steuereinrichtung 20 eine Aufnahmebilderhalteeinheit 21, eine Vogelperspektivenansichtkonversionseinheit 22, eine Speichereinheit 23, eine Kamerawinkelanalyseeinheit 24, eine Fahrzeugwinkelanalyseeinheit 25 und eine Montagewinkelerfassungseinheit 26.
Es wird angemerkt, dass diese sechs Einheiten jeweils abstrakte Konzepte repräsentieren, die durch zweckmäßiges Klassifizieren des Inneren der Steuereinrichtung 20 mit Fokussierung auf die Funktionen der Steuereinrichtung 20 zum Einstellen oder Erfassen des Montagewinkels der bordeigenen Kamera 10 erhalten wurde. Das heißt, die sechs Einheiten repräsentieren nicht sechs physikalisch separate Abschnitte der Steuereinrichtung 20. Daher können diese Einheiten als Computerprogramme, die in einer CPU auszuführen sind, oder als elektronische Schaltungen mit LSIs und Speichern oder durch Kombinieren solcher Mittel realisiert sein.
In dem vorliegenden Ausführungsbeispiel besteht die Steuereinrichtung 20 hauptsächlich aus einem Mikrocomputer mit einer CPU, ROM und RAM, und sind die vorstehenden sechs Einheiten durch von der CPU ausgeführte Programme realisiert.
Die Aufnahmebilderhalteeinheit 21 ist mit der bordeigenen Kamera 10 verbunden und erhält Bilddaten, die durch die bordeigene Kamera 10 aufgenommen wurden. Da wie vorstehend beschrieben die bordeigene Kamera 10 so montiert ist, dass sie diagonal nach unten weist, zeigt ein durch die bordeigene Kamera 10 aufgenommenes Bild eine Boden- bzw. Geländeoberfläche hinter dem Fahrzeug 1, wie sie von diagonal oberhalb gesehen wird.
Wenn der Montagewinkel der bordeigenen Kamera 10 eingestellt (oder erfasst) wird, wird eine Geländeoberfläche, auf welcher eine Referenzfigur zur Montagewinkeleinstellung ausgebildet ist, aufgenommen. Die Referenzfigur kann irgendeine sein, welche, wie der Parkrahmen, zumindest drei gerade Linien beinhaltet, die sich in einem bekannten Winkel schneiden.
Wenn aufgenommene Bilddaten von der Aufnahmebilderhalteeinheit 21 erhalten werden, wandelt die Vogelperspektivenansichtkonversionseinheit 22 die Bilddaten in ein Bild (Vogelperspektivenansichtbild) um, das einen Geländeoberflächenabschnitt hinter dem Fahrzeug 1 zeigt, als würde dieser von direkt oben gesehen. In dieser Spezifikation wird die Verarbeitung zum Umwandeln eines Bilds eines Ziels der Aufnahme in ein Bild, das das Ziel zeigt, als würde es direkt von oben gesehen, als eine ”Vogelperspektivenansichtkonversion” bzw. ”Vogelperspektivenansichtumwandlung” bezeichnet.
Daten zur Verwendung bei der Konversion eines aufgenommenen Bilds in ein Vogelperspektivenansichtbild sind im Voraus in der Speichereinheit 23 gespeichert, und die Vogelperspektivenansichtkonversionseinheit 22 liest die Daten aus der Speichereinheit 23, wenn ein aufgenommenes Bild in ein Vogelperspektivenansichtbild umgewandelt wird. Die Vogelperspektivenansichtkonversionseinheit 22 gibt das erzeugte Vogelperspektivenansichtbild zur Anzeige an den Monitor 11 aus. Wenn die Geländeoberfläche, auf welcher eine Referenzfigur zum Einstellen (oder Erfassen) des Montagewinkels der bordeigenen Kamera 10 aufgenommen wird, wandelt die Vogelperspektivenansichtkonversionseinheit 22 das aufgenommene Bild in ein Vogelperspektivenansichtbild um und gibt das Vogelperspektivenansichtbild ebenfalls an die Speichereinheit 23 aus, um das Bild in der Speichereinheit speichern zu lassen.
Die Kamerawinkelanalyseeinheit 24 liest das in der Speichereinheit 23 gespeicherte Vogelperspektivenansichtbild und ermittelt bzw. bestimmt durch Analysieren der in dem Vogelperspektivenansichtbild gezeigten Referenzfigur den Winkel, der durch die optische Achse der bordeigenen Kamera 10 in Bezug auf die auf der Geländeoberfläche ausgebildete Referenzfigur zu bilden ist. Wie der Winkel, der durch die optische Achse der bordeigenen Kamera 10 in Bezug auf die auf der Geländeoberfläche ausgebildete Referenzfigur zu bilden ist, zu ermitteln bzw. bestimmen ist, wird später beschrieben.
Die Fahrzeuganalyseeinheit 25 liest Vogelperspektivenansichtbilder, die mit dem sich geradeaus bewegenden Fahrzeug 1 an zumindest zwei Orten erhalten wurden, und analysiert die Richtung der Verschiebung der Referenzfigur zwischen den Vogelperspektivenansichtbildern. Indem sie dies tut, bestimmt die Fahrzeuganalyseeinheit 25 den Winkel des Fahrzeugs 1, der in der Gierrichtung in Bezug auf die auf der Geländeoberfläche ausgebildeten Referenzfigur zu bilden ist. Wie der Winkel des Fahrzeugs 1, der in der Gierrichtung in Bezug auf die auf der Geländeoberfläche ausgebildete Referenzfigur zu bilden ist, zu ermitteln bzw. bestimmen ist, wird später beschrieben.
Die Montagewinkelerfassungseinheit 26 erfasst den Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 basierend auf den Ergebnissen der Analyse, die durch die Kamerawinkelanalyseeinheit 24 durchgeführt wurde, und den Ergebnissen der Analyse, die durch die Fahrzeugwinkelanalyseeinheit 25 durchgeführt wurde. Die Montagewinkelerfassungseinheit 26 gibt den erfassten Montagewinkel an zum Beispiel den Monitor 11 aus.
3 zeigt ein Ablaufdiagramm der Montagewinkeleinstellverarbeitung zum Einstellen des Montagewinkels der bordeigenen Kamera 10 gemäß dem ersten Ausführungsbeispiel. Es wird angemerkt, dass diese Verarbeitung zu beginnen ist, nachdem das Fahrzeug 1 nahe an einen Parkrahmen bewegt ist.
Wie gezeigt ist, wird in der Montagewinkeleinstellverarbeitung des ersten Ausführungsbeispiels ein aufgenommenes Bild, das einen auf einer Geländeoberfläche ausgebildeten Parkrahmen zeigt, erhalten (S100). Wie vorstehend beschrieben wurde, wird das Fahrzeug 1 derart nahe an einen Parkrahmen bewegt, dass sich der Parkrahmen zumindest in dem Aufnahmebereich der bordeigenen Kamera 10 befindet. Daher beinhaltet er dann, wenn ein durch die bordeigene Kamera 10 aufgenommenes Bild erhalten ist, ein Bild des Parkrahmens.
Als Nächstes wird ein aufgenommenes Bild in ein Vogelperspektivenansichtbild umgewandelt (S101). Das Vogelperspektivenansichtbild wird erzeugt, indem das aufgenommene Bild der Vogelperspektivenansichtkonversion unterzogen wird, und zeigt die Objekte, die in dem aufgenommenen Bild gezeigt sind, als würden diese direkt von oben gesehen.
4(a) bis 4(c) zeigen ein Beispielbild, das durch die bordeigene Kamera 10 aufgenommen wurde, und Beispielvogelperspektivenansichtbilder, die durch Unterziehen des aufgenommenen Bilds unter die Vogelperspektivenansichtkonversion erzeugt wurden.
Da die bordeigene Kamera 10 den Parkrahmen von diagonal oben aufnimmt, wird ein Bild wie das eine, das in 4(a) gezeigt ist, erhalten. Obwohl die an Ecken A und B des Parkrahmens gebildeten Winkel rechte Winkel sind, sehen in dem durch die bordeigene Kamera 10 von diagonal oben aufgenommenen Bild die an den beiden Ecken A und B gebildeten Winkel nicht wie korrekte Winkel (rechte Winkel in diesem Fall) aus.
Falls der Montagewinkel der bordeigenen Kamera 10 korrekt ist, kann durch Unterziehen eines Vogelperspektivenansichtbilds wie das in 4(a) gezeigte Beispiel unter eine Vogelperspektivenansichtkonversion ein Vogelperspektivenansichtbild wie das in 4(b) gezeigte erhalten werden. Wie in 4(b) gezeigt ist, sehen die an den beiden Ecken A und B des Parkrahmens gebildeten Winkel korrekt, d. h. wie rechte Winkel, aus.
Wenn jedoch der Montagewinkel der bordeigenen Kamera 10 verschoben wurde, sehen in einem Vogelperspektivenansichtbild, das durch Umwandlung aus einem aufgenommenen Bild erhalten wurde, die an den beiden Ecken A und B des Parkrahmens gebildeten Winkel nicht korrekt wie rechte Winkel aus.
4(c) zeigt ein Beispiel eines Vogelperspektivenansichtbilds, das durch Vogelperspektivenansichtkonversion aus einem aufgenommenen Bild in einem Zustand erhalten wurde, in dem der Montagewinkel der bordeigenen Kamera 10 verschoben ist. Wie gezeigt sehen Winkel θa und θb an den Ecken A bzw. B des Parkrahmens gegenüber korrekten Winkeln, d. h. rechten Winkeln, anders aus. Folglich kann dann, wenn die Winkel an den beiden Ecken A und B des Parkrahmens nicht korrekt aussehen, bestimmt werden, dass der Montagewinkel der bordeigenen Kamera 10 verschoben worden ist.
In der in 3 gezeigten Monatewinkeleinstellverarbeitung wird das aufgenommene Bild in ein Vogelperspektivenansichtbild umgewandelt (S101), und werden dann die Winkel, die zwischen Seiten des Parkrahmens, der in dem Vogelperspektivenansichtbild gezeigt ist gebildet sind (in dem in 4(c) gezeigten Beispiel die Winkel θa und θb), und der Winkel, der zwischen einer optionalen Seite des Parkrahmens und der optischen Achse der bordeigenen Kamera 10 gebildet ist (in dem in 4(c) gezeigten Beispiel der Winkel θc) erfasst (S102).
In dem vorliegenden Ausführungsbeispiel wird die Linie, die durch die linke Seite des Parkrahmens wie von dem Fahrzeug 1 aus gesehen gebildet wird, als eine ”Referenzlinie” verwendet.
Darauffolgend werden basierend auf den drei erfassten Winkeln Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen (um genau zu sein, der Winkel der optischen Achse der bordeigenen Kamera 10 in der Neigungsrichtung in Bezug auf den Parkrahmen, der Rotationswinkel in der Wankrichtung der bordeigenen Kamera 10 und der in der Gierrichtung zwischen der linken Seite des Parkrahmens und der optischen Achse der bordeigenen Kamera 10 gebildete Winkel) berechnet (S103). Die Neigungsrichtung ist eine Richtung, in welcher die bordeigene Kamera 10 gedreht werden kann, im ein Ende der optischen Achse der bordeigenen Kamera 10 (vertikal) nach oben und nach unten zu bewegen, und die Wankrichtung ist eine Richtung, in welcher die bordeigene Kamera 10 um ihre optische Achse gedreht werden kann. Die Gierrichtung ist eine Richtung, in welcher die bordeigene Kamera 10 so gedreht werden kann, dass ein Ende seiner optischen Achse (horizontal) von einer Seite zur anderen bewegt wird.
Nachstehend wird beschrieben, wie die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen basierend auf den drei Winkeln, die aus dem in dem Vogelperspektivenansichtbild gezeigten Parkrahmen erfasst wurden, zu berechnen sind. Zunächst wird zur Vorbereitung beschrieben, wie ein aufgenommenes Bild in ein Vogelperspektivenansichtbild zu konvertieren ist.
5 zeigt verschiedenartige Koordinatensysteme, die verwendet werden, um zu beschreiben, wie ein aufgenommenes Bild in ein Vogelperspektivenansichtbild umzuwandeln ist. Wie gezeigt sei ein orthogonales Koordinatensystem basierend auf dem Fahrzeug 1 und ein anderes orthogonales Koordinatensystem basierend auf der bordeigenen Kamera 10 angenommen. Von den Koordinatenachsen, die das orthogonale Koordinatensystem basierend auf dem Fahrzeug 1 bilden, ist die Achse, die sich horizontal erstreckt, um zu der Vorn-Hinten-Richtung bzw. Front-Heck-Richtung des Fahrzeugs 1 rechtwinklig zu sein, als Xo bezeichnet, ist die Achse, die sich in der Front-Heck-Richtung des Fahrzeugs 1 erstreckt, als Yo bezeichnet, und ist die Achse, die sich vertikal rechtwinklig zu der Front-Heck-Richtung des Fahrzeugs 1 erstreckt, als Zo bezeichnet. Die Koordinaten basierend auf den vorstehenden drei Koordinatenachsen (Achsen Xo, Yo und Zo) werden als die fahrzeugbasierten Koordinaten bezeichnet, und ihre Koordinatenwerte werden durch (xo, yo und zo) repräsentiert.
In vergleichbarer Weise wird von den Koordinatenachsen, die das orthogonale Koordinatensystem basierend auf der bordeigenen Kamera 10 bilden, die Achse, die sich entlang der optischen Achse der bordeigenen Kamera 10 erstreckt, als CY bezeichnet; wird die Achse, die sich horizontal so erstreckt, dass die lotrecht zu der Achse CY ist, als CX bezeichnet; und wird die Achse, die so aufwärts erstreckt, dass sie lotrecht zu beiden Achsen CY und CX ist, als CZ bezeichnet. Die Koordinaten basierend auf den vorstehenden drei Koordinatenachsen (Achsen CX, CY und CZ) werden als die kamerabasierten Koordinaten bezeichnet, und ihre Koordinatenwerte werden durch (cx, cy, cz) repräsentiert.
Die Beziehung zwischen den fahrzeugbasierten Koordinaten (xo, yo, zo) und den kamerabasierten Koordinaten (cx, cy, cz) variiert mit der Position der an dem Fahrzeug 1 angebrachten bordeigenen Kamera 10. Um die Vogelperspektivenansichtkonversion leichter zu machen, sei ein neues orthogonales Koordinatensystem angenommen, das durch Umrechnen bzw. Versetzen des orthogonalen Koordinatensystems basierend auf dem Fahrzeug 1, bis der Ursprung O des orthogonalen Koordinatensystems basierend auf dem Fahrzeug 1 mit dem Ursprung CO des orthogonalen Koordinatensystems basierend auf der bordeigenen Kamera 10 zusammenfällt bzw. übereinstimmt, erzeugt wird. Von den Koordinatenachsen, die das neue Koordinatensystem bilden, wird die Achse, die sich parallel zu der Achse Xo erstreckt, als Achse X bezeichnet; wird die Achse, die sich parallel zu der Achse Yo erstreckt, als Achse Y bezeichnet; und wird die Achse, die sich parallel zu der Achse Zo erstreckt, als Achse Z bezeichnet. Die Koordinaten basierend auf den drei neuen Koordinatenachsen (Achsen X, Y und Z) werden als die fahrzeugbasierten Koordinaten (zur Analyse) bezeichnet, und ihre Koordinatenwerte werden durch (x, y, z) repräsentiert.
Wenn basierend auf den fahrzeugbasierten Koordinaten (zur Analyse) betrachtet, kann die Drehung bzw. Rotation der bordeigenen Kamera 10 in der Neigungsrichtung als eine Drehung um die X-Achse betrachtet werden; kann die Drehung der bordeigenen Kamera 10 in der Wankrichtung als eine Drehung um die Y-Achse betrachtet werden; und kann die Drehung der bordeigenen Kamera 10 in der Gierrichtung als eine Drehung um die Z-Achse betrachtet werden.
Darüber hinaus kann zwischen den Koordinatenwerten (xo, yo, zo) der vorangehenden fahrzeugbasierten Koordinaten und den Koordinatenwerten (x, y, z) der fahrzeugbasierten Koordinaten (zur Analyse) die Konversion bzw. Umwandlung unter Verwendung einer in 6 gezeigten Gleichung (1) leicht durchgeführt werden. In der Gleichung (1) repräsentieren tx, ty und tz fahrzeugbasierte Koordinaten xo, yo und zo am Ursprung CO der kamerabasierten Koordinaten.
Folglich ist die Umwandlung möglich zwischen den Koordinatenwerten (xo, yo, zo) der fahrzeugbasierten Koordinaten und den Koordinatenwerten (x, y, z) der fahrzeugbasierten Koordinaten (zur Analyse), und es sind die Koordinatenwerte (x, y, z) der fahrzeugbasierten Koordinaten (zur Analyse), die für Analysezwecke verwendet werden. Daher werden nachstehend die Koordinatenwerte (x, y, z) der fahrzeugbasierten Koordinaten (zur Analyse) einfach als die Koordinatenwerte (x, y, z) der fahrzeugbasierten Koordinaten bezeichnet.
Die Koordinatenwerte (x, y, z) der fahrzeugbasierten Koordinaten und die Koordinatenwerte (cx, cy, cz) der kamerabasierten Koordinaten sind wie durch eine in 7(b) gezeigte Gleichung (2) gezeigt verwandt bzw. aufeinander bezogen. In der Gleichung (2) repräsentiert [P] eine Rotationsmatrix zum Drehen der fahrzeugbasierten Koordinaten in der Neigungsrichtung. In vergleichbarer Weise repräsentiert in der Gleichung (2) [R] eine Rotationsmatrix zum Drehen der fahrzeugbasierten Koordinaten in der Wankrichtung, und repräsentiert [Y] eine Rotationsmatrix zum Drehen der fahrzeugbasierten Koordinaten in der Gierrichtung. Darüber hinaus repräsentiert ein in der Rotationsmatrix [P] enthaltener Winkel θp einen Drehwinkel in der Neigungsrichtung der kamerabasierten Koordinaten in Bezug auf die fahrzeugbasierten Koordinaten und repräsentiert ein in der Rotationsmatrix [R] enthaltener Winkel θr einen Rotationswinkel in der Wankrichtung der kamerabasierten Koordinaten in Bezug auf die fahrzeugbasierten Koordinaten. Ferner repräsentiert ein in der Rotationsmatrix [Y] enthaltener Winkel θp einen Drehwinkel in der Gierrichtung der kamerabasierten Koordinaten in Bezug auf die fahrzeugbasierten Koordinaten.
Die fahrzeugbasierten Koordinatenwerte (x, y, z) einer Referenzfigur (eines Parkrahmens im vorliegenden Fall), die durch die bordeigene Kamera 10 aufgenommen wurde, werden unter Verwendung der in 7(b) gezeigten Gleichung (2) in kamerabasierte Koordinatenwerte umgewandelt.
Folglich können die Koordinatenwerte (cx, cy, cz) einer Referenzfigur, die in kamerabasierte Koordinaten umgewandelt wurden, in Koordinatenwerte (u, v) auf dem aufgenommenen Bild umgewandelt werden. Die Koordinatenwerte (u, v) auf einem aufgenommenen Bild werden nachstehend als die Koordinatenwerte (u, v) von Bildebenenkoordinaten bezeichnet.
8(a) bis 8(c) stellen ein Verfahren zum Umwandeln der Koordinatenwerte (cx, cy, cz) einer Referenzfigur, die in kamerabasierte Koordinaten umgewandelt wurde, in Koordinatenwerte (u, v) von Bildebenenkoordinaten dar. Wie gezeigt ist eine Ebene (Bildebene) in einem geeigneten Abstand L vom Ursprung CO der kamerabasierten Koordinaten derart festgelegt, dass die Ebene lotrecht die optische Achse (Koordinatenachse CY) der bordeigenen Kamera 10 schneidet. In dieser Weise kann ein durch die bordeigene Kamera 10 aufgenommenes Bild als eine Projektion eines Aufnahmeziels auf den kamerabasierten Koordinaten auf die Bildebene betrachtet werden.
Daher können dann, wenn der Schnittpunkt der Koordinatenachse CY der kamerabasierten Koordinaten und der Bildebene als ein Ursprung festgelegt ist, die Koordinatenachse U so festgelegt ist, dass sie sich parallel zu der Koordinatenachse CX der kamerabasierten Koordinaten erstreckt, und die Koordinatenachse V so festgelegt ist, dass sie sich parallel zu der Koordinatenachse CZ der kamerabasierten Koordinaten erstreckt, die Koordinatenwerte (cx, cy, cz) einer Referenzfigur (eines Parkrahmens im vorliegenden Fall), die auf der Geländeoberfläche ausgebildet ist, unter Verwendung einer in 8(c) gezeigten Gleichung (3) in die Koordinatenwerte (u, v) auf der Bildebene umgewandelt werden.
9 stellt die Gesamtbeziehung zwischen den vorstehend beschriebenen unterschiedlichen Koordinatenwerte dar. Das heißt, die Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten werden unter Verwendung der in 7(b) gezeigten Gleichung (2) in die Koordinatenwerte (cx, cy, cz) kamerabasierter Koordinaten umgewandelt, und werden weiter unter Verwendung der in 8(c) gezeigten Gleichung (3) in die Koordinatenwerte (u, v) von Bildebenenkoordinaten umgewandelt. Die Koordinatenwerte (u, v) von Bildebenenkoordinaten entsprechen den Koordinatenwerten in bzw. auf dem aufgenommenen Bild.
Folglich entsprechen sich die Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten und die Koordinatenwerte (u, v) von Bildebenenkoordinaten wechselseitig auf einer Eins-zu-Eins-Basis, so dass, wie durch einen in durchbrochener Linie dargestellten Pfeil in 9 gezeigt ist, die Koordinatenwerte (u, v) in die Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten zurückkonvertiert werden können. Da ein Vogelperspektivenansichtbild ein Bild ist, das ein Bild auf den fahrzeugbasierten Koordinaten zeigt, als würde dies in der Z-Achsenrichtung gesehen, kann ein Vogelperspektivenansichtbild leicht durch Entfernen der Z-Achsenkomponente der Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten erhalten werden.
Daher kann ein aufgenommenes Bild durch Durchführen einer Reihe von Umwandlungen, d. h. umgekehrtes Konvertieren bzw. Rückumwandeln der Koordinatenwerte (u, v) von Bildebenenkoordinaten in die Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten und Entfernen der Z-Achsenkomponente aus den resultierend erhaltenen Koordinatenwerten (x, y, z) fahrzeugbasierter Koordinaten, in ein Vogelperspektivenansichtbild umgewandelt werden. Es ist darüber hinaus möglich, ein Vogelperspektivenansichtkonversionsmodul zu kreieren, um eine eine solche Reihe von Umwandlungen kombinierende Konversionsverarbeitung durchzuführen.
In S101 der in 3 gezeigten Monatewinkeleinstellverarbeitung wird ein aufgenommenes Bild unter Verwendung eines solchen Vogelperspektivenansichtkonversionsmoduls in ein Vogelperspektivenansichtbild umgewandelt. Es wird Fälle geben, in welchen die Koordinatenwerte (x, y), die durch Entfernen der Z-Achsenkomponente aus den Koordinatenwerten (x, y, z) fahrzeugbasierter Koordinaten erhalten wurden, als die Koordinatenwerte (x, y) von Vogelperspektivenansichtkoordinaten bezeichnet werden.
Wie durch die in 7(b) gezeigte Gleichung (2) gezeigt ist, hängt die Umwandlung der Koordinatenwerte (x, y, z) fahrzeugbasierter Koordinaten in die Koordinatenwerte (cx, cy, cz) kamerabasierter Koordinaten von einem Winkel θp in der Neigungsrichtung, einem Winkel θr in der Wankrichtung und einem Winkel θy in der Gierrichtung der bordeigenen Kamera 10 ab. Daher hängt auch die Vogelperspektivenansichtkonversion von Bildebenenkoordinatenwerten (u, v) eines aufgenommenen Bilds in die Koordinatenwerte (x, y) von Vogelperspektivenansichtkoordinaten von dem Winkel θp in der Neigungsrichtung, dem Winkel θr in der Wankrichtung und dem Winkel θy in der Gierrichtung der bordeigenen Kamera 10 ab. Das heißt, das Vogelperspektivenansichtkonversionsmodul ist basierend auf der Annahme ausgebildet, dass die bordeigene Kamera 10 in einem geeigneten Montagewinkel montiert ist.
Wenn, wie in 4(c) gezeigt ist, eine Referenzfigur (ein Parkrahmen im vorliegenden Fall) mit inkorrekten Eckenwinkeln gezeigt ist, wird der Montagewinkel der bordeigenen Kamera 10 als verschoben betrachtet.
Bezugnehmend auf 10 sind der Winkel θp in der Neigungsrichtung, der Winkel θr in der Wankrichtung und der Winkel θy in der Gierrichtung der bordeigenen Kamera 10 von außerhalb des Vogelperspektivenansichtkonversionsmoduls festlegbar gemacht, und wird ein aufgenommenes Bild durch Anwenden verschiedener Wertekombinationen von drei Winkeln θp, θr und θy in Vogelperspektivenansichtbilder umgewandelt. Aus jedem der so erhaltenen Vogelperspektivenansichtbilder werden drei Winkel θa, θb und θc, die in 4(c) gezeigt sind, der Referenzfigur (Parkrahmen) erfasst, und werden die drei Winkel θa, θb und θc unter Verwendung einer Auswerte- bzw. Evaluationsfunktion H, von welcher ein Beispiel in 11 gezeigt ist, evaluiert bzw. ausgewertet.
Als ein Ergebnis der Auswertung wird die Kombination von Winkeln θp, θr und θy, die in dem kleinsten Wert der Evaluationsfunktion H resultiert hat (oder die in einem Wert der Evaluationsfunktion H kleiner als ein vorbestimmter maximal zulässiger Wert resultiert hat) als die Winkel der optischen Achse der bordeigenen Kamera 10, die in Bezug auf die Referenzfigur (Parkrahmen) gebildet sind, ermittelt.
In S103 der in 3 gezeigten Montagewinkeleinstellverarbeitung werden die Winkel der bordeigenen Kamera 10, die in Bezug auf den Parkrahmen gebildet sind, wie vorstehend beschrieben berechnet.
Jedoch macht das Bestimmen der Winkel der bordeigenen Kamera 10, die in Bezug auf den Parkrahmen gebildet sind, den Montagewinkel der bordeigenen Kamera 10 nicht unmittelbar einstellbar. Dies ist deshalb so, weil der Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 einzustellen ist. Daher ist auch dann, wenn die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen bekannt sind, der einzustellende Montagewinkel (der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1) nicht bekannt, solange nicht bzw. bis die Winkel des Fahrzeugs 1 in Bezug auf den Parkrahmen bekannt sind. Insbesondere verglichen mit den Winkeln in der Neigungsrichtung und der Wankrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen ist der Winkel in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen unvermeidbar stärker einer Schwankung unterworfen. Dies wird unter Bezugnahme auf 12(a) bis 12(c) beschrieben.
Zum Beispiel sei angenommen, dass nach dem Positionieren des Fahrzeugs 1 zum Minimieren seiner Neigung in Bezug auf einen Parkrahmen die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen durch Analysieren des Bilds des Parkrahmens, der in einem Vogelperspektivenansichtbild gezeigt ist, bestimmt worden sind, und dass als ein Ergebnis die Montage der bordeigenen Kamera 10 als um den Winkel θy in der Gierrichtung verschoben ermittelt wurde.
Wenn mit dem zum Minimieren seiner Neigung in Bezug auf den Parkrahmen positionierten Fahrzeug 1 keine Neigung des Fahrzeugs 1 in Bezug auf den Parkrahmen beobachtet wird, wie in 12(a) gezeigt, wird die bordeigene Kamera 10 als in Bezug auf das Fahrzeug 1 um den Winkel θy in der Gierrichtung verschoben ermittelt.
Da es jedoch schwierig ist, das Fahrzeug 1 ohne Neigung in Bezug auf den Parkrahmen zu positionieren, kann es auch einen Fall geben, in welchem das Fahrzeug 1 um einen Winkel θy in Bezug auf den Parkrahmen wie in 12(b) gezeigt geneigt ist. In einem solchen Fall ist die bordeigene Kamera 10 in Bezug auf das Fahrzeug 1 gerade montiert.
In Wirklichkeit wird berücksichtigt dass, wie in 12(c) gezeigt, die bordeigene Kamera 10 bei um einen Winkel θys in Bezug auf den Parkrahmen geneigtem Fahrzeug 1 und um einen Winkel θyc in Bezug auf das Fahrzeug 1 geneigter bordeigener Kamera 10 um den Winkel θy in Bezug auf den Parkrahmen geneigt ist.
Was vorstehend beschrieben wurde, kann auch im Hinblick auf Winkel in den Neigungs- und Wankrichtungen geschehen. Jedoch können die Neigungen in den Neigungs- und Wankrichtungen des Fahrzeugs 1 in Bezug auf den Parkrahmen durch Fixieren der Anzahl von Menschen und von Lastbedingungen (Größen und Orten von Lasten) an Bord des Fahrzeugs 1 stabilisiert werden. Daher ist es möglich, im Voraus die Winkel in den Neigungs- und Wankrichtungen des Fahrzeugs 1 in Bezug auf den Parkrahmen abzuschätzen.
Was die Neigung in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen anbelangt, ist es schwierig, Bedingungen einzustellen, um die Neigung konstant zu machen. Solange der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen nicht durch ein geeignetes Verfahren erfasst ist, kann daher der Winkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 nicht bekannt sein, und kann der Montagewinkel der bordeigenen Kamera 10 nicht eingestellt werden.
Daher werden in der in 3 gezeigten Montagewinkeleinstellverarbeitung die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen berechnet (S103), und wird dann nach einem Geradeausbewegen des Fahrzeugs 1 um eine bestimmte Entfernung der Parkrahmen neu aufgenommen, um ein neu aufgenommenes Bild zu erhalten (S104).
Im Prinzip kann, je größer die Entfernung ist, um welche das Fahrzeug 1 bewegt wird, desto höher die Genauigkeit sein, mit welcher der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen erfasst werden kann. In Wirklichkeit jedoch gerät dann, wenn das Fahrzeug 1 um eine zu große Entfernung bewegt wird, der Parkrahmen aus dem Aufnahmebereich der bordeigenen Kamera 10.
Auch wenn der Parkrahmen innerhalb des Aufnahmebereichs der bordeigenen Kamera 10 bleibt, wenn der Parkrahmen fern von der bordeigenen Kamera 10 ist, kann die Auflösung der bordeigenen Kamera 10 inadäquat werden, oder können durch die bordeigene Kamera 10 aufgenommene Bilder leicht deformierbar werden. Dies macht ein Erfassen einer akkuraten Form des Parkrahmens schwierig. Daher gibt es einen geeigneten Bereich einer Entfernung, um welche das Fahrzeug 1 zu bewegen ist. In dem vorliegenden Ausführungsbeispiel wird das Fahrzeug 1 um eine Entfernung im Bereich von 2 bis 3 Metern geradeaus bewegt.
Als Nächstes wird das neu aufgenommene Bild in ein Vogelperspektivenansichtbild umgewandelt (S105). Dann wird durch Vergleichen des neu erhaltenen Vogelperspektivenansichtbilds und des Vogelperspektivenansichtbilds, das erhalten wurde, bevor das Fahrzeug 1 geradeaus bewegt wurde, die Richtung der Verschiebung des Parkrahmens zwischen den Vogelperspektivenansichtbildern erfasst und wird der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen erfasst (S106).
Das heißt, wie in 13(a) gezeigt, der Parkrahmen ist in dem auf dem Monitor 11 angezeigten Vogelperspektivenansichtbild infolge der Bewegung des Fahrzeugs 1 weg von dem Parkrahmen verschoben, wie in 13(b) gezeigt. Daher entspricht die Richtung, in welcher der Parkrahmen in der Vogelperspektivenansichtbildanzeige verschoben ist, der Richtung, in welcher sich das Fahrzeug 1 in Bezug auf den Parkrahmen bewegt, und wird dann, wenn das Fahrzeug 1 geradeaus bewegt wird, die Richtung der Bewegung des Fahrzeugs 1 in Bezug auf den Parkrahmen durch den Winkel θys des Fahrzeugs 1 in Bezug auf den Parkrahmen repräsentiert. Folglich kann durch Erfassen der Richtung der Verschiebung des Parkrahmens in der Vogelperspektivenansichtbildanzeige der Winkel θys des Fahrzeugs in Bezug auf den Parkrahmen bestimmt werden.
Die Richtung der Verschiebung des Parkrahmens auf der Vogelperspektivenansichtbildanzeige kann auch durch zum Beispiel Bestimmen einer Bildkorrelation zwischen zwei Vogelperspektivenansichtbildern ermittelt werden. In einer einfacheren Weise kann sie jedoch durch Erfassen der Richtung der Verschiebung von Merkmalspunkten zwischen Vogelperspektivenansichtbildern ermittelt werden.
Zum Beispiel ist es möglich, die Position einer Parkrahmenecke A oder B als einen Merkmalspunkt zu erfassen, wie in 13(a) gezeigt, und den Winkel θys des Fahrzeugs 1 in Bezug auf den Parkrahmen durch Ermitteln der Richtung zu bestimmen, in welcher die Ecke A oder B zwischen zwei Vogelperspektivenansichtbildern verschoben ist.
In S106 der in 3 gezeigten Montagewinkeleinstellverarbeitung wird der Winkel θys des Fahrzeugs 1 in Bezug auf den Parkrahmen wie vorstehend beschrieben erfasst.
Nachfolgend wird der Winkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 durch Subtrahieren des Winkels θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den in S106 erhaltenen Parkrahmen von dem Winkel θy in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf den in S103 erhaltenen Parkrahmen berechnet (S107).
Nachdem der Winkel θp in der Neigungsrichtung und der Winkel θr in der Wankrichtung der bordeigenen Kamera 10 in Bezug auf den Parkrahmen und der Winkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 wie vorstehend beschrieben erhalten sind, wird der Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 basierend auf den erhaltenen Winkeln eingestellt (S108).
Das heißt, da der Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 bestimmt worden ist, kann der Montagewinkel θyc auf einen geeigneten Wert eingestellt werden.
Was die Neigungsrichtung und die Wankrichtung anbelangt, kann in einem Zustand, in dem die Anzahl von Menschen und Lastbedingungen (Größen und Orte von Lasten) an Bord des Fahrzeugs 1 so justiert sind, dass die Neigung des Fahrzeugs 1 in Bezug auf den Parkrahmen konstant gemacht ist, der Montagewinkel der bordeigenen Kamera 10 eingestellt werden, bis der Winkel θp in der Neigungsrichtung und der Winkel θr in der Wankrichtung der bordeigenen Kamera 10 in Bezug auf den Parkrahmen geeignet bzw. korrekt sind.
Alternativ können in einem Zustand, in dem die Anzahl von Menschen und Lastbedingungen (Größen und Orte von Lasten) an Bord des Fahrzeugs 1 justiert sind, nach einem Abschätzen der Winkel in der Neigungsrichtung und der Wankrichtung, um welche sich das Fahrzeug 1 erwartungsgemäß in Bezug auf den Parkrahmen neigen wird, die abgeschätzten Winkel von dem Winkel θp in der Neigungsrichtung und dem Winkel θr in der Wankrichtung der bordeigenen Kamera 10 in Bezug auf den Parkrahmen subtrahiert werden. In dieser Weise können die Montagewinkel in der Neigungsrichtung und in der Wankrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 erhalten werden. Dann kann der Montagewinkel der bordeigenen Kamera 10 eingestellt werden, bis die erhaltenen Winkel geeignet bzw. korrekt sind.
Vorstehend wurde beschrieben, dass ein Bild des Parkrahmens aufgenommen wird, bevor und nachdem das Fahrzeug 1 geradeaus bewegt wird; die aufgenommenen Bilder in Vogelperspektivenansichtbilder umgewandelt bzw. konvertiert werden; die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen basierend auf den Vogelperspektivenansichtbild des Parkrahmens, bevor das Fahrzeug 1 geradeaus bewegt wurde, berechnet werden; und der Winkel des Fahrzeugs 1 in Bezug auf den Parkrahmen basierend auf den Vogelperspektivenansichtbildern des Parkrahmens bevor und nachdem das Fahrzeug 1 geradeaus bewegt wurde erfasst wird.
Alternativ können die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen basierend auf dem Vogelperspektivenansichtbild des Parkrahmens nachdem das Fahrzeug 1 geradeaus bewegt wurde berechnet werden.
Vorstehend wurde ebenfalls beschrieben, dass eines der beiden Vogelperspektivenansichtbilder, die zum Erfassen des Winkels des Fahrzeugs 1 in Bezug auf den Parkrahmen verwendet werden, das eine ist, das zum Berechnen der Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen verwendet wird.
Alternativ können zwei zusätzliche Vogelperspektivenansichtbilder des Parkrahmens bevor und nachdem das Fahrzeug 1 geradeaus bewegt ist separat von dem zum Berechnen der Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen verwendeten Vogelperspektivenansichtbild erhalten werden, und können die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen basierend auf den zwei Vogelperspektivenansichtbildern berechnet werden.
In Übereinstimmung mit dem vorstehend beschriebenen ersten Ausführungsbeispiel werden Bilder einer Referenzfigur (eines Parkrahmens bzw. einer Parklücken- oder Parkplatzbegrenzung im vorliegenden Fall), die aufgenommen wurden, bevor und nachdem das Fahrzeug 1 geradeaus bewegt ist, in Vogelperspektivenansichtbilder umgewandelt und kann durch Analysieren der Vogelperspektivenansichtbilder der Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 eingestellt werden. Daher kann der Montagewinkel der bordeigenen Kamera 10 auch dann eingestellt werden, wenn bei dem Fahrzeug 1, bei dem die bordeigene Kamera 10 in einem hinteren oder vorderen Abschnitt montiert ist, in einem der Seitenabschnitte keine Kamera montiert ist.
Darüber hinaus kann der Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 erhalten werden durch Bewegen des Fahrzeugs 1 nahe an eine Referenzfigur (einen Parkrahmen) und Aufnehmen eines Bilds der Referenzfigur mit der bordeigenen Kamera 10 und dann erneutes Aufnehmen eines Bilds der Referenzfigur nach dem Geradeausbewegen des Fahrzeugs 1. In dieser Weise kann der Montagewinkel der bordeigenen Kamera 10 leicht eingestellt werden.
Außerdem wird zu Beginn ein Bild aufgenommen, bei dem sich das Fahrzeug nahe an einer Referenzfigur (einem Parkrahmen) befindet, so dass die Referenzfigur in dem aufgenommenen Bild (oder in dem Vogelperspektivenansichtbild) leicht und sicher erfasst werden kann. Darauffolgend wird es durch Nachverfolgen der Referenzfigur, wenn das Fahrzeug 1 geradeaus bewegt wird, möglich gemacht, die Referenzfigur fehlerfrei zu erfassen, die in einem Bild, das aufgenommen wurde, wenn sich das Fahrzeug 1 weit weg von der Referenzfigur befindet, oder in einem aus einem solchen aufgenommenen Bild konvertierten Vogelperspektivenansichtbild gezeigt ist.
C. Zweites Ausführungsbeispiel
In dem ersten Ausführungsbeispiel wie vorstehend beschrieben werden die Winkel der bordeigenen Kamera 10 in Bezug auf eine Referenzfigur (einen Parkrahmen im vorliegenden Fall) basierend auf einem Vogelperspektivenansichtbild berechnet, und wird der Winkel des Fahrzeugs 1 in Bezug auf die Referenzfigur (den Parkrahmen) basierend auf zwei Vogelperspektivenansichtbildern erfasst. Alternativ können die Winkel der bordeigenen Kamera 10 in Bezug auf die Referenzfigur basierend auf einer Vielzahl von Vogelperspektivenansichtbildern berechnet werden, und kann der Winkel des Fahrzeugs 1 in Bezug auf die Referenzfigur basierend auf mehr als zwei Vogelperspektivenansichtbildern erfasst werden.
Auf die vorstehende Weise werden Wirkungen von Fehlern bei der Berechnung oder Erfassung der jeweiligen Winkel reduziert, so dass der Montagewinkel der bordeigenen Kamera 10 mit höherer Genauigkeit eingestellt werden kann.
14 zeigt eine Umrisskonfiguration von Interna der Steuereinrichtung 20 gemäß einem zweiten Ausführungsbeispiel. Die Steuereinrichtung 20 des zweiten Ausführungsbeispiels unterscheidet sich von der Steuereinrichtung 20 des ersten Ausführungsbeispiels darin, dass sie zusätzlich eine Geradeausbewegungsüberwachungseinheit 27 beinhaltet, in anderer Hinsicht sind die beiden identisch. Nachstehend wird die Steuereinrichtung 20 des zweiten Ausführungsbeispiels mit Fokussierung auf seine Unterschiede gegenüber der Steuereinrichtung 20 des ersten Ausführungsbeispiels beschrieben.
Die Geradeausbewegungsüberwachungseinheit 27 ist mit dem Fahrzeuginformationssensor 12 des Fahrzeugs 1 verbunden, und überwacht durch Erhalten von Information über den Lenkwinkel des Fahrzeugs 1 von dem Fahrzeuginformationssensor 12, ob sich das Fahrzeug 1 in einem Zustand einer Geradeausbewegung befindet, während der Montagewinkel der bordeigenen Kamera 10 erfasst wird. Falls während der Montagewinkelerfassung das Fahrzeug 1 von einem Geradeausbewegungszustand abweicht, kommuniziert die Geradeausbewegungsüberwachungseinheit 27 diesbezüglich an die Montagewinkelerfassungseinheit 26. Wie im Vorstehenden beschrieben wurde, erfasst die Montagewinkelerfassungseinheit 26 den Montagewinkel der bordeigenen Kamera 10 in Bezug auf fas Fahrzeug 1 unter Verwendung des Ergebnisses der Analyse durch die Kamerawinkelanalyseeinheit 24 und des Ergebnisses der Analyse durch die Fahrzeugwinkelanalyseeinheit 25. Wenn während der Montagewinkelerfassung Information über eine Abweichung des Fahrzeugs 1 von einem Geradeausbewegungszustand empfangen wird, gibt die Montagewinkelerfassungseinheit 26 des zweiten Ausführungsbeispiels die Ergebnisse der Montagewinkelerfassung, die im Gange war, auf, und beginnt erneut, den Montagewinkel zu erfassen.
Darüber hinaus gibt dann, wenn die Geradeausbewegungsüberwachungseinheit 27 während der Montagewinkelerfassung eine Abweichung des Fahrzeugs 1 von einem Geradeausbewegungszustand erfasst, die Geradeausbewegungsüberwachungseinheit 27 zum Beispiel aus einem Lautsprecher 30 eine Warnung bezüglich dessen aus, dass das Fahrzeug 1 eine Geradeausbewegung während der Montagewinkelerfassung beibehalten muss.
Die Steuereinrichtung 20 des zweiten Ausführungsbeispiels, die mit der vorstehend beschriebenen Geradeausbewegungsüberwachungseinheit 27 bereitgestellt ist, kann überwachen, ob sich das Fahrzeug 1 in einem Geradeausbewegungszustand befindet, so dass es unter Verwendung einer Vielzahl von Vogelperspektivenansichtbildern möglich ist, die Winkel der bordeigenen Kamera 10 in Bezug auf eine Referenzfigur und den Winkel des Fahrzeugs 1 in Bezug auf die Referenzfigur zu erfassen. Nachstehend wird die Montagewinkeleinstellverarbeitung, die durch die Steuereinrichtung 20 des zweiten Ausführungsbeispiels zum Einstellen des Montagewinkels der bordeigenen Kamera 10 durchgeführt wird, beschrieben.
15, 16 und 17 zeigen ein Ablaufdiagramm der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels. Die Verarbeitung wie die Montagewinkeleinstellverarbeitung des vorangehenden ersten Ausführungsbeispiels wird ebenfalls begonnen, nachdem das Fahrzeug 1 nahe an eine Referenzfigur (einen Parkrahmen im vorliegenden Fall) bewegt ist.
Wie gezeigt wird auch in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels zu Beginn ein durch die bordeigenen Kamera 10 aufgenommenes Bild der Referenzfigur (Parkrahmen) erhalten (S200).
Darauffolgend wird in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels der in dem aufgenommenen Bild gezeigte Parkrahmen erfasst, und wird ermittelt bzw. bestimmt, ob der Parkrahmen in einem vorbestimmten Gebietsbereich in dem aufgenommenen Bild gezeigt ist (S201).
Wenn als ein Ergebnis ermittelt wird, dass der Parkrahmen nicht in dem vorbestimmten Gebietsbereich in dem aufgenommenen Bild bzw. Aufnahmebild gezeigt ist (S201: nein), wird eine Warnung bezüglich dessen, dass der Ort, an dem das Fahrzeug 1 angehalten ist, nicht geeignet ist, aus zum Beispiel dem Lautsprecher 30 und dem Monitor 11 ausgegeben (S202). Dann wird das erhaltene Aufnahmebild aufgegeben (S203), und kehrt die Verarbeitung zu S200 zurück, um erneut ein Aufnahmebild des Parkrahmens zu erhalten.
Wie später im Einzelnen beschrieben wird, werden in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels Parkrahmenbilder aufgenommen, während das Fahrzeug 1 innerhalb eines vorbestimmten Grenzentfernungsbereichs bewegt wird. Solange das Fahrzeug 1 nicht zu Beginn korrekt in Bezug auf den Parkrahmen positioniert ist, kann daher der Parkrahmen aus dem Aufnahmebereich der bordeigenen Kamera 10 geraten, während das Fahrzeug 1 innerhalb eines Grenzentfernungsbereichs bewegt wird.
Daher wird dann, wenn ein Parkrahmen zu Beginn bzw. anfänglich aufgenommen wird, ermittelt, ob der Parkrahmen in einem geeigneten Gebietsbereich des Aufnahmebilds gezeigt ist (S201). Wenn der Parkrahmen nicht in dem geeigneten Gebietsbereich gezeigt ist (S201: nein), wird dem Fahrer diesbezüglich eine Warnung gegeben.
Wenn andererseits ermittelt wird, dass der Parkrahmen in dem geeigneten Gebietsbereich in dem Aufnahmebild gezeigt ist (S201: ja), wird die Bildaufnahme fortgesetzt, um mehr Parkrahmenbilder zu erhalten, während das Fahrzeug 1 geradeaus bewegt wird (S204).
Als Nächstes wird ermittelt, ob die von dem Fahrzeuginformationssensor 12 erfasste Fahrzeuggeschwindigkeit innerhalb einer maximal zulässigen Geschwindigkeit liegt (S205). Falls ermittelt wird, dass die erfasste Fahrzeuggeschwindigkeit über der maximal zulässigen Geschwindigkeit liegt (S205: nein), wird eine Warnung diesbezüglich unter Verwendung des Lautsprechers 30 oder des Monitors 11 ausgegeben (S206). Der Grund, weshalb eine Warnung ausgegeben wird, wenn die maximal zulässige Geschwindigkeit des Fahrzeugs überschritten wird, wird später beschrieben.
Wenn die Fahrzeuggeschwindigkeit innerhalb bzw. unter der maximal zulässigen Geschwindigkeit liegt (S205: ja), wird der Fahrer nicht gewarnt.
Nachfolgend wird ermittelt, ob sich das Fahrzeug 1 geradeaus bewegt (S207). Ob sich das Fahrzeug 1 geradeaus bewegt, kann durch Erhalten von Information über den Lenkwinkel von dem Fahrzeuginformationssensor 12 ermittelt werden.
Wenn ermittelt wird, dass sich das Fahrzeug 1 nicht geradeaus bewegt (S207: nein), wird eine Warnung bezüglich dessen, dass das Fahrzeug 1 sich geradeaus bewegend zu halten ist, unter Verwendung des Lautsprechers 30 oder des Monitors 11 ausgegeben (S208). Dann werden alle bereits aufgenommenen Bilder aufgegeben (S209), und wird die Verarbeitung ab dem Schritt zum Aufnehmen eines Parkrahmenbilds erneut gestartet bzw. begonnen (S200). Der Grund, weshalb alle aufgenommenen Bilder aufgegeben werden (S209) besteht darin, dass, da der Winkel θys des Fahrzeugs 1 in Bezug auf den Parkrahmen basierend auf der Annahme erfasst wird, dass sich das Fahrzeug 1 geradeaus bewegt (vgl. 13(a) und 13(b)), eine Abweichung des Fahrzeugs 1 von einer Geradeausbewegung alle aufgenommenen Bilder unanwendbar macht.
Andererseits wird dann, wenn das Fahrzeug 1 als sich geradeaus bewegend ermittelt wird (S207: ja), ermittelt, ob die Anzahl bereits aufgenommener Bilder eine Sollanzahl erreicht hat (S210).
Wenn ermittelt wird, dass die erhaltene Anzahl aufgenommener Bilder eine Sollanzahl nicht erreicht hat (S210: nein), wird ermittelt, ob die von dem Fahrzeug 1 zurückgelegte Entfernung eine Grenzentfernung erreicht hat (S211). Dies wird ermittelt, weil es wie in Verbindung mit dem ersten Ausführungsbeispiel beschrieben wurde dann, wenn sich der Parkrahmen entfernt von dem Fahrzeug 1 befindet, schwierig ist, den Parkrahmen mit hoher Genauigkeit zu erfassen. In der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels ist eine Grenzentfernung in einem Bereich von 2 bis 3 Metern vorbestimmt.
Wenn die von dem Fahrzeug 1 zurückgelegte Entfernung die Grenzentfernung nicht erreicht hat (S211: nein), kehrt die Verarbeitung zu S205 zurück, in dem ermittelt wird, ob die Fahrzeuggeschwindigkeit innerhalb einer maximal zulässigen Geschwindigkeit liegt, und wird nachfolgend die beschriebene Reihe von Verarbeitungen (S206 bis S211) wiederholt.
Falls, während die Verarbeitung wie vorstehend beschrieben wiederholt wird, die von dem Fahrzeug 1 zurückgelegte Entfernung die Grenzentfernung erreicht (S211: ja), bevor eine Sollanzahl aufgenommener Bilder erreicht ist, wird das Erhalten von Aufnahmebildern angehalten (S212, gezeigt in 16).
Nachfolgend wird eine Warninformation, dass die von dem Fahrzeug 1 zurückgelegte Entfernung die Grenzentfernung überschritten hat, aus zum Beispiel dem Lautsprecher 30 oder dem Monitor 11 ausgegeben (S213). Ferner wird eine Anweisung zum einmaligen Anhalten des Fahrzeugs 1 und Umkehren der Richtung seiner Bewegung an den Fahrer ausgegeben (S214). Der Grund, weshalb das Erhalten von Aufnahmebildern angehalten wird und eine Anweisung zum Umkehren der Richtung der Bewegung des Fahrzeugs 1 wie vorstehend beschrieben ausgegeben wird, besteht darin, dass ein Bewegen des Fahrzeugs 1 weiter weg von dem Parkrahmen die Genauigkeit der Parkrahmenerfassung senken bzw. verringern kann.
In dem zweiten Ausführungsbeispiel wie hierin beschrieben wird eine Anweisung zum Anhalten des Fahrzeugs 1 und Umkehren der Richtung der Bewegung des Fahrzeugs 1 an den Fahrer gegeben. Alternativ kann eine solche Anweisung nicht an den Fahrer ausgegeben werden, sondern von der Steuereinrichtung 20 an verschiedenartige Aktuatoren bzw. Stellglieder des Fahrzeugs 1, um das Fahrzeug 1 automatisch anhalten und die Richtung seiner Bewegung umkehren zu lassen.
Nachfolgend wird ermittelt, ob die Richtung der Bewegung des Fahrzeugs 1 umgekehrt wurde und das Fahrzeug 1 begonnen hat, sich in der umgekehrten Richtung zu bewegen (S215). Ob das Fahrzeug 1 die Bewegung begonnen hat und ob die Richtung seiner Bewegung umgekehrt wurde, kann durch Erhalten von Fahrzeuginformation von dem Fahrzeuginformationssensor 12 ermittelt werden.
Wenn als ein Ergebnis ermittelt wird, dass das Fahrzeug 1 nicht begonnen hat, sich in der umgekehrten Richtung zu bewegen (S215: nein), wird der Ermittlungsschritt wiederholt, ohne zu erlauben, dass die Verarbeitung weiter fortschreitet. Wenn schließlich ermittelt wird, dass das Fahrzeug 1 begonnen hat, sich in der umgekehrten Richtung zu bewegen (S215: ja), wird das Erhalten von Aufnahmebildern wieder aufgenommen (S216). Darauffolgend kehrt die Verarbeitung zu dem in 15 gezeigten S205 zurück, in dem ermittelt wird, ob die Fahrzeuggeschwindigkeit innerhalb der Grenzgeschwindigkeit liegt, und wird dann die vorstehend beschriebene Reihe von Verarbeitungen (S206 bis S211) wiederholt.
Der Grund, weshalb in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels dann, wenn die Geschwindigkeit des Fahrzeugs 1 eine maximal zulässige Geschwindigkeit überschreitet, eine Warnung diesbezüglich ausgegeben wird (S206), ist wie folgt.
Wie vorstehend beschrieben wurde, wird in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels eine Sollanzahl aufgenommener Bilder erhalten, während das Fahrzeug 1 innerhalb eines begrenzten Entfernungsbereichs bewegt wird. Daher wird es dann, wenn die Geschwindigkeit des Fahrzeugs 1 hoch ist, notwendig, das Anhalten des Fahrzeugs 1 und das Umkehren der Richtung seiner Bewegung zu wiederholen, bevor die Anzahl aufgenommener Bilder die Sollanzahl erreicht. Dies erhöht die Zeit, die benötigt wird, um die Sollanzahl aufgenommener Bilder zu erhalten.
Darüber hinaus ist die Wahrscheinlichkeit, dass das Fahrzeug 1 von einem Geradeausbewegungszustand abweicht, umso höher, je größer die Häufigkeit des Anhaltens des Fahrzeugs 1 ist. Wenn das Fahrzeug 1 von einem Geradeausfahrzustand abweicht, werden alle aufgenommenen Bilder aufgegeben. Dies erhöht weiter die Zeit, die benötigt wird, um die Sollanzahl aufgenommener Bilder zu erhalten.
Folglich ist wünschenswert, dass die Bewegungsgeschwindigkeit des Fahrzeugs 1 nicht zu hoch ist. Daher wird in der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels dann, wenn die Geschwindigkeit des Fahrzeugs 1 die maximal zulässige Geschwindigkeit überschreitet (S205: nein), eine Warnung diesbezüglich ausgegeben (S206).
Betreffend eine ideale Bewegungsgeschwindigkeit des Fahrzeugs 1 ist wünschenswert, dass die erhaltene Anzahl aufgenommener Bilder eine Sollanzahl während einer Zeitspanne erreicht, in welcher das Fahrzeug 1 einmalig das Vorwärtsfahren und das Rückwärtsfahren abschließt. Ein Sollgeschwindigkeitsbereich, der eine solche ideale Bewegungsgeschwindigkeit beinhaltet, kann im Voraus festgelegt sein, um eine Warnung nicht nur derart, dass wenn die durch den Fahrzeuginformationssensor 12 ausgegebene Fahrzeuggeschwindigkeit höher ist als der Sollgeschwindigkeitsbereich, eine Warnung diesbezüglich ausgegeben wird, und bzw. sondern ebenfalls derart, dass wenn die Fahrzeuggeschwindigkeit niedriger ist als der Sollgeschwindigkeitsbereich, eine Warnung diesbezüglich ausgegeben wird, auszugeben.
Wenn ermittelt wird, dass als ein Ergebnis des Erhaltens aufgenommener Bilder während des vor und zurück Bewegens des Fahrzeugs 1 die erhaltene Sollanzahl aufgenommener Bilder erreicht worden ist (S210: ja), werden alle erhaltenen aufgenommenen Bilder in Vogelperspektivenansichtbilder umgewandelt, und wird der Parkrahmen aus jedem der Vogelperspektivenansichtbilder erfasst (S217, gezeigt in 17).
Darauffolgend werden die Koordinatenwerte der in den jeweiligen Vogelperspektivenansichtbildern erfassten Parkrahmen gemittelt, und wird dadurch ein mittlerer bzw. durchschnittlicher Parkrahmen berechnet (S218). Da der mittlere Parkrahmen durch Mitteln der aus der Sollanzahl von Vogelperspektivenansichtbildern erfassten Parkrahmen berechnet wird, können auch dann, wenn die aus individuellen Vogelperspektivenansichtbildern erfassten Ziel- bzw. Sollrahmenorte Rauschen beinhalten, die Wirkungen des Rauschens eliminiert werden. Folglich kann der Parkrahmen mit hoher Genauigkeit erfasst werden.
Basierend auf dem so erhaltenen mittleren Parkrahmen werden die Winkel, in welchen sich Seiten des Parkrahmens, der in jedem Vogelperspektivenansichtbild gezeigt ist, kreuzen bzw. schneiden, und der Winkel, der zwischen einer optionalen Seite des Parkrahmens und der optischen Achse der bordeigenen Kamera 10 gebildet wird, erfasst (S219), wie es in der Montagewinkeleinstellverarbeitung des vorangehenden ersten Ausführungsbeispiels durchgeführt wird.
Als Nächstes werden basierend auf den erfassten Winkeln zwischen Seiten des Parkrahmens die Winkel der bordeigenen Kamera 10 in Bezug auf den Parkrahmen erfasst (S220), wie es in der Montagewinkeleinstellverarbeitung des vorangehenden ersten Ausführungsbeispiels durchgeführt wird.
Darauffolgend wird basierend auf den Vogelperspektivenansichtbildern, die durch eine in Schritt S217 durchgeführte Konversion bzw. Umwandlung generiert wurden, die Richtung erfasst, in welcher der Parkrahmen zwischen den Vogelperspektivenansichtbildern verschoben bzw. versetzt ist, und wird dadurch der Winkel θys (vgl. 13(a) und 13(b)) in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen erfasst (S221). In der Montagewinkeleinstellverarbeitung des zweiten Ausführungsbeispiels kann die Richtung, in welcher der Parkrahmen zwischen den Vogelperspektivenansichtbildern verschoben ist, unter Verwendung der Sollanzahl von Vogelperspektivenansichtbildern erfasst werden. Daher kann auch in Fällen, in welchen Rauschen in einzelnen Vogelperspektivenansichtbildern enthalten ist, die Richtung, in welcher der Parkrahmen zwischen den Vogelperspektivenansichtbildern verschoben ist, mit hoher Genauigkeit erfasst werden, ohne durch solches Rauschen beeinträchtigt zu werden. Demzufolge kann auch der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen mit hoher Genauigkeit erfasst werden.
Die nachfolgende Verarbeitung ist dieselbe wie in der Montagewinkeleinstellverarbeitung des vorangehenden ersten Ausführungsbeispiels. Das heißt, der Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 wird berechnet (S222) durch Subtrahieren des Winkels θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den in S221 erfassten Parkrahmen von dem Winkel θy in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf den in S219 erfassten Parkrahmen.
Darauffolgend wird der Montagewinkel der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 eingestellt (S223), basierend auf dem Winkel θp in der Neigungsrichtung und dem Winkel θr in der Wankrichtung der bordeigenen Kamera 10 in Bezug auf den Parkrahmen und dem Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1.
In der Montagewinkeleinstellverarbeitung des vorstehend beschriebenen zweiten Ausführungsbeispiels wird der Montagewinkel der bordeigenen Kamera 10 basierend auf einer Vielzahl von Aufnahmebildern erfasst, so dass der Montagewinkel der bordeigenen Kamera 10 sicher und akkurat erfasst werden kann, ohne durch Rauschen beeinträchtigt zu werden. Dies macht es möglich, den Montagewinkel der bordeigenen Kamera 10 akkurat bzw. präzise einzustellen.
Darüber hinaus kann eine Vielzahl von Bildern aufgenommen werden, während das Fahrzeug 1 gerade vor und zurück bewegt wird. Dies involviert keinerlei komplizierten oder mühsamen Aufwand, so dass der Montagewinkel der bordeigenen Kamera 10 leicht eingestellt werden kann.
Außerdem wird überwacht, ob sich das Fahrzeug 1 in einem Geradeausbewegungszustand befindet, und wird dann, wenn festgestellt wird, dass es von einem Geradeausbewegungszustand abgewichen ist, eine Warnung diesbezüglich ausgegeben. Dies macht es möglich, das Auftreten einer fehlerhaften Erfassung eines Montagewinkels der bordeigenen Kamera 10 zu vermeiden, die verursacht wird, wenn die Montagewinkelerfassung fortgesetzt wird und eine Abweichung des Fahrzeugs 1 von einem Geradeausbewegungszustand unbemerkt bleibt.
Verschiedenartige Ausführungsbeispiele der Erfindung wurden beschrieben, aber die Erfindung ist nicht auf die vorstehenden Ausführungsbeispiele beschränkt und kann in verschiedenartigen Weisen implementiert werden, ohne den Rahmen der Erfindung zu verlassen.
Zum Beispiel wird in den vorstehend beschriebenen Ausführungsbeispielen der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen durch Geradeausbewegen des Fahrzeugs 1 ermittelt. Der Winkel θys in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen kann jedoch auch unter Verwendung von Information ermittelt werden, die von bzw. aus dem Lenkwinkelsensor erhalten wird, der an dem Fahrzeug 1 montiert ist, ohne notwendigerweise das Fahrzeug 1 geradeaus zu bewegen.
Das heißt, wenn der Lenkwinkel und die Fahrzeuggeschwindigkeit des Fahrzeugs 1 bekannt sind, können eine Variation bzw. Änderung im relativen Ort und eine Winkelvariation bzw. Winkeländerung in der Gierrichtung des Fahrzeugs 1 in Bezug auf den Parkrahmen abgeschätzt werden. Daher sollten dann, wenn angenommen wird, dass der Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 im Soll ist, die Stärke und die Richtung der Parkrahmenverschiebung zwischen den Vogelperspektivenansichtbildern, die durch Konvertieren aufgenommener Bilder generiert wurden, mit der abgeschätzten Stärke und Richtung der Parkrahmenverschiebung übereinstimmen. Demgegenüber ist dann, wenn sie nicht wechselseitig übereinstimmen, der Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 nicht im Sollzustand.
Daher werden verschiedenartige Winkelwerte als Montagewinkel θyc in der Gierrichtung angenommen, und werden dann die Stärke und die Richtung der Parkrahmenverschiebung zwischen den Vogelperspektivenansichtbildern, die durch Vogelperspektivenansichtkonversion generiert wurden, für jeden der angenommenen Winkelwerte berechnet. Von den angenommenen Winkeln wird der eine, der der Stärke und der Richtung der Parkrahmenverschiebung zwischen Vogelperspektivenansichtbildern entspricht, die am nächsten zu den entsprechenden Werten sind, die basierend auf dem Lenkwinkel und der Fahrzeuggeschwindigkeit des Fahrzeugs 1 abgeschätzt wurden, als Montagewinkel θyc in der Gierrichtung der bordeigenen Kamera 10 in Bezug auf das Fahrzeug 1 bestimmt bzw. ermittelt. In dieser Weise kann der Montagewinkel der bordeigenen Kamera 10 auch in Fällen leicht erfasst und eingestellt werden, in denen das Fahrzeug 1 nicht bewegt wird.

Claims

Montagewinkeleinstellverfahren für eine bordeigene Kamera, die an einem Fahrzeug diagonal abwärts montiert ist, um ein Bild aufzunehmen, das eine Geländeoberfläche um das Fahrzeug zeigt, wobei das Montagewinkeleinstellverfahren beinhaltet: einen Aufnahmeschritt (S100, S204) des Aufnehmens einer vorbestimmten Referenzfigur mit der bordeigenen Kamera, wobei die Referenzfigur auf der Geländeoberfläche ausgebildet ist und zumindest drei gerade Linien beinhaltet, die sich in einem bekannten Winkel schneiden; einen Vogelperspektivenansichtumwandlungsschritt (S101, S217) des Umwandelns eines aufgenommenen Bilds der Referenzfigur in ein Vogelperspektivenansichtbild, das, wie wenn es von oben betrachtet würde, die Geländeoberfläche zeigt, an der die Referenzfigur ausgebildet ist; einen Kamerawinkelbestimmungsschritt (S103, S220) des Bestimmens, basierend auf einer Abweichung zwischen einer Form der Referenzfigur, die in dem Vogelperspektivenansichtbild gezeigt ist, und einer Form der Referenzfigur, die auf der Geländeoberfläche ausgebildet ist, von Winkelkomponenten eines Winkels einer optischen Achse der bordeigenen Kamera in Bezug auf die Referenzfigur, wobei die Winkelkomponenten eine Winkelkomponente in einer Neigungsrichtung, in welcher ein Endabschnitt der optischen Achse aufwärts und abwärts bewegt wird, eine Winkelkomponente in einer Wankrichtung, in welcher eine Rotation um die optische Achse erfolgt, und eine Winkelkomponente in einer Gierrichtung, in welcher ein Endabschnitt der optischen Achse von Seite zu Seite bewegt wird, sind; einen Fahrzeugwinkelbestimmungsschritt (S106, S221) des Aufnehmens der Referenzfigur, während das Fahrzeug geradeaus bewegt wird, und, basierend auf den Vogelperspektivenansichtbildern der Referenzfigur, die an zumindest zwei Orten aufgenommen wurden, des Bestimmens einer Winkelkomponente in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur; und einen Einstellschritt (S108, S223) des Einstellens eines Montagewinkels der bordeigenen Kamera in Bezug auf das Fahrzeug basierend auf den Winkelkomponenten, die in dem Kamerawinkelbestimmungsschritt bestimmt wurden, und der Winkelkomponente, die in dem Fahrzeugwinkelbestimmungsschritt bestimmt wurde.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach Anspruch 1, bei dem der Kamerawinkelbestimmungsschritt einen Schritt beinhaltet des Extrahierens, aus der Referenzfigur, die in dem Vogelperspektivenansichtbild gezeigt ist, einer Referenzlinie zur Verwendung als einer Referenz aus den drei geraden Linien, die in der Referenzfigur enthalten sind, und den anderen zwei Linien, und des Erfassens von Winkeln der Referenzlinie in Bezug auf die anderen zwei Linien und eines Winkels der Referenzlinie in Bezug auf die optische Achse der bordeigenen Kamera (S102, S219), bei dem der Schritt der Kamerawinkelbestimmung die Winkelkomponente in der Neigungsrichtung, die Winkelkomponente in der Wankrichtung und die Winkelkomponente in der Gierrichtung derart bestimmt, dass eine Summe von Abweichungen zwischen den Winkeln der Referenzlinie in Bezug auf die anderen zwei Linien und des bekannten Winkels und eine Abweichung zwischen dem Winkel der Referenzlinie in Bezug auf die optische Achse der bordeigenen Kamera und einem vorbestimmten Winkel in einem vorbestimmten zulässigen Bereich liegt, und bei dem der Schritt der Fahrzeugwinkelbestimmung die Winkelkomponente in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur durch Erfassen einer Richtung einer Verschiebung der Referenzfigur zwischen den Vogelperspektivenansichtbildern der Referenzfigur, die an zumindest zwei Orten aufgenommen wurden, bestimmt.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach Anspruch 2, bei dem der Schritt des Aufnehmens einen Parkrahmen als das Referenzbild aufnimmt.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 3, bei dem der Schritt der Fahrzeugwinkelbestimmung die Winkelkomponente in der Gierrichtung durch Erhalten einer Vielzahl der aufgenommenen Bilder, während das Fahrzeug geradeaus bewegt wird, bestimmt.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 4, bei dem der Schritt der Fahrzeugwinkelbestimmung die Winkelkomponente in der Gierrichtung dadurch bestimmt, dass nach dem Aufnehmen der Referenzfigur in dem Schritt des Aufnehmens die Referenzfigur erneut aufgenommen wird, während das Fahrzeug geradeaus von der Referenzfigur wegbewegt wird.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 5, bei dem der Schritt der Fahrzeugwinkelbestimmung die Winkelkomponente in der Gierrichtung durch Erhalten einer Vielzahl der aufgenommenen Bilder bestimmt, während das Fahrzeug innerhalb eines Bereichs von 3 Metern geradeaus bewegt wird.
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 6, ferner beinhaltend einen Schritt des Bestimmens, ob die Referenzfigur innerhalb eines vorbestimmten Flächenbereichs in einem Bild, das aufgenommen wurde, bevor das Fahrzeug geradeaus bewegt wird, gezeigt ist, und des Ausgebens einer Warnung, wenn die Referenzfigur außerhalb des vorbestimmten Flächenbereichs in dem Bild, das aufgenommen wurde, bevor das Fahrzeug geradeaus bewegt wird, gezeigt ist (S201, S202).
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 7, ferner beinhaltend einen Schritt des Überwachens, ob das Fahrzeug geradeaus bewegt wird, und des Ausgebens einer Warnung, wenn das Fahrzeug nicht geradeaus bewegt wird (S207, S208).
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 8, ferner beinhaltend einen Schritt des Bestimmens, ob eine Geschwindigkeit des Fahrzeugs, wenn das Fahrzeug geradeaus bewegt wird, innerhalb einer maximal zulässigen Geschwindigkeit ist, und des Ausgebens einer Warnung, wenn die Geschwindigkeit des Fahrzeugs die maximal zulässige Geschwindigkeit überschreitet (S205, S206).
Montagewinkeleinstellverfahren für eine bordeigene Kamera nach einem der Ansprüche 1 bis 9, ferner beinhaltend einen Schritt des Bestimmens, ob eine Entfernung, die das Fahrzeug geradeaus zurücklegt, eine maximal zulässige Entfernung überschreitet, und des Ausgebens einer Warnung, wenn die Entfernung die maximal zulässige Entfernung überschreitet (S211, S213).
Montagewinkelerfassungseinrichtung (20) für eine bordeigene Kamera (10), die an einem Fahrzeug (1) diagonal abwärts montiert ist, um ein Bild aufzunehmen, das eine Geländeoberfläche um das Fahrzeug zeigt, wobei die Montagewinkelerfassungseinrichtung beinhaltet: eine Aufnahmebilderhalteeinheit (21) zum Erhalten eines Bilds einer vorbestimmten Referenzfigur, das durch die bordeigenen Kamera aufgenommen wurde, wobei die Referenzfigur auf der Geländeoberfläche ausgebildet ist und zumindest drei gerade Linien beinhaltet, die sich in einem bekannten Winkel schneiden; eine Vogelperspektivenansichtumwandlungseinheit (22) zum Umwandeln eines aufgenommenen Bilds der Referenzfigur in ein Vogelperspektivenansichtbild, das, wie wenn es von oben betrachtet würde, die Geländeoberfläche zeigt, an der die Referenzfigur ausgebildet ist; eine Kamerawinkelbestimmungseinheit (24) zum Bestimmen, basierend auf einer Abweichung zwischen einer Form der Referenzfigur, die in dem Vogelperspektivenansichtbild gezeigt ist, und einer Form der Referenzfigur, die auf der Geländeoberfläche ausgebildet ist, von Winkelkomponenten eines Winkels einer optischen Achse der bordeigenen Kamera in Bezug auf die Referenzfigur, wobei die Winkelkomponenten eine Winkelkomponente in einer Neigungsrichtung, in welcher ein Endabschnitt der optischen Achse aufwärts und abwärts bewegt wird, eine Winkelkomponente in einer Wankrichtung, in welcher eine Rotation um die optische Achse erfolgt, und eine Winkelkomponente in einer Gierrichtung, in welcher ein Endabschnitt der optischen Achse von Seite zu Seite bewegt wird, sind; eine Fahrzeugwinkelbestimmungseinheit (25) zum Aufnehmen der Referenzfigur, während das Fahrzeug geradeaus bewegt wird, und, basierend auf den Vogelperspektivenansichtbildern der Referenzfigur, die an zumindest zwei Orten aufgenommen wurden, und Bestimmen einer Winkelkomponente in der Gierrichtung des Fahrzeugs in Bezug auf die Referenzfigur; und eine Montagewinkelerfassungseinheit (26) zum Erfassen eines Montagewinkels der bordeigenen Kamera in Bezug auf das Fahrzeug basierend auf den Winkelkomponenten, die in der Kamerawinkelbestimmungseinheit bestimmt wurden, und der Winkelkomponente, die in der Fahrzeugwinkelbestimmungseinheit bestimmt wurde.