DE112015005317T5

DE112015005317T5 - Bildumwandlungsvorrichtung und bildumwandlungsverfahren

Info

Publication number: DE112015005317T5
Application number: DE112015005317.4T
Authority: DE
Inventors: Muneaki Matsumoto; Hitoshi Tanaka; Youji Morishita
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-11-26
Filing date: 2015-11-03
Publication date: 2017-08-24
Anticipated expiration: 2035-11-04
Also published as: JP6507590B2; DE112015005317B4; JP2016100887A; WO2016084308A1

Abstract

Es wird eine Bildumwandlungsvorrichtung (10) bereitgestellt, welche ein von einer Fahrzeugkamera (2) aufgenommenes Bild in ein Bild aus Vogelperspektive umwandelt und es anzeigt. Die Bildumwandlungsvorrichtung weist auf: eine Bildumwandlungs-Einheit (12), welche das aufgenommene Bild basierend auf der Position und dem Winkel der Fahrzeugkamera in ein Bild aus Vogelperspektive umwandelt; eine Merkmalspunkt-Extraktionseinheit (15), welche eine Vielzahl an Merkmalspunkten aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild extrahiert; eine Berechnungsbestimmungs-Einheit (16), welche auf Basis einer Verteilung der aus dem Bild aus Vogelperspektive oder dem aufgenommenen Bild extrahierten Merkmalspunkte bestimmt, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind oder nicht; und eine Berechnungs-Einheit, welche die Position und den Winkel der Fahrzeugkamera auf Basis der Merkmalspunkte berechnet, wenn die Berechnungsbestimmungs-Einheit bestimmt, dass die Position und der Winkel der Fahrzeugkamera zu berechnen sind.

Description

QUERVERWEIS ZU VERWANDTEN ANMELDUNGEN
Diese Anmeldung basiert auf der Japanischen Patentanmeldung Nr. 2014-239377 , eingereicht am 26. November 2014; auf den dortigen Offenbarungsgehalt wird hier vollinhaltlich Bezug genommen.
TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Technologie zur Anpassung von Einstellungen, welche auf ein Fahrzeug angewandt wird, das eine Fahrzeugkamera aufweist, um ein von der Fahrzeugkamera erlangtes aufgenommenes Bild in ein Bild aus Vogelperspektive umzuwandeln.
STAND DER TECHNIK
Verschiedene kommerzialisierte Technologien ermöglichen es einem Fahrer eines Fahrzeugs, die Umgebung des Fahrzeugs durch die Aufnahme eines Bildes von der Umgebung des Fahrzeugs mit einer Fahrzeugkamera und Anzeige des erhaltenen aufgenommenen Bildes auf einem fahrzeugseitigen Monitor zu betrachten. Weiterhin wandeln weit verbreitete Technologien das durch die Fahrzeugkamera erlangte aufgenommene Bild in ein Bild aus Vogelperspektive um und zeigen das Bild aus Vogelperspektive auf dem fahrzeugseitigen Monitor an, anstatt einfach das durch die Fahrzeugkamera erlangte aufgenommene Bild auf dem fahrzeugseitigen Monitor anzuzeigen. Das Bild aus Vogelperspektive bezieht sich auf ein Bild, welches durch Umwandlung des aufgenommenen Bildes in einer solchen Weise erhalten wird, dass es eine Draufsicht der Umgebung des Fahrzeugs zeigt. Wenn die Vogelperspektive durch akkurate Umwandlung erhalten wird, zeigt sie die aktuelle Positionsbeziehung zwischen dem Fahrzeug und beispielsweise einem Fremdfahrzeug oder einem Fußgänger. Folglich ermöglicht das Betrachten des erhaltenen Bildes aus Vogelperspektive dem Fahrer, die Umgebung des Fahrzeugs einfach und akkurat zu erfassen. Um das aufgenommene Bild in ein akkurates Bild aus Vogelperspektive umzuwandeln ist, es notwendig, die Position und den Winkel der Fahrzeugkamera akkurat zu erlangen.
Dementsprechend werden die Position und der Winkel der Fahrzeugkamera vor der werksseitigen Auslieferung des Fahrzeugs individuell gemessen, um die Fahrzeugkamera auf Basis der Konstruktionsanforderungen zu positionieren und auszurichten und den Einfluss von Montagefehlern zu reduzieren. Die Position und der Winkel der Fahrzeugkamera kann in nachfolgend beschriebener Weise berechnet werden. Zuerst wird eine Vielzahl an Merkmalspunkten aus dem von der Fahrzeugkamera erlangten aufgenommenen Bild extrahiert. Zweitens werden Koordinaten auf dem aufgenommenen Bild, auf welchem sich die Merkmalspunkte befinden, mit Koordinaten in einem aktuell erfassten Raum assoziiert. Drittens werden die Positionen der assoziierten Merkmalspunkte in einer relationalen Formel mit Variablen ersetzt, welche die Position und den Winkel der Fahrzeugkamera abbilden. Schließlich wird die resultierende relationale Formel gelöst, um die Position und den Winkel der Fahrzeugkamera zu berechnen.
Die Position und der Winkel der an dem Fahrzeug befestigten Fahrzeugkamera können nachträglich variieren, beispielsweise durch nach der werksseitigen Auslieferung gelockerte Befestigungselemente. Im Falle einer solchen unbeabsichtigten Variation unterscheiden sich die Position und der Winkel der Fahrzeugkamera von denen, die vor dem werksseitigen Versand eingestellt wurden. Eine Technologie, welche unter solchen Umständen vorgeschlagen wird, extrahiert Merkmalspunkte von einem während der Fahrt des Fahrzeugs aufgenommenen Bild und berechnet die Position und den Winkel der Fahrzeugkamera neu (Patentschrift 1).
LITERATUR ZUM STAND DER TECHNIK
PATENTLITERATUR

Patentschrift 1: JP 2013-222302 A

ZUSAMMENFASSUNG DER ERFINDUNG
Dennoch erreicht die oben vorgeschlagene Technologie nicht immer eine ausreichende Genauigkeit, obwohl die Merkmalspunkte aus einem aufgenommenen Bild extrahiert werden, um die Position und den Winkel der Fahrzeugkamera in der gleichen Weise wie in einer Autowerkstatt zu berechnen.
Gegenstand der vorliegenden Erfindung ist es, eine Technologie bereitzustellen, um die Position und den Winkel einer Fahrzeugkamera akkurat zu berechnen und ein aufgenommenes Bild in ein akkurates Bild aus Vogelperspektive umzuwandeln, ohne ein Fahrzeug in eine Autowerkstatt bringen zu müssen.
In einem Aspekt der vorliegenden Erfindung wird eine Bildumwandlungsvorrichtung bereitgestellt, welche ein von einer Fahrzeugkamera aufgenommenes Bild erlangt, das die Umgebung eines Fahrzeugs zeigt und das aufgenommene Bild in ein Bild aus Vogelperspektive umwandelt, das eine Draufsicht von oben auf das Fahrzeug zeigt, und das Bild aus Vogelperspektive auf einem fahrzeugseitigen Monitor ausgibt, wobei die Bildumwandlungsvorrichtung aufweist:
eine Bildumwandlungs-Einheit, welche das aufgenommene Bild in ein Bild aus Vogelperspektive auf Basis einer Position und eines Winkels der Fahrzeugkamera umwandelt;
eine Merkmalspunkt-Extraktionseinheit, welche eine Vielzahl an Merkmalspunkten aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild extrahiert;
eine Berechnungsbestimmungs-Einheit, welche auf Basis einer Verteilung der aus dem Bild aus Vogelperspektive oder dem aufgenommenen Bild extrahierten Merkmalspunkte bestimmt, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind oder nicht; und
eine Berechnungs-Einheit, welche die Position und den Winkel der Fahrzeugkamera auf Basis der Merkmalspunkte berechnet, wenn die Berechnungsbestimmungs-Einheit bestimmt, dass die Position und der Winkel der Fahrzeugkamera zu berechnen sind.
In einem anderen Aspekt der vorliegenden Erfindung wird ein Bildumwandlungsverfahren bereitgestellt, das auf ein Fahrzeug angewandt wird, welches eine Fahrzeugkamera aufweist, wobei ein von der Fahrzeugkamera aufgenommenes Bild erlangt wird, welches die Umgebung des Fahrzeugs zeigt, das erlangte aufgenommene Bild in ein Bild aus Vogelperspektive, das eine Draufsicht von oben auf das Fahrzeug zeigt, umwandelt und das Bild aus Vogelperspektive auf einem fahrzeugseitigen Monitor ausgegeben wird, wobei das Bildumwandlungsverfahren aufweist:
einen Schritt zur Umwandlung des aufgenommenen Bildes zu einem Bild aus Vogelperspektive auf Basis der Position und des Winkels der Fahrzeugkamera;
einen Schritt zur Extraktion einer Vielzahl an Merkmalspunkten aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild;
einen Schritt zur Bestimmung, basierend auf der Verteilung der Merkmalspunkte, welche vom Bild aus Vogelperspektive oder vom aufgenommenen Bild extrahiert sind, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind oder nicht; und
einen Schritt zur Berechnung der Position und des Winkels der Fahrzeugkamera auf Basis der Merkmalspunkte, wenn bestimmt ist, dass die Position und der Winkel der Fahrzeugkamera zu berechnen sind.
Die Merkmalspunkte können künstlich angeordnet werden, zum Beispiel in einer Autowerkstatt. Die Position und der Winkel der Fahrzeugkamera können durch Verwendung der Merkmalspunkte berechnet werden, welche eine zur Kalkulation der Position und des Winkels der Fahrzeugkamera geeignete Verteilung aufweisen. Wenn das Fahrzeug fährt, werden die Merkmalspunkte aus der aktuellen Umgebung innerhalb eines Bildgebungsbereichs extrahiert. Als Ergebnis sind Merkmalspunkte mit verschiedenen Verteilungen extrahiert. Während das Fahrzeug fährt, werden die für die Kalkulation der Position und des Winkels der Fahrzeugkamera geeigneten Merkmalspunkte nicht unbedingt extrahiert. Daher wird die Position und der Winkel der Fahrzeugkamera auch während der Fahrt des Fahrzeugs akkurat berechnet, solange die Position und der Winkel der Fahrzeugkamera berechnet sind, wobei die extrahierten Merkmalspunkte eine zur Kalkulation der Position und des Winkels der Fahrzeugkamera geeignete Verteilung aufweisen. Infolgedessen wird das aufgenommene Bild akkurat in ein Bild aus Vogelperspektive umgewandelt.
KURZBESCHREIBUNG DER ZEICHNUNG
Die obig ausgeführten sowie weitere Aspekte, Funktionen und Vorteile der vorliegenden Offenbarung ergeben sich aus der folgenden Beschreibung unter Bezugnahme auf die zugehörige Zeichnung. In der Zeichnung ist:
1 ein Diagramm, welches ein Fahrzeug zeigt, in welchem eine Bildumwandlungsvorrichtung entsprechend einem Ausführungsbeispiel der vorliegenden Erfindung angeordnet ist;
2 eine Reihe von schematischen Diagrammen, welche Prinzipien der Umwandlung eines aufgenommenen Bildes in ein Bild aus Vogelperspektive zeigen;
3 eine Reihe von Diagrammen, welche zeigen, wie eine Umwandlungstabelle zur Umwandlung eines aufgenommenen Bildes in ein Bild aus Vogelperspektive verwendet wird;
4 ein Blockdiagramm, welches die interne Struktur der Bildumwandlungsvorrichtung zeigt;
5 ein Flussdiagramm, welches die erste Hälfte eines Umwandlungstabellen-Aktualisierungsprozesses zeigt, der durch die Bildumwandlungsvorrichtung ausgeführt wird;
6 ein Flussdiagramm, welches die zweite Hälfte des Umwandlungstabellen-Aktualisierungsprozesses zeigt, der durch die Bildumwandlungsvorrichtung ausgeführt wird;
7 eine Reihe von Diagrammen, welche konkrete Beispiele für Umgebungswerte zeigen, die an die Werte-Sensoren gegeben werden;
8 eine Reihe von Diagrammen, welche zeigen, wie Merkmalspunkte aus dem aufgenommenen Bild und aus dem Bild aus Vogelperspektive extrahiert werden;
9 eine Reihe von Diagrammen, welche zeigen, wie die Verteilungen der Merkmalspunkte bestätigt werden;
10 eine Reihe von Diagrammen, welche ein Bild aus Vogelperspektive zeigen, das erhalten wird, wenn das Fahrzeug in Nick-Richtung geneigt ist;
11 eine Reihe von Diagrammen, welche ein Bild aus Vogelperspektive zeigen, das erhalten wird, wenn das Fahrzeug in Roll-Richtung geneigt ist;
12 eine Reihe von Diagrammen, welche ein Bild aus Vogelperspektive zeigen, das erhalten wird, wenn das Fahrzeug nach unten abgesenkt ist; und
13 ein Diagramm, welches die Auswahl einer Variablen aus dem Nick-Winkel, dem Roll-Winkel und der Vertikalstellung einer Fahrzeugkamera auf Basis der Verteilung von Merkmalspunkten zeigt.
AUSFÜHRUNGSBEISPIEL ZUR AUSFÜHRUNG DER ERFINDUNG
Nachfolgend wird ein Ausführungsbeispiel einer Bildumwandlungsvorrichtung gemäß der vorliegenden Erfindung beschrieben.
A-1. Konfiguration der Vorrichtung gemäß dem vorliegenden Ausführungsbeispiel
1 zeigt eine Umriss-Strukur eines Fahrzeugs 1, in welchem die Bildumwandlungsvorrichtung 10 angeordnet ist. Wie gezeigt, weist das Fahrzeug 1 nicht nur die Bildumwandlungsvorrichtung 10, sondern auch eine Fahrzeugkamera 2 und einen fahrzeugseitigen Monitor 3 auf. Die Fahrzeugkamera 2 ist vorne am Fahrzeug 1 angeordnet. Der fahrzeugseitige Monitor 3 ist vom Fahrersitz aus einsehbar. Das Fahrzeug 1 weist weiterhin einen Fahrzeuggeschwindigkeits-Sensor 41, einen Lenk-Sensor 42, Höhen-Sensoren 43a–43d, einen Solarstrahlungs-Sensor 44 und einen Regen-Sensor 45 auf. Der Fahrzeuggeschwindigkeits-Sensor 41 erlangt eine Fahrgeschwindigkeit des Fahrzeugs. Der Lenk-Sensor 42 erlangt einen Lenkwinkel. Die Höhen-Sensoren 43a–43d sind an den vier Ecken des Fahrzeugs 1 angeordnet, um eine vertikale Verschiebung festzustellen. Der Solarstrahlungs-Sensor 44 stellt die Sonnenlichtintensität fest. Der Regen-Sensor 45 stellt die Menge an Regentropfen fest. Die Sensoren ermitteln Informationen über die Umgebung des Fahrzeugs 1 oder den Status des Fahrzeugs 1 und versorgen die Bildumwandlungsvorrichtung mit den Ermittlungs-Informationen. Die Sensoren entsprechen einem Detektor.
Die Fahrzeugkamera 2 ist eine Weitwinkelkamera, welche ein Fischaugenobjektiv aufweist. Ein durch die Fahrzeugkamera 2 aufgenommenes Bild zeigt die vordere Umgebung des Fahrzeugs 1 einschließlich einer Fahrbahnoberfläche. Die Bildumwandlungsvorrichtung 10 erlangt ein aufgenommenes Bild von der Fahrzeugkamera 2, wandelt das aufgenommene Bild in ein Bild aus Vogelperspektive um und gibt das Bild aus Vogelperspektive auf dem fahrzeugseitigen Monitor 3 aus. Das aufgenommene Bild zeigt die Fahrbahnoberfläche. Somit zeigt das durch Umwandlung des aufgenommenen Bildes erhaltene Bild aus Vogelperspektive eine Draufsicht auf die Fahrbahnoberfläche vor dem Fahrzeug 1. Die Umwandlung des aufgenommenen Bildes in das Bild aus Vogelperspektive wird nachfolgend beschrieben.
2 zeigt schematisch die Prinzipien der Umwandlung eines aufgenommenen Bildes in ein Bild aus Vogelperspektive. Wenn die Fahrzeugkamera 2 ein Bild von der Fahrbahnoberfläche 21 aufnimmt, zeigt das aufgenommene Bild 22 die Fahrbahnoberfläche 21 innerhalb eines Bildgebungsbereichs der Fahrzeugkamera 2 durch Projezierung der Fahrbahnoberfläche 21 auf eine Bildebene senkrecht zur Sichtlinie der Fahrzeugkamera 2, wie in 2(a) gezeigt. Wenn das aufgenommene Bild auf die Fahrbahnoberfläche projiziert wird, wobei das Licht einer Lichtquelle verwendet wird, welche an der Position der Fahrzeugkamera 2 angeordnet ist, wird durch Umkehr der obigen Projektionsbeziehung das projizierte Bild mit der tatsächlichen Fahrbahnoberfläche 21 übereinstimmen.
Die auf dem aufgenommenen Bild gezeigte Fahrbahnoberfläche ist in 2(b) auf eine Fahrbahnoberflächen-Ebene 23 projiziert. Die Fahrbahnoberflächen-Ebene 23 ist eine Ebene, welche auf der selben Ebene wie die in 2(a) gezeigte Fahrbahnoberfläche 21 angeordnet ist. Somit kann die Fahrbahnoberflächen-Ebene 23 als Projektionsfläche betrachtet werden. Wenn ein Bild der Fahrbahnoberfläche in der Fahrbahnoberflächen-Ebene 23 gezeigt wird, welches durch eine virtuelle Kamera 24 aufgenommen wurde, die zur Aufnahme eines Bildes der Fahrbahnoberfläche in Draufsicht angeordnet ist, wird ein Bild aus Vogelperspektive 25 erhalten, welches die Draufsicht der Fahrbahnoberfläche vor der Fahrzeugkamera 2 zeigt.
Hinsichtlich der Beziehung zwischen dem Bildgebungsbereich und der Position und dem Winkel der Fahrzeugkamera 2 werden die Position und die Form eines trapezförmigen Bereichs der Fahrbahnoberfläche 21 auf Basis der Position und des Winkels der Fahrzeugkamera 2 als Bildgebungsbereich, welcher in 2(a) gezeigt ist, bestimmt. Um ein aufgenommenes Bild in ein Bild aus Vogelperspektive umzuwandeln, müssen die Position und der Winkel der Fahrzeugkamera 2 konstant bleiben, wenn soeben ein Bild aufgenommen wurde und wenn das aufgenommene Bild auf die virtuelle Fahrbahnoberfläche 23 (die Projektionsfläche) projiziert wird.
Die Fahrzeugkamera 2 ist am Fahrzeug 1 angeordnet. Unter normalen Bedingungen kann daher die Position und der Winkel der Fahrzeugkamera 2 gegenüber der Fahrbahnoberfläche 21 als konstant angesehen werden. Dadurch weist die Bildumwandlungsvorrichtung 10 eine vorbereitete Umwandlungstabelle auf, welche durch die Berechnung der Projektionsbeziehung unter zuvor festgelegten Bedingungen, dass die Position und der Winkel der Fahrzeugkamera 2 konstant sind, erhalten wird. Die Projektionsbeziehung ist so, wie unter Bezugnahme auf 2 beschrieben. Die Umwandlungstabelle wird referenziert, wenn ein aufgenommenes Bild in ein Bild aus Vogelperspektive umgewandelt werden soll, wobei die Prozessverarbeitungslast reduziert wird durch Eliminierung der Notwendigkeit einer Kalkulation der oben genannten Projektionsbeziehung bei jeder Bildaufnahme.
3 zeigt, wie die Umwandlungstabelle zur Umwandlung eines aufgenommenen Bildes in ein Bild aus Vogelperspektive referenziert wird. Die Umwandlungstabelle weist Daten auf, welche die Beziehung zwischen den Pixelpositionen des Bildes aus Vogelperspektive und den Pixelpositionen des aufgenommenen Bildes darstellen. Beispielsweise assoziiert die Umwandlungstabelle Pixel, welche an den Koordinaten (Xe, Yf) des Bildes aus Vogelperspektive in 3(b) liegen mit Pixeln, welche an den Koordinaten (Ag, Bh) des aufgenommenen Bildes in 3(a) liegen. Dementsprechend werden die Bilddaten (Helligkeit, Sättigung, etc.) eines Pixels, welches an den Koordinaten (Ag, Bh) des aufgenommenen Bildes liegt, auf ein Pixel angewandt, welches an den Koordinaten (Xe, Yf) des Bildes aus Vogelperspektive liegt. Wenn die Umwandlungstabelle in Bezug auf jedes Pixel des Bildes aus Vogelperspektive referenziert ist, kann das aufgenommene Bild in das Bild aus Vogelperspektive umgewandelt werden.
Wie oben beschrieben wird die Umwandlungstabelle auf Basis der Position und des Winkels der Fahrzeugkamera 2 vorbereitet. Daher ist die Bildumwandlungsvorrichtung 10 nicht nur zur Umwandlung des aufgenommenen Bildes in das Bild aus Vogelperspektive in der Lage, sondern ebenso zur Neuberechnung der Position und des Winkels der Fahrzeugkamera 2 und zur Aktualisierung der Umwandlungstabelle auf Basis der neu berechneten Position und des Winkels.
4 zeigt eine interne Struktur der Bildumwandlungsvorrichtung 10. Wie abgebildet, weist die Bildumwandlungsvorrichtung 10 eine Aufgenommenes-Bild-Erlangungseinheit 11, eine Bildumwandlungs-Einheit 12 und eine Anzeige-Einheit 13 auf. Die Aufgenommenes-Bild-Erlangungseinheit 11 erlangt ein aufgenommenes Bild von der Fahrzeugkamera 2. Die Bildumwandlungs-Einheit 12 referenziert die Umwandlungstabelle und wandelt das aufgenommene Bild in ein Bild aus Vogelperspektive um, wie zuvor beschrieben. Die Anzeige-Einheit 13 gibt das Bild aus Vogelperspektive auf dem fahrzeugseitigen Monitor 3 aus.
Um die Position und den Winkel der Fahrzeugkamera 2 zu berechnen und die Umwandlungstabelle zu aktualisieren, weist die Bildumwandlungsvorrichtung 10 weiterhin eine Werte-Auswertungs-Einheit 14, eine Merkmalspunkt-Extraktionseinheit 15, eine Berechnungsbestimmungs-Einheit 16, eine Berechnungs-Einheit 17, eine Veränderungsbetrag-Erlangungseinheit 18 und eine Umwandlungstabellen-Aktualisierungs-Einheit 19 auf.
Die Werte-Auswertungs-Einheit 14 erlangt die Ermittlungs-Informationen, welche durch die Sensoren, die das Fahrzeug 1 aufweist, erlangt wurden, und zwar von dem Fahrzeuggeschwindigkeits-Sensor 41, dem Lenk-Sensor 42, den Höhen-Sensoren 43a–43d, dem Solarstrahlungs-Sensor 44 und dem Regen-Sensor 45. Diese Sensoren werden folgend allgemein als Werte-Sensoren 4 bezeichnet. Die Werte-Auswertungs-Einheit 14 gibt auf Basis der von jedem der Werte-Sensoren 4 erlangten Informationen einen Wert an und wertet diese Punktezahl in umfassender Art und Weise aus. Die Auswertung der Werte wird später ausführlich beschrieben. In Kürze: Die Auswertung der Werte erfolgt durch Wertung der Informationen über die Umgebung des Fahrzeugs 1 oder den Zustand des Fahrzeugs 1 und bestimmt, ob die aktuelle Situation zur Merkmalspunkt-Extraktion geeignet ist. Merkmalspunkte haben Auffälligkeiten innerhalb eines aufgenommenen Bildes einer Szene und können von anderen Punkten unterschieden werden. Weiterhin sind die Merkmalspunkte so, dass ihre Koordinaten innerhalb eines aufgenommenen Bildes oder eines Bildes aus Vogelperspektive, welche die Szene zeigen, identifiziert werden können. Die Merkmalspunkte werden extrahiert, um die Lage und den Winkel der Fahrzeugkamera 2 zu berechnen.
Die Werte-Auswertungs-Einheit 14 bestimmt, ob die Merkmalspunkte wie oben beschrieben extrahiert werden oder nicht und entspricht somit einer Extraktions-Bestimmungs-Einheit.
Die Merkmalspunkt-Extraktionseinheit 15 extrahiert eine Vielzahl an Merkmalspunkten aus einem aufgenommenen Bild oder aus einem Bild aus Vogelperspektive, um die Position und den Winkel der Fahrzeugkamera 2 zu berechnen.
Die Berechnungsbestimmungs-Einheit 16 bestätigt die Verteilung der Merkmalspunkte und bestimmt auf Basis von Informationen, welche die Weite der bestätigten Verteilung angeben, ob die Position und der Winkel der Fahrzeugkamera 2 zu berechnen sind oder nicht.
Die Berechnungs-Einheit 17 berechnet die Position und den Winkel der Fahrzeugkamera 2 basierend auf den extrahierten Merkmalspunkten. Die Position und der Winkel der Fahrzeugkamera 2 werden berechnet durch Verwendung der Übereinstimmung der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten, welche aus einem aufgenommenen Bild oder aus einem Bild aus Vogelperspektive extrahiert sind, mit der Postitionsbeziehung zwischen einer Vielzahl von Merkmalspunkten aus einem aktuell aufgenommenen Bild einer Szene. Ein Verfahren zur Berechnung der Position und des Winkels der Fahrzeugkamera 2 ist bekannt und wird nicht im Detail beschrieben.
Die Veränderungsbetrag-Erlangungseinheit 18 erlangt einen Veränderungsbetrag durch Vergleichen der Position und des Winkels, welche von der Berechnungs-Einheit neu berechnet wurden, mit der vorherigen Position und dem Winkel.
Wenn der durch die Veränderungsbetrag-Erlangungseinheit 18 erlangte Veränderungsbetrag gleich oder kleiner als ein zuvor festgelegter Schwellenwert-Veränderungsbetrag ist, aktualisiert die Umwandlungstabellen-Aktualisierungs-Einheit 19 die Umwandlungstabelle auf Basis der neu berechneten Position und des Winkels der Fahrzeugkamera 2. Nach der Aktualisierung der Umwandlungstabelle wandelt die Bildumwandlungs-Einheit 12 unter Bezugnahme auf die aktualisierte Umwandlungstabelle ein aufgenommenes Bild in ein Bild aus Vogelperspektive um.
Die neun Einheiten, angefangen von der Aufgenommenes-Bild-Erlangungseinheit 11 bis zur Umwandlungstabellen-Aktualisierungs-Einheit 19 sind Konzepte, welche entsprechend der in der Bildumwandlungsvorrichtung enthaltenen Funktionalitäten klassifiziert sind. Somit sagen die neun Einheiten nicht aus, dass die Bildumwandlungsvorrichtung 10 physisch in neun Einheiten geteilt ist. Die Einheiten sind durch ein ausführbares Computerprogramm implementiert, welches durch eine CPU, durch eine elektronische Schaltung mit einem LSI-Baustein und einem Speicher oder durch eine Kombination daraus ausführbar ist. Ein Umwandlungstabellen-Aktualisierungsprozess, welcher unter Verwendung der neun Einheiten ausgeführt wird, wird im Folgenden detailliert beschrieben.
A-2. Generierungsprozess des Bildes aus Vogelperspektive
Die 5 und 6 sind Flussdiagramme, welche den durch die Bildumwandlungsvorrichtung 10 ausgeführten Umwandlungstabellen-Aktualisierungsprozess entsprechend dem vorliegenden Ausführungsbeispiel zeigen. Der Umwandlungstabellen-Aktualisierungsprozess wird zur Aktualisierung der Umwandlung ausgeführt, welche zur Umwandlung eines aufgenommenen Bildes in ein Bild aus Vogelperspektive verwendet wird und wird getrennt von einem Umwandlungsprozess zur Anzeige eines Bildes aus Vogelperspektive auf dem fahrzeugseitigen Monitor 3 ausgeführt. Der Umwandlungsprozess für das Bild aus Vogelperspektive wird wiederholt in Intervallen entsprechend des Bildaufnahmezykluses (z. B. 30 Hz) der Fahrzeugkamera 2 ausgeführt. Jedoch kann der nachstehend beschriebene Umwandlungstabellen-Aktualisierungsprozess auch in den gleichen Intervallen wie der Umwandlungsprozess für das Bild aus Vogelperspektive oder in anderen geeigneten Intervallen (z. B. in 10 Minuten Intervallen) ausgeführt werden.
Der Umwandlungstabellen-Aktualisierungsprozess wird durch die Berechnung der Umgebungswerte gestartet (S101). Die Umgebungswerte sind Indizes, welche zur Evaluierung der Umgebung des Fahrzeugs 1 und dem Zustand des Fahrzeugs 1 durch Bewertung der durch die Werte-Sensoren 4 festgestellten Informationen verwendet werden.
7 zeigt konkrete Beispiele der Umgebungswerte. Wie in 7(a) gezeigt, werden die von den Werte-Sensoren 4 erlangten Umgebungswerte an die Ermittlungs-Informationen gegeben, und zwar von dem Fahrzeuggeschwindigkeits-Sensor 41, dem Lenk-Sensor 42, den Höhen-Sensoren 43a–43d, dem Solarstrahlungs-Sensor 44 und dem Regen-Sensor 45. Die hier zu handhabenden Ermittlungs-Informationen sind in numerische Werte umgewandelt. Somit sind die Umgebungswerte auf Basis der Größe des numerischen Wertes gegeben. Die von den Werte-Sensoren 4 erlangten Umgebungswerte, welche an die Ermittlungs-Informationen gegeben wurden, werden mit den Werte-Zeichen S1 bis S5 benannt, welche jeweils den Fahrzeuggeschwindigkeits-Sensor 41, den Lenk-Sensor 42, die Höhen-Sensoren 43a–43d, den Solarstrahlungs-Sensor 44 und den Regen-Sensor 45 bezeichnen.
Ein Verfahren zur Bereitstellung eines Umgebungswertes für die Ermittlungs-Informationen, welcher beispielsweise vom Fahrzeuggeschwindigkeits-Sensor 41 erlangt wurde, wird nun beschrieben. Die vom Fahrzeuggeschwindigkeits-Sensor 41 erlangte Ermittlungs-Information ist die Fahrgeschwindigkeit des Fahrzeugs 1. Daher nimmt der Umgebungswert S1 mit Erhöhung der Fahrgeschwindigkeit ab. 7(b) zeigt einen Fall, in dem der Umgebungswert S1 gegeben ist. Wie in dem Bespiel angegeben, ist der Umgebungswert S1 100 bei einer Fahrzeuggeschwindigkeit von 0 bis 20 (km/h), 80 bei einer Fahrzeuggeschwindigkeit von 20 bis 80 (km/h) und 60 bei einer Fahrzeuggeschwindigkeit von 80 (km/h) oder höher. Der Umgebungswert S1 nimmt mit Erhöhung der Fahrzeuggeschwindigkeit ab, weil die Erhöhung der Fahrzeuggeschwindigkeit tendenziell ein aufgenommenes Bild eines Gegenstandes verwischt und die Genauigkeit der Merkmalspunkt-Extraktion nachteiligt beeinflusst.
Für andere der Werte-Sensoren 4 als dem Fahrzeuggeschwindigkeits-Sensor 41, und zwar dem Lenk-Sensor 42, den Höhen-Sensoren 43a–43d, dem Solarstrahlungs-Sensor 44 und dem Regen-Sensor 45 sind die Umgebungswerte individuell auf gleiche Art und Weise gegeben wie für den Fahrzeuggeschwindigkeits-Sensor 41.
Der Lenk-Sensor 42 ermittelt den Betrag der Lenkwinkelverschiebung pro Zeiteinheit. Der Umgebungswert S2 sinkt mit Erhöhung des Betrags der Lenkwinkelverschiebung. Der Grund dafür ist, dass wenn der Betrag der Lenkwinkelverschiebung groß ist, das Fahrzeug 1 auf Grund einer Laständerung kippt, zum Nachteil der Merkmalspunkt-Extraktion.
Die Höhen-Sensoren 43a–43d ermitteln den Verschiebungsbetrag der Neigung des Fahrzeugs 1 pro Zeiteinheit durch Ermittlung der vertikalen Verschiebungsbeträge vorne, hinten, links und rechts am Fahrzeug 1. Wenn das Fahrzeug 1 kippt, sinkt der Umgebungswert S2 mit Erhöhung des Verschiebungsbetrags, wie dies bei Umgebungswert S2 der Fall ist.
Der Umgebungswert S4, welcher einem durch den Solarstrahlungs-Sensor 44 ermittelten Solarstrahlungsmenge zuzuordnen ist, sinkt, wenn die Solarstrahlungsmenge abnimmt. Der Grund dafür ist, dass das aufgenommene Bild einer Szene dunkler wird, wenn die Solarstrahlungsmenge abnimmt. Wenn das aufgenommene Bild dunkel ist, ist es sehr wahrscheinlich, dass der Unterschied in seinem Helligkeitswert klein wird. Somit ist die Genauigkeit der Merkmalspunkt-Extraktion gering.
Der Umgebungswert S5, welcher einem durch den Regen-Sensor 45 ermittelten Regen zuzuordnen ist, nimmt mit der Zunahme des Regenfalls ab. Der Grund dafür ist, dass ein aufgenommenes Bild wahrscheinlich verschwommen wird, wenn der Niederschlag zunimmt. Wenn das aufgenommene Bild verschwommen ist, ist die Genaugikeit der Merkmalspunkt-Extraktion gering.
Nach dem die Umgebungswerte S1–S5 individuell den durch den Fahrzeuggeschwindigkeits-Sensor 41, den Lenk-Sensor 42, die Höhen-Sensoren 43a–43d, den Solarstrahlungs-Sensor 44 und den Regen-Sensor 45 erlangten Ermittlungs-Informationen zugeordnet sind, wird ein Gesamt-Umgebungswert S berechnet, wie in 7(c) gezeigt.
In 7(c) ist der Gesamt-Umgebungswert S die Summe der Umgebungswerte S1 bis S5. Es kann jedoch ein alternatives Berechnungsverfahren angewandt werden, soweit die von den Werte-Sensoren 4 ermittelten Informationen berücksichtigt werden. Wenn festgestellt wird, dass die Fahrzeuggeschwindigkeiit einen größeren Einfluss ausübt als die anderen Teile der Ermittlungs-Informationen, kann ein besonderer Fokus auf die Bewertung des Umgebungswerts S1 gelegt werden.
Außerdem können andere Sensoren als Werte-Sensoren 4 zusätzlich oder anstelle von den oben beschriebenen Sensoren verwendet werden. Ein Umgebungswert kann gegeben werden, indem einem Gyrosensor erlaubt wird die Neigung des Fahrzeugs 1, basierend auf der gleichen Idee wie der Umgebungswert S3, zu ermitteln. Außerdem kann ein Umgebungswert zur Ermittlung des Niederschlags durch ein Scheibenwischersignal gegeben werden, basierend auf der gleichen Idee wie der Umgebungswert S5. Des Weiteren kann die Fahrgeschwindigkeit und die Neigungsstärke des Fahrzeugs 1 von Verkehrs- und Straßeninformationen vorhergesagt werden, welche durch ein Fahrzeugnavigationssystem erlangt wurden, um einen Umgebungswert unter Berücksichtigung solcher vorhergesagten Informationen zu berechnen.
Wie oben beschrieben, werden die Umgebungswerte als Indizes zur Evaluierung der umgebenden Umwelt, wie Wetterunterschiede und Umgebungshelligkeit des Fahrzeugs 1 oder zur Evaluierung des Zustands des Fahrzeug 1, wie Stellungsveränderungen und Vibration genutzt. Wenn die Umgebungswerte hoch sind, ist es sehr wahrscheinlich, dass durch die Verringerung des Einflusses von Störungen, welche durch die umgebende Umwelt und den Zustand des Fahrzeugs verursacht werden, klar aufgenommene Bilder erhalten werden. Eine Situation, in welcher klar aufgenommene Bilder erhalten werden, eignet sich zur Merkmalspunkt-Extraktion.
Nachdem der Umgebungswert wie oben beschrieben berechnet wurde (S101), wird bestimmt, ob der Umgebungswert gleich oder größer als ein zuvor festgelegter Schwellenwert ist (S102). Der oben genannte Gesamt-Umgebungswert S ist ausgelegt für die Bestimmung und der Wert des Schwellenwertes zur Bestimmung kann wie gewünscht vorgegeben werden. Wenn bestimmt wird, ob der Gesamt-Umgebungswert S gleich oder größer als der zuvor festgelegte Schwellenwert ist, können die umgebende Umwelt des Fahrzeugs 1 und der Zustand des Fahrzeugs 1 in einer umfassenden Weise aus den Ermittlungs-Informationen, welche von den verschiedenen Werte-Sensoren 4 erlangt wurden, ausgewertet werden, um zu bestimmen, ob die aktuelle Situation zur Merkmalspunkt-Extraktion geeignet ist. Jedoch ist das Verfahren der Umgebungsbewertung nicht auf das oben beschriebene beschränkt. Wenn die Anzahl der Umgebungswerte die vordefinierten Kriterien der Umgebungswerte S1 bis S5 nicht erfüllt, kann bestimmt werden, dass die aktuelle Situation nicht für die Merkmalspunkt-Extraktion geeignet ist.
Wenn bestimmt wird, dass der Umgebungswert nicht mit dem zuvor festgelegten Schwellenwert übereinstimmt (S102: NEIN), endet der Umwandlungstabellen-Aktualisierungsprozess (6).
Im Gegensatz dazu, wenn bestimmt wird, dass der Umgebungswert gleich oder größer als ein zuvor festgelegter Schwellenwert ist (S102: JA), werden Merkmalspunkte extrahiert. Im vorliegenden Ausführungsbeispiel wird ein aufgenommenes Bild erlangt (S103), dann wird das aufgenommene Bild in ein Bild aus Vogelperspektive umgewandelt (S104) und Merkmalspunkte extrahiert (S105).
8 zeigt, wie eine Vielzahl von Merkmalspunkten aus einem aufgenommenen Bild und aus einem Bild aus Vogelperspektive extrahiert wird. Wie bereits erwähnt, weisen die Merkmalspunkte Auffälligkeiten innerhalb eines aufgenommenen Bildes einer Szene auf und können von anderen Punkten unterschieden werden. Außerdem sind die Merkmalspunkte so, dass ihre Koordinaten in einem aufgenommenen Bild oder einem Bild aus Vogelperspektive, welches die Szene zeigt, festgestellt werden können. Ein typischer Merkmalspunkt wäre ein Eckpunkt, an dem sich eine gerade Linie mit einer geraden Linie kreuzt. Jedoch kann der Merkmalspunkt auch aus der Grenze einer geraden Linie extrahiert werden. Beispielsweise kann der Merkmalspunkt aus Straßenmarkierungen extrahiert werden, wie den Fahrbahnmarkierungen, Fußgängerüberwegs-Markierungen und Stopp-Linien-Markierungen, weil es einen signifikanen Helligkeitswertunterschied an der Grenze zwischen solch einer Markierung und einem freiliegenden Asphaltteil gibt.
Schwarze Punkte in den 8(a) und (b) geben eine Stelle an, an der ein Merkmalspunkt extrahiert wird. Wie bereits erwähnt, werden Merkmalspunkte extrahiert, um die Position und den Winkel der Fahrzeugkamera 2 zu berechnen. Weiterhin werden die Position und der Winkel der Fahrzeugkamera 2 berechnet unter Verwendung der Übereinstimmung der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten, welche aus einem Bild extrahiert sind mit der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten auf einem aktuell aufgenommenen Bild der Szene. Die Übereinstimmung kann beispielsweise durch Extraktion der Merkmalspunkte aus einem Ziel verwendet werden, welches eine bekannte Form aufweist und im aktuell aufgenommenen Bild der Szene gezeigt wird. In 8 werden die Merkmalspunkte aus den Fahrbahnmarkierungen auf der linken und rechten Seite des Fahrzeugs 1 und aus der japanischen Straßenmarkierung ”
” (STOP) extrahiert. Das Ziel in 8 weist eine bekannte Form auf, weil die tatsächlichen Fahrbahnmarkierungen auf der linken und rechten Seite zueinander parallel sind, während das Fahrzeug 1 gerade weiterfährt und die japanische Straßenmarkierung ”
” (STOP) eine Vielzahl an Eckpunkten aufweist, an denen sich Linien gegenseitig senkrecht kreuzen. Formen und Abmessungen von Straßenmarkierungen, welche zur Merkmalspunkt-Extraktion geeignet sind, können zur Vereinfachung der Merkmalspunkt-Extraktion in eine Datenbank aufgenommen werden, die von der Merkmalspunkt-Extraktionseinheit 15 referenziert wird.
Die Merkmalspunkte können, wie in 8(a) gezeigt, aus einem aufgenommenen Bild extrahiert werden. Der Umwandlungstabellen-Aktualisierungsprozess entsprechend dem vorliegenden Ausführungsbeispiel extrahiert die Merkmalspunkte, wie in 8(b) gezeigt, aus einem Bild aus Vogelperspektive. Der Unterschied zwischen der Merkmalspunkt-Extraktion aus dem aufgenommenen Bild in 8(a) und der Merkmalspunkt-Extraktion aus dem Bild aus Vogelperspektive in 8(b) ist nachfolgend beschrieben.
Das aufgenommene Bild in 8(a) wurde aufgenommen, während das Fahrzeug 1 geradeaus entlang einer geraden Linie gefahren ist. Aktuelle Fahrbahnmarkierungen sind parallele, gerade Linien, welche entlang einer Fahrspur gezeichnet sind. Jedoch weisen die linke und rechte Fahrbahnmarkierung, welche im aufgenommenen Bild in 8(a) gezeigt sind, im Wesentlichen eine umgekehrte V-Form auf. Weiterhin ist die japanische Straßenmarkierung ”
” (STOP) gezeigt, sodass tatsächlich parallele Teile nicht parallel aussehen und aktuell sich senkrecht kreuzende Teile nicht senkrecht zueinander aussehen. Wenn die Merkmalspunkte (schwarze Punkte in 8(a)), die wie oben beschrieben gezeigt sind, aus der Fahrbahnmarkierung extrahiert sind, ist die Positionsbeziehung zwischen den im Bild gezeigten Merkmalspunkten nicht gleich der Positionsbeziehung zwischen den aktuellen Merkmalspunkten.
Mittlerweile sehen, im Bild aus Vogelperspektive in 8(b), die linke und rechte Fahrbahnmarkierung, wie in der realen Welt, parallel aus, zwei parallele, gerade Linien der japanischen Straßenmarkierung ”
” (STOP) sehen, wie in der realen Welt, parallel aus und die senkrecht kreuzenden Teile sehen senkrecht zueinander aus. Wenn die Merkmalspunkte (schwarze Punkte in 8(b)), die wie oben beschrieben gezeigt sind, aus der Fahrbahnmarkierung extrahiert sind, ist die Positionsbeziehung zwischen den im Bild gezeigten Merkmalspunkten gleich der Positionsbeziehung zwischen den aktuellen Merkmalspunkten.
Demzufolge, wenn die aus einem Bild aus Vogelperspektive extrahierten Merkmalspunkte die aktuelle Positionsbeziehung zeigen, wird die Positionsbeziehung zwischen den in einem Bild gezeigten Merkmalspunkten mit der aktuellen Positionsbeziehung viel einfacher in Einklang gebracht, als wenn Merkmalspunkte aus einem aufgenommenen Bild, welches die aktuelle Positionsbeziehung nicht zeigt, extrahiert werden. Somit ermöglich die Extraktion der Merkmalspunkte aus dem Bild aus Vogelperspektive die einfache und akkurate Berechnung der Position und des Winkels der Fahrzeugkamera 2.
Aus den oben genannten Gründen werden die Merkmalspunkte extrahiert (S104 aus 5), nachdem ein aufgenommenes Bild in ein Bild aus Vogelperspektive umgewandelt wurde (S105 aus 5). Die Prozessverarbeitungslast kann reduziert werden durch eine Vorauswahl von Fahrbahn- und Straßenmarkierungen als Ziele, von welchen die Merkmalspunkte extrahiert werden sollen und durch Umwandlung nur der Ziele des aufgenommenen Bildes einer Szene in ein Bild aus Vogelperspektive.
Anschließend wird die Verteilung der Merkmalspunkte bestätigt (S106). Basierend auf der bestätigten Verteilung der Merkmalspunkte wird festgestellt, ob die Position und der Winkel der Fahrzeugkamera 2 berechnet werden sollen (S107). Die Bestimmung wird gemacht, um zu prüfen, ob die Verteilung der Merkmalspunkte zur akkuraten Berechnung der Position und des Winkels der Fahrzeugkamera 2 geeignet ist. Daher kann die Bestimmung auf Basis von Informationen erfolgen, welche die Breite der Verteilung der Merkmalspunkte angeben. Die Informationen, welche die Breite der Verteilung angeben, stellen die Größe eines Bereichs in Bezug auf die Größe eines Bildbereichs dar, welcher die Verteilung der Merkmalspunkte aufweist. Wie nachfolgend beschrieben, kann die Eignung der Verteilung in umfassender Weise unter Berücksichtigung der Breite der Verteilung, der Position eines Verteilbereichs, welcher die Merkmalspunkte aufweist und der Streuung der Merkmalspunkte innerhalb des Verteilbereichs bestimmt werden.
9 zeigt einen Fall, in dem die Verteilung der Merkmalspunkte in einem Bild aus Vogelperspektive günstig ist und einen Fall, in dem die Verteilung der Merkmalspunkte in einem Bild aus Vogelperspektive ungünstig ist. Ein aufgenommenes Bild einer Szene wird in 9 weggelassen und die Positionen von extrahierten Merkmalspunkte sind durch schwarze Punkte gekennzeichnet. Ferner werden die extrahierten Merkmalspunkte integral betrachtet, um periphere Merkmalspunkte als Eckpunkte zu verbinden und ein Bereich innerhalb des resultierenden konvexen Polygons als Merkmalspunkt-Verteilbereich (schraffierter Abschnitt) gehandhabt. Eine Merkmalspunkt-Verteilung wird als günstig eingestuft, wenn der Verteilbereich eine große Fläche aufweist, welche nahe der Bildmitte angeordnet ist, wie in 9(a) gezeigt. Die Merkmalspunkt-Verteilung wird als ungünstig eingestuft, wenn der Verteilbereich einen kleinen Bereich aufweist oder verzerrt positioniert ist, wobei nur ein Teil eines Bildes eingenommen wird, wie in 9(b) gezeigt.
Ob die Merkmalspunkt-Verteilung geeignet ist, kann einfach durch Überprüfen der Breite, Höhe und Position des Merkmalspunkt-Verteilbereichs bestimmt werden, anstatt den schraffierten Bereich zu untersuchen.
In 9(a) ist die Breite des Merkmalspunkt-Verteilbereichs Ua und die Höhe Va. Die Größe dieses Merkmalspunkt-Verteilbereichs ist im Vergleich zur Größe eines Bildes ausreichend groß. Ferner sind die Zwischenwerte von Ua und Va nahe der Bildmitte. Die Merkmalspunkt-Verteilung in 9(a) kann als günstig eingestuft werden.
In 9(b) ist sowohl die Breite Ub als auch die Höhe Vb des Merkmalspunkt-Verteilbereichs im Vergleich zu der Größe eines Bildes klein. Somit kann die Merkmalspunkt-Verteilung aus 9(b) als ungünstig eingestuft werden. Ferner weichen die Zwischenwerte von Ua und Va signifikant von der Bildmitte ab. Die Merkmalspunkt-Verteilung kann als ungünstig eingestuft werden.
Wie bereits erwähnt, kann die Streuung der Merkmalspunkte zusätzlich zur Größe und Position des Merkmalspunkt-Verteilbereichs berücksichtigt werden. Die Breite Uc, die Höhe Vc und die Position des Merkmalspunkt-Verteilbereichs in 9(c) sind genau so wie in 9(a). Jedoch ist die Merkmalspunkt-Verteilung innerhalb des Verteilbereichs in 9(c) einseitig. In diesem Fall sollte nicht nur die Weite (Bereich) der Merkmalspunkt-Verteilung, sondern auch die Streuung der Merkmalspunkte berücksichtigt werden. In 9(c) wird ein Merkmalspunkt, welcher von beispielsweise einer durchschnittlichen Verteilungsposition signifikant abweicht, als Ausreißer betrachtet und er wird kein Teil des Merkmalspunkt-Verteilbereichs sein. Somit wird ein doppelt schraffierter Bereich als Merkmalspunkt-Verteilbereich gehandhabt. Die Merkmalspunkt-Verteilung in 9(c) wird als ungünstig eingestuft.
Wie bereits erwähnt, werden die Position und der Winkel der Fahrzeugkamera 2 unter Verwendung der Übereinstimmung der Positionsbezeihung zwischen einer vielzahl an Merkmalspunkten, welche aus einem Bild aus Vogelperspektive extrahiert wurden mit der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten in einem aktuell aufgenommenen Bild einer Szene berechnet. Daher, selbst wenn die Merkmalspunkt-Verteilung ungünstig ist, wie in den 9(b) und (c) gezeigt, können die Position und der Winkel der Fahrzeugkamera 2 berechnet werden. Jedoch kann für einen Bereich, in welchem keine Merkmalspunkte existieren die Übereinstimmung der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten auf einem Bild mit der Positionsbeziehung zwischen einer Vielzahl an Merkmalspunkten auf einem aktuell aufgenommenen Bild nicht bestätigt werden. Dies macht es schwierig, die Position und den Winkel der Fahrzeugkamera 2 akkurat zu berechnen.
Wenn die Merkmalspunkt-Verteilung ungünstig ist, wird festgelegt, dass die Position und der Winkel der Fahrzeugkamera nicht zu berechnen sind (S107 aus 5: NEIN) und dann endet der Umwandlungstabellen-Aktualisierungsprozess (6).
Im Gegensatz dazu, wenn die Merkmalspunkt-Verteilung auf einem Bild aus Vogelperspektive günstig ist, wie in 9(a) gezeigt, wird festgelegt, dass die Position und der Winkel der Fahrzeugkamera 2 zu berechnen sind (S107: JA) und danach werden die Position und der Winkel der Fahrzeugkamera 2 berechnet (S108). Auf diese Weise können die Position und der Winkel der Fahrzeugkamera 2 nur berechnet werden, wenn eine ausreichende Genauigkeit erreicht wird. Wenn ferner die Position und der Winkel der Fahrzeugkamera 2 nicht berechnet werden, da keine ausreichende Genauigkeit vorausgesetzt werden kann, ist es möglich, zu verhindern, dass der CPU eine zusätzliche Prozessverarbeitungslast auferlegt wird.
Nachdem die Position und der Winkel der Fahrzeugkamera 2 berechnet wurden (S108), wird der Betrag der Positions- und Winkelveränderung, welche sich durch die berechnete Position und den Winkel ergeben, bestätigt (S109 aus 6). Der zu besätigende Veränderungsbetrag ist der Betrag der Differenz zwischen der neu kalkulierten Position und dem Winkel der Fahrzeugkamera 2 und der Position und dem Winkel der Fahrzeugkamera 2, welche in der Aktualisierung der aktuell verwendeten Umwandlungstabelle genutzt werden. Wenn der Veränderungsbetrag gleich oder kleiner als ein Schwellenwert-Veränderungsbetrag ist (S110: JA), wird die Umwandlungstabelle aktualisiert (S111) und dann endet der Umwandlungstabellen-Aktualisierungsprozess. Im Gegensatz dazu, wenn der Veränderungsbetrag größer als der Schwellenwert-Veränderungsbetrag ist (S110: NEIN), endet der Umwandlungstabellen-Aktualisierungsprozess ohne Aktualisierung der Umwandlungstabelle.
Im Falle einer Kontingenz wie einer Abnormalität bei der Merkmalspunkt-Extraktion oder bei der Berechnung der Position und des Winkels der Fahrzeugkamera 2, können die Position und der Winkel der Fahrzeugkamera 2 Extremwerte annehmen. Unter solchen Umständen wird die Umwandlungstabelle nicht aktualisiert, wenn der durch die berechnete Position und den Winkel der Fahrzeugkamera 2 dargelegte Veränderungsbetrag größer als ein zuvor festgelegter Schwellenwert-Veränderungsbetrag ist. Daher wird die Umwandlungstabelle nur aktualisiert, wenn festgestellt wird, dass die Position und der Winkel der Fahrzeugkamera 2 mit ausreichender Genauigkeit erhalten werden. Ferner, wie in dem Fall mit der Bestimmung einer Merkmalspunkt-Verteilung, werden die Position und der Winkel der Fahrzeugkamera 2 nicht berechnet, wenn wahrscheinlich keine ausreichende Genauigkeit erreicht wird. Folglich ist es möglich, zu verhindern, dass der CPU eine zusätzliche Prozessverarbeitungslast auferlegt wird.
Wie oben beschrieben werden, wenn der Umwandlungstabellen-Aktualisierungsprozess von der Bildumwandlungsvorrichtung 10 gemäß dem vorliegenden Ausführungsbeispiel ausgeführt wurde, die Merkmalspunkte auf Basis der Auswertung der Umgebungswerte mit erhöhter Genauigkeit extrahiert (S102) und die Position und der Winkel der Fahrzeugkamera 2 mit erhöhter Genauigkeit durch Bestätigung der Verteilung der Merkmalspunkte berechnet (S107). Zusätzlich zu solch einer akkuraten Berechnung der Position und des Winkels der Fahrzeugkamera 2 wird der durch die berechnete Position und den Winkel der Fahrzeugkamera dargelegte Veränderungsbetrag bestätigt (S110). Schließlich wird die Umwandlungstabelle nach dreifacher Überprüfung aktualisiert. Somit referenziert die Bildumwandlungsvorrichtung die sehr genaue, sehr zuverlässige Umwandlungstabelle, welche in oben beschriebener Weise erhalten wurde. Ein akkurates Bild aus Vogelperspektive kann durch Umwandlung erhalten werden.
B. Abwandlung
In der Beschreibung des vorstehenden Ausführungsbeispiels wurde das Verfahren der Berechnung der veränderten Position und des Winkels der Fahrzeugkamera 2 unter der Annahme erklärt, dass die Veränderungen der Position und des Winkels der Fahrzeugkamera 2 in Bezug auf die Fahrbahnoberfläche 21 erfolgen. In der Hinsicht kann die Position und der Winkel der Fahrzeugkamera in Bezug auf die Fahrbahnoberfläche 21 aus zwei Gründen variieren. Erstens kann der Montagezustand (Position und Winkel) der Fahrzeugkamera 2 in Bezug auf das Fahrzeug 1 variieren, sodass sich der Montagezustand in Bezug auf die Fahrbahnoberfläche 21 verändert. Zweitens kann die Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche variieren. Die Veränderung im ersten Fall ist eine permanente Veränderung, welche beispielsweise durch ein an der Fahrzeugkamera 2 angebrachtes lockeres Befestigungselement auftritt. Unterdessen ist die Veränderung im zweiten Fall, also die Neigung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche eine temporäre Veränderung, welche beispielsweise durch eine Veränderung im Nutzlastgewicht oder der Beschleunigung oder dem Abbremsen des Fahrzeugs 1 auftritt. Das vorstehende Ausführungsbeispiel wurde ohne einer Unterscheidung zwischen den zwei Variationssarten beschrieben. Die folgende Beschreibung einer Abwandlung erklärt jedoch, wie die Position und der Winkel der Fahrzeugkamera 2 im Falle der temporären Veränderung im zweiten Fall berechnet werden, das heißt eine Veränderung in der Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche, während der Fokus auf den Unterschied zwischen der Abwandlung und dem vorhergehenden Ausführungsbeispiel gelegt wird.
Im Allgemeinen hat die Position der Fahrzeugkamera 2 drei Richtungskomponenten, und zwar eine Längsstellung (die Fahrtrichtung des Fahrzeugs 1), eine Querstellung (die Links-Rechts-Richtung relativ zur Fahrtrichtung des Fahrzeugs 1) und eine Vertikalstellung. Die Fahrzeugkamera hat drei Richtungswinkel, und zwar Roll, Nick und Gier. Um also die Position und den Winkel der Fahrzeugkamera 2 zu berechnen, ist es essentiell notwendig, die drei Richtungskomponenten und die drei Richtungswinkel (sechs Werte insgesamt) zu berechnen. Wenn jedoch die Berechnung der Position und des Winkels aus letztgenanntem Grund erforderlich ist, das heißt, wegen der Veränderung der Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche, wird die Berechnung von drei Werten genügen, nämlich der Vertikalstellung, dem Roll-Winkel und dem Nick-Winkel der Fahrzeugkamera 2. Der Grund wird nachfolgend beschrieben.
Zuerst sei angenommen, dass die Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche festgelegt ist (z. B. in horizonaler Position gehalten). Selbst wenn ein solcher Zustand beibehalten wird, variieren die Längs- und Querstellung der Fahrzeugkamera 2, wenn sich das Fahrzeug 1 bewegt. Wenn ferner die Orientierung des Fahrzeugs 1 variiert, variiert der Gier-Winkel der Fahrzeugkamera 2. Daher beeinflusst eine Veränderung in der Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche die Vertikalstellung, den Roll-Winkel und den Nick-Winkel der Fahrzeugkamera 2 und sie beeinflusst nicht die Längsstellung, Querstellung und den Gier-Winkel der Fahrzeugkamera 2. Demzufolge, wenn die Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche während der Fahrt des Fahrzeugs 1 variiert, wird der beabsichtigte Zweck durch Berechnung der drei Werte, und zwar der Vertikalstellung, des Roll-Winkels und des Nick-Winkels der Fahrzeugkamera 2, erreicht.
Während das Fahrzeug 1 fährt, variiert die Stellung des Fahrzeugs 1 in Bezug auf die Fahrbahnoberfläche häuftig und dementsprechend kann die Häufigkeit der Berechungen der Position und des Winkels der Fahrzeugkamera 2 groß sein und die Berechnungslast dürfte hoch sein. Unter diesem Gesichtspunkt, wenn es ausreicht, die drei Werte zu berechnen, und zwar die Vertikalstellung, den Roll-Winkel und den Nick-Winkel der Fahrzeugkamera 2, ist dies ein großer Vorteil, weil die Berechnungslast auf die Hälfte reduziert werden kann.
10 zeigt ein Beispiel eines Bildes aus Vogelperspektive, welches bei der Neigung des Fahrzeugs 1 in Nick-Richtung erhalten wird. Wenn die Front des Fahrzeugs 1 nach unten geneigt ist, wie in 10(a) gezeigt, verändert sich der Nick-Winkel der Fahrzeugkamera 2 nach unten. Ein Bild aus Vogelperspektive, welches Fahrbahnmarkierungen auf der linken und rechten Seite des Fahrzeugs 1 im obigen Zustand zeigt, ist in 10(b) abgebildet. Wie in 10(b) abgebildet, werden die Fahrbahnmarkierungen auf der linken und rechten Seite des Fahrzeugs 1 in einer umgekehrten V-Form gezeigt. Wenn das Fahrzeug 1 nicht geneigt ist, sollten die linken und rechten Fahrbahnmarkierungen parallel abgebildet sein. Wenn also Merkmalspunkte aus den Grenzen der Fahrbahnmarkierungen extrahiert werden, um Anpassungen vorzunehmen, sodass die Fahrbahnmarkierungen, welche in eine umgekehrte V-Form geneigt sind, parallel angezeigt werden, kann der Nick-Winkel der Fahrzeugkamera 2 auf Basis der Neigung des Fahrzeugs 1 neu berechnet werden. Schwarze Punkte auf den Grenzlinien der Fahrbahnmarkierungen in 10(b) sind Beispiele für Merkmalspunkte. Wenn solche Merkmalspunkte verbunden sind, sind die resultierenden Linien genau wie die Linien der Fahrbahnmarkierungen. Daher werden solche Merkmalspunkte aus nachfolgend dargestellten Beispielen eines Bildes aus Vogelperspektive weggelassen.
Ein Bild aus Vogelperspektive, welches eine Stopp-Linie vor dem Fahrzeug 1 in einem, wie in 10(a) gezeigten Zustand zeigt, ist in 10(c) dargestellt. Wie dargestellt, hat die abgebildete Stopp-Linie eine Trapezform, sodass zwei in Längsrichtung verlaufende gerade Linien eine umgekehrten V-Form aufweisen und dass zwei in Querrichtung verlaufende gerade Linien parallel zueinander sind. Wenn das Fahrzeug 1 nicht geneigt ist, sollte die abgebildete Stopp-Linie wie ein Rechteck geformt sein, welches in Querrichtung lang ist. Daher, wenn Anpassungen vorgenommen werden, sodass die zwei geraden Linien, welche wie in dem in 10(b) gezeigten Fall in eine umgekehrte V-Form geneigt sind, parallel zueinander sind, kann der Nick-Winkel der Fahrzeugkamera 2 auf Basis der Neigung des Fahrzeugs 1 neu berechnet werden.
Die Genauigkeit der Nick-Winkel der Fahrzeugkamera 2, welche aus den 10(b) und 10(c) berechnet werden, werden nun verglichen. In 10(b) kann die Neigung von einem Liniensegment mit der Länge L1 untersucht werden. Im Fall von 10(c) ist jedoch die Neigung eines Liniensegments mit der Länge L2 zu untersuchen, welche kürzer als die Länge L1 ist. Offensichtlich erzeugt die Untersuchung der Neigung von dem Liniensegment mit der Länge L2 einen größeren Fehler als die Untersuchung der Neigung von dem Liniensegment mit der Länge L1. Daher ist der berechnete Nick-Winkel der Fahrzeugkamera 2 von 10(c) genauer als der von 10(b).
Nun wird der Unterschied in der Merkmalspunkt-Verteilung zwischen den 10(b) und 10(c) untersucht. In 10(b) weist die Verteilung der Merkmalspunkte, welche durch die schwarzen Punkte markiert sind, eine große Weite in Längsrichtung eines Bildes aus Vogelperspektive auf. Derweil weist die Verteilung der Merkmalspunkte, welche durch die schwarzen Punkte markiert sind, eine geringe Weite in Querrichtung auf, weil es keine Merkmalspunkte in den linken und rechten Endbereichen und im Mittelbereich gibt.
Schwarze Punkte, welche die Merkmalspunkte anzeigen, werden in 10(c) weggelassen. Wenn man jedoch den angezeigten Bereich der Stopp-Linie betrachtet, zeigt sich, dass die Merkmalspunkt-Verteilung in Längsrichtung eine geringe Weite aufweist und dass die Merkmalspunkt-Verteilung in Querrichtung eine große Weite aufweist.
Folglich, wenn der Nick-Winkel der Fahrzeugkamera 2, wie in 10 gezeigt, neu berechnet werden soll, versteht es sich, dass eine Merkmalspunkt-Verteilung mit einer großen Weite in Längsrichtung eines Bildes aus Vogelperspektive (in der Fahrtrichtung des Fahrzeugs 1) für eine genaue Berechnung wichtig ist. Daher sollte der Nick-Winkel der Fahrzeugkamera 2 unter der Bedinungung berechnet werden, dass die Weite der Merkmalspunkt-Verteilung in Längsrichtung eines Bildes aus Vogelperspektive größer als ein zuvor festgelegter Längsrichtungs-Schwellenwert ist. Der Längsrichtungs-Schwellenwert entspricht einem ersten Schwellenwert.
11 zeigt ein Beispiel eines Bildes aus Vogelperspektive, welches erhalten wird, wenn das Fahrzeug 1 in Roll-Richtung geneigt ist. Wenn der Rollrichtungs-Winkel der Fahrzeugkamera 2 nach rechts verändert ist, da die rechte Seite des Fahrzeugs 1 aus Sicht der Vorderseite des Fahrzeugs 1 nach unten geneigt ist, wie in 11(a) gezeigt, werden die Fahrbahnmarkierungen auf der linken und rechten Seite des Fahrzeugs 1 in einer anderen Weise dargestellt, wie in 11(b) gezeigt. Die linke Fahrbahnmarkierung in 11(b) ist mit einer großen Breite W1 und von dem Fahrzeug 1 weg positioniert abgebildet. Derweil ist die rechte Fahrbahnmarkierung mit einer kleinen Breite W2 und zu dem Fahrzeug 1 hin positioniert abgebildet. In diesem Fall kann der Roll-Winkel der Fahrzeugkamera 2 auf Basis der Neigung des Fahrzeugs 1 neu berechnet werden, indem beispielsweise Anpassungen vorgenommen werden, sodass die linke und die rechte Fahrbahnmarkierung die gleiche Breite aufweisen. Indes weisen tatsächliche Fahrbahnmarkierungen eine Breite von 15 cm bis 20 cm auf. Weiterhin weisen die angezeigten Fahrbahnmarkierungen in einem Bild aus Vogelperspektive eine relativ geringe Breite im Vergleich zum Bildanzeigebereich auf. Daher ist es schwieriger als im Fall von 11(c), genaue Anpassungen vorzunehmen.
Eine in 11(c) gezeigte Stopp-Linie ist trapezförmig ausgebildet, sodass zwei in Längsrichtung verlaufende gerade Linien parallel zueinander sind und dass zwei in Querrichtung verlaufende gerade Linien eine umgekehrte V-Form aufweisen. Daher kann der Roll-Winkel der Fahrzeugkamera 2 auf Basis der Neigung des Fahrzeugs 1 neu berechnet werden, indem Anpassungen so vorgenommen werden, dass die zwei geraden Linien, welche sich in Querrichtung zu einer umgekehrten V-Form erstrecken, parallel zueinander sind. Die zwei Linien, welche sich in Querrichtung zu einer umgekehrten V-Form erstrecken, weisen eine Länge L3 auf, wobei die Länge L3 offensichtlich größer als die Breiten W1 und W2, welche in 11(b) gezeigt sind, ist. Es ist daher vorstellbar, dass der berechnete Roll-Winkel der Fahrzeugkamera 2 im Fall von 11(c) genauer ist, als im Fall von 11(b).
Folglich sollte der Roll-Winkel der Fahrzeugkamera 2 unter der Bedingung berechnet werden, dass die Weite der Merkmalspunkt-Verteilung in Querrichtung eines Bildes aus Vogelperspektive größer als ein zuvor festgelegter Querrichtungs-Schwellenwert ist. Der Querrichtungs-Schwellenwert entspricht einem zweiten Schwellenwert.
12 zeigt ein Beispiel eines Bildes aus Vogelperspektive, welches erhalten wird, wenn die Vertikalstellung des Fahrzeugs 1 verändert wird. Wenn das Fahrzeug 1 vollständig versenkt ist, wie in 12(a) gezeigt, sinkt die Vertikalstellung der Fahrzeugkamera 2. In diesem Zustand sehen die angezeigten Fahrbahnmarkierungen aus wie in 12(b) und eine angezeigte Stopp-Linie sieht aus wie in 12(c). In den 12(b) und 12(c) sind die Fahrspurmarkierungen und die Stopp-Linie, welche vor einer Änderung der Vertikalstellung des Fahrzeugs 1 angezeigt werden durch gestrichelte Linien dargestellt. Im Vergleich mit den gestrichelten Linien sind die linke und rechte Fahrbahnmarkierung in 12(b) je mit einer erhöhten Breite und weiter vom Fahrzeug 1 weg positioniert abgebildet, und die Stopp-Linie in 12(c) wird in ähnlicher Weise mit einer gesteigerten Größe und weiter vom Fahrzeug 1 weg positioniert abgebildet.
Wenn die Vertikalstellung des Fahrzeugs 1 wie oben beschrieben verändert ist, sind die in einem Bild aus Vogelperspektive dargestellten Dinge vergrößert oder verkleinert. Daher kann die Übereinstimmung der Merkmalspunkte nicht erreicht werden, indem die mit Bezug auf die 10 und 11 beschriebenen Formen verwendet werden. Jedoch kann bespielsweise die Vertikalstellung des Fahrzeugs 1, wie nachfolgend beschrieben, berechnet werden. Im Fall von 12(b), wenn Daten mit der Breite der tatsächlichen Fahrbahnmarkierungen aufbereitet sind, kann die Vertikalstellung der Fahrzeugkamera 2 auf Basis der Vertikalstellung des Fahrzeugs 1 neu berechnet werden, indem Anpassungen gemacht werden, sodass die Breite der Fahrbahnmarkierungen, welche in einem Bild aus Vogelperspektive dargestellt sind, der Breite der tatsächlichen Fahrbahnmarkierungen entspricht. Ähnlich im Fall von 12(c), wenn Daten mit der Breite einer Stopp-Linie aufbereitet sind, kann die Vertikalstellung der Fahrzeugkamera 2 auf Basis der Vertikalstellung des Fahrzeugs 1 neu berechnet werden. Wenn die Vertikalstellung der Fahrzeugkamera 2 wie oben beschrieben berechnet wird, wird die Übereinstimmung der Skalierungen anstatt der Übereinstimmung der Formen erreicht. Die Skalierung eines Bildes kann nicht genau evaluiert werden, bis das gesamte Bild erfasst ist. Wenn also die Längsskala eines Bildes aus Vogelperspektive ausgewertet werden soll, muss zumindest die Merkmalspunkt-Verteilung in Längsrichtung günstig sein. Wenn die Querskala ausgewertet werden soll, muss zumindest die Merkmalspunkt-Verteilung in Querrichtung günstig sein.
Wenn die Vertikalstellung des Fahrzeugs 1 verändert wird, sind die in einem Bild aus Vogelperspektive gezeigten Dinge vergrößert oder verkleinert, wie oben beschrieben. Wenn jedoch das Fahrzeug 1 in die Nick-Richtung geneigt wird, können die in einem Bild aus Vogelperspektive gezeigten Dinge in manchen Fällen vergrößert oder verkleinert aussehen. Ferner neigen diese angezeigten Bildveränderungen dazu, durch den Installationszustand der Fahrzeugkamera 2 beeinflusst zu werden, wie die Befestigungsposition (vorne, hinten, links oder rechts am Fahrzeug 1) und dem Unterschied im Absenkungsbetrag, welcher von der Härte eines Stoßfängers abhängt. Daher ist es wahrscheinlich, dass eine falsche Variable berechnet werden kann. In solch einer Situation sollten die Daten über die Tendenz der Stellungsveränderung des Fahrzeugs 1 und die Anzeigeveränderung eines Bildes aus Vogelpespektive vorab erlangt werden, während die Fahrzeugkamera 2 am Fahrzeug 1 angeordnet ist und dann sollten die erlangten Daten referenziert werden, um zu bestimmen, welche der drei Variablen, nämlich die Vertikalstellung, der Roll-Winkel und der Neigungs-Winkel der Fahrzeugkamera 2 berechnet werden soll.
Wenn ferner die Stellung des Fahrzeug 1 variiert, können sich in manchen Fällen der Nick-Winkel, der Roll-Winkel und die Vertikalstellung in einer komplexen Weise und nicht einzeln verändern. Auch in solch einer Situation kann, ob die Merkmalspunkt-Verteilung in Längsrichtung oder Querrichtung eines Bildes aus Vogelperspektive günstig ist, ähnlich der, ob der Nick-Richtungs-Winkel oder Roll-Richtungs-Winkel der Fahrzeugkamera 2 mit ausreichender Genauigkeit berechnet werden. Folglich sollte die zu berechnende Variable wie in 13 gezeigt gewählt werden.
13 zeigt eine beispielhafte Auswahl einer Variablen auf Basis der Merkmalspunkt-Verteilung. Wie oben beschrieben, ist die Merkmalspunkt-Verteilung unterteilt in die Längsrichtung und die Querrichtung eines Bildes aus Vogelperspektive und eine Klassifizierung erfolgt in Abhängigkeit davon, ob die Merkmalspunkt-Verteilung in Längsrichtung und die Merkmalspunkt-Verteilung in Querrichtung eine große oder geringe Weite aufweisen.
Wenn die Merkmalspunkt-Verteilung eine geringe Weite in Längsrichtung und in Querrichtung aufweist, sind weder der Nick-Winkel, der Roll-Winkel noch die Vertikalstellung der Fahrzeugkamera 2 zu berechnen, wie zuvor in Verbindung mit dem vorliegenden Ausführungsbeispiel beschrieben.
Wenn die Merkmalspunkt-Verteilung eine große Weite in Längsrichtung und eine schmale Weite in Querrichtung aufweist, ist der Nick-Winkel zu berechnen. Der Grund dafür ist, dass es schwierig ist, den Roll-Winkel genau zu berechnen, wie unter Bezugnahme auf 11(b) erklärt wurde, obwohl der Nick-Winkel genau berechnet werden kann, wie unter Bezugnahme auf 10(b) erklärt.
Wenn die Merkmalspunkt-Verteilung eine geringe Weite in Längsrichtung und eine große Weite in Querrichtung aufweist, ist der Roll-Winkel zu berechnen. Der Grund dafür ist, dass es schwierig ist, den Nick-Winkel genau zu berechnen, wie unter Bezugnahme auf 10(c) erklärt, obwohl der Roll-Winkel genau berechnet werden kann, wie unter Bezugnahme auf 11(c) erklärt.
Wenn die Merkmalspunkt-Verteilung in Längsrichtung und in Querrichtung eine große Weite aufweist, können alle Variablen, nämlich der Nick-Winkel, der Roll-Winkel und die Vertikalstellung der Fahrzeugkamera 1 auf die gleiche Weise berechnet werden, wie in Verbindung mit dem vorliegenden Ausführungsbeispiel beschrieben. Abgesehen davon kann die Vertikalstellung der Fahrzeugkamera 2 berechnet werden, wenn die Merkmalspunkt-Verteilung eine große Weite in entweder der Längsrichtung oder der Querrichtung aufweist. Ferner kann die Vertikalstellung der Fahrzeugkamera 2 berechnet werden, wenn extrahierte Merkmalspunkte es ermöglichen, die Übereinstimmung der Größenordnung zu erreichen, wie die Breiten der Fahrbahnmarkierungen und der Stopp-Linie.
Wie unter Bezugnahme auf die 10 bis 13 beschrieben, kann die Genauigkeit der berechneten Variablen ordnungsgemäß aufrechterhalten werden, wenn die Merkmalspunkt-Verteilung in Längsrichtung und in Querrichtung bestätigt ist und, basierend auf dem Bestätigungsergebnis, nur eine günstige Variable, das heißt der Nick-Winkel, der Roll-Winkel oder die Vertikalstellung der Fahrzeugkamera selektiv berechnet wird. Ferner kann die für die Berechnung erforderliche Zeit durch Auswählen der zu berechnenden Variable reduziert werden. Dies macht es einfach, temporäre Änderungen in der Fahrzeugstellung zu bewältigen. Nicht ausgewählte Variablen können berechnet werden, wenn günstige Merkmalspunkte aus einem Bild aus Vogelperspektive erlangt werden, welches aus einer nachfolgenden Bildaufnahme abgeleitet wird. Schließlich wird die Umwandlungstabelle nach Bestätigung des Veränderungsbetrags in einer neu berechneten Variablen (S109 und S110 in 6) aktualisiert, wie in Verbindung mit dem vorliegenden Ausführungsbeispiel beschrieben.
Eine Alternative ist, alle Variablen ohne Rücksicht auf die Merkmalspunkt-Verteilung zu berechnen, wenn der Nick-Winkel, der Roll-Winkel und die Vertikalstellung der Fahrzeugkamera 2 berechnet werden sollen und die Umwandlung unter Verwendung einer, wie in 13 angegeben, ausgewählten Variablen zu aktualisieren, wenn die Umwandlungstabelle aktualisiert werden soll.
Die Bildumwandlungsvorrichtung 10 gemäß der oben beschriebenen Abwandlung berechnet einen von Nick-Winkel, Roll-Winkel und Vertikalstellung der Fahrzeugkamera 2, wenn sie günstig sind und referenziert die erhaltene, auf dem Berechnungsergebnis basierende, Umwandlungstabelle. Somit wird ein aufgenommenes Bild akkurat in ein Bild aus Vogelperspektive umgewandelt.
Obwohl das Ausführungsbeispiel und die Abwandlung oben dargestellt wurden, versteht es sich, dass die vorliegende Offenbarung nicht auf das obige Ausführungsbeispiel und die Abwandlung beschränkt ist. Verschiedene andere Ausführungsformen und Abwandlungen können gemacht werden, ohne vom Rahmen der vorliegenden Offenbarung abzuweichen.

Claims

Bildumwandlungsvorrichtung (10), welche ein aufgenommenes Bild von einer Fahrzeugkamera (2) erlangt, die die Umgebung eines Fahrzeugs (1) abbildet, das aufgenommene Bild in ein Bild aus Vogelperspektive umwandelt, welches eine Draufsicht von oben auf das Fahrzeug zeigt und das Bild aus Vogelperspektive auf einem fahrzeugseitigen Monitor (3) ausgibt, wobei die Bildumwandlungsvorrichtung aufweist: eine Bildumwandlungs-Einheit (12), welche das aufgenommene Bild auf Basis einer Position und eines Winkels der Fahrzeugkamera in das Bild aus Vogelperspektive umwandelt; eine Merkmalspunkt-Extraktionseinheit (15), welche eine Vielzahl an Merkmalspunkten aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild extrahiert; eine Berechnungsbestimmungs-Einheit (16), welche auf Basis einer Verteilung der Merkmalspunkte, die aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild extrahiert werden, bestimmt, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind oder nicht; und eine Berechnungs-Einheit (17), welche die Position und den Winkel der Fahrzeugkamera auf Basis der Merkmalspunkte berechnet, wenn die Berechnungsbestimmungs-Einheit bestimmt, dass die Position und der Winkel der Fahrzeugkamera zu berechnen sind.
Bildumwandlungsvorrichtung nach Anspruch 1, wobei die Berechnungsbestimmungs-Einheit basierend auf der Weite der Verteilung der Merkmalspunkte, welche aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild extrahiert werden, bestimmt, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind.
Bildumwandlungsvorrichtung nach Anspruch 1 oder 2, weiterhin mit einer Extraktions-Bestimmungs-Einheit (14), welche auf Basis der umgebenden Umwelt des Fahrzeugs oder der Ermittlungs-Informationen, welche durch einen Detektor (4) erlangt werden, der einen Zustand des Fahrzeugs feststellt, bestimmt, ob die Merkmalspunkte extrahiert werden oder nicht.
Bildumwandlungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildumwandlungs-Einheit das aufgenommene Bild durch Bezugnahme auf eine Umwandlungstabelle in das Bild aus Vogelperspektive umwandelt, wobei die Umwandlungstabelle durch Berechnung, basierend auf der Position und dem Winkel der Fahrzeugkamera, von Pixelpositionen im aufgenommenen Bild erhalten wird, welche Pixelpositionen im Bild aus Vogelperspektive entsprechen; wobei die Bildumwandlungsvorrichtung weiterhin aufweist: eine Veränderungsbetrag-Erlangungseinheit (18), welche durch Vergleichen der Position und des Winkels der Fahrzeugkamera, die durch die Berechnungs-Einheit neu berechnet werden, mit der vorherigen Position und dem vorherigen Winkel einen Veränderungsbetrag erlangt; und eine Umwandlungstabellen-Aktualisierungs-Einheit (19), welche, wenn der Veränderungsbetrag gleich oder kleiner als ein zuvor festgelegter Schwellenwert-Veränderungsbetrag ist, die Umwandlungstabelle auf Basis der neu kalkulierten Position und dem neu kalkulierten Winkel der Fahrzeugkamera aktualisiert.
Bildumwandlungsvorrichtung nach Anspruch 4, wobei wenn die Weite der Verteilung der Merkmalspunkte in einer Längsrichtung des Bildes aus Vogelperspektive größer als ein zuvor festgelegter erster Schwellenwert ist, die Berechnungsbestimmungs-Einheit bestimmt, dass ein Nick-Winkel zu berechnen ist, wobei der Nick-Winkel eine optische Achse der Fahrzeugkamera veranlasst, sich in eine Aufwärts-Abwärts-Richtung zu bewegen; und wenn die Weite der Verteilung der Merkmalspunkte in einer Querrichtung des Bildes aus Vogelperspektive größer als ein zuvor festgelegter zweiter Schwellenwert ist, die Berechnungsbestimmungs-Einheit bestimmt, dass ein Roll-Winkel zu berechnen ist, wobei der Roll-Winkel die Fahrzeugkamera veranlasst, um die optische Achse zu rotieren.
Bildumwandlungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei die Merkmalspunkt-Extraktionseinheit die Merkmalspunkte aus dem Bild aus Vogelperspektive extrahiert.
Bildumwandlungsverfahren, welches auf ein Fahrzeug angewandt wird, welches eine Fahrzeugkamera, welche die Umgebung des Fahrzeugs zeigt, aufweist, wobei ein von der Fahrzeugkamera aufgenommenes Bild erlangt wird, das erlangte aufgenommene Bild in ein Bild aus Vogelperspektive, das eine Draufsicht von oben auf das Fahrzeug zeigt, umgewandelt wird und das Bild aus Vogelperspektive auf einem fahrzeugseitigen Monitor angezeigt wird, wobei das Bildumwandlungsverfahren aufweist: einen Schritt (S104) zur Umwandlung des aufgenommenen Bildes in ein Bild aus Vogelperspektive, basierend auf Position und Winkel der Fahrzeugkamera; einen Schritt (S105) zur Extraktion einer Vielzahl an Merkmalspunkten aus dem Bild aus Vogelperspektive oder aus dem aufgenommenen Bild; einen Schritt (S107) zur Bestimmung, basierend auf der Verteilung der Merkmalspunkte, welche vom Bild aus Vogelperspektive oder vom aufgenommenen Bild extrahiert sind, ob die Position und der Winkel der Fahrzeugkamera zu berechnen sind oder nicht; und einen Schritt (S108) zur Berechnung der Position und des Winkels der Fahrzeugkamera auf Basis der Merkmalspunkte, wenn bestimmt ist, dass die Position und der Winkel der Fahrzeugkamera zu berechnen sind.