-
TECHNISCHES GEBIET
-
Die
Erfindung bezieht sich auf eine Fahrzeugumgebungsbildverarbeitungsvorrichtung
und ein Aufzeichnungsmedium zum Aufnehmen und Anzeigen eines Bilds
von beispielsweise dem Bereich hinter einem Fahrzeug auf einem Monitor.
-
HINTERGRUNDTECHNIK
-
Als
Vorrichtung zum Anzeigen der Szene hinter einem Fahrzeug ist eine
Anzeigevorrichtung bekannt, welche einem Monitor ein Bild von einer
Kamera unverändert
ausgibt, die an der Rückseite
des Fahrzeugs angebracht ist. Obwohl bei der Anzeigevorrichtung
die Situation hinter dem Fahrzeug in gewissem Umfang verstanden
wird, tritt die Problematik auf, daß es schwierig ist, die relativen
Positionen des Fahrzeugs und von Gegenständen (beispielsweise der Markierung
eines Parkplatzes) in dem Bild zu verstehen, welches auf dem Monitor
angezeigt wird.
-
Getrennt
von einer derartigen Vorrichtung wird in der japanischen nichtgeprüften Patentveröffentlichung
Nr.
H.10-211849 eine
Technologie vorgeschlagen, bei welcher ein von einer Rückseitenkamera
aufgenommenes Bild (ein Rückseitenkamerabild)
in ein Bild aus einer Vogelperspektive umgewandelt wird und das Fahrzeug
in dem Bild aus einer Vogelperspektive angezeigt wird, auf welchem
die Rückseitenkamera
angebracht ist. Da im Falle dieser Technologie das Fahrzeug in dem
Bild aus einer Vogelper spektive dargestellt wird, ist die Positionsbeziehung
zwischen in dem Bild angezeigten Gegenständen und dem Fahrzeug leichter zu
verstehen als bei der Anzeigevorrichtung, welche einfach das aufgenommene
Bild auf dem Monitor anzeigt, so wie es ist; es tritt jedoch eine
andere Schwierigkeit dahingehend auf, daß Gegenstände außerhalb des Betrachtungsbereichs
der Kamera nicht angezeigt werden können.
-
Wenn
beispielsweise das Fahrzeug rückwärts in einen
Parkplatz gefahren wird, tritt folglich aus dem Grunde, daß die Markierung
des Parkplatzes, welche den Betrachtungsbereich der Kamera verlassen
hat, nicht wie vorher angezeigt werden kann, die Schwierigkeit auf,
daß das
rückwärtige Manövrieren
des Fahrzeugs in den Parkplatz nicht leicht ist.
-
Aufgabe
der vorliegenden Erfindung ist es daher, eine Fahrzeugumgebungsbildverarbeitungsvorrichtung
und ein Aufzeichnungsmedium zu schaffen, welche zum Ableiten und
Herausbringen bzw. Zeichnen eines Teils einer Szene geeignet sind,
welcher den Betrachtungsbereich beispielsweise einer Kamera verlassen
hat. Des weiteren ist es Aufgabe der Erfindung, eine Fahrzeugumgebungsbildverarbeitungsvorrichtung
und ein Aufzeichnungsmedium zu schaffen, mit denen es möglich ist,
einen Teil einer Szene abzuleiten und herauszubringen bzw. zu zeichnen,
welcher den Betrachtungsbereich beispielsweise einer Kamera verlassen
hat, und es ebenfalls möglich
ist, die mit einem derartigen Vorgehen verbundene Berechnungsverarbeitungsbelastung zu
verringern.
-
OFFENBARUNG DER ERFINDUNG
-
Entsprechend
einem ersten Gesichtspunkt der Erfindung wird bei einer Fahrzeugumgebungsbildverarbei tungsvorrichtung,
welche in einem Fahrzeug, welches eine Bildaufnahmeeinrichtung (beispielsweise
eine Kamera) zum Aufnehmen eines Bilds der Fahrzeugumgebung und
eine Anzeigeeinrichtung (beispielsweise einen Monitor) zum Anzeigen
des Bilds aufweist, das von der Bildaufnahmeeinrichtung aufgenommene
Bild verarbeitet, und es auf der Anzeigeeinrichtung anzeigt, das
von der Bildaufnahmeeinrichtung aufgenommene Bild in Daten eines
mit der Bildaufnahmeeinrichtung als Ansichtspunkt projizierten Bodenoberflächenkoordinatensystems
umgewandelt, um ein Bild aus einer Vogelperspektive zu erzeugen.
Als Ergebnis wird das Bild nicht verzerrt, wenn es beispielsweise
von einer Kamera aufgenommen wird, sondern es wird ein leicht verständliches
Bild aus einer Vogelperspektive, so wie es vom Himmel aus über der
Bodenoberfläche
zu sehen ist. Als nächstes
werden ein wie dies erzeugtes erstes Bild aus einer Vogelperspektive
und ein danach erzeugtes zweites Bild aus einer Vogelperspektive
miteinander verglichen, um einen zusammenpassenden Bereich und einen
nicht zusammenpassenden Bereich davon zu unterscheiden. Der durch
diese Unterscheidung erlangte nicht zusammenpassende Bereich wird
dem zweiten Bild aus einer Vogelperspektive hinzugefügt, um ein
zusammengesetztes Bild zu erstellen, und dieses zusammengesetzte
Bild wird derart verarbeitet, daß es auf der Anzeigeeinrichtung
angezeigt werden kann, und wird auf der Anzeigeeinrichtung angezeigt.
-
D.
h., es entsteht dann, wenn sich das Fahrzeug bewegt, da sich der
Betrachtungsbereich beispielsweise der Kamera ändert, natürlich in dem ersten Bild aus
einer Vogelperspektive und dem zweiten Bild aus einer Vogelperspektive
(welche zu unterschiedlichen Zeiten aufgenommen wurden) ein nicht
zusammenpassender Bereich, welcher einen Unterschied zwischen den
Bildern darstellt (ein Teil, welcher in dem ersten Bild aus einer
Vogelperspektive an gezeigt wird, jedoch nicht in dem zweiten Bild
aus einer Vogelperspektive erscheint).
-
Entsprechend
diesem Gesichtspunkt der Erfindung wird der Bildunterschied zwischen
dem ersten Bild aus einer Vogelperspektive und dem zweiten Bild
aus einer Vogelperspektive erfaßt,
und ein Bild dieses unterschiedlichen Teils (eines Teils, welcher
vorher angezeigt wurde) wird dem zweiten Bild aus einer Vogelperspektive
hinzugefügt,
wodurch die Situation um das Fahrzeug herum deutlicher verstanden
werden kann. Da auf diese Weise entsprechend diesem Gesichtspunkt
der Erfindung ein Bereich, der den gegenwärtigen Betrachtungsbereich
beispielsweise der Kamera verlassen hat, angezeigt werden kann,
tritt die Wirkung dahingehend auf, daß, wenn beispielsweise rückwärts in einen
Parkplatz gefahren wird, das Manövrieren
des Fahrzeugs sehr leicht wird.
-
Das
von der Bildaufnahmeeinrichtung aufgenommene Bild kann beispielsweise
ein Bild eines Bereichs hinter einem Fahrzeug sein, welches von
einer Kamera aufgenommen wird, die auf der Rückseite des Fahrzeugs angebracht
ist. In diesem Fall tritt beispielsweise dann, wenn das Fahrzeug
in einen Parkplatz zurückfährt, da
die Positionsbeziehung zwischen der Markierung des Parkplatzes und
dem Fahrzeug gut verstanden werden kann, die Wirkung ein, daß das Einparken
leicht durchgeführt
werden kann. Wenn Bereiche an den Seiten des Fahrzeugs ebenfalls
von der Bildaufnahmeeinrichtung aufgenommen werden können, kann eine
seitliche Bewegung leicht ausgeführt
werden, da bei einer Bewegung zur Seite in Umkehrrichtung die Situation
an den Seiten gut verstanden werden kann. Ebenfalls ist neben dem
Bereich hinter dem Fahrzeug ein anderes Beispiel eines Bilds, welches
von der Bildaufnahmeeinrichtung aufgenommen werden kann, der Bereich
vor dem Fahrzeug. Wenn Bilder von Bereichen an den Seiten des Fahrzeugs
eben falls aufgenommen werden können,
kann in diesem Fall eine seitliche Bewegung leicht durchgeführt werden,
da bei einer seitlichen Bewegung während einer Bewegung nach vorn
die Situation an den Seiten gut verstanden werden kann.
-
Eine
Einrichtung zum Erzeugen eines Bilds aus einer Vogelperspektive
kann ein Bild extrahieren, welches eine Spurmarkierung (beispielsweise
von einem Parkplatz) beim Erzeugen des Bilds aus einer Vogelperspektive
darstellt. D. h., wenn das Bild aus einer Vogelperspektive erzeugt
wird, obwohl die Gesamtheit des aufgenommenen Bilds in ein Bild
aus einer Vogelperspektive umgewandelt werden kann, kann alternativ
gerade eine Spurmarkierung (beispielsweise durch weiße Linien
dargestellt) beispielsweise durch eine Digitalisierungsverarbeitung
extrahiert und angezeigt werden. Da lediglich die Spurmarkierung
verarbeitet werden muß,
tritt in diesem Fall die Wirkung auf, daß die Belastung durch Bildverarbeitung
verringert wird. Wenn beispielsweise das Fahrzeug in einen mit einer
Spurmarkierung verbundenen Parkplatz gefahren wird, muß lediglich
die Position des Parkplatzes erkannt werden, und da dann, wenn andere
Dinge in dem Bild vorhanden sind, dadurch das Bild weniger deutlich
gemacht wird, tritt der Vorteil auf, daß das Extrahieren lediglich
der Spurmarkierung das Manövrieren
des Fahrzeugs leichter macht.
-
Das
erste Bild aus einer Vogelperspektive und das zweite Bild aus einer
Vogelperspektive können
zu chronologich fortlaufenden Bildern aus einer Vogelperspektive
gemacht werden. Da der Unterschied zwischen dem ersten Bild aus
einer Vogelperspektive und dem zweiten Bild einer Vogelperspektive
in diesem Fall gering ist, ist die Erfassung des zusammenpassenden
Bereichs und des nicht zusammenpassenden Bereichs einfach. Dies
wird ebenfalls erwünscht,
wenn der nicht zusammenpassende Bereich dem zweiten Bild aus einer Vogelperspektive
hinzugefügt
wird, da es sicherstellt, daß dort
keine Inkongruenz an der Verbindung zwischen den Bildern auftritt.
-
Vorzugsweise
führt eine
Anzeigeverarbeitungseinrichtung eine Koordinatenumwandlung zum Anzeigen
von Bilddaten des zusammengesetzten Bilds auf der Anzeigeeinrichtung
durch. D. h., um das Bild aus einer Vogelperspektive beispielsweise
auf einem Monitor anzuzeigen, sollte, da eine Einstellung von dessen Größe usw.
notwendig ist, eine notwendige Verarbeitung durchgeführt werden,
so daß es
optimal auf dem Monitor angezeigt werden kann.
-
Das
zusammengesetzte Bild kann mit einem dritten Bild aus einer Vogelperspektive,
welches danach aufgenommen und erzeugt worden ist, verglichen und
von einem nicht zusammenpassenden Bereich unterschieden werden,
und dieser nicht zusammenpassende Bereich wird dem zusammengesetzten
Bild hinzugefügt,
um ein neues zusammengesetztes Bild zu erzeugen. Durch geeignetes
Hinzufügen
eines bewegten Bilds aus einer Vogelperspektive auf diese Weise
ist es möglich,
Bilder koninuierlich zu synthetisieren, und es wird dadurch ermöglicht,
die Situation um das Fahrzeug herum deutlicher zu verstehen.
-
Entsprechend
einem zweiten Gesichtspunkt der vorliegenden Erfindung wird in einer Fahrzeugumgebungsbildverarbeitungsvorrichtung,
welche in einem Fahrzeug, das eine Bildaufnahmeeinrichtung (beispielsweise
eine Kamera) zum Aufnehmen eines Bilds der Fahrzeugumgebung und
eine Anzeigeeinrichtung (beispielsweise einen Monitor) zum Anzeigen
des Bilds besitzt, das von der Bildaufnahmeeinrichtung aufgenommene
Bild verarbeitet und auf der Anzeigeeinrichtung anzeigt, wird das
von der Bildaufnahmeeinrichtung aufgenommene Bild in Daten eines
beispielsweise mit der Bildaufnahmeeinrichtung als Ansichtspunkt proji zierten
Bodenoberflächenkoordinatensystems
umgewandelt, um Bilddaten von Bildern aus einer Vogelperspektive
aufeinanderfolgend zu erzeugen. D. h., es werden Bilddaten von einem
ersten Bild aus einer Vogelperspektive und von einem zweiten Bild
aus einer Vogelperspektive erzeugt, welches das spätere Bild
ist. Als Ergebnis ist das Bild kein verzerrtes Bild, wie es beispielsweise
von einer Kamera aufgenommen worden ist, sondern es wird zu einem
leicht zu verstehenden Bild aus einer Vogelperspektive, wie es vom
Himmel aus über
der Bodenoberfläche
zu sehen ist.
-
Ebenfalls
wird entsprechend diesem Gesichtspunkt der Erfindung ein Betrag
einer Bewegung des Fahrzeugs (ein Bewegungsbetrag) auf der Grundlage
von Fahrzeugsignalen (beispielsweise einem Fahrzeuggeschwindigkeitssignal
und einem Gierratensignal) erfaßt,
welches von dem Fahrzeug erlangt wird. Da dieser erfaßte Betrag
der Fahrzeugbewegung einem Betrag entspricht, um welchen sich das
erste Bild aus einer Vogelperspektive bewegt hat, wird das erste
Bild aus einer Vogelperspektive entsprechend dem Betrag der Fahrzeugbewegung
bewegt, um Bilddaten eines bewegten Bilds aus einer Vogelperspektive
zu erzeugen.
-
Danach
werden Bilddaten eines neuen zweiten Bilds aus einer Vogelperspektive
(welches neuer als das erste Bild aus einer Vogelperspektive ist)
mit Bilddaten des bewegten Bilds aus einer Vogelperspektive kombiniert,
um Bilddaten eines zusammengesetzten Bilds aus einer Vogelperspektive
zu erzeugen, welches auf der Anzeigeeinrichtung anzuzeigen ist.
D. h., wenn sich das Fahrzeug bewegt, entsteht natürlich, da
sich der Betrachtungbereich (beispielsweise) der Kamera ändert, zwischen
dem ersten Bild aus einer Vogelperspektive und dem zweiten Bild
aus einer Vogelperspektive ein Unterschied der Bilder (ein Unterschied
in dem aufgenommenen Teil). Entsprechend die sem Gesichtspunkt der
Erfindung kann demgemäß durch
geeignetes Hinzufügen
dem zweiten Bilds aus einer Vogelperspektive des bewegten Bilds
aus einer Vogelperspektive entsprechend diesem Differenzteil (d.
h., einem Teil, welcher vorher in dem Betrachtungsbereich war, jedoch
in dem vorliegenden Betrachtungsbereich nicht mehr vorhanden ist)
ein Teil, welcher den Betrachtungsbereich der Kamera verlassen hat,
auf dem Monitor angezeigt werden, wodurch die Situation um das Fahrzeug
herum besser verstanden werden kann. Da entsprechend diesem Gesichtspunkt
der Erfindung ein Bereich, welcher den vorliegenden Betrachtungsbereich
(beispielsweise) der Kamera verlassen hat, angezeigt werden kann, tritt
auf diese Weise die Wirkung dahingehend ein, daß beispielsweise dann, wenn
das Fahrzeug rückwärts eingeparkt
wird, dieses Manöver äußerst einfach
wird.
-
Da
entsprechend diesem Gesichtspunkt der Erfindung das bewegte Bild
aus einer Vogelperspektive nicht durch Berechnen der Bewegung des
Fahrzeugs von Änderungen
des Bilds über
die Zeit erzeugt wird, sondern eher das bewegte Bild aus einer Vogelperspektive
unter Verwendung der Fahrzeugsignale erzeugt wird, liegt insbesondere
der Vorteil vor, daß die
Berechnung für
die Bildverarbeitung vereinfacht werden kann. Da die Belastung des
Mikrocomputers oder dergleichen verringert wird, kann folglich die
Verarbeitungsgeschwindigkeit der Vorrichtung insgesamt verbessert
werden. Da darüber
hinaus die Verarbeitung durch einen Mikrocomputer durchgeführt wird,
welcher eine geringere Verarbeitungskapazität besitzt, wird ebenfalls ein Beitrag
zur Kostenverringerung geleistet.
-
Das
zusammengesetzte Bild aus einer Vogelperspektive kann ein Bild sein,
bei welchem ein bewegtes Bild aus einer Vogelperspektive dem von
dem zweiten Bild aus einer Vogelperspektive angezeigten Anzeigebereich
hinzugefügt wird.
Dies ist ein Beispiel eines Verfahrens zum Erzeugen des zusammengesetzten
Bilds aus einer Vogelperspektive, und es ist durch dieses Verfahren
möglich,
ein Bild der Umgebung des Fahrzeugs fortlaufend anzuzeigen. D. h.,
da wie oben erwähnt
das augenblicklich beispielsweise von der Kamera aufgenommene Bild
auf dem Monitor als das zweite Bild aus einer Vogelperspektive angezeigt
werden kann, ist es durch Hinzufügen
eines früheren
Bilds, welches dabei ist, vom Monitor als bewegtes Bild aus einer
Vogelperspektive zu verschwinden, dem Bereich, an welchem das zweite
Bild aus einer Vogelperspektive angezeigt wird, möglich, auf
dem Monitor ebenfalls die Situation eines früheren Bereichs der Umgebung
anzuzeigen, welcher den Betrachtungsbereich der Kamera verlassen
hat.
-
Als
das zweite Bild aus einer Vogelperspektive, welches in dem zusammengesetzten
Bild aus einer Vogelperspektive verwendet wird, kann das letzte
Bild aus einer Vogelperspektive verwendet werden. Wenn das jüngste Bild
aus einer Vogelperspektive, welches von der Kamera oder dergleichen
erneut aufgenommen wird, als das zweite Bild aus einer Vogelperspektive
verwendet wird, kann die Situation der Umgebung des Fahrzeugs verläßlicher
verstanden werden.
-
Ein
von der Einrichtung zum Erzeugen eines Bilds aus einer Vogelperspektive
gemachtes Bild aus einer Vogelperspektive kann in einem Bildspeicher
A gespeichert werden, und es kann ein zusammengesetztes Bild aus
einer Vogelperspektive, welches von der Einrichtung zum Zusammensetzen
eines Bilds aus einer Vogelperspektive zusammengesetzt wird, in
einem Bildspeicher B gespeichert werden. Dies ist ein Beispiel von Speichern
zur Speicherung der unterschiedlichen Bilder aus einer Vogelperspektive.
Und vorzugsweise wird das in dem Bildspeicher B gespeicherte zusammengesetzte
Bild aus einer Vogelperspektive auf der Anzeigeeinrichtung angezeigt.
Auf diese Weise ist es möglich,
das zusammengesetzte Bild aus einer Vogelperspektive auf einem Monitor
oder dergleichen anzuzeigen.
-
Wenn
entsprechend dem oben beschriebenen ersten und zweiten Gesichtspunkt
der Erfindung das zusammengesetzte Bild auf der Anzeigeeinrichtung
angezeigt wird, kann ein Bild des Fahrzeugs ihm hinzugefügt werden.
Wenn das zusammengesetzte Bild, welches die Situation der Umgebung
des Fahrzeugs darstellt, mit einem Bild angezeigt wird, welches
das Fahrzeug darstellt, das ihm hinzugefügt wird, wird ein Manövrieren des
Fahrzeugs leicht, da die Positionsbeziehung zwischen dem Fahrzeug
und beispielsweise einer Parkplatzmarkierung deutlich wird. Da beispielsweise
die Kamera in einer vorbestimmten Position auf dem Fahrzeug befestigt
wird, ist die Position des Fahrzeugs auf dem Schirm beispielsweise
des Monitors stets dieselbe. Daher kann das Fahrzeug in einer festen
Position auf dem Schirm des Monitors dargestellt werden, und das
Fahrzeug kann sogar auf dem Schirm des Monitors durch einen Ausdruck
oder dergleichen im voraus dargestellt werden. Und da der Winkel
des Betrachtungsbereichs der Kamera ebenfalls normalerweise konstant
ist, kann nicht nur das Fahrzeug, sondern ebenfalls der Winkel des
Betrachtungsbereichs der Kamera (dessen Links-Rechts-Bereich) auf
dem Schirm des Monitors angezeigt werden.
-
Eine
Einrichtung zum Ausführen
der Verarbeitung einer oben beschriebenen Fahrzeugumgebungsbildverarbeitungsvorrichtung
kann als Programm auf einem Aufzeichnungsmedium gespeichert werden.
Dieses Aufzeichnungsmedium kann irgendeines von verschiedenen Aufzeichnungsmedien
sein, und es kann beispielsweise eine als Mikrocomputer, Mikrochip,
Diskette, Festplatte oder Bildplatte konstruierte elektronische Steuereinheit
sein.
-
KURZE BESCHREIBUNG DER FIGUREN
-
1 zeigt
eine schematische Ansicht, welche Hauptteile einer Fahrzeugumgebungsbildverarbeitungsvorrichtung
einer ersten Ausführungsform
darstellt.
-
2 zeigt
ein Blockdiagramm, welches die elektronische Struktur der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der ersten Ausführungsform
darstellt.
-
3A bis 3C zeigen
Ansichten, welche eine von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der ersten Ausführungsform
durchgeführte
Verarbeitungsprozedur veranschaulicht.
-
4 zeigt
eine Ansicht, welche die Positionsbeziehung in einer von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der ersten Ausführungsform
durchgeführten
Koordinatenumwandlung veranschaulicht.
-
5A bis 5C zeigen
Ansichten, welche eine von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der ersten Ausführungsform
durchgeführte
Verarbeitungsprozedur veranschaulichen.
-
6A und 6B zeigen
Ansichten, welche eine Prozedur veranschaulichen, die zum Erlangen
eines Betrags verwendet wird, durch welchen ein Bild sich in der
Fahrzeugumgebungsbildverarbeitungsvorrichtung der ersten Ausführungsform
bewegt hat.
-
7 zeigt
ein Flußdiagramm
der von der Fahrzeugumgebungsbildverarbeitungsvorrichtung der ersten
Ausführungsform
durchgeführten
Verarbeitung.
-
8 zeigt
ein Flußdiagramm
einer von der Fahrzeugumgebungsbildverarbeitungsvorrichtung einer zweiten
Ausführungsform
durchgeführten
Verarbeitung.
-
9 zeigt
eine schematische Ansicht, welche die Hauptteile einer Fahrzeugumgebungsbildverarbeitungsvorrichtung
einer dritten Ausführungsform
darstellt.
-
10 zeigt
eine Ansicht, welche die elektronische Struktur der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der dritten Ausführungsform
darstellt.
-
11A und 11B zeigen
Ansichten, welche Bilder darstellen, die von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der dritten Ausführungsform
verwendet werden, wobei 11A ein
von der Kamera aufgenommenes Bild und 11B ein
Bild aus einer Vogelperspektive darstellen.
-
12 zeigt
eine Ansicht, welche eine Positionsbeziehung bei einer von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der dritten Ausführungsform
durchgeführten
Koordinatenumwandlung veranschaulicht.
-
13 zeigt
ein Flußdiagramm
der von der Fahrzeugumgebungsbildverarbeitungsvorrichtung der dritten
Ausführungsform
durchgeführten
Verarbeitung.
-
14 zeigt
eine Ansicht, welche eine von der Fahrzeugumgebungsbildverarbeitungsvorrichtung
der dritten Ausführungsform
durchgeführten
Bildzusammensetzungsprozedur veranschaulicht.
-
15A bis 15C zeigen
Ansichten, welche Bilder darstellen, die auf einem Monitor von der Fahrzeugumge bungsbildverarbeitungsvorrichtung
der dritten Ausführungsform
angezeigt werden.
-
BESTE ART DER AUSFÜHRUNG DER
ERFINDUNG
-
Im
folgenden werden Ausführungsformen
einer Fahrzeugumgebungsbildverarbeitungsvorrichtung und ein Aufzeichnungsmedium
der vorliegenden Erfindung beschrieben.
-
Erste Ausführungsform
-
Die
grundlegende Systemkonfiguration dieser Ausführungsform wird unter Verwendung
von 1 und 2 erläutert.
-
Wie
in 1 dargestellt besitzt die Fahrzeugumgebungsbildverarbeitungsvorrichtung
dieser Ausführungsform
eine auf der Rückseite
eines Automobils angebrachte Kamera (beispielsweise eine CCD-Kamera) 1,
einen im Fahrzeug befindlichen Monitor (beispielsweise eine Flüssigkristallanzeige) 3,
der auf einem Armaturenbrett angebracht ist, und eine Bildverarbeitungseinheit 5 zum
Ausführen
einer Bildverarbeitung.
-
Wie
in 2 dargestellt ist die Bildverarbeitungseinheit 5 ein
elektronisches Bauelement, welches einen Mikrocomputer als Hauptteil
besitzt, zum Ausführen
einer Verarbeitung von Bilddaten, und besitzt funktionell ein Koordinatenumwandlungsteil 11 zur
Durchführung
einer Koordinatenumwandlung der von der Kamera 1 aufgenommenen
Bilddaten, um ein Bild aus einer Vogelperspektive zu erzeugen; ein
Anpassungsteil 13 zum Aufnehmen von zwei chronologisch
fortlaufenden Bildern aus einer Vogelperspektive und einen Vergleich davon;
ein Bereichsableitungsteil 15 zum Ableiten eines Bereichs,
welcher den Betrachtungsbereich der Kamera 1 verlassen
hat, aus einem nicht zusammenpassenden Teil der zwei Bilder aus
einer Vogelperspektive; und ein Zeichnungsteil 17 zum Zeichnen
eines auf dem Monitor 3 anzuzeigenden Bilds. Die Bildverarbeitungseinheit 5 kann
integriert mit der Kamera konstruiert sein.
-
Eine
Bildverarbeitungsprozedur dieser Ausführungsform wird im folgenden
auf der Grundlage von 3A bis 5C beschrieben.
Dabei wird der Fall des rückwärts in einen
Parkplatz Fahrens eines Fahrzeugs als Beispiel verwendet.
-
Ein
von der Kamera 1 ausgegebenes Bild (das Ausgabebild) wird
auf der linken Seite von 3A dargestellt.
Dieses Bild ist als ein Bild der Markierung eines auf den Boden
gezeichneten Parkplatzes und der Nähe des Parkplatzes von der
Kamera 1 aufgenommen; und da die Kamera 1 auf
dem oberen Ende der Rückseite
des Fahrzeugs angebracht ist, wird die tatsächlich rechtwinklige Parkplatzmarkierung
entsprechend den Abständen
usw. zwischen dem Fahrzeug (und daher der Kamera 1) und
den Positionen der Linien der Parkplatzmarkierung verzerrt angezeigt.
-
Als
nächstes
wird wie detailliert erläutert
das Bild auf der linken Seite von 3A bezüglich der
Koordinaten umgewandelt, um ein Bild aus einer Vogelperspektive
zu erzeugen, und danach wird diesem Bild aus einer Vogelperspektive
ein Bild hinzugefügt,
welches die Position des Fahrzeugs und den Betrachtungsbereichswinkel
der Kamera 1 darstellt, um ein zusammengesetztes Bild zu
erzeugen, und dieses zusammengesetzte Bild wird auf dem Schirm des
Monitors 3 wie auf der rechten Seite von 3A dargestellt,
angezeigt. D. h., da die Höhe,
in welcher die Kamera 1 angebracht ist, und deren Anbringungswinkel
und Betrachtungsbereichswinkel bekannt sind, kann das Ausgabebild
der Kamera 1 durch ein Koordinatenumwandlungsteil 11 (unter
Verwendung einer bekannten Vogelperspektivenum wandlung) bezüglich der
Koordinaten umgewandelt werden, um ein Bild aus einer Vogelperspektive
wie das auf der rechten Seite von 3A dargestellte
Bild zu erlangen.
-
Für diese
Verarbeitung des Umwandelns des von der Kamera
1 aufgenommenen
Bilds in ein Bild aus einer Vogelperspektive und zum Anzeigen des
Bilds auf dem Monitor
3 kann eine Technologie einer verwandten
Technik verwendet werden (beispielsweise entsprechend der Veröffentlichung
des japanischen nicht geprüften
Patents Nr.
H.10-211849 ),
wie sie später
erläutert
wird. Dabei wird durch Ausführen
einer Umkehrverarbeitung der Umwandlung einer normalen Perspektive
die Position eines Bilds (beispielsweise einer Parkplatzmarkierung)
auf einer Bodenoberfläche
als Bild aus einer Vogelperspektive erlangt. Detailliert dargestellt wird
entsprechend
4 eine Perspektivenumwandlung
derart ausgeführt,
daß Positionsdaten
eines Bilds auf dem Boden auf eine Schirmebene T projiziert werden,
welche einen Brennpunktabstand f von der Kameraposition R besitzt.
-
Insbesondere
wird angenommen, daß die
Kamera 1 an einem Punkt R (0, 0, H) auf einer Z-Achse positioniert
ist, wobei ein Bild einer Bodenebene (x-y-Koordinatenebene) bei
einem nach unten gerichteten Winkel r überwacht wird. Dementsprechend
können
hier wie durch die untere Gleichung (1) dargestellt zweidimensionale
Koordinaten (α, β) auf der
Schirmebene T in Koordinaten auf der Bodenebene (Koordinaten einer
Vogelperspektive) (Umkehrperspektivenumwandlung) umgewandelt werden.
-
-
D.
h., es ist unter Verwendung der obigen Gleichung (1) möglich, projizierte
Bilddaten in Bilddaten für den
Schirm des Monitors 3 umzuwandeln (welcher ein Bild aus
einer Vogelperspektive darstellt) und sie auf dem Monitor 3 anzuzeigen.
-
Wenn
als nächstes
das Fahrzeug wie auf der linken Seite von 3B und
auf der linken Seite von 3C dargestellt
in den Parkplatz fährt,
verläßt der Teil
der Parkplatzmarkierung in der Nähe
des Fahrzeugs progressiv den Betrachtungsbereich der Kamera 1;
und zu dieser Zeit nimmt das Anpassungsteil 13 zwei chronologisch
fortlaufende Bilder aus einer Vogelperspektive auf und vergleicht
sie.
-
Beispiele
der fortlaufenden Bilder aus einer Vogelperspektive (ein Bild A,
welches sich zu einem Bild B ändert)
sind in 5A und 5B dargestellt.
Wie später
weiter erörtert
wird, kann ein Bereich, welcher vollständig zu den zwei Bildern paßt (der
Anpassungsbereich) durch einen Vergleich des Bilds A und des Bilds B
extrahiert werden. Da in dem Bild B das Fahrzeug näher zu der
Parkplatzmarkierung befindlich ist als in dem Fall des Bilds A,
wird ein Teil der Parkplatzmarkierung abgetrennt. Folglich leitet
das Bereichsableitungsteil 15 ab, daß von den Bereichen des Bilds,
welche nicht zusammenpassen (die nicht zusammenpassenden Bereiche),
der V-förmige
Bereich nahe der Kamera 1 ein Bereich ist, wo sich das
Bild infolge einer Bewegung des Fahrzeugs bewegt hat (bewegter Bereich).
Und durch Kombinieren des bewegten Bereichs des Bilds A mit dem
Bild B wie in 5C dargestellt ist es möglich, ein
zusammengesetztes Bild zu erstellen, in welchem ein Teil der Parkplatzmarkierung
außerhalb
des Betrachtungsbereichs der Kamera 1 (der bewegte Bereich)
ebenfalls angezeigt wird.
-
Obwohl
ein Verfahren, bei welchem der zusammenpassende Bereich des Bilds
A und des Bilds B extrahiert wird, hiernach beschrieben wird, können verschiedene
bekannte Verfahren für
diese Bildverarbeitung verwendet werden. Beispielsweise können vorbestimmte
Bereiche (für
einen Vergleich) der Bilder A und B in viele kleine Bereiche wie
in 6A und 6B dargestellt
geteilt werden; es können
die Pixel der Bilder A und B erfaßt werden, welche im höchsten Maße zusammenpassen;
und es kann dann die Positionsbeziehung zwischen dem Bild A und
dem Bild B (d. h. wie weit sich das Bild A bewegt hat) aus der Positionsbeziehung der
zusammenpassenden Pixel erlangt werden.
-
Insbesondere
passen wie in 6A und 6B dargestellt
unter Berücksichtigung
des Falls, bei welchem beispielsweise der Helligkeitspegel der Figur
(oder alternativ die Farbe) von jedem Pixel mit einer Zahl ausgedrückt wird,
hier die Helligkeiten der unteren drei Reihen von Pixeln in dem
Bild A und die Helligkeiten der oberen drei Reihen von Pixeln in
dem Bild B zusammen. Dementsprechend kann in diesem Fall angenommen
werden, daß das
Bild A mit dem Bild B durch eine Bewegung über die Breite einer Reihe
von Pixeln in der vertikalen Richtung der Zeichnung zusammenpaßt. In diesem
Fall erscheint es, daß sich
die Figur in dem Bild B als Ergebnis der Fahrzeugbewegung nach unten
in 6A und 6B nach
oben bewegt hat.
-
D.
h., wenn das Bild A und das Bild B verglichen werden, werden beide
Bilder in kleine Bereiche unterteilt, und wenn die Bilder bezüglich der
meisten dieser kleinen Bereiche zusammenpassen (wenn der Grad des
Zusammenpassens hoch ist), werden die zusammenpassenden Teile als
dasselbe Bild angesehen. Wenn in dem Bild A und dem Bild B die zusammenpassenden
Teile verschoben werden, kann dementsprechend abgeleitet werden,
daß sie
infolge des Bilds, das sich bewegt hat, unterschiedlich werden,
und es können
der Betrag und die Richtung dieser Bewegung ebenfalls erlangt werden.
Auf ähnliche
Weise können
die Beträge der
Bewegung in der Links-Rechts-Richtung und in Diagonalrichtungen
ebenfalls erlangt werden.
-
Wenn
dieses zusammengesetzte Bild auf dem Monitor wie auf der rechten
Seite von 3B und auf der rechten Seite
von 3C dargestellt angezeigt wird, zeichnet das Zeichnungsteil 17 das
zusammengesetzte Bild und zeichnet ebenfalls ein Bild, welches die
Position des Fahrzeugs und den Betrachtungsbereichswinkel der Kamera 1 darstellt.
Da in diesem Fall die Kamera 1 auf dem Fahrzeug in einer
unveränderten
Position befestigt ist, können
das Bild des Fahrzeugs und der Betrachtungsbereichswinkel der Kamera 1 in
derselben Position auf dem Schirm des Monitors 3 zu allen
Zeiten angezeigt werden (beispielsweise in dem oberen Teil der Mitte
des Anzeigeschirms).
-
Eine
von der Bildverarbeitungseinheit 5 ausgeführte Verarbeitung,
usw. wird im folgenden auf der Grundlage des Flußdiagramms von 7 beschrieben.
-
Wie
in 7 dargestellt wird zuerst in einem Schritt 100 bestimmt,
ob die Position des Gangverstellers Rückwärts ist. Auf eine positive
Bestimmung begibt sich dabei die Verarbeitung zu einem Schritt 110,
und wenn eine negative Bestimmung erfolgt, begibt sich die Verarbeitung
zu einem Schritt 170. Die Position des Verstellers kann
auf der Grundlage eines Signals von einem (nicht dargestellten)
Erfassungssensor der Position des Verstellers oder eines Signals
von einer anderen elektronischen Steuereinheit erfaßt werden.
-
In
dem Schritt 170 wird das Bild eines Bereichs außerhalb
des Betrachtungsbereichs der Kamera, welches vorher gezeichnet worden
ist, gelöscht.
D. h., es wird ledig lich das vorliegende Kamerabild (das Bild aus einer
Vogelperspektive) angezeigt, und die Verarbeitung kehrt zu dem Schritt 100 zurück.
-
In
einem Schritt 110 wird demgegenüber eine Koordinatenumwandlung
(die oben erwähnte
Vogelperspektivenumwandlung) des von der Kamera 1 aufgenommenen
Bilds ausgeführt,
und es wird ein Bild aus einer Vogelperspektive erlangt. In dem
folgenden Schritt 120 wird ein zusammenpassender Bereich
von zwei fortlaufenden Bildern aus einer Vogelperspektive extrahiert.
Beispielsweise wird aus dem Bild A und aus dem Bild B von 5A und 5B der
zusammenpassende Bereich extrahiert. Und in dem folgenden Schritt 130 wird ein
bewegter Bereich außerhalb
des vorliegenden Betrachtungsbereichs der Kamera 1 extrahiert.
-
In
einem Schritt 140, wohingegen der bewegte Bereich des Bilds
A später
außerhalb
des Betrachtungsbereichs der Kamera in dem Bild B, bevor er gezeichnet
wird, zu zeichnen ist, wird das bereits gezeichnete Bild B um einen
Betrag entsprechend dem bewegten Bereich verschoben worden (abwärts in dem
Bild B), wodurch ein Zeichnungsbereich erhalten wird.
-
In
dem folgenden Schritt 150 wird wie beispielsweise in 5C dargestellt
der bewegte Bereich in dem Zeichnungsbereich gezeichnet, welcher
in dem vorausgehenden Schritt 140 erhalten wurde (es wird
ein zusammengesetztes Bild abgefaßt). Und in dem folgenden Schritt 160 werden
wie beispielsweise auf der rechten Seite von 3C dargestellt
das Fahrzeug und eine V-förmige
Linie, welche den Betrachtungsbereichswinkel darstellt, gezeichnet,
und die gegenwärtige
Verarbeitung wird beendet.
-
Wenn
ein zusammengesetztes Bild bereits abgefaßt und gespeichert worden ist,
werden vorzugsweise dieses zusam mengesetzte Bild und das letzte
Bild aus einer Vogelperspektive verglichen, und es wird ein nicht
zusammenpassender Bereich davon identifiziert, und dieser nicht
zusammenpassende Bereich wird dem gespeicherten zusammengesetzten
Bild hinzugefügt,
um ein neues zusammengesetztes Bild zu erzeugen. Auf diese Weise
ist es möglich,
Bilder fortlaufend durch geeignetes Hinzufügen von jedem Bild aus einer
Vogelperspektive einer späteren
Bewegung (postmovement bird's-eye
view image) dem zusammengesetzten Bild zu synthetisieren, und als
Ergebnis ist es möglich,
die Situation um das Fahrzeug herum deutlicher zu verstehen.
-
Somit
wird bei dieser Ausführungsform
ein von einer Kamera aufgenommenes Bild in ein Bild aus einer Vogelperspektive
umgewandelt; es wird ein zusammenpassender Bereich von chronologisch
fortlaufenden Bildern aus einer Vogelperspektive extrahiert; und
es wird ein bewegter Bereich extrahiert, welcher ein unterschiedliches
Teil der zwei Bilder aus einer Vogelperspektive ist. Danach wird
der bewegte Bereich dem Bild aus einer Vogelperspektive hinzugefügt, welches
das gegenwärtige
Bild darstellt, um ein gesamtzusammengesetztes Bild zu erzeugen,
und wenn das zusammengesetzte Bild auf dem Schirm des Monitors 3 angezeigt wird,
werden ein Bild des Fahrzeugs und der Betrachtungsbereichswinkel
der Kamera hinzugefügt.
D. h., wenn bei dieser Ausführungsform
sich das Fahrzeug bewegt, wird ein Bereich, welcher den Betrachtungsbereich
der Kamera verlassen hat, abgeleitet und mit dem gegenwärtigen Kamerabild
kombiniert, wodurch es möglich
ist, den Bereich anzuzeigen, welcher außerhalb des Betrachtungsbereichs
der Kamera liegt und normalerweise nicht angezeigt werden könnte; und
folglich ist es möglich,
die Positionsbeziehung zwischen dem Fahrzeug und dem Parkplatz klar
zu verstehen. Als Ergebnis tritt die wertvolle Wirkung ein, daß ein Manövrieren
wie rückwärts in einen
Parkplatz Fahren sehr leicht wird.
-
Zweite Ausführungsform
-
Eine
zweite Ausführungsform
der Erfindung wird im folgenden beschrieben, wobei Teile, die gleich
jenen bei der ersten Ausführungsform
sind, nicht wiederholt erklärt
werden. Bei dieser Ausführungsform
wird lediglich ein Bild von einer Parkplatzmarkierung und Autostoppern
und dergleichen extrahiert und gezeichnet, und es wird auf das Bild
des Hintergrunds verzichtet.
-
Wie
in dem Flußdiagramm
von 8 dargestellt wird zuerst in einem Schritt 200 bestimmt,
ob die Position des Gangverstellers Rückwärts ist oder nicht. Wenn eine
positive Bestimmung erfolgt, begibt sich die Verarbeitung zu einem
Schritt 210, und wenn eine negative Bestimmung erfolgt,
begibt sich die Verarbeitung zu einem Schritt 280.
-
In
dem Schritt 280 wird ein vorausgehend gezeichnetes Bild
eines Bereichs außerhalb
des Betrachtungsbereichs der Kamera gelöscht. In dem Schritt 210 wird
demgegenüber
ein Bild der Parkplatzmarkierung des Autostoppers und dergleichen
mittels einer Digitalisierungsverarbeitung aus dem von der Kamera
aufgenommenen Bild extrahiert. Es wird dabei angenommen, daß die Parkplatzmarkierung
und die Autostopper in weiß gezeichnet
sind und von einer Bodenoberfläche
eines schwarzen Asphalts leicht unterscheidbar sind.
-
In
dem folgenden Schritt 220 wird das digitalisierte Bild
einer Vogelperspektivenumwandlung unterworfen, um ein Bild aus einer
Vogelperspektive der Parkplatzmarkierung und der Autostopper zu
erzeugen. Dabei besitzt der Hintergrund eine einzige Farbe. Danach
wird in einem Schritt 230 ein zusammenpassender Bereich
von zwei fortlaufenden Bildern aus einer Vogelperspektive extrahiert.
Und in einem Schritt 240 wird ein bewegter Bereich, welcher
den gegenwärtigen
Betrachtungsbereich der Kamera 1 verlassen hat, extrahiert.
-
In
dem folgenden Schritt 250 wird, bevor ein Bild des bewegten
Bereichs gezeichnet wird, das bereits gezeichnete Bild B um den
Betrag des bewegten Bereichs verschoben (in dem Bild B nach unten),
um einen Zeichnungsbereich zu erhalten. In einem Schritt 270 werden
das Fahrzeug und eine V-förmige
Linie, welche den Betrachtungsbereich der Kamera darstellt, gezeichnet,
und es wird die Verarbeitungsroutine beendet.
-
Bei
dieser Ausführungsform
werden ebenfalls dieselben Vorteile wie bei der ersten Ausführungsform erzielt;
darüber
hinaus wird bei dieser Ausführungsform
das gesamte aufgenommene Bild nicht in ein Bild aus einer Vogelperspektive
umgewandelt und angezeigt, sondern es werden demgegenüber gerade
zum Parken notwendige Dinge, beispielsweise lediglich die Parkplatzmarkierung
und Autostopper neben dem Fahrzeug und dem Betrachtungsbereichswinkel
angezeigt. Als Ergebnis wird die Bildverarbeitungsbelastung verringert; es
wird leichter, das auf dem Monitor 3 angezeigte Bild zu
beobachten; und es tritt der Vorteil auf, daß das Manövrieren des Fahrzeugs vereinfacht
wird.
-
Dritte Ausführungsform
-
Eine
dritte Ausführungsform
wird im folgenden beschrieben. Zuerst wird die elementare Systemkonfiguration
dieser Ausführungsform
unter Verwendung von 9 und 10 erläutert.
-
Wie
in 9 dargestellt, besitzt die Fahrzeugumgebungsbildverarbeitungsvorrichtung
dieser Ausführungsform
eine Kamera (beispielsweise eine CCD-Kamera) 21, welche
auf der Rückseite
des Fahrzeugs angebracht ist; einen im Fahrzeug befindlichen Monitor
(beispielsweise eine Flüssigkristallanzeige) 23,
der auf dem Armaturenbrett des Fahrzeugs angebracht ist; einen Fahrzeuggeschwindigkeitssensor 25 zum
Erfassen der Fahrzeuggeschwindigkeit; einen Gierratensensor 27 zum
Erfassen einer Gierrate; und eine Bildverarbeitungseinheit 29 zum
Ausführen
einer Bildverarbeitung.
-
Die
Bildverarbeitungseinheit 29 ist wie in 10 dargestellt
ein elektronisches Bauelement, welches einen Mikrocomputer als Hauptteil
aufweist, zum Ausführen
einer Verarbeitung der Bilddaten und besitzt ein Koordinatenumwandlungsteil
(Vogelperspektivenbildumwandlungsschaltung) 31 zum Durchführen einer
Koordinatenumwandlung von Bilddaten, die von der Kamera 21 aufgenommen
werden; einen Bildspeicher A zum temporären Speichern von Bilddaten
eines erzeugten Bilds aus einer Vogelperspektive; eine Fahrzeuggeschwindigkeitssignaleingabeschaltung 33 zum
Eingeben eines Fahrzeuggeschwindigkeitssignals; eine Gierratensignaleingabeschaltung 35 zur
Eingabe eines Gierratensignals; eine CPU 37 zum Einlesen
des Fahrzeuggeschwindigkeitssignals und des Gierratensignals und
zum Ausführen
einer Berechnung wie derjenigen für eine Bewegung des Bilds aus
einer Vogelperspektive (beispielsweise für eine Drehung); und einen Bildspeicher
B zum Speichern von Daten eines auf dem Monitor 23 anzuzeigenden
Bilds aus einer Vogelperspektive.
-
Wie
später
erörtert
sind die Bilddaten eines in dem Bildspeicher B gespeicherten Bilds
aus einer Vogelperspektive Bildaten eines Bilds aus einer Vogelperspektive
(zusammengesetztes Bild aus einer Vogelperspektive), wel ches durch
Kombinieren eines Bilds (bewegtes Bild aus einer Vogelperspektive),
welches durch Bewegen eines Bilds aus einer Vogelperspektive (erstes
Bild aus einer Vogelperspektive) erlangt wird, welches auf der Grundlage
der von der Kamera 21 aufgenommenen Bilddaten zu einer
vorausgehenden Zeit (beispielsweise zur Zeit T) erzeugt wird, mit
einem Bild aus einer Vogelperspektive (zweites Bild aus einer Vogelperspektive)
gemacht wird, welches auf der Grundlage der von der Kamera 21 erneut
(beispielsweise zur Zeit T + 1) aufgenommenen Bilddaten erzeugt
wird. Die Bildverarbeitungseinheit 29 kann integriert mit
der Kamera 21 konstruiert sein, und die einzelnen Teile
der Bildvarbeitungseinheit 29 können partiell oder vollständig durch eine
LSI integriert sein.
-
Im
folgenden wird eine Prozedur der Bildverarbeitung bei dieser Ausführungsform
auf der Grundlage von 11A und 11B und 12 beschrieben.
Der Fall des rückwärts in einen
Parkplatz einfahrenden Fahrzeugs wird als Beispiel verwendet.
-
Zuerst
wird eine Prozedur erläutert,
durch welche ein von der Kamera 21 eingegebenes Bild in
ein Bild aus einer Photoperspektive umgewandelt und in dem Bildspeicher
A gespeichert wird. Ein von der Kamera 21 ausgegebenes
nicht verarbeitetes Bild (Ausgabebild) ist in 11A dargestellt. Da dieses nicht verarbeitete Bild
ein Bild der auf den Boden gezeichneten Markierung des Parkplatzes
und der Nähe
davon ist, welches von der auf dem oberen Ende der Rückseite
des Fahrzeugs angebrachten Kamera 21 aufgenommen wird,
wird die tatsächlich
rechtwinklige Parklückenmarkierung
entsprechend den Abständen
usw. zwischen dem Fahrzeug (und daher der Kamera 21) und
den Positionen jeder Linie der Parkplatzmarkierungen verzerrt angezeigt.
-
Dementsprechend
werden durch dasselbe Verfahren wie demjenigen, welches bezüglich der
ersten Ausführungsform
beschrieben wurde, die Bilddaten des unverarbeiteten Bilds bezüglich der
Koordinaten umgewandelt, um ein Bild aus einer Vogelperspektive
ohne Verzerrung wie das in 11B dargestellte
zu erzeugen, und es werden die Bilddaten dieses Bilds aus einer
Vogelperspektive in dem Bildspeicher A gespeichert.
-
Als
nächstes
wird eine Prozedur erläutert,
durch welche unter Verwendung des Fahrzeuggeschwindigkeitssignals
und des Gierratensignals das in dem Bildspeicher A gespeicherte
Bild aus einer Vogelperspektive entsprechend dem Betrag bewegt wird
(beispielsweise gedreht wird), um welchen sich das Fahrzeug bewegt
hat (Bewegungsbetrag). Dabei wird in 12 die
Position des Fahrzeugs zur Zeit T dargestellt, und es wird ein Abstand,
um welchen sich das Fahrzeug zur Zeit T + 1 bewegt, als L und ein
Winkel, um welchen sich das Fahrzeug zur Zeit T + 1 bewegt, als θ1 (= Drehwinkel θC um das
Drehzentrum) bezeichnet.
-
Wenn
die Abtastzeit der Kamera 21 100[ms] beträgt, kann
zuerst unter Verwendung der Fahrzeuggeschwindigkeit S[km/h], welche
aus dem Fahrzeuggeschwindigkeitssignal erlangt wird, der Abstand
L[m], um welchen sich das Fahrzeug bewegt hat, aus der folgenden
Gleichung (2) berechnet werden. L[m]
= S[km/h] × 1000[m/km] ÷ 3600[S/h]
x100[ms] – 1000[ms/s] (2)
-
Und
da es die Beziehung der in 12 dargestellten
Figur gibt, kann unter Verwendung der Gierrate θ0[°/s], welche aus dem Gierratensignal
erlangt wird, der Winkel, um welchen sich das Fahrzeug bewegt hat, aus
der folgenden Gleichung (3) berechnet werden. θ1[°] = θO[°/s] × 100[ms] ÷ 1000[ms/s] (3)
-
Da
angenommen wird, daß das
Drehzentrum des Fahrzeugs sich auf der Verlängerungslinie der Rückseitenachse
befindet, kann ebenfalls dabei dann, wenn die Vorwärtsrichtung
des Fahrzeugs mit Y und die Richtung senkrecht dazu mit X bezeichnet
wird, durch Berechnung mit der Kameraposition als dem Ursprung der
X-Richtung die Position des Drehzentrums XC[m] in X-Richtung aus
der folgenden Gleichung (4) berechnet werden. XC[m] = L[m] ÷ TAN(θ1) (4)
-
Demgegenüber befindet
sich die Position des Drehzentrums in der Y-Richtung an der Rückseitenachse,
und der Abstand von der Kamera 21 zu der Rückseitenachse
beträgt
YC[cm]. Und aus der Beziehung der in 12 dargestellten
Figur ist der Drehwinkel θC
an dem Drehzentrum derselbe wie der Drehwinkel θ1, um welchen sich das Fahrzeug
bewegt hat.
-
Als
nächstes
wird unter Verwendung der Position des Drehzentrums (XC, YC) und
des wie oben erwähnt
erlangten Drehwinkels θC
das Bild aus einer Vogelperspektive wie folgt bewegt.
-
Die
Bilddaten des in dem Bildspeicher A gespeicherten Bilds aus einer
Vogelperspektive werden ebenfalls einmal in dem Bildspeicher B gespeichert.
Dementsprechend werden dabei die Bilddaten des in dem Bildspeicher
B gespeicherten Bilds aus einer Vogelperspektive dem inneren Speicher
der CPU 37 übertragen,
und es wird das Bild aus einer Vogelperspektive unter Verwendung
der Position des Drehzentrums (XC, YC) und des Drehwinkels θC gedreht.
-
Eine
Umwandlungsgleichung zum Ausführen
dieser Drehbewegung wird unten als Gleichung (5) dargestellt, und
durch eine innere Verarbeitung durch die CPU 37 unter Verwendung
dieser Gleichung bezüglich der
zugehörigen
Koordinaten einer späteren
Bewegung (post-movement coordinates) (XB, YB) nach der Bewegung
um den Drehwinkel θ werden
entsprechende Punkte einer früheren
Bewegung (premovement points) (XA, YA) berechnet, und es werden
(XA, YA)-Pixelwerte in dem (XB, YB)-Adreßspeicher gesichert. XA = XB·COSθ + YB·SINθ
YA
= YB·COSθ – XB·SINθ (5)wobei (XA,
YA) Koordinaten einer früheren
Bewegung; (XB, YB) Koordinaten einer späteren Bewegung; und θ ein Drehwinkel
darstellen.
-
Danach
wird unter Durchführung
dieser Berechnungen für
alle Koordinaten aus dem in dem Bildspeicher A gespeicherten Bild
aus einer Vogelperspektive (das erste Bild aus einer Vogelperspektive
zur Zeit T) ein bewegtes Bild aus einer Vogelperspektive (bewegtes
Bild aus einer Vogelperspektive zur Zeit T) erzeugt. Und zusammen
damit wird das Bild aus einer Vogelperspektive, welches auf der
Grundlage des erneut von der Kamera 21 aufgenommenen Bilds
erzeugt wird, d. h. das gegenwärtige
Bild aus einer Vogelperspektive (das zweite Bild aus einer Vogelperspektive
zur Zeit T + 1) erneut von dem Bildspeicher A der CPU 37 übertragen.
-
Dementsprechend
wird in der CPU 37 das zweite Bild aus einer Vogelperspektive
auf eine Position geschrieben, wo die Positionsbeziehung der Zeit
T entspricht (eine Position, an welcher keine Bildfehlausrichtung
mit dem bewegten Bild aus einer Vogelperspektive vorliegt), und
durch diese Verarbeitung werden das bewegte Bild aus ei ner Vogelperspektive
und das zweite Bild aus einer Vogelperspektive kombiniert, um Bilddaten
eines zusammengesetzten Bilds aus einer Vogelperspektive zu erzeugen,
und diese Bilddaten werden in dem Bildspeicher B gespeichert.
-
Obwohl
bei der Erzeugung des zusammengesetzten Bilds aus einer Vogelperspektive
ein Bild der Position des Fahrzeugs und der Betrachtungsbereichswinkel
der Kamera 21 hinzugefügt
und in dem Bildspeicher B gespeichert werden kann und dieses auf
dem Schirm des Monitors 23 angezeigte zusammengesetzte
Bild aus einer Vogelperspektive alternativ anstelle eines Bilds
der Position des Fahrzeugs und des Betrachtungsbereichswinkels der
Kamera 21 in dem Bildspeicher B gespeichert wird, kann
ein Bild, welches die Position des Fahrzeugs und des Betrachtungsbereichswinkels
der Kamera 21 darstellt, hinzugefügt werden, wenn das in dem
Bildspeicher B gespeicherte zusammengesetzte Bild aus einer Vogelperspektive
auf den Monitor 23 gezeichnet wird.
-
Als
nächstes
wird eine von der Bildverarbeitungseinheit 29 ausgeführte Verarbeitung
auf der Grundlage des Flußdiagramms
von 13 dargestellt.
-
Wie
in 13 dargestellt wird zuerst in einem Schritt 300 bestimmt,
ob sich die Position des Gangfeststellers auf Rückwärts befindet oder nicht. Wenn
eine positive Bestimmung erfolgt ist, begibt sich die Verarbeitung
zu einem Schritt 310, und wenn ein negative Bestimmung
erfolgt ist, begibt sich die Verarbeitung zu einem Schritt 390.
Die Verstellerposition kann auf der Grundlage eines Signals von
einem (nicht dargestellten) Verstellerpositionserfassungssensor
oder eines Signals von einer anderen elektronischen Steuereinheit
erfaßt werden.
-
In
dem Schritt 390 wird irgendein vorausgehend gezeichnetes
Bild eines Bereichs außerhalb
des Betrachtungsbereichs der Kamera 21 gelöscht; d.
h., es wird lediglich das gegenwärtige
Bild von der Kamera 21 (das Bild aus einer Vogelperspektive)
angezeigt; und die Verarbeitung kehrt danach zu dem Schritt 300 zurück. In dem
Schritt 310 wird demgegenüber eine Koordinatenumwandlung
(Vogelperspektivenumwandlung) des von der Kamera 21 aufgenommenen
Bilds ausgeführt,
und es wird ein Bild aus einer Vogelperspektive erzeugt.
-
In
einem Schritt 320 wird dieses Bild aus einer Vogelperspektive
in dem Bildspeicher A gespeichert. Zu dieser Zeit wird ebenfalls
dasselbe Bild aus einer Vogelperspektive in dem Bildspeicher B gespeichert.
In einem Schritt 330 wird auf der Grundlage des Fahrzeuggeschwindigkeitssignals
und des Gierratensignals ein Betrag der Bewegung des Fahrzeugs (Bewegungsbetrag)
ausgedrückt
durch einen Bewegungsabstand L und einen Drehwinkel θC erlangt.
-
In
dem folgenden Schritt, dem Schritt 340, wird auf der Grundlage
des Betrags der Bewegung des Fahrzeugs das in dem Bildspeicher B
gespeicherte Bild aus einer Vogelperspektive (das erste Bild aus
einer Vogelperspektive zur Zeit T) bewegt, und es wird ein Bild
aus einer Vogelperspektive einer früheren Bewegung (bewegtes Bild
aus einer Vogelperspektive zur Zeit T) erlangt.
-
In
einem Schritt 350 wird ein erneut aufgenommenes und in
dem Bildspeicher A gespeichertes zweites Bild aus einer Vogelperspektive
(zur Zeit T + 1) aus dem Bildspeicher A eingelesen. Und in einem
Schritt 360 werden das bewegte Bild aus einer Vogelperspektive
und das zweite Bild aus einer Vogelperspektive kombiniert, um ein
zusammengesetztes Bild aus einer Vogelperspektive zu erzeugen.
-
Insbesondere
wird wie in 14 dargestellt das zusammengesetzte
Bild aus einer Vogelperspektive gebildet durch nach außen Schreiben
des neuen Betrachtungsbereichs der Kamera (entsprechend dem zweiten
Bild aus einer Vogelperspektive) eines Teils, welches den Betrachtungsbereich
der Kamera infolge der letzten Bewegung des Fahrzeugs verlassen
hat; d. h., ein Teil des durch Bewegen des ersten Bilds aus einer
Vogelperspektive entsprechend dem Betrag der Bewegung des Fahrzeugs
gebildeten Bilds aus einer Vogelperspektive (insbesondere der Teil,
welcher übrig
gelassen wurde, nachdem ein Teil entfernt worden ist, welcher das
zweite Bild aus einer Vogelperspektive überlappt). In 14 wird
das Fahrzeug als Bezug dargestellt; in der Praxis wird ein Rahmen
oder dergleichen, welcher das Fahrzeug darstellt, gezeichnet, wenn
das zusammengesetzte Bild aus einer Vogelperspektive auf einem Schirm
des Monitors gezeichnet wird.
-
In
dem folgenden Schritt 370 wird das zusammengesetzte Bild
aus einer Vogelperspektive in dem Bildspeicher B gespeichert. In
einem Schritt 380 werden ein Bild, welches das Fahrzeug
darstellt, und ein Bild, welches den Betrachtungsbereichswinkel
darstellt, hinzugefügt;
es wird das in dem Bildspeicher B gespeicherte zusammengesetzte
Bild aus einer Vogelperspektive auf dem Monitor 23 angezeigt;
und es wird die gegenwärtige
Verarbeitungsroutine beendet.
-
Auf
diese Weise wird bei dieser Ausführungsform
das von der Kamera 21 aufgenommene Bild in ein Bild aus
einer Vogelperspektive umgewandelt; ein Betrag, um welchen sich
das Fahrzeug bewegt hat, wird auf der Grundlage von Fahrzeugsignalen
erfaßt;
und es wird entsprechend diesem Fahrzeugbewegungsbetrag das Bild
aus einer Vogelperspektive bewegt, um ein bewegtes Bild aus einer
Vogelperspektive zu erzeugen. Danach werden das bewegte Bild aus
ei ner Vogelperspektive und ein erneut eingelesenes Bild aus einer
Vogelperspektive kombiniert, um ein zusammengesetztes Bild aus einer
Vogelperspektive zu bilden; Bilder des Fahrzeugs und des Betrachtungsbereichswinkels
werden addiert; und dieses zusammengesetzte Bild aus einer Vogelperspektive
wird auf dem Schirm des Monitors 23 angezeigt.
-
D.
h., wenn bei dieser Ausführungsform
sich das Fahrzeug bewegt, ist es durch Ableiten eines Bereichs,
welcher den Bereich der Kamera verlassen hat, und durch Kombinieren
des Bereichs mit der gegenwärtigen
Kamerasicht möglich,
Teile anzuzeigen, welche außerhalb
des Betrachtungsbereichs der Kamera liegen und normalerweise nicht
angezeigt werden können;
und es ist folglich wie in 15A, 15B und 15C dargestellt
möglich,
die Positionsbeziehung zwischen dem Fahrzeug und dem Parkplatz klar
zu verstehen. Als Ergebnis liegt der deutliche Vorteil vor, daß ein Manövrieren
wie ein Rückwärtsfahren
in einen Parkplatz sehr leicht wird.
-
In 15A, 15B und 15C werden durch das Verfahren dieser Ausführungsform
hergestellte Anzeigebilder des Monitors 23 in einer Reihenfolge
dargestellt, wenn ein Fahrzeug zuerst dreht und sich danach geradeaus
bewegt, während
es rückwärts in eine
Parklücke
fährt.
-
Insbesondere
besteht bei dieser Ausführungsform,
da das bewegte Bild aus einer Vogelperspektive unter Verwendung
von Fahrzeugsignalen erzeugt wird, welche von einem Fahrzeuggeschwindigkeitssensor 25 und
einem Gierratensensor 27 erlangt werden, gegenüber demjenigen,
welches beispielsweise durch Berechnen einer Bewegung des Fahrzeugs
von einer Änderung
des Bilds über
die Zeit zwischen ersten und zweiten Bildern aus einer Vogelperspektive
erzeugt wird, der Vorteil dahingehend, daß die Berechnungs verarbeitung
dafür einfach
ist. D. h., da auf eine Bildverarbeitung wie einem Anpassen bzw.
bei einem Zusammenpassen von Bildern, was einen großen Berechnungsaufwand
erfordert, verzichtet werden kann, wird die Verarbeitungsbelastung
verringert, und es kann das benötigte
Bild auf dem Monitor 23 schnell angezeigt werden.
-
Folglich
wird die Belastung des Mikrocomputers usw. verringert, und es kann
die Verarbeitungsgeschwindigkeit der Vorrichtung insgesamt erhöht werden.
Da die Verarbeitung durch einen Mikrocomputer mit einer geringeren
Verarbeitungskapazität
ausgeführt
werden kann, wird ebenfalls ein Beitrag zur Kostenverringerung geleistet.
-
Die
vorliegende Erfindung ist nicht auf die oben beschriebenen Ausführungsformen
beschränkt,
und es können
verschiedene Änderungen
natürlich
ohne vom Rahmen der Erfindung abzuweichen gemacht werden.
- (1) Beispielsweise wird bei der ersten Ausführungsform
vorzugsweise das aufgenommene Bild der Parkplatzmarkierung und der
Autostopper usw. nicht einfach bezüglich der Koordinaten umgewandelt
und angezeigt, sondern es wird vielmehr ein Bild der Parkplatzmarkierung
und der Autostopper, welche als Führung zum Manövrieren
des Fahrzeugs dienen, aus dem von der Kamera aufgenommenen Bild
extrahiert, und es werden die Parkplatzmarkierung und die Autostopper
in dem Bild bezüglich
Farbe und/oder Ton verstärkt.
- (2) Und obwohl bei der dritten Ausführungsform mit der oben erwähnten Verarbeitung
begonnen wurde, nachdem erfaßt
worden ist, daß die
Verstellerposition Rückwärts war,
so daß eine
Verarbeitung ebenfalls ausgeführt
wurde, wenn das Fahrzeug umgeschaltet worden ist, um nach einer
Rückwärtsbewegung
vorwärts
zu fahren, kann alternativ ein Starten und Fortfahren der Verarbeitung
auf der Grundlage eines Fahrzeugsignals entschieden werden. Beispielsweise
kann eine Verarbeitung gestartet werden, wenn die Fahrzeuggeschwindigkeit
10 km/h beträgt,
und es wird eine Verarbeitung ausgeführt, um ein Bild aus einer
Vogelperspektive anzuzeigen, so lange wie die Fahrzeuggeschwindigkeit
unterhalb dieser Geschwindigkeit verbleibt. Aber dies bedeutet,
daß es
möglich
ist, ein Bild aus einer Vogelperspektive ununterbrochen anzuzeigen,
ohne daß ein
Zurücksetzen
durchgeführt
wird, sogar dann, wenn sich die Verstellerposition im Fall einer
Parkoperation ändert.
- (3) Entsprechend einer anderen Anwendung der Erfindung ist es
mittels einer Kamera, welche ein Gebiet vor einem Fahrzeug aufnimmt,
möglich,
ein zusammengesetztes Bild aus einer Vogelperspektive der Nähe der Fahrzeugkarosserie
einschließlich
des Bereiches anzuzeigen, welcher den Betrachtungsbereich der Kamera
vor dem Fahrzeug verlassen hat, und dadurch Informationen zu erstellen,
durch welche beurteilt werden kann, ob es möglich ist oder nicht, sich
durch eine enge Straße
oder dergleichen zu drücken.
- (4) Wohingegen bezüglich
der ersten, zweiten und dritten Ausführungsform eine Fahrzeugumgebungsbildverarbeitungsvorrichtung
erörtert
wurde, liefert die Erfindung ebenfalls ein Aufzeichnungsmedium,
auf welchem Mittel zum Ausführen
der Verarbeitung einer derartigen Vorrichtung aufgezeichnet sind.
Dieses Aufzeichnungsmedium kann irgendeines von verschiedenen Aufzeichnungsmedien
sein, und es kann beispielsweise eine elektronische Steuereinheit
sein, die als Mikrocomputer, Mikrochip, Diskette, Festplatte oder
Bildplatte konstruiert ist. D. h., es kann irgendein Aufzeichnungsmedium
sein, auf welchem Mittel wie beispielsweise ein Programm aufgezeichnet
sind, welches zum Ausführen
der Verarbeitung einer oben beschriebenen Fahrzeugumgebungsbildverarbeitungsvorrichtung
geeignet ist.
-
GEWERBLICHE ANWENDBARKEIT
-
Wie
oben beschrieben können
eine Fahrzeugumgebungsbildverarbeitungsvorrichtung und ein Aufzeichnungsmedium
entsprechend der vorliegenden Erfindung auf einem Monitor ein Bild
der Umgebung eines Fahrzeugs einschließlich einem abgeleiteten Teil
zeichnen, welches den Betrachtungsbereich einer Kamera verlassen
hat, und dementsprechend sind sie in einem hohen Maße für eine Verwendung
beispielsweise in einer Ausrüstung
zum Unterstützen
einer Parkoperation wie einem Parken geeignet.
