-
HINTERGRUND DER ERFINDUNG
-
GEBIET DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft eine Überwachungsvorrichtung, um
eine Umwandlung des Blickwinkels für jedes aufgenommene Bild von
einer Mehrzahl von Aufnahmeeinheiten in Überblicksbilder mit demselben
Neigungswinkel durchzuführen
und diese Überblicksbilder
zu vereinen und ein breites Überblicksbild
zu erzeugen.
-
In
den vergangenen Jahren wurden Überwachungsvorrichtungen
immer verbreiteter, bei denen die Peripherie eines Fahrzeugs durch
Kameras überwacht
bzw. aufgenommen wird, die an dem Fahrzeug angeordnet sind, wobei
die aufgenommenen Bilder auf einer Anzeigevorrichtung dargestellt
werden, die in dem Fahrzeug installiert ist. Als solche Kameras wurden
beispielswiese Kameras zur Überwachung der
toten Winkel des Fahrzeugs, Kameras zum Aufnehmen eines Bereichs
in der Nähe
des vorderen Endes des Fahrzeugs oder eine Kamera zum Aufnehmen
eines Eckbereichs einer Stoßstange
vorgeschlagen, und für
die Zukunft ist zu erwarten, daß viele
Kameras an einem Fahrzeug installiert sein werden.
-
Bei
solchen Überwachungsvorrichtungen wurden
Mittel zur Durchführung
einer Umwandlung des Blickpunktes eines aufgenommenen Bildes von einer
Kamera in beispielsweise ein Überblicksbild vorgeschlagen,
welches von gerade oben aufgenommen ist, und zum Anzeigen des Bildes,
um die Wahrnehmung einer Distanz zwischen dem eigenen Fahrzeug und
einem Hindernis auf dem angezeigten Bild zu vereinfachen (erster
Stand der Technik).
-
Es
wurden bei solchen Überwachungsvorrichtungen
auch Mittel zum Aufnehmen eines Bildes vorgeschlagen, die einen
weiten Bereich der Peripherie eines Fahrzeugs zeigen, wobei eine
Weitwinkelkamera verwendet wird, und das breitwandige Bild auf einem
Anzeigebildschirm gescrollt werden kann, beispielsweise entsprechend
der Betätigung
eines Hebels (zweiter Stand der Technik).
-
Wenn
das Überblicksbild
nach dem ersten Stand der Technik auch als ein breites bzw. Weitwinkelbild
erhältlich
ist (d.h., ein breitbandiges Überblicksbild),
wie es im zweiten Stand der Technik beschrieben wurde, könnte ein
weiter Bereich von Informationen bezüglich toter Winkel auf dem
Anzeigebildschirm zur Verfügung
gestellt werden, was die Nützlichkeit
deutlich verbessern würde.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Jedoch
besteht in dem Fall, in dem man das Überblicksbild nach dem ersten
Stand der Technik als das breitbandige Überblicksbild verwendt, der Nachteil
höherer
Kosten, wenn eine Weitwinkelkamera verwendet wird, wie sie im zweiten
Stand der Technik beschrieben ist. Angesichts der Tendenz, in Zukunft
viele Kameras an einem Fahrzeug zu installieren, wäre es vorteilhaft,
das breitbandige Überblicksbild
mit niedrigen Kosten zu erhalten, indem die aufgenommenen Bilder
der verschiedenen Kameras verwendet werden.
-
In
diesem Fall kann sich die Qualität
des Überblicksbildes,
welches man erhält,
indem man den Blickwinkel umwandelt, wie es im ersten Stand der
Technik beschrieben ist, verschlechtern, falls man eine Umwandlung
des Blickwinkels von dem aufgenommenen Bild der Kamera durchführt, so
daß es
wünschenswert
wäre, ein
breitbandiges Überblicksbild
von hoher Qualität
bei minimaler Verschlechterung der Bildqualität zu erhalten.
-
Daher
ist es eine Aufgabe der vorliegenden Erfindung, eine Überwachungsvorrichtung
zur Verfügung
zu stellen, die in der Lage ist, ein breitbandiges Überblicksbild
von hoher Qualität
bei niedrigen Kosten zur Verfügung
zu stellen, wobei aufgenommene Bilder von einer Mehrzahl von Kameras
verwendet werden.
-
Gemäß eines
Aspekts der vorliegenden Erfindung wird eine Überwachungsvorrichtung zur
Verfügung
gestellt, die umfaßt:
eine Mehrzahl von Aufnahme- bzw. Abbildungseinheiten; eine Einheit
zur Umwandlung des Blickwinkels, die eine Umwandlung des Blickwinkels
jedes aufgenommenen Bildes der mehreren Aufnahmeeinheiten in ein Überblicksbild mit
demselben Neigungswinkel durchführt;
und eine Einheit zum Zusammenfügen
der Bilder, die alle Überblicksbilder
vereint, die von der Einheit zur Umwandlung des Blickwinkels erhalten
werden, um denselben Szenenbereich jedes Überblicksbildes zu überlagern
und ein breitbandiges Überblicksbild
zu erzeugen, wobei die Einheit zum Zusammenfügen der Bilder ein Bild eines überlagerten
Bereichs in dem Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs unter allen Überblicksbildern verwendet,
die den überlagerten
Bereich umfassen, und zwar als das Bild des überlagerten Bereichs des breitbandigen Überblicksbildes.
-
Durch
diesen Aufbau wird eine Umwandlung des Blickwinkels jedes der aufgenommenen
Bilder der mehreren Aufnahmeeinheiten in Überblicksbilder mit demselben
Nei gungswinkel durchgeführt,
und alle Überblicksbilder
werden vereinigt, so daß dieselben
Szenenbereiche der Überblicksbilder überlagert werden
und ein breitbandiges Überblicksbild
erzeugt wird, so daß das
breitbandige Überblicksbild
einen weiten Bereich zeigt. Dies kann kostengünstig durchgeführt werden,
indem die aufgenommenen Bilder der mehreren Kameras verwendet werden.
-
Ein
Bild des überlagerten
Bereichs in dem Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs unter allen Überblicksbildern,
die den überlagerten
Bereich enthalten, wird als ein Bild des überlagerten Bereichs des breitbandigen Überblicksbildes
verwendet, so daß das
Bild des überlagerten
Bereichs des breitbandigen Überblicksbildes in
einem Bild ausgebildet werden kann, bei dem die Störung in
der Bildqualität
oder eine Verschlechterung der Bildqualität gering ist, so daß ein breitbandiges Überblicksbild
mit hoher Qualität
erreicht werden kann.
-
Gemäß eines
anderen Aspekts der vorliegenden Erfindung wird ein Überblicksbild,
bei dem eine Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels
am kleinsten ist, als das Überblicksbild
mit der höchsten
Bildqualität des überlagerten
Bereichs ausgewählt.
-
Gemäß dieser
Ausbildung wird das Überblicksbild,
bei dem der Betrag der Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels
am geringsten ist, als dasjenige Überblicksbild mit der höchsten Bildqualität des überlagerten
Bereichs ausgewählt,
so daß das Überblicksbild mit
der höchsten
Bildqualität
des überlagerten
Bereichs unter allen Überblicksbildern
ausgewählt
werden kann, die den überlagerten
Bereich des breitbandi gen Überblickbildes
enthalten, und zwar mittels eines einfachen Kriteriums.
-
Gemäß eines
weiteren Aspekts der vorliegenden Erfindung wird dasjenige Überblicksbild,
bei welchem die Auflösung
des überlagerten
Bereichs am höchsten
ist, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt.
-
Gemäß dieser
Ausbildung wird das Überblicksbild,
bei welchem die Auflösung
des überlagerten
Bereichs am höchsten
ist, als das Überblicksbild mit
der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt,
so daß das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs aus allen Überblicksbildern
ausgewählt
werden kann, die den überlagerten
Bereich des breitbandigen Überblickbildes
enthalten, und zwar wiederung mittels eines einfachen Kriteriums.
-
Gemäß eines
weiteren Aspekts der vorliegenden Erfindung wird dasjenige Überblicksbild
als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt,
in dem derselbe Szenenbereich, der in einem Bildbereich dargestellt ist,
vor der Umwandlung des Blickwinkels des überlagerten Bereichs am größten dargestellt
ist.
-
Mittels
dieser Ausführung
wird das Überblicksbild,
bei dem derselbe Szenenbereich, der in einem Bildbereich vor der
Umwandlung des Blickwinkels des überlagerten
Bereichs gezeigt ist, am größten dargestellt
wird, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt,
so daß das Überblicksbild
mit der höchsten Bildqualität des überlagerten
Bereichs aus allen Überblicksbildern
ausgewählt
werden kann, die den überlagerten
Bereich des breitbandigen Überblicksbildes enthalten,
und zwar wiederum mittels eines einfachen Kriteriums.
-
Gemäß eines
weiteren Aspekts der vorliegenden Erfindung wird dasjenige Überblickbild,
bei welchem Störungen
eines Bildes des überlagerten Bereichs
am kleinsten sind, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt.
-
Bei
dieser Ausführung
wird dasjenige Überblicksbild,
bei welchem eine Störung
bzw. Verzerrung eines Bildes des überlagerten Bereichs am geringsten
ist, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs ausgewählt,
so daß das Überblicksbild
mit der höchsten
Bildqualität des überlagerten
Bereichs aus allen Überblicksbildern
ausgewählt
werden kann, die den überlagerten Bereich
des breitbandigen Überblicksbildes
zeigen, und zwar wiederum anhand eines einfachen Kriteriums.
-
Gemäß eines
weiteren Aspekts der vorliegenden Erfindung sind die mehreren Abbildungs- bzw.
Aufnahmeeinheiten an einem Fahrzeug angeordnet. Die mehreren Abbildungseinheiten
können die
Pheripherie bzw. Umgebung des Fahrzeugs abbilden.
-
Bei
dieser Ausführung
sind mehrere Abbildungs- bzw. Aufnahmeeinheiten an bzw. in einem Fahrzeug
angeordnet und bilden die Umgebung bzw. Peripherie des Fahrzeugs
ab, so daß ein
breitbandiges Überblicksbild,
in welchem die Peripherie des Fahrzeugs dargestellt ist, erhalten
wird und das breitbandige Überblicksbild
der Umgebung des Fahrzeugs einem Insassen des Fahrzeugs zur Verfügung gestellt
werden kann.
-
Diese
und weitere Aufgaben, Vorteile und Merkmale der vorliegenden Erfindung
ergeben sich aus den Unteransprü chen
und den nachfolgend beschriebenen Ausführungsbeispielen. Hierzu zeigt:
-
1 ein
Diagramm des prinzipiellen Aufbaus einer Überwachungsvorrichtung nach
einer Ausführung
der vorliegenden Erfindung;
-
2 eine
ebene Draufsicht, die einen Zustand zeigt, in welchem alle Kameras,
die bei einer Überwachungsvorrichtung
gemäß der Ausführung der
vorliegenden Erfindung verwendet werden, an einem Fahrzeug installiert
sind;
-
3 eine
Seitenansicht, die ebenfalls einen Zustand zeigt, in welchem alle
Kameras, die bei der Überwachungsvorrichtung
gemäß der Ausführung der
vorliegenden Erfindung verwendet werden, an dem Fahrzeug installiert
sind;
-
4A ein
Beispiel von aufgenommenen Bildern g1 bis g3 aller Kameras c1 bis
c3 in 1;
-
4B Überblicksbilder
f1 bis f3, die man erhält,
indem man eine Umwandlung des Blickwinkels der aufgenommenen Bilder
g1 bis g3 durchführt;
und
-
4C ein
breitbandiges Überblicksbild
kf, das durch Vereinigung der Überblicksbilder
f1 bis f3 erzeugt wurde.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGEN
-
<Ausführung>
-
sWie
in den 1 bis 3 gezeigt, umfaßt eine Überwachungsvorrichtung 1 nach
einer ersten Ausführung
der vor liegenden Erfindung mehrere Kameras (Abbildungs- bzw. Aufnahmeeinheiten)
c1 bis c6, die an einem Fahrzeug 3 installiert sind, einen
Teil zur Umwandlung des Blickwinkels (Einheit zur Umwandlung des
Blickwinkels) 5 zur Umwandlung des Blickwinkels aller aufgenommenen
Bilder (Kameravideos) der mehreren Kameras C1 bis C6 in Überblicksbilder
mit demselben Neigungswinkel, einen Teil zum Zusammensetzen von
Bildern (Einheiten zum Zusammensetzen von Bildern) 7, um
mehrere Überblicksbilder
zu vereinigen, die von dem Teil 5 zur Umwandlung des Blickwinkels
erhalten werden, und zum Erzeugen eines Überblicksbildes (breitbandiges Überblicksbild),
welches einen weiten Bereich darstellt, einen Teil 9 zum
Steuern einer Anzeige, um ein Bild, welches auf einer Anzeigevorrichtung 11 angezeigt
wird, aus allen Überblicksbildern
und dem breitbandigen Überblicksbild,
die von den verarbeitenden Teilen 5, 7 erhalten
werden, auszuwählen,
und zwar basierend auf Fahrzeuginformationen von dem Fahrzeug 3,
einen Teil 10 zum Überlagern
von Bildern, um ein vorbestimmtes Bild zur Überlagerung (beispielsweise
ein Symbol des Fahrzeugs) dem Bild zu überlagern, welches durch den
Teil 9 zum Steuern der Anzeige ausgewählt worden ist, und die Anzeigevorrichtung 11 zur
Darstellung des Bildes, welches von dem Teil 10 zur Überlagerung
von Bildern erhalten wird.
-
Hier
ist die Kamera c1 vorne in der Mitte des Fahrzeugs 3 installiert
und die Aufnahmerichtung ist nach vorne und nach unten geneigt (beispielsweise mit
einem Neigungswinkel von ungefähr
45°) und
ein Bild (ein aufgenommenes Bild mit einem Neigungswinkel von ungefähr 45°) eines Bereichs
in der Nähe der
Vorderseite des Fahrzeugs 3 wird aufgenommen. Die Kamera 2 ist
an der vorderen linken Ecke des Fahrzeugs 3 installiert
und die Aufnahmerichtung ist schräg nach links vorne und horizontal
(beispielsweise bei einem Neigungswinkel von ungefähr 0°) und ein
Bild (ein aufgenommenes Bild mit einem Neigungswinkel von ungefähr 0°) der Umgebung
der vorderen linken Ecke des Fahrzeugs 3 wird aufgenommen.
Die Kamera c3 ist an der vorderen rechten Ecke des Fahrzeugs 3 installiert
und die Aufnahmerichtung ist schräg nach rechts vorne und horizontal (beispielsweise
bei einem Neigungswinkel von ungefähr 0°), und ein Bild (ein aufgenommenes
Bild mit einem Neigungswinkel von ungefähr 0°) der Umgebung der rechten vorderen
Ecke des Fahrzeugs 3 wird aufgenommen. Die Kamera c4 (Kamera
c5) ist in einem Spiegel an der linken Tür (Spiegel an der rechten Tür) installiert
und die Aufnahmerichtung ist von dem Spiegel an der Tür nach unten
gerichtet, so daß ein
Bild der Umgebung gerade unter dem Spiegel an der linken Tür (Spiegel
an der rechten Tür)
aufgenommen wird. Die Kamera c6 ist in der Mitte hinten des Fahrzeugs 3 installiert
und die Aufnahmerichtung ist nach hinten schräg nach unten gerichtet, so
daß ein
Bild eines Bereichs in der Nähe
der Rückseite
des Fahrzeugs 3 aufgenommen wird.
-
Der
Teil 5 zur Umwandlung des Blickwinkels führt jeweils
eine Umwandlung des Blickwinkels der aufgenommenen Bilder g1 bis
g6 (siehe 4A) der einzelnen Kameras c1
bis c6 in Überblicksbilder (Überblicksbilder
mit einem Neigungswinkel von ungefähr 90°) f1 bis f6 (siehe 4B)
durch, die so erscheinen, als wären
sie beispielsweise genau von oben aufgenommen, indem beispielsweise
Umwandlungstabellen für
die Umwandlung der Blickwinkel verwendet werden. Die Umwandlungstabellen
für die Umwandlung
des Blickwinkels werden für
alle aufgenommenen Bilder g1 bis g6 der einzelnen Kameras c1 bis
c6 vorbereitet und in einem Teil 5a zur Speicherung wie
beispielsweise einem ROM gespeichert, das in dem Teil 5 zur
Umwandlung des Blickwinkels angeordnet ist. In den 4A bis 4C sind
der besseren Übersichtlichkeit
wegen nur die aufgenommenen Bilder g1 bis g3 und die Überblicksbilder
f1 bis f3 dargestellt und eine Darstellung der aufgenommenen Bilder
g4 bis g6 und der Überblicksbilder
f4 bis f6 wird weggelassen.
-
Hier
sind die aufgenommenen Bilder der beiden Kameras c4 und c5 aufgenommene
Bilder (d.h. Überblicksbilder,
die ursprünglich
bereits gerade von oben aufgenommen worden sind) g4, g5 Bilder,
die gerade von oben aufgenommen worden sind, so daß eine Verarbeitung
zur Umwandlung des Blickwinkels bezüglich der aufgenommenen Bilder
g4 bzw. g5 der beiden Kameras c4 bzw. c5 entfallen kann.
-
Wie
in den 4B und 4C gezeigt,
vereinigt der Teil 7 zur Zusammensetzung von Bildern mehrere Überblicksbilder
(hier die Überblicksbilder
f1 bis f3, die sich ergeben, indem man eine Umwandlung des Blickwinkels
der aufgenommenen Bilder g1 bis g3 der einzelnen Kameras c1 bis
c3 durchführt), die
von dem Teil 5 zur Umwandlung des Blickwinkels erhalten
werden, so daß dieselben
Szenenbereiche (Bereiche a1 und a2 miteinander und Bereiche b1 und
b2 miteinander) der Überblicksbilder überlagert werden,
und erzeugt ein breitbandiges Überblicksbild kf.
In diesem Fall verwendet der Teil 7 zur Zusammensetzung
von Bildern ein Bild der überlagerten
Bereiche a1, a2 (b1, b2) in den Überblicksbildern
(genauer gesagt beispielsweise dem Überblicksbild, bei dem der
Betrag der Änderung
des Neigungswinkels zwischen vor und nach der Umwandlung des Blickwinkels
am geringsten ist) mit der höchsten
Bildqualität
der überlagerten
Bereiche a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3), die den überlagerten
Bereich a (b) enthalten, als ein Bild des überlagerten Bereichs a (b)
des breitbandigen Überblicksbildes
kf.
-
Hier
wird, wie vorstehend beschrieben, das Überblicksbild, bei welchem
der Betrag der Änderung des Neigungswinkels
zwischen vor und nach der Umwandlung des Blickwinkels am geringsten
ist, als dasjenige Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) ausgewählt.
Dies berücksichtigt
die Tatsache, daß allgemein
eine Verschlechterung der Qualität
des Bildes nach der Änderung
des Blickwinkels gering ist, wenn der Betrag der Änderung
des Blickwinkels vor und nach der Umwandlung des Blickwinkels gering
ist.
-
D.h.,
hier beträgt,
wie vorstehend beschrieben, der Betrag der Änderung des Blickwinkels vor und
nach der Umwandlung des Blickwinkels des Überblicksbildes f1 ungefähr 45°, da ein
Neigungswinkel des aufgenommenen Bildes g1 vor der Umwandlung des
Blickwinkels ungefähr
45° beträgt und ein
Neigungswinkel des Überblicksbildes
f1 nach der Umwandlung des Blickwinkels ungefähr 90° beträgt. Auf der anderen Seite beträgt der Betrag
der Änderung
des Blickwinkels vor und nach der Umwandlung des Blickwinkels des Überblicksbildes
f2 (f3) ungefähr
90°, da
ein Neigungswinkel des aufgenommenen Bildes g2 (g3) vor der Umwandlung
des Blickwinkels ungefähr
0° beträgt, und
ein Neigungswinkel des Überblicksbildes
f2 (f3) nach der Umwandlung des Blickwinkels ungefähr 90° beträgt. Daher
ist ein Bild des überlagerten
Bereichs a1 (b1) in dem Überblicksbild
f1 (f1), bei dem der Betrag der Änderung
des Neigungswinkels vor nach der Änderung des Blickwinkels unter
allen Überblicksbildern
f1, f2 (f1, f3) am geringsten ist, als ein Bild des überlagerten
Bereichs a (b) des breitbandigen Überblicksbildes kf verwendet. Als
Ergebnis davon wird ein Bild, bei dem nicht überlagerte Bereiche c (d) der Überblicksbild
f2 (f3) mit dem linken Rand (rechten Rand) des Überblicksbildes f1 von 4C vereinigt
werden, als das breitbandige Überblicksbild
kf erhalten.
-
In
jedem der Überblicksbilder
f1, f2 (f1, f3) werden die Größen (Skallierungsfaktoren)
der Überblicksbilder
jeweils angepaßt,
um eine Umwandlung des Blickwinkels durchzuführen, so daß mehrere Szenen nahtlos im
Falle einer Umwandlung des Blickwinkels in dem Teil 5 zur
Umwandlung des Blickwinkels vereingt werden.
-
Im
vorliegenden Beispiel sind die installierten Zustände (Montagewinkel
(Aufnahmewinkel) oder eine Höhe
einer Montageposition) jeder der Kameras c1 bis c3 fest, so daß die überlagerten
Bereiche a (b) aller Überblicksbilder
f1, f2 (f1, f3) in konstanten Bereichen festgesetzt sind. In Anbetracht
dessen wird die Zusammensetzung der Bilder aus allen Überblicksbildern
f1 bis f3 zu dem breitbandigen Überblicksbild
kf durchgeführt,
indem eine Umwandlungstabelle für
die Zusammensetzung von Bildern verwendet wird wie beispielsweise
eine Tabelle zum Nachschlagen. Die Umwandlungstabelle für die Zusammensetzung
von Bildern ist beispielswiese in einem Teil 7a zum Speichern
wie beispielsweise einem ROM gespeichert, welches in dem Teil 7 zur
Zusammensetzung von Bildern angeordnet ist. Durch Verwendung der
Umwandlungstabelle zur Zusammensetzung von Bildern verringert sich
die Prozeßlast
der Zusammensetzung von Bildern aus allen Überblicksbildern f1 bis f3
zu dem breitbandigen Überblicksbild kf.
-
Der
Teil 9 zur Steuerung der Anzeige (1) wählt ein
Bild, das auf der Anzeigevorrichtung 11 angezeigt wird,
aus allen Bildern (den Überblicksbilder f1
bis f6 und dem breitbandigen Überblicksbild
kf), die von den einzelnen verarbeitenden Teilen 5, 7 erhalten
werden, basierend auf Fahrzeuginformationen von dem Fahrzeug 3,
und (2) spezifiziert einen Anzeigenbereich P (siehe 4C),
der auf der Anzeigevorrichtung 11 angezeigt wird, aus dem
gesamten Bereich des breitbandigen Überblicksbildes kf basierend
auf der Fahrzeuginformation (beispielsweise dem Be trag der Drehung
eines Hebels) von dem Fahrzeug 3, falls das breitbandige Überblicksbild
kf bei der Auswahl ausgewählt
worden ist.
-
Genauer
gesagt wird bei dem Prozeß nach (1),
wie er vorstehend beschrieben wurde, durch den Teil 9 zur
Steuerung der Anzeige ein Fahrzustand des Fahrzeugs 3 aus
der Fahrinformation von dem Fahrzeug 3 bestimmt, und, wenn
dessen Fahrzustand beispielsweise eine Zeit ist, in der die Vorwärtsbewegung
beginnt, oder die Zeit, in der eine Vorwärtsbewegung bei geringer Geschwindigkeit
erfolgt, wird beispielsweise das breitbandige Überblicksbild (das Bild, welches
die Umgebung der Vorderseite des Fahrzeugs 3 zeigt) kf
ausgewählt,
und wenn sein Fahrzustand beispielsweise eine Zeit ist, in der es rückwärts fährt, wird
beispielsweise das Überblicksbild
(Bild, das einen Bereich in der Nähe der Rückseite des Fahrzeugs 3 zeigt)
f6 ausgewählt.
-
In
dem Prozeß nach
(2), wie er vorstehend beschrieben worden ist, fixiert der Teil 9 zur
Steuerung der Anzeige beispielsweise eine Größe des Anzeigebereichs P auf
dieselbe Größe wie eine
Bildschirmgröße der Anzeige
der Anzeigevorrichtung 11, und spezifiziert eine Position
des Anzeigebereichts P durch Anzeigen der Position auf dem breitbandige Überblicksbild
kf von Seite zu Seite entsprechend beispielsweise dem Betrag der
Betätigung
des Hebels. D.h., der Teil 9 zur Steuerung der Anzeige
spezifiziert den mittleren Bereich (einen Bereich, der einen Bereich
in der Nähe
der Vorderseite des Fahrzeugs 3 zeigt) des breitbandigen Überblicksbildes
kf als den Anzeigebereich P, wenn beispielsweise der Betrag der
Drehung bzw. Betätigung
des Hebels gleich 0 ist, und spezifiziert einen Bereich (einen Bereich,
der eine Bewegungsrichtung des Fahrzeugs 3 zeigt), der
gegenüber
dem mittleren Bereich in dem Überblicksbild
kf zur linken Seite (rechten Seite) versetzt ist, und zwar um eine
Distanz, die ungefähr
proportional zu der Drehung bzw. Betätigung ist, als den Anzeigebereich
P, wenn ein Hebel nach links (rechts) gedreht wird. Als Ergebnis
dieses Vorgangs wird das breitbandige Überblicksbild kf von Seite
zu Seite entsprechend der Drehung des Hebels gescrollt und in der
Anzeigevorrichtung 11 angezeigt.
-
Hier
wählt,
basierend auf einer Eingabeoperation, die in einen Teil zur Eingabe
vorbestimmter Operationen eingegeben wird, der Teil 9 zur
Steuerung der Anzeige weiterhin ein Bild, das durch die Eingabeoperation
spezifiziert ist, unter allen Bildern f1 bis f6 und kf aus, die
von den einzelnen verarbeitenden Teilen 5, 7 erhalten
werden, um es als Bild auf der Anzeigevorrichtung 11 darzustellen.
-
Der
Teil 10 zur Überlagerung
von Bildern überlagert
beispielsweise ein Symbol (ein Symbol, das Instruktionen zur Aufnahmerichtung
zeigt) (nicht dargestellt), welches eine Richtungsbeziehung zwischen
dem Fahrzeug 3 und beispielsweise einer Szene anzeigt,
die in einem Bildbereich des Anzeigebereichs P, der spezifiziert
wurde, dargestellt wird, oder einer Szene, die in dem Überblicksbild
gezeigt wird, welches als ein Bild zur Überlagerung gewählt worden
ist, und zwar beispielsweise einem Bereich in der Nähe der Kante
eines Bildbereichs des Anzeigebereichs P des breitbandigen Überblicksbildes
kf, das durch den Teil 9 zur Steuerung der Anzeige spezifiziert
ist, oder dem Überblicksbild
(irgendeinem der Bilder f1 bis f6), welches durch den Teil 9 zur
Steuerung der Anzeige ausgewählt
worden ist.
-
Hier
wird das Symbol für
Instrutionen bezüglich
der Aufnahmerichtung als das Bild zur Überlagerung überlagert,
doch statt dessen kann beispielsweise ein Warnhinweis (z.B. "überprüfe direkt") oder eine Reisevorhersagekurve des
Fahrzeugs 3 überlagert werden,
die aus dem Betrag der Drehung des Hebels berechnet wird.
-
Das Überblicksbild
(irgendeines der Überblicksbilder
f1 bis f6 oder der Bildbereich des Anzeigebereichs P des breitbandigen Überblicksbildes
kf), auf dem das Bild zur Überlagerung
(beispielsweise das Symbol für
Instruktionen bezüglich
der Aufnahmerichtung) durch den Teil 10 zur Überlagerung
von Bildern überlagert
wird und durch den Teil 9 zur Steuerung der Anzeige ausgewählt wird,
wird auf der Anzeigevorrichtung 11 dargestellt. D.h., wenn
ein breitbandiges Überblicksbild
kf durch den Teil 9 zur Steuerung der Anzeige ausgewählt ist,
wird der Bildbereich des Anzeigebereichs P des breitbandigen Überblicksbildes
kf auf der Anzeigevorrichtung 11 angezeigt, so daß es von
Seite zu Seite entsprechend beispielsweise der Drehung des Hebels
gescrollt werden kann, und es wird auch das Bild zur Überlagerung
auf einem vorbestimmten Teil (beispielsweise einem Bereich in der
Nähe der
Kante) auf dem angezeigten Bild überlagert
und angezeigt. Auf der anderen Seite wird, wenn ein Überblicksbild
(irgendeines der Bilder f1 bis f6) durch den Teil 9 zur
Steuerung der Anzeige ausgewählt
ist, dieses Überblicksbild
auf der Anzeigevorrichtung 11 angezeigt und es wird auch das
Bild zur Überlagerung
in einem vorbestimmten Bereich (beispielsweise ein Bereich in der
Nähe der Kante)
des angezeigten Bildes überlagert
und dargestellt.
-
Bei
der Überwachungsvorrichtung 1,
die wie vorstehend beschrieben aufgebaut ist, wird eine Umwandlung
des Blickwinkels jedes der aufgenommenen Bilder g1 bis g3 der mehreren
Kameras c1 bis c3 in Überblicksbilder
f1 bis f3 mit demselben Neigungswinkel durchgeführt, und jedes der resultierenden Überblicksbilder
f1 bis f3 wird vereinigt, so daß dieselben
Szenenbereiche der Überblicksbilder überlagert
werden, und das breitbandige Überblicksbild
kf wird erzeugt, so daß das
breitbandige Überblicksbild kf,
welches einen weiten Bereich zeigt, mit niedrigen Kosten erhalten
werden kann, wobei alle aufgenommenen Bilder g1 bis g3 der mehreren
Kameras c1 bis c3 verwendet werden.
-
Es
wird ein Bild des überlagerten
Bereichs a1 oder a2 (b1 oder b2) in dem Überblicksbild mit der höchsten Bildqualität des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3), die den überlagerten
Bereich a (b) zeigen, als ein Bild des überlagerten Bereichs a (b)
des breitbandigen Überblicksbildes
kf verwendet, so daß das
Bild des überlagerten
Bereichs a (b) des breitbandigen Überblicksbildes kf in ein Bild
ausgebildet werden kann, bei dem Verzerrungen bzw. Störungen der
Bildqualität
oder Verschlechterungen der Bildqualität gering sind, so daß ein breitbandiges Überblicksbild
kf mit hoher Qualität
erhalten werden kann.
-
Im
vorliegenden Fall wird das Überblicksbild, bei
dem der Betrag der Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels am
geringsten ist, als dasjenige Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1, f3)
ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf enthalten, so daß das Überblicksbild
mit der höchsten
Qualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt
werden kann, die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen, und zwar anhand eines einfachen Kriteriums.
-
Die
mehreren Kameras c1 bis c3 sind an dem Fahrzeug 3 angeordnet
und bilden die Umgebung des Fahrzeugs ab, so daß das breitbandige Überblicksbild
kf, in welchem die Umgebung des Fahrzeugs 3 dargestellt
wird, erhalten werden kann, und dieses breitbandige Überblicksbild
der Umgebung des Fahrzeugs einem Insassen des Fahrzeugs 3 zur
Verfügung
gestellt werden kann.
-
<Erste modifizierte Ausführung>
-
In
der vorstehend beschriebenen Ausführung wird dasjenige Überblicksbild,
bei dem der Betrag der Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels
am geringsten ist, als dasjenige Überblicksbild mit der höchsten Bildqualität des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf enthalten. Jedoch kann statt dessen das Überblicksbild ausgewählt werden, bei
dem die Auflösung
des überlagerten
Bereichs a1, a2 (b1, b2) am höchsten
ist. Dies berücksichtigt
die Tatsache, daß,
wenn die Auflösung
hoch ist, ein Bild scharf und die Bildqualität hoch wird.
-
Hier
(in einem Zustand, in welchem alle Kameras c1 bis c6 nach 2 und 3 an
dem Fahrzeug installiert sind) ist, bezugnehmend auf 4A und 4B bezüglich der
Auflösung
des überlagerten
Bereichs a1 des Überblicksbildes
f1 derselbe Szenenbereich (beispielsweise ein Gegenstand Q, der
auf einer Fahrbahnoberfläche
dargestellt ist), der in dem überlagerten
Bereich a1 gezeigt ist, in einem entsprechenden Bereich a1' des aufgenommenen Bildes
g1 in einem Zustand gezeigt, bei dem derselbe Szenenbereich nicht
zu sehr in vertikaler Richtungs eines Bildes herunterskallierte
wird, und ist in dem überlagerten
Bereich a1 des Überblicksbildes
f1 in einem Zustand gezeigt, in welchem derselbe Szenenbereich in
der vertikalen Richtung des Bildes nicht zu sehr hoch skaliert ist,
und daher wird derselbe Szenenbereich in einem Zustand gezeigt,
in welchem derselbe Szenenbereich nicht zu sehr in der vertikalen
Richtung des Bildes hochskaliert wird, und zwar vor und nach der
Umwandlung des Blickwinkels, so daß die Auflösung nicht zu sehr reduziert
wird.
-
Auf
der anderen Seite wird bezüglich
der Auflösung
des überlagerten
Bereichs a2 des Überblicksbildes
f2 derselbe Szenenbereich (beispielsweise der Gegenstand Q), der
in dem überlagerten Bereich
a2 gezeigt wird, in einem entsprechenden Bereich a2' des aufgenommenen
Bildes g2 in einem Zustand gezeigt, der relativ deutlich in der
vertikalen Richtung des Bildes herunterskalliert wird, und wird
in dem überlagerten
Bereich a2 des Überblicksbildes
f2 in einem Zustand gezeigt, in dem er relativ signifikant in der
vertikalen Richtung des Bildes hochskalliert ist, und daher wird
derselbe Szenenbereich in einem Zustand gezeigt, in welchem er relativ
deutlich in der vertikalen Richtung des Bildes hochskalliert ist,
und zwar vor und nach Umwandlung des Blickwinkels, so daß die Auflösung sich
relativ significant reduziert.
-
Daher
ist die Auflösung
des überlagerten
Bereichs a1 des Überblicksbildes
f1 höher
als die Auflösung
des überlagerten
Bereichs a2 des Überblicksbildes
f2 und folglich wird ein Bild des überlagerten Bereichs a1 des Überblicksbildes
f1 als ein Bild des überlagerten
Bereichs a des breitbandigen Überblicksbildes
kf verwendet. Auf ähnliche
Weise wird beispielsweise ein Bild des überlagerten Bereichs b1 des Überblicksbildes
f1 als ein Bild des überlagerten Bereichs
b des breitbandigen Überblicksbildes
kf verwendet.
-
Gemäß dieser
modifizierten Ausführung
wird das Überblicksbild,
bei welchem die Auflösung
des Bildes des überlagerten
Bereichs a1, a2 (b1, b2) am höchsten
ist, als das Überblicksbild
mit der höchsten Bildqualität des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Über blicksbildern f1, f2 (f1,
f3) ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen, so daß das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt
werden kann, die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen, und zwar wiederum anhand eines einfachen Kriteriums (Auswahlkriteriums).
-
<Zweite modifizierte Ausführung>
-
In
der vorstehend beschriebenen Ausführung wird das Überblicksbild,
bei dem der Betrag der Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels
am kleinsten ist, als da Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen. Statt dessen kann jedoch das Überblicksbild ausgewählt werden,
bei dem derselbe Szenenbereich, der in den Bildbereichen a1', a2' (b1', b2') vor der Umwandlung
des Blickwinkels des überlagerten
Bereichs a1, a2 (b1, b2) dargestellt ist, am größten dargestellt ist.
-
Dies
berücksichtigt
die Tatsache, daß,
wenn eine Szene groß in
einem Bildbereich vor der Umwandlung des Blickwinkels gezeigt wird,
die Bildinformation über
die Szene in großem
Maße in
dem Bildbereich vor der Umwandlung des Blickwinkels enthalten ist
und daher die Bildinformation über
diese Szene ebenfalls in großem
Maße in
dem Bildbereich nach der Umwandlung des Blickwinkels enthalten ist. Daher
ist die Bildqualität
des Bildes nach der Umwandlung des Blickwinkels hoch.
-
Hier
(im Fall eines Zustandes, in welchem alle Kameras c1 bis c6 entsprechend 2 und 3 an
dem Fahrzeug installiert sind) wird, wie in 4A und 4b zu
sehen, derselbe Szenenbereich (beispielsweise Gegenstand Q, der
auf einer Fahrbahn dargestellt ist), der in einem Bildbereich (d.h.,
einem entsprechenden Bereich a1' des
aufgenommenen Bildes g1) vor der Umwandlung des Blickwinkels des überlagerten
Bereichs a1 des Überblicksbildes
f1 gezeigt ist, in einem Zustand gezeigt, in welchem derselbe Szenenbereich
nicht zu sehr in einer vertikalen Richtung eines Bildes herunterskaliert
ist, aber derselbe Szenenbereich (Gegenstand Q), der in einem Bildbereich
(d.h., einem entsprechenden Bereich a2' des aufgenommenen Bildes g2) vor der
Umwandlung des Blickwinkels des überlagerten
Bereichs a2 des Überblicksbildes
f2 gezeigt ist, ist in einem Zustand gezeigt, der relativ signifikant
in der vertikalen Richtung des Bildes herunterskaliert wird.
-
Daher
wird derselbe Szenenbereich, der in dem Bildbereich a1' vor der Umwandlung
des Blickwinkels des überlagerten
Bereichs a1 des Überblicksbildes
f1 gezeigt ist, größer gezeigt
als derselbe Szenenbereich, der in dem Bildbereich a2 vor der Umwandlung
des Blickwinkels des überlagerten
Bereichs a2 des Überblicksbildes
f2 gezeigt ist, so daß ein
Bild des überlagerten
Bereichs a1 des Überblicksbildes
f1 als ein Bild des überlagerten
Bereichs a des breitbandigen Überblicksbildes
kf gewählt
wird. Auf ähnliche
Weise wird beispielsweise ein Bild des überlagerten Bereichs b1 des Überblicksbildes
f1 als ein Bild des überlagerten
Bereichs b des breitbandigen Überblicksbildes
kf gewählt.
-
Gemäß dieser
modifizierten Ausführung
wird das Überblicksbild,
in welchem derselbe Szenenbereich, der in dem Bildbereich a1', a2' (b1', b2') vor dem Umwandlung
des Blickwinkels des überlagerten Bereichs
a1, a2 (b1, b2) am größten gezeigt
ist, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
enthalten, so daß das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1, f3)
ausgewählt
werden kann, die den überlagerten Bereich
a (b) des breitbandigen Überblicksbildes
kf enthalten, und zwar wiederum anhand eines einfachen Kriteriums
(Auswahlkriteriums).
-
<Dritte modifizierte Ausführung>
-
Bei
der oben beschriebenen Ausführung wird
das Überblicksbild,
bei welchem der Betrag der Änderung
des Neigungswinkels vor und nach der Umwandlung des Blickwinkels
am geringsten ist, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen. Anstelle dessen kann jedoch das Überblicksbild ausgewählt werden,
bei welchem die Störung
bzw. Verzerrung der Bilder des überlagerten
Bereichs a1, a2 (b1, b2) am geringsten ist. Dies zieht die Tatsache
in Betracht, daß die
Bildqualität
hoch ist, wenn die Störung
bzw. Verzerrung eines Bildes gering ist.
-
Hierbei
(im Fall eines Zustandes, daß alle Kameras
c1 bis c6 wie in den 2 und 3 an dem
Fahrzeug installiert sind) wird, wie aus 4A und 4B zu
sehen, bezüglich
eines Bildes des überlagerten
Bereichs a1 des Überblicksbildes
f1 derselbe Szenenbereich (beispielsweise ein Gegenstand Q, der
auf einer Fahrbahnoberfläche
dargestellt ist), der in dem überlagerten
Bereich a1 gezeigt ist, nicht zu sehr in einer vertikalen Richtung
des Bildes deformiert (hochskaliert), so daß hier keine allzu große Störung bzw.
Verzerrung auftritt. Jedoch wird bezüglich eines Bildes des überlagerten
Bereichs a2 des Überblicksbildes
f2 derselbe Szenenbereich (Gegenstand Q), der in dem überlagerten
Bereich a2 dargestellt wird, relativ signifikant in der vertikalen Richtung
des Bildes deformiert (hochskaliert), so daß das Bild relativ signifikant
verzerrt bzw. gestört
ist.
-
Daher
ist die Störung
bzw. Verzerrung des Bildes des überlagerten
Bereichs a1 des Überblicksbildes
f1 kleiner als die des Bildes des überlagerten Bereichs a2 des Überblicksbildes
f2 und folglich wird das Bild des überlagerten Bereichs a1 des Überblicksbildes
f1 als ein Bild des überlagerten
Bereichs a des breitbandigen Überblicksbildes
kf ausgewählt. Auf ähnliche
Weise ergibt sich das Bild des überlagerten
Bereichs b1 des Überblicksbildes
f1, das als ein Bild des überlagerten
Bereichs b des breitbandigen Überblicksbildes
kf ausgewählt
wird.
-
Gemäß dieser
modifizierten Ausführung
wird das Überblicksbild,
bei dem die Störung
bzw. Verzerrung des Bildes des überlagerten
Bereiches a1, a2 (b1, b2) am geringsten ist, als das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1, f3)
ausgewählt,
die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
kf zeigen, so daß das Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs a1, a2 (b1, b2) unter allen Überblicksbildern f1, f2 (f1,
f3) ausgewählt
werden kann, die den überlagerten
Bereich a (b) des breitbandigen Überblicksbildes
enthalten, und zwar wiederum anhand eines einfachen Kriteriums (Auswahlkriteriums).
-
Eine
Ausführung
der vorliegenden Erfindung läßt sich
auch wie folgt zusammenfassen:
Eine Überwachungsvorrichtung umfaßt mehrere
Aufnahmeeinheiten; eine Einheit zur Umwandlung des Blickwinkels,
die eine Umwandlung des Blickwinkels für jedes aufgenommene Bild der
mehreren Aufnahmeeinheiten in ein Überblicksbild mit demselben
Neigungswinkel durchführt;
und eine Einheit zur Zusammensetzung von Bildern, die alle Überblicksbilder, die
von der Einheit zur Umwandlung des Blickwinkels erhalten werden,
vereint, um dieselben Szenenbereich aller Überblicksbilder zu überlagern,
und ein breitbandiges Überblicksbild
erzeugt. Die Einheit zur Zusammensetzung von Bildern verwendet ein
Bild eines überlagerten
Bereichs in dem Überblicksbild
mit der höchsten
Bildqualität
des überlagerten
Bereichs unter allen Überblicksbildern,
die den überlagerten Bereich
enthalten, als ein Bild des überlagerten
Bereichs des breitbandigen Überblicksbildes.