DE112016003517T5

DE112016003517T5 - Vorrichtung zum Darstellen von Unterstützungsbildern für einen Fahrer und Verfahren dazu

Info

Publication number: DE112016003517T5
Application number: DE112016003517.9T
Authority: DE
Inventors: Nobuyuki Yokota
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-08-04
Filing date: 2016-07-21
Publication date: 2018-04-26
Also published as: US20180229656A1; CN107852483A; JP2017034543A; WO2017022496A1; US10464484B2; CN107852483B; JP6406159B2

Abstract

Eine Anzeigesteuervorrichtung (1), die in einem Fahrzeug verbaut ist, weist eine Blickpunktkonversionseinheit (22), eine Bildverbesserungseinheit (25) und eine Bildausgabeeinheit (26) auf. Die Bilderkennungseinheit (21) erkennt ein Objekt in Bildern, die von einer Vielzahl von Abbildungsvorrichtungen (10) aufgenommen wurden, die an einem Fahrzeug verbaut sind, um Bilder aufzunehmen, die das Fahrzeug umgeben. Die Blickpunktkonversionseinheit (22) spezifiziert eine Abbildungsvorrichtung, welche ein Bild aufnimmt, welches ein von der Erkennungseinheit erkanntes Bild beinhaltet, als eine Erkennungsabbildungsvorrichtung, und konvertiert das aufgenommene Bild zu einem blickpunktkonvertierten Bild, das von einem virtuellen Punkt aus gesehen wird, der der Erkennungsabbildungsvorrichtung entspricht. Die Bildverbesserungseinheit (25) verbessert einen Abbildungsbereich des Objekts, der in dem blickpunktkonvertierten Bild enthalten ist. Das blickpunktkonvertierte Bild mit dem verbesserten Abbildungsbereich des Objekts wird von der Bildausgabeeinheit als ein Fahrunterstützungsbild an eine Anzeige ausgegeben.

Description

[Technisches Gebiet]
Die Erfindung betrifft eine Anzeigesteuertechnik zum Bereitstellen von Fahrunterstützungsbildern für einen Fahrer eines Fahrzeugs, und bezieht sich insbesondere auf eine Anzeigesteuertechnik, welche einem Fahrer auf der Grundlage von von einer Vielzahl von Abbildungsvorrichtungen erhaltenen Bilddaten Fahrunterstützungsbilder bereitstellt, wobei jede Abbildungsvorrichtung Bilder in jeder von Regionen aufnimmt, die das Fahrzeug, in welchem die Abbildungsvorrichtungen verbaut sind, umgeben.
[Verwandter Stand der Technik]
Konventionell bekannt ist eine Technik des Steuerns einer fahrzeugeigenen Anzeige, welche unter Verwendung von an dem Fahrzeug verbauten Kameras Objekte in einem Umgebungsbereich des Fahrzeugs erfasst. In diesen Techniken konvertiert die Anzeigesteuerung ein Bild, welches ein Objekt beinhaltet, zu einem Bild, das von einem virtuellen Blickpunkt aus gesehen wird, und gibt das blickpunktkonvertierte Bild als ein Fahrzeugunterstützungsbild an die in dem Fahrzeug verbaute Anzeige aus.
Eine konventionelle Technik, wie sie zum Beispiel in der JP 5681569 offenbart ist, schlägt vor, dass ein Fahrzeug, welches sich einem Host- bzw. Gastfahrzeug von einer Heckseite desselben nähert, erfasst wird, mit zunehmender Nähe des sich nähernden Fahrzeug zu dem Gastfahrzeug ein virtueller Blickpunkt vergrößert wird, und eine Blickpunktposition aus eine Position eines Fahrers des sich nähernden Fahrzeugs festgelegt wird.
[Zitierungsliste]
[Patentdokumente]
[Patentdokument 1] JP 5681569
[Technisches Problem]
Jedoch nimmt in Übereinstimmung mit der konventionell vorgeschlagenen Technik, da es notwendig ist, einen komplexen Prozess zum Festlegen des virtuellen Blickpunkts in Übereinstimmung mit der erfassten Position eines Objekts und einer Gastfahrzeugposition durchzuführen, die Verarbeitungslast zu, so dass daher Zeit benötigt wird, um das blickpunktkonvertierte Bild zu generieren. Es wird daher in Betracht gezogen, dass eine auf eine Fahrunterstützung bezogene Echtzeit verlorengeht.
In Anbetracht der vorstehenden Probleme zielt die Erfindung darauf ab, eine Anzeigesteuertechnik bereitzustellen, in welcher blickpunktkonvertierte Bilder unter Verwendung eines vereinfachten Prozesses generiert werden, um eine Echtzeit-Fahrunterstützung sicherzustellen.
Kurzbeschreibung
Ein Aspekt der Erfindung ist eine Anzeigesteuervorrichtung, die in einem Fahrzeug installiert ist und eine Bilderkennungseinheit, eine Blickpunktkonversionseinheit, eine Bildverbesserungseinheit und eine Bildausgabeeinheit aufweist. Die Bilderkennungseinheit erkennt vorbestimmte Objekte in Bildern, die von einer Vielzahl von Abbildungsvorrichtungen aufgenommen wurden, die an einem Fahrzeug verbaut sind, woraufhin jede Abbildungsvorrichtung eine Abbildungsregion in einem umgebenden Bereich des Fahrzeugs aufnimmt.
Die Blickpunktkonversionseinheit spezifiziert eine Abbildungsvorrichtung, die Bilder aufnimmt, welche ein Objekt beinhalten, das von der Bilderkennungseinheit erkannt wurde, als eine Erkennungsabbildungsvorrichtung, und konvertiert die aufgenommenen Bilder zu blickpunktkonvertierten Bildern, von welchen jedes von einem virtuellen Blickpunkt aus gesehen wird, der der Erkennungsabbildungsvorrichtung vorab zugewiesen ist.
Die Bildverbesserungseinheit verbessert einen Bildbereich des Objekts, das in einem blickpunktkonvertierten Bild enthalten ist, das an der Blickpunktkonversionseinheit konvertiert wurde. In dieser Weise wird ein blickpunktkonvertiertes Bild mit dem verbesserten, d.h. visuell prominenten bzw. hervorgehobenen, Bildbereich des Objekts, welches von der Bildverbesserungseinheit durchgeführt wird, von der Bildausgabeeinheit als ein Fahrunterstützungsbild an eine in dem Fahrzeug verbaute Anzeigevorrichtung ausgegeben.
In Übereinstimmung mit der Konfiguration kann, da der virtuelle Blickpunkt durch Spezifikation nur der Abbildungsvorrichtung, welche das Objekt aufnimmt, festgelegt werden kann, ein blickpunktkonvertiertes Bild folglich durch einen vereinfachten Prozess anstelle eines komplexen Prozesses, wie beispielsweise konventionell vorgeschlagene Techniken, generiert bzw. erzeugt werden. Infolge dessen kann auch ein Beitrag einer echtzeitbezogenen Fahrunterstützung sichergestellt werden.
Da das blickpunktkonvertierte Bild mit einem visuell verbesserten bzw. hervorgehobenen Objekt als das Fahrunterstützungsbild ausgegeben wird, kann das Vorhandensein zum Beispiel eines Fußgängers oder eines anderen Fahrzeugs in der Umgebung des Fahrzeugs einem Fahrer des Fahrzeugs klarer bzw. deutlicher dargestellt werden.
Darüber hinaus kann dieselbe Wirkung wie bei dem vorangehenden Aspekt der Anzeigesteuervorrichtung, die in einem Fahrzeug verbaut ist, aus denselben, vorstehend erwähnten Gründen mit einem Anzeigesteuerverfahren gemäß einem anderen Aspekt der Erfindung erhalten werden.
Es versteht sich, dass Symbole in der Zusammenfassung und in den Ansprüchen dazu verwendet werden, eine entsprechende Beziehung zwischen bestimmten Mitteln als einer in bevorzugten Ausführungsbeispielen beschriebenen Ausführungsform aufzuzeigen, und eine technische Reichweite der Erfindung nicht beschränken.
Figurenliste
In den beigefügten Zeichnungen:

1 ist ein Blockdiagramm, das eine Konfiguration einer Anzeigesteuervorrichtung 1, die in einem Fahrzeug verbaut ist, gemäß einem Ausführungsbeispiel zeigt;
2 ist eine beschreibende Zeichnung, die jede Abbildungsregion einer Vielzahl von Kameras 10, die an einem Gastfahrzeug verbaut sind, gemäß dem Ausführungsbeispiel zeigt;
3 ist ein Blockdiagramm, das eine funktionelle Konfiguration einer Anzeigesteuereinheit 20 gemäß dem Ausführungsbeispiel zeigt;
4 ist ein beschreibendes Diagramm, welches eine grundlegende Entsprechungstabelle (in Figur (A)) und eine ergänzende Entsprechungstabelle (in Figur (B)) beinhaltet;
5 ist ein beschreibendes Diagramm, welches eine Beschreibung eines virtuellen Blickpunkts in einer Front- und Heck-Richtung des Gastfahrzeugs (in Figur (A)), eine Beschreibung des virtuellen Blickpunkts in einer Links-Rechts-Richtung (in Figur (B)) und ein beschreibendes Diagramm des virtuellen Blickpunkts in einer Neigungsrichtung des Gastfahrzeugs (gleiche Figur (C)) beinhaltet;
6 beinhaltet ein Bild, das ein synthetisiertes Bild (in Figur (A)) zeigt, und ein Bild, das ein Fahrunterstützungsbild mit einem zu diesem hinzugefügten verbesserten Bild zeigt;
7 ist ein Ablaufdiagramm, das einen Festlegeprozess eines virtuellen Blickpunkts des Ausführungsbeispiels zeigt;
8 ist ein Ablaufdiagramm, das einen vereinfachten Tabellenauswahlprozess gemäß dem Ausführungsbeispiel zeigt;
9 ist ein Ablaufdiagramm, das beispielhaft einen Überblendungsverhältnisfestlegeprozess gemäß dem Ausführungsbeispiel darstellt; und
10 ist ein beschreibendes Diagramm, das ein Bild eines blickpunktkonvertierten Bildbereichs eines Objekts auf der Grundlage eines von einer Heckkamera 4 (in Figur (A)), ein beispielhaftes Bild des blickpunktkonvertierten Bildbereichs des Objekts auf der Grundlage des aufgenommenen Bilds einer rechtsseitigen Kamera 6 (in Figur (B)), ein beispielhaftes Bild eines überlappenden Bildbereichs beider blickpunktkonvertierter Bildbereiche, synthetisiert bei einem Überblendverhältnis von 50% (in Figur (C)) und ein beispielhaftes Bild des überlappenden Bildbereichs der beiden blickpunktkonvertierter Bildbereiche, synthetisiert bei einem Überblendverhältnis von 70%:30% (in Figur (D)) beinhaltet.

[Ausführungsbeispiele der Erfindung]
Nachstehend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf Figuren beschrieben.
[Erstes Ausführungsbeispiel]
Eine Anzeigesteuervorrichtung 1, die in einem Fahrzeug verbaut ist, weist eine Vielzahl von Kameras 10, eine Anzeigesteuereinheit 20 und eine Anzeige 30 auf. Die in einem Fahrzeug verbaute Anzeigesteuereinheit 1 mit einem fahrzeuginternen Lokalbereichsnetzwerk (hierin als ein fahrzeuginternes LAN bezeichnet) verbunden, obwohl dies in den Figuren nicht gezeigt ist. Das LAN ist dazu konfiguriert, fahrzeugbezogene Information zu teilen, zum Beispiel Information, die von jeder Sensorart zwischen anderen elektronischen Steuereinheiten (hierin als ECU bezeichnet), welche mit dem fahrzeuginternen LAN verbunden sind, erfasst wurde.
Ein Fahrzeug, in welchem konfigurierende Elemente verbaut sind, wird als ein Host- bzw. Gastfahrzeug bezeichnet. Es versteht sich, dass die Anzeigesteuereinheit 20 in dem ersten Ausführungsbeispiel eine Verarbeitungsvorrichtung ist, welche Bilddaten verarbeitet, die von der Vielzahl von Kameras 10 (im Einzelnen nachstehend beschrieben) aufgenommen wurden.
Es wird angemerkt, dass das fahrzeuginterne LAN ein Lokalbereichsnetzwerk ist, das innerhalb des Gastfahrzeugs genutzt wird. Das LAN verwendet ein Funkkommunikationsprotokoll wie beispielsweise CAN (Controller Area Network), FlexRay, LIN (Local Interconnect Network), MOST (Motor Oriented Systems Transport Network), AVC-LAN (Audio and Video Communication LAN), um zum Beispiel jede Art von fahrzeugbezogener Information zu übertragen. In dem ersten Ausführungsbeispiel wird Information, die eine Fahrtrichtung des Gastfahrzeugs zeigt (zum Beispiel eine Schalthebelposition, eine Lenkrichtung und andere manipulierte Variablen wie beispielsweise eine Beschleunigerpedalvariable), als fahrzeugbezogene Information von einer anderen ECU an die Anzeigesteuervorrichtung 1 übertragen, die in dem Fahrzeug verbaut ist.
Die Kameras 10 sind eine Vielzahl von an dem Fahrzeug verbauten Abbildungsvorrichtungen, die zum Abbilden der Umgebung des Gastfahrzeugs verwendet werden. Genauer ist jede Kamera 10 an einer jeweiligen vorderen, hinteren, linken und rechten Position des Gastfahrzeugs angebracht. In dem ersten Ausführungsbeispiel ist jede Kamera 10 in Übereinstimmung mit der Montageposition und der Abbildungsregion jeder an dem Gastfahrzeug verbauten Kamera allgemein als eine Frontkamera 2, eine Heckkamera 4, eine Rechtsseitenkamera 6 und eine Linksseitenkamera 8 klassifiziert. Wie in 2 gezeigt ist, ist die Frontkamera 2 an einem vorderen Abschnitt des Gastfahrzeugs (zum Beispiel in einer Mitte des Frontabschnitts) angebracht und bildet eine Frontregion A1 des Gastfahrzeugs ab. Es wird angemerkt, dass die Heckkamera 4 an einem hinteren Abschnitt des Gastfahrzeugs (zum Beispiel in einer Mitte des Heckabschnitts) angebracht ist und eine Heckregion A2 des Gastfahrzeugs abbildet. Die Rechtsseitenkamera 6 ist an einem rechtsseitigen Abschnitt des Gastfahrzeugs (zum Beispiel einem rechtseitigen Rückspiegelabschnitt) angebracht und bildet eine Rechtsseitenregion A3 des Gastfahrzeugs ab. Die Linksseitenkamera 8 ist an einem linksseitigen Abschnitt des Gastfahrzeugs (zum Beispiel einem linksseitigen Rückspiegelabschnitt) angebracht und bildet eine Linksseitenregion A4 des Gastfahrzeugs ab.
Jede Kamera 10 ist so an dem Gastfahrzeug verbaut, dass ein Teil jeder Abbildungsregion mit einem Teil einer Abbildungsregion zumindest einer anderen Kamera 10 überlappt (in der Spezifikation der Erfindung hierin als eine überlappende Region bzw. Überlappungsregion bezeichnet). Zum Beispiel beinhaltet, wie in 2 gezeigt, die Frontregion A1, welche die Abbildungsregion der Frontkamera 2 ist, eine vordere rechte Überlappungsregion OA1 und eine vordere linke Überlappungsregion OA2. Die vordere rechte Überlappungsregion OA1 überlappt speziell mit einem Teil der Rechtsseitenregion A3, welche die Abbildungsregion der Rechtsseitenkamera 6 ist, und die vorderen linke Überlappungsregion OA2 überlappt speziell mit einem Teil der Linksseitenregion A4, welche die Abbildungsregion der Linksseitenkamera 8 ist. In derselben Weise beinhaltet die Heckregion A2, welche die Abbildungsregion der Heckkamera 4 ist, eine hintere rechte Überlappungsregion OA3 und einen hinteren linken Überlappungsbereich OA4. Die hintere rechte Überlappungsregion OA3 überlappt speziell mit einem Teil der Rechtsseitenregion A3, welche eine Abbildungsregion der Rechtsseitenkamera 6 ist, und die hintere linke Überlappungsregion OA4 überlappt speziell mit einem Teil der Linksseitenregion A4, welche eine Abbildungsregion der Linksseitenkamera 8 ist. Das heißt, die Überlappungsregionen sind Regionen, in welchen zumindest eine der zwei Kameras 10 dazu betreibbar ist, Bilder aufzunehmen.
Wie in 2 gezeigt ist, wird in der Frontregion A1 eine andere Region als die vordere rechte Überlappungsregion OA1 und die vordere linke Überlappungsregion OA2 als eine vordere einzelne Region bzw. Einzelregion SA1 bezeichnet. In der Heckregion A2 wird eine andere Region als die hintere rechte Überlappungsregion OA3 und die hintere linke Überlappungsregion OA4 als eine hintere einzelne Region SA2 bezeichnet. In derselben Weise wird in der Rechtsseitenregion A3 eine andere Region als die vordere rechte Überlappungsregion OA1 und die hintere rechte Überlappungsregion OA3 als eine rechtsseitige einzelne Region SA3 bezeichnet. In der Linksseitenregion A4 wird eine andere Region als die vordere linke Überlappungsregion OA2 und die hintere linke Überlappungsregion OA4 als eine linksseitige einzelne Region SA4 bezeichnet. Das heißt, ein Abbilden in der Frontregion A1, welches nur durch die Frontkamera 2 durchgeführt werden kann, wird als die vordere einzelne Region SA1 bezeichnet, und ein Abbilden in der Heckregion A2, welches nur durch die Heckkamera durchgeführt werden kann, wird als die hintere einzelne Region SA2 bezeichnet. Ferner wird ein Abbilden in der Rechtsseitenregion A3, welches nur durch die Rechtsseitenkamera 6 durchgeführt werden kann, als die rechtsseitige einzelne Region SA3 bezeichnet, und wird ein Abbilden in der Linksseitenregion A4, welches nur durch die Linksseitenkamera 8 durchgeführt werden kann, als die linksseitige einzelne Region SA4 bezeichnet.
Die Anzeige 30 ist in dem Gastfahrzeug als zum Beispiel als eine Anzeigevorrichtung installiert. Zum Beispiel ist die Anzeige 30 aus einer Flüssigkristallanzeige, einer Blickfelddarstellungsanzeige bzw. Head-Up-Anzeige, oder beiden der erwähnten Anzeigen kombiniert, konfiguriert und an einer Position verbaut, welche von dem Fahrer des Gastfahrzeugs leicht einsehbar ist.
Die Anzeigesteuereinheit 20, das heißt, eine Verarbeitungsvorrichtung, ist hauptsächlich aus einem bekannten Mikrocomputer und einer fahrzeuginternen LAN-Kommunikationssteuereinrichtung konfiguriert. Der Mikrocomputer weist eine CPU 12 (zentrale Verarbeitungseinheit) und ein RAM 14A (Direktzugriffsspeicher), ein ROM 14B (Nurlesespeicher) und einen Halbleiterspeicher 14C wie beispielsweise einen Flash-Speicher auf. Das jeweilige RAM 14A, ROM 14B und der Halbleiterspeicher 14C werden hierin der Einfachheit halber als ein ‚Speicher 14‘ bezeichnet. Die CPU 12 führt jede Art von Prozess auf der Grundlage eines in dem Speicher 14 gespeicherten digitalen Computerprogramms aus. Genauer führt dieses Programm ein Verfahren entsprechend zum Beispiel einem Anzeigesteuerprogramm aus.
Es versteht sich, dass ein Mikrocomputer oder eine Vielzahl von Mikrocomputern in der Anzeigesteuereinheit 20 bereitgestellt sein können, wobei jeder Anbringungsort des einzelnen oder der mehreren Mikrocomputer(s) beliebig irgendwo innerhalb des Gastfahrzeugs bereitgestellt sein kann. Es wird ebenfalls angemerkt, dass das ROM 14B des Speichers 14 als ein nicht flüchtiges Speichermedium arbeitet.
Die Anzeigesteuereinheit 20 ist funktionell mit einer Bilderkennungseinheit 21, einer Blickpunktkonversionseinheit 22, einer Bildsyntheseeinheit 23, einer Bildfestlegeeinheit 24, einer Bildverbesserungseinheit 25 und einer Bildausgabeeinheit 26 versehen, welche durch Ausführung jeder von der CPU 12 durchgeführten Prozessart funktionell aktualisiert wird. Die Anzeigesteuereinheit 20 kann darüber hinaus konfigurierte Hardware zum Ausführen dieser Funktion in Teilen oder insgesamt unter Verwendung einer oder mehrerer elektronischer Schaltungen(en), zum Beispiel logischer Schaltungen oder integrierter bzw. IC-Schaltungen, sein.
Die Bilderkennungseinheit 21 ist mit einer Funktion versehen zum Erkennen vorbestimmter Objekte in jedem Bild. Das Objekt ist zum Beispiel ein Fußgänger oder ein anderes Fahrzeug. Es kommt in Betracht, dass der Fahrer des Gastfahrzeugs in Anbetracht einer Fahrunterstützung in erwünschter Weise über das Vorhandensein des Objekts informiert wird. Die Erkennung eines Objekts beinhaltet einen Prozess, in welchem zum Beispiel die Berechnung eines Kandidatenwerts, der eine Wahrscheinlichkeit des Objekts als ein Kandidatenobjekt angibt (eines Werts, welcher eine Erkennungswahrscheinlichkeit des Objekts angibt), und eines Bewegungswerts, der die Geschwindigkeit des Kandidatenobjekts angibt, durch Erfassung und Nachverfolgung des Kandidatenobjekts durchgeführt wird.
Die Erfassung des Kandidatenobjekts zieht die Erfassung eines Teils eines Objekts nach sich, welcher in einem Bild einem kennzeichnenden Element genügt, das für jedes Objekt vorbestimmt ist. Eine kennzeichnende Größe, die eine qualitative und eine quantitative Ebene des kennzeichnenden Elements bis zu einem Grad des erfassten Kandidatenobjekts angibt, wird in dem Speicher 14 gespeichert. Das Nachverfolgen des Kandidatenobjekts wird zum Beispiel unter Verwendung einer Vielzahl von Bildern, die zeitseriell kontinuierlich aufgenommen wurden, durchgeführt, um einen optischen Flusswert zu erhalten, der als ein Bewegungsvektor des Kandidatenobjekts in den kontinuierlich aufgenommenen Bildern dargestellt ist, wodurch der der optische Flusswert als der Bewegungswert des Kandidatenobjekts in dem Speicher 14 gespeichert wird. Genauer wird das Kandidatenobjekt als das Objekt erkannt, wenn vorbestimmte Bedingungen auf der Grundlage der Information erfüllt sind. Es wird angemerkt, dass ein Erkennungsverfahren eines Objekts ein dem Fachmann bekanntes Verfahren ist, so dass daher eine detaillierte Erklärung weggelassen wird.
Identifizierungsinformation, welche ein aufgenommenes Bild, welches ein erkanntes Objekt beinhaltet, aus anderen aufgenommenen Bildern identifiziert, und Information einer Bildposition, welche eine Position mit Bezug zu dem erkannten Objekt in einem Bild angibt, zum Beispiel, wird in dem Speicher 14 gespeichert. Es wird angemerkt, die Bildpositionsinformation Information beinhaltet, die zumindest eine der einzelnen Regionen SA1 bis SA4 und der Überlappungsregionen OA1 bis OA4 als eine Abbildungsregion spezifiziert, welche ein von der Bilderkennungseinheit erkanntes Bild beinhaltet.
Die Blickpunktkonversionseinheit 22 spezifiziert eine oder eine Vielzahl von Kamera(s) 10, welche Bilder mit einem erkannten Objekt, das von der Bilderkennungseinheit erkannt wurde, aufnimmt, als eine Bilderkennungsvorrichtung (hierin auch als eine Erkennungskamera bezeichnet). Die Blickpunktkonversionseinheit 22 weist eine Funktion zum Umwandeln bzw. Konvertieren eines aufgenommenen Bilds in ein von einem virtuellen Blickpunkt aus gesehenes Blickpunktbild, welches für die Erkennungskamera vordesigniert ist. Es wird angemerkt, dass ein Prozess, welcher eine Funktion zur Spezifikation der Erkennungskamera und Festlegen des virtuellen Blickpunkts aktualisiert, nachstehend beschrieben wird. Die Blickpunktkonversionseinheit 22 gemäß dem ersten Ausführungsbeispiel konvertiert aufgenommene Bilder von allen der Kameras 10 als blickpunktkonvertierte Kandidatenbilder, und jedes blickpunktkonvertierte Bild wird dann der Bildsyntheseeinheit 23 zugeführt.
Das blickpunktkonvertierte Bild kann auch als ein Koordinatenkonversionsbild bezeichnet werden. Das Koordinatenkonversionsbild ist ein aufgenommenes Bild, das aus einem Blickpunkt der Kamera 10 gesehen wird, welche Koordinaten hat, die zu dem virtuellen Kamerablickpunkt konvertiert wurden. Zum Beispiel werden dann, wenn eine optische Achse einer Kamerakoordinate als Referenz herangezogen wird, Koordinatenpositionen aller Punkte in einem Bild durch einen Winkel und einen Abstand der Punkte von der optischen Achse berechnet, so dass daher die Blickpunktkonversion des Bilds durch Drehung und Verschiebung der Koordinatenpositionen auf der Grundlage der optischen Achse der virtuellen Kamera durchgeführt werden kann. Genauer kann dann, wenn die Position und die Richtung des virtuellen Blickpunkts als die optische Achse der virtuellen Kamera festgelegt ist, ein gewünschtes blickpunktkonvertiertes Bild erhalten werden.
Es wird angemerkt, dass eine detaillierte Beschreibung weggelassen wird, da Blickpunktkonversionstechniken bekannt sind.
Eine Entsprechungstabelle, welche vorab in dem Speicher 14 gespeichert wird, wird dazu verwendet, eine Position und eine Richtung der virtuellen Blickpunkte festzulegen. Diese Tabelle wird in eine grundlegende Entsprechungstabelle bzw. Grundentsprechungstabelle und eine ergänzende Entsprechungstabelle bzw. Ergänzungsentsprechungstabelle aufgeteilt. Die grundlegende Entsprechungstabelle stelle jede Kamera 10 und den relativen virtuellen Blickpunkt in einer Eins-zu-Eins-Entsprechung bereit, wie beispielhaft in 4(A) dargestellt. Die grundlegende Entsprechungstabelle ermöglicht folglich eine eindeutige Festlegung des virtuellen Blickpunkts, wenn eine der Kameras 10 als die Erkennungskamera spezifiziert ist.
Demgegenüber stellt, wie in 4(B) gezeigt ist, die ergänzende Tabelle eine Eins-zu-Eins-Entsprechung jeder Kombination der Kameras 10 und eines virtuellen Blickpunkts bereit. Zum Beispiel haben die Kameras 10 vier Kombinationsmuster, welche beinhalten: Eine Kombination der Frontkamera 2 und der Rechtsseitenkamera 6 (vgl. 5(C), virtueller Blickpunkt E5), eine Kombination der Frontkamera 2 und der Linksseitenkamera 8 (vgl. 5(C), virtueller Blickpunkt E6), eine Kombination der Heckkamera 4 und der Rechtsseitenkamera 6 (vgl. 5(C) und den virtuellen Blickpunkt E7), und eine Kombination der Heckkamera 4 und der Linksseitenkamera 8 (vgl. 5(C) und den virtuellen Blickpunkt E8). Das heißt, die ergänzende Tabelle ermöglicht eine eindeutige Festlegung des virtuellen Blickpunkts für die spezifizierte Kamera 10 als die Erkennungskamera in zumindest einem der vorstehend erwähnten Kombinationsmuster. Es wird angemerkt, dass jede der vier Kombinationen dieselbe ist wie die beiden Kameras 10, die zum Beschreiben der Überlappungsregionen verwendet werden.
Genauer wird dann, wenn nur die Frontkamera 2 als die Erkennungsvorrichtung spezifiziert ist, der virtuelle Blickpunkt E1 unter Verwendung der grundlegenden Entsprechungstabelle festgelegt. Der virtuelle Blickpunkt E1 ist ein vorbestimmter Winkel ausgehend von einem Punkt auf der Heckseite, schräg oberhalb des Fahrzeugs, zu der Frontseite, schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet (vgl. 5(A)). In einem Fall dann, wenn nur die Heckkamera 4 als die Erkennungsvorrichtung spezifiziert ist, wird der virtuelle Blickpunkt E2 als ein vorbestimmter Winkel festgelegt, ausgehend von einem Punkt an der Frontseite, schräg oberhalb des Fahrzeugs, zu der Rückseite, schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet (vgl. 5(A)).
In derselben Weise wird dann, wenn die spezifizierte Kamera 10 nur die Rechtsseitenkamera 6 ist, der virtuelle Blickpunkt E3 als ein vorbestimmter Winkel festgelegt, ausgehend von einem Punkt auf der linken Seite schräg oberhalb des Fahrzeugs zu der rechten Seite schräg hin zu einem unteren Teil desselben, welcher das Gastfahrzeug beinhaltet. Darüber hinaus wird dann, wenn nur die Linksseitenkamera 8 als die Erkennungsvorrichtung spezifiziert ist, der virtuelle Blickpunkt E4 als ein Winkel festgelegt, ausgehend von einem Punkt auf der rechten Seite, schräg oberhalb des Gastfahrzeugs, zu der linken Seite, schräg hin zu einem unteren Teil, welcher das Fahrzeug beinhaltet (vgl. 5 (B)).
Auch die Festlegung eines virtuellen Blickpunkts unter Verwendung der Ergänzungstabelle entspricht der Festlegung des virtuellen Blickpunkts unter Verwendung der grundlegenden Entsprechungstabelle. Das heißt, durch Festlegen der Blickpunkte unter Verwendung der Entsprechungstabellen, speziell der grundlegenden Entsprechungstabelle und der ergänzenden Entsprechungstabelle, werden die virtuellen Blickpunkte E5 bis E8 jeder als die vorbestimmten Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben schräg hin zu einem tiefer liegenden Teil der Seite der Erkennungskamera festgelegt.
Es versteht sich, dass eine Richtung des virtuellen Blickpunkts als ein vorbestimmter Winkel innerhalb eines Bereichs (zum Beispiel zwischen 0 und 80°) voreingestellt ist, der in zumindest einer Fahrzeughöhenrichtung des Gastfahrzeugs einem rechten Winkel (das heißt, einer dazu senkrechten Richtung) nicht genügt. Der Grund für derartige Winkelfestlegungen besteht darin, dass dann, wenn ein blickpunktkonvertiertes Bild als ein Vogelperspektivenansichtsbild mit dem in einer senkrechten Richtung (das heißt 90°) bereitgestellten virtuellen Blickpunkt produziert wird, die Neigung des Objekts in dem Bild, sich in einer vertikalen Richtung zu dehnen, wenn sich das Objekt von einer Mitte des Bilds wegbewegt, hochgradig erhöht wird. Demgegenüber wird dann, wenn die Richtung des virtuellen Blickpunkts eine flache Richtung (das heißt 0°) ist, wird eine Blindfleckregionsgröße, die von dem Gastfahrzeug in dem Bild verursacht wird, maximiert. Daher liegt in dem ersten Ausführungsbeispiel ein festgelegter Winkel mit Bezug zu der Richtung des virtuellen Blickpunkts innerhalb eines Winkelbereichs, in welchem eine senkrechte Richtung oder eine flache Richtung des Gastfahrzeugs nicht erfüllt wird (zum Beispiel ein Bereich zwischen 10 und 80°).
Die Bildsyntheseeinheit 23 ist mit einer Funktion des Erzeugens bzw. Generierens eines zusammengesetzten bzw. synthetisierten Bilds versehen. Das synthetisierte Bild wird unter Verwendung jedes von der Blickpunktkonversionseinheit 22 partiell überlappend zusammengefügt gelieferten Blickpunktbilds generiert. In dem ersten Ausführungsbeispiel ist eine Region, welche einen zusammengefügten Abschnitt in dem synthetisierten Bild beinhaltet, eine überlappende Bildregion. Genauer werden eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Frontkamera 2 und der Rechtsseitenkamera ist, und eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Frontkamera 2 und der Linksseitenkamera 8 ist, erzeugt. Darüber hinaus wird eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Heckkamera 4 und der Rechtsseitenkamera 6 ist, und eine überlappende Bildregion, welche die teilweise überlappten blickpunktkonvertierten Bilder jeweils der Heckkamera 4 und der Linksseitenkamera 8 ist, erzeugt. Die vorstehend beschriebenen Überlappungsregionen sind folglich die Regionen, welche die zusammengefügten Abschnitte der blickpunktkonvertierten Bilder in dem synthetisierten Bild beinhalten.
Es versteht sich, dass jede Überlappungsregion den Überlappungsregionen OA1 bis OA4 (vgl. 2) der Abbildungsregionen jeder Kamera 10 entspricht.
Die Bildsyntheseeinheit 23 ist mit der Funktion des Zusammensetzens bzw. Synthetisierens jedes blickpunktkonvertierten Bilds der überlappenden Bildregion unter Verwendung eines voreingestellten Überblendverhältnisses (Prozentsatz) versehen, wenn das synthetisierte Bild generiert wird. Der Grund dafür besteht darin, dass durch Synthetisieren jedes blickpunktkonvertierten Bilds der überlappenden Bildregion, die in dem zusammengefügten Abschnitt des synthetisierten Bilds enthalten ist, die zusammengefügten Abschnitte in dem synthetisierten Bild weniger offensichtlich werden, so dass daher ein unnatürliches Aussehen, zum Beispiel eine Verzerrung der zusammengefügten Abschnitte, reduziert werden kann.
Es wird angemerkt, dass in dem ersten Ausführungsbeispiel, da ein synthetisiertes Bild mit den gesamten, durch partielles Überlappen zusammengefügten Blickpunktbildern jeder Kamera 10 erzeugt wird, ein Rundumsichtbild mit verringerter Verzerrung produziert werden kann. Das Rundumsichtbild ist, wie in 6 (A) gezeigt ist, ein Bild, welches einen gesamten umgebenden Bereich des Gastfahrzeugs zusätzlich zu dem Gastfahrzeug selbst anzeigen kann.
Die Bildfestlegeeinheit 24 ist mit einer Funktion des Festlegens des Überblendverhältnisses (Prozentsatz) jedes blickpunktkonvertierten Bilds (hierin auch als ein überlappender Bildregionsbereich bzw. Überlappungsbildregionsbereich bezeichnet) der überlappenden Bildregionen auf der Grundlage des Erkennungsergebnisses eines von der Bilderkennungseinheit erkannten Objekts versehen. Das von der Bildfestlegeeinheit 24 festgelegte Überblendverhältnis wird für die Synthese der überlappenden Bildregionsbereiche verwendet, die von der Bildsyntheseeinheit 23 durchgeführt wird. Es versteht sich, dass ein Prozess, welcher eine Funktion der Bildfestlegeeinheit 24 aktualisiert (hierin als ein Überblendverhältnisfestlegeprozess bezeichnet), nachstehend im Einzelnen beschrieben wird.
Die Bildverbesserungseinheit 25 ist mit einer Funktion des visuellen Verbesserns eines Bildbereichs eines Objekts (hierin als ein Objektbildbereich bezeichnet), der in dem von der Blickpunktkonversionseinheit 22 konvertierten blickpunktkonvertierten Bild enthalten ist, versehen. Genauer wird in dem ersten Ausführungsbeispiel ein Prozess zum visuellen Verbessern des Objektbildbereichs des an der Bildsyntheseeinheit 23 generierten synthetisierten Bilds durchgeführt. Der Prozess wird durch Spezifizieren einer Bildposition des Objekts auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation verwirklicht. Bezüglich der visuellen Verbesserung eines Objektbildbereichs kann zum Beispiel ein ein Objekt umgebendes Bild oder ein verbessertes Bild, welches ein Objekt in dem Bild visuell verbessert, zu dem synthetisierten Bild hinzugefügt werden. Ein Prozess, in welchem eine Helligkeit des Objektbildbereichs auf höher als die anderer umgebender Bildbereiche erhöht werden kann, oder ein Kontrast zumindest eines des Objektbildbereichs und des synthetisierten Bilds können ebenfalls geändert werden.
Die Bildausgabeeinheit 26 ist mit einer Funktion des Ausgebens eines synthetisierten Bilds, welches durch die überlappenden Bildregionsbereiche unter Verwendung der Bildsyntheseeinheit 23 synthetisiert wird, versehen. Das synthetisierte Bild hat ein an der Bildfestlegeeinheit 24 festgelegtes Überblendverhältnis und wird als das Fahrunterstützungsbild an die Anzeige 30 ausgegeben. Das Fahrunterstützungsbild ist ein Anzeigebild, welches den Fahrer über ein existierendes Objekt, zum Beispiel ein anderes Fahrzeug oder einen Fußgänger, benachrichtig, so dass daher das Fahrunterstützungsbild ein angezeigtes Bild ist, welches das Fahren des Gastfahrzeugs unterstützt.
[Prozess]
[Virtuellblickpunktfestlegeprozess]
Als Nächstes wird ein Virtuellblickpunktfestlegeprozess, der von der CPU 12 ausgeführt wird, um eine teilweise Funktion der Blickpunktkonversionseinheit 22 zu verwirklichen, unter Verwendung eines in 7 gezeigten Ablaufdiagramms beschrieben. Es versteht sich, dass der Prozess in einem vorbestimmten Zeitverhalten für jede Funktion innerhalb der Anzeigesteuereinheit 20 während einer Zeitspanne, in welcher ein (nicht gezeigter) Schalter der Anzeigesteuervorrichtung 1, die in einem Fahrzeug verbaut ist, eingeschaltet ist, wiederholt wird.
Wenn der Prozess startet, werden zunächst an der Blickpunktkonversionseinheit 22 aufgenommene Bilder von allen der Kameras 10 zugeführt, und wird in Schritt S110 eine Ermittlung, ob ein aufgenommenes Bild ein Objekt aufweist, von der Bilderkennungseinheit durchgeführt. Die Ermittlung wird zum Beispiel auf der Grundlage dessen durchgeführt, ob Identifikationsinformation in dem Speicher 14 gespeichert ist. Falls ermittelt wird, dass ein aufgenommenes Bild, welches ein Objekt in dem Bild beinhaltet (unter den aufgenommenen Bildern) existiert, schreitet der Prozess zu Schritt S120 fort, und falls ermittelt wird, dass ein solches Bild nicht existiert, schreitet der Prozess zu Schritt S150 fort.
In Schritt S120 wird ein Prozess des Auswählens entweder der grundlegenden Entsprechungstabelle oder der ergänzenden Entsprechungstabelle, die dazu verwendet wird, den virtuellen Blickpunkt festzulegen, durchgeführt (der Prozess wird hierin als ein vereinfachter Tabellenauswahlprozess bezeichnet), und der Prozess schreitet zu Schritt S130 fort. Es wird angemerkt, dass auch die Erkennungskamera spezifiziert wird, wenn entweder die grundlegende Entsprechungstabelle oder die ergänzende Entsprechungstabelle in dem vereinfachten Tabellenauswahlprozess ausgewählt wird. Der vereinfachte Tabellenauswahlprozess wird nachstehend im Einzelnen beschrieben.
In Schritt S130 wird ermittelt, ob die Auswahl von entweder der grundlegenden Entsprechungstabelle oder der ergänzenden Entsprechungstabelle in Schritt S120 durchgeführt wurde. Die hier erwähnte Auswahl wird unter Verwendung des vereinfachten Tabellenauswahlprozesses durchgeführt. In Schritt S130 schreitet dann, wenn ermittelt wird, dass irgendeine der Entsprechungstabellen ausgewählt ist, der Prozess zu Schritt S140 fort, und schreitet demgegenüber dann, wenn keine der Entsprechungstabellen ausgewählt sind, der Prozess zu Schritt S150 fort.
In Schritt S140 wird der virtuelle Blickpunkt unter Verwendung der in Schritt S120 durch den vereinfachten Tabellenauswahlprozess ausgewählten Entsprechungstabelle festgelegt, und wird der Prozess abgeschlossen. Es wird angemerkt, dass in dem ersten Ausführungsbeispiel der virtuelle Blickpunkt als ein vorbestimmter Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben und schräg hin zu einem tiefer liegenden Teil der Erkennungskameraseite festgelegt.
Demgegenüber wird in Schritt S150 eine Kamera mit dem höchsten Prioritätsniveau bzw. der höchsten Prioritätsebene durch ein Verfahren ausgewählt, welches sich von dem vereinfachten Tabellenprozess von Schritt S120 unterscheidet. Ein Prozess, welcher die ausgewählte Prioritätskamera als die Erkennungskamera spezifiziert (hierin als ein ‚Erkennungskameraprioritätsprozess‘ bezeichnet), wird durchgeführt, und der Prozess schreitet zu Schritt S160 fort. Genauer wird für jeden Grund, aus dem die erkannte Kamera nicht erkannt werden konnte, eine Prioritätskamera unter Verwendung eines anderen Verfahrens ausgewählt.
Das heißt, dass in dem vorliegenden Ausführungsbeispiel in einem Fall des Ermittelns in Schritt S110, dass kein Objekt in den Bildern existiert, eine oder zwei Kameras als Prioritätskameras ausgewählt werden. Es wird angemerkt, dass eine Fahrtrichtung des Gastfahrzeugs auf der Grundlage von Fahrzeuginformation spezifiziert wird, die zum Beispiel durch bzw. über das fahrzeuginterne LAN von anderen ECUs übertragen wird. In einem anderen Beispiel wird dann, wenn die Anzahl von Erkennungskameras 3 oder mehr beträgt, oder falls es zwei Erkennungskameras und nachstehend beschriebene Abbildungsregionsbedingungen gibt, die nicht erfüllt sind, eine Prioritätskamera 10 wie nachstehend beschrieben als die Prioritätskamera ausgewählt. Das heißt, die Prioritätskamera in diesem Fall ist zum Beispiel die Kamera 10, welche ein Bild mit der höchsten Anzahl von Objekten aufnimmt, die Kamera 10, welche Bilder einschließlich eines Objekts in einer Abbildungsregion entsprechend der Fahrtrichtung des Gastfahrzeugs aufnimmt, und die Kamera 10, welche zu zwei von drei Kameras 10 mit einem aufgenommenen Bild mit einem in dem Bild enthaltenen Objekt benachbart ist. Die Prioritätskamera wird auf der Grundlage der Identifikationsinformation und der Bildpositionsinformation, gespeichert in dem Speicher 14, spezifiziert.
In Schritt S160 wird irgendeine der entsprechenden Tabellen unter der grundlegenden Entsprechungstabelle und der ergänzenden Entsprechungstabelle in Übereinstimmung mit der in Schritt S150 durch den Erkennungskameraprioritätsprozess spezifizierten Prioritätskamera ausgewählt. Danach wird der virtuelle Blickpunkt unter Verwendung der ausgewählten Entsprechungstabelle festgelegt, und endet der Prozess. Das heißt, dass in dem ersten Ausführungsbeispiel, da die spezifizierte Prioritätskamera die Erkennungskamera ist, ein virtueller Blickpunkt als der vorbestimmte Winkel von einer Position schräg oberhalb der Erkennungskamera auf einer gegenüberliegenden Seite derselben und schräg hin zu einem tiefer liegenden Teil der Erkennungskameraseite festgelegt.
[Vereinfachter Tabellenauswahlprozess]
Als Nächstes wird der von der CPU 12 in Schritt S120 ausgeführte vereinfachte Tabellenprozess unter Verwendung des in 8 gezeigten Ablaufdiagramms beschrieben.
In Schritt S210 wird, nachdem der Prozess begonnen ist, zunächst die Erkennungskamera an der Blickpunktkonversionseinheit 22 auf der Grundlage der in dem Speicher 14 gespeicherten Identifikationsinformation spezifiziert, und wird ermittelt, ob die spezifizierte Kamera nur eine Kamera oder mehr als eine Kamera ist. Falls eine Erkennungskamera ermittelt wird, schreitet der Prozess zu Schritt S220 fort, wird die grundlegende Entsprechungstabelle ausgewählt, und endet der Prozess. Demgegenüber schreitet dann, wenn die Erkennungskamera als nicht nur 1 Kamera ermittelt wird (in dem ersten Ausführungsbeispiel ist die Erkennungskamera zwei oder mehr), der Prozess zu Schritt S230 fort, und wird ermittelt, ob die Anzahl spezifizierter Kameras 2 Kameras ist. Ferner schreitet dann, wenn die Anzahl spezifizierter Kameras als zwei ermittelt wird, der Prozess zu Schritt S240 fort, jedoch endet der Prozess, wenn die spezifizierte Kamera als 3 oder mehr Kameras ermittelt wird. Es wird angemerkt, dass die jeweiligen Schritte S210 und S230 eine Anzahlermittlung konfigurieren zum Ermitteln der Anzahl von Erkennungskameras durch funktionelles Verwenden eines von der CPU 12 ausgeführten Prozesses.
Eine abgebildete Region, welche ein von der Bilderkennungseinheit 21 erkanntes Objekt beinhaltet, ist eine objekt-abgebildete Region. In Schritt S240 wird ermittelt, ob vorbestimmte Bildregionsbedingungen der objekt-abgebildeten Region erfüllt sind. Falls ermittelt wird, dass die Abbildungsregionsbedingungen erfüllt sind, schreitet der Prozess zu Schritt S250 fort, wird die ergänzende Entsprechungstabelle ausgewählt, und endet der Prozess. Falls ermittelt wird, dass die Abbildungsregionsbedingungen nicht erfüllt sind, endet der Prozess ohne Auswahl einer Entsprechungstabelle. Genauer wird in dem ersten Ausführungsbeispiel die objekt-abgebildete Region auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation spezifiziert.
Zum Beispiel kann eine der überlappenden Regionen unter den überlappenden Regionen OA1 bis OA4 eine objekt-abgebildete Regionsbedingung sein. Das heißt, falls ein von der Bilderkennungseinheit 21 erkanntes Objekt in einer der überlappenden Regionen OA1 bis OA4 auch in einem Fall existiert, in dem zwei Erkennungskameras spezifiziert sind, kann ein virtueller Blickpunkt, welcher den beiden kombinierten Erkennungskameras entspricht, festgelegt werden. Dies kann durch Auswahl der ergänzenden Tabelle durchgeführt werden, da beide Erkennungskameras das Objekt aufnehmen.
In einem anderen Beispiel können auch zwei der einzelnen Regionen SA1 bis SA4, die beide zu einer der überlappenden Regionen OA1 bis OA4 benachbart sind, eine Abbildungsregionsbedingung erfüllen. Das heißt, falls zwei oder mehr Objekte als in zwei der einzelnen Regionen SA1 bis SA4 verteilt erkannt werden, zwischenliegend zwischen einer der überlappenden Regionen OA1 bis OA4, welche unterschiedliche Abbildungsregionen sind, kann ein virtueller Blickpunkt entsprechend zwei der Kameras kombiniert festgelegt werden.
Es wird angemerkt, dass die Abbildungsregionsbedingungen nicht auf das beispielhafte Ausführungsbeispiel beschränkt sind, und dass eine Vielzahl von Bedingungen vorbestimmt sein kann.
[Überblendverhältnisfestlegeprozess]
Als Nächstes wird ein von der CPU 12 zum Verwirklichen der Funktion der Bildfestlegeeinheit 24 durchgeführter Virtuellblickpunktfestlegeprozess unter Bezugnahme auf das in 9 gezeigte Ablaufdiagramm beschrieben. Es wird angemerkt, dass der Prozess zu vorbestimmten Zeitpunkten für jede Funktion der Anzeigesteuereinheit 20 wiederholt initiiert bzw. begonnen wird.
Nachdem der Prozess startet, wird zunächst in Schritt S310 an der Bildfestlegeeinheit 24 ermittelt, ob das von der Bilderkennungseinheit 21 erkannte Objekt in einer der überlappenden Regionen OA1 bis OA4 existiert. Die Ermittlung kann zum Beispiel auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation durchgeführt werden. Wenn ermittelt wird, dass ein Objekt in einer der überlappenden Bereiche OA1 bis OA4 existiert, schreitet die Prozedur zu Schritt S320 fort.
Demgegenüber schreitet dann, wenn ermittelt wird, dass ein Objekt an den überlappenden Regionen OA1 bis OA4 nicht existiert, der Prozess zu Schritt S360 fort, wird eine anfängliche Festlegung von 50% Überblendverhältnis fortwährend für jeden blickpunktkonvertierten Bildbereich für die gesamten überlappenden Bildregionen festgelegt, und endet der Prozess. Das Überblendverhältnis ist ein Synthetisierungsprozentsatz eines Pixelwerts (zum Beispiel RGB-Werts) jedes blickpunktkonvertierten Bildbereichs in den überlappten Abbildungsregionen. Infolge dessen werden dann, wenn das Überblendverhältnis auf 50% für jedes blickpunktkonvertierte Bild festgelegt ist, und jeder blickpunktkonvertierte Bildbereich als der jeweilige Bildbereich B1 und Bildbereich C1 gegeben ist, bevor die überlappenden Bildregionen synthetisiert werden, jeweils ein Bildbereich B2 jedes den Bildbereich B1 konfigurierenden Pixelwerts multipliziert mit 50% und ein Bildbereich C2 jedes den Bildbereich C1 konfigurierenden Pixelwerts multipliziert mit 50% hinzugefügt.
In Schritt S320 werden die Erkennungsergebnisse eines als existierend ermittelten Objekts beschafft, und schreitet der Prozess zu Schritt S330 fort. Genauer können in dem vorliegenden Ausführungsbeispiel die Erkennungsergebnisse eines Objekts durch Lesen zum Beispiel eines Kandidatenwerts und eines optischen Flussvektorwerts, die Bezug zu dem bzw. einem in dem Speicher 14 gespeicherten Objekt haben, erhalten werden.
In Schritt S330 wird eine Region, welche in Schritt 310 als ein zwischen bzw. unter den überlappenden Regionen OA1 bis OA4 existierendes Objekt habend ermittelt wird, als eine objektüberlappende Region definiert. Eine Erkennungsgenauigkeit eines Objekts in jedem aufgenommenen Bild der zwei Kameras 10, welche Bilder in diesen Regionen aufnehmen, wird verglichen. Genauer wird die Erkennungsgenauigkeit eines Objekts in jeder der objektüberlappenden Regionen, aufgenommen durch die beiden Kameras 10, verglichen. In Schritt S330 wird ermittelt, ob die Erkennungsgenauigkeit eines Objekts in beiden aufgenommenen Bildern unterschiedlich ist. Genauer kann in dem vorliegenden Ausführungsbeispiel ermittelt werden, dass ein Objekt mit einem größeren Kandidatenwert in dem in Schritt S320 beschafften Erkennungsergebnis eine höhere Erkennungsgenauigkeit hat.
In dieser Weise schreitet dann, wenn ermittelt wird, dass sich die Erkennungsgenauigkeit von Objekten zwischen jedem aufgenommenen Bild ändert, die Prozedur zu Schritt S370 fort. In Schritt S370 wird das Überblendverhältnis der überlappenden Bildregion, in welcher ein Objekt verteilt ist, einstellbar festgelegt, und endet der Prozess. Genauer wird unter den blickpunktkonvertierten Bildern in den überlappenden Regionen das Überblendverhältnis eines blickpunktkonvertierten Bildbereichs für ein aufgenommenes Bild mit der höchsten Erkennungsgenauigkeit auf höher als das Überblendverhältnis anderer blickpunktkonvertierter Bildbereiche festgelegt. Zum Beispiel kann in dem vorliegenden Ausführungsbeispiel in Übereinstimmung mit der Erkennungsgenauigkeit jedes Objekts in beiden aufgenommenen Bildbereichen das Überblendverhältnis umso größer festgelegt werden, je höher die Erkennungsgenauigkeit ist.
Das heißt, dass es bei den beschriebenen Festlegungen notwendig ist, das Überblendverhältnis so festzulegen, dass das Überblendverhältnis beider aufgenommener Bilder zusammenaddiert 100% ergibt. Zum Beispiel können der Bildbereich B2, bei dem jeder Pixelwert, welcher den Bildbereich B1 konfiguriert, mit 70% multipliziert wird, und der Bildbereich C2, bei dem jeder Pixelwert, welcher den Bildbereich C1 konfiguriert, mit 30% multipliziert wird, zusammenaddiert werden. In diesem Fall ist unter jedem blickpunktkonvertierten Bildbereich in den überlappenden Bereichen der Bildbereich B1 der Abbildungsbereich, welcher die höchste Erkennungsgenauigkeit hat, und ist der Bildbereich C1 der Abbildungsbereich, welcher die niedrigste Erkennungsgenauigkeit hat.
Demgegenüber schreitet dann, wenn ermittelt wird, dass sich die Erkennungsgenauigkeit eines Objekts zwischen jedem der aufgenommenen Bilder nicht unterscheidet, die Prozedur zu Schritt S340 fort. In Schritt S340 wird für jede Objektüberlappungsregion ein Warnprioritätsniveau bzw. eine Warnprioritätsebene eines Objekts in jedem aufgenommenen Bild der beiden Kameras 10, welche diese Regionen aufnehmen, verglichen und wird ermittelt, ob die Warnprioritätsebene der Objekte in beiden Bildern verschieden ist. Genauer kann in dem vorliegenden Ausführungsbeispiel unter den erkannten Ergebnissen, die in Schritt S320 beschafft wurden, ermittelt werden, dass die Warnprioritätsebene umso höher ist, je höher der auf ein Objekt bezogene optische Flusswert ist.
Es wird angemerkt, dass der Vergleich der Warnprioritätsebenen nicht auf das vorstehend beschriebene Verfahren beschränkt ist. Das heißt, die Warnprioritätsebene kann zum Beispiel durch eine Objektart bzw. einen Objekttyp in dem Bild und andere Indikatoren ermittelt werden.
In dieser Weise schreitet auch dann, wenn ermittelt wird, dass sich die Warnprioritätsebene eines Objekts zwischen Bildern unterscheidet, die Prozedur zu Schritt S370 fort, wird das Überblendverhältnis des überlappenden Bildregionsbereichs, in welchem das Objekt in dem Bild positioniert ist, eingestellt, und endet der Prozess. Genauer wird für ein aufgenommenes Bild, welches unter jedem der blickpunktkonvertierten Bilder in den überlappenden Bildregionen die höchste Warnprioritätsebene hat, das Überblendverhältnis des blickpunktkonvertierten Bildbereichs auf höher festgelegt bzw. eingestellt als das Überblendverhältnis anderer blickpunktkonvertierter Bilder. Zum Beispiel kann in dem vorliegenden Ausführungsbeispiel in Übereinstimmung mit jeder Warnprioritätsebene eines Objekts in beiden aufgenommenen Bildbereichen das Überblendverhältnis umso höher festgelegt werden, je höher die Warnprioritätsebene ist.
Demgegenüber schreitet dann, wenn ermittelt wird, dass sich die Warnprioritätsebene eines Objekts zwischen jedem aufgenommenen Bild nicht unterscheidet, der Prozess zu Schritt S350 fort und wird die Bildposition des Objekts zwischen jedem aufgenommenen Bildbereich der beiden Kameras 10, die Abbildungsregionen der aufgenommenen Bilder zugewiesen bzw. für diese designiert sind, verglichen. In Schritt S350 wird bezogen auf die Position des Objekts ermittelt, ob einer der aufgenommenen Bildbereiche unter den beiden aufgenommenen Bereichen die vorbestimmten Objektpositionsbedingungen erfüllt. Genauer wird in dem vorliegenden Ausführungsbeispiel für die Position des Objekts in dem Bild eine Entfernung von einer Mitte des Bilds auf der Grundlage der in dem Speicher 14 gespeicherten Bildpositionsinformation verglichen. Zum Beispiel kann als ein Erfordernis zum Erfüllen der Objektpositionsbedingungen ermittelt werden, dass die Entfernung kleiner ist als ein vorbestimmter Schwellenwert.
Die Objektpositionsbedingungen sind nicht auf die vorstehend beschriebenen Beispiele beschränkt, das heißt, Bedingungen mit Bezug zu einer tatsächlichen Position eines Objekts und einer Position eines Objekts in dem Bild können ebenfalls vorgeschrieben sein.
Die Implementierung von Bedingungen, welche direkt die Position des Objekts auf der Grundlage einer Position in dem Bild ermitteln kann, kann die Last des Durchführens eines Prozesses verringern.
In dieser Weise schreitet auch dann, wenn unter bzw. in jedem der aufgenommenen Bilder das Vorhandensein eines aufgenommenen Bildbereichs, welcher die Objektpositionsbedingung erfüllt, ermittelt wird, der Prozess zu Schritt S370 fort, wird das Überblendverhältnis der überlappenden Bildregionsbereiche, in welchen das Objekt positioniert ist, einstellbar festgelegt, und endet der Prozess. Genauer wird unter bzw. in jedem der blickpunktkonvertierten Bilder der überlappenden Bildregionen ein blickpunktkonvertierter Bildbereich, der für auf einem Bild mit erfüllten Objektpositionsbedingungen ist, so festgelegt, dass er ein höheres Überblendverhältnis hat als die anderen blickpunktkonvertierten Bildbereiche. Zum Beispiel kann in dem ersten Ausführungsbeispiel in Übereinstimmung mit der Bildposition des Objekts in beiden aufgenommenen Bildern das Überblendverhältnis umso höher festgelegt werden, je kürzer der Abstand des Objekts von der Mitte jedes aufgenommenen Bilds ist.
Wenn ermittelt wird, dass aufgenommene Bildbereiche, welche die Objektpositionsbedingung erfüllen, zwischen jedem der aufgenommenen Bilder nicht existieren, schreitet die Prozedur zu Schritt S360 fort, wird die anfängliche Einstellung bzw. Festlegung, in welcher das Überblendverhältnis (%) jedes blickpunktkonvertierten Bilds auf 50% festgelegt ist, für alle der überlappenden Bildregionen beibehalten bzw. fortgesetzt, und endet der Prozess.
In dieser Weise wird das Überblendverhältnis jedes blickpunktkonvertierten Bildbereichs der überlappenden Bildregion in Übereinstimmung mit der Erkennungsgenauigkeit, der Warnprioritätsebene und den Objektpositionsbedingungen in dem vorstehend beschriebenen Prozess festgelegt. 10 zeigt eine Situation, in welcher ein Fußgänger von der Heckkamera 4 und der Rechtsseitenkamera 6 als das Objekt aufgenommen wird. Das heißt, 10 zeigt eine Situation, in welcher die Heckkamera 4 (vgl. 10(A)) eine höhere Erkennungsgenauigkeit beider aufgenommener Bilder hat als die Rechtsseitenkamera 6 (10(B)). Unter Bezugnahme auf 10(B) verschlechtern sich in diesem Beispiel dann, wenn das Überblendverhältnis (%) auf 50% für jeden blickpunktkonvertierten Bildbereich der überlappenden Bildregionen festgelegt ist, die Fahrunterstützungsbilder visuell leicht, wenn bzw. da der Fußgänger synthetisiert und in beiden blickpunktkonvertierten Bildern mit demselben Überblendverhältnis gezeigt wird. Demgegenüber wird dann, wenn das Überblendverhältnis auf 70% für die Heckkamera 4, welche eine hohe Erkennungsgenauigkeit hat, festgelegt wird, und auf 30% für die Rechtsseitenkamera 6, welche eine geringe Erkennungsgenauigkeit hat, die visuelle Verschlechterung der Sichtbarkeit bzw. Erkennbarkeit des Fahrunterstützungsbilds unterdrückt, wenn bzw. da das Bild mit der hohen Erkennungsgenauigkeit so synthetisiert wird, dass der Fußgänger in dem Bild hervortritt (vgl. 10(D)).
[Wirkungen]
Die folgenden Wirkungen werden in Übereinstimmung mit dem vorstehend beschriebenen, ersten Ausführungsbeispiel erhalten.
Da der virtuelle Blickpunkt durch Spezifikation der Erkennungskamera festgelegt wird, welche das Objekt aufnimmt, kann das blickpunktkonvertierte Bild unter Verwendung eines einfachen Prozesses anstelle eines komplexen Prozesses generiert bzw. erzeugt werden. Daher kann eine Ausgabezeit des Fahrunterstützungsbilds früher liegen, und kann auch ein Beitrag zur Sicherstellung eines Echtzeitbezugs zu der Fahrunterstützung erzielt werden. Darüber hinaus können, da ein blickpunktkonvertiertes Bild mit einem visuell verbesserten Objekt als das Fahrunterstützungsbild ausgegeben wird, zum Beispiel Fußgänger und andere Fahrzeuge, die in der Umgebung des Gastfahrzeugs existieren, dem Fahrer klarer angezeigt werden.
In dem vereinfachten Tabellenauswahlprozess wird die grundlegende Tabelle bzw. Grundtabelle dazu verwendet, die Kamera und den virtuellen Blickpunkt in dem Fall einer Erkennungskamera Eins zu Eins in Beziehung bzw. Entsprechung zu setzen, so dass folglich eine Verarbeitungslast mit Bezug zu dem Festlegen des virtuellen Blickpunkts verringert werden kann.
Darüber hinaus wird im Falle zweier Erkennungskameras der virtuelle Blickpunkt unter Verwendung der ergänzenden Entsprechungstabelle bzw. Ergänzungsentsprechungstabelle festgelegt, falls eine vorbestimmte Abbildungsregionsbedingung des erkannten Objekts, welches in der Abbildungsregion enthalten ist, erkannt durch die Bilderkennungseinheit 21, erfüllt ist. Die ergänzende Entsprechungstabelle entspricht dem Kamerakombinationsmuster und dem Blickpunkt Eins zu Eins. Infolge dessen kann die Verfügbarkeit der Virtuellblickpunktfestlegung in gewünschter Weise erhöht werden.
Darüber hinaus kann, da es erforderlich ist, dass die Abbildungsregion, welche ein erkanntes Objekt beinhaltet, das von der Bilderkennungseinheit erkannt wurde, eine überlappende Region bzw. Überlappungsregion ist, in welcher jede von zwei Kameras Bilder aufnehmen kann, um die Abbildungsregionsbedingungen in dem vereinfachten Tabellenauswahlprozess zu erfüllen, eine Last mit Bezug zu dem Festlegen des virtuellen Blickpunkt auch in einem Fall zweier Erkennungskameras in gewünschter Weise verringert werden.
[Andere Ausführungsbeispiele]
Ein bevorzugtes Ausführungsbeispiel der Erfindung ist hierin vorstehend beschrieben, jedoch ist die Erfindung nicht auf das bevorzugte Ausführungsbeispiel beschränkt und können andere verschiedenartige Ausführungsformen angepasst werden.
In dem bevorzugten Ausführungsbeispiel synthetisieren die aufgenommenen Bilder jeder Kamera 10 blickpunktkonvertierte Bilder mit konvertierten Blickpunkten, und werden die synthetisierten Bilder als das Fahrunterstützungsbild ausgegeben, jedoch ist das Fahrunterstützungsbild nicht auf den vorstehend beschriebenen Prozess beschränkt. Zum Beispiel kann zumindest ein aufgenommenes Bild aus jeder Kamera 10 zu einem blickpunktkonvertierten Bild konvertiert und als das Fahrunterstützungsbild ausgegeben werden.
Ein konfigurierendes Element des bevorzugten Ausführungsbeispiels mit einer Vielzahl von Funktionen kann durch eine Vielzahl von Elementen verwirklicht sein, und eine Vielzahl von konfigurierenden Elementen, die mit einer Funktion versehen sind, kann zu einem Element vereint sein. Manche der konfigurierenden Elemente des bevorzugten Ausführungsbeispiels können weggelassen sein, und zumindest einige der konfigurierenden Elemente des bevorzugten Ausführungsbeispiels können zu den anderen Ausführungsbeispielen hinzugefügt oder durch ein anderes Element ersetzt sein. Es versteht sich, dass alle in der durch den Schutzbereich der Ansprüche spezifizierten technischen Idee enthaltenen Ausführungsformen die Ausführungsbeispiele der Erfindung sind.
Zusätzlich zu der in einem Fahrzeug installierten Anzeigesteuervorrichtung 1 können in Übereinstimmung mit der Erfindung zum Beispiel ein die Anzeigesteuervorrichtung 1 konfigurierendes System, ein oder mehrere Programme zum Konfigurieren eines Computers dazu, als die Anzeigesteuervorrichtung 1 zu arbeiten, ein oder mehrere Aufzeichnungsmedien (genauer ein nicht flüchtiges Aufzeichnungsmedium, zum Beispiel ein Halbleiterspeicher) und ein Anzeigesteuerverfahren durch eine Vielzahl von Ausführungsformen verwirklicht werden.
Bezugszeichenliste

1...: Anzeigesteuervorrichtung, installiert in einem Fahrzeug
2...: Frontkamera
4...: Heckkamera
6...: Rechtsseitenkamera
8...: Linksseitenkamera
10...: Kamera 12...CPU
14...: Speicher
20...: Anzeigesteuereinheit
21...: Bilderkennungseinheit
22...: Blickpunktkonversionseinheit
23...: Bildsyntheseeinheit
24...: Bildfestlegeeinheit
25...: Bildverbesserungseinheit
26...: Bildausgabeeinheit
30...: Anzeige
A1...: Frontregion
A2...: Heckregion
A3...: rechtsseitige Region
A4...: linksseitige Region
E1: bis E8...virtuelle Blickpunkte
OA1...: vordere rechtsseitige Überlappungsregion
OA2...: vordere linksseitige Überlappungsregion
OA3...: hintere rechtsseitige Überlappungsregion
OA4...: hintere linksseitige Überlappungsregion
SA1...: vordere einzelne Region
SA2...: hintere einzelne Region
SA3...: rechtsseitige einzelne Region
SA4...: linksseitige einzelne Region

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5681569 [0003, 0004]

Claims

Anzeigesteuervorrichtung (1), die in einem Fahrzeug verbaut ist, dadurch gekennzeichnet, dass die Vorrichtung umfasst: eine Vielzahl von Abbildungsvorrichtungen (10), die an dem Fahrzeug bereitgestellt sind, um eine voreingestellte Vielzahl von Abbildungsregionen aufzunehmen, die das Fahrzeug umgeben, durch Aufteilen der Abbildungsregionen unter den jeweiligen Abbildungsvorrichtungen; eine Bilderkennungseinheit (21), welche ein vorbestimmtes Objekt in Bildern erkennt, die von jeder der Vielzahl von Abbildungsvorrichtungen (10) aufgenommen wurden; eine Blickpunktkonversionseinheit (22), welche unter der Vielzahl von Abbildungsvorrichtungen die Abbildungsvorrichtung als eine Erkennungsabbildungsvorrichtung spezifiziert, die ein Bild aufnimmt, welches das von der Bilderkennungseinheit erkannte Bild beinhaltet, und das aufgenommene Bild zu einem blickpunktkonvertierten Bild konvertiert, das von einem virtuellen Punkt aus gesehen wird, welcher vorangehend für die Erkennungsabbildungsvorrichtung designiert wird; eine Bildverbesserungseinheit (25), welche einen Bildbereich des Objekts verbessert, der in dem blickpunktkonvertierten Bild enthalten ist, das von der Blickpunktkonversionseinheit konvertiert wurde, und eine Bildausgabeeinheit (26), welche das blickpunktkonvertierte Bild, das mit dem Bildbereich des Objekts versehen ist, der von der Bildverbesserungseinheit verbessert wurde, als ein Fahrunterstützungsbild an eine in einem Fahrzeug verbaute Anzeige (30) ausgibt.
Anzeigesteuervorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass: die Blickpunktkonversionseinheit eine Anzahlbeurteilungseinrichtung (S210 und S230) zum Beurteilen einer Anzahl der Erkennungsabbildungseinrichtungen aufweist; und eine erste Festlegeeinrichtung (S220) zum Festlegen des virtuellen Blickpunkts unter Verwendung einer grundlegenden Entsprechungstabelle, welche der Abbildungsvorrichtung und den virtuellen Blickpunkten auf einer Eins-zu-Eins-Grundlage entspricht, wenn die Anzahlbeurteilungseinrichtung ermittelt, dass die Anzahl der Erkennungsabbildungsvorrichtungen Eins ist.
Anzeigesteuervorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Blickpunktkonversionseinheit die Anzahlbeurteilungseinrichtung aufweist, welche die Anzahl von Erkennungsvorrichtungen beurteilt (S210); und eine zweite Festlegeeinrichtung (S250) zum Festlegen des virtuellen Blickpunkts unter Verwendung einer ergänzenden Entsprechungstabelle, die einem kombinierten Muster der Abbildungsvorrichtung und dem virtuellen Blickpunkt auf einer Eins-zu-Eins-Grundlage entspricht, wenn vorbestimmte Abbildungsregionsbedingungen mit Bezug zu der Abbildungsregion, welche das Objekt beinhaltet, das von der Abbildungserkennungseinheit erkannt wurde, erfüllt sind, und die Anzahlbeurteilungseinrichtung die Anzahl von Erkennungsvorrichtungen als Zwei ermittelt.
Anzeigesteuervorrichtung (1) zum Verbau in einem Fahrzeug nach Anspruch 3, dadurch gekennzeichnet, dass: die Blickpunktkonversionseinheit ein Erfüllungserfordernis als die Abbildungsregionsbedingung haben muss, wobei das Erfüllungserfordernis darin besteht, dass die Abbildungsregion, welche das Objekt beinhaltet, das von der Abbildungserkennungsvorrichtung erkannt wurde, eine überlappende Region ist, in welcher beide zweier Abbildungsvorrichtungen Bilder aufnehmen.
Anzeigesteuervorrichtungsverfahren für ein Fahrzeug, dadurch gekennzeichnet, dass das Verfahren umfasst: einen Bilderkennungsschritt (21) zum Erkennen vorbestimmter Objekte in aufgenommenen Bildern, die von einer Vielzahl von Abbildungsvorrichtungen (10) aufgenommen wurden, die zum Aufnehmen von Abbildungsregion, welche das Fahrzeug umgeben, an dem Fahrzeug verbaut sind; einen Blickpunktkonversionsschritt (22) zum Spezifizieren einer Abbildungsvorrichtung, welche ein Bild mit einem in dem Bild enthaltenen Objekt aufnimmt, das von der Bilderkennungseinheit erkannt wurde, als eine Erkennungsabbildungsvorrichtung, unter der Vielzahl von Abbildungsvorrichtungen, und das aufgenommene Bild zu einem blickpunktkonvertierten Bild konvertiert, das von einem virtuellen Punkt aus gesehen wird, der für die Erkennungsabbildungsvorrichtung vorbestimmt ist; einen Bildverbesserungsschritt (25) zum Verbessern eines Bildbereichs des Objekts, das in dem blickpunktkonvertierten Bild enthalten ist, das durch den Blickpunktkonversionsschritt konvertiert wurde; und einen Bildausgabeschritt (26) zum Ausgeben des blickpunktkonvertierten Bilds, welches von der Bildverbesserungseinheit verbessert wurde, als ein Fahrunterstützungsbild an eine Anzeige (30), die in dem Fahrzeug verbaut ist.
Verarbeitungsvorrichtung, dadurch gekennzeichnet, dass die Verarbeitungsvorrichtung umfasst: eine Bilderkennungseinheit (21), welche vorbestimmte Objekte in aufgenommenen Bildern erkennt, die von einer Vielzahl von Abbildungsvorrichtungen (10) aufgenommen wurden, die an einem Fahrzeug verbaut sind zum Abbilden einer Vielzahl von vorbestimmten Abbildungsbereichen, die das Fahrzeug umgeben, durch Aufteilen der Abbildungsregionen unter den jeweiligen Abbildungsvorrichtungen; eine Blickpunktkonversionseinheit (22), welche eine Abbildungsvorrichtung, die ein Bild aufnimmt, welches ein Objekt in dem Bild enthalten hat, das von der Bilderkennungseinheit erkannt wurde, als eine Erkennungsabbildungsvorrichtung unter der Vielzahl von Abbildungsvorrichtungen spezifiziert und das aufgenommene Bild zu einem blickpunktkonvertierten Bild konvertiert, das von einem virtuellen Punkt aus gesehen wird, der für Erkennungsabbildungsvorrichtung vorbestimmt ist; eine Bildverbesserungseinheit (25), welche einen Bildbereich des Objekts verbessert, der in dem blickpunktkonvertierten Bild enthalten ist, das von der Blickpunktkonversionseinheit konvertiert wurde, und eine Bildausgabeeinheit (26), welche das blickpunktkonvertierte Bild, das von der Bildverbesserungseinheit als ein Fahrunterstützungsbild verbessert wurde, als ein Fahrunterstützungsbild an eine in einem Fahrzeug verbaute Anzeige (30) ausgibt.
Verarbeitungsvorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass: die Blickpunktkonversionseinheit eine Anzahlbeurteilungseinrichtung aufweist zum Beurteilen einer Anzahl von Erkennungsvorrichtungen (S210, S230); und eine erste Festlegeeinrichtung zum Festlegen des virtuellen Blickpunkts unter Verwendung einer grundlegenden Entsprechungstabelle, welche die Abbildungsvorrichtung und den virtuellen Blickpunkt auf einer Eins-zu-Eins-Grundlage assoziiert, wenn die Anzahlbeurteilungseinrichtung die Erkennungsabbildungsvorrichtung als Eins ermittelt.
Verarbeitungsvorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass: die Blickpunktkonversionseinheit die Anzahlbeurteilungseinrichtung aufweist zum Beurteilen einer Anzahl von Erkennungsvorrichtungen (S210, S23); und eine zweite Festlegeeinrichtung zum Festlegen des virtuellen Blickpunkts unter Verwendung einer ergänzenden Entsprechungstabelle (S250), welche ein kombiniertes Muster der Abbildungsvorrichtungen und des virtuellen Blickpunkts auf einer Eins-zu-Eins-Grundlage assoziiert, wenn eine vorbestimmte Abbildungsregionsbedingung der Abbildungsregion, welche das Objekt beinhaltet, das von der Abbildungserkennungseinheit erkannt wurde, erfüllt ist, und in einem Fall, in dem die Anzahlbeurteilungseinrichtung die Anzahl von Erkennungsvorrichtungen als Zwei ermittelt.
Verarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass: die Blickpunktkonversionseinheit ein Erfüllungserfordernis als die Abbildungsregionsbedingung haben muss, wobei das Erfüllungserfordernis darin besteht, dass die Abbildungsregion, welche das Objekt beinhaltet, das von der Abbildungserkennungsvorrichtung erkannt wurde, eine überlappende Region ist, in welcher beide zweier Abbildungsvorrichtungen Bilder aufnehmen.
Aufzeichnungsmedium (14), in welchem digitale Programmdaten gespeichert sind, wobei die Programmdaten von einer CPU lesbar sind, wobei die CPU die Programmdaten von dem Aufzeichnungsmedium liest und die gelesenen Programmdaten ausführt, um die CPU in die Lage zu versetzen, zu funktionieren als: eine Bilderkennungseinheit (21), welche vorbestimmte Objekte in aufgenommenen Bildern erkennt, die von einer Vielzahl von Abbildungsvorrichtungen (10) aufgenommen wurden, die an einem Fahrzeug verbaut sind zum Abbilden einer Vielzahl von vorbestimmten Abbildungsbereichen, die das Fahrzeug umgeben, durch Aufteilen der Abbildungsregionen unter den jeweiligen Abbildungsvorrichtungen; eine Blickpunktkonversionseinheit (22), welche eine Abbildungsvorrichtung, die ein Bild aufnimmt, welches ein Objekt in dem Bild enthalten hat, das von der Bilderkennungseinheit erkannt wurde, als eine Erkennungsabbildungsvorrichtung unter der Vielzahl von Abbildungsvorrichtungen spezifiziert und das aufgenommene Bild zu einem blickpunktkonvertierten Bild konvertiert, das von einem virtuellen Punkt aus gesehen wird, der für Erkennungsabbildungsvorrichtung vorbestimmt ist; eine Bildverbesserungseinheit (25), welche einen Bildbereich des Objekts verbessert, der in dem blickpunktkonvertierten Bild enthalten ist, das von der Blickpunktkonversionseinheit konvertiert wurde, und eine Bildausgabeeinheit (26), welche das blickpunktkonvertierte Bild, das von der Bildverbesserungseinheit verbessert wurde, als ein Fahrunterstützungsbild an eine in einem Fahrzeug verbaute Anzeige (30) ausgibt.