DE102008046398B4

DE102008046398B4 - Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt

Info

Publication number: DE102008046398B4
Application number: DE102008046398A
Authority: DE
Inventors: Kozo Kato; Mitsuhiko Ohta
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-09-10
Filing date: 2008-09-09
Publication date: 2011-12-08
Anticipated expiration: 2028-09-10
Also published as: CN101388968A; CN101388968B; US20090066726A1; JP4450036B2; JP2009071350A; DE102008046398A1; US8094170B2

Abstract

Vorrichtung (3, 4) zum Erzeugen eines zusammengesetzten Bildes mit:
einer Tabelle (13, 14) zur geometrischen Transformation, die Koordinaten, welche Positionen von Pixeln eines Ausgangsbildes entsprechen, auf ein Eingangsbild zuordnet, das von einer Erfassungseinrichtung (30) empfangen wird; und
einer Einrichtung (23, 24B) zum Erzeugen eines Ausgangsbildes, die das Ausgangsbild dadurch erzeugt, dass unter Verwendung von Pixelwerten von Pixeln, die einen Punkt mit den Koordinaten umgeben, die in der Tabelle für eine geometrische Transformation zugeordnet sind, eine Interpolation durchgeführt wird,
wobei die Einrichtung (23, 24B) zum Erzeugen eines Ausgangsbildes in Bezug auf das Pixel des Ausgangsbildes, für das Überlagerungsdaten vorgesehen sind, die der Position des Pixels des Ausgangsbildes in der Tabelle (13, 14) zur geometrischen Transformation entsprechen, das Ausgangbild dadurch erzeugt, dass basierend auf den Überlagerungsdaten wenigstens ein Teil der Pixelwerte von den Pixeln ersetzt wird, die den Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild zugewiesen sind,...

Description

HINTERGRUND DER ERFINDUNG
1. Technisches Gebiet der Erfindung
Die Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes, die ein Eingangsbild, das von einer Erfassungseinrichtung aufgenommen wurde, in ein Ausgangsbild umwandelt, und die, wenn notwendig, ein Ausgangsbild mit einem Überlagerungsbild, das über das umgewandelte Bild gelegt wurde, erzeugt. Außerdem bezieht sich die Erfindung auf ein computerlesbares Medium, das ein Programm speichert, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt.
2. Beschreibung des Stands der Technik
Im Allgemeinen ist ein System untersucht und in die Praxis umgesetzt worden, in dem ein erfasstes Bild, das von einer Kamera zum Erfassen von Bildern aus der Sicht von einem Fahrzeug aus aufgenommen wurde, in einer Fahrzeugkabine derart angezeigt wird, dass beispielsweise ein Fahrer das erfasste Bild sehen kann, und außerdem das erfasste Bild mit einem computererzeugten Bild, das über das erfasste Bild gelegt worden ist, angezeigt wird. Als denkbare spezifische Inhalte gibt es verschiedene Inhalte, die über das durch die Kamera aufgenommene Bild gelegt werden, wie zum Beispiel einer, bei dem Gegenstände, auf die achtgegeben werden soll, wie zum Beispiel Randsteine und Klötze, und Fußgänger hervorgehoben werden, einer, bei dem Hilfslinien, die durch Verlängern von Seitenkanten des Fahrzeugs gezogen werden, und einer, bei dem ein Pfeil, der die Fahrtrichtung anzeigt, auf dem Bild einer Vorderaussicht von dem Fahrzeug als Navigationsanzeige angezeigt werden.
Als ein Beispiel für ein solches System ist in der veröffentlichten japanischen Patentanmeldung Nummer 2006-238131 ( JP-A-2006-238131 ) eine Erfindung beschrieben, die sich auf ein System zum Überwachen einer Fahrzeugumgebung bezieht, das als Hintergrundbild ein aufgenommenes Bild anzeigt, das von einer Erfassungseinrichtung zum Erfassen von Bildern der Aussicht von einem Fahrzeug aufgenommen worden ist, und das das Fahrzeug durchsichtig anzeigt.
In der JP-A-2006-238131 wird jedoch als Hintergrundbild ein zusammengesetztes Bild erzeugt, wobei das erfasste Bild, dessen Historie, etc., gemäß den Daten in einer Koordinatenumwandlungstabelle verwendet werden, und anschließend führt eine Zeichnungsvorgangseinrichtung einen Zeichnungsvorgang durch (Absatz [0018] in der JP-A-2006-238131 ). Somit erhöhen sich die Größe und die Kosten des gesamten Systems. Das Interesse, die Größe und die Kosten der fahrzeugeigenen Vorrichtungen zu verringern, ist groß, und daher ist eine Neuerung notwendig.
Die DE 10 083 445 T5 offenbart eine Vorrichtung zum Erzeugen eines zusammengesetzten Bilds mit einer Tabelle zur geometrischen Transformation, die Koordinaten, welche Positionen von Pixeln eines Ausgangsbilds entsprechen, auf ein Eingangsbild zuordnet, das von einer Erfassungseinrichtung empfangen wird.
Die US 2004/0 258 329 A1 lehrt eine Einrichtung zum Erzeugen eines Ausgangsbilds, die das Ausgangsbild dadurch erzeugt, dass unter Verwendung von Pixelwerten von Pixeln, die einen Punkt mit Kooridinaten umgeben, eine Intepolation durchgeführt wird.
In keiner dieser Druckschriften wird durch die Einrichtung zur Erzeugung des Ausgangsbilds eine Interpolation oder ein Ersatz wenigstens eines Teils der Pixelwerte durchgeführt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Erfindung stellt eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes bereit, mit der Kosten verringert werden können, die notwendig sind, damit ein Vorgang realisiert wird, um ein Überlagerungsbild über ein Bild zu legen, das durch Transformieren eines Eingangsbildes erzielt wird, das von einer Erfassungseinrichtung aufgenommen wird, und die Erfindung stellt auch ein computerlesbares Medium bereit, das ein Programm speichert, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt.
Eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes umfasst gemäß einem ersten Gesichtspunkt der gegenwärtigen Erfindung Folgendes: Eine Tabelle zur geometrischen Transformation, die Koordinaten, die Positionen von Pixeln eines Ausgangsbildes entsprechen, auf ein Eingangsbild zuordnet, das von einer Erfassungseinrichtung empfangen wird; und eine Einrichtung zum Erzeugen eines Ausgangsbildes, die das Ausgangsbild durch Legen eines Überlagerungsbildes, das auf Überlagerungsdaten basiert, die den Positionen der Pixel des Ausgangsbildes in der Tabelle zur geometrischen Transformation zugehörig sind, auf ein Bild erzeugt, das durch geometrische Transformation des Eingangsbildes gemäß der Tabelle zur geometrischen Transformation erzielt wird.
Im Allgemeinen bedeutet „Überlagern” das Überlagern von Bilddaten, und „Überlagerungsbild” bedeutet hier ein zusätzlich angezeigtes Bild oder Pixel, wie zum Beispiel ein computererzeugtes Bild, das über ein Hintergrundbild gelegt wird, das durch geometrische Transformation eines empfangenen Bildes erzielt wird. Der Ausdruck „Überlagerungsdaten” meint die Daten, die notwendig sind, um das „Überlagerungsbild” über das Hintergrundbild zu legen.
Gemäß dem obigen ersten Gesichtspunkt sind die Überlagerungsdaten zum Anzeigen eines Überlagerungsbildes den Positionen von Pixeln des Ausgangsbildes in der Tabelle zur geometrischen Transformation zugehörig, und basierend auf solchen Zugehörigkeiten wird ein Vorgang durchgeführt, um das Überlagerungsbild über das geometrisch transformierte Bild zu legen, sodass es möglich ist, eine allgemeine geometrische Transformation durchzuführen, und um ein Überlagerungsbild mit einer einzigen Tabelle zur geometrischen Transformation darüber zu legen. Insbesondere ist es im Vergleich zu dem Fall, wo ein Überlagerungsbild überlagert wird, nachdem eine geometrische Transformation durchgeführt worden ist, daher in dem Fall, wo als Überlagerungsbild ein reguläres Bild überlagert wird, möglich, Kosten zu verringern, die notwendig sind, um den Vorgang zu realisieren, bei dem ein Überlagerungsbild über das Bild gelegt wird, das durch Transformieren des Eingangsbildes erzielt wird, das von der Erfassungseinrichtung empfangen wird. Es ist anzumerken, dass die Vorrichtung in Bezug auf den Raum, die Kosten und das Gewicht, insbesondere wenn sie in einem Fahrzeug angebracht ist, beträchtlich von Vorteil ist.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt können die Überlagerungsdaten Daten umfassen, die jeweils eine angezeigte Farbe anzeigen, die in dem Ausgangsbild an einer bestimmten Pixelposition anzuzeigen ist.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die angezeigte Farbe ein Helligkeitswert sein. Insbesondere wenn das Bild kein Farbbild ist, werden Grautöne des Überlagerungsbildes spezifiziert.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die Einrichtung zum Erzeugen eines Ausgangsbildes für jedes Pixel des Ausgangsbildes entweder die Betriebsweise einer geometrischen Transformation oder die Überlagerungsbetriebsweise auswählen.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann in der Betriebsweise einer geometrischen Transformation eine Verzerrungskorrektur des Eingangsbildes durchgeführt werden.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die Tabelle zur geometrischen Transformation ein Auswahl-Flag enthalten, das anzeigt, ob das geometrisch transformierte Bild oder das Überlagerungsbild anzuzeigen ist.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt können die Überlagerungsdaten Daten aufweisen, die jeweils einen Mischkoeffizienten an einer bestimmten Pixelposition in dem Ausgangsbild anzeigen.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die angezeigte Farbe von jedem Pixel des Überlagerungsbildes, die angezeigt wird, nachdem gemäß dem Mischkoeffizienten ein Mischvorgang durchgeführt worden ist, durch die Tabelle zur geometrischen Transformation bestimmt werden.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die Einrichtung zum Erzeugen eines Ausgangsbildes eine Komplementiereinrichtung, einen Multiplizierer und einen Addierer aufweisen, die verwendet werden, um eine Betriebsweise, in der das Eingangsbild gemäß der Tabelle zur geometrischen Transformation geometrisch transformiert wird, und eine Betriebsweise, in der ein Mischvorgang gemäß dem in den Überlagerungsdaten enthaltenen Mischkoeffizienten durchgeführt wird, dadurch durchzuführen, dass eine Berechnung eines internen Teilungspunktes ausgeführt wird.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem ersten Gesichtspunkt kann die Einrichtung zum Erzeugen eines Ausgangsbildes das Ausgangsbild dadurch, dass basierend auf den Überlagerungsdaten wenigstens ein Teil von Pixelwerten von Pixeln ersetzt wird, die einen Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild zugeordnet worden sind, und dadurch erzeugen, dass anschließend unter Verwendung der Pixelwerte der Pixel, die den Punkt mit den Koordinaten umgeben, die in der Tabelle zur geometrischen Transformation zugeordnet worden sind, eine Interpolation hinsichtlich des Pixels des Ausgangsbildes durchgeführt wird, für das die Überlagerungsdaten vorgesehen sind.
Eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes umfasst gemäß einem zweiten Gesichtspunkt der Erfindung Folgendes: Eine Tabelle zur geometrischen Transformation, die Koordinaten, welche Positionen von Pixeln eines Ausgangsbildes entsprechen, auf ein Eingangsbild zuordnet, das von einer Erfassungseinrichtung empfangen wird; und eine Einrichtung zum Erzeugen eines Ausgangsbildes, die das Ausgangsbild dadurch erzeugt, dass unter Verwendung von Pixelwerten von Pixeln, die einen Punkt mit den Koordinaten umgeben, die in der Tabelle zur geometrische Transformation zugeordnet werden, eine Interpolation durchgeführt wird, wobei die Einrichtung zum Erzeugen eines Ausgangsbildes in Bezug auf das Pixel des Ausgangsbildes, für das die Überlagerungsdaten vorgesehen sind, das Ausgangsbild dadurch erzeugt, dass basieren auf den Überlagerungsdaten wenigstens ein Teil der Pixelwerte der Pixel ersetzt werden, die den Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild zugewiesen sind, und anschließend die Interpolation durchgeführt wird.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann die Interpolation eine bilineare Interpolation sein.
Die Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann ferner eine Koordinatenumwandlungseinrichtung aufweisen, die von den Koordinaten, die auf dem Eingangsbild in der Tabelle zur geometrischen Transformation zugeordnet worden sind, einen Bruchteil der Koordinate einer Reihenrichtung in einen Wert umwandelt, der einen Mischkoeffizienten anzeigt, wobei die Einrichtung zum Erzeugen eines Ausgangsbildes das Ausgangsbild dadurch erzeugen kann, dass hinsichtlich des Pixels des Ausgangsbildes, für das die Überlagerungsdaten vorgesehen sind, auf der Grundlage des Wertes, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, ein Mischvorgang durchgeführt wird.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann die Interpolation eine bilineare Interpolation sein, und es können Pixelwerte von oberen zwei Pixeln in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, größer oder gleich als 0,5 ist; und es können Pixelwerte von unteren zwei Pixeln hinsichtlich des Punktes mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, kleiner als 0,5 ist.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann die Interpolation eine bilineare Interpolation sein, und die Pixelwerte der Pixel, die den Punkt mit den Koordinaten in dem Eingangsbild umgeben, können alle durch eine angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient, in den der Bruchteil durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, größer als ein Grenzwert ist.
Die Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann ferner eine Koordinatenumwandlungseinrichtung aufweisen, die von den Koordinaten, die auf dem Eingangsbild in der Tabelle zur geometrischen Transformation zugeordnet worden sind, einen Bruchteil der Koordinate einer Spaltenrichtung in einen Wert umwandelt, der einen Mischkoeffizienten anzeigt, wobei die Einrichtung zum Erzeugen eines Ausgangsbildes das Ausgangsbild dadurch erzeugen kann, dass auf der Grundlage des Wertes, in den der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, hinsichtlich des Pixels von dem Ausgangsbild, für das die Überlagerungsdaten vorgesehen sind, ein Mischbetrieb durchgeführt wird.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann die interpolation eine bilineare Interpolation sein, und es können Pixelwerte von oberen zwei Pixeln in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, größer oder gleich als 0,5 ist; und es können Pixelwerte von zwei linksseitigen Pixeln in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, kleiner als 0,5 ist.
In der Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß dem zweiten Gesichtspunkt kann die Interpolation eine bilineare Interpolation sein, und es können die Pixelwerte der Pixel, die den Punkt mit den Koordinaten in dem Eingangsbild umgeben, alle durch eine angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient, in den der Bruchteil durch die Koordinatenumwandlungseinrichtung umgewandelt worden ist, größer als ein Grenzwert ist.
Ein computerlesbares Medium gemäß einem dritten Gesichtspunkt der Erfindung, das ein Programm speichert, ist ein computerlesbares Medium, das ein Programm speichert, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß den obigen Gesichtspunkten wirkt.
Die Erfindung stellt eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes bereit, mit der es möglich ist, Kosten zu verringern, die erforderlich sind, um einen Vorgang zu realisieren, bei dem ein Überlagerungsbild über ein Bild gefegt wird, das durch Transformieren eines Eingangsbildes erzielt wird, welches von einer Erfassungseinrichtung empfangen wird, und die Erfindung stellt auch ein computerlesbares Medium bereit, das ein Programm speichert, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Das Vorhergehende und/oder weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden Beschreibung einer bevorzugten Ausführungsform in Bezug auf die beigefügten Zeichnungen besser ersichtlich, in denen gleiche Bezugszeichen verwendet werden, um gleiche Elemente darzustellen, worin:
1 eine grafische Darstellung ist, die eine Vorrichtung zum Erzeugen eines zusammengesetzten Bildes gemäß einer ersten Ausführungsform der Erfindung, daran angeschlossene Vorrichtungen, etc. zeigt;
2 eine grafische Darstellung ist, die eine Tabelle 11 zur geometrischen Transformation der ersten Ausführungsform zeigt;
3 eine grafische Darstellung ist, die die Entsprechungen zwischen Koordinaten in einem Eingangsbild und Koordinaten in einem Ausgangsbild in der ersten Ausführungsform zeigt,
4A eine grafische Darstellung ist, die ein Beispiel für ein Eingangsbild vor einer Verzerrungskorrektur gemäß der ersten Ausführungsform zeigt;
4B eine grafische Darstellung ist, die ein Beispiel für ein Ausgangsbild vor der Verzerrungskorrektur gemäß der ersten Ausführungsform zeigt;
5 eine grafische Darstellung ist, die eine Situation zeigt, in der in der ersten Ausführungsform auf das Bild einer rückwärtigen Aussicht von einem Fahrzeug verlängerte Linien gefegt worden sind, die eine Fahrzeugbreite anzeigen, wobei sie als Orientierungshilfe während eines Rückwärtseinparkvorgangs verwendet werden;
6 ein Ablaufdiagramm ist, das einen Ablauf eines charakteristischen Vorgangs zeigt, der durch einen Abschnitt 21 zum Erzeugen eines Ausgangsbildes der ersten Ausführungsform durchgeführt wird;
7 eine grafische Darstellung ist, die eine Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes gemäß einer zweiten Ausführungsform der Erfindung, damit verbundene Vorrichtungen, etc. zeigt;
8A eine grafische Darstellung ist, die eine Tabelle 12 zur geometrischen Transformation der zweiten Ausführungsform zeigt;
8B eine grafische Darstellung ist, die eine andere Tabelle 12 zur geometrischen Transformation der zweiten Ausführungsform zeigt;
9 ein Ablaufdiagramm ist, das einen Ablauf eines charakteristischen Vorgangs zeigt, der durch einen Abschnitt 22 zum Erzeugen eines Ausgangsbildes der zweiten Ausführungsform durchgeführt wird;
10 eine grafische Darstellung ist, die eine Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes gemäß einer dritten Ausführungsform der Erfindung, damit verbundene Vorrichtungen, etc. zeigt;
11 eine grafische Darstellung ist, die eine Tabelle 13 zur geometrischen Transformation und die Entsprechungen zwischen Koordinaten in einem Eingangsbild und Koordinaten in einem Ausgangsbild in der dritten Ausführungsform zeigt;
12 ein Ablaufdiagramm ist, das einen Ablauf von einem charakteristischen Vorgang zeigt, der durch einen Abschnitt 23 zum Erzeugen eines Ausgangsbildes der dritten Ausführungsform durchgeführt wird;
13 eine grafische Darstellung ist, die einen Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes gemäß einer vierten Ausführungsform der Erfindung, damit verbundene Vorrichtung, etc. zeigt;
14 eine grafische Darstellung ist, die eine Tabelle 14 zur geometrischen Transformation der vierten Ausführungsform zeigt;
15A eine grafische Darstellung ist, die eine Situation zeigt, in der ein Abschnitt 24B zum Erzeugen eines Ausgangsbildes gemäß der vierten Ausführungsform in einem Eingangsbild Pixelwerte von einem Teil von Pixeln, die einen Punkt mit Koordinaten umgeben, von denen ein Bruchteil umgewandelt worden ist, durch eine angezeigte Farbe ersetzt, wobei der Punkt einem Pixel eines Ausgangsbildes entspricht;
15B eine grafische Darstellung ist, die eine Situation zeigt, in der der Abschnitt 24B zum Erzeugen eines Ausgangsbildes gemäß der vierten Ausführungsform in dem Eingangsbild Pixelwerte von einem unterschiedlichen Teil von Pixeln, die den Punkt mit den Koordinaten umgeben, von denen ein Bruchteil umgewandelt worden ist, durch eine angezeigte Farbe ersetzt, wobei der Punkt dem Pixel des Ausgangsbildes entspricht;
16 ein Ablaufdiagramm ist, das einen Ablauf von einem charakteristischen Vorgang zeigt, der von einem Koordinatentransformationsabschnitt 24A und dem Abschnitt 24B zum Erzeugen eines Ausgangsbildes der vierten Ausführungsform durchgeführt wird;
17 eine grafische Darstellung ist, die eine Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes gemäß einer fünften Ausführungsform der Erfindung, damit verbundene Vorrichtungen, etc. zeigt;
18 eine grafische Darstellung ist, die ein Beispiel für eine Hardware-Konfiguration eines Abschnitts 25 zum Erzeugen eines Ausgangsbildes der fünften Ausführungsform zeigt;
19 ein Zeitdiagramm ist, um die Betriebsweise des Abschnitts 25 zum Erzeugen eines Ausgangsbildes der fünften Ausführungsform zu beschreiben; und
20 eine grafische Darstellung ist, die Entsprechungen zwischen einem binären Ausdruck und einem dezimalen Ausdruck zeigt, die einen Bruchteil der Koordinate Xi und ihre Komplementärzahl in der fünften Ausführungsform darstellen.
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden wird eine Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß einer ersten Ausführungsform der Erfindung beschrieben. Die Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes ist beispielsweise in einem Fahrzeug angebracht und zeigt auf einer Anzeigevorrichtung ein Bild an, das dadurch erzielt wird, dass über ein Bild von der Aussicht des Fahrzeugs, das von einer Kamera aufgenommen worden ist, ein Überlagerungsbild gelegt wird. Das „Überlagerungsbild” bedeutet hier ein zusätzlich angezeigtes Bild oder Pixel, wie zum Beispiel ein computererzeugtes Bild, das über ein Hintergrundbild gelegt worden ist, welches durch geometrische Transformation des erfassten Bildes erzielt worden ist.
1 ist eine grafische Darstellung, welche die Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß der ersten Ausführungsform der Erfindung, damit verbundene Vorrichtungen, etc. zeigt. Mit der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes sind eine Kamera 30 und eine Anzeigevorrichtung 40 verbunden.
Die Kamera 30 ist eine Kamera, die beispielsweise eine ladungsgekoppelte Vorrichtung (CCD), einen Komplementär-Metalloxid-Halbleiter (CMOS) oder dergleichen verwendet. Die Kamera 30 ist beispielsweise in der Nähe des Nummernschildes an der Rückseite des Fahrzeugs angeordnet und nimmt das Bild einer Weitwinkel-Rückaussicht des Fahrzeugs auf. Es ist anzumerken, dass eine solche Anordnung nur ein Beispiel ist, und in Vorrichtungen, bei denen die Erfindung verwendet werden kann, sind die Richtung, in welcher Bilder von dem Fahrzeug aufgenommen werden, wie zum Beispiel die vordere Richtung, eine diagonale vordere Richtung, eine seitliche Richtung, eine Richtung nach oben oder eine Richtung nach unten, und der Winkel willkürlich, unter dem die Bilder aufgenommen werden.
Die Kamera 30 umfasst beispielsweise eine Kameralinse 32, einen Bildsensor 34 und eine elektronische Steuereinheit 36. Die folgende Beschreibung wird unter der Vorraussetzung gemacht, dass die Kamera 30 eine CCD-Kamera ist. Die Kameralinse 32 umfasst ein Fischaugen-Objektiv, das ein Weitwinkelabbilden ermöglicht. Der Bildsensor 34 ist beispielsweise ein Zwischenzeilen-Bildsensor, in dem Fotodioden, die Lichtaufnahmeelemente sind, um eine fotoelektrische Umwandlung durchzuführen, und CCDs, die den jeweiligen Fotodioden zugeordnet sind, in einer Ebene zweidimensional angeordnet sind. Außerdem weist der Bildsensor ein Transfergatter auf, das die Funktion eines analogen Schalters zwischen einer Fotodiode und der zugeordneten CCD hat. Auf der vorderen Seite (auf der Seite der Kameralinse 32) von jeder Fotodiode ist eine Mikrolinse zum Sammeln von Licht angebracht. Der Bildsensor ist nicht auf den Zwischenzeilen-Bildsensor begrenzt. Es kennen auch ein Vollrahmentransfer-Bildsensor oder ein Rahmentransfer-Bildsensor verwendet werden, in welchen CCDs selbst die Funktion von Lichtaufnahmeelementen haben.
In der elektronischen Steuereinheit 36 werden beispielsweise Mikrocomputer, elektronische Schaltungen, etc. in Verbindung miteinander verwendet, und die elektronische Steuereinheit 36 stellt die Verschlussgeschwindigkeit und die Aufnahmefrequenz (beispielsweise mehrere dutzend Mal pro Sekunde) der Kamera 30 durch Steuern des Öffnungs-/Schließzeitpunkts der Transfer-Gates, welche der Bildsensor 34 aufweist, ein. Die elektronische Steuereinheit 36 führt bei den Daten, die von der Ausgangsschaltung des Bildsensors 34 ausgegeben werden, eine Verstärkungsregelung und eine korrelierte doppelte Stichprobenprüfung (CDS) durch.
Die Anzeigevorrichtung 40 ist ein Punktmatrix-Flüssigkristall-Anzeigefeld, ein organisches lumineszierendes Punktmatrix-Anzeigefeld oder dergleichen, in der in einer Matrixanordnung Pixel regelmäßig angeordnet sind. In einem solchen Feld ist für jedes Pixel ein aktives Element zum Ansteuern eines Pixels angeordnet, und der Helligkeitswert (die angezeigte Farbe) wird für jedes Pixel gemäß dem Pixelwert gesteuert. Die Anzahl der Pixel beträgt beispielsweise 640×480 (VGA), 800×600 (SVGA), etc. Es ist anzumerken, dass die Anzeigevorrichtung 40 eine Touch-Panel-Anzeige sein kann, die eine Spannungsänderung auf der Anzeigeoberfläche erfasst, um verschiedene Eingaben zu empfangen.
Die Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes ist ein Mikrocomputer oder ein hochintegrierter Schaltkreis (LSI), in welchem die Zentraleinheit (CPU), ein Schreib-Lese-Speicher (RAM), ein Festwertspeicher (ROM), ein Flash-Speicher und eine Eingabe-/Ausgabe-Schnittstelle über einen internen Datenbus verbunden sind. Beispielsweise ist in dem Flash-Speicher der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes eine Tabelle 11 zur geometrischen Umwandlung gespeichert. Die Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes weist einen Abschnitt 21 zum Erzeugen eines Ausgangsbildes als funktionalen Block auf, der arbeitet, wenn die CPU ein Systemrealisierungsprogramm ausführt, das in dem ROM gespeichert ist (der als das „computerlesbare Medium” der Erfindung betrachtet werden kann), das als das „Programm” der Erfindung betrachtet werden kann.
2 ist eine grafische Darstellung, welche die Tabelle 11 zur geometrischen Transformation der ersten Ausführungsform zeigt. Die Tabelle 11 zur geometrischen Transformation bestimmt auf dem Eingangsbild, das von der Kamera 30 aufgenommen wird, Koordinaten, die den Positionen von Pixeln des Ausgangsbildes entsprechen, das auf der Anzeigevorrichtung 40 angezeigt wird. Mit anderen Worten die Tabelle 11 zur geometrischen Transformation kann als Tabelle betrachtet werden, die auf dem Eingangsbild, das von der Kamera 30 aufgenommen worden ist, ein Koordinatensystem definiert, das den Positionen von Pixeln auf dem Ausgangsbild entspricht. Die Elemente der Tabelle 11 zur geometrischen Transformation sind in der Reihenfolge angeordnet, in der das Raster-Abtasten des Ausgangsbildes durchgeführt wird (in der Reihenfolge der Koordinaten des Ausgangsbildes), sodass die Koordinaten (Xi, Yi) des Eingangsbildes abgerufen werden, wenn auf die Tabelle 11 zur geometrischen Transformation bei Verwendung der Koordinaten (Xo, Yo) des Pixels von dem Ausgangsbild als Eingabe Bezug genommen wird.
Wenn die Positionen von Pixeln des Ausgangsbildes und die Positionen von Pixeln des Eingangsbildes eins-zu-eins übereinstimmen, stimmen die Koordinaten (Xo, Yo) und die Koordinaten (Xi, Yi) eins-zu-eins überein. In dem Fall der allgemeinen geometrischen Transformation der Erfindung, die im Folgenden beschrieben wird, entsprechen jedoch die Positionen von Pixeln des Ausgangsbildes den Positionen von Pixeln des Eingangsbildes nicht eins-zu-eins, und daher gibt es einen Fall, wo, obwohl die Koordinaten (Xo, Yo) des Ausgangsbildes ganze Zahlen sind, die Koordinaten (Xi, Yi) des Eingangsbildes reelle Zahlen sind, die Dezimalbrüche haben.
3 ist ein Diagramm, das die Entsprechungen zwischen den Koordinaten in dem Eingangsbild und den Koordinaten in dem Ausgangsbild in der ersten Ausführungsform der Erfindung darstellt. In 3 stellen die Schnittpunkte des Gitters die Pixelpositionen sowohl in dem Eingangsbild als auch in dem Ausgangsbild dar. Die Koordinaten (Xo, Yo) in dem Ausgangsbild stimmen mit den Positionen von Pixeln überein, wohingegen die Koordinaten (Xi, Yi) in dem Eingangsbild nicht mit den Positionen von Pixeln übereinstimmen. Wenn die Entsprechungen auf diese Art und Weise im Voraus festgelegt werden, wird jedoch die allgemeine geometrische Transformation (die Verzerrungskorrektur in dieser Ausführungsform) ausgeführt.
Die Entsprechungen zwischen den Koordinaten (Xo, Yo) und den Koordinaten (Xi, Yi) werden kurz beschrieben. 4A ist eine grafische Darstellung, die ein Beispiel für ein Eingangsbild vor einer Verzerrungskorrektur zeigt. 4B ist eine grafische Darstellung, die ein Beispiel für ein Ausgangsbild vor einer Verzerrungskorrektur zeigt. Wenn beispielsweise der Grad der Verzerrung mit dem Abstand von der Mitte des Bildes in der oberen oder unteren Richtung zunimmt, sind die Positionen von Pixeln des Eingangsbildes und die Positionen von Pixeln des Ausgangsbildes, die miteinander zusammenhängen, bei der Verzerrungskorrektur unter Verwendung der geometrischen Transformation in Abhängigkeit von der vertikalen Position des Pixels in der Breitenrichtung verschoben. Insbesondere sind die Pixel auf einem Liniensegment V1 und einem Liniensegment V2 auf Pixel auf einem Liniensegment W1 bzw. Liniensegment W2 abgebildet, die unterschiedliche Längen haben. Wenn der Verzerrungsbetrag pro Pixel (in der vertikalen Richtung in dem Eingangsbild) α und die Anzahl von Pixeln zwischen den Liniensegmenten V1 und V2 L betragen, hängen die Positionen der Pixel auf dem Liniensegment V2 mit den Positionen der Pixel auf dem Liniensegment W2 derart zusammen, dass das Liniensegment W2 um L·α länger ist als das Liniensegment W1. Infolgedessen werden die Entsprechungen zwischen den Koordinaten (Xo, Yo) und den Koordinaten (Xi, Yi) durch eine bestimmte Koordinatentransformationsgleichung (hochgradiges Polynom) bestimmt.
Die Entsprechungen, die mit einer solchen Korrektur und einer solchen Transformation zusammenhängen, sind beispielsweise in dem ROM oder dergleichen der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes vor dem Versand des Fahrzeugs gespeichert, und die Werte, die unter Berücksichtigung der Höhe des Fahrzeugs, soweit wie notwendig, korrigiert sind, werden zu dem Flash-Speicher oder dergleichen als Tabelle 11 zur geometrischen Transformation ausgelesen.
Anschließend wird unter Bezugnahme auf die 2 und 3 ein Verfahren zum Bestimmen des Pixelwertes des Eingangsbildes bei Koordinaten (Xi, Yi) beschrieben. Der Abschnitt 21 zum Erzeugen eines Ausgangsbildes bestimmt den Pixelwert des Eingangsbildes bei Koordinaten (Xi, Yi) durch Ausführen einer sogenannten bilinearen Interpolation, welche die Ausdehnung einer linearen Interpolation auf den zweidimensionalen Fall ist, bei den Pixelwerten der Pixel, die den Punkt mit den Koordinaten (Xi, Yi) umgeben. Insbesondere wird der Pixelwert, der unter Verwendung der folgenden Gleichung (1) erzielt wird, als der Pixelwert des Eingangsbildes bei Koordinaten (Xi, Yi) berechnet und als der Pixelwert des Ausgangsbildes bei Koordinaten (Xo, Yo) festgelegt. Der Einfachheit halber hat in dem Koordinatensystem, das auf dem Eingangsbild definiert ist, die Länge einer Seite eines Einheitsgitters den Wert „1”. Es ist anzumerken, dass ein solches Verfahren nur ein Beispiel ist, und der Pixelwert des Eingangsbildes bei Koordinaten (Xi, Yi) kann unter Verwendung eines anderen Verfahrens bestimmt werden. Wenn die Position eines Pixels des Eingangsbildes mit Koordinaten (Xi, Yi) übereinstimmt, kann der ursprüngliche Pixelwert des Pixels des Eingangsbildes ohne Durchführung einer solchen Interpolation verwendet werden. Pixelwert (Xi, Yi) = {G₁ × (1 – (Bruchteil von Xi)) + G₂ × (Bruchteil von Xi)) × (Bruchteil von Xi) + {G₃ × (1 – (Bruchteil von Xi)) + G₄ × (Bruchteil von Xi)} × (1 – Bruchteil von Yi) (1)
Außerdem ist in der Tabelle 11 zur geometrischen Transformation der ersten Ausführungsform ein Auswahl-Flag enthalten, das anzeigt, ob das geometrisch transformierte Bild oder das Überlagerungsbild angezeigt wird. Das Auswahl-Flag ist auf den Wert „0”, der das geometrisch transformierte Bild anzeigt, oder auf den Wert „1”, der das Überlagerungsbild anzeigt, festgelegt. Hinsichtlich der Ausgangskoordinaten ((Xp, Yp) in 2), für die das Auswahl-Flag auf den Wert „1” eingestellt ist, wird anstelle der oder zusätzlich zu den entsprechenden Koordinaten des Eingangsbildes die Spezifikation der anzuzeigenden Farbe (die hier auch als die „angezeigte Farbe” bezeichnet wird) eingegeben. insbesondere sind die Überlagerungsdaten (das Auswahl-Flag und die angezeigte Farbe in der ersten Ausführungsform) den Positionen (den Koordinaten) der Pixel des Ausgangsbildes zugehörig.
Hinsichtlich der Bestimmung des Auswahl-Flags und der Bestimmung der angezeigten Farbe können dann, wenn der Wert des Auswahl-Flags „1” beträgt, die Daten, die im Voraus in einem ROM oder dergleichen gespeichert sind, in der Tabelle 11 zur geometrischen Transformation automatisch enthaften sein, oder wenn notwendig, kann eine externe Vorrichtung die Werte festlegen. Eine denkbare Situation, wo das Erstere geeignet ist, ist eine Situation, wo dann, wenn eine rückwärtige Aussicht von dem Fahrzeug aufgenommen und angezeigt wird, wie in dem Fall der ersten Ausführungsform, über das Bild der rückwärtigen Aussicht von dem Fahrzeug verlängerte Linien gelegt sind, welche die Fahrzeugbreite anzeigen, sodass sie als Orientierungshilfe beispielsweise während eines Rückwärtsparkvorgangs verwendet werden (siehe 5). Eine Situation, wo das Letztere geeignet ist, ist eine Situation, in der dann, wenn beispielsweise eine vordere Aussicht von dem Fahrzeug aufgenommen und angezeigt wird, beispielsweise über das Bild der vorderen Aussicht von dem Fahrzeug eine Weganzeige gemäß der Wegführung gelegt wird, die durch ein Navigationssystem bereit gestellt wird.
In dem Abschnitt 21 zum Erzeugen eines Ausgangsbildes wird der Pixelwert, der durch die Verwendung der oben beschrieben Gleichung (1) erzielt wird, als der Pixelwert hinsichtlich des Pixels des Ausgangsbildes festgelegt, für den der Wert des Ausgangs-Flags „0” ist, und die angezeigte Farbe, die in der Tabelle 11 zur geometrischen Transformation spezifiziert ist, wird als der Pixelwert hinsichtlich des Pixels des Ausgangsbildes festgelegt, für den der Wert des Auswahl-Flags „1” beträgt. Somit wird das Ausgangsbild dadurch erzeugt, dass auf das Bild, das durch geometrische Transformation des Eingangsbildes gemäß der Tabelle 11 zur geometrischen Transformation erzielt wird, das Überlagerungsbild gelegt wird, das auf den Überlagerungsdaten basiert, die den Positionen von Pixeln des Ausgangsbildes in der Tabelle 11 zur geometrischen Transformation zugehörig sind.
6 ist ein Ablaufdiagramm, das einen Ablauf eines charakteristischen Vorgangs darstellt, der durch den Abschnitt 21 zum Erzeugen eines Ausgangsbildes der ersten Ausführungsform durchgeführt wird. Der Ablauf wird beispielsweise in einem bestimmten Zyklus wiederholt durchgeführt.
Als Erstes liest der Abschnitt 21 zum Erzeugen eines Ausgangsbildes Daten, die das erste Ausgangspixel in der Tabelle 11 zur geometrischen Transformation betreffen (S100).
Anschließend bestimmt der Abschnitt 21 zum Erzeugen eines Ausgangsbildes, ob das Auswahl-Flag, das dem Ausgangspixel zugeordnet ist, den Wert „0” oder „1” hat (S102). Wie oben beschrieben wird der Pixelwert, der durch geometrische Transformation (und Interpolation) erzielt wird, als der Pixelwert des Ausgangsbildes festgelegt, wenn der Wert des Auswahl-Flags „0” beträgt (S104), während die angezeigte Farbe, die in der Tabelle 11 zur geometrischen Transformation bestimmt wird, als der Pixelwert des Ausgangsbildes festgelegt wird, wenn der Wert des Auswahl-Flags „1” beträgt (S106).
Danach wird bestimmt, ob die Pixelwerte für alle Ausgangspixel bestimmt wurden (S108), und wenn nicht alle Pixelwerte für alle Ausgangspixel bestimmt worden sind, werden die Daten, welche das nächste Ausgangspixel betreffen, gelesen (S110), und es werden die Schritte von S102 ab durchgeführt.
Wenn andererseits die Pixelwerte für alle Ausgabepixel bestimmt worden sind, wird die bestimmte Menge von Bilddaten zu der Anzeigevorrichtung 40 als Daten eines zusammengesetzten Bildes eines Rahmens ausgegeben (S112).
Mit der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß der ersten Ausführungsform sind die Überlagerungsdaten zum Anzeigen eines Überlagerungsbildes den Positionen von Pixeln des Ausgangsbildes in der Tabelle 11 zur geometrischen Transformation zugeordnet, und es wird auf der Basis von solchen Zuordnungen ein Vorgang zum Darüberlegen des Überlagerungsbildes über das geometrisch transformierte Bild derart durchgeführt, dass es möglich ist, eine übliche geometrische Transformation und ein Darüberlegen eines Überlagerungsbildes mit einer einzelnen Tabelle 11 zur geometrischen Transformation durchzuführen. insbesondere können in dem Fall, wo als Überlagerungsbild ein reguläres Bild darüber gelegt wird, die Kosten verringert werden, die notwendig sind, um den Vorgang zum Darüberlegen eines Überlagerungsbildes über das Bild zu realisieren, das durch Transformation des von der Aufnahmeeinrichtung aufgenommenen Eingangsbildes erzielt wird, im Vergleich zu dem Fall, wo ein Überlagerungsbild darüber gelegt wird, nachdem eine geometrische Transformation durchgeführt worden ist.
Im Folgenden wird eine Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes gemäß einer zweiten Ausführungsform der Erfindung beschrieben. Die Vorrichtung 2 Zum Erzeugen eines zusammengesetzten Bildes unterscheidet sich von der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß der ersten Ausführungsform darin, dass ein Mischvorgang (beispielsweise ein α-Mischen) durchgeführt wird, wenn ein Überlagerungsbild darüber gelegt wird.
Die Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes der zweiten Ausführungsform umfasst eine Tabelle 12 zur geometrischen Transformation und einen Abschnitt 22 zum Erzeugen eines Ausgangsbildes (siehe 7). Die Hardware-Komponenten der Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes sowie die Kamera 30 und die Anzeigevorrichtung 40 davon sind die gleichen wie die der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform, und daher ist die Beschreibung dieser Komponenten weggelassen. Ferner ist auch die geometrische Transformation die gleiche wie die in der ersten Ausführungsform, und ihre Beschreibung ist weggelassen.
8A ist eine grafische Darstellung, die die Tabelle 12 zur geometrischen Transformation der zweiten Ausführungsform zeigt. Die Tabelle 12 zur geometrischen Transformation der zweiten Ausführungsform umfasst anstelle von oder zusätzlich zu dem Auswahl-Flag, der in der Tabelle 11 zur geometrischen Transformation der ersten Ausführungsform enthalten ist, einen Mischkoeffizienten. Insbesondere sind Überlagerungsdaten (der Mischkoeffizient in der zweiten Ausführungsform) den Positionen (Koordinaten) von Pixeln des Ausgangsbildes zugeordnet. Es ist anzumerken, dass auch in der zweiten Ausführungsform das Auswahl-Flag in der Tabelle 12 zur geometrischen Transformation enthalten sein kann wie in dem Fall der ersten Ausführungsform.
Der Mischkoeffizient in der zweiten Ausführungsform ist der Mischkoeffizient α für den α-Mischvorgang. Insbesondere meint der Mischkoeffizient die Opazität, die verwendet wird, wenn eine lichtdurchlässige Verarbeitung durchgeführt wird, und er wird zwischen den Werten „0” und einschließlich „1” festgelegt. Es ist anzumerken, dass der Mischkoeffizient außerhalb des Bereichs zwischen den Werten „0” und einschließlich „1” festgelegt werden kann. Hinsichtlich der Bestimmung des Mischkoeffizienten können die Daten, die in einem ROM oder dergleichen im Voraus gespeichert sind, in der Tabelle 12 zur geometrischen Transformation automatisch enthalten sein, oder wenn notwendig, kann eine externe Vorrichtung den Mischkoeffizienten festlegen.
Der Abschnitt 22 zum Erzeugen eines Ausgangsbildes berechnet einen Pixelwert unter Verwendung der folgenden Gleichung (2), wobei der Pixelwert Ga, der unter Verwendung der Gleichung (1) der ersten Ausführungsform erzielt wird, und der Pixelwert Gb, der die angezeigte Farbe des Überlagerungsbildes bestimmt, verwendet werden. Dadurch wird das Überlagerungsbild derart angezeigt, dass sich die Transparenz des Überlagerungsbildes erhöht, während sich der Mischkoeffizient α verringert. Hinsichtlich des Pixels von dem Ausgangsbild, für das der Mischkoeffizient auf den Wert „0” festgelegt ist (oder der Mischkoeffizient nicht festgelegt ist), wird für den Pixelwert normalerweise der Pixelwert Ga verwendet, der unter Verwendung der obigen Gleichung (1) erzielt wird. Pixelwert G = (1 – α) × Ga + α × Gb (2)
Somit wird das Ausgangsbild dadurch erzeugt, dass über das Bild, das durch geometrische Transformation des Eingangsbildes gemäß der Tabelle 12 zur geometrischen Transformation erzielt wird, das Überlagerungsbild gelegt wird, das auf den Überlagerungsdaten basiert, die den Positionen von Pixeln des Ausgangsbildes in der Tabelle 12 zur geometrischen Transformation zugeordnet sind.
9 ist ein Ablaufdiagramm, das einen Ablauf eines charakteristischen Vorgangs zeigt, der durch den Abschnitt 22 zum Erzeugen eines Ausgangsbildes der zweiten Ausführungsform durchgeführt wird. Der Ablauf wird beispielsweise in einem vorgegebenen Zyklus wiederholt durchgeführt.
Als Erstes liest der Abschnitt 22 zum Erzeugen eines Ausgangsbildes die Daten, die das erste Ausgangspixel betreffen, in der Tabelle 12 zur geometrischen Transformation (S200).
Anschließend wird der Pixelwert, der unter Verwendung der obigen Gleichung (2) berechnet wird, als der Pixelwert des Ausgangsbildes festgelegt (S202). Insbesondere wird der Pixelwert des Ausgangsbildes dadurch bestimmt, dass der Interpolationsvorgang und der Mischvorgang durchgeführt werden.
Im Anschluss daran wird bestimmt, ob die Pixelwerte für alle Ausgangspixel bestimmt worden sind (S204), und wenn nicht alle Pixelwerte für alle Ausgangspixel bestimmt worden sind, werden die Daten gelesen, die das nächste Ausgangspixel betreffen (S206), und es werden die Schritte von S202 an durchgeführt. Wenn andererseits die Pixelwerte für alle Ausgangspixel bestimmt worden sind, wird die bestimmte Menge von Bilddaten zu der Anzeigevorrichtung 40 als Daten eines zusammengesetzten Bildes von einem Rahmen ausgegeben (S208).
Gemäß der Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes der zweiten Ausführungsform ist es wie im Falle der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform möglich, Kosten zu senken, die erforderlich sind, um den Vorgang zum Darüberlegen eines Überlagerungsbildes auf das Bild zu realisieren, das durch Transformation des Eingangsbildes erzielt wird, das von der Erfassungseinrichtung aufgenommen worden ist, und außerdem ist es möglich, das geometrisch transformierte Bild und das Überlagerungsbild nach deren lichtdurchlässigen Verarbeitung zu kombinieren, es ist möglich, den Kantenglättungsvorgang durchzuführen, etc.
In der zweiten Ausführungsform kann die angezeigte Farbe eines Überlagerungsbildes für jedes Pixel unter Verwendung der Tabelle 12 zur geometrischen Transformation bestimmt werden. Ein Beispiel für die Tabelle 12 zur geometrischen Transformation für diesen Fall ist in 8B gezeigt. In diesem Fall kann auch die obige Gleichung (2) verwendet werden, vorausgesetzt, dass der Pixelwert Gb für jedes Pixel aus der Tabelle 12 zur geometrischen Transformation ausgelesen wird.
Im Folgenden wird eine Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes gemäß einer dritten Ausführungsform der Erfindung beschrieben. Die Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes unterscheidet sich von der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß der ersten Ausführungsform darin, dass ein Teil der oder alle Pixelwerte der Pixel, die einen Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild bestimmt worden sind, durch eine angezeigte Farbe ersetzt werden, die in den Überlagerungsdaten enthalten ist, um das Darüberlegen eines Überlagerungsbildes durchzuführen.
Die Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes der dritten Ausführungsform umfasst eine Tabelle 13 zur geometrischen Transformation und einen Abschnitt 23 zum Erzeugen eines Ausgangsbildes (siehe 10). Die Hardware-Komponenten der Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes sowie die Kamera 30 und die Anzeigevorrichtung 40 davon sind die gleichen wie in der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform, und daher ist die Beschreibung dieser Komponenten weggelassen.
Weil das Darüberlegen eines Überlagerungsbildes in dem Vorgang einer geometrischen Transformation der ersten und zweiten Ausführungsformen enthaften ist, werden diese Vorgänge gemeinsam beschrieben. 11 ist eine grafische Darstellung, die die Tabelle 13 zur geometrischen Transformation und die Entsprechungen zwischen den Koordinaten in dem Eingangsbild und den Koordinaten in dem Ausgangsbild in der dritten Ausführungsform darstellt. Die Tabelle 13 zur geometrischen Transformation bestimmt auf dem von der Kamera 30 aufgenommenen Eingangsbild Koordinaten, die den Positionen von Pixeln des Ausgangsbildes, das auf der Anzeigevorrichtung 40 angezeigt wird, entsprechen. Außerdem umfasst die Tabelle 13 zur geometrischen Transformation der dritten Ausführungsform die angezeigte Farbe und die Austauschanweisungen, um anzugeben, welche Pixelwerte von den Pixeln, die einen Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild bestimmt worden sind, durch die bestimmte angezeigte Farbe zu ersetzen sind.
Die Austauschanweisungen sind beispielsweise als 4-Bit-Daten vorgesehen, die den Pixeln entsprechen, die den Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild bestimmt worden sind. Insbesondere zeigt das erste Bit an, ob der Pixelwert des oberen linken Pixels durch die angezeigte Farbe ausgetauscht werden soll („0”, wenn der Austausch durchgeführt werden soll, und „1”, wenn der Austausch nicht durchgeführt werden soll), das zweite Bit zeigt an, ob der Pixelwert des unteren linken Pixels durch die angezeigte Farbe ausgetauscht werden soll, das dritte Bit zeigt an, ob der Pixelwert des oberen rechten Pixels durch die angezeigte Farbe ausgetauscht werden soll, und das vierte Bit zeigt an, ob der Pixelwert des unteren rechten Pixels durch die angezeigte Farbe ausgetauscht werden soll. So ist es möglich, den Effekt zu erzielen, der dem ähnlich ist, der erzielt wird, wenn der Mischkoeffizient auf eine bestimmte Anzahl von Stufen festgelegt ist, wie in dem Fall der zweiten Ausführungsform. Insbesondere wenn die ersten bis vierten Bits alle den Wert „1” haben, ist das Ergebnis das gleiche wie dann, wenn der Mischkoeffizient in der zweiten Ausführungsform auf „1” gesetzt ist, und wenn ein, zwei oder drei der ersten bis vierten Bits auf den Wert „1” eingestellt sind, ist das Ergebnis das gleiche wie dann, wenn der Mischkoeffizient auf drei Stufen festgelegt ist (der Mischkoeffizient kann in der zweiten Ausführungsform willkürlich festgelegt sein). Wenn berücksichtigt wird, dass eine Prozessbelastung dementsprechend verringert werden kann, weil die Notwendigkeit beseitigt worden ist, eine Berechnung gemäß der obigen Gleichung (2) durchzuführen, kann man sagen, dass die Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes der dritten Ausführungsform das geometrisch transformierte Bild und das Überlagerungsbild nach dessen lichtdurchlässigen Verarbeitung kombinieren kann, sie kann den Kantenglättungsvorgang, etc. mit einem einfacheren Vorgang durchführen, obgleich die Genauigkeit geringer ist als die der Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes der zweiten Ausführungsform.
Hinsichtlich der Austauschanweisungen und der Spezifikation der angezeigten Farbe können die Daten, die im Voraus in einem ROM oder dergleichen gespeichert sind, automatisch in der Tabelle 13 zur geometrischen Transformation enthalten sein, oder eine externe Vorrichtung kann den Austausch und die angezeigte Farbe bestimmen, wenn notwendig. Ferner entspricht die Verzerrungskorrektur der aus der ersten Ausführungsform, und ihre Beschreibung ist weggelassen.
Wie in dem Fall der ersten Ausführungsform bestimmt der Abschnitt 23 zum Erzeugen eines Ausgangsbildes den Pixelwert des Eingangsbildes bei einem Punkt mit Koordinaten (Xi, Yi) dadurch, dass eine Interpolation unter Verwendung der obigen Gleichung (1) durchgeführt wird, basierend auf den Pixelwerten (die bestimmten angezeigten Farben, wenn die Pixelwerte durch die Farben ersetzt werden, wie es oben beschrieben ist) der Pixel, die den Punkt mit den Koordinaten (Xi, Yi) umgeben. Somit wird das Ausgangsbild dadurch erzeugt, dass das Überlagerungsbild, das auf den Überlagerungsdaten basiert, die den Positionen von Pixeln des Ausgangsbildes in der Tabelle 13 zur geometrischen Transformation zugeordnet sind, auf das Bild gefegt wird, das durch geometrische Transformation des Eingangsbildes gemäß der Tabelle 13 Zur geometrischen Transformation erzielt wird.
12 ist ein Ablaufdiagramm, das einen Ablauf eines charakteristischen Vorgangs zeigt, der durch den Abschnitt 23 zum Erzeugen eines Ausgangsbildes der dritten Ausführungsform durchgeführt wird. Der Ablauf wird beispielsweise in einem vorgegebenen Zyklus wiederholt durchgeführt.
Als Erstes liest der Abschnitt 23 zum Erzeugen eines Ausgangsbildes die Daten, die das erste Ausgangspixel betreffen, in der Tabelle 13 zur geometrischen Transformation (S300).
Anschließend wird bestimmt, ob von den Pixelwerten der Pixel, die den Punkt mit den Koordinaten (Xi, Yi) des Eingangsbilds umgeben, das erste Bit der Austauschanweisung, das dem betreffenden Ausgangspixel zugeordnet ist, den Wert „1” hat (S302), und wenn das erste Bit den Wert „1” hat, wird der Pixelwert des oberen linken Pixels durch die angezeigte Farbe ersetzt (S304). Anschließend wird bestimmt, ob das zweite Bit den Wert „1” hat (S306), und wenn das zweite Bit den Wert „1” hat, wird der Pixelwert des unteren linken Pixels durch die angezeigte Farbe ersetzt (S308). Als Nächstes wird bestimmt, ob das dritte Bit den Wert „1” hat (S310), und wenn das dritte Bit den Wert „1” hat, wird der Pixelwert des oberen rechten Pixels durch die angezeigte Farbe ersetzt (S312). Im Anschluss daran wird bestimmt, ob das vierte Bit den Wert „1” hat (S314), und wenn das vierte Bit den Wert „1” hat, wird der Pixelwert des unteren rechten Pixels durch die angezeigte Farbe ersetzt (S316).
Sodann wird der Pixelwert, der durch Ausführen einer Interpolation unter Verwendung der Daten nach dem Austausch erzielt wird (der ursprünglichen Daten, wenn keine Austauschanweisung vorliegt), als der Pixelwert des Pixels bestimmt, der das Ausgangsbild betrifft (S318).
Anschließend wird bestimmt, ob die Pixelwerte für alle Ausgangspixel bestimmt worden sind (S320), und wenn nicht für alle Ausgangspixel die Pixelwerte bestimmt worden sind, werden Daten, die das nächste Ausgangspixel betreffen, gelesen (S322), und die Schritte von S302 an werden durchgeführt.
Wenn andererseits für alle Ausgangspixel die Pixelwerte bestimmt worden sind, wird die bestimmte Menge von Bilddaten zu der Anzeigevorrichtung 40 als Daten von einem zusammengesetzten Bild eines Rahmens ausgegeben (S324).
Gemäß der Vorrichtung 3 zum Erzeugen eines zusammengesetzten Bildes der dritten Ausführungsform ist es wie in dem Fall der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform möglich, Kosten zu verringern, die erforderlich sind, um den Vorgang zum Darüberlegen eines Überlagerungsbildes auf das Bild zu realisieren, das durch Transformieren des Eingangsbildes erzielt wird, das von der Aufnahmeeinrichtung aufgenommen wird, und außerdem ist es möglich, obwohl die Genauigkeit schlechter ist als die der zweiten Ausführungsform, das geometrisch transformierte Bild und das Überlagerungsbild nach dessen lichtdurchlässigen Verarbeitung zu kombinieren, den Kantenglättungsprozess, etc. durch einen einfacheren Vorgang als in der zweiten Ausführungsform durchzuführen.
Im Folgenden wird eine Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes gemäß einer vierten Ausführungsform der Erfindung beschrieben. Die Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes unterscheidet sich von der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes gemäß der ersten Ausführungsform darin, dass die Pixelwerte der Pixel, die einen Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild bestimmt worden sind, durch die angezeigte Farbe ausgetauscht werden, die in den Überlagerungsdaten enthalten ist.
Die Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes der vierten Ausführungsform umfasst eine Tabelle 14 zur geometrischen Transformation, einen Koordinatentransformationsabschnitt 24A und einen Abschnitt 24B zum Erzeugen eines Ausgangsbildes (siehe 13). Die Hardwarekomponenten der Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes sowie die Kamera 30 und die Anzeigevorrichtung 40 davon sind die gleichen wie die der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform, und daher ist die Beschreibung dieser Komponenten weggelassen.
14 ist ein Diagramm, das die Tabelle 14 zur geometrischen Transformation der vierten Ausführungsform zeigt. Die Tabelle 14 zur geometrischen Transformation bestimmt auf dem von der Kamera 30 aufgenommenen Eingangsbild Koordinaten, die den Positionen von Pixeln des Ausgangsbildes entsprechen, das auf der Anzeigevorrichtung 40 angezeigt wird. Außerdem umfasst die Tabelle 14 zur geometrischen Transformation der vierten Ausführungsform die angezeigte Farbe.
Der Koordinatentransformationsabschnitt 24A wandelt den Bruchteil der Reihenrichtungs-(Y-Richtungs-)Koordinate der Koordinaten (Xi, Yi) des Eingangsbildes, die den bestimmten Koordinaten (den Koordinaten, für die beispielsweise die angezeigte Farbe festgelegt ist) des Ausgangsbildes entsprechen, unter Verwendung eines bestimmten Programms oder dergleichen in den Mischkoeffizienten α um.
In diesem Fall führt hinsichtlich des Pixels von dem Ausgangsbild, für das der Bruchteil der Koordinate umgewandelt wird, der Abschnitt 24B zum Erzeugen eines Ausgangsbildes eine Interpolation durch, nachdem die Pixelwerte von zwei in der Spaltenrichtung (der X-Richtung) angeordneten Pixeln der Pixel, die den Punkt umgeben, welcher durch die Koordinaten (Xi, Yi) des Eingangsbildes dargestellt wird, die dem Pixel entsprechen, das das Ausgangsbild betrifft, durch die angezeigte Farbe ausgetauscht worden sind, und der Pixelwert, der dadurch erzielt wird, dass eine Interpolation gemäß der obigen Gleichung (1) unter Verwendung der Daten nach dem Austausch durchgeführt wird, wird als der Pixelwert des Pixels bestimmt, der das Ausgangsbild betrifft (siehe 15A).
Auf diese Weise wird der Pixelwert, der durch die angezeigte Farbe ausgetauscht wird, mit dem Mischkoeffizienten α gewichtet und auf den Pixelwert des Ausgangsbildes reflektiert (siehe obige Gleichung (1)). Somit wird das Ausgangsbild dadurch erzeugt, dass auf das Bild, das durch die geometrische Transformation des Eingangsbildes gemäß der Tabelle 14 zur geometrischen Transformation erzielt wird, ein Überlagerungsbild gelegt wird, das auf den Überlagerungsdaten basiert, die mit den Positionen von Pixeln des Ausgangsbildes in der Tabelle 14 zur geometrischen Transformation zusammenhängen.
Von den Pixeln, die einen Punkt mit den Koordinaten (Xi, Yi) des Eingangsbildes umgeben, sind zwei Pixel, die in der Spaltenrichtung (X-Richtung) angeordnet sind, die zwei Pixel auf der oberen Seite des Punktes mit den Koordinaten (Xi, Yi) oder die zwei Pixel auf seiner unteren Seite, und daher ist es notwendig, zu entscheiden, bei welchen zwei Pixeln der Pixelwertaustausch vollzogen werden soll, in dieser Hinsicht können die zwei Pixel entweder auf die Pixel auf der oberen Seite oder auf die Pixel auf der unteren Seite festgelegt werden. Alternativ kann eine Ausgestaltung verwendet werden, in der die Pixelwerte der oberen zwei Pixel ersetzt werden, wenn der Bruchteil der Koordinate, welcher der Umwandlung unterzogen wird, größer oder gleich als 0,5 ist, während die unteren zwei Pixel ersetzt werden, wenn der Bruchteil kleiner als 0,5 ist. Mit diesem Aufbau ist es möglich, aus den Pixeln des Eingangsbildes den Pixelwert des Pixels unverändert zu lassen, der die größere Gewichtung hat.
Als Alternative kann eine Anordnung verwendet werden, bei der der Austausch nicht durchgeführt wird, wenn der Mischkoeffizient α (der Bruchteil) kleiner als der Grenzwert α1 ist, anstatt dass von den Pixelwerten, die den Punkt mit den Koordinaten (Xi, Yi) des Eingangsbildes umgeben, immer die Pixelwerte von zwei Pixeln ersetzt werden, die in der Spaltenrichtung (X-Richtung) angeordnet sind, während die Pixelwerte von allen Pixeln, die den Punkt mit den Koordinaten (Xi, Yi) des Eingangsbildes umgeben, durch die angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient α (der Bruchteil) größer als α2 ist (α1 < α2).
Der Koordinatentransformationsabschnitt 24A kann den Bruchteil der Spaltenrichtungs-(X-Richtungs-)Koordinate der Koordinaten (Xi, Yi) des Eingangsbildes, die einem bestimmten Punkt mit Koordinaten (die Koordinaten des Pixels, für das beispielsweise die angezeigte Farbe festgelegt ist) des Ausgangsbildes entsprechen, unter Verwendung eines bestimmten Programms oder dergleichen in den Mischkoeffizienten α umwandeln. In diesem Fall führt hinsichtlich des Pixels des Ausgangsbildes, für das der Bruchteil der Koordinate umgewandelt wird, der Abschnitt 24B zum Erzeugen eines Ausgangsbildes eine Interpolation durch, nachdem von den Pixeln, die den Punkt umgeben, der durch die Koordinaten (Xi, Yi) des Eingangsbildes dargestellt ist, welche dem Pixel entsprechen, das das Ausgangsbild betrifft, die Pixelwerte von zwei Pixeln, die in der Reihenrichtung (der Y-Richtung) angeordnet sind, durch die angezeigte Farbe ersetzt worden sind.
Wenn der Bruchteil der Koordinate in der Spaltenrichtung (in der X-Richtung) in den Mischkoeffizienten α umgewandelt wird, kann auch die Seite, auf der der Austausch durchgeführt wird, auf der rechten Seite oder der linken Seite festgelegt werden, wie in dem Fall, wo der Bruchteil der Koordinate in der Reihenrichtung (in der Y-Richtung) in den Mischkoeffizienten α umgewandelt wird; es kann jedoch auch ein Aufbau verwendet werden, bei dem die zwei Pixel auf der rechten Seite ersetzt werden, wenn der Bruchteil der Koordinate, der einer Umwandlung unterzogen wird, größer oder gleich als 0,5 ist, und es können die zwei Pixel auf der Linken Seite ersetzt werden, wenn der Bruchteil davon kleiner als 0,5 ist. Alternativ kann eine Ausgestaltung verwendet werden, in der anstatt dass von den Pixeln, die den Punkt mit den Koordinaten (Xi, Yi) des Eingangsbildes umgeben, immer die Pixelwerte von zwei Pixeln ersetzt werden, die in der Spaltenrichtung (X-Richtung) angeordnet sind, keine Austausch stattfindet, wenn der Mischkoeffizient α (der Bruchteil) kleiner als der Grenzwert α1 ist, während die Pixelwerte von allen Pixeln, die den Punkt mit den Koordinaten (Xi, Yi) des Eingangsbildes umgeben, durch die angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient α (der Dezimalstellenteil) größer als α2 ist (α1 < α2).
Hinsichtlich der Spezifizierung der angezeigten Farbe können die Daten, die im Voraus in einem ROM oder dergleichen gespeichert sind, automatisch in der Tabelle 14 zur geometrischen Transformation enthalten sein, oder eine externe Vorrichtung kann die angezeigte Farbe bestimmen, wenn notwendig.
16 ist ein Ablaufdiagramm, das einen Ablauf eines charakteristischen Vorgangs zeigt, der durch den Koordinatentransformationsabschnitt 24A und durch den Abschnitt 24 zum Erzeugen eines Ausgangsbildes der vierten Ausführungsform durchgeführt wird. Der Ablauf wird beispielsweise in einem bestimmten Zyklus wiederholt durchgeführt.
Als Erstes liest der Koordinatentransformationsabschnitt 24A die Daten, die das erste Ausgangspixel betreffen, in der Tabelle 14 für eine geometrische Transformation (S400).
Anschließend wird bestimmt, ob die angezeigte Farbe für das betreffende Ausgangspixel bestimmt worden ist (S402), und wenn die angezeigte Farbe bestimmt worden ist, wird der Bruchteil der Koordinate in der Reihenrichtung (in der Y-Richtung) der Koordinaten (Xi, Yi) des Eingangsbildes, die den Koordinaten des Ausgangsbildes entsprechen, das gemäß den oben beschriebenen Verfahren gelesen wird, in den Mischkoeffizienten α umgewandelt (S404).
Der Abschnitt 24B zum Erzeugen eines Ausgangsbildes legt als den Pixelwert des Ausgangsbildes den Pixelwert fest, der dadurch erzielt wird, dass eine Interpolation unter Verwendung der Daten nach dem Austausch durchgeführt wird (der ursprünglichen Daten, wenn keine Austauschanweisung vorhanden ist) (S408).
Anschließend wird bestimmt, ob die Pixelwerte für alle Ausgangspixel bestimmt worden sind (S408), und wenn nicht für alle Ausgangspixel die Pixelwerte bestimmt worden sind, werden Daten, die das nächste Ausgangspixel betreffen, gelesen (S410), und es werden die Schritte von S402 an durchgeführt.
Andererseits werden dann, wenn für alle Ausgangspixel die Pixelwerte bestimmt worden sind, die bestimmte Menge an Bilddaten zu der Anzeigevorrichtung 40 als Daten eines zusammengesetzten Bildes von einem Rahmen ausgegeben (S412).
Gemäß der Vorrichtung 4 zum Erzeugen eines zusammengesetzten Bildes der vierten Ausführungsform ist es wie in dem Fall der Vorrichtung 1 zum Erzeugen eines zusammengesetzten Bildes der ersten Ausführungsform möglich, Kosten zu verringern, die notwendig sind, um den Vorgang zu realisieren, bei dem auf ein Bild ein Überlagerungsbild gelegt wird, das erzielt wird, indem das Eingangsbild transformiert wird, das von der Aufnahmeeinrichtung aufgenommen wird, und außerdem ist es möglich, das geometrisch transformierte Bild und das Überlagerungsbild nach dessen lichtdurchlässiger Verarbeitung zu kombinieren, und den Kantenglättungsvorgang, etc. durchzuführen. Weil es möglich ist, den Bereich für den Mischkoeffizienten in der Tabelle 14 zur geometrischen Transformation wegzulassen, ist es auch möglich, zu verhindern, dass die Tabelle 14 zur geometrischen Transformation zu groß wird.
Im Folgenden wird eine Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes gemäß einer fünften Ausführungsform der Erfindung beschrieben. Die Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes, die eine Ausführungsform ist, welche eine bestimmte und einfache Ausgestaltung des Abschnitts 21 zum Erzeugen eines Ausgangsbildes zeigt, realisiert Funktionen, die denen der Vorrichtung 2 zum Erzeugen eines zusammengesetzten Bildes gemäß der zweiten Ausführungsform entsprechen, und die die angezeigte Farbe des Überlagerungsbildes unter Verwendung der Tabelle 12 zur geometrischen Transformation bestimmen können. Insbesondere führt die Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes die sogenannte bilineare Interpolation durch, und sie führt gleichzeitig den Mischvorgang gemäß der obigen Gleichung (2) durch.
Die Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes der fünften Ausführungsform umfasst eine Tabelle 15 zur geometrischen Transformation und einen Abschnitt 25 zum Erzeugen eines Ausgangsbildes (siehe 17). Die Vorrichtung 5 zum Erzeugen eines zusammengesetzten Bildes der fünften Ausführungsform ist nicht unbedingt ein hochentwickeltes Computersystem und muss nur ein Speichermedium, in dem die Tabelle 15 zur geometrischen Transformation gespeichert ist, und den Abschnitt 25 zum Erzeugen eines Ausgangsbildes mit der im Folgendes beschriebenen Hardware-Konfiguration haben. Die Inhalte der Tabelle 15 zur geometrischen Transformation sind die gleichen wie die in 8B gezeigten.
18 ist ein Diagramm, das ein Beispiel für eine Hardware-Konfiguration des Abschnitts 25 zum Erzeugen eines Ausgangsbildes der fünften Ausführungsform darstellt. Eine solche Konfiguration ist dazu gedacht, den Vorgang einer geometrischen Transformation und den Mischvorgang unter Berücksichtigung dessen, dass der Vorgang einer geometrische Transformation und der Mischvorgang beide die Berechnung sind, in der zwei Werte mit dem internen Teilungsverhältnis gewichtet werden (Berechnung eines internen Teilungspunktes) dadurch zu realisieren, dass ein Rechner vorgesehen ist, um den mit einem internen Teilungsverhältnis gewichteten Wert zu berechnen und um den Rechner viermal zu verwenden. Mit dieser Konfiguration ist es möglich, den Vorgang einer geometrischen Transformation und den Mischvorgang unter Verwendung einer einfachen Hardware-Konfiguration durchzuführen (ohne ein hochentwickeltes Computersystem zu verwenden), und es ist daher möglich, die Größe und die Kosten der Vorrichtung zu verringern.
In der folgenden Beschreibung ist die bilineare Interpolation in Schritte unterteilt, der Interpolationswert der oberen Pixel hinsichtlich der X-Richtung wird als erster Interpolationswert bezeichnet, der Interpolationswert der unteren Pixel in Bezug auf die X-Richtung wird als zweiter Interpolationswert bezeichnet und der Interpolationswert der ersten und zweiten Interpolationswerte in Bezug auf die Y-Richtung wird als dritter Interpolationswert bezeichnet.
Der Abschnitt 25 zum Erzeugen eines Ausgangsbildes umfasst einen Selektor A, einen Selektor B, einen Selektor C, eine Komplementiereinrichtung, einen Multiplizierer A, einen Multiplizierer B, einen Addierer, ein erstes Register, ein zweites Register und ein Ausgangsregister. Der Selektor A empfängt einen Wert eines oberen linken Pixels, einen Wert eines unteren linken Pixels und den Wert des ersten Registers. Der Selektor B empfängt einen Wert eines oberen rechten Pixels, einen Wert eines unteren rechten Pixels und den Wert des zweiten Registers. Der Selektor C empfängt einen Bruchteil von Xi und Yi der Koordinaten (Xi, Yi), die auf dem Eingangsbild bestimmt worden sind, und den Mischkoeffizienten.
Unter Bezugnahme auf das in 19 dargestellte Ablaufdiagramm wird im Folgenden eine Betriebsweise des Abschnitts 25 zum Erzeugen eines Ausgangsbildes beschrieben. Um den ersten Interpolationswert zu erzielen, wählen als Erstes der Selektor A den Pixelwert des oberen linken Pixels, der Selektor B den Pixelwert des oberen rechten Pixels und der Selektor C den Bruchteil von Xi aus (T1). Der Bruchteil von Xi ist ein binärer Wert mit vier Bit, der beispielsweise den Wert des Bruchteils darstellt. Der binäre Wert mit vier Bit wird dem Multiplizierer B so wie er ist als Multiplikator zugeführt, und dessen Komplementärzahl wird dem Multiplizierer A zugeführt. Sowohl in dem binären Fall als auch in dem dezimalen Fall bedeutet die Komplementärzahl die Zahl des Einerkomplements (1 – (ursprüngliche Zahl)). 20 zeigt die Entsprechungen zwischen dem Binärausdruck und dem Dezimalausdruck, die den Bruchteil darstellen, und deren Komplementärzahl.
Somit wird der Pixelwert des oberen linken Pixels dem Multiplizierer A als Multiplikand zugeführt, und der Wert von (1 – (Bruchteil von Xi)) wird dem Multiplizierer A als Multiplikator zugeführt. Der Pixelwert des oberen rechten Pixels wird dem Multiplizierer B als Multiplikand zugeführt, und der Wert des Bruchteils von Xi wird dem Multiplizierer B als Multiplikator zugeführt. Somit wird die Ausgabe von dem Addierer der erste Interpolationswert. Der erste Interpolationswert wird in dem ersten Register festgehalten.
Anschließend wählen der Selektor A den Pixelwert des unteren linken Pixels, der Selektor B den Pixelwert des oberen rechten Pixels und der Selektor C den Bruchteil von Xi aus (T2). Somit wird die Ausgabe von dem Addierer der zweite Interpolationswart. Der zweite Interpolationswert wird in dem zweiten Register festgehalten.
Daraufhin wählen der Selektor A den Wert des ersten Registers, der Selektor B den Wert des zweiten Registers und der Selektor C den Bruchteil von Yi aus (T3).
Somit wird der erste Interpolationswert dem Multiplizierer A als Multiplikand zugeführt, und der Wert von (1 – (Bruchteil von Yi)) wird dem Multiplizierer A als Multiplikator zugeführt. In der Zwischenzeit wird der zweite Interpolationswert dem Multiplizierer B als Multiplikand zugeführt, und der Wert des Bruchteils von Yi wird dem Multiplizierer B als Multiplikator zugeführt. Somit wird die Ausgabe von dem Addierer der dritte Interpolationswert. Der dritte Interpolationswert wird in dem ersten Register festgehalten.
Schließlich wählen der Selektor A den Wert des ersten Registers, der Selektor B die angezeigte Farbe und der Selektor C den Mischkoeffizienten aus (T4).
Somit wird der dritte Interpolationswert dem Multiplizierer A als Multiplikand zugeführt, und der Wert von (1 – (Mischkoeffizient)) wird dem Multiplizierer A als Multiplikator zugeführt. Die angezeigte Farbe wird dem Multiplizierer B als Multiplikand zugeführt, und der Wert des Mischkoeffizienten wird dem Multiplizierer B als Multiplikator zugeführt. Somit wird die Ausgabe von dem Addierer der Ausgangspixelwert, der den α-Mischvorgang unterzogen worden ist. Dieser Wert wird in dem Ausgangsregister fastgehalten (T5).
Obwohl der Ablauf verwendet wird, in dem als Erstes die Interpolation bezüglich der X-Richtung und anschließend die Interpolation bezüglich der Y-Richtung durchgeführt wird, kann ein Ablauf verwendet werden, in dem als Erstes die Interpolation bezüglich der Y-Richtung und anschließend die Interpolation bezüglich der X-Richtung durchgeführt wird. Obwohl in der obigen Beschreibung zwei Multiplizierer vorgesehen sind, kann außerdem ein Aufbau verwendet werden, in dem ein Multiplizierer verwendet wird und zwei Multiplikationen getrennt und in Reihe in zwei Schritten durchgeführt werden.
Obwohl die Erfindung in Bezug auf die Ausführungsformen beschrieben worden ist, ist die Erfindung nicht auf diese Ausführungsformen beschränkt, und es können verschiedene Modifikationen und Abwandlungen gemacht werden, ohne dass der Geist und der Schutzumfang der Erfindung verlassen werden.
Beispielsweise ist das Überlagerungsbild nicht auf ein computererzeugtes Bild begrenzt, dessen angezeigte Farbe bestimmt wird, sondern es kann ein aufgenommenes Bild oder dergleichen sein, das von einer anderen Kamera aufgenommen wird.
Die Erfindung kann auf dem Gebiet zur Herstellung einer Bildverarbeitungsvorrichtung, bei der Kraftfahrzeugherstellung, bei der Herstellung von Kraftfahrzeugteilen, etc. verwendet werden.
Während die Erfindung in Bezug auf ihre beispielhafte Ausführungsformen beschrieben worden ist, sollte es ersichtlich sein, dass die Erfindung nicht auf die beispielhaften Ausführungsformen oder Aufbauten begrenzt ist. Im Gegensatz dazu ist beabsichtigt, dass die Erfindung verschiedene Modifikationen und äquivalente Anordnungen abdeckt. Während die verschiedenen Elemente der beispielhaften Ausführungsformen in verschiedenen Kombinationen und Ausgestaltungen dargestellt sind, die Beispiele sind, liegen außerdem andere Kombinationen und Ausgestaltungen, die mehr, weniger oder nur ein einzelnes Element enthalten, auch in der Wesensart und dem Umfang der Erfindung.

Claims

Vorrichtung (3, 4) zum Erzeugen eines zusammengesetzten Bildes mit: einer Tabelle (13, 14) zur geometrischen Transformation, die Koordinaten, welche Positionen von Pixeln eines Ausgangsbildes entsprechen, auf ein Eingangsbild zuordnet, das von einer Erfassungseinrichtung (30) empfangen wird; und einer Einrichtung (23, 24B) zum Erzeugen eines Ausgangsbildes, die das Ausgangsbild dadurch erzeugt, dass unter Verwendung von Pixelwerten von Pixeln, die einen Punkt mit den Koordinaten umgeben, die in der Tabelle für eine geometrische Transformation zugeordnet sind, eine Interpolation durchgeführt wird, wobei die Einrichtung (23, 24B) zum Erzeugen eines Ausgangsbildes in Bezug auf das Pixel des Ausgangsbildes, für das Überlagerungsdaten vorgesehen sind, die der Position des Pixels des Ausgangsbildes in der Tabelle (13, 14) zur geometrischen Transformation entsprechen, das Ausgangbild dadurch erzeugt, dass basierend auf den Überlagerungsdaten wenigstens ein Teil der Pixelwerte von den Pixeln ersetzt wird, die den Punkt mit den Koordinaten umgeben, die auf dem Eingangsbild zugewiesen sind, und anschließend die Interpolation durchgeführt wird.
Vorrichtung (3, 4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 1, wobei die Interpolation eine bilineare Interpolation ist.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 1, die ferner eine Koordinatenumwandlungseinrichtung (24A) aufweist, welche von den Koordinaten, die auf dem Eingangsbild in der Tabelle (14) zur geometrischen Transformation zugewiesen sind, einen Bruchteil einer Koordinate einer Reihenrichtung in einen Wert umwandelt, der einen Mischkoeffizienten anzeigt, wobei die Einrichtung (24B) zum Erzeugen eines Ausgangsbildes das Ausgangsbild dadurch erzeugt, dass in Bezug auf das Pixel des Ausgangsbildes, für das die Überlagerungsdaten von einer Einrichtung zum Bereitstellen von Überlagerungsdaten bereitgestellt sind, auf der Grundlage des Wertes, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, ein Mischvorgang durchgeführt wird.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 3, wobei die Interpolation eine bilineare Interpolation ist; und Pixelwerte von oberen zwei Pixeln in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, größer oder gleich als 0,5 ist; und die Pixelwerte von unteren zwei Pixeln in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Reihenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, kleiner als 0,5 ist.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 3, wobei die Interpolation eine bilineare Interpolation ist; und die Pixelwerte der Pixel, die den Punkt mit den Koordinaten in dem Eingangsbild umgeben, alle durch eine angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient, in den der Bruchteil durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, größer als ein Grenzwert ist.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 1, die ferner eine Koordinatenumwandlungseinrichtung (24A) aufweist, welche von den Koordinaten, die auf dem Eingangsbild in der Tabelle (14) zur geometrischen Transformation zugeordnet sind, einen Bruchteil einer Koordinate einer Spaltenrichtung in einen Wert umwandelt, der einen Mischkoeffizienten anzeigt, wobei die Einrichtung (24B) zum Erzeugen eines Ausgangsbildes das Ausgangsbild in Bezug auf das Pixel des Ausgangsbildes, für das die Überlagerungsdaten von einer Einrichtung zum Bereitstellen von Überlagerungsdaten bereitgestellt worden sind, dadurch erzeugt, dass auf der Grundlage des Wertes, in den der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, ein Mischbetrieb ausgeführt wird.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 6, wobei die Interpolation eine bilineare Interpolation ist; und Pixelwerte von zwei Pixeln auf der rechten Seite in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in welchen der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, größer oder gleich 0,5 ist; und Pixelwerte von zwei Pixeln auf der linken Seite in Bezug auf den Punkt mit den Koordinaten durch eine angezeigte Farbe ersetzt werden, wenn der Wert, in den der Bruchteil der Koordinate der Spaltenrichtung durch die Koordinatenumwandlungseinrichtung (24A) umgewandelt worden ist, kleiner als 0,5 ist.
Vorrichtung (4) zum Erzeugen eines zusammengesetzten Bildes nach Anspruch 6, wobei die Interpolation eine bilineare Interpolation ist; und die Pixelwerte der Pixel, die den Punkt mit den Koordinaten in dem Eingangsbild umgeben, alle durch eine angezeigte Farbe ersetzt werden, wenn der Mischkoeffizient, in welchen der Bruchteil durch die Koordinatenumwandlungseinrichtung (24A) ungewandelt worden ist, größer als ein Grenzwert ist.