-
QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNG
-
Diese Offenbarung basiert auf der am 8. Juli 2013 eingereichten japanischen Patentanmeldung mit der Nummer
JP 2013 - 142 726 A , auf deren Offenbarung vollinhaltlich Bezug genommen wird.
-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft eine Bilderzeugungsvorrichtung und ein Bilderzeugungsverfahren zum Erzeugen eines Verbundbilds unter Verwendung mehrerer aufgenommener Bilder und ein nichtflüchtiges computerlesbares Speichermedium dafür.
-
HINTERGRUND
-
Ein Verfahren ist bekannt, in dem ein Bild, das eine weite beziehungsweise breite Objektregion über einen Abbildungsbereich hinaus, der durch eine Kamera aufgenommen wird, durch Kombinieren mehrerer aufgenommener Bilder erzeugt wird. Beispielsweise offenbart die
JP 2011 - 110 247 A ein Verfahren, das eine Korrektur ausführt, um einer Intensitätseigenschaft eines Bilds B zu ermöglichen, sich einer Intensitätseigenschaft des anderen Bilds A anzunähern, auf der Basis der jeweiligen Intensitätseigenschaften der Bilder A und B in einem überlappenden Abschnitt der Bilder A und B, die benachbart zueinander sind.
-
Insbesondere wird gemäß der Offenbarung der
JP 2011 - 110 247 A ein überlappender Abschnitt des Bilds A mit dem Bild B als ein Verbundteil a ausgeschnitten und ein überlappender Abschnitt des Bilds B mit dem Bild A wird als ein Verbundteil b ausgeschnitten. Dann werden Histogramme Ha(x) und Hb(x) der jeweiligen Verbundteile a und b aus Pixelwerten der Verbundteile a und b erzeugt. Dann werden Gradationskonversionstabellen LUTa und LUTb, die Histogrammausgleich ausführen können, für die jeweiligen Histogramme Ha(x) und Hb(x) erzeugt. Dann wird Gradationskonversion für einen Gesamtbereich des Bilds B unter Verwendung der Gradationskonversionstabelle LUTb ausgeführt und reverse Gradationskonversion wird für das Bild, das der Gradationskonversion unterworfen wird, unter Verwendung der Gradationskonversionstabelle LUTa ausgeführt. In anderen Worten wird eine Gradationskonversionsverarbeitung, um dem Histogramm Hb(x) des Verbundteils b zu ermöglichen, sich dem Histogramm Ha(x) des Verbundteils a zu nähern, auf den Gesamtbereich des Bilds B angewandt.
-
Das in der
JP 2011 - 110 247 A offenbarte Verfahren, das vorstehend beschrieben ist, wird auf ein Verbundbild angewendet, in dem mehrere Bilder kontinuierlich in einem Streifen (in einer vorbestimmten Richtung) angeordnet sind. Demnach, wenn eines der mehreren aufgenommenen Bilder als eine Referenz verwendet wird, und die anderen aufgenommenen Bilder der Reihe nach korrigiert werden, können Abweichungen der Intensitätseigenschaft zwischen den jeweiligen benachbarten Bildern in allen der Grenzabschnitte (Abschnitte, wo die jeweiligen Bilder benachbart zueinander sind) des Verbundbilds unterdrückt werden.
-
Andererseits gibt es als das Verbundbild ebenso ein Verbundbild in dem mehrere Bilder kontinuierlich in einer Ringform angeordnet sind, beispielsweise wie ein Bild (sogenanntes Draufsichtbild) von Umgebungen des Fahrzeugs betrachtet ausgehend von oben. In diesem Fall leidet das in der
JP 2011 - 110 247 A offenbarte Verfahren unter einem Problem, das die Abweichungen in der Intensitätseigenschaft zwischen den jeweiligen benachbarten Bildern nicht in einem oder mehreren Grenzabschnitten des Verbundbilds korrigiert beziehungsweise unterdrückt werden können.
-
In anderen Worten kann beispielsweise, wenn vier Bilder A, B, C, und D kontinuierlich in einem Streifen angeordnet werden, das Bild B auf der Basis des Bildes A korrigiert werden, das Bild C kann auf der Basis des korrigierten Bildes B korrigiert werden, und das Bild D kann auf der Basis des Korrigierten Bildes C korrigiert werden.
-
Im Gegensatz dazu, wenn die vier Bilder A, B, C und D kontinuierlich in einer Ringform angeordnet sind, tritt die Abweichung in der Intensitätseigenschaft in einem Grenzabschnitt, wo das Bild A zum korrigierten Bild D benachbart ist, auf, indem lediglich die Bilder B, C und D der Reihe nach wie im Fall des Streifens korrigiert werden. Wird das Bild A auf der Basis des korrigierten Bildes D korrigiert, wird die Abweichung in der Intensitätseigenschaft zwischen dem Bild A und dem Bild D unterdrückt. Jedoch, da stattdessen die Abweichung der Intensitätseigenschaft zwischen dem korrigierten Bild A und dem Bild B auftritt, ist das vorstehende Problem nicht eliminiert. Das vorstehende Problem ist nicht auf das Bild der Umgebungen des Fahrzeugs ausgehend von oben betrachtet beschränkt, sondern kann in einem Verbundbild auftreten, in dem die mehreren Bilder kontinuierlich in der Ringform angeordnet sind.
-
Es wird ferner auf die
US 2011 / 0 150 329 A1 und die
US 5 982 951 A verwiesen, die als Stand der Technik ermittelt wurden.
-
ÜBERBLICK ÜBER DIE ERFINDUNG
-
Es ist eine Aufgabe der vorliegenden Offenbarung, eine Bilderzeugungsvorrichtung und ein Bilderzeugungsverfahren, die eine Abweichung einer Intensitätseigenschaft in allen Grenzabschnitten in einem Verbundbild, in dem mehrere Bilder kontinuierlich in einer Ringform angeordnet sind, unterdrückt, und ein nichtflüchtiges computerlesbares Speichermedium dafür bereitzustellen.
-
Die Aufgabe wird gelöst durch die Merkmale der Ansprüche 1, 5 und 6. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen beschrieben.
-
Gemäß einem ersten Aspekt der vorliegenden Offenbarung beinhaltet eine Bilderzeugungsvorrichtung, die ein Verbundbild erzeugt, in dem mehrere Teilbilder, die jeweils aus mehreren aufgenommenen Bildern ausgeschnitten sind, kontinuierlich in einer Ringform angeordnet sind, indem die mehreren aufgenommenen Bilder verwendet werden, die jeweils fotographische Objektregionen aufweisen, die sich teilweise überlappen: eine Korrekturvorrichtung, die jedes Zielteilbild durch Festlegen mindestens eines ersten benachbarten Teilbildes und eines zweiten benachbarten Teilbildes, die die Teilbilder benachbart zum Zielteilbild auf beiden Seiten in dem Verbundbild sind, als ein Referenzteilbild, korrigiert, wenn mindestens eines der mehreren Teilbilder als ein Referenzteilbild definiert ist und die Teilbilder außer dem Referenzteilbild als Zielteilbilder definiert sind; eine Erzeugungsvorrichtung, die eine erste Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren einer Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des ersten benachbarten Teilbildes und eine zweite Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren der Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des zweiten benachbarten Teilbildes erzeugt; und eine Mischungskonversionsvorrichtung, die eine Intensität jedes Zielteilbildes unter Verwendung sowohl der ersten Konversionstabelle als auch der zweiten Konversionstabelle konvertiert. Die Erzeugungsvorrichtung erzeugt die Intensitätskonversionstabelle als die erste Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer ersten gemeinsamen Region einer Intensitätseigenschaft eines ersten benachbarten aufgenommenen Bildes in der ersten gemeinsamen Region, wenn eine fotographische Objektregionen des aufgenommenen Zielbildes, das ein aufgenommenes Bild ist, das einen Ursprung des Zielteilbildes bereitstellt, und eine fotographische Objektregionen des ersten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des ersten benachbarten Teilbildes bereitstellt, in der ersten gemeinsamen Region überlappt sind. Die Erzeugungsvorrichtung erzeugt die Intensitätskonversionstabelle als die zweite Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer zweiten gemeinsamen Region einer Intensitätseigenschaft eines zweiten benachbarten aufgenommenen Bildes in der zweiten gemeinsamen Region, wenn die fotographische Objektregionen des aufgenommenen Zielbildes und eine fotographische Objektregionen des zweiten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des zweiten benachbarten Teilbildes bereitstellt, in der zweiten gemeinsamen Region überlappt sind. Die Mischungskonversionsvorrichtung konvertiert die Intensität des Zielteilbildes, um einen Einfluss der ersten Konversionstabelle verglichen mit einem Einfluss der zweiten Konversionstabelle zu vergrößern, wenn eine Position eines Pixels in dem Zielteilbild näher an dem ersten benachbarten Teilbild ist, und um den Einfluss der zweiten Konversionstabelle verglichen mit dem Einfluss der ersten Konversionstabelle zu vergrößern, wenn die Position des Pixels in dem Zielteilbild näher an dem zweiten benachbarten Teilbild ist. Die Bilderzeugungsvorrichtung weist ferner auf eine Festlegungsvorrichtung auf, die eines oder mehrere der mehreren Teilbilder mit der größten Anzahl von Pixeln mit einer Intensität, die innerhalb eines vorbestimmten Intensitätsbereichs fällt, als das Referenzteilbild festlegt.
-
In der vorstehenden Vorrichtung kann eine Abweichung der Intensitätseigenschaft in allen der Grenzabschnitte in dem Verbundbild, in dem die mehreren Teilbilder kontinuierlich in der Ringform angeordnet sind, unterdrückt werden.
-
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung beinhaltet ein Bilderzeugungsverfahren, das in einer Bilderzeugungsvorrichtung verwendet wird, die ein Verbundbild erzeugt, in dem mehrere Teilbilder, die jeweils von mehreren aufgenommenen Bildern ausgeschnitten sind, kontinuierlich in einer Ringform angeordnet sind, indem die mehreren aufgenommenen Bilder verwendet werden, die jeweils fotographische Objektregionen aufweisen, die sich teilweise überlappen: einen Korrekturschritt zum Korrigieren jedes Zielteilbilds durch Festlegen mindestens eines ersten benachbarten Teilbildes und eines zweiten benachbarten Teilbildes, die die Teilbilder benachbart zum Zielteilbild auf beiden Seiten in dem Verbundbild sind, als ein Referenzteilbild, wenn mindestens eines der mehreren Teilbilder als ein Referenzteilbild definiert ist und die Teilbilder außer dem Referenzteilbild als Zielteilbilder definiert sind; einen Erzeugungsschritt zum Erzeugen einer ersten Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren einer Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des ersten benachbarten Teilbildes und einer zweiten Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren der Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des zweiten benachbarten Teilbildes; und einen Mischungskonversionsschritt zum Konvertieren einer Intensität jedes Zielteilbildes unter Verwendung sowohl der ersten Konversionstabelle als auch der zweiten Konversionstabelle. Der Erzeugungsschritt sieht vor, die Intensitätskonversionstabelle als die erste Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer ersten gemeinsamen Region einer Intensitätseigenschaft eines ersten benachbarten aufgenommenen Bildes in der ersten gemeinsamen Region zu erzeugen, wenn eine fotographische Objektregionen des aufgenommenen Zielbildes, das ein aufgenommenes Bild ist, das einen Ursprung des Zielteilbildes bereitstellt, und eine fotographische Objektregionen des ersten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des ersten benachbarten Teilbildes bereitstellt, in der ersten gemeinsamen Region überlappt sind. Der Erzeugungsschritt sieht vor, die Intensitätskonversionstabelle als die zweite Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer zweiten gemeinsamen Region einer Intensitätseigenschaft eines zweiten benachbarten aufgenommenen Bildes in der zweiten gemeinsamen Region zu erzeugen, wenn die fotographische Objektregionen des aufgenommenen Zielbildes und eine fotographische Objektregionen des zweiten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des zweiten benachbarten Teilbildes bereitstellt, in der zweiten gemeinsamen Region überlappt sind. Der Mischungskonversionsschritt sieht vor, die Intensität des Zielteilbildes zu konvertieren, um einen Einfluss der ersten Konversionstabelle verglichen mit einem Einfluss der zweiten Konversionstabelle zu vergrößern, wenn eine Position eines Pixels in dem Zielteilbild näher an dem ersten benachbarten Teilbild ist, und um den Einfluss der zweiten Konversionstabelle verglichen mit dem Einfluss der ersten Konversionstabelle zu vergrößern, wenn die Position des Pixels in dem Zielteilbild näher an dem zweiten benachbarten Teilbild ist. Das Bilderzeugungsverfahren umfasst ferner einen Festlegungsschritt, der eines oder mehrere der mehreren Teilbilder mit der größten Anzahl von Pixeln mit einer Intensität, die innerhalb eines vorbestimmten Intensitätsbereichs fällt, als das Referenzteilbild festlegt.
-
In dem vorstehenden Verfahren kann eine Abweichung der Intensitätseigenschaft in allen der Grenzabschnitte in dem zusammengesetzten Bild, in dem die mehreren Teilbilder kontinuierlich in der Ringform angeordnet sind, unterdrückt werden.
-
Gemäß einem dritten Aspekt der vorliegenden Offenbarung beinhaltet ein Nichtflüchtiges computerlesbares Speichermedium Instruktionen, damit ein Computer als eine Bilderzeugungsvorrichtung funktioniert, die ein Verbundbild erzeugt, in dem mehrere Teilbilder, die jeweils von mehreren aufgenommenen Bildern ausgeschnitten sind, kontinuierlich in einer Ringform angeordnet sind, indem die mehreren aufgenommenen Bilder verwendet werden, die jeweils fotographische Objektregionen aufweisen, die sich teilweise überlappen, wobei die Anweisungen beinhalten: einen Korrekturschritt zum Korrigieren jedes Zielteilbilds durch Festlegen mindestens eines ersten benachbarten Teilbildes und eines zweiten benachbarten Teilbildes, die die Teilbilder benachbart zum Zielteilbild auf beiden Seiten in dem Verbundbild sind, als ein Referenzteilbild, wenn mindestens eines der mehreren Teilbilder als ein Referenzteilbild definiert ist und die Teilbilder außer dem Referenzteilbild als Zielteilbilder definiert sind; einen Erzeugungsschritt zum Erzeugen einer ersten Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren einer Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des ersten benachbarten Teilbildes und einer zweiten Konversionstabelle als eine Intensitätskonversionstabelle zum Ausführen einer Korrektur zum Approximieren der Intensitätseigenschaft jedes Zielteilbildes einer Intensitätseigenschaft des zweiten benachbarten Teilbildes; und einen Mischungskonversionsschritt zum Konvertieren einer Intensität jedes Zielteilbildes unter Verwendung sowohl der ersten Konversionstabelle als auch der zweiten Konversionstabelle. Der Erzeugungsschritt sieht vor, die Intensitätskonversionstabelle als die erste Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer ersten gemeinsamen Region einer Intensitätseigenschaft eines ersten benachbarten aufgenommenen Bildes in der ersten gemeinsamen Region zu erzeugen, wenn eine fotographische Objektregionen des aufgenommenen Zielbildes, das ein aufgenommenes Bild ist, das einen Ursprung des Zielteilbildes bereitstellt, und eine fotographische Objektregionen des ersten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des ersten benachbarten Teilbildes bereitstellt, in der ersten gemeinsamen Region überlappt sind. Der Erzeugungsschritt sieht vor, die Intensitätskonversionstabelle als die zweite Konversionstabelle zum Ausführen der Korrektur zum Approximieren einer Intensitätseigenschaft jedes aufgenommenen Zielbildes in einer zweiten gemeinsamen Region einer Intensitätseigenschaft eines zweiten benachbarten aufgenommenen Bildes in der zweiten gemeinsamen Region zu erzeugen, wenn die fotographische Objektregionen des aufgenommenen Zielbildes und eine fotographische Objektregionen des zweiten benachbarten aufgenommenen Bildes, das ein aufgenommenes Bild ist, das einen Ursprung des zweiten benachbarten Teilbildes bereitstellt, in der zweiten gemeinsamen Region überlappt sind. Der Mischungskonversionsschritt sieht vor, die Intensität des Zielteilbildes zu konvertieren, um einen Einfluss der ersten Konversionstabelle verglichen mit einem Einfluss der zweiten Konversionstabelle zu vergrößern, wenn eine Position eines Pixels in dem Zielteilbild näher an dem ersten benachbarten Teilbild ist, und um den Einfluss der zweiten Konversionstabelle verglichen mit dem Einfluss der ersten Konversionstabelle zu vergrößern, wenn die Position des Pixels in dem Zielteilbild näher an dem zweiten benachbarten Teilbild ist. Die Instruktionen umfassen ferner einen Festlegungsschritt, der eines oder mehrere der mehreren Teilbilder mit der größten Anzahl von Pixeln mit einer Intensität, die innerhalb eines vorbestimmten Intensitätsbereichs fällt, als das Referenzteilbild festlegt.
-
In dem vorstehenden Speichermedium kann eine Abweichung der Intensitätseigenschaft in allen der Grenzabschnitte in dem Verbundbild, in dem die mehreren Teilbilder kontinuierlich in der Ringform angeordnet sind, unterdrückt werden.
-
Figurenliste
-
Die vorstehenden und weitere Aufgaben, Merkmale und Vorteile der vorliegenden Offenbarung werden aus der nachfolgenden detaillierten Beschreibung in Zusammenschau mit den Zeichnungen ersichtlicher. Es zeigen:
- [1] 1 ein Blockschaubild, das eine Konfiguration einer Draufsichtbilderzeugungsvorrichtung illustriert;
- [2] 2 ein Diagramm, das einen Abbildungsbereich einer in einem Fahrzeug installierten Kamera illustriert;
- [3] 3 ein Ablaufdiagramm einer Draufsichtbilderzeugungsverarbeitung;
- [4] 4A und 4C Diagramme, die jeweilige aufgenommene Bilder illustrieren, die in Draufsichtbilder konvertiert sind, und 4B ein Diagramm, das Teilbilder illustriert, die ein Draufsichtbild konfigurieren;
- [5] 5A ein Diagramm, das eine Prozedur zum Verknüpfen einer Verarbeitungszielintensität B mit einer Verarbeitungszielintensität A illustriert, und 5B ein Diagramm, das eine Prozedur zum Erzeugen einer LUT illustriert;
- [6] 6A bis 6C Diagramme, die eine zweite Intensitätskonversionsverarbeitung illustrieren;
- [7] 7 ein Graph, der eine Beziehung zwischen einer Position eines Pixels und einem Gewicht der LUT gemäß einer Ausführungsform illustriert; und
- [8] 8 ein Graph, der eine Beziehung zwischen einer Position eines Pixels und einem Gewicht einer LUT in einer Modifikation illustriert.
-
AUSFÜHRUNGSFORM DER ERFINDUNG
-
Nachfolgend wird eine Ausführungsform der vorliegenden Anmeldung mit Bezug auf die Zeichnungen beschrieben.
-
[1. Konfiguration]
-
Eine Draufsichtbilderzeugungsvorrichtung 1, die in 1 illustriert ist, ist eine Vorrichtung, die in einem Fahrzeug 9 (vergleiche 2) angebracht ist, die ein Draufsichtbild erzeugt, das ein Bild des Fahrzeugs 9 betrachtet ausgehend von oben (Bild in der Vogelperspektive) ist, und zeigt das Draufsichtbild zur visuellen Erkennung durch den Fahrer an. Die Draufsichtbilderzeugungsvorrichtung 1 gemäß dieser Ausführungsform beinhaltet eine Abbildungseinheit 10, eine Speichereinheit 20, eine Bilderzeugungseinheit 30 und eine Anzeigeeinheit 40.
-
Die Abbildungseinheit 10 nimmt Umgebungen des Fahrzeugs 9 auf. Insbesondere ist die Abbildungseinheit 10 mit vier Kameras 11, 12, 13 und 14 ausgestattet, die in 2 illustriert sind. Die erste Kamera 11 befindet sich an der Front des Fahrzeugs 9 und bildet einen Abbildungsbereich 11A unterhalb (eine Bodenfläche von) einer Frontregion des Fahrzeugs 9 ab. Die Kamera 12 befindet sich auf einer linken Seite (beispielsweise einem linken Seitenspiegel) des Fahrzeugs 9 und bildet einen Abbildungsbereich 12A unterhalb einer linken Region des Fahrzeugs 9 ab. Die Kamera 13 befindet sich am Heck des Fahrzeugs 9 und bildet einen Abbildungsbereich 13A unterhalb einer Heckregion des Fahrzeugs 9 ab. Die Kamera 14 befindet sich auf einer rechten Seite (beispielsweise einem rechten Seitenspiegel) des Fahrzeugs 9 und bildet einen Abbildungsbereich 14A unterhalb einer rechten Region des Fahrzeugs 9 ab.
-
Diese vier Kameras 11, 12,13 und14 sind Weitwinkelkameras, die Bilder mit einem Blickwinkel von 180 Grad aufnehmen können und eine gesamte Umgebung des Fahrzeugs 9 ist durch die vier Abbildungsbereiche 11A, 12A, 13A und 14A dieser vier Kameras 11, 12, 13 und 14 abgedeckt. Insbesondere haben die jeweiligen Abbildungsbereiche, die in einer Kreisrichtung des Fahrzeugs 9 benachbart zueinander sind, Abschnitte (Überlappungsregionen) 112, 123, 134 und 141, in denen die Abbildungsbereiche sich überlappen, wie durch Schraffierung in 2 angegeben ist. In anderen Worten überlappen sich in den vier aufgenommenen Bildern durch die vier Kameras 11, 12, 13 und 14 Teile von Objektregionen (Objekten bzw. Gegenständen) miteinander.
-
Die Speichereinheit 20, die in 1 illustriert ist, speichert individuelle Daten (Kalibrierungsdaten) von Installationszuständen der vier Kameras 11, 12, 13 und 14 bezüglich des Fahrzeugs 9. Insbesondere hat die Speichereinheit 20 eine Speichervorrichtung, in der die Kalibrierungsdaten vorab gespeichert werden.
-
Die aufgenommenen Bilder der vier Kameras 11, 12, 13 und 14 werden als eine Serie von Bildern (Draufsichtbild), die kontinuierlich in einer Ringform angeordnet sind, um das Fahrzeug 9 zu umgeben, durch eine später beschriebene Verarbeitung kombiniert (vereint). Es ist bevorzugt, dass die Grenzabschnitte, in denen die jeweiligen durch die unterschiedlichen Kameras aufgenommenen Bilder zueinander benachbart sind, in dem kombinierten Bild die Lage betreffend so präzise wie möglich übereinstimmen. Unter den Umständen einer Stufe vor der Auslieferung des Fahrzeugs 9 werden die vier Kameras 11,12,13 und14 für jedes Fahrzeug 9 kalibriert und Kalibrierungsdaten entsprechend einer individuellen Differenz (individuellen Differenz der Installationszustände der Kameras) des Fahrzeugs 9 werden in der Speichereinheit 20 gespeichert. Die Kalibrierung in diesem Beispiel wird durch tatsächliches Abbilden beispielsweise einer Straßenoberfläche, auf die ein vorbestimmtes Muster (Muster geeignet zum Identifizieren des Abweichungsbetrags zwischen den jeweiligen Bildern in dem Verbundbild) gezeichnet ist, durch die vier Kameras 11, 12, 13 und 14 ausgeführt. In anderen Worten wird ein Bild tatsächlich aufgenommen, um das Draufsichtbild zu erzeugen, mit dem Ergebnis, dass der Abweichungsbetrag der jeweiligen Bilder in dem Draufsichtbild identifiziert wird und die Kalibrierungsdaten werden demnach so festgelegt, dass der Abweichungsbetrag sich 0 nähert. In dieser Ausführungsform werden Informationen über eine Koordinatenposition, einen Neigungswinkel, einen Gierwinkel und einen Rollwinkel in einem dreidimensionalen Raum auf der Basis eines bestimmten Punkts in jeder der vier Kameras 11, 12, 13 und 14 in der Speichereinheit 20 vorab als die Kalibrierungsdaten gespeichert.
-
Die Bilderzeugungseinheit 30, die in 1 illustriert ist, ist durch einen Mikrocomputer, der eine CPU 31, ein ROM 32 und ein RAM 33 aufweist, ausgebildet und die CPU 31 als Verarbeitungseinheit (Computer) führt eine Verarbeitung basierend auf einem Programm aus, das auf einem Aufzeichnungsmedium wie beispielsweise dem ROM 32 aufgezeichnet ist. Insbesondere führt die Bilderzeugungseinheit 30 eine Positionskorrektur basierend auf den Kalibrierungsdaten und eine Intensitätskorrektur (Intensitätskonversion) des Bilds für die Bilder aus, die durch die vier Kameras 11, 12, 13 und 14 aufgenommen werden, um das Draufsichtbild zu erzeugen.
-
Die Anzeigeeinheit 40 zeigt das Draufsichtbild, das durch die Bilderzeugungseinheit 30 erzeugt wird, für einen Insassen (beispielsweise einen Fahrer) des Fahrzeugs an. Insbesondere beinhaltet die Anzeigeeinheit 40 eine Anzeigevorrichtung (Anzeige) zum Anzeigen des Bildes für den Insassen des Fahrzeugs.
-
[2. Verarbeitung]
-
Eine Draufsichtbilderzeugungsverarbeitung (Draufsichtbilderzeugungsverfahren), die durch die Bilderzeugungseinheit 30 (insbesondere CPU 31) gemäß dem Programm ausgeführt wird, wird mit Bezug auf ein Ablaufdiagramm in 3 erläutert. Die Draufsichtbilderzeugungsverarbeitung von 3 wird periodisch für jede Abbildungsperiode (beispielsweise eine kurze Periode, während der Bilder mehrmals pro Sekunde aufgenommen werden können) der vier Kameras 11, 12, 13 und 14 ausgeführt.
-
Als Erstes erlangt die Bilderzeugungseinheit 30 die durch die vier Kameras 11, 12, 13 und 14 aufgenommenen Bilder von der Abbildungseinheit 10 (S101). Das Abbilden durch die vier Kameras 11, 12, 13 und 14 wird gleichzeitig (in Synchronisation) ausgeführt.
-
Anschließend konvertiert die Bilderzeugungseinheit 30 die durch die jeweiligen Kameras 11, 12, 13 und 14 aufgenommenen Bilder in Draufsichtbilder (Bilder wie von oben betrachtet und bezüglich Verzerrung, die durch Weitwinkelabbildung verursacht wird, korrigiert) auf der Basis der Kalibrierungsdaten (S102).
-
Insbesondere, wie in 4A und 4C illustriert ist, erzeugt die Bilderzeugungseinheit 30 ein erstes Draufsichtbild 11 B, ein zweites Draufsichtbild 12B, ein drittes Draufsichtbild 13B und ein viertes Draufsichtbild 14B, die durch Konvertieren der durch die erste Kamera 11, die zweite Kamera 12, die dritte Kamera 13 und die vierte Kamera 14 aufgenommenen Bilder in die jeweiligen Draufsichten erlangt werden. In 4A und 4C werden zum Klarstellen der jeweiligen Draufsichtbilder 11B, 12B, 13B und 14B diese Bilder in ein Paar aus dem ersten Draufsichtbild 11 B und dem dritten Draufsichtbild 13B und ein Paar aus dem zweiten Draufsichtbild 12B und dem vierten Draufsichtbild 14B unterteilt.
-
Ein linkes Ende des ersten Draufsichtbilds 11 B überlappt ein vorderes Ende des zweiten Draufsichtbilds 12B und ein rechtes Ende des ersten Draufsichtbild 11 B überlappt ein vorderes Ende des vierten Draufsichtbilds 14B. Ein linkes Ende des dritten Draufsichtbilds 13B überlappt ein unteres Ende des zweiten Draufsichtbilds 12B und ein rechtes Ende des dritten Draufsichtbilds 13B überlappt ein unteres Ende des vierten Draufsichtbilds 14B.
-
Wie in 4B illustriert ist, ist ein Draufsichtbild 10C derart konfiguriert, dass vier Teilbilder 11C, 12C, 13C und 14C um das Fahrzeug 9 herum kontinuierlich ringförmig angeordnet sind, ohne sich zu überlappen. Aus diesem Grund schneidet die Bilderzeugungseinheit 30 die vier Teilbilder 11C, 12C, 13C und 14C, die sich nicht überlappen, aus den jeweiligen vier Draufsichtbildern 11B, 12B, 13B und 14B gemäß einer Form des Draufsichtbilds 10C, das in 4B illustriert ist, aus.
-
Anschließend führt die Bilderzeugungseinheit 30 eine Referenzbildfestlegungsverarbeitung zum Festlegen eines der vier Teilbilder 11C, 12C, 13C und 14C, dessen Intensitätseigenschaft eine vorbestimmte Bedingung erfüllt, auf ein Referenzteilbild (S103) aus. Das Referenzteilbild ist ein Bild, das eine Referenz der Intensitätskonversion, die später beschrieben wird, in den vier Teilbildern 11C, 12C, 13C und 14C definiert, und nicht der Intensitätskonversion unterworfen ist.
-
Insbesondere wählt die Bilderzeugungseinheit 30 ein Teilbild mit der größten Anzahl von Pixeln mit einer Intensität, die innerhalb eines vorbestimmten Intensitätsbereichs fällt (einem Bereich zwischen Intensitäten TH1 und TH2) aus den vier Teilbildern 11C, 12C, 13C und 14C aus. In dieser Ausführungsform werden, wie in 4B illustriert ist, Analysezielregionen 11R, 12R, 13R und 14R an Positionen nahe Mitten, die bezüglich Verzerrung klein sind, in den jeweiligen Teilbildern 11C, 12C, 13C und 14C festgelegt und die Intensität wird basierend auf Pixeln bestimmt, die in diesen jeweiligen Regionen beinhaltet sind. Der Intensitätsbereich (Intensitäten TH1 bis TH2) wird in der Mitte eines Bereichs ausgehend von einer verfügbaren minimalen Intensität bis zu einer verfügbaren maximalen Intensität festgelegt. In anderen Worten wird der Intensitätsbereich so festgelegt, dass Bilder, die eine Intensität aufweisen, die in Richtung der Minimalintensitätsseite oder der Maximalintensitätsseite geht, wahrscheinlich nicht ausgewählt werden. Die Intensität kann in einen Pixelwert, einen Gradationswert oder eine Helligkeit übersetzt werden.
-
Wenn die Anzahl von Pixeln N in einem ausgewählten Bild gleich oder größer als ein vorbestimmter Grenzwert ist, legt die Bilderzeugungseinheit 30 das Bild als das Referenzteilbild fest. In anderen Worten wird maximal ein Referenzteilbild festgelegt. In anderen Worten, wenn kein Teilbild, dessen Intensitätseigenschaft die vorstehend erwähnte vorbestimmte Bedingung erfüllt, in den vier Teilbildern 11C, 12C, 13C und 14C vorliegt, wird das Referenzteilbild nicht festgelegt. In diesem Fall, wie später beschrieben wird, werden die Teilbilder 11C, 12C, 13C und 14C nicht korrigiert (Intensitätskonversionsverarbeitung) (Nein bei S104).
-
Anschließend bestimmt die Bilderzeugungseinheit 30, ob das Referenzteilbild festgelegt wird oder nicht, in der Referenzbildfestlegungsverarbeitung von S103 (S104). Bestimmt die Bilderzeugungseinheit 30, dass das Referenzteilbild festgelegt ist, (Ja bei S104), führt die Bilderzeugungseinheit 30 eine Verarbeitung (S105 bis S111) zum Konvertieren der Intensitäten der Bilder (nachfolgend als „Zielteilbilder“ bezeichnet) außer dem Referenzteilbild in den Teilbildern 11C, 12C, 13C und 14C aus (S105 bis S111).
-
In anderen Worten identifiziert die Bilderzeugungseinheit 30 als Erstes Überlappungsbilder, die Teilbilder (beide Enden in diesem Beispiel) der Bilder sind, die durch die jeweiligen Kameras 11, 12, 13 und 14 aufgenommen werden, und die vorstehend erwähnten Überlappungsregionen 112 ,123, 134 und 141 ausbilden (2). In dieser Ausführungsform werden Überlappungsbilder in den vorstehend erläuterten Draufsichtbildern 11B, 12B, 13B und 14B identifiziert. Die Bilderzeugungseinheit 30 erzeugt ein Histogramm, das eine Beziehung zwischen einer Intensität (Pixelwert) und Frequenz (Grad) repräsentiert, als Informationen, die die Intensitätseigenschaft für jedes der Überlappungsbilder (S105) angeben. Insbesondere, da zwei Überlappungsbilder in jeder der vier Überlappungsregionen 112, 123, 134 und 141 vorliegen, liegen acht Überlappungsbilder vor und acht Histogramme werden erzeugt.
-
Dann erzeugt die Bilderzeugungseinheit 30 einen Intensitätskonversionstabelle, um einem Histogramm A (Intensitätseigenschaft A) eines Überlappungsbilds A zu ermöglichen, sich einem Histogramm B (Intensitätseigenschaft B) des anderen Überlappungsbildes B anzunähern, für jedes Paar aus zwei Überlappungsbildern, die die gleiche Überlappungsregion ausbilden (S106). In der vorliegenden Spezifikation wird, um dem Histogramm B zu ermöglichen, sich dem Histogramm A anzunähern, bevorzugt ausgeführt, indem das Histogramm B gleich dem Histogramm A gemacht wird, beinhaltet aber auch einen Fall, in dem das Histogramm A nicht perfekt gleich dem Histogramm B ist. In der folgenden Beschreibung wird die Intensitätskonversionstabelle (Nachschlagtabelle, Look-Up Table) „LUT“ genannt. Die LUT wird für jede der vier Überlappungsregionen 112, 123, 134 und 141 erzeugt. In anderen Worten werden vier LUTs erzeugt.
-
Als ein LUT-Erzeugungsverfahren, das ermöglicht, dass sich das Histogramm B dem Histogramm A nähert, sind unterschiedliche Verfahren allgemein bekannt. In dieser Ausführungsform wird die LUT in einer Prozedur der nachfolgenden [M1] bis [M4] erzeugt.
-
[M1] Eine minimale Intensität des Histogramms A wird als eine Verarbeitungszielintensität A festgelegt und eine minimale Intensität des Histogramms B wird als eine Verarbeitungszielintensität B festgelegt.
-
[M2] Wie in 5A illustriert ist, ist die Verarbeitungszielintensität B mit der Verarbeitungszielintensität A verknüpft.
-
[M3] Wenn der nachfolgende Ausdruck (1) nicht erfüllt ist, wird die Verarbeitungszielintensität B in eine nächsthöchste Intensität geändert und die Verarbeitung kehrt zum vorstehenden [M2] zurück.
-
[M4] Wenn der vorstehende Ausdruck (1) erfüllt ist, wird die Verarbeitungszielintensität B, die mit der vorliegenden Verarbeitungszielintensität A verknüpft ist, entschieden bzw. bestimmt und die Verarbeitungszielintensität A und die Verarbeitungszielintensität B werden auf jeweils nächsthöhere Intensitäten geändert. Demnach kehrt die Verarbeitung zum vorstehenden [M2] zurück.
-
Durch Wiederholen der vorstehenden Prozedur wird eine Intensität des Histogramms B entsprechend jeder Intensität des Histogramms A bestimmt. Wie in 5B illustriert ist, werden die Intensitäten des Histogramms B als Eingangsintensitäten festgelegt, die Intensitäten des Histogramms A entsprechend diesen Intensitäten des Histogramms B werden als Ausgangsintensitäten festgelegt und die bestimmten entsprechenden Punkte werden miteinander verbunden, um die LUT zu erzeugen.
-
Gemäß 3 bestimmt die Bilderzeugungseinheit 30, ob eine Intensitätskonversionsverarbeitung (S110 oder S111), die später beschrieben wird, für alle Zielteilbilder vervollständigt wurde oder nicht (S107). Wenn die Bilderzeugungseinheit 30 bestimmt, dass die Intensitätskonversionsverarbeitung nicht für alle Zielteilbilder (eines oder mehrere Zielteilbilder vor Existenz der Intensitätskonversion) vervollständigt wurde (Nein bei S107), wählt die Bilderzeugungseinheit 30 eines der Zielteilbilder vor der Intensitätskonversion als ein zu verarbeitendes Objekt aus (S108). Das ausgewählte Zielteilbild wird als „zu verarbeitendes Bild“ bezeichnet. Eine Reihenfolge der Auswahl der Bilder, die zu verarbeiten sind, wird vorab gemäß einer Position des Referenzteilbilds festgelegt. Beispielsweise wird in dem Draufsichtbild 10C eine Reihenfolge zum Auswählen der Bilder in einer Kreisrichtung (im Gegenuhrzeigersinn) der Reihe nach ausgehend vom Zielteilbild, das zum Referenzteilbild benachbart ist, in einer Richtung gegen den Uhrzeigersinn festgelegt. Die Reihenfolge ist ein Beispiel und nicht besonders beschränkt. Die Reihenfolge wird derart festgelegt, dass die Zielteilbilder, die nicht zu irgendeinem des Referenzteilbilds und des Zielteilbilds, das der Intensitätskonversion unterworfen wird, benachbart sind, nicht als die zu verarbeitenden Bilder ausgewählt werden.
-
Dann bestimmt die Bilderzeugungseinheit 30, ob eines von zwei Teilbildern (nachfolgend als „erstes benachbartes Teilbild“ und „zweites benachbartes Teilbild“ bezeichnet) benachbart zu beiden Seiten des zu verarbeitenden Bildes in dem Draufsichtbild 10C das vor der Intensitätskonversion zu verarbeitende Bild ist oder nicht (S109). Wenn die Bilderzeugungseinheit 30 bestimmt, dass eines des ersten benachbarten Teilbilds und des zweiten benachbarten Teilbilds das vor der Intensitätskonversion zu verarbeitende Bild ist (Ja bei S109), führt die Bilderzeugungseinheit 30 eine erste Intensitätskonversionsverarbeitung aus (S110) und kehrt danach zu S107 zurück. Andererseits, wenn die Bilderzeugungseinheit 30 bestimmt, dass sowohl das erste benachbarte Teilbild als auch das zweite benachbarte Teilbild nicht die vor der Intensitätskonversion zu verarbeitenden Bilder sind (irgendeines des Referenzteilbilds und des Zielteilbilds, das der Intensitätskonversion unterworfen ist) (Nein bei S109), führt die Bilderzeugungseinheit 30 eine zweite Intensitätskonversionsverarbeitung aus (S111) und kehrt danach zu S107 zurück.
-
Die erste Intensitätskonversionsverarbeitung und die zweite Intensitätskonversionsverarbeitung werden beschrieben.
-
Die erste Intensitätskonversionsverarbeitung ist eine Verarbeitung zum Konvertieren der Intensität der zu verarbeitenden Bilder unter Verwendung (auf der Basis von) des Referenzteilbilds oder des Zielteilbilds (in diesem Beispiel lediglich „benachbartes Teilbild“ genannt), das der Intensitätskonversion unterworfen ist, was eines der ersten benachbarten Teilbilds und des zweiten benachbarten Teilbilds ist. Insbesondere in der ersten Intensitätskonversionsverarbeitung wird die Intensität des zu verarbeitenden Bildes einheitlich unter Verwendung der LUT (LUT zum Ausführen der Intensitätskonversionsverarbeitung, die dem zum verarbeitenden Bild erlaubt, sich dem benachbarten Teilbild anzunähern) konvertiert, die auf der Basis der Überlappungsregion entsprechend einer Grenze zwischen dem zu verarbeitenden Bild und dem benachbarten Teilbild erzeugt wird. Demzufolge wird Diskontinuität (Abweichung der Intensitätseigenschaft) der Intensität auf einer Grenzoberfläche zwischen dem zu verarbeitenden Bild und dem benachbarten Teilbild unterdrückt.
-
Andererseits ist die zweite Intensitätskonversionsverarbeitung eine Verarbeitung zum Konvertieren der Intensität des zu verarbeitenden Bilds unter Verwendung (auf Basis) sowohl des ersten benachbarten Teilbilds als auch des zweiten benachbarten Teilbilds. Beide des ersten benachbarten Teilbilds und des zweiten benachbarten Teilbilds sind irgendeines des Referenzteilbilds und des zu verarbeitenden Bilds nach der Intensitätskonversion.
-
Insbesondere, wie beispielsweise in 6A bis 6C illustriert ist, wird in dem zu verarbeitenden Bild 14C die LUT, die zur Intensitätskonversionsverarbeitung verwendet wird, zwischen den Pixeln nahe zum ersten benachbarten Teilbild 11C und den Pixeln nahe zum zweiten benachbarten Teilbild 13C unterschiedlich gemacht.
-
In dieser Ausführungsform wird die LUT, die auf der Basis der Überlappungsregion entsprechend einer Grenze (Strecke (P1, P3)) zwischen dem zu verarbeitenden Bild 14C und dem ersten benachbarten Teilbild 11C erzeugt wird, für die Pixel, die zum ersten benachbarten Teilbild 11C in den Pixeln, die in dem zu verarbeitenden Bild 14C beinhaltet sind, benachbart sind, verwendet. Die LUT ist konfiguriert, um eine Verbindung auszuführen, die ermöglicht, dass die Intensitätseigenschaft des zu verarbeitenden Bilds 14C sich der Intensitätseigenschaft des ersten benachbarten Teilbilds 11C annähert und wird nachfolgend als „erste LUT“ bezeichnet. In der vorliegenden Spezifikation ist die Überlappungsregion eine Region (nachfolgend als „erste gemeinsame Region“ bezeichnet), in der eine Objektregion bzw. betreffende Region den Draufsichtbildern gemeinsam ist (nachfolgend als „aufgenommenes Zielbild 14B“ und „erstes benachbartes aufgenommenes Bild 11 B“ bezeichnet), die Originale (Ausschnittquellen) des zu verarbeitenden Bilds 14C und des ersten benachbarten Teilbilds 11C sind. In anderen Worten ist die erste LUT konfiguriert, um eine Korrektur auszuführen, die der Intensitätseigenschaft des aufgenommenen Zielbilds 14B in der ersten gemeinsamen Region ermöglicht, sich der Intensitätseigenschaft des ersten benachbarten aufgenommenen Bildes 11 B in der ersten gemeinsamen Region anzunähern.
-
Andererseits wird die LUT, die auf der Basis der Überlappungsregion entsprechend einer Grenze (Strecke (P2, P4)) zwischen dem zu verarbeitenden Bild 14C und dem zweiten benachbarten Teilbild 13C erzeugt wird, für die Pixel, die zum zweiten benachbarten Teilbild 13C benachbart sind, von den Pixeln, die in dem zu verarbeitenden Bild 14C beinhaltet sind, verwendet. Die LUT ist konfiguriert, um eine Verbindung auszuführen, die der Intensitätseigenschaft des zu verarbeitenden Bildes 14C ermöglicht, sich der Intensitätseigenschaft des zweiten benachbarten Teilbilds 13C anzunähern und wird nachfolgend als „zweite LUT“ bezeichnet. In der vorliegenden Spezifikation ist die Überlappungsregion eine Region (nachfolgend als „zweite gemeinsame Region“ bezeichnet), in der eine Objektregion den Draufsichtbildern gemeinsam ist (nachfolgend als „zweites benachbartes aufgenommenes Bild 13B“ bezeichnet), die Originale (Ausschnittquellen) des aufgenommenen Zielbilds 14D und des zweiten benachbarten Teilbilds 13C sind. In anderen Worten ist die zweite LUT konfiguriert, um eine Korrektur auszuführen, die den Intensitätseigenschaften des aufgenommenen Zielbilds 14B in der zweiten gemeinsamen Region ermöglicht, sich der Intensitätseigenschaft des zweiten benachbarten aufgenommenen Bildes 13B in der zweiten gemeinsamen Region anzunähern.
-
Eine Verbund-LUT, zu der die die erste LUT und die zweite LUT kombiniert werden, wird für die verbleibenden Pixel verwendet, die das zu verarbeitende Bild 14C konfigurieren. Insbesondere wird die Verbund-LUT zum Konvertieren des zu verarbeitenden Bilds 14C derart festgelegt, dass ein Einfluss der ersten LUT verglichen mit einem Einfluss der zweiten LUT umso größer wird, je näher eine Position des Pixels in dem zu verarbeitenden Bild 14C an dem ersten benachbarten Teilbild 11C ist. In anderen Worten wird die Verbund-LUT zum Konvertieren der Intensität des zu verarbeitenden Bildes 14C derart festgelegt, dass der Einfluss der zweiten LUT verglichen mit dem Einfluss der ersten LUT umso größer wird, je näher die Position des Pixels in dem zu verarbeitenden Bild 14C an dem zweiten benachbarten Teilbild 13C ist. In anderen Worten ist die Verbund-LUT gemäß der Position des Pixels in dem zu verarbeitenden Bild 14C unterschiedlich. Beispielsweise wird eine Verbund-LUT, die die erste LUT und die zweite LUT mit einem gleichen Gewicht mittelt, für das Pixel verwendet, das sich in der Mitte des ersten benachbarten Teilbilds 11C und des zweiten benachbarten Teilbilds 13C befindet.
-
Insbesondere, wie in 7 illustriert ist, kann für Pixel auf einer Strecke (P1, P2) ein Gewicht W1 der ersten LUT und ein Gewicht W2 der zweiten LUT linear gemäß einer Position (Distanz zu Punkten P1 und P2) auf der Strecke geändert werden. Für Pixel außer den Pixeln auf der Strecke, die in einer rechtwinkligen Region mit einer Strecke (P3, P4) als eine Seite und einer Strecke (P5, P6), die ein Teil der Strecke (P1, P2) ist, als eine gegenüberliegende Seite, beinhaltet sind, kann das Gewicht so festgelegt werden, dass alle Pixel auf einer Gerade parallel zur Strecke (P3, P5) dasselbe Gewicht aufweisen. Für Pixel, die in den verbleibenden zwei dreieckigen Regionen (Dreieck (P1, P3, P5) und Dreieck (P2, P4, P6)) beinhaltet sind, kann das Gewicht so festgelegt werden, dass alle Pixel auf einer geraden Linie, die den Punkt P3 oder den Punkt P4 passiert, dasselbe Gewicht aufweisen.
-
Gemäß 3, wenn die Bilderzeugungseinheit 30 bestimmt, dass die Intensitätskonversionsverarbeitung für alle Zielteilbilder im vorstehend beschriebenen S107 abgeschlossen wurde (Ja bei S107), wechselt die Bilderzeugungseinheit 30 die Verarbeitung zu S112. Wenn die Bilderzeugungseinheit 30 bestimmt, dass das Referenzteilbild im vorstehend erwähnten S104 nicht festgelegt wurde (Nein bei S104), überspringt die Bilderzeugungseinheit 30 eine Verarbeitung (S105 und S111) zur Intensitätskonversion und fährt mit der Verarbeitung bei S112 fort.
-
Bei S112 erzeugt die Bilderzeugungseinheit 30 ein Draufsichtbild in dem vier Teilbilder 11C, 12C, 13C und 14C (Bilder, die der Intensitätskonversion unterworfen werden, wenn die Intensitätskonversion ausgeführt wird) kontinuierlich ringförmig angeordnet sind. Ferner zeigt die Bilderzeugungseinheit 30 das erzeugte Draufsichtbild auf der Anzeigeeinheit 40 an (S113) und schließt danach die Draufsichtbilderzeugungsverarbeitung von 3 ab.
-
[3. Vorteile]
-
Die vorstehend im Detail erläuterte Ausführungsform bringt folgende Vorteile mit sich.
-
[3A] In der Draufsichtbilderzeugungsvorrichtung 1 gemäß dieser Ausführungsform erzeugt die Bilderzeugungseinheit 30 die erste LUT zum Ausführen der Korrektur, die der Intensitätseigenschaft des Zielteilbilds ermöglicht, sich der Intensitätseigenschaft des ersten benachbarten Teilbilds anzunähern, und die zweite LUT zum Ausführen der Korrektur, die der Intensitätseigenschaft des Zielteilbilds ermöglicht, sich der Intensitätseigenschaft des zweiten benachbarten Teilbilds anzunähern (S105 bis S106). Die Bilderzeugungseinheit 30 konvertiert die Intensität von mindestens einem Zielteilbild unter Verwendung sowohl der ersten LUT als auch der zweiten LUT (S111). Insbesondere konvertiert die Bilderzeugungseinheit 30 die Intensität des Zielteilbilds so, dass der Einfluss der ersten LUT verglichen mit dem Einfluss der zweiten LUT umso größer ist, je näher die Position des Pixels in dem Zielteilbild an dem ersten benachbarten Teilbild ist. In anderen Worten konvertiert die Bilderzeugungseinheit 30 die Intensität des Zielteilbilds so, dass der Einfluss der zweiten LUT verglichen mit dem Einfluss der ersten LUT umso größer wird, umso näher die Position des Pixels in dem Zielteilbild an dem zweiten benachbarten Teilbild ist.
-
Demnach kann gemäß dieser Ausführungsform eine Abweichung der Intensitätseigenschaft in all den Grenzabschnitten in dem Verbundbild (Draufsichtbild) unterdrückt werden, in dem die mehreren Teilbilder kontinuierlich in der Ringform angeordnet sind. Insbesondere, da das Bild an sich digitaler Korrektur unterworfen wird, kann Hochpräzisionsabgleich verglichen mit einer Konfiguration ausgeführt werden, in der beispielsweise Verstärkungen der Kamera analoger Korrektur unterzogen werden.
-
[3B] Die Bilderzeugungseinheit 30 legt eines der mehreren Teilbilder 11C, 12C, 13C und 14C, dessen Intensitätseigenschaft eine vorbestimmte Bedingung erfüllt, auf das Referenzteilbild fest (S103). Demnach können gemäß dieser Ausführungsform verglichen mit einem Fall, in dem das Referenzteilbild fest ist (vorbestimmt), die Teilbilder 11C, 12C, 13C und 14C angemessen korrigiert werden. Insbesondere können sich die Teilbilder, die das Referenzteilbild sein sollen, gemäß Umgebungen um das Fahrzeug herum (wie Licht auf die Fahrzeugumgebungen trifft, wie beispielsweise bei Tag oder Nacht oder der Anwesenheit oder Abwesenheit eines entgegenkommenden Fahrzeugs), unterschieden. Aus diesem Grund wird, wenn das Referenzteilbild fest ist, sogar das Teilbild (beispielsweise zu dunkles Bild oder zu helles Bild), das für das Referenzteilbild nicht geeignet ist, als das Referenzteilbild verwendet. Im Gegensatz dazu kann in dieser Ausführungsform, da das Bild, dessen Intensitätseigenschaft die vorbestimmte Bedingung erfüllt, als das Referenzteilbild festgelegt wird, das Teilbild, das für das Referenzteilbild geeignet ist, aus den mehreren Teilbildern 11C, 12C, 13C und 14C ausgewählt werden.
-
[3C] Wenn kein Teilbild, das die vorbestimmte Bedingung zum Festlegen des Referenzteilbilds erfüllt, in den mehreren Teilbildern 11C, 12C, 13C und 14C vorliegt, korrigiert die Bilderzeugungseinheit 30 die Teilbilder 11C, 12C, 13C und 14C nicht (S104). Demnach kann gemäß dieser Ausführungsform verhindert werden, dass das ungeeignete beziehungsweise falsche Verbundbild durch Ausführen einer Korrektur ungeachtet der Abwesenheit des richtigen Teilbilds als das Referenzteilbild der mehreren Teilbilder 11C, 12C, 13C und 14C erzeugt wird.
-
[3D] Wenn das erste benachbarte Teilbild und das zweite benachbarte Teilbild das Referenzteilbild oder das Zielteilbild, das der Intensitätskonversion unterliegt, und das Zielteilbild vor der Intensitätskonversion sind, konvertiert die Bilderzeugungseinheit 30 die Intensität des Zielteilbilds unter Verwendung der ersten LUT oder der zweiten LUT (S110). Andererseits, wenn sowohl das erste benachbarte Teilbild als auch das zweite benachbarte Teilbild irgendeines des Referenzteilbilds und des Zielteilbilds sind, das der Intensitätskonversion unterliegt, konvertiert die Bilderzeugungseinheit 30 die Intensität des Zielteilbilds unter Verwendung sowohl der ersten LUT als auch der zweiten LUT (S111). Demzufolge kann gemäß dieser Ausführungsform die Konversion der Intensität des Zielteilbilds unter Verwendung sowohl der ersten LUT als auch der zweiten LUT für die minimalen Zielteilbilder ausgeführt werden bzw. minimal für die Zielteilbilder ausgeführt werden und eine Verarbeitungslast kann verringert werden.
-
[3E] Die Bilderzeugungseinheit 30 erzeugt das Draufsichtbild 10C, das ein Bild der Umgebungen des Fahrzeugs 9 betrachtet ausgehend von oben ist, unter Verwendung der mehreren aufgenommenen Bildern, die durch Abbilden der Umgebungen des Fahrzeugs 9 durch die mehreren Kameras 11, 12, 13 und 14 erlangt werden, die an dem Fahrzeug 9 angebracht sind. Demnach kann gemäß dieser Ausführungsform dem Fahrer ein natürlicheres Draufsichtbild bereitgestellt werden.
-
In dieser Ausführungsform entspricht die Bilderzeugungseinheit 30 einem Beispiel einer Bilderzeugungsvorrichtung und S103 bis S111 entsprechen einem Beispiel der Verarbeitung als Korrekturvorrichtung und Korrekturschritt. S103 entspricht einem Beispiel der Verarbeitung als Festlegungsvorrichtung und S105 bis S106 entsprechen einem Beispiel der Verarbeitung als Erzeugungsvorrichtung und ein Erzeugungsschritt. S110 entspricht einem Beispiel der Verarbeitung als die Fixierungskonversionsvorrichtung und S111 entspricht einem Beispiel der Verarbeitung als Mischungskonversionsvorrichtung und Mischungskonversionsschritt. Die Kameras 11, 12, 13 und 14 entsprechen einem Beispiel einer Abbildungsvorrichtung, das Draufsichtbild 10C entspricht einem Beispiel eines Verbundbilds, die erste LUT entspricht einem Beispiel einer ersten Konversionstabelle und die zweite LUT entspricht einem Beispiel einer zweiten Konversionstabelle.
-
[4. Weitere Ausführungsformen]
-
Obwohl die Ausführungsform der vorliegenden Anmeldung vorstehend beschrieben wurde, ist es offensichtlich, dass die vorliegende Anmeldung nicht auf die vorstehend erläuterte Ausführungsform beschränkt ist, und dass unterschiedliche Konfigurationen möglich sind.
-
[4A] Das LUT-Erzeugungsverfahren ist nicht auf das in der vorstehenden Ausführungsform beispielhaft erläuterte Verfahren beschränkt, sondern kann andere bekannte Verfahren einsetzen. Beispielsweise kann wie in dem vorstehenden Patentdokument 1 offenbart ist, eine LUT erzeugt werden, die einen Histogrammabgleich ausführen kann und die gleiche Korrekturverarbeitung kann für das Histogramm ausgeführt werden.
-
[4B] Die Intensitätskonversionsverarbeitung unter Verwendung der Verbund-LUT ist nicht auf das in der vorstehenden Ausführungsform beispielhaft dargestellte Verfahren beschränkt. Beispielsweise kann für alle Pixel, die in dem zu verarbeitendem Bild 14C, das in 7 illustriert ist, beinhaltet sind, die Gewichtung so festgelegt werden, dass alle der Pixel auf einer geraden Linie parallel zur Strecke (P3, P5) dasselbe Gewicht auf der Basis der Pixel auf der Strecke (P1, P2) haben. In anderen Worten unterscheidet sich das Gewichtungsfestlegungsverfahren für die Pixel, die in den zwei dreieckigen Regionen (Dreieck (P1, P3, P5) und Dreieck (P2, P4, P6)) beinhaltet sind, von der vorstehenden Ausführungsform. In dem zu verarbeitenden Bild 14C können beide Enden der geraden Linie mit P1 und P2 in 7 für jede gerade Linie parallel zur Strecke (P1, P2) ersetzt werden und die Gewichtung kann für die Pixel auf der geraden Linie festgelegt werden.
-
Wie in 8 illustriert ist, kann für die Pixel auf der Strecke (P5, P6) das Gewicht W1 der ersten LUT und das Gewicht W2 der zweiten LUT linear gemäß einer Position (Distanz zu den Punkten P5 und P6) auf der Strecke geändert werden. Für Pixel, die in einer rechtwinkligen Region (P3, P4, P6, P5) beinhaltet sind, kann die Gewichtung so festgelegt werden, dass alle Pixel auf einer geraden Linie parallel zur Strecke (P3, P5) die gleiche Gewichtung aufweisen. Für die Pixel, die in den verbleibenden zwei dreieckigen Regionen (Dreieck (P1, P3, P5) und Dreieck (P2, P4, P6)) beinhaltet sind, kann die Gewichtung so festgelegt werden, dass die Gewichtung maximal wird.
-
Das zu verarbeitende Bild 14C kann in mehrere Regionen aufgeteilt werden und eine Gewichtung kann für jede der Regionen festgelegt werden.
-
[4C] Die Zeitgebung zum Festlegen des Referenzteilbilds (Zeitgebung, bei der das Referenzteilbild geändert werden kann) ist nicht auf jede Abbildungsperiode beschränkt, sondern das Referenzteilbild kann davor bewahrt werden, häufig geändert zu werden. Beispielsweise kann das Referenzteilbild in einer vorbestimmten Periode fest sein. Beispielsweise, wenn das Referenzteilbild geändert wird, kann eine Bedingung, die strenger als eine Bedingung ist, unter der das gleiche Referenzteilbild ausgewählt wird, so festgelegt werden, dass das Referenzteilbild zur vorliegenden Zeit eine Referenz nicht erfüllt, die danach als das Referenzteilbild ausgewählt wird, kontinuierlich für eine vorbestimmte Zeitperiode. Dass das Referenzteilbild das gleiche ist, bedeutet, dass eine Anordnung in dem Draufsichtbild 10C die gleiche ist und dass das Referenzteilbild geändert wird, bedeutet, dass das Teilbild, das sich bezüglich seiner Anordnung in dem Draufsichtbild 10C unterscheidet, als das Referenzteilbild ausgewählt wird.
-
[4D] In der vorstehenden Ausführungsform sind die Analysezielregionen 11R,12R, 13R und 14R in den jeweiligen Teilbildern 11C, 12C, 13C und 14C festgelegt und die Bestimmung wird auf der Basis der Pixel, die in diesen jeweiligen Regionen beinhaltet sind, ausgeführt (S103), wobei jedoch die vorliegende Anmeldung nicht auf diese Konfiguration beschränkt ist. Beispielsweise kann die Bestimmung auf Basis aller Pixel, die in den Teilbildern 11C, 12C, 13C und 14C beinhaltet sind, ausgeführt werden.
-
[4E] In der vorstehenden Ausführungsform wird maximal ein Referenzteilbild festgelegt (S103), wobei jedoch die vorliegende Anmeldung nicht auf diese Konfiguration beschränkt ist und mehrere Referenzteilbilder festgelegt werden können. Beispielsweise können in den vorstehend beschriebenen S103 ein Bild, dessen Anzahl von Pixeln N am größten ist, und ein Bild, dessen Anzahl von Pixeln N am zweitgrößten ist, als die Referenzteilbilder ausgewählt werden.
-
[4F] Wenn das Referenzteilbild nicht festgelegt ist (wenn die Intensitätskonversionsverarbeitung nicht ausgeführt wird), kann der Fahrer über diese Tatsache (oder deren Grund) unterrichtet werden.
-
[4G] In der vorstehenden Ausführungsform muss das Referenzteilbild nicht festgelegt werden (S103). Jedoch ist die vorliegende Anmeldung nicht auf diese Konfiguration beschränkt und eines oder mehrere Referenzteilbilder können immer festgelegt sein und die Intensitätskonversionsverarbeitung kann auf der Basis des festgelegten Referenzteilbilds ausgeführt werden.
-
[4H] In der vorstehenden Ausführungsform kann das Referenzteilbild geändert werden, wobei jedoch die vorliegende Anmeldung nicht auf diese Konfiguration beschränkt ist und das Teilbild an einer vorbestimmten Position in dem Draufsichtbild 10C immer als das Referenzteilbild festgelegt sein kann.
-
[4I] Die Positionen und die Anzahl von Kameras sind nicht auf die in der vorstehenden Ausführungsform beispielhaft dargestellten beschränkt. Ebenso ist die vorliegende Anmeldung ebenso als ein Verbundbild außer dem Draufsichtbild anwendbar.
-
[4J] Eine Funktion eines Bestandteils in den vorstehend beschriebenen Ausführungsformen kann auf mehrere Bestandteile verteilt werden oder Funktionen mehrerer Bestandteile können in einem Bestandteil integriert werden. Ferner kann mindestens ein Teil der Konfiguration in der Ausführungsform durch eine bekannte Konfiguration mit derselben Funktion ersetzt werden. Ferner kann ein Teil der Konfigurationen der vorstehend beschriebenen Ausführungsformen weggelassen werden, solange das Problem gelöst werden kann. Ferner kann mindestens ein Teil der Konfigurationen der vorstehend beschriebenen Ausführungsformen zu den Konfigurationen der anderen Ausführungsformen hinzugefügt werden oder diese ersetzen. Zusätzlich sind alle Aspekte, die im technischen Geist beinhaltet sind, der in den Ansprüchen spezifiziert ist, Ausführungsformen der vorliegenden Anmeldung.
-
[4K] Die vorliegende Anmeldung kann durch unterschiedliche Konfigurationen wie beispielsweise ein Aufzeichnungsmedium, das ein Bilderzeugungsprogramm aufzeichnet, oder ein System, das die Bilderzeugungsvorrichtung als eine Komponente aufweist, zusätzlich zur Bilderzeugungsvorrichtung, dem Bilderzeugungsverfahren und dem Bilderzeugungsprogramm verwirklicht werden.
-
Es ist zu beachten, dass ein Ablaufdiagramm oder die Verarbeitung des Ablaufdiagramms in der vorliegenden Anmeldung Abschnitte (ebenfalls als Schritte bezeichnet) beinhaltet, von denen jeder beispielsweise als S100 repräsentiert ist. Ferner kann jeder Abschnitt in mehrere Unterabschnitte unterteilt werden, während mehrere Abschnitte zu einem einzelnen Abschnitt kombiniert werden können. Ferner kann jeder der so konfigurierten Abschnitte als eine Vorrichtung, ein Modul oder Mittel bezeichnet werden.
-
Während die vorliegende Offenbarung mit Bezug auf ihre Ausführungsformen beschrieben wurde, ist es ersichtlich, dass die Offenbarung nicht auf die Ausführungsformen und Konstruktionen beschränkt ist. Die vorliegende Offenbarung soll unterschiedliche Modifikationen und äquivalente Anordnungen abdecken. Ferner sind neben den unterschiedlichen Kombinationen und Konfigurationen weitere Kombinationen und Konfigurationen einschließlich mehreren, wenigeren oder nur einem einzelnen Element ebenso innerhalb des Lichts der Lehre und dem Umfang der vorliegenden Offenbarung.
