DE102019107835A1

DE102019107835A1 - Bildkombiniervorrichtung, Verfahren zum Kombinieren von Bildern und Programm

Info

Publication number: DE102019107835A1
Application number: DE102019107835.0A
Authority: DE
Inventors: Tadashi Yoshida
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-03-30
Filing date: 2019-03-27
Publication date: 2019-10-02
Also published as: JP2019180016A

Abstract

Eine Bildkombiniervorrichtung (10) enthält die folgenden Einheiten. Eine Erlangungseinheit (21) erlangt ein erstes Bild (51) und ein zweites Bild (53), die durch eine erste Kamera (12) bzw. eine zweite Kamera (14) erhalten sind und deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs. Eine Kombiniereinheit (23) kombiniert das erste Bild (51) und das zweite Bild (53) unter Verwendung eines ersten Kameraparameters (71), der eine erste relative Beziehung von Position und Orientierung zwischen der ersten und der zweiten Kamera (12, 14) angibt. Eine Abgleicheinheit (25) führt einen Merkmalspunktabgleich zwischen den deckenden Bereichen im ersten und zweiten Bild (51, 53) durch. Eine Kameraparameter-Berechnungseinheit (26) berechnet, unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs, einen zweiten Kameraparameter (72), der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten und dem zweiten Bild (51, 53) angibt. Eine Justiereinheit (27) führt unter Verwendung des zweiten Kameraparameters (72) einen Justiervorgang zum Verringern einer Differenz zwischen dem ersten Kameraparameter (71) und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera (12, 14) durch.

Description

Gebiet
Die vorliegende Erfindung bezieht sich auf eine Bildkombiniervorrichtung, die Bilder kombiniert, ein Verfahren zum Kombinieren von Bildern und ein Programm.
Hintergrund
Es existieren Vorrichtungen, die Bilder von Umgebungen eines Fahrzeugs kombinieren, die von mehreren, am Fahrzeug montierten Kameras aufgenommen sind, und die ein resultierendes kombiniertes Bild anzeigen (siehe beispielsweise Patentschrift 1 und Patentschrift 2).
Literaturverzeichnis
Patentliteratur

[Patentschrift 1] Japanische ungeprüfte Patentoffenlegung Nr. 2016-70814
[Patentschrift 2] Japanisches Patent Nr. 3968375

Zusammenfassung
Technisches Problem
In solchen Kombiniereinrichtungen verursachen Positions- und Orientierungs-Fehlausrichtung (Richtungs-Fehlausrichtung) zwischen den Kameras auch eine Fehlausrichtung in dem resultierenden kombinierten Bild.
Angesichts dessen ist es eine Aufgabe der vorliegenden Erfindung, eine Bildkombiniervorrichtung oder ein Verfahren zum Kombinieren von Bildern zu schaffen, die in der Lage sind, mit Positions- und Orientierungs-Fehlausrichtung zwischen Kameras leicht zurechtzu kommen.
Lösung der Aufgabe
Gemäß einem Aspekt der vorliegenden Offenbarung ist eine Bildkombiniervorrichtung geschaffen, enthaltend: eine Erlangungseinheit, die ein erstes Bild und ein zweites Bild erlangt, die durch eine erste Kamera bzw. eine zweite Kamera erhalten sind, wobei das erste Bild und das zweite Bild deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs; eine Kombiniereinheit, die das erste Bild und das zweite Bild unter Verwendung eines ersten Kameraparameters kombiniert, der eine erste relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt; eine Abgleicheinheit, die einen Merkmalspunktabgleich zwischen den deckenden Bereichen im ersten Bild und im zweiten Bild durchführt; eine Kameraparameter-Berechnungseinheit, die unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs einen zweiten Kameraparameter berechnet, der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten Bild und dem zweiten Bild angibt; und eine Justiereinheit, die unter Verwendung des zweiten Kameraparameters einen Justiervorgang zum Verringern einer Differenz zwischen der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera durchführt.
Diese allgemeinen und spezifischen Aspekte können bei einem System, einem Verfahren, einer integrierten Schaltung, einem Computerprogramm oder einem computerlesbaren Aufzeichnungsmedium, wie etwa einer CD-ROM, umgesetzt sein.
Vorteilhafte Wirkungen
Diese Offenbarung kann eine Bildkombiniervorrichtung oder ein Verfahren zum Kombinieren von Bildern schaffen, die in der Lage sind, mit Positions- und Orientierungs-Fehlausrichtung zwischen Kameras leicht zurechtzukommen.
Figurenliste

1 ist eine schematische Skizze, die ein Beispiel eines Fahrzeugs gemäß einer Ausführungsform zeigt.
2 ist eine Darstellung, die unkombinierte Bilder, die noch nicht miteinander kombiniert wurden, und ein kombiniertes Bild zeigt, das durch ein Kombinieren der unkombinierten Bilder gemäß der Ausführungsform erhalten ist.
3 ist ein Blockdiagramm einer Bildkombiniervorrichtung gemäß der Ausführungsform.
4 ist ein Flussdiagramm eines Bildkombinierverfahrens gemäß der Ausführungsform.
5 ist eine Darstellung, die ein Beispiel von durch Kameras erhaltenen Bildern zeigt, gemäß der Ausführungsform.
6 ist ein Diagramm zum Beschreiben eines Abgleichverfahrens gemäß der Ausführungsform.
7 ist ein Diagramm zum Beschreiben einer Fehlerbewertungsfunktion gemäß der Ausführungsform.
8 ist ein Diagramm zum Beschreiben der Fehlerbewertungsfunktion gemäß der Ausführungsform.
9 ist ein Diagramm zum Beschreiben des Bildkombinierverfahrens gemäß der Ausführungsform.
10 ist ein Blockdiagramm einer Bildkombiniervorrichtung gemäß einer Abwandlung 1 an der Ausführungsform.
11 ist ein Flussdiagramm eines Kalibrierverfahrens gemäß der Abwandlung 1 an der Ausführungsform.
12 ist ein Blockdiagramm einer Bildkombiniervorrichtung gemäß einer Abwandlung 2 an der Ausführungsform.
13 ist ein Flussdiagramm eines Bildkombinierverfahrens gemäß der Abwandlung 2 an der Ausführungsform.

Beschreibung der Ausführungsform
Gemäß einem Aspekt der vorliegenden Offenbarung ist eine Bildkombiniervorrichtung geschaffen, enthaltend: eine Erlangungseinheit, die ein erstes Bild und ein zweites Bild erlangt, die durch eine erste Kamera bzw. eine zweite Kamera erhalten sind, wobei das erste Bild und das zweite Bild deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs; eine Kombiniereinheit, die das erste Bild und das zweite Bild unter Verwendung eines ersten Kameraparameters kombiniert, der eine erste relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt; eine Abgleicheinheit, die einen Merkmalspunktabgleich zwischen den deckenden Bereichen im ersten Bild und im zweiten Bild durchführt; eine Kameraparameter-Berechnungseinheit, die unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs einen zweiten Kameraparameter berechnet, der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten Bild und dem zweiten Bild angibt; und eine Justiereinheit, die unter Verwendung des zweiten Kameraparameters einen Justiervorgang zum Verringern einer Differenz zwischen der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera durchführt.
Mit dieser Anordnung kann die Bildkombiniervorrichtung den zweiten Kameraparameter auf Grundlage des Merkmalspunktabgleichs zwischen den deckenden Bereichen berechnen und den zweiten Kameraparameter benutzen, um die Fehlanpassung zwischen Positionen und Orientierungen, die durch den ersten Kameraparameter zur Verwendung beim Kombinieren angegeben sind, und den tatsächlichen Positionen und Orientierungen der Kameras zu verringern. Auf diese Weise kann die Bildkombiniervorrichtung mit Positions- und Orientierungs-Fehlausrichtung zwischen den Kameras leicht zurechtkommen.
Zum Beispiel ist es möglich, dass unter Verwendung einer Bewertungsfunktion zum Berechnen aus dem ersten Bild, dem zweiten Bild und einem Kameraparameter, der eine relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt, eines Bewertungswerts, der eine Fehlanpassung zwischen der durch den Kameraparameter angegebenen relativen Beziehung und der relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt, die Kameraparameter-Berechnungseinheit als den zweiten Kameraparameter den Kameraparameter bestimmt, der die durch den Bewertungswert angegebene Fehlanpassung minimiert.
Zum Beispiel ist es möglich, dass der Bewertungswert Abstände in einem dreidimensionalen Raum zwischen Paaren von Merkmalspunkten angibt, die in den dreidimensionalen Raum projiziert sind, wobei sich die Paare von Merkmalspunkten aus dem Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild ergeben.
Zum Beispiel ist es möglich, dass die Justiereinheit den ersten Kameraparameter unter Verwendung des zweiten Kameraparameters aktualisiert, und dass die Kombiniereinheit das erste Bild und das zweite Bild unter Verwendung des aktualisierten ersten Kameraparameters kombiniert.
Zum Beispiel ist es möglich, dass die Justiereinheit auf Grundlage einer Differenz zwischen dem ersten Kameraparameter und dem zweiten Kameraparameter eine Position und eine Orientierung mindestens einer aus der ersten Kamera und der zweiten Kamera so justiert, dass sich die relative Beziehung der tatsächlichen Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung nähert, und dass die Kombiniereinheit unter Verwendung des ersten Kameraparameters das erste und das zweite Bild kombiniert, die durch die erste Kamera und die zweite Kamera nach der Justierung erhalten sind.
Zum Beispiel ist es möglich, dass die Erlangungseinheit das erste Bild und das zweite Bild zu jedem aus einer Vielzahl von Zeitpunkten erlangt, dass die Abgleicheinheit den Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild für jeden aus der Vielzahl von Zeitpunkten durchführt, dass die Kameraparameter-Berechnungseinheit den zweiten Kameraparameter unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs für jeden aus der Vielzahl von Zeitpunkten berechnet, und dass die Justiereinheit den Justiervorgang unter Verwendung des berechneten zweiten Kameraparameters durchführt.
Mit dieser Anordnung kann die Bildkombiniervorrichtung die Genauigkeit des Kameraparameters unter Verwendung von Paaren übereinstimmender Merkmalspunkte zu mehreren Zeitpunkten erhöhen.
Zum Beispiel ist es möglich, dass die Bildkombiniervorrichtung weiter eine Übereinstimmungsinformations-Speichereinheit enthält, die Ergebnisse speichert, die jeweils eine höhere Genauigkeit unter Ergebnissen aufweisen als ein Referenzwert, wobei die Ergebnisse in den Ergebnissen des Merkmalspunktabgleichs enthalten sind.
Mit dieser Anordnung kann die Bildkombiniervorrichtung die Genauigkeit des Kameraparameters unter Verwendung von Paaren übereinstimmender Merkmalspunkte mit höheren Genauigkeiten erhöhen.
Zum Beispiel ist es möglich, dass die Erlangungseinheit das erste Bild und das zweite Bild zu jedem aus einer Vielzahl von Zeitpunkten erlangt, dass die Abgleicheinheit den Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild für jeden aus der Vielzahl von Zeitpunkten durchführt, dass die Kameraparameter-Berechnungseinheit den zweiten Kameraparameter unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs für jeden aus der Vielzahl von Zeitpunkten berechnet, und dass die Justiereinheit den Justiervorgang unter Verwendung eines der zweiten Kameraparameter durchführt, von denen jeder der für einen entsprechenden aus der Vielzahl von Zeitpunkten berechnete zweite Kameraparameter ist.
Mit dieser Anordnung kann die Bildkombiniervorrichtung die Genauigkeit des Kameraparameters unter Verwendung von Bildern zu mehreren Zeitpunkten erhöhen.
Zum Beispiel ist es möglich, dass die Justiereinheit den Justiervorgang unter Verwendung eines der zweiten Kameraparameter mit einer höheren Genauigkeit als ein Referenzwert unter der Vielzahl der berechneten zweiten Kameraparameter durchführt.
Mit dieser Anordnung kann die Bildkombiniervorrichtung die Genauigkeit des Kameraparameters unter Verwendung von passenden Ergebnissen mit höheren Genauigkeiten erhöhen.
Gemäß einem Aspekt der vorliegenden Offenbarung ist ein Verfahren A zum Kombinieren von Bildern geschaffen, enthaltend: ein Erlangen eines ersten Bildes und eines zweiten Bildes, die durch eine erste Kamera bzw. eine zweite Kamera erhalten sind, wobei das erste Bild und das zweite Bild deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs; ein Kombinieren des ersten Bildes und des zweiten Bildes unter Verwendung eines ersten Kameraparameters, der eine erste relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt; ein Durchführen eines Merkmalspunktabgleichs zwischen den deckenden Bereichen im ersten Bild und im zweiten Bild; ein Berechnen, unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs, eines zweiten Kameraparameters, der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten Bild und dem zweiten Bild angibt; und ein Durchführen, unter Verwendung des zweiten Kameraparameters, eines Justiervorgangs zum Verringern einer Differenz zwischen der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera.
Mit dieser Anordnung berechnet das Verfahren zum Kombinieren von Bildern den zweiten Kameraparameter auf Grundlage des Merkmalspunktabgleichs zwischen den deckenden Bereichen und kann unter Verwendung des zweiten Kameraparameters die Fehlanpassung zwischen den Positionen und Orientierungen, die durch den ersten Kameraparameter zur Verwendung beim Kombinieren angegeben sind, und den tatsächlichen Positionen und Orientierungen der Kameras verringern. Auf diese Weise kann das Verfahren zum Kombinieren von Bildern mit Positions- und Orientierungs-Fehlausrichtung zwischen den Kameras leicht zurechtkommen.
Diese allgemeinen und spezifischen Aspekte können bei einem System, einem Verfahren, einer integrierten Schaltung, einem Computerprogramm oder einem computerlesbaren Aufzeichnungsmedium, wie etwa einer CD-ROM, umgesetzt sein oder können eine beliebige Kombination davon sein.
(Ausführungsform)
Nachstehend sind bestimmte beispielhafte Ausführungsformen unter Bezugnahme auf die beigefügte Zeichnung genauer beschrieben. Es ist anzumerken, dass alle unten beschriebenen beispielhaften Ausführungsformen allgemeine und spezifische Beispiele der vorliegenden Offenbarung sind. Zahlenwerte, Formen, Materialien, Bestandteile, Anordnungspositionen und die Verbindungsanordnung der Bestandteile, Schritte, die Reihenfolge der Schritte und dergleichen, die in den folgenden Ausführungsformen beschrieben sind, sind nur Beispiele und sollen daher die vorliegende Offenbarung nicht einschränken. Die vorliegende Offenbarung ist durch die angefügten Ansprüche gekennzeichnet. Daher sind unter den Bestandteilen in den folgenden Ausführungsformen Bestandteile, die nicht in den unabhängigen Ansprüchen, die das allgemeinste Konzept der vorliegenden Offenbarung zeigen, beschrieben sind, als Elemente beschrieben, aus denen eher erwünschte Anordnungen bestehen, obwohl solche Bestandteile nicht unbedingt erforderlich sind, um die Aufgabe der vorliegenden Offenbarung zu erfüllen.
1 ist eine schematische Skizze, die ein Beispiel eines Fahrzeugs 1 gemäß dieser Ausführungsform zeigt. 2 ist eine erläuternde Darstellung, die Bilder, bevor sie durch eine Bildkombiniervorrichtung 10 kombiniert wurden, und ein resultierendes kombiniertes Bild gemäß dieser Ausführungsform zeigt.
Wie in 1 gezeigt, enthält das Fahrzeug 1 die Bildkombiniervorrichtung 10, die Kameras 12, 13 und 14 und einen digitalen Spiegel 40. In der folgenden Beschreibung beziehen sich die Richtungen vorn, hinten, rechts und links auf die Richtungen bezüglich der Vorwärtsrichtung, in die das Fahrzeug 1 fährt, sofern nicht anders angegeben. Demgemäß können diese Richtungen als die Richtungen vorn, hinten, rechts und links aus Sicht des Fahrers des Fahrzeugs 1 bezeichnet sein.
Die Kamera 12 ist an oder nahe der linken Tür des Fahrzeugs 1 befestigt, zum Aufnehmen des Bereichs links hinter dem Fahrzeug 1. Die Kamera 12 nimmt den Bereich links hinter dem Fahrzeug 1 auf und erzeugt ein Bild 51. Das durch die Kamera 12 erzeugte Bild 51 ist auch als ein linkes hinteres Bild bezeichnet.
Die Kamera 13 ist an oder nahe der rechten Tür des Fahrzeugs 1 befestigt, zum Aufnehmen des Bereichs rechts hinter dem Fahrzeug 1. Die Kamera 13 nimmt den Bereich rechts hinter dem Fahrzeug 1 auf und erzeugt ein Bild 52. Das durch die Kamera 13 erzeugte Bild 52 ist auch als ein rechtes hinteres Bild bezeichnet.
Die Kamera 14 ist an oder nahe der hinteren Stoßstange oder der Kofferraumhaube des Fahrzeugs 1 befestigt, zum Aufnehmen des Bereichs in der Mitte hinter dem Fahrzeug 1. Die Kamera 14 nimmt den Bereich in der Mitte hinter dem Fahrzeug 1 auf und erzeugt ein Bild 53. Das durch die Kamera 14 erzeugte Bild 53 ist auch als ein mittleres hinteres Bild bezeichnet.
Die Aufnahmebereiche der Kameras 12 und 14 überlappen einander teilweise, und die Aufnahmebereiche der Kameras 13 und 14 überlappen einander teilweise. Daher zeigen ein Teil des linken hinteren Bildes und ein Teil des mittleren hinteren Bildes dieselben Objekte. Ähnlich zeigen ein Teil des rechten hinteren Bildes und ein Teil des mittleren hinteren Bildes dieselben Objekte.
Jede der Kameras 12, 13 und 14 erzeugt das Bild durch ein Aufnehmen unter unterschiedlichen Aufnahmebedingungen. Genauer ist jede der Kameras 12, 13 und 14 an einer anderen Position und in einer anderen Orientierung angeordnet, während sie das Bild bei z.B. 60 Hz erhält. Das optische System jeder der Kameras 12, 13 und 14 kann andere optische Eigenschaften aufweisen.
Der digitale Spiegel 40 ist eine Bildanzeigevorrichtung, die ein Rückbild 50 anzeigt, das den Bereich hinter dem Fahrzeug 1 zeigt. Der digitale Spiegel 40 zeigt das Bild auf Grundlage von durch die Bildkombiniervorrichtung 10 ausgegebenen Videosignalen an. Der digitale Spiegel 40 kann als Ersatz für einen herkömmlichen Innenrückspiegel verwendet sein, der den Bereich hinter dem Fahrzeug 1 durch die Reflexion von Licht zeigt.
Die Bildkombiniervorrichtung 10 kombiniert die durch die jeweiligen Kameras 12, 13 und 14 erzeugten Bilder 51, 52 und 53, um das auf dem digitalen Spiegel 40 anzuzeigende Bild 50 zu erzeugen. 2 ist eine Darstellung, die ein Beispiel der Bilder 50 bis 53 zeigt.
Nachstehend sind Funktionen und Vorgänge in der Bildkombiniervorrichtung 10 beschrieben. Nachstehend beschriebene Techniken gemäß dieser Ausführungsform sind auf das Kombinieren von mindestens zwei Bildern anwendbar. Das Folgende beschreibt Anordnungen und Vorgänge, in denen die Bilder 51 und 53 kombiniert werden. Die Bilder 52 und 53 werden auch durch ähnliche Vorgänge wie die zum Kombinieren der Bilder 51 und 53 kombiniert, sodass das Bild 50 aus den drei Bildern 51 bis 53 erzeugt werden kann.
3 ist ein Blockdiagramm, das eine funktionelle Anordnung der Bildkombiniervorrichtung 10 gemäß dieser Ausführungsform zeigt. Wie in 3 gezeigt, enthält die Bildkombiniervorrichtung 10 eine Erlangungseinheit 21, eine Kameraparameter-Speichereinheit 22, eine Kombiniereinheit 23, eine Anzeigesteuereinheit 24, eine Abgleicheinheit 25, eine Kameraparameter-Berechnungseinheit 26 und eine Justiereinheit 27. Jeder dieser Bestandteile kann umgesetzt sein durch einen Prozessor, der ein vorgegebenes Programm unter Verwendung von Ressourcen, wie etwa einem Speicher, ausführt, oder kann als zweckbestimmte Hardware umgesetzt sein.
Die Erlangungseinheit 21 erlangt die durch die Kameras 12 und 14 erhaltenen Bilder 51 und 53. Die Bilder 51 und 53 weisen deckende Bereiche auf, die durch ein Aufnehmen eines selben Bereichs erhalten sind.
Die Kameraparameter-Speichereinheit 22 enthält einen Kameraparameter 71 (einen ersten Kameraparameter). Der Kameraparameter 71, der Kalibrierungsinformationen darstellt, gibt die relative Beziehung von Position und Orientierung (Stellung) zwischen den Kameras 12 und 14 an. Der Kameraparameter 71 kann die Position und Orientierung der Kamera 12 und die Position und Orientierung der Kamera 14 einzeln angeben oder kann ihre relative Beziehung angeben. Der Kameraparameter 71 wird im Anfangszustand voreingestellt.
Die Kombiniereinheit 23 erzeugt das kombinierte Bild 50 durch ein Kombinieren der Bilder 51 und 53 unter Verwendung des Kameraparameters 71. Genauer unterwirft die Kombiniereinheit 23 mindestens eines der Bilder 51 und 53 einer Drehungs- oder Umformungsbearbeitung auf Grundlage des Kameraparameters 71 und verknüpft die beiden bearbeiteten Bilder miteinander, sodass ihre deckenden Bereiche ausgerichtet werden, und erzeugt dadurch das kombinierte Bild 50. Die Kombiniereinheit 23 kann Bereiche um die Grenze der Verknüpfung bearbeiten, wie etwa durch ein Berechnen eines gewichteten Mittelwerts von Pixelwerten der beiden Bilder.
Die Anzeigesteuereinheit 24 zeigt das kombinierte Bild 50 auf dem digitalen Spiegel 40 an, der als eine Anzeigevorrichtung dient.
Die Abgleicheinheit 25 führt einen Merkmalspunktabgleich zwischen den deckenden Bereichen in den Bildern 51 und 53 durch.
Genauer extrahiert die Abgleicheinheit 25 Merkmalspunkte, die in den deckenden Bereichen in den Bildern 51 und 53 enthalten sind. Der Vorgang des Extrahierens der Merkmalspunkte kann bekannte Bilderkennungstechniken verwenden und kann ein Entdecken in jedem Bild eines Pixels oder einer Pixelgruppe mit einer anderen Farbe oder Form als der Farbe oder Form der umgebenden Pixel umfassen.
Die Abgleicheinheit 25 bestimmt dann Paare von Merkmalspunkten, die aus Merkmalspunkten im Bild 51 und Merkmalspunkten im Bild 53 über dasselbe abgebildete Objekt bestehen. Genauer vergleicht die Abgleicheinheit 25 Merkmalsbeträge (wie etwa Farben oder Formen) der Merkmalspunkte in dem Bild 51 und der Merkmalspunkte in dem Bild 53, um Paare von Merkmalspunkten aus den jeweiligen Bildern zu bestimmen, die aus Merkmalspunkten mit ähnlichen Merkmalsbeträgen bestehen.
Die Kameraparameter-Berechnungseinheit 26 verwendet das Ergebnis des Merkmalspunktabgleichs durch die Abgleicheinheit 25 zum Berechnen eines Kameraparameters 72 (eines zweiten Kameraparameters), der die relative Beziehung von Position und Orientierung zwischen den Bildern 51 und 53 angibt.
Die Justiereinheit 27 verwendet den berechneten Kameraparameter 72 zum Durchführen eines Justiervorgangs zum Verringern der Differenz zwischen der durch den Kameraparameter 71 angegebenen relativen Beziehung, der in der Kameraparameter-Speichereinheit 22 enthalten ist, und der relativen Beziehung der tatsächlichen Position und Orientierung zwischen den Kameras 12 und 14. Genauer aktualisiert die Justiereinheit 27 den Kameraparameter 71 unter Verwendung des Kameraparameters 72.
4 ist ein Flussdiagramm, das einen Arbeitsablauf in der Bildkombiniervorrichtung 10 gemäß dieser Ausführungsform zeigt. Der in 4 gezeigte Ablauf wird beispielsweise für jeden Frame wiederholt.
Zuerst erlangt die Erlangungseinheit 21 die Bilder 51 und 53 (S11). 5 ist eine Darstellung, die ein Beispiel der Bilder 51 und 53 zeigt. Wie in 5 gezeigt, weisen die Bilder 51 und 53 deckende Bereiche 61 und 62 auf, die durch ein Aufnehmen eines selben Bereichs erhalten sind.
Die Erlangungseinheit 21 kann die erlangten Bilder 51 und 53 bearbeiten, wie etwa durch ein Korrigieren von Objektivverzerrungen und ein Justieren der Größen und Winkel, und die bearbeiteten Bilder 51 und 53 an die Kombiniereinheit 23 und die Abgleicheinheit 25 ausgeben.
Falls eine Kalibrierung durchzuführen ist (Ja bei S12) führt die Abgleicheinheit 25 einen Merkmalspunktabgleich zwischen den deckenden Bereichen in den Bildern 51 und 53 durch (S13). Die Kalibrierung kann als Reaktion auf einen beliebigen Auslöser durchgeführt werden, wie etwa eine Betätigung eines Benutzers, oder kann bei jedem vorgegebenen Zyklus (Zeitintervall) durchgeführt werden oder kann Frame für Frame durchgeführt werden.
6 ist ein Diagramm zum Beschreiben des Abgleichverfahrens. Wie in 6 gezeigt, extrahiert die Abgleicheinheit 25 in dem deckenden Bereich 61 in dem Bild 51 enthaltene Merkmalspunkte 63 und in dem deckenden Bereich 62 in dem Bild 53 enthaltene Merkmalspunkte 64. Die Abgleicheinheit 25 bestimmt Paare von Merkmalspunkten 65, die aus den Merkmalspunkten 63 und 64 mit ähnlichen Merkmalen bestehen.
Die Kameraparameter-Berechnungseinheit 26 verwendet dann das Ergebnis des Merkmalspunktabgleichs durch die Abgleicheinheit 25 zum Berechnen des Kameraparameters 72 (S14). Genauer verwendet die Kameraparameter-Berechnungseinheit 26 eine Bewertungsfunktion, um aus den Bildern 51 und 53 und einem Kameraparameter einen Bewertungswert zu berechnen, der die Fehlanpassung zwischen der durch den Kameraparameter angegebenen relativen Beziehung und der relativen Beziehung der tatsächlichen Position und Orientierung zwischen den Kameras 12 und 14 angibt. Unter Verwendung dieser Bewertungsfunktion berechnet die Kameraparameter-Berechnungseinheit 26 als den Kameraparameter 72 einen Kameraparameter, der die Fehlanpassung zwischen der durch den Kameraparameter angegebenen relativen Beziehung und der relativen Beziehung der tatsächlichen Position und Orientierung zwischen den Kameras 12 und 14 minimiert. Insbesondere gibt der Bewertungswert die Abstände (die Fehlanpassung) in einem dreidimensionalen Raum zwischen den Paaren von Merkmalspunkten an, die sich aus dem Merkmalspunktabgleich zwischen den Bildern 51 und 53 ergeben, und die in den dreidimensionalen Raum projiziert werden.
Dieser Vorgang ist nachstehend genau beschrieben. Die Kameraparameter-Berechnungseinheit 26 verwendet die Fehlerbewertungsfunktion zum Bestimmen aus jedem der Paare von Merkmalspunkten in den beiden Bildern einen Fehler (einen Bewertungswert), der das Ausmaß der Fehlanpassung zwischen der durch einen Kameraparameter angegebenen relativen Beziehung und der relativen Beziehung der tatsächlichen Position und Orientierung zwischen den Kameras angibt. Die Kameraparameter-Berechnungseinheit 26 verwendet auch den „Gesamtfehler“ zwischen den Bildern, der der Durchschnitt der für mehrere Paare von Merkmalspunkten berechneten Fehler ist.
7 und 8 sind Diagramme, in denen Paare von Merkmalspunkten in den Bildern unter Verwendung des Kameraparameters in einen dreidimensionalen Raum projiziert sind. 7 zeigt den Fall, in dem die durch den Kameraparameter angegebenen Positionen und Orientierungen mit den tatsächlichen Positionen und Orientierungen der Kameras übereinstimmen, während 8 den Fall zeigt, in dem die durch den Kameraparameter angegebenen Positionen und Orientierungen nicht mit den tatsächlichen Positionen und Orientierungen der Kameras übereinstimmen,
Wie in 7 gezeigt, schneiden sich, wenn die durch den Kameraparameter angegebenen Positionen und Orientierungen mit den tatsächlichen Positionen und Orientierungen der Kameras übereinstimmen, die Gerade, die eine Kameraposition C0 und einen Merkmalspunkt S0 verbindet, und die Gerade, die eine Kameraposition C1 und einen Merkmalspunkt S1 verbindet, an einem Punkt F im dreidimensionalen Raum. Hier ist die Kameraposition C0 die Position der Kamera 12, und der Merkmalspunkt S0 ist der Merkmalspunkt im Bild 51. Die Kameraposition C1 ist die Position der Kamera 14, und der Merkmalspunkt S1 ist der Merkmalspunkt im Bild 53. Die Merkmalspunkte S0 und S1 bilden die Paare von Merkmalspunkten.
Dagegen schneiden sich, wie in 8 gezeigt, wenn die durch den Kameraparameter angegebenen Positionen und Orientierungen nicht mit den tatsächlichen Positionen und Orientierungen der Kameras übereinstimmen, die Gerade, die die Kameraposition C0 und den Merkmalspunkt S0 verbindet, und die Gerade, die die Kameraposition C1 und den Merkmalspunkt S1 verbindet, im dreidimensionalen Raum nicht und weisen eine verdrehte Positionsbeziehung auf.
Hier berechnet die Kameraparameter-Berechnungseinheit 26 einen Punkt F0 auf der Geraden, die die Kameraposition C0 und den Merkmalspunkt S0 verbindet, und einen Punkt F1 auf der Geraden, die die Kameraposition C1 und den Merkmalspunkt S1 verbindet, so, dass der Punkt F0 unter Punkten auf der Geraden, die die Kameraposition C0 und den Merkmalspunkt S0 verbindet, ein Punkt ist, der der Geraden, die die Kameraposition C1 und den Merkmalspunkt S1 verbindet, am nächsten liegt, und dass der Punkt F1 unter Punkten F1 auf der Geraden, die die Kameraposition C1 und den Merkmalspunkt S1 verbindet, ein Punkt ist, der der Geraden, die die Kameraposition C0 und den Merkmalspunkt S0 verbindet, am nächsten liegt. Je größer die Fehlanpassung zwischen den durch den Kameraparameter angegebenen Positionen und Orientierungen und den tatsächlichen Positionen und Orientierungen der Kameras ist, desto breiter ist der Winkel θ zwischen einer Strecke OF0 und einer Strecke OF1. Die Strecke OF0 ist eine Strecke, die den Ursprung O und den Punkt F0 verbindet, und die Strecke OF1 ist eine Strecke, die den Ursprung O und den Punkt F1 verbindet. Wenn die durch den Kameraparameter angegebenen Positionen und Orientierungen mit den tatsächlichen Positionen und Orientierungen der Kameras übereinstimmen, ist θ gleich 0. Mit dieser Eigenschaft des Winkels θ kann der folgende Ausdruck (Ausdruck 1) als die Fehlerbewertungsfunktion verwendet werden. $(1 - (| OF0 | \cdot | OF1 | \cdot cos θ) / (max (| OF0 |, | OF1 |) 2)) \times α$
Ein durch die Fehlerbewertungsfunktion angegebener kleinerer Wert bedeutet einen kleineren Fehler. α ist ein Koeffizient zum Verhindern, dass der sich aus der Fehlerbewertungsfunktion ergebende Wert zu klein wird. Hier bezeichnet max(|OF0|,|OF1|) die Länge der längeren der Strecken OF0 und OF1. (|OF0|·|OF1| ·cosθ) / (max(|OF0|,|OF1|)^2) umfasst ein Bestimmen des inneren Produkts durch ein Skalieren der Längen beider Strecke derart, dass die längere der Strecken OF0 und OF1 zu 1 wird.
Die Kameraparameter-Berechnungseinheit 26 berechnet zuerst den Fehler im Anfangszustand unter Verwendung eines anfänglichen Kameraparameters (einer Kameramatrix) und der Fehlerbewertungsfunktion. Hier ist beispielsweise der Kameraparameter der in der Kameraparameter-Speichereinheit 22 enthaltene Kameraparameter 71.
Die Kameraparameter-Berechnungseinheit 26 modifiziert dann die Position und Orientierung des anfänglichen Kameraparameters leicht, um Fehler unter Verwendung modifizierter Kameraparameter und der Fehlerbewertungsfunktion zu berechnen. Zum Beispiel werden die folgenden 12 Modifikationen am anfänglichen Kameraparameter vorgenommen.

[0] Drehen um Klein_Winkel um die x-Achse
[1] Drehen um -Klein_Winkel um die x-Achse
[2] Drehen um Klein_Winkel um die y-Achse
[3] Drehen um -Klein_Winkel um die y-Achse
[4] Drehen um Klein_Winkel um die z-Achse
[5] Drehen um -Klein_Winkel um die z-Achse
[6] Verschieben um Klein_Verschiebung in der x-Achsenrichtung
[7] Verschieben um -Klein_Verschiebung in der x-Achsenrichtung
[8] Verschieben um Klein_Verschiebung in der y-Achsenrichtung
[9] Verschieben um -Klein_Verschiebung in der y-Achsenrichtung
[10] Verschieben um Klein_Verschiebung in der z-Achsenrichtung
[11] Verschieben um -Klein_Verschiebung in der z-Achsenrichtung

Hier bezeichnet Klein_Winkel den Drehwinkel bezüglich der Achse, und Klein_Verschiebung bezeichnet den Verschiebungsbetrag der Position. Demgemäß werden jeweilige Fehler für die 12 Modifikationen berechnet.
An dem modifizierten Kameraparameter, der den kleinsten Fehler ergibt, nimmt die Kameraparameter-Berechnungseinheit 26 wieder die obigen 12 Modifikationen vor und wählt aus den modifizierten Kameraparametern den Kameraparameter aus, der den kleinsten Fehler ergibt. Die Kameraparameter-Berechnungseinheit 26 wiederholt diesen Vorgang, bis der Fehler kleiner wird als ein vorgegebener Schwellwert; an diesem Punkt gibt die Kameraparameter-Berechnungseinheit 26 den entsprechenden Kameraparameter als den Kameraparameter 72 aus.
Wenn keiner der modifizierten Parameter einen kleineren Fehler als den durch den unmodifizierten Kameraparameter erbrachten Fehler ergibt, kann die Kameraparameter-Berechnungseinheit 26 den Vorgang wiederholen, indem sie die Werte von Klein_Winkel und Klein_Verschiebung halbiert, die verwendet werden.
Mit dem obigen Vorgang kann die Kameraparameter-Berechnungseinheit 26 den Kameraparameter 72 berechnen, der es ermöglicht, dass die Bilder 51 und 53 ohne Fehlausrichtung kombiniert werden, wie in 9 gezeigt.
Die Justiereinheit 27 aktualisiert den in der Kameraparameter-Speichereinheit 22 enthaltenen Kameraparameter 71 auf den Kameraparameter 72 (S15).
Die Kombiniereinheit 23 erzeugt das kombinierte Bild 50 durch ein Kombinieren der Bilder 51 und 53 unter Verwendung des aktualisierten Kameraparameters 71 (S16). Die Anzeigesteuereinheit 24 zeigt das erzeugte kombinierte Bild 50 auf dem digitalen Spiegel 40 an (S17).
Wenn keine Kalibrierung durchzuführen ist (Nein bei S12), werden die Schritte S13 bis S15 übersprungen, und das kombinierte Bild 50 wird erzeugt (S16).
Wie oben kann die Bildkombiniervorrichtung 10 die Fehlausrichtung zwischen den Kameras durch einen wiederholten Vorgang fortschreitend korrigieren, in dem sie beispielsweise die Übereinstimmungsinformationen über die natürlichen Merkmalspunkte in den deckenden Bereichen in den Bildern verwendet, die erhalten sind, während das Fahrzeug 1 fährt. Die Bildkombiniervorrichtung 10 kann somit den Kameraparameter 71 zur Verwendung beim Bildkombinieren auf einen korrekten Wert automatisch kalibrieren und dadurch ein kombiniertes Bild ohne Fehlausrichtung erzeugen.
Daher besteht bei einer Positions- oder Orientierungs-Fehlausrichtung zwischen den Kameras keine Notwendigkeit, das Fahrzeug beispielsweise in ein Werk mit einem speziellen Kalibrator zur Neukalibrierung mit dem Kalibrator zu senden.
Außerdem verwendet die Bildkombiniervorrichtung 10 die Übereinstimmungsinformationen über die deckenden Bereiche in den Bildern und erfordert daher keine komplizierte Bildbearbeitung. Dies kann Computerkosten reduzieren.
Eine Abwandlung der Bildkombiniervorrichtung 10 ist nachstehend beschrieben. In der obigen Ausführungsform berechnet die Bildkombiniervorrichtung 10 den Kameraparameter 72 unter Verwendung von Paaren übereinstimmender Merkmalspunkte des Bildes zu einem bestimmten Zeitpunkt. In der folgenden Abwandlung berechnet eine Bildkombiniervorrichtung 10A den Kameraparameter 72 unter Verwendung von Paaren übereinstimmender Merkmalspunkte zu mehreren Zeitpunkten, einschließlich vergangener Zeitpunkte.
10 ist ein Blockdiagramm, das eine Anordnung der Bildkombiniervorrichtung 10A gemäß einer Abwandlung 1 an der obigen Ausführungsform zeigt. Zusätzlich zu den in 3 gezeigten Bestandteilen der Bildkombiniervorrichtung 10 enthält die in 10 gezeigte Bildkombiniervorrichtung 10A eine Übereinstimmungsinformations-Speichereinheit 28. Weiter funktioniert eine Kameraparameter-Berechnungseinheit 26A anders als die Kameraparameter-Berechnungseinheit 26.
Die Erlangungseinheit 21 erlangt die Bilder 51 und 53 zu mehreren Zeitpunkten. Für jeden Zeitpunkt führt die Abgleicheinheit 25 einen Merkmalspunktabgleich zwischen den Bildern 51 und 53 durch. Die Übereinstimmungsinformations-Speichereinheit 28 speichert mehrere Paare übereinstimmender Merkmalspunkte, die sich aus dem Merkmalspunktabgleich für die vielfachen Zeitpunkte ergeben, berechnet durch die Abgleicheinheit 25. Die Kameraparameter-Berechnungseinheit 26A benutzt die Paare übereinstimmender Merkmalspunkte zu den vielfachen Zeitpunkten zum Berechnen des Kameraparameters 72.
Genauer speichert die Übereinstimmungsinformations-Speichereinheit 28 unter den Ergebnissen des Merkmalspunktabgleichs für die vielfachen Zeitpunkte Ergebnisse mit höheren Genauigkeiten als ein Referenzwert. Noch genauer speichert die Übereinstimmungsinformations-Speichereinheit 28 nur Paare von Merkmalspunkten, die kleinere Fehler ergeben, wenn sie mit dem unter Verwendung der Paare übereinstimmender Merkmalspunkte zu den vielfachen Zeitpunkten berechneten Kameraparameter 72 in den dreidimensionalen Raum projiziert werden.
Die Justiereinheit 27 führt den Justiervorgang unter Verwendung des berechneten Kameraparameters 72 durch.
11 ist ein Flussdiagramm, das einen Ablauf des durch die Bildkombiniervorrichtung 10A gemäß dieser Abwandlung durchgeführten Kalibrierverfahrens zeigt. Zuerst erlangt die Erlangungseinheit 21 die Bilder 51 und 53 zu mehreren Zeitpunkten (S21). Dann führt die Abgleicheinheit 25 einen Merkmalspunktabgleich zwischen den erlangten Bildern 51 und 53 durch (S22). Die Kameraparameter-Berechnungseinheit 26A berechnet den Kameraparameter 72 aus Paaren übereinstimmender Merkmalspunkte zu den vielfachen Zeitpunkten (S23).
Einzelheiten der Schritte S22 und S23 sind ähnlich den Einzelheiten der in 4 gezeigten Schritte S13 und S14. Unter den erlangten Paaren übereinstimmender Merkmalspunkte werden Paare, die kleinere Fehler ergeben, wenn sie mit dem Kameraparameter 72 in den dreidimensionalen Raum projiziert werden, in der Übereinstimmungsinformations-Speichereinheit 28 gespeichert (S24). Auf diese Weise werden unter den für die vielfachen Zeitpunkte erlangten Paaren übereinstimmender Merkmalspunkten Paare mit höherer Genauigkeit in der Übereinstimmungsinformations-Speichereinheit 28 gespeichert.
Die Justiereinheit 27 aktualisiert den in der Kameraparameter-Speichereinheit 22 enthaltenen Kameraparameter 71 auf den Kameraparameter 72 (S25).
Wie oben kann die Bildkombiniervorrichtung 10A die Genauigkeit des Kameraparameters unter Verwendung von Paaren übereinstimmender Merkmalspunkte zu mehreren Zeitpunkten erhöhen. Außerdem kann die Bildkombiniervorrichtung 10A die Genauigkeit des Kameraparameters unter Verwendung von Paaren übereinstimmender Merkmalspunkte mit höheren Genauigkeiten erhöhen.
Nun ist eine Bildkombiniervorrichtung 10B gemäß einer Abwandlung 2 beschrieben. Statt den Kameraparameter 71 zur Verwendung beim Kombinieren zu aktualisieren, justiert die Bildkombiniervorrichtung 10B die Positionen und Stellungen der Kameras so, dass sie mit dem Kameraparameter 71 übereinstimmen.
12 ist ein Blockdiagramm, das eine Anordnung der Bildkombiniervorrichtung 10B gemäß einer Abwandlung 2 an der obigen Ausführungsform zeigt. Verglichen mit der in 3 gezeigten Bildkombiniervorrichtung 10, weist die in 12 gezeigte Bildkombiniervorrichtung 10B eine Übereinstimmungsinformations-Speichereinheit 27B auf, die anders funktioniert als die Justiereinheit 27.
Auf Grundlage der Differenz zwischen den Kameraparametern 71 und 72 justiert die Justiereinheit 27B die Position und Orientierung mindestens einer der Kameras 12 und 14 so, dass sich die relative Beziehung von Position und Orientierung zwischen den Kameras 12 und 14 der durch den Kameraparameter 71 angegebenen relativen Beziehung nähert. Die Kombiniereinheit 23 verwendet den Kameraparameter 71 zum Kombinieren der durch die justierten Kameras 12 und 14 erhaltenen Bilder 51 und 53.
13 ist ein Flussdiagramm, das einen Arbeitsablauf in der Bildkombiniervorrichtung 10B zeigt. Verglichen mit dem in 4 gezeigten Ablauf, enthält der in 13 gezeigte Ablauf die Schritte S31 und S32 anstelle des Schritts S15.
Nachdem der Kameraparameter 72 berechnet wurde, führt die Justiereinheit 27B eine Justierung auf Grundlage der Differenz zwischen dem in der Kameraparameter-Speichereinheit 22 enthaltenen Kameraparameter 71 und dem berechneten Kameraparameter 72 durch. Das heißt, die Justiereinheit 27B justiert die Position und Orientierung mindestens einer der Kameras 12 und 14 so, dass sich die relative Beziehung von Position und Orientierung zwischen den Kameras 12 und 14 der durch den Kameraparameter 71 angegebenen relativen Beziehung nähert (S31). Mit anderen Worten, die Justiereinheit 27B nimmt an, dass die durch den Kameraparameter 72 angegebenen Positionen und Stellungen die aktuellen Positionen und Orientierungen der Kameras 12 und 14 sind, und ändert die Positionen und Orientierungen der Kameras 12 und 14 um die Beträge, die der Differenz zwischen den Kameraparametern 71 und 72 entsprechen.
Die Erlangungseinheit 21 erlangt dann die durch die justierten Kameras 12 und 14 erhaltenen Bilder 51 und 53 (S32). Die Kombiniereinheit 23 kombiniert die erlangten Bilder 51 und 53 (S16).
Wie oben kann die Bildkombiniervorrichtung 10B die Fehlanpassung zwischen den durch den Kameraparameter 71 angegebenen Positionen und Orientierungen zur Verwendung beim Kombinieren und den tatsächlichen Kamerapositionen und -orientierungen korrigieren. Diese Modifikation kann auch auf die Abwandlung 1 angewendet werden.
Während oben die Bildkombiniervorrichtungen gemäß der Ausführungsform beschrieben sind, ist diese Offenbarung nicht auf die obige Ausführungsform beschränkt.
Zum Beispiel speichert in der obigen Abwandlung 1 die Bildkombiniervorrichtung 10A mehrere Paare übereinstimmender Merkmalspunkte zu mehreren Zeitpunkten und berechnet den Kameraparameter 72 unter Verwendung der vielfachen Paare übereinstimmender Merkmalspunkte. Alternativ kann der Kameraparameter 72 für jeden Zeitpunkt unter Verwendung des Ergebnisses des Merkmalspunktabgleichs für den Zeitpunkt berechnet werden. Die für die jeweiligen Zeitpunkte berechneten vielfachen Kameraparameter 72 können dann gespeichert und zum Durchführen des Justiervorgangs verwendet werden.
Zum Beispiel kann die Bildkombiniervorrichtung 10A unter den für die vielfachen Zeitpunkte berechneten Kameraparametern 72 Kameraparameter 72 mit höheren Genauigkeiten als ein Referenzwert verwenden, um den Justiervorgang (das Aktualisieren des Kameraparameters 72) durchzuführen. Die Genauigkeit bezieht sich hier beispielsweise auf den durch die Fehlerbewertungsfunktion angegebenen Fehler jedes berechneten Kameraparameters 72; der Fehler wird durch den oben beschriebenen Vorgang des Berechnens des Kameraparameters 72 berechnet. Statt alle berechneten Kameraparameter 72 zu speichern, braucht die Bildkombiniervorrichtung 10A unter den berechneten Kameraparametern 72 nur Kameraparameter 72 zu speichern, die höhere Genauigkeiten aufweisen als der Referenzwert (die kleinere Fehler ergeben als der Referenzwert).
Die Bildkombiniervorrichtung 10A verwendet dann die vielfachen Kameraparameter 72 für die vielfachen Zeitpunkte zum Bestimmen des Kameraparameters zur Verwendung beim Aktualisieren. Zum Beispiel wählt die Bildkombiniervorrichtung 10A den Kameraparameter 72 mit der höchsten Genauigkeit unter den Kameraparametern 72 für die vielfachen Zeitpunkte aus. Die Bildkombiniervorrichtung 10A aktualisiert den in der Kameraparameter-Speichereinheit 22 enthaltenen Kameraparameter 71 auf den ausgewählten Kameraparameter 72.
Während die obige Beschreibung die für digitale Fahrzeugspiegel verwendeten Bildkombiniervorrichtungen als Beispiel nimmt, sind die Techniken in dieser Offenbarung anwendbar auf das Kombinieren von zwei oder mehr Bildern mit deckenden Bereichen.
Es ist anzumerken, dass die in jeder der Bildkombiniervorrichtungen gemäß den obigen Ausführungsformen enthaltenen Bearbeitungseinheiten typischerweise in einer hochintegrierten Schaltung (LSI) ausgeführt sind, die ein integrierter Schaltkreis ist. Diese können getrennt integriert sein, oder ein Teil oder alle davon können in einem einzigen Chip integriert sein.
Die Technik der integrierten Schaltung ist nicht auf die LSI-Schaltung beschränkt und kann auch als eine zweckbestimmte Schaltung oder ein Universalprozessor umgesetzt sein. Es ist auch möglich, ein Field Programmable Gate Array (FPGA) zu verwenden, das nach dem Herstellen der LSI-Schaltung programmiert werden kann, oder einen umprogrammierbaren Prozessor, in dem Verbindung und Festlegung von Schaltkreiszellen in LSI-Schaltung neu angeordnet werden können.
In den oben beschriebenen Ausführungsformen kann jeder der Bestandteile in einer zweckbestimmten Hardware umgesetzt sein oder kann durch ein Ausführen eines für den Bestandteil geeigneten Softwareprogramms umgesetzt sein. Jeder der Bestandteile kann umgesetzt werden, wenn eine Programmausführungseinheit, wie etwa eine Zentraleinheit (CPU) oder ein Prozessor, ein Softwareprogramm aus einem Aufzeichnungsmedium, wie etwa einer Festplatte oder einem Halbleiterspeicher, ausliest, und das ausgelesene Softwareprogramm ausführt.
Weiter kann die vorliegende Offenbarung als ein Verfahren zum Kombinieren von Bildern umgesetzt sein, das durch die oben beschriebene Bildkombiniervorrichtung ausgeführt wird.
Das Aufteilen der Funktionsblöcke in jedem der Blockdiagramme ist ein Beispiel. Es ist möglich, dass eine Vielzahl von Funktionsblöcken in einem einzigen Funktionsblock umgesetzt sind, dass ein einziger Funktionsblock in eine Vielzahl von Funktionsblöcken aufgeteilt ist, und dass eine durch einen Funktionsblock ausgeführte Funktion teilweise durch einen anderen Funktionsblock ausgeführt wird. Weiter können ähnliche Funktionen einer Vielzahl von Funktionsblöcken durch eine einzige Hardware oder Software parallel oder im Zeitmultiplex ausgeführt werden.
Eine Reihenfolge des Durchführens der Schritte in jedem der Flussdiagramme ist ein Beispiel zum genauen Erläutern der vorliegenden Offenbarung. Die Schritte können in anderen Reihenfolgen durchgeführt werden. Unterschiedliche Schritte unter den Schritten können gleichzeitig durchgeführt werden, mit anderen Worten, parallel.
Obwohl die Bildkombiniervorrichtung gemäß einem oder mehreren Aspekten auf Grundlage der obigen Ausführungsformen beschrieben sind, ist die vorliegenden Offenbarung nicht auf die Ausführungsformen beschränkt. Fachleute werden leicht einsehen, dass verschiedene Modifikationen und Kombinationen der Bestandteile und Funktionen in den Ausführungsformen möglich sind, ohne wesentlich von den neuartigen Lehren und Vorteilen der vorliegenden Offenbarung abzuweichen.
Gewerbliche Anwendbarkeit
Diese Offenbarung ist anwendbar auf Bildkombiniervorrichtungen, beispielsweise eine Bildkombiniervorrichtung, die Videos kombiniert, die durch an einem Fahrzeug montierte Kameras aufgenommen sind, und die das kombinierte Video auf einem digitalen Spiegel anzeigt.
Bezugszeichenliste

1: Fahrzeug
10, 10A, 10B: Bildkombiniervorrichtung
12, 13, 14: Kamera
21: Erlangungseinheit
22: Kameraparameter-Speichereinheit
23: Kombiniereinheit
24: Anzeigesteuereinheit
25: Abgleicheinheit
26, 26A: Kameraparameter-Berechnungseinheit
27, 27B: Justiereinheit
28: Übereinstimmungsinformations-Speichereinheit
40: digitaler Spiegel
50, 51, 52, 53: Bild
61, 62: deckender Bereich
63, 64: Merkmalspunkt
65 Paar: von Merkmalspunkten
71, 72: Kameraparameter

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 201670814 [0002]
JP 3968375 [0002]

Claims

Bildkombiniervorrichtung, umfassend: eine Erlangungseinheit, die ein erstes Bild und ein zweites Bild erlangt, die durch eine erste Kamera bzw. eine zweite Kamera erhalten sind, wobei das erste Bild und das zweite Bild deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs; eine Kombiniereinheit, die das erste Bild und das zweite Bild unter Verwendung eines ersten Kameraparameters kombiniert, der eine erste relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt; eine Abgleicheinheit, die einen Merkmalspunktabgleich zwischen den deckenden Bereichen im ersten Bild und im zweiten Bild durchführt; eine Kameraparameter-Berechnungseinheit, die unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs einen zweiten Kameraparameter berechnet, der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten Bild und dem zweiten Bild angibt; und eine Justiereinheit, die unter Verwendung des zweiten Kameraparameters einen Justiervorgang zum Verringern einer Differenz zwischen der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera durchführt.
Bildkombiniervorrichtung nach Anspruch 1, wobei unter Verwendung einer Bewertungsfunktion zum Berechnen aus dem ersten Bild, dem zweiten Bild und einem Kameraparameter, der eine relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt, eines Bewertungswerts, der eine Fehlanpassung zwischen der durch den Kameraparameter angegebenen relativen Beziehung und der relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt, die Kameraparameter-Berechnungseinheit als den zweiten Kameraparameter den Kameraparameter bestimmt, der die durch den Bewertungswert angegebene Fehlanpassung minimiert.
Bildkombiniervorrichtung nach Anspruch 2, wobei der Bewertungswert Abstände in einem dreidimensionalen Raum zwischen Paaren von Merkmalspunkten angibt, die in den dreidimensionalen Raum projiziert sind, wobei sich die Paare von Merkmalspunkten aus dem Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild ergeben.
Bildkombiniervorrichtung nach einem beliebigen der Ansprüche 1 bis 3, wobei die Justiereinheit den ersten Kameraparameter unter Verwendung des zweiten Kameraparameters aktualisiert, und die Kombiniereinheit das erste und das zweite Bild unter Verwendung des aktualisierten ersten Kameraparameters kombiniert.
Bildkombiniervorrichtung nach einem beliebigen der Ansprüche 1 bis 3, wobei die Justiereinheit auf Grundlage einer Differenz zwischen dem ersten Kameraparameter und dem zweiten Kameraparameter eine Position und eine Orientierung mindestens einer aus der ersten Kamera und der zweiten Kamera so justiert, dass sich die relative Beziehung der tatsächlichen Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung nähert, und dass die Kombiniereinheit unter Verwendung des ersten Kameraparameters das erste und das zweite Bild kombiniert, die durch die erste Kamera und die zweite Kamera nach der Justierung erhalten sind.
Bildkombiniervorrichtung nach einem beliebigen der Ansprüche 1 bis 5, wobei die Erlangungseinheit das erste Bild und das zweite Bild zu jedem aus einer Vielzahl von Zeitpunkten erlangt, die Abgleicheinheit den Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild für jeden aus der Vielzahl von Zeitpunkten durchführt, die Kameraparameter-Berechnungseinheit den zweiten Kameraparameter unter Verwendung von Ergebnissen des Merkmalspunktabgleichs für jeden aus der Vielzahl von Zeitpunkten berechnet, und die Justiereinheit den Justiervorgang unter Verwendung des berechneten zweiten Kameraparameters durchführt.
Bildkombiniervorrichtung nach Anspruch 6, umfassend eine Übereinstimmungsinformations-Speichereinheit, die Ergebnisse speichert, die jeweils eine höhere Genauigkeit unter Ergebnissen aufweisen als ein Referenzwert, wobei die Ergebnisse in den Ergebnissen des Merkmalspunktabgleichs enthalten sind.
Bildkombiniervorrichtung nach einem beliebigen der Ansprüche 1 bis 5, wobei die Erlangungseinheit das erste Bild und das zweite Bild zu jedem aus einer Vielzahl von Zeitpunkten erlangt, die Abgleicheinheit den Merkmalspunktabgleich zwischen dem ersten Bild und dem zweiten Bild für jeden aus der Vielzahl von Zeitpunkten durchführt, die Kameraparameter-Berechnungseinheit den zweiten Kameraparameter unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs für jeden aus der Vielzahl von Zeitpunkten berechnet, und die Justiereinheit den Justiervorgang unter Verwendung eines der zweiten Kameraparameter durchführt, von denen jeder der für einen entsprechenden aus der Vielzahl von Zeitpunkten berechnete zweite Kameraparameter ist.
Bildkombiniervorrichtung nach Anspruch 8, wobei die Justiereinheit den Justiervorgang unter Verwendung eines der zweiten Kameraparameter mit einer höheren Genauigkeit als ein Referenzwert unter der Vielzahl der berechneten zweiten Kameraparameter durchführt.
Verfahren zum Kombinieren von Bildern, umfassend: Erlangen eines ersten Bildes und eines zweiten Bildes, die durch eine erste Kamera bzw. eine zweite Kamera erhalten sind, wobei das erste Bild und das zweite Bild deckende Bereiche aufweisen, erhalten durch ein Aufnehmen desselben Bereichs; Kombinieren des ersten Bildes und des zweiten Bildes unter Verwendung eines ersten Kameraparameters, der eine erste relative Beziehung von Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera angibt; Durchführen eines Merkmalspunktabgleichs zwischen den deckenden Bereichen im ersten Bild und im zweiten Bild; Berechnen, unter Verwendung eines Ergebnisses des Merkmalspunktabgleichs, eines zweiten Kameraparameters, der eine zweite relative Beziehung von Position und Orientierung zwischen dem ersten Bild und dem zweiten Bild angibt; und Durchführen, unter Verwendung des zweiten Kameraparameters, eines Justiervorgangs zum Verringern einer Differenz zwischen der durch den ersten Kameraparameter angegebenen ersten relativen Beziehung und einer relativen Beziehung von tatsächlicher Position und Orientierung zwischen der ersten Kamera und der zweiten Kamera.
Programm, das bewirkt, dass ein Computer das Verfahren zum Kombinieren von Bildern nach Anspruch 10 durchführt.