DE112017005228T5

DE112017005228T5 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Info

Publication number: DE112017005228T5
Application number: DE112017005228.9T
Authority: DE
Inventors: Kendai FURUKAWA; Junichi Tanaka; Yuichi Araki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-10-13
Filing date: 2017-09-29
Publication date: 2019-07-11
Also published as: WO2018070266A1; US11328379B2; CN109791706B; EP3528495A4; JP6813027B2; JPWO2018070266A1; EP3528495A1; US20190206014A1; CN109791706A

Abstract

Diese Offenbarung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren, die die Auswahl einer Perspektive eines Tiefenbilds ermöglichen, das zur Erzeugung eines 3D-Modells geeignet ist.
Eine Perspektivenbestimmungseinheit bestimmt, dass eine Kandidatenperspektive eine Perspektive eines Tiefenbilds eines 3D-Modells basierend auf 3D-Modellen sein soll, die von Kandidatenperspektiven auf einen Bildschirm projiziert werden. Diese Offenbarung kann beispielsweise auf eine Codierungsvorrichtung oder dergleichen angewendet werden, die ein Farbbild und ein Tiefenbild einer vorgeschriebenen Perspektive aus Farbbildern und Tiefenbildern einer Mehrzahl von Perspektiven eines 3D-Modells eines Gegenstands erzeugt und codiert.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren und insbesondere eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren, die die Auswahl von Blickpunkten von Tiefenbildern ermöglichen, die zum Erstellen eines 3D-Modells geeignet sind.
STAND DER TECHNIK
Es gibt eine Technik zum Erstellen eines 3D-Modells eines Gegenstands aus Farbbildern und Tiefenbildern, die von einer Mehrzahl von Kameras erfasst werden (siehe beispielsweise Nicht-Patent-Dokument 1).
LISTE DER ANFÜHRUNGEN
NICHT-PATENT-DOKUMENT
Nicht-Patent-Dokument 1: Saied Moezzi, Li-Cheng Tai, Philippe Gerard, „Virtual View Generation for 3D Digital Video“, University of California, San Diego
KURZFASSUNG DER ERFINDUNG
MIT DER ERFINDUNG ZU LÖSENDE PROBLEME
Die Idee, Blickpunkte, die zum Erstellen eines 3D-Modells geeignet sind, als Blickpunkte von Tiefenbildern auszuwählen, die zum Erstellen des 3D-Modells verwendet werden sollen, war jedoch nicht allgemein. Folglich gibt es Fälle, in denen die Geschwindigkeit des Erstellens eines 3D-Modells infolge des Erstellens des 3D-Modells beispielsweise unter Verwendung eines Tiefenbilds von einem redundanten Blickpunkt oder eines Tiefenbilds von einem Blickpunkt von geringer Bedeutung abnimmt.
Die vorliegende Offenbarung wurde im Hinblick auf eine derartige Situation gemacht und soll die Auswahl von Blickpunkten von Tiefenbildern ermöglichen, die zum Erstellen eines 3D-Modells geeignet sind.
LÖSUNGEN FÜR PROBLEME
Eine Bildverarbeitungsvorrichtung gemäß einem ersten Aspekt der vorliegenden Offenbarung weist eine Blickpunktbestimmungseinheit auf, die bestimmt, dass ein Kandidatenblickpunkt ein Blickpunkt eines Tiefenbilds eines 3D-Modells basierend auf dem 3D-Modell ist, das vom Kandidatenblickpunkt auf einen Bildschirm projiziert wird.
Ein Bildverarbeitungsverfahren gemäß dem ersten Aspekt der vorliegenden Offenbarung entspricht der Bildverarbeitungsvorrichtung gemäß dem ersten Aspekt der vorliegenden Offenbarung.
Im ersten Aspekt der vorliegenden Offenbarung wird bestimmt, dass ein Kandidatenblickpunkt ein Blickpunkt eines Tiefenbilds eines 3D-Modells basierend auf dem 3D-Modell ist, das vom Kandidatenblickpunkt auf einen Bildschirm projiziert wird.
Eine Bildverarbeitungsvorrichtung gemäß einem zweiten Aspekt der vorliegenden Offenbarung weist auf: eine Auswahleinheit, die ein Tiefenbild aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds auswählt; und eine Erzeugungseinheit, die das Anzeigebild unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt, ausgewählt durch die Auswahleinheit, und einem Farbbild des 3D-Modells erzeugt.
Ein Bildverarbeitungsverfahren gemäß dem zweiten Aspekt der vorliegenden Offenbarung entspricht der Bildverarbeitungsvorrichtung gemäß dem zweiten Aspekt der vorliegenden Offenbarung.
Im zweiten Aspekt der vorliegenden Offenbarung wird ein Tiefenbild aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds ausgewählt, und das Anzeigebild wird unter Verwendung des ausgewählten Tiefenbilds aus dem vorbestimmten Blickpunkt und einem Farbbild des 3D-Modells erzeugt.
Es sei zu beachten, dass es möglich ist, die Bildverarbeitungsvorrichtungen gemäß dem ersten Aspekt und dem zweiten Aspekt zu implementieren, indem Computer dazu veranlasst werden, Programme auszuführen.
Ferner ist es möglich, die von Computern auszuführenden Programme so bereitzustellen, dass die Bildverarbeitungsvorrichtungen nach dem ersten Aspekt und dem zweiten Aspekt implementiert werden, indem die Programme über Übertragungsmedien gesendet werden oder indem die Programme auf Aufzeichnungsmedien aufgezeichnet werden.
EFFEKTE DER ERFINDUNG
Gemäß dem ersten und dem zweiten Aspekt der vorliegenden Offenbarung ist es möglich, Blickpunkte von Tiefenbildern auszuwählen, die zum Erstellen eines 3D-Modells geeignet sind.
Es sei zu beachten, dass die zu erzielenden Effekte nicht notwendigerweise auf die hier beschriebenen beschränkt sind und beliebige der in der vorliegenden Offenbarung beschriebenen Effekte sein können.
Figurenliste

1 ist ein Blockschaltbild, das eine beispielhafte Ausbildung einer ersten Ausführungsform eines Bildverarbeitungssystems zeigt, auf das die vorliegende Offenbarung angewendet wurde.
2 ist ein Blockschaltbild, das eine beispielhafte Ausbildung einer Umwandlungseinheit zeigt.
3 ist eine Darstellung, die ein Verfahren zum Bestimmen von Blickpunkten von Tiefenbildern beschreibt.
4 ist eine Darstellung, die eine beispielhafte Ausbildung von externen Parametern zeigt, die in Informationen zum virtuellen Blickpunkt eingeschlossen sind.
5 ist ein Flussdiagramm, das einen Codierungsprozess beschreibt.
6 ist ein Blockschaltbild, das eine beispielhafte Ausbildung einer Rekonstruktionseinheit zeigt.
7 ist eine Darstellung, die ein Verfahren zum Bestimmen der Priorität virtueller Kameras für Tiefenbilder beschreibt.
8 ist ein Flussdiagramm, das einen Decodierungsprozess beschreibt.
9 ist ein Blockschaltbild, das eine beispielhafte Ausbildung von Hardware eines Computers zeigt.
10 ist ein Blockschaltbild, das ein Beispiel einer schematischen Ausbildung eines Fahrzeugsteuersystems zeigt.
11 ist eine erläuternde Darstellung, die ein Beispiel von Installationspositionen von fahrzeugexternen Informationsdetektoren und Bildgebungseinheiten zeigt.

DURCHFÜHRUNGSART DER ERFINDUNG
Die Durchführungsarten der vorliegenden Offenbarung (im Folgenden als „Ausführungsformen“ bezeichnet) werden nachstehend beschrieben. Es sei zu beachten, dass die Beschreibung in der nachfolgenden Reihenfolge erfolgt.

1. Erste Ausführungsform: Bildverarbeitungssystem (1 bis 8)
2. Zweite Ausführungsform: Computer (9)
3. Anwendungsbeispiel (10 und 11)

<Erste Ausführungsform>
(Beispielhafte Ausbildung einer ersten Ausführungsform des Bildverarbeitungssystems)
1 ist ein Blockschaltbild, das eine beispielhafte Ausbildung einer ersten Ausführungsform eines Bildverarbeitungssystems zeigt, auf das die vorliegende Offenbarung angewendet wurde.
Ein Bildverarbeitungssystem 10 in 1 weist eine Bildgebungsvorrichtung 11, eine Codierungsvorrichtung 12 (Bildverarbeitungsvorrichtung), eine Decodierungsvorrichtung 13 (Bildverarbeitungsvorrichtung) und eine Anzeigevorrichtung 14 auf. Das Bildverarbeitungssystem 10 erzeugt ein Farbbild aus einem Anzeigeblickpunkt unter Verwendung eines Farbbilds und eines Tiefenbilds, das von der Bildgebungsvorrichtung 11 erhalten wird, und zeigt dieses an.
Insbesondere weist die Bildgebungsvorrichtung 11 des Bildverarbeitungssystems 10 beispielsweise eine Mehrfachkamera, ein Abstandsmessinstrument und eine Bildverarbeitungseinheit auf. Die Mehrfachkamera der Bildgebungsvorrichtung 11 weist eine Mehrzahl von Kameras auf. Jede Kamera erfasst eine Bildsequenz von Farbbildern eines Gegenstands, bei denen wenigstens ein Teil bei allen Kameras gleich ist. Beispielsweise wird das Abstandsmessinstrument für jede Kamera bereitgestellt und erzeugt eine Bildsequenz von Tiefenbildern aus dem gleichen Blickpunkt wie die Kamera.
Die Bildverarbeitungseinheit der Bildgebungsvorrichtung 11 erstellt ein 3D-Modell des Gegenstands durch Berechnen einer visuellen Hülle und dergleichen Frame für Frame unter Verwendung der Bildsequenzen von Farbbildern und Tiefenbildern jeder Kamera und eines externen Parameters und eines internen Parameter jeder Kamera. Die Bildverarbeitungseinheit erzeugt als 3D-Daten des Gegenstands Geometrieinformationen, die dreidimensionale Positionen von Scheitelpunkten und Verbindungen zwischen den Scheitelpunkten jedes Polygonnetzes, die das 3D-Modell bilden, und Farbinformationen von jedem Polygonnetz anzeigen. Es sei zu beachten, dass die 3D-Daten die Geometrieinformationen und ein Farbbild jeder Kamera einschließen können.
Beispielsweise kann ein im Nicht-Patent-Dokument 1 oder dergleichen beschriebenes Verfahren als Verfahren zum Erzeugen von 3D-Daten in der Bildverarbeitungseinheit angewendet werden. Die Bildverarbeitungseinheit liefert die 3D-Daten an die Codierungsvorrichtung 12.
Die Codierungsvorrichtung 12 weist eine Umwandlungseinheit 21, eine Codierungseinheit 22, eine Speichereinheit 23 und eine Übertragungseinheit 24 auf.
Die Umwandlungseinheit 21 der Codierungsvorrichtung 12 bestimmt Blickpunkte von Farbbildern und Blickpunkte von Tiefenbildern, deren Anzahl vorbestimmten Anzahlen von Blickpunkten von zu erzeugenden Farbbildern und Blickpunkten von zu erzeugenden Tiefenbildern entspricht. Die Anzahl von Blickpunkten von zu erzeugenden Farbbildern kann sich von der Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern unterscheiden oder gleich sein. Die Anzahl von Blickpunkten von zu erzeugenden Farbbildern und die Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern werden beispielsweise gemäß einer Benutzereingabe und einem Zustand eines Übertragungspfads zwischen der Codierungsvorrichtung 12 und der Decodierungsvorrichtung 13 bestimmt. Hier wird angenommen, dass diese Anzahl von Blickpunkten kleiner als die Anzahl von Blickpunkten der Mehrfachkamera der Bildgebungsvorrichtung 11 ist.
Die Umwandlungseinheit 21 erzeugt externe Parameter und interne Parameter von virtuellen Kameras der bestimmten Blickpunkte von Farbbildern und der bestimmten Blickpunkte von Tiefenbildern. Basierend auf dem externen Parameter und dem internen Parameter jeder virtuellen Kamera für Farbbilder erzeugt die Umwandlungseinheit 21 aus den 3D-Daten, die in Frame-Einheiten von der Bildgebungsvorrichtung 11 geliefert werden, Farbbilder in Frame-Einheiten, die von jeder virtuellen Kamera erfasst werden. Ferner erzeugt die Umwandlungseinheit 21 basierend auf dem externen Parameter und dem internen Parameter jeder virtuellen Kamera für Tiefenbilder aus den 3D-Daten in Frame-Einheiten Tiefenbilder, die den Farbbildern in Frame-Einheiten entsprechen, die von jeder virtuellen Kamera erfasst werden.
Als Verfahren zum Erzeugen von Farbbildern und Tiefenbildern aus 3D-Daten ist es möglich, ein Verfahren anzuwenden, das beispielsweise in Masayuki Tanimoto, „Realizing the Ultimate Visual Communication", IEICE Technical Report, Communication Systems (CS), 110 (323), 73-78, 2010-11-25 oder dergleichen beschrieben ist. Die Umwandlungseinheit 21 liefert die Farbbilder und die Tiefenbilder jeder virtuellen Kamera an die Codierungseinheit 22. Ferner liefert die Umwandlungseinheit 21 den externen Kameraparameter und den internen Parameter jeder virtuellen Kamera, die jedem der Farbbilder und der Tiefenbilder entspricht, als Informationen zum virtuellen Blickpunkt an die Speichereinheit 23.
Die Codierungseinheit 22 codiert die Farbbilder und die Tiefenbilder jeder virtuellen Kamera, die von der Umwandlungseinheit 21 geliefert werden. Advanced Video Coding (AVC), High Efficiency Video Coding (HEVC) oder dergleichen können als Codierungsverfahren angewendet werden. Die Codierungseinheit 22 liefert einen codierten Stream, der infolge der Codierung erhalten wird, an die Speichereinheit 23.
Die Speichereinheit 23 speichert die von der Umwandlungseinheit 21 gelieferten Informationen zum virtuellen Blickpunkt und den von der Codierungseinheit 22 gelieferten codierten Stream.
Die Übertragungseinheit 24 liest die Informationen zum virtuellen Blickpunkt und den codierten Stream, die in der Speichereinheit 23 gespeichert sind, und sendet die Informationen zum virtuellen Blickpunkt und den codierten Stream an die Decodierungsvorrichtung 13.
Die Decodierungsvorrichtung 13 weist eine Empfangseinheit 31, eine Decodierungseinheit 32, eine Rekonstruktionseinheit 33 und eine Rendering-Einheit 34 auf. Ein externer Parameter und ein interner Parameter eines Anzeigeblickpunkts werden von einem Benutzer, der die Anzeigevorrichtung 14 betrachtet, in die Decodierungsvorrichtung 13 eingegeben und als Anzeigeblickpunktinformationen an die Rekonstruktionseinheit 33 und die Rendering-Einheit 34 geliefert.
Die Empfangseinheit 31 der Decodierungsvorrichtung 13 empfängt die Informationen zum virtuellen Blickpunkt und den codierten Stream, der von der Übertragungseinheit 24 der Codierungsvorrichtung 12 gesendet wird. Die Empfangseinheit 31 liefert die Informationen zum virtuellen Blickpunkt an die Rekonstruktionseinheit 33 und liefert den codierten Stream an die Decodierungseinheit 32.
Die Decodierungseinheit 32 decodiert den von der Empfangseinheit 31 gelieferten codierten Stream in einem Verfahren, das dem in der Codierungseinheit 22 verwendeten Codierungsverfahren entspricht. Die Decodierungseinheit 32 liefert Farbbilder und Tiefenbilder jeder virtuellen Kamera, die infolge der Decodierung erhalten werden, an die Rekonstruktionseinheit 33.
Die Rekonstruktionseinheit 33 bestimmt die Priorität jeder virtuellen Kamera basierend auf den Informationen zum virtuellen Blickpunkt und den Anzeigeblickpunktinformationen. Die Rekonstruktionseinheit 33 bestimmt die Anzahl von Blickpunkten von Farbbildern und Blickpunkten von Tiefenbildern, die zum Erstellen eines 3D-Modells verwendet werden sollen, basierend auf Ressourceninformationen der Decodierungsvorrichtung 13. Die Rekonstruktionseinheit 33 wählt virtuelle Kameras für Farbbilder, deren Anzahl der bestimmten Anzahl von Blickpunkten von Farbbildern entspricht, als Kameras, die für Farbbilder basierend auf der Priorität jeder virtuellen Kamera für Farbbilder ausgewählt werden, aus. Ferner wählt die Rekonstruktionseinheit 33 virtuelle Kameras für Tiefenbilder, deren Anzahl der bestimmten Anzahl von Blickpunkten von Tiefenbildern entspricht, als Kameras, die für Tiefenbilder basierend auf der Priorität jeder virtuellen Kamera für Tiefenbilder ausgewählt werden, aus.
Wie bei der Bildverarbeitungseinheit der Bildgebungsvorrichtung 11 rekonstruiert die Rekonstruktionseinheit 33 3D-Daten unter Verwendung der internen Parameter und der externen Parameter der für Farbbilder ausgewählten Kameras und der für Tiefenbilder ausgewählten Kameras, die in den Informationen zum virtuellen Blickpunkt eingeschlossen sind, und unter Verwendung von Farbbildern der für Farbbilder ausgewählten Kameras und Tiefenbildern der für Tiefenbilder ausgewählten Kameras. Die Rekonstruktionseinheit 33 liefert die 3D-Daten an die Rendering-Einheit 34.
Wie bei der Umwandlungseinheit 21 erzeugt die Rendering-Einheit 34 (Erzeugungseinheit) ein Farbbild aus dem Anzeigeblickpunkt als Anzeigebild aus den 3D-Daten, die von der Rekonstruktionseinheit 33 geliefert werden, basierend auf den Anzeigeblickpunktinformationen und liefert das Anzeigebild an die Anzeigevorrichtung 14.
Die Anzeigevorrichtung 14 weist eine zweidimensionale am Kopf angebrachte Anzeige (HMD, Head-Mounted Display), einen zweidimensionalen Monitor und dergleichen auf. Die Anzeigevorrichtung 14 zeigt ein Anzeigebild basierend auf dem von der Rekonstruktionseinheit 33 gelieferten Anzeigebild zweidimensional an.
Es sei zu beachten, dass die Anzeigevorrichtung 14 eine dreidimensionale am Kopf angebrachte Anzeige, einen dreidimensionalen Monitor und dergleichen aufweist. In einem derartigen Fall erzeugt die Rendering-Einheit 34 wie bei der Umwandlungseinheit 21 ein Tiefenbild aus dem Anzeigebildpunkt aus den 3D-Daten basierend auf den Anzeigeblickpunktinformationen und liefert das Tiefenbild an die Anzeigevorrichtung 14. Die Anzeigevorrichtung 14 zeigt ein Anzeigebild basierend auf dem von der Rendering-Einheit 34 gelieferten Anzeigebild und Tiefenbild dreidimensional an.
Obgleich im Beispiel von 1 ein 3D-Modell durch Berechnung einer visuellen Hülle und dergleichen erzeugt ist, kann ferner ein 3D-Modell durch eine Punktwolke erzeugt werden. In einem derartigen Fall weisen 3D-Daten eine dreidimensionale Position und Farbinformationen jeder Punktwolke oder eine dreidimensionale Position jeder Punktwolke und ein Farbbild jeder Kamera auf.
(Beispielhafte Ausbildung einer Umwandlungseinheit)
2 ist ein Blockschaltbild, das eine beispielhafte Ausbildung der Umwandlungseinheit 21 aus 1 zeigt.
Die Umwandlungseinheit 21 aus 2 weist eine Blickpunktbestimmungseinheit 41 und eine Bilderzeugungseinheit 42 auf.
Die Blickpunktbestimmungseinheit 41 der Umwandlungseinheit 21 wählt Blickpunkte, deren Anzahl der Anzahl von Blickpunkten von Farbbildern eines zu erstellenden 3D-Modells entspricht, in regelmäßigen Intervallen aus Kandidatenblickpunkten aus und bestimmt, dass die ausgewählten Blickpunkte Blickpunkte von Farbbildern sind.
Ferner bestimmt die Blickpunktbestimmungseinheit 41 Blickpunkte von Tiefenbildern, deren Anzahl der Anzahl von Blickpunkten von Tiefenbildern eines zu erstellenden 3D-Modells entspricht, basierend auf einer Größenbeziehung zwischen der Anzahl von Blickpunkten von Farbbildern und der Anzahl von Blickpunkten von Tiefenbildern des zu erstellenden 3D-Modells und den 3D-Daten, die von der Bildgebungsvorrichtung 11 aus 1 geliefert werden.
Insbesondere in einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern eines zu erstellenden 3D-Modells kleiner als die Anzahl von Blickpunkten von Tiefenbildern ist, projiziert die Blickpunktbestimmungseinheit 41 das 3D-Modell basierend auf den 3D-Daten von jedem Kandidatenblickpunkt auf einen Bildschirm. Anschließend berechnet die Blickpunktbestimmungseinheit 41 die Verteilung der Flächen von Regionen auf dem Bildschirm, auf den die jeweiligen Polygonnetze, die das 3D-Modell ausbilden, projiziert werden. Die Blickpunktbestimmungseinheit 41 wählt Blickpunkte, deren Anzahl der Anzahl von Blickpunkten von Tiefenbildern entspricht, in absteigender Reihenfolge der Gleichförmigkeit der Verteilung aus und bestimmt, dass die ausgewählten Blickpunkte Blickpunkte von Tiefenbildern sind.
Dies gleicht die Flächen der Regionen auf dem Bildschirm von jedem der bestimmten Blickpunkte der Tiefenbilder aus, auf den die Polygonnetze projiziert werden. Infolgedessen ist es in einem Fall, in dem ein 3D-Modell durch eine Punktwolke in der Decodierungsvorrichtung 13 erstellt wird, möglich, das Auftreten einer ungleichförmigen Dichte der Punktwolke zu verhindern, um die Genauigkeit der 3D-Modellgeometrie zu verbessern. Daher sind die Blickpunkte von Tiefenbildern, die von der Blickpunktbestimmungseinheit 41 bestimmt werden, Blickpunkte von Tiefenbildern, die zum Erstellen eines 3D-Modells geeignet sind.
Wie oben beschrieben, ist in einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern kleiner als die Anzahl von Blickpunkten von Tiefenbildern ist, eine durch Farbbilder repräsentierte Region eines 3D-Modells kleiner als eine durch Tiefenbilder repräsentierte Region des 3D-Modells. Daher werden Blickpunkte von Tiefenbildern auf eine Weise bestimmt, um die Genauigkeit von Tiefenbildern zu verbessern. Infolgedessen kann das 3D-Modell mit hoher Genauigkeit rekonstruiert werden.
In einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern eines zu erstellenden 3D-Modells größer als die Anzahl von Blickpunkten von Tiefenbildern ist, projiziert die Blickpunktbestimmungseinheit 41 ferner das 3D-Modell basierend auf den 3D-Daten von jedem Kandidatenblickpunkt auf einen Bildschirm. Anschließend ermittelt die Blickpunktbestimmungseinheit 41 die Anzahl von auf den Bildschirm projizierten Polygonnetzen basierend auf einer ID oder dergleichen, die jedem Polygonnetz zugewiesen ist, das das 3D-Modell ausbildet, das auf den Bildschirm projiziert wird. Die Blickpunktbestimmungseinheit 41 wählt Blickpunkte, deren Anzahl der Anzahl von Blickpunkten von Tiefenbildern entspricht, in absteigender Reihenfolge der Anzahl von Polygonnetzen, die auf den Bildschirm projiziert werden, und bestimmt, dass die ausgewählten Blickpunkte Blickpunkte von Tiefenbildern sind.
Dies reduziert eine Okklusionsregion von jedem der bestimmten Blickpunkte von Tiefenbildern. Infolgedessen ist es möglich, die Genauigkeit der 3D-Modellgeometrie zu verbessern. Daher sind die Blickpunkte von Tiefenbildern, die von der Blickpunktbestimmungseinheit 41 bestimmt werden, Blickpunkte von Tiefenbildern, die zum Erstellen eines 3D-Modells geeignet sind.
Wie oben beschrieben, ist in einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern größer als die Anzahl von Blickpunkten von Tiefenbildern ist, eine durch Farbbilder repräsentierte Region eines 3D-Modells größer als eine durch Tiefenbilder repräsentierte Region des 3D-Modells. Daher werden Blickpunkte von Tiefenbildern auf eine Weise bestimmt, um die Region des 3D-Modells zu vergrößern, die durch Tiefenbilder repräsentiert wird. Infolgedessen kann das 3D-Modell mit hoher Genauigkeit rekonstruiert werden.
In einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern gleich der Anzahl von Blickpunkten von Tiefenbildern ist, bestimmt die Blickpunktbestimmungseinheit 41 darüber hinaus, dass die Blickpunkte von Farbbildern die Blickpunkte von Tiefenbildern sind. Dementsprechend werden die Blickpunkte von Tiefenbildern in regelmäßigen Intervallen bereitgestellt. Daher weisen die Blickpunkte von Tiefenbildern keinen redundanten Blickpunkt auf und sind somit zum Erstellen eines 3D-Modells geeignet.
Die Blickpunktbestimmungseinheit 41 erzeugt als Informationen zum virtuellen Blickpunkt externe Parameter und interne Parameter der bestimmten Blickpunkte von Farbbildern und der bestimmten Blickpunkte von Tiefenbildern und liefert die Informationen zum virtuellen Blickpunkt an die Bilderzeugungseinheit 42 und die Speichereinheit 23 aus 1. Ferner liefert die Blickpunktbestimmungseinheit 41 die 3D-Daten an die Bilderzeugungseinheit 42.
Die Bilderzeugungseinheit 42 erzeugt ein Farbbild von jedem Blickpunkt aus den 3D-Daten basierend auf dem externen Parameter und dem internen Parameter jedes Blickpunkts eines Farbbilds, das in den Informationen zum virtuellen Blickpunkt eingeschlossen ist, die von der Bildpunktbestimmungseinheit 41 geliefert werden, und liefert das Farbbild an die Codierungseinheit 22 aus 1. Ferner erzeugt die Bilderzeugungseinheit 42 ein Tiefenbild von jedem Blickpunkt aus den 3D-Daten basierend auf dem externen Parameter und dem internen Parameter jedes Blickpunkts eines Tiefenbilds, das in den Informationen zum virtuellen Blickpunkt eingeschlossen ist, und liefert das Tiefenbild an die Codierungseinheit 22.
Es sei zu beachten, dass Kandidatenblickpunkte von Farbbildern und Kandidatenblickpunkte von Tiefenbildern die gleichen wie die jeweiligen Blickpunkte der Mehrfachkamera der Bildgebungsvorrichtung 11 oder verschieden sein können. In einem Fall, in dem Kandidatenblickpunkte von Farbbildern und Kandidatenblickpunkte von Tiefenbildern die gleichen wie die jeweiligen Blickpunkte der Mehrfachkamera der Bildgebungsvorrichtung 11 sind, bedeutet das, dass die Umwandlungseinheit 21 ausgedünnte Farbbilder und Tiefenbilder aufweist, die durch die Bildgebungsvorrichtung 11 erhalten werden. Daher kann in einem derartigen Fall die Übertragungsmenge im Vergleich zu einem Fall reduziert werden, in dem der gesamte codierte Stream der Farbbilder und der Tiefenbilder, die von der Bildgebungsvorrichtung 11 erhalten werden, zur Decodierungsvorrichtung 13 gesendet wird. Infolgedessen ist es möglich, die Übertragungsgeschwindigkeit des codierten Streams zu verbessern, um ein Anzeigebild mit einer hohen Bildfrequenz in der Decodierungsvorrichtung 13 zu erzeugen.
(Beschreibung eines Verfahrens zum Bestimmen eines Blickpunkts eines Tiefenbilds)
3 ist eine Darstellung, die ein Verfahren zum Bestimmen von Blickpunkten von Tiefenbildern in einem Fall beschreibt, in dem die Anzahl von Blickpunkten von Farbbildern gleich der Anzahl von Blickpunkten von Tiefenbildern ist.
In einem Beispiel von 3 sind, wie auf der linken Seite von 3 gezeigt, virtuelle Kameras, die Kandidatenblickpunkten von Tiefenbildern eines 3D-Modells 61 entsprechen, N + 1 virtuelle Kameras, die in regelmäßigen Intervallen angeordnet sind, d. h. virtuelle Kameras 71-0 bis 71-N (N ist ein Vielfaches von 3).
In einem Fall, in dem die Anzahl von Blickpunkten von Farbbildern gleich der Anzahl von Blickpunkten von Tiefenbildern ist, bestimmt die Blickpunktbestimmungseinheit 41 Blickpunkte von Tiefenbildern aus Blickpunkten der virtuellen Kameras 71-0 bis 71-N, so dass die Intervalle zwischen den jeweiligen Blickpunkten der virtuellen Kameras gleich sind, genau wie bei Blickpunkten von Farbbildern, wie oben rechts in 3 gezeigt. Im Beispiel von 3 wählt die Blickpunktbestimmungseinheit 41 jeden dritten Blickpunkt der virtuellen Kameras 71-0 bis 71-N aus und bestimmt, dass die ausgewählten Blickpunkte der virtuellen Kamera 71-0, der virtuellen Kamera 71-3, der virtuellen Kamera 71-6 ... und der virtuellen Kamera 71-N Blickpunkte von Tiefenbildern sind. In einem derartigen Fall werden Blickpunkte mit einem schmalen Intervall nicht als Blickpunkte von Tiefenbildern festgelegt. Daher kann die Redundanz von Blickpunkten von Tiefenbildern verhindert werden.
Es sei zu beachten, dass, wie unten rechts in 3 gezeigt, die Blickpunktbestimmungseinheit 41 Intervalle zwischen benachbarten Blickpunkten von Tiefenbildern basierend auf dem 3D-Modell 61 bestimmen kann, um Blickpunkte von Tiefenbildern aus den Blickpunkten der virtuellen Kameras 71-0 bis 71-N basierend auf den bestimmten Intervallen zu bestimmen.
In einem derartigen Fall bestimmt die Blickpunktbestimmungseinheit 41 beispielsweise ein Intervall zwischen jedem Blickpunkt eines Tiefenbilds auf eine Weise, um ein Intervall zwischen einem Blickpunkt, an dem die auf den Bildschirm projizierte Geometrie des 3D-Modells 61 kompliziert ist, und einem zum Blickpunkt benachbarten Blickpunkt zu reduzieren. Im Beispiel von 3 ist die Geometrie des 3D-Modells 61, das aus dem Blickpunkt der virtuellen Kamera 71-6 auf einen Bildschirm projiziert wird, die komplizierteste. Daher werden die virtuellen Kameras 71-4 bis 71-6 im Beispiel von 3 aufeinanderfolgend als Blickpunkte von Tiefenbildern festgelegt.
Es sei zu beachten, dass Informationen, die zum Bestimmen eines Intervalls zwischen benachbarten Blickpunkten von Tiefenbildern verwendet werden sollen, anders als die Komplexität der Geometrie des 3D-Modells 61 sein können, solange die Informationen ein wichtiges Maß für einen Betrachter anzeigen. Beispielsweise kann basierend auf dem Grad an Wahrnehmbarkeit oder dergleichen des 3D-Modells 61, das aus jedem Kandidatenblickpunkt auf den Bildschirm projiziert wird, die Blickpunktbestimmungseinheit 41 ein Intervall zwischen jedem Blickpunkt eines Tiefenbilds bestimmen, so dass ein Intervall zwischen einem Blickpunkt mit einem höheren Grad an Wahrnehmbarkeit und einem benachbarten Blickpunkt schmaler wird.
In einem Fall, in dem Blickpunkte von Tiefenbildern bestimmt werden, wie unten rechts in 3 gezeigt, können Blickpunkte von Farbbildern ferner die gleichen sein wie die Blickpunkte von Tiefenbildern, oder es können Blickpunkte sein, die in regelmäßigen Intervallen bereitgestellt werden.
(Beispielhafte Ausbildung eines externen Parameters)
4 ist eine Darstellung, die eine beispielhafte Ausbildung von externen Parametern zeigt, die in den Informationen zum virtuellen Blickpunkt eingeschlossen sind.
Wie in 4 gezeigt, sind externe Parameter, die in den Informationen zum virtuellen Blickpunkt eingeschlossen sind, ausgebildet, so dass eine Rotationsmatrix R und ein Positionsvektor T, die externe Parameter einer virtuellen Kamera sind, mit einer Kamera-ID der virtuellen Kamera assoziiert sind. Die Kamera-ID ist eine ID, die für jede virtuelle Kamera für Farbbilder und jede virtuelle Kamera für Tiefenbilder eindeutig ist. Es sei zu beachten, dass, obwohl nicht gezeigt, interne Parameter, die in den Informationen zum virtuellen Blickpunkt eingeschlossen sind, auch in Verbindung mit den Kamera-IDs ausgebildet sind, genau wie die externen Parameter.
(Beschreibung einer Verarbeitung durch eine Codierungsvorrichtung)
5 ist ein Flussdiagramm, das einen Codierungsprozess der Codierungsvorrichtung 12 aus 1 beschreibt. Der Codierungsprozess wird beispielsweise gestartet, wenn 3D-Daten von der Bildgebungsvorrichtung 11 in Frame-Einheiten geliefert werden.
In Schritt S10 aus 5 bestimmt die Blickpunktbestimmungseinheit 41 (2) der Umwandlungseinheit 21 Blickpunkte von Farbbildern, deren Anzahl der Anzahl von Blickpunkten von zu erzeugenden Farbbildern entspricht, aus Kandidatenblickpunkten durch ein vorbestimmtes Verfahren.
In Schritt S11 bestimmt die Blickpunktbestimmungseinheit 41 Blickpunkte von Tiefenbildern, deren Anzahl der Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern entspricht, basierend auf einer Größenbeziehung zwischen der Anzahl von Blickpunkten von zu erzeugenden Farbbildern und der Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern und den von der Bildgebungsvorrichtung 11 gelieferten 3D-Daten.
In Schritt S12 erzeugt die Blickpunktbestimmungseinheit 41 als Informationen zum virtuellen Blickpunkt externe Parameter und interne Parameter der in Schritt S10 bestimmten Blickpunkte von Farbbildern und der in Schritt S11 bestimmten Blickpunkte von Tiefenbildern und liefert die Informationen zum virtuellen Blickpunkt an die Bilderzeugungseinheit 42 und die Speichereinheit 23. Ferner liefert die Blickpunktbestimmungseinheit 41 die 3D-Daten an die Bilderzeugungseinheit 42.
In Schritt S13 speichert die Speichereinheit 23 die von der Blickpunktbestimmungseinheit 41 gelieferten Informationen zum virtuellen Blickpunkt.
In Schritt S14 erzeugt die Bilderzeugungseinheit 42 basierend auf den Informationen zum virtuellen Blickpunkt, die von der Blickpunktbestimmungseinheit 41 geliefert werden, aus den 3D-Daten ein Farbbild aus jedem in Schritt S10 bestimmten Blickpunkt und ein Tiefenbild aus jedem in Schritt S11 bestimmten Blickpunkt. Die Bilderzeugungseinheit 42 liefert das Farbbild und das Tiefenbild aus jedem Blickpunkt an die Codierungseinheit 22.
In Schritt S15 codiert die Codierungseinheit 22 das Farbbild und das Tiefenbild aus jedem Blickpunkt, der von der Umwandlungseinheit 21 geliefert wird. Die Codierungseinheit 22 liefert einen codierten Stream, der infolge der Codierung erhalten wird, an die Speichereinheit 23.
In Schritt S16 speichert die Speichereinheit 23 den von der Codierungseinheit 22 gelieferten codierten Stream.
In Schritt S17 liest die Übertragungseinheit 24 die Informationen zum virtuellen Blickpunkt und den codierten Stream, die in der Speichereinheit 23 gespeichert sind, und sendet die Informationen zum virtuellen Blickpunkt und den codierten Stream an die Decodierungsvorrichtung 13. Dann wird der Prozess beendet.
Es sei zu beachten, dass, obwohl die Blickpunkte von Farbbildern und Tiefenbildern in einem Beispiel von 5 Frame für Frame geändert werden, ein Aktualisierungsintervall der Blickpunkte von Farbbildern und Tiefenbildern nicht auf Frame für Frame beschränkt ist.
Wie oben beschrieben, bestimmt die Codierungsvorrichtung 12, dass ein Kandidatenblickpunkt ein Blickpunkt eines Tiefenbilds eines 3D-Modells basierend auf dem 3D-Modell ist, das vom Kandidatenblickpunkt auf den Bildschirm projiziert wird. Dementsprechend kann die Codierungsvorrichtung 12 aus verschiedenen Kandidatenblickpunkten Blickpunkte von Tiefenbildern auswählen, die zum Erstellen eines 3D-Modells geeignet sind. Infolgedessen kann die Codierungsvorrichtung 12 nur Tiefenbilder aus den Blickpunkten, die zum Erstellen eines 3D-Modells geeignet sind, an die Decodierungsvorrichtung 13 senden. Daher kann die Decodierungsvorrichtung 13 eine Last eines Prozesses zum Erstellen eines 3D-Modells reduzieren, um die Geschwindigkeit des Erstellens des 3D-Modells zu verbessern, indem die Tiefenbilder zum Erstellen des 3D-Modells verwendet werden, im Vergleich zu einem Fall, in dem das 3D-Modell erstellt wird, indem auch Tiefenbilder verwendet werden, die nicht zum Erstellen eines 3D-Modells geeignet sind.
Es sei zu beachten, dass die Größenbeziehung zwischen der Anzahl von Blickpunkten der zu erzeugenden Farbbilder und der Anzahl von Blickpunkten der zu erzeugenden Tiefenbilder konstant sein kann. Mit anderen Worten kann die Anzahl von Blickpunkten von zu erzeugenden Farbbildern konstant größer als die Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern sein. Alternativ kann die Anzahl von Blickpunkten von zu erzeugenden Farbbildern konstant kleiner als die Anzahl von Blickpunkten von zu erzeugenden Tiefenbildern sein.
(Beispielhafte Ausbildung einer Rekonstruktionseinheit)
6 ist ein Blockschaltbild, das eine beispielhafte Ausbildung der Rekonstruktionseinheit 33 aus 1 zeigt.
Die Rekonstruktionseinheit 33 aus 6 weist eine Ressourceninformationsbeschaffungseinheit 81, eine Prioritätsbestimmungseinheit 82, eine Auswahleinheit 83 und eine Geometriewiederherstellungseinheit 84 auf.
Die Ressourceninformationsbeschaffungseinheit 81 der Rekonstruktionseinheit 33 erhält Ressourceninformationen und liefert die Ressourceninformationen an die Prioritätsbestimmungseinheit 82. Die Ressourceninformationen zeigen den Ladestatus von Ressourcen an, wie beispielsweise einer zentralen Verarbeitungseinheit (CPU, Central Processing Unit) und einer Grafikverarbeitungseinheit (GPU, Graphics Processing Unit), die die Rekonstruktionseinheit 33, die Rendering-Einheit 34 und dergleichen der Decodierungsvorrichtung 13 implementieren.
Die Prioritätsbestimmungseinheit 82 bestimmt die Priorität jeder virtuellen Kamera basierend auf den Informationen zum virtuellen Blickpunkt, die von der Empfangseinheit 31 aus 1 geliefert werden, und den Anzeigeblickpunktinformationen, die in die Decodierungsvorrichtung 13 eingegeben werden. Basierend auf den Ressourceninformationen, die von der Ressourceninformationsbeschaffungseinheit 81 geliefert werden, berechnet die Prioritätsbestimmungseinheit 82 Datenmengen von Farbbildern und Tiefenbildern, die zur Echtzeit-Erzeugung von 3D-Daten verwendet werden können. Die Prioritätsbestimmungseinheit 82 bestimmt, dass die Anzahl von Blickpunkten von Farbbildern und Blickpunkten von Tiefenbildern, die den Datenmengen entsprechen, die Anzahl von Blickpunkten von Farbbildern und Blickpunkten von Tiefenbildern ist, die zum Erzeugen von 3D-Daten verwendet werden sollen.
Basierend auf der Priorität jeder virtuellen Kamera für Farbbilder wählt die Prioritätsbestimmungseinheit 82 virtuelle Kameras für Farbbilder als Kameras, die für Farbbilder ausgewählt werden, deren Anzahl der bestimmten Anzahl von Blickpunkten von Farbbildern entspricht, in absteigender Reihenfolge der Priorität aus. Ähnlich wählt die Prioritätsbestimmungseinheit 82 virtuelle Kameras für Tiefenbilder als Kameras aus, die für Tiefenbilder ausgewählt werden. Die Prioritätsbestimmungseinheit 82 liefert Kamera-IDs der Kameras, die für Farbbilder ausgewählt werden, und der Kameras, die für Tiefenbilder ausgewählt werden, an die Auswahleinheit 83 und liefert die internen Parameter und die externen Parameter an die Geometriewiederherstellungseinheit 84.
Es sei zu beachten, dass die Anzahl der für Farbbilder ausgewählten Kameras gleich oder kleiner als die Gesamtzahl der virtuellen Kameras für Farbbilder ist und die Anzahl der für Tiefenbilder ausgewählten Kameras gleich oder kleiner als die Gesamtzahl der virtuellen Kameras für Tiefenbilder ist. In einem Fall, in dem die Anzahl der für Farbbilder ausgewählten Kameras (für Tiefenbilder ausgewählten Kameras) kleiner als die Gesamtzahl der virtuellen Kameras für Farbbilder (Tiefenbilder) ist, werden Farbbilder (Tiefenbilder) durch die nachstehend beschriebene Auswahleinheit 83 ausgedünnt. Die Anzahl der für Farbbilder ausgewählten Kameras kann gleich der Anzahl der für Tiefenbilder ausgewählten Kameras sein oder verschieden sein.
Basierend auf den Kamera-IDs der für Farbbilder ausgewählten Kameras, die von der Prioritätsbestimmungseinheit 82 geliefert werden, wählt die Auswahleinheit 83 Farbbilder aus Blickpunkten der für Farbbilder ausgewählten Kameras aus den Farbbildern aus, die von der Decodierungseinheit 32 aus 1 geliefert werden, und liefert die ausgewählten Farbbilder an die Geometriewiederherstellungseinheit 84. Basierend auf den Kamera-IDs der für Tiefenbilder ausgewählten Kameras, die von der Prioritätsbestimmungseinheit 82 geliefert werden, wählt die Auswahleinheit 83 Tiefenbilder aus Blickpunkten der für Tiefenbilder ausgewählten Kameras aus den Tiefenbildern aus, die von der Decodierungseinheit 32 geliefert werden, und liefert die ausgewählten Tiefenbilder an die Geometriewiederherstellungseinheit 84.
Wie bei der Bildverarbeitungseinheit der Bildgebungsvorrichtung 11 rekonstruiert die Geometriewiederherstellungseinheit 84 3D-Daten unter Verwendung der internen Parameter und der externen Parameter, die von der Prioritätsbestimmungseinheit 82 geliefert werden, und der Farbbilder und der Tiefenbilder, die von der Auswahleinheit 83 geliefert werden. Die Geometriewiederherstellungseinheit 84 liefert die 3D-Daten an die Rendering-Einheit 34 aus 1.
(Verfahren zum Bestimmen der Priorität)
7 ist eine Darstellung, die ein Verfahren zum Bestimmen der Priorität virtueller Kameras für Tiefenbilder beschreibt, das von der Prioritätsbestimmungseinheit 82 aus 6 durchzuführen ist.
In einem Beispiel von 7 sind virtuelle Kameras für Tiefenbilder M virtuelle Kameras, das heißt virtuelle Kameras 91-0 bis 91-M, und eine virtuelle Kamera, die den Anzeigeblickpunktinformationen entspricht, ist eine virtuelle Kamera 100.
In diesem Fall bestimmt beispielsweise, wie auf der linken Seite von 7 gezeigt, die Prioritätsbestimmungseinheit 82 die Priorität jeder der virtuellen Kameras 91-0 bis 91-M,so dass einer virtuellen Kamera mit einem Aufnahmewinkel, der näher am Aufnahmewinkel der virtuellen Kamera 100 liegt, eine höhere Priorität zugewiesen wird. Dementsprechend wird unter den virtuellen Kameras 91-0 bis 91-M die erste Priorität der virtuellen Kamera 91-5 zugewiesen, die im kleinsten Winkel positioniert ist, das heißt in einem Winkel von θ5 zur virtuellen Kamera 100, und die zweite virtuelle Priorität wird der virtuellen Kamera 91-4 zugewiesen, die im zweitkleinsten Winkel positioniert ist, das heißt in einem Winkel von θ4 zur virtuellen Kamera 100. Anschließend wird die Prioritätszuweisung auf ähnliche Weise durchgeführt, und die M-te Priorität wird der virtuellen Kamera 91-M zugewiesen, die im größten Winkel positioniert ist, das heißt in einem Winkel von θM zur virtuellen Kamera 100. Es sei zu beachten, dass in 7 ein Dreieck eine virtuelle Kamera anzeigt und eine Zahl in einem Dreieck, die eine virtuelle Kamera anzeigt, die Priorität der virtuellen Kamera anzeigt.
Hier werden, wenn die Prioritätsbestimmungseinheit 82 bestimmt, dass vier Blickpunkte von Tiefenbildern zum Erzeugen von 3D-Daten verwendet werden, basierend auf den Ressourceninformationen virtuelle Kameras mit der ersten bis vierten Priorität, das heißt die virtuellen Kameras 91-3 bis 91-6, als für Tiefenbilder ausgewählte Kameras ausgewählt, wie auf der rechten Seite von 7 gezeigt. Infolgedessen werden 3D-Daten eines 3D-Modells 101 nur unter Verwendung der virtuellen Kameras 91-3 bis 91-6 rekonstruiert. In diesem Fall können die Seiten und die Rückseite des 3D-Modells 101 nicht mit hoher Genauigkeit rekonstruiert werden. Dies spielt jedoch keine Rolle, da die Seiten und dessen Rückseite nicht auf ein Anzeigebild projiziert werden.
Es sei zu beachten, dass die zum Bestimmen der Priorität zu verwendenden Informationen nicht auf einen Aufnahmewinkel beschränkt sind, solange die Informationen eine Nähe zur virtuellen Kamera 100 anzeigen. Beispielsweise kann die Prioritätsbestimmungseinheit 82 die Priorität jeder der virtuellen Kameras 91-0 bis 91-M bestimmen, so dass einer virtuellen Kamera, die sich näher an der Position der virtuellen Kamera 100 befindet, das heißt einer virtuellen Kamera, die sich in einem kleineren euklidischen Abstand von der virtuellen Kamera 100 befindet, eine höhere Priorität zugewiesen wird. Ferner kann die Prioritätsbestimmungseinheit 82 die Priorität der virtuellen Kameras 91-0 bis 91-M basierend sowohl auf den Aufnahmewinkeln als auch den Positionen der virtuellen Kameras 91-0 bis 91-M bestimmen.
Wie oben beschrieben, bestimmt die Prioritätsbestimmungseinheit 82 die Priorität der virtuellen Kameras 91-0 bis 91-M, so dass einer virtuellen Kamera, die sich in Bezug auf einen Winkel zur virtuellen Kamera 100 oder einen euklidischen Abstand von der virtuellen Kamera 100 näher an der virtuellen Kamera 100 befindet, eine höhere Priorität zugewiesen wird. Daher kann die Prioritätsbestimmungseinheit 82 das 3D-Modell 101 rekonstruieren, indem vorzugsweise eine virtuelle Kamera verwendet wird, die auf einen Bildschirm eine Region des 3D-Modells 101 projiziert, um auf ein Anzeigebild projiziert zu werden. Infolgedessen ist es möglich, selbst in einem Fall, in dem das 3D-Modell 101 nicht in Echtzeit unter Verwendung aller der Tiefenbilder rekonstruiert werden kann, die dem codierten Stream entsprechen, ein hochwertiges Anzeigebild in Echtzeit unter Verwendung des teilweise rekonstruierten 3D-Modells 101 zu erzeugen.
Die Priorität virtueller Kameras für Farbbilder wird auf die gleiche Weise bestimmt wie die Priorität virtueller Kameras für Tiefenbilder. Zusätzlich werden Kameras, die für Farbbilder ausgewählt werden, auf die gleiche Weise ausgewählt wie Kameras, die für Tiefenbilder ausgewählt werden. Daher wird eine weitere Beschreibung weggelassen.
(Beschreibung einer Verarbeitung durch eine Decodierungsvorrichtung)
8 ist ein Flussdiagramm, das einen Decodierungsprozess der Decodierungsvorrichtung 13 aus 1 beschreibt. Der Decodierungsprozess wird beispielsweise gestartet, wenn ein codierter Stream und Informationen zum virtuellen Blickpunkt in Frame-Einheiten von der Übertragungseinheit 24 der Codierungsvorrichtung 12 gesendet werden.
In Schritt S31 aus 8 empfängt die Empfangseinheit 31 der Decodierungsvorrichtung 13 die Informationen zum virtuellen Blickpunkt und den codierten Stream, die von der Übertragungseinheit 24 gesendet werden. Die Empfangseinheit 31 liefert die Informationen zum virtuellen Blickpunkt an die Rekonstruktionseinheit 33 und liefert den codierten Stream an die Decodierungseinheit 32.
In Schritt S32 decodiert die Decodierungseinheit 32 den von der Empfangseinheit 31 gelieferten codierten Stream in einem Verfahren, das dem in der Codierungseinheit 22 verwendeten Codierungsverfahren entspricht. Die Decodierungseinheit 32 liefert Farbbilder und Tiefenbilder jeder virtuellen Kamera, die infolge der Decodierung erhalten werden, an die Rekonstruktionseinheit 33.
In Schritt S33 erhält die Ressourceninformationsbeschaffungseinheit 81 (6) der Rekonstruktionseinheit 33 Ressourceninformationen und liefert die Ressourceninformationen an die Prioritätsbestimmungseinheit 82.
In Schritt S34 bestimmt die Prioritätsbestimmungseinheit 82 die Priorität jeder virtuellen Kamera basierend auf den Informationen zum virtuellen Blickpunkt, die von der Empfangseinheit 31 geliefert werden, und den Anzeigeblickpunktinformationen, die in die Decodierungsvorrichtung 13 eingegeben werden.
In Schritt S35 bestimmt die Prioritätsbestimmungseinheit 82 basierend auf den Ressourceninformationen, dass die Anzahl von Blickpunkten, die Datenmengen von Farbbildern und Tiefenbildern entsprechen, die zur Echtzeiterzeugung von 3D-Daten verwendet werden können, die Anzahl von Blickpunkten von Farbbildern und Blickpunkten von Tiefenbildern ist, die zur Erzeugung von 3D-Daten verwendet werden sollen.
In Schritt S36 wählt die Prioritätsbestimmungseinheit 82 basierend auf der Priorität jeder virtuellen Kamera für Farbbilder virtuelle Kameras für Farbbilder als Kameras, die für Farbbilder ausgewählt werden, deren Anzahl der in Schritt S35 bestimmten Anzahl von Blickpunkten von Farbbildern entspricht, in absteigender Reihenfolge der Priorität aus. Ähnlich wählt die Prioritätsbestimmungseinheit 82 virtuelle Kameras für Tiefenbilder als Kameras aus, die für Tiefenbilder ausgewählt werden. Die Prioritätsbestimmungseinheit 82 liefert Kamera-IDs der Kameras, die für Farbbilder ausgewählt werden, und der Kameras, die für Tiefenbilder ausgewählt werden, an die Auswahleinheit 83 und liefert die internen Parameter und die externen Parameter an die Geometriewiederherstellungseinheit 84.
Basierend auf den Kamera-IDs der für Farbbilder ausgewählten Kameras, die von der Prioritätsbestimmungseinheit 82 geliefert werden, wählt die Auswahleinheit 83 in Schritt S37 Farbbilder der für Farbbilder ausgewählten Kameras aus den Farbbildern aus, die von der Decodierungseinheit 32 geliefert werden, und liefert die ausgewählten Farbbilder an die Geometriewiederherstellungseinheit 84. Basierend auf den Kamera-IDs der für Tiefenbilder ausgewählten Kameras, die von der Prioritätsbestimmungseinheit 82 geliefert werden, wählt die Auswahleinheit 83 Tiefenbilder der für Tiefenbilder ausgewählten Kameras aus den von der Decodierungseinheit 32 gelieferten Tiefenbildern aus und liefert die ausgewählten Tiefenbilder an die Geometriewiederherstellungseinheit 84.
Wie bei der Bildverarbeitungseinheit der Bildgebungsvorrichtung 11 rekonstruiert die Geometriewiederherstellungseinheit 84 in Schritt S38 3D-Daten unter Verwendung der internen Parameter und der externen Parameter, die von der Prioritätsbestimmungseinheit 82 geliefert werden, und der Farbbilder und der Tiefenbilder, die in Schritt S37 ausgewählt werden. Die Geometriewiederherstellungseinheit 84 liefert die 3D-Daten an die Rendering-Einheit 34.
Wie bei der Umwandlungseinheit 21 erzeugt die Rendering-Einheit 34 in Schritt S39 ein Farbbild aus dem Anzeigeblickpunkt als Anzeigebild aus den 3D-Daten, die von der Rekonstruktionseinheit 33 geliefert werden, basierend auf den Anzeigeblickpunktinformationen und liefert das Anzeigebild an die Anzeigevorrichtung 14. Dann wird der Prozess beendet.
Wie oben beschrieben, wählt die Decodierungsvorrichtung 13 basierend auf den Anzeigeblickpunktinformationen Tiefenbilder aus vorbestimmten Blickpunkten aus Tiefenbildern aus einer Mehrzahl von Blickpunkten aus, die dem codierten Stream entsprechen, der von der Codierungsvorrichtung 12 gesendet wird. Daher kann die Decodierungsvorrichtung 13 Tiefenbilder aus Blickpunkten auswählen, die zum Erstellen eines 3D-Modells geeignet sind, die zum Erzeugen eines Anzeigebilds verwendet werden.
Ferner rekonstruiert die Decodierungsvorrichtung 13 ein 3D-Modell unter Verwendung der ausgewählten Tiefenbilder aus den vorbestimmten Blickpunkten. Daher ist es beispielsweise möglich, Tiefenbilder, die dem codierten Stream entsprechen, auszudünnen, um Tiefenbilder zu erhalten, die zur Rekonstruktion eines 3D-Modells verwendet werden sollen. Dementsprechend ist es möglich, die Verarbeitungsgeschwindigkeit der Erstellung eines 3D-Modells zu verbessern. Infolgedessen kann ein Anzeigebild mit einer hohen Bildfrequenz erzeugt werden.
Darüber hinaus erzeugt die Decodierungsvorrichtung 13 ein Anzeigebild unter Verwendung des 3D-Modells, das unter Verwendung der ausgewählten Tiefenbilder rekonstruiert wird. Daher ist es möglich, ein hochwertiges Anzeigebild zu erzeugen.
<Zweite Ausführungsform>
(Beschreibung eines Computers, auf den die vorliegende Offenbarung angewandt wurde)
Eine Reihe von oben beschriebenen Prozessen kann durch Hardware implementiert werden oder kann durch Software implementiert werden. In einem Fall, in dem die Reihe von Prozessen durch Software implementiert wird, wird ein in der Software eingeschlossenes Programm in einem Computer installiert. Beispiele des Computers beinhalten hier einen Computer, der in dedizierter Hardware eingebaut ist, und einen Allzweck-PC oder dergleichen, der in der Lage ist, verschiedene Funktionen durch Installieren verschiedener Programme durchzuführen.
9 ist ein Blockschaltbild, das eine beispielhafte Ausbildung von Hardware eines Computers zeigt, der die oben beschriebene Reihe von Prozessen mittels eines Programms durchführt.
In einem Computer 200 sind eine zentrale Verarbeitungseinheit (CPU, Central Processing Unit) 201, ein Nur-Lese-Speicher (ROM, Read Only Memory) 202 und ein Direktzugriffsspeicher (RAM, Random Access Memory) 203 über einen Bus 204 miteinander verbunden.
Der Bus 204 ist ferner mit einer Eingabe-/Ausgabeschnittstelle 205 verbunden. Die Eingabe-/Ausgabeschnittstelle 205 ist mit einer Eingabeeinheit 206, einer Ausgabeeinheit 207, einer Speichereinheit 208, einer Kommunikationseinheit 209 und einem Laufwerk 210 verbunden.
Die Eingabeeinheit 206 weist eine Tastatur, eine Maus, ein Mikrofon und dergleichen auf. Die Ausgabeeinheit 207 weist eine Anzeige, einen Lautsprecher und dergleichen auf. Die Speichereinheit 208 weist eine Festplatte, einen nichtflüchtigen Speicher oder dergleichen auf. Die Kommunikationseinheit 209 weist eine Netzwerkschnittstelle und dergleichen auf. Das Laufwerk 210 steuert ein entfernbares Medium 211 an, wie beispielsweise eine Magnetplatte, eine optische Platte, eine magnetooptische Platte oder einen Halbleiterspeicher.
In dem wie oben beschrieben ausgebildeten Computer 200 lädt die CPU 201 ein Programm, das beispielsweise in der Speichereinheit 208 gespeichert ist, über die Eingabe-/Ausgabeschnittstelle 205 und den Bus 204 in das RAM 203 und führt das Programm aus, so dass die Reihe der oben beschriebenen Prozesse durchgeführt wird.
Ein Programm, das vom Computer 200 (CPU 201) ausgeführt werden soll, kann beispielsweise auf dem entfernbaren Medium 211 als ein Package-Medium oder dergleichen aufgezeichnet sein, um bereitgestellt zu werden. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium bereitgestellt werden, wie beispielsweise ein lokales Netzwerk, das Internet oder digitale Satellitenübertragung.
Im Computer 200 ist es möglich, das Programm über die Eingabe-/Ausgabeschnittstelle 205 in der Speichereinheit 208 zu installieren, indem das entfernbare Medium 211 auf dem Laufwerk 210 montiert wird. Ferner kann das Programm von der Kommunikationseinheit 209 über ein drahtgebundenes oder drahtloses Übertragungsmedium empfangen werden, um in der Speichereinheit 208 installiert zu werden. Zusätzlich kann das Programm im Voraus im ROM 202 oder in der Speichereinheit 208 installiert werden.
Es sei zu beachten, dass das Programm, das durch den Computer 200 auszuführen ist, ein Programm sein kann, das veranlasst, dass Prozesse in chronologischer Reihenfolge gemäß der in der vorliegenden Beschreibung beschriebenen Reihenfolge durchgeführt werden. Alternativ kann das Programm ein Programm sein, das veranlasst, dass Prozesse parallel oder zu einem erforderlichen Zeitpunkt durchgeführt werden, wie beispielsweise dem Zeitpunkt, zu dem ein Aufruf erfolgt.
<Anwendungsbeispiel>
Die Technik gemäß der vorliegenden Offenbarung kann auf verschiedene Produkte angewendet werden. Beispielsweise kann die Technik gemäß der vorliegenden Offenbarung als eine Vorrichtung implementiert sein, die an einem beliebigen Typ eines mobilen Objekts montiert werden soll, wie beispielsweise einem Automobil, einem Elektrofahrzeug, einem Hybrid-Elektrofahrzeug, einem Motorrad, einem Fahrrad, einer persönlichen Mobilität, einem Flugzeug, einer Drohne, einem Schiff, einem Roboter, einer Baumaschine oder einer landwirtschaftlichen Maschine (Traktor).
10 ist ein Blockschaltbild, das ein Beispiel einer schematischen Ausbildung eines Fahrzeugsteuersystems 7000 veranschaulicht, das ein Beispiel eines Steuersystems für ein mobiles Objekt ist, auf das die Technik gemäß der vorliegenden Offenbarung angewendet werden kann. Das Fahrzeugsteuersystem 7000 weist eine Mehrzahl von elektronischen Steuereinheiten auf, die über ein Kommunikationsnetzwerk 7010 verbunden sind. In dem in 10 gezeigten Beispiel weist das Fahrzeugsteuersystem 7000 eine Antriebssystem-Steuereinheit 7100, eine Karosseriesystem-Steuereinheit 7200, eine Batteriesteuereinheit 7300, eine fahrzeugexterne Informationsdetektionseinheit 7400, eine fahrzeuginterne Informationsdetektionseinheit 7500 und eine integrierte Steuereinheit 7600 auf. Das Kommunikationsnetzwerk 7010, das eine Mehrzahl der Steuereinheiten verbindet, kann beispielsweise ein On-Board-Kommunikationsnetzwerk sein, das einem beliebigen Standard entspricht, wie beispielsweise Controller Area Network (CAN), Local Interconnect Network (LIN), lokales Netzwerk (LAN, Local Area Network) oder FlexRay (eingetragene Marke).
Jede Steuereinheit weist einen Mikrocomputer, eine Speichereinheit und eine Ansteuerschaltung auf. Der Mikrocomputer führt eine arithmetische Verarbeitung gemäß verschiedenen Programmen durch. Die Speichereinheit speichert die Programme, die vom Mikrocomputer auszuführen sind, oder Parameter oder dergleichen, die für verschiedene Berechnungen zu verwenden sind. Die Ansteuerschaltung steuert zu steuernde Vorrichtungen in verschiedenen Steuerprozessen an. Jede Steuereinheit weist eine Netzwerkschnittstelle zum Kommunizieren mit einer anderen Steuereinheit über das Kommunikationsnetzwerk 7010 auf und weist auch eine Kommunikationsschnittstelle zum Kommunizieren mit beispielsweise einer Vorrichtung innerhalb oder außerhalb eines Fahrzeugs oder einem Sensor durch drahtgebundene Kommunikation oder drahtlose Kommunikation auf. Als eine funktionale Ausbildung der integrierten Steuereinheit 7600 zeigt 10 einen Mikrocomputer 7610, eine Allzweck-Kommunikationsschnittstelle 7620, eine dedizierte Kommunikationsschnittstelle 7630, eine Positionierungseinheit 7640, eine Beacon-Empfangseinheit 7650, eine fahrzeuginterne Vorrichtungsschnittstelle 7660, eine Sound-/Bildausgabeeinheit 7670, eine On-Board-Netzwerkschnittstelle 7680 und eine Speichereinheit 7690. Ähnlich weisen die anderen Steuereinheiten jeweils einen Mikrocomputer, eine Kommunikationsschnittstelle, eine Speichereinheit und dergleichen auf.
Die Antriebssystem-Steuereinheit 7100 steuert die Operation einer Vorrichtung, die sich auf ein Antriebssystem eines Fahrzeugs bezieht, gemäß verschiedenen Programmen. Beispielsweise fungiert die Antriebssystem-Steuereinheit 7100 als eine Steuervorrichtung für Vorrichtungen wie beispielsweise: eine Antriebskraft-Erzeugungsvorrichtung, wie beispielsweise einen Verbrennungsmotor oder einen Antriebsmotor, zum Erzeugen einer Antriebskraft für ein Fahrzeug; einen Antriebskraft-Übertragungsmechanismus zum Übertragen der Antriebskraft auf die Räder; einen Lenkmechanismus zum Anpassen des Lenkwinkels des Fahrzeugs; und eine Bremsvorrichtung zum Erzeugen einer Bremskraft für das Fahrzeug. Die Antriebssystem-Steuereinheit 7100 kann eine Funktion als Steuervorrichtung, wie beispielsweise ein Antiblockierbremssystem (ABS) oder eine elektronische Stabilitätskontrolle (ESC, Electronic Stability Control), aufweisen.
Die Antriebssystem-Steuereinheit 7100 ist mit einem Fahrzeugzustandsdetektor 7110 verbunden. Beispielsweise weist der Fahrzeugzustandsdetektor 7110 wenigstens einen auf von: einem Gyroskopsensor zum Detektieren der Winkelgeschwindigkeit der Achsendrehbewegung der Karosserie eines Fahrzeugs; einem Beschleunigungssensor zum Detektieren der Beschleunigung des Fahrzeugs; oder einem Sensor zum Detektieren der Betätigungsgröße eines Fahrpedals, der Betätigungsgröße eines Bremspedals, des Lenkwinkels eines Lenkrads, der Motordrehzahl, der Drehzahl eines Rades oder dergleichen. Die Antriebssystem-Steuereinheit 7100 führt eine arithmetische Verarbeitung unter Verwendung einer Signaleingabe vom Fahrzeugzustandsdetektor 7110 durch und steuert den Verbrennungsmotor, den Antriebsmotor, eine elektrische Servolenkungsvorrichtung, eine Bremsvorrichtung oder dergleichen.
Die Karosseriesystem-Steuereinheit 7200 steuert die Operation verschiedener Vorrichtungen, die an der Karosserie eines Fahrzeugs montiert sind, gemäß verschiedenen Programmen. Beispielsweise fungiert die Karosseriesystem-Steuereinheit 7200 als Steuervorrichtung für ein schlüsselloses Zugangssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung oder verschiedene Lampen, wie beispielsweise einen Frontscheinwerfer, eine Rückfahrleuchte, eine Bremsleuchte, eine Richtungsanzeige und einen Nebelscheinwerfer. In diesem Fall können Funkwellen, die von einer tragbaren Vorrichtung emittiert werden, die einen Schlüssel ersetzt, oder Signale verschiedener Schalter in die Karosseriesystem-Steuereinheit 7200 eingegeben werden. Die Karosseriesystem-Steuereinheit 7200 akzeptiert die Eingabe der Funkwellen oder Signale zum Steuern einer Türverriegelungsvorrichtung, der elektrischen Fensterhebervorrichtung, der Lampen und dergleichen des Fahrzeugs.
Die Batteriesteuereinheit 7300 steuert eine sekundäre Batterie 7310, die eine Stromversorgungsquelle des Antriebsmotors ist, gemäß verschiedenen Programmen. Beispielsweise werden Informationen von einer Batterievorrichtung, einschließlich der sekundären Batterie 7310, in die Batteriesteuereinheit 7300 eingegeben. Die Informationen schließen die Batterietemperatur, die Batterieausgabespannung, die verbleibende Batteriekapazität oder dergleichen ein. Die Batteriesteuereinheit 7300 führt eine arithmetische Verarbeitung unter Verwendung dieser Signale durch, um die Temperaturregulierung der sekundären Batterie 7310 zu steuern oder um eine Kühlvorrichtung und dergleichen, die in der Batterievorrichtung bereitgestellt wird, zu steuern.
Die fahrzeugexterne Informationsdetektionseinheit 7400 detektiert Informationen über die Außenseite eines Fahrzeugs, das mit dem Fahrzeugsteuersystem 7000 ausgestattet ist. Beispielsweise ist die fahrzeugexterne Informationsdetektionseinheit 7400 mit wenigstens einem von einer Bildgebungseinheit 7410 oder einem fahrzeugexternen Informationsdetektor 7420 verbunden. Die Bildgebungseinheit 7410 weist wenigstens eine von einer Time-of-Flight(ToF)-Kamera, einer Stereokamera, einer Monokularkamera, einer Infrarotkamera oder anderen Kameras auf. Der fahrzeugexterne Informationsdetektor 7420 weist wenigstens einen von beispielsweise einem Umgebungssensor zum Detektieren des aktuellen Wetters oder der aktuellen Wetterbedingungen oder einen Umgebungsinformationsdetektionssensor zum Detektieren eines anderen Fahrzeugs, eines Hindernisses, eines Fußgängers oder dergleichen um das mit dem Fahrzeugsteuersystem 7000 ausgerüstete Fahrzeug herum auf.
Der Umgebungssensor kann wenigstens einer von beispielsweise einem Regentropfensensor zum Detektieren von Regenwetter, einem Nebelsensor zum Detektieren von Nebel, einem Sonnenscheinsensor zum Detektieren des Grads der Sonneneinstrahlung oder einem Schneesensor zum Detektieren eines Schneefalls sein. Der Umgebungsinformationsdetektionssensor kann wenigstens eines von einem Ultraschallsensor, einer Radarvorrichtung oder einer Light-Detection-and-Ranging- oder Laser-Imaging-Detection-and-Ranging(LIDAR)-Vorrichtung sein. Sowohl die Bildgebungseinheit 7410 als auch der fahrzeugexterne Informationsdetektor 7420 können als ein unabhängiger Sensor oder eine unabhängige Vorrichtung bereitgestellt werden oder können als eine Vorrichtung bereitgestellt werden, in der eine Mehrzahl von Sensoren oder Vorrichtungen integriert wurden.
Hier zeigt 11 ein Beispiel von Installationspositionen der Bildgebungseinheit 7410 und des fahrzeugexternen Informationsdetektors 7420. Die Bildgebungseinheiten 7910, 7912, 7914, 7916 und 7918 werden an der Position von wenigstens einem von beispielsweise einer Frontnase, einem Seitenspiegel, einer hinteren Stoßstange, einer hinteren Tür oder einem oberen inneren Teil einer Windschutzscheibe eines Fahrzeugs 7900 bereitgestellt. Die Bildgebungseinheit 7910, die an der Frontnase bereitgestellt wird, und die Bildgebungseinheit 7918, die am oberen inneren Teil der Windschutzscheibe bereitgestellt wird, erhalten hauptsächlich Bilder von Ansichten vor dem Fahrzeug 7900. Die an den Seitenspiegeln bereitgestellten Bildgebungseinheiten 7912 und 7914 erhalten hauptsächlich Bilder von Ansichten von den Seiten des Fahrzeugs 7900. Die an der hinteren Stoßstange oder der hinteren Tür bereitgestellte Bildgebungseinheit 7916 erhält hauptsächlich ein Bild einer Rückansicht vom Fahrzeug 7900. Die am oberen inneren Teil der Windschutzscheibe bereitgestellte Bildgebungseinheit 7918 wird hauptsächlich zum Detektieren eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, eines Verkehrssignals, eines Verkehrsschilds, einer Fahrspur oder dergleichen verwendet.
Es sei zu beachten, dass 11 ein Beispiel für jeweilige Aufnahmebereiche der Bildgebungseinheiten 7910, 7912, 7914 und 7916 zeigt. Ein Bildgebungsbereich a zeigt den Bildgebungsbereich der Bildgebungseinheit 7910 an, die an der Frontnase bereitgestellt wird. Die Bildgebungsbereiche b und c zeigen die Bildgebungsbereiche der Bildgebungseinheiten 7912 und 7914 an, die an den jeweiligen Seitenspiegeln bereitgestellt werden. Ein Bildgebungsbereich d zeigt den Bildgebungsbereich der Bildgebungseinheit 7916 an, die an der hinteren Stoßstange oder der hinteren Tür bereitgestellt wird. Beispielsweise ist es möglich, ein Draufsichtsbild des Fahrzeugs 7900 von oben betrachtet durch Überlagern von Bilddaten von Bildern zu erhalten, die durch die Bildgebungseinheiten 7910, 7912, 7914 und 7916 erfasst werden.
Fahrzeugexterne Informationsdetektoren 7920, 7922, 7924, 7926, 7928 und 7930, die an der Vorderseite, der Rückseite, den Seiten und Ecken des Fahrzeugs 7900 und dem oberen inneren Teil der Windschutzscheibe des Fahrzeugs 7900 bereitgestellt werden, können beispielweise Ultraschallsensoren oder Radarvorrichtungen sein. Die fahrzeugexternen Informationsdetektoren 7920, 7926 und 7930, die an der Frontnase, der hinteren Stoßstange, der hinteren Tür und dem oberen inneren Teil der Windschutzscheibe des Fahrzeugs 7900 bereitgestellt werden, können beispielsweise LIDAR-Vorrichtungen sein. Die fahrzeugexternen Informationsdetektoren 7920 bis 7930 werden hauptsächlich zum Detektieren eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses oder dergleichen verwendet.
Unter Rückbezug auf 10 wird die Beschreibung fortgesetzt. Die fahrzeugexterne Informationsdetektionseinheit 7400 veranlasst die Bildgebungseinheit 7410, ein Bild von einer Ansicht außerhalb des Fahrzeugs zu erfassen, und empfängt Bilddaten des erfassten Bilds. Ferner empfängt die fahrzeugexterne Informationsdetektionseinheit 7400 Detektionsinformationen vom fahrzeugexternen Informationsdetektor 7420, der damit verbunden ist. In einem Fall, in dem der fahrzeugexterne Informationsdetektor 7420 ein Ultraschallsensor, eine Radarvorrichtung oder eine LIDAR-Vorrichtung ist, veranlasst die fahrzeugexterne Informationsdetektionseinheit 7400, dass der fahrzeugexterne Informationsdetektor 7420 Ultraschallwellen, elektromagnetische Wellen oder dergleichen emittiert, und empfängt Informationen über empfangene reflektierte Wellen. Basierend auf den empfangenen Informationen kann die fahrzeugexterne Informationsdetektionseinheit 7400 einen Prozess zum Detektieren eines Objekts, wie beispielsweise einer Person, eines Autos, eines Hindernisses, eines Schilds oder einer Figur auf einer Straßenoberfläche, oder einen Prozess zum Detektieren des Abstands davon durchführen. Die fahrzeugexterne Informationsdetektionseinheit 7400 kann einen Umgebungserkennungsprozess zum Erkennen von Regen, Nebel, Straßenoberflächenbedingungen oder dergleichen basierend auf den empfangenen Informationen durchführen. Die fahrzeugexterne Informationsdetektionseinheit 7400 kann den Abstand zu einem Objekt außerhalb des Fahrzeugs basierend auf den empfangenen Informationen berechnen.
Basierend auf den empfangenen Bilddaten kann die fahrzeugexterne Informationsdetektionseinheit 7400 ferner einen Bilderkennungsprozess zum Erkennen einer Person, eines Autos, eines Hindernisses, eines Schilds oder einer Figur auf einer Straßenoberfläche oder dergleichen oder einen Prozess zum Detektieren des Abstands davon durchführen. Die fahrzeugexterne Informationsdetektionseinheit 7400 kann einen Prozess einer Verzerrungskorrektur, Ausrichtung oder dergleichen an den empfangenen Bilddaten durchführen und auch die Bilddaten mit Bilddaten eines Bilds kombinieren, das von einer anderen Bildgebungseinheit 7410 erfasst wird, um ein Draufsichtsbild oder ein Panoramabild zu erzeugen. Die fahrzeugexterne Informationsdetektionseinheit 7400 kann einen Blickpunktumwandlungsprozess unter Verwendung von Bilddaten eines Bilds durchführen, das durch eine andere Bildgebungseinheit 7410 erfasst wird.
Die fahrzeuginterne Informationsdetektionseinheit 7500 detektiert Informationen über das Innere des Fahrzeugs. Die fahrzeuginterne Informationsdetektionseinheit 7500 ist beispielsweise mit einem Fahrerzustandsdetektor 7510 verbunden, der den Zustand eines Fahrers detektiert. Der Fahrerzustandsdetektor 7510 kann eine Kamera zum Erfassen eines Bilds eines Fahrers, einen biologischen Sensor zum Detektieren biologischer Informationen des Fahrers, ein Mikrofon zum Sammeln von Sound im Inneren des Fahrzeugs oder dergleichen aufweisen. Der biologische Sensor wird beispielsweise auf einer Sitzfläche, an einem Lenkrad oder dergleichen bereitgestellt und detektiert biologische Informationen eines Insassen, der auf einem Sitz sitzt, oder eines Fahrers, der das Lenkrad hält. Basierend auf den Detektionsinformationen, die vom Fahrerzustandsdetektor 7510 eingegeben werden, kann die fahrzeuginterne Informationsdetektionseinheit 7500 den Ermüdungsgrad oder den Konzentrationsgrad des Fahrers berechnen oder kann bestimmen, ob der Fahrer eingeschlafen ist oder nicht. Die fahrzeuginterne Informationsdetektionseinheit 7500 kann einen Prozess wie beispielsweise einen Rauschunterdrückungsprozess bei Soundsignalen des gesammelten Sounds durchführen.
Die integrierte Steuereinheit 7600 steuert die gesamte Operation im Fahrzeugsteuersystem 7000 gemäß verschiedenen Programmen. Die integrierte Steuereinheit 7600 ist mit einer Eingabeeinheit 7800 verbunden. Beispielsweise wird die Eingabeeinheit 7800 durch eine Vorrichtung, wie beispielsweise ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter oder einen Hebel, implementiert, die es einem Insassen ermöglicht, eine Eingabeoperation durchzuführen. Daten, die durch Spracherkennung von Spracheingaben über das Mikrofon erhalten werden, können in die integrierte Steuereinheit 7600 eingegeben werden. Die Eingabeeinheit 7800 kann beispielsweise eine Fernsteuervorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder kann eine extern verbundene Vorrichtung sein, wie beispielsweise ein Mobiltelefon oder ein persönlicher digitaler Assistent (PDA), der auf die Operation des Fahrzeugsteuersystems 7000 anwendbar ist. Die Eingabeeinheit 7800 kann beispielsweise eine Kamera sein. In einem derartigen Fall kann ein Insasse Informationen mit Gesten eingeben. Alternativ können Daten eingegeben werden, die durch Detektion der Bewegung einer tragbaren Vorrichtung erhalten werden, die von einem Insassen getragen werden. Darüber hinaus kann die Eingabeeinheit 7800 beispielsweise eine Eingabesteuerschaltung oder dergleichen aufweisen, die ein Eingabesignal basierend auf Informationen erzeugt, die von einem Insassen oder dergleichen unter Verwendung der oben beschriebenen Eingabeeinheit 7800 eingegeben werden, und das Eingabesignal an die integrierte Steuereinheit 7600 ausgibt. Ein Insasse oder dergleichen gibt verschiedene Daten ein oder gibt Anweisungen für eine Verarbeitungsoperation an das Fahrzeugsteuersystem 7000 durch Bedienen der Eingabeeinheit 7800.
Die Speichereinheit 7690 kann einen Nur-Lese-Speicher (ROM, Read Only Memory), der verschiedene Programme speichert, die von einem Mikrocomputer ausgeführt werden sollen, und einen Direktzugriffsspeicher (RAM, Random Access Memory), der verschiedene Parameter, Berechnungsergebnisse, Sensorwerte oder dergleichen speichert, aufweisen. Ferner kann die Speichereinheit 7690 durch eine magnetische Speichervorrichtung, wie beispielsweise ein Festplattenlaufwerk (HDD, Hard Disc Drive), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen implementiert sein.
Die Allzweck-Kommunikationsschnittstelle 7620 ist eine vielseitige Kommunikationsschnittstelle, die eine Kommunikation mit verschiedenen Vorrichtungen vermittelt, die in einer externen Umgebung 7750 vorhanden sind. Die Allzweck-Kommunikationsschnittstelle 7620 kann ein zellenbasiertes Kommunikationsprotokoll, wie beispielsweise Global System of Mobile Communications (GSM), WiMAX, Long Term Evolution (LTE) oder LTE-Advanced (LTE-A), oder ein anderes Protokoll für die drahtlose Kommunikation, wie beispielsweise ein drahtloses LAN (auch als Wi-Fi (eingetragene Marke) bezeichnet) oder Bluetooth (eingetragene Marke), implementieren. Die Allzweck-Kommunikationsschnittstelle 7620 kann mit einer Vorrichtung (beispielsweise einem Anwendungsserver oder einem Steuerungsserver), die in einem externen Netzwerk (beispielsweise dem Internet, einem Cloud-Netzwerk oder einem firmenspezifischen Netzwerk) vorhanden ist, beispielsweise über eine Basisstation oder einen Zugangspunkt verbunden sein. Ferner kann die Allzweck-Kommunikationsschnittstelle 7620 beispielsweise unter Verwendung der Peer-to-Peer(P2P)-Technologie mit einem in der Nähe des Fahrzeugs vorhandenen Endgeräts verbunden sein (beispielsweise einem Endgerät eines Fahrers, eines Fußgängers oder eines Geschäfts oder einem Machine-Type-Communication(MTC)-Endgerät) .
Die dedizierte Kommunikationsschnittstelle 7630 ist eine Kommunikationsschnittstelle, die ein Kommunikationsprotokoll unterstützt, das zur Verwendung in einem Fahrzeug formuliert ist. Beispielsweise kann die dedizierte Kommunikationsschnittstelle 7630 ein Standardprotokoll, wie beispielsweise Wireless Access in Vehicle Environment (WAVE), bei dem es sich um eine Kombination aus Lower Layer IEEE 802.11p und Higher Layer IEEE 1609 handelt, Dedicated Short Range Communications (DSRC) oder ein zellenbasiertes Kommunikationsprotokoll implementieren. Typischerweise führt die dedizierte Kommunikationsschnittstelle 7630 eine V2X-Kommunikation als ein Konzept durch, einschließlich einer oder mehrerer von Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation, Fahrzeug-zu-Haus-Kommunikation und Fahrzeug-zu-Fußgänger-Kommunikation.
Die Positionierungseinheit 7640 empfängt beispielsweise ein GNSS-Signal von einem Satelliten eines globalen Navigationssatellitensystems (GNSS) (beispielsweise ein GPS-Signal von einem Satelliten eines globalen Positionierungssystems (GPS)), um eine Positionierung durchzuführen, und erzeugt Positionsinformationen einschließlich des Breitengrads, des Längengrads und der Höhe des Fahrzeugs. Es sei zu beachten, dass die Positionierungseinheit 7640 einen aktuellen Standort durch Austauschen von Signalen mit einem drahtlosen Zugangspunkt bestimmen kann oder Positionsinformationen von einem Endgerät mit einer Positionierungsfunktion erhalten kann, wie beispielsweise ein Mobiltelefon, ein PHS oder ein Smartphone.
Beispielsweise empfängt die Beacon-Empfangseinheit 7650 Funkwellen oder elektromagnetische Wellen, die von einer auf einer Straße bereitgestellten Funkstation oder dergleichen emittiert werden, um Informationen über einen aktuellen Standort, einen Verkehrsstau, eine Straßensperrung, eine erforderliche Zeit oder dergleichen zu erhalten. Es sei zu beachten, dass die Funktion der Beacon-Empfangseinheit 7650 in der oben beschriebenen dedizierten Kommunikationsschnittstelle 7630 eingeschlossen sein kann.
Die fahrzeuginterne Vorrichtungsschnittstelle 7660 ist eine Kommunikationsschnittstelle, die eine Verbindung zwischen dem Mikrocomputer 7610 und verschiedenen fahrzeuginternen Vorrichtungen 7760 vermittelt, die im Fahrzeug vorhanden sind. Die fahrzeuginterne Vorrichtungsschnittstelle 7660 kann eine drahtlose Verbindung unter Verwendung eines drahtlosen Kommunikationsprotokolls, wie beispielsweise eines drahtlosen LANs, Bluetooth (eingetragene Marke), Near Field Communication (NFC) oder Wireless USB (WUSB), herstellen. Ferner kann die fahrzeuginterne Vorrichtungsschnittstelle 7660 eine drahtgebundene Verbindung, wie beispielsweise Universal Serial Bus (USB), High-Definition Multimedia Interface (HDMI) oder Mobile High-Definition Link (MHL), über einen Verbindungsanschluss (nicht gezeigt) (und ggf. ein Kabel) herstellen. Die fahrzeuginternen Vorrichtungen 7760 können wenigstens eine von beispielsweise einer mobilen Vorrichtung oder einer tragbaren Vorrichtung, die ein Insasse bei sich trägt, oder einer Informationsvorrichtung aufweisen, die im Fahrzeug mitgeführt oder daran befestigt werden soll. Ferner können die fahrzeuginternen Vorrichtungen 7760 eine Navigationsvorrichtung aufweisen, die eine Routensuche für ein beliebiges gegebenes Ziel durchführt. Die fahrzeuginterne Vorrichtungsschnittstelle 7660 tauscht Steuersignale oder Datensignale mit den fahrzeuginternen Vorrichtungen 7760 aus.
Die On-Board-Netzwerkschnittstelle 7680 ist eine Schnittstelle, die eine Kommunikation zwischen dem Mikrocomputer 7610 und dem Kommunikationsnetzwerk 7010 vermittelt. Die On-Board-Netzwerkschnittstelle 7680 sendet und empfängt Signale und dergleichen gemäß einem vorbestimmten Protokoll, das vom Kommunikationsnetzwerk 7010 unterstützt wird.
Der Mikrocomputer 7610 der integrierten Steuereinheit 7600 steuert das Fahrzeugsteuersystem 7000 gemäß verschiedenen Programmen basierend auf Informationen, die über wenigstens eine der Allzweck-Kommunikationsschnittstelle 7620, der dedizierten Kommunikationsschnittstelle 7630, der Positionierungseinheit 7640, der Beacon-Empfangseinheit 7650, der fahrzeuginternen Vorrichtungsschnittstelle 7660 oder der On-Board-Netzwerkschnittstelle 7680 erhalten werden. Beispielsweise kann der Mikrocomputer 7610 einen Steuerbefehl an die Antriebssystem-Steuereinheit 7100 ausgeben, indem er einen Steuerzielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung basierend auf den erhaltenen Informationen über das Innere und das Äußere des Fahrzeugs berechnet. Beispielsweise kann der Mikrocomputer 7610 eine kooperative Steuerung zum Zwecke der Implementierung einer Funktion eines fortgeschrittenen Fahrerassistenzsystems (ADAS, Advanced Driver Assistance System) durchführen, einschließlich Kollisionsvermeidung oder Aufprallminderung eines Fahrzeugs, Nachfahren basierend auf einem Abstand zwischen Fahrzeugen, Fahren mit einer konstanten Fahrzeuggeschwindigkeit, einer Fahrzeugkollisionswarnung, einer Warnung vor einer Abweichung von einer Fahrzeugspur oder dergleichen. Ferner kann der Mikrocomputer 7610 eine kooperative Steuerung zum Zwecke des automatischen Fahrens oder dergleichen durchführen, die es einem Fahrzeug ermöglicht, autonom zu fahren, ohne von der Betätigung des Fahrers abhängig zu sein, indem die Antriebskraft-Erzeugungsvorrichtung, der Lenkmechanismus, die Bremsvorrichtung oder dergleichen basierend auf den erhaltenen Informationen über die Umgebung des Fahrzeugs gesteuert wird.
Der Mikrocomputer 7610 kann Informationen über dreidimensionale Abstände zwischen dem Fahrzeug und umgebenden Objekten, wie beispielsweise Strukturen und Personen, erzeugen, um lokale Karteninformationen einschließlich Informationen über die Umgebung des aktuellen Standorts des Fahrzeugs basierend auf Informationen zu erstellen, die über wenigstens eine der Allzweck-Kommunikationsschnittstelle 7620, der dedizierten Kommunikationsschnittstelle 7630, der Positionierungseinheit 7640, der Beacon-Empfangseinheit 7650, der fahrzeuginternen Vorrichtungsschnittstelle 7660 oder der On-Board-Netzwerkschnittstelle 7680 erhalten werden. Ferner kann der Mikrocomputer 7610 basierend auf den erhaltenen Informationen eine Gefahr vorhersagen, wie beispielsweise Kollision mit einem Fahrzeug, Annäherung an einen Fußgänger oder dergleichen oder Einfahrt in eine für den Verkehr gesperrten Straße, um ein Warnsignal zu erzeugen. Das Warnsignal kann beispielsweise ein Signal zum Ertönen eines Alarms oder zum Einschalten einer Warnlampe sein.
Die Sound-/Bildausgabeeinheit 7670 sendet ein Ausgabesignal von wenigstens einem von Sound oder Bild an eine Ausgabevorrichtung, die in der Lage ist, Informationen visuell oder hörbar an einen Insassen des Fahrzeugs oder an die Außenseite des Fahrzeugs zu übermitteln. Im Beispiel von 10 sind als Beispiele der Ausgabevorrichtung ein Audiolautsprecher 7710, eine Anzeigeeinheit 7720 und eine Instrumententafel 7730 gezeigt. Die Anzeigeeinheit 7720 kann wenigstens eine von beispielsweise einer On-Board-Anzeige oder einer Head-Up-Anzeige aufweisen. Die Anzeigeeinheit 7720 kann eine Augmented-Reality(AR)-Anzeigefunktion aufweisen. Die Ausgabevorrichtung kann eine andere Vorrichtung als die oben beschriebenen Vorrichtungen sein. Beispiele der anderen Vorrichtung beinhalten einen Kopfhörer, eine tragbare Vorrichtung, wie beispielsweise eine brillenartige Anzeige, die ein Insasse trägt, einen Projektor und eine Lampe. In einem Fall, in dem die Ausgabevorrichtung eine Anzeigevorrichtung ist, zeigt die Anzeigevorrichtung visuell Ergebnisse, die durch verschiedene Prozesse, die vom Mikrocomputer 7610 durchgeführt werden, erhalten werden, oder Informationen, die von einer anderen Steuereinheit empfangen werden, in verschiedenen Formaten, wie beispielsweise einem Text, einem Bild, einer Tabelle und einer Grafik, an. In einem Fall, in dem die Ausgabevorrichtung eine Audioausgabevorrichtung ist, konvertiert die Audioausgabevorrichtung ferner ein Audiosignal, einschließlich wiedergegebener Audiodaten, akustischer Daten oder dergleichen, in ein analoges Signal, um das analoge Signal hörbar auszugeben.
Es sei zu beachten, dass in dem in 10 gezeigten Beispiel wenigstens zwei Steuereinheiten, die über das Kommunikationsnetzwerk 7010 verbunden sind, als eine einzelne Steuereinheit integriert werden können. Alternativ kann jede Steuereinheit eine Mehrzahl von Steuereinheiten aufweisen. Darüber hinaus kann das Fahrzeugsteuersystem 7000 eine andere nicht gezeigte Steuereinheit aufweisen. Ferner können einige oder alle Funktionen, die von einer beliebigen der Steuereinheiten in der obigen Beschreibung durchgeführt werden, von einer anderen Steuereinheit durchgeführt werden. Das heißt, solange Informationen über das Kommunikationsnetzwerk 7010 gesendet und empfangen werden, kann eine vorbestimmte arithmetische Verarbeitung durch eine beliebige der Steuereinheiten durchgeführt werden. Ähnlich kann ein Sensor oder eine Vorrichtung, der/die mit einer beliebigen der Steuereinheiten verbunden ist, mit einer anderen Steuereinheit verbunden werden, und eine Mehrzahl der Steuereinheiten können Detektionsinformationen über das Kommunikationsnetzwerk 7010 zueinander/voneinander senden/empfangen.
Es sei zu beachten, dass ein Computerprogramm zum Implementieren jeder Funktion des Bildverarbeitungssystems 10 gemäß der vorliegenden Ausführungsform, die unter Bezugnahme auf 1 bis 8 beschrieben wird, auf einer beliebigen der Steuereinheiten oder dergleichen installiert sein kann. Ferner ist es auch möglich, ein computerlesbares Aufzeichnungsmedium bereitzustellen, das ein derartiges Computerprogramm speichert. Beispiele des Aufzeichnungsmediums beinhalten eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, einen Flash-Speicher und dergleichen. Ferner kann das oben beschriebene Computerprogramm beispielsweise über ein Netzwerk ohne Verwendung eines Aufzeichnungsmediums geliefert werden.
In Bezug auf das oben beschriebene Fahrzeugsteuersystem 7000 kann das unter Bezugnahme auf 1 bis 8 beschriebene Bildverarbeitungssystem 10 gemäß der vorliegenden Ausführungsform auf das Fahrzeugsteuersystem 7000 des in 10 gezeigten Anwendungsbeispiels angewendet werden. Beispielsweise entspricht die Bildgebungsvorrichtung 11 der Bildgebungseinheit 7410. Die Codierungsvorrichtung 12 und die Decodierungsvorrichtung 13, miteinander integriert, entsprechen der integrierten Steuereinheit 7600. Die Anzeigevorrichtung 14 entspricht der Anzeigeeinheit 7720.
Ferner können wenigstens einige der Bestandteile der Codierungsvorrichtung 12 und der Decodierungsvorrichtung 13, die unter Bezugnahme auf 1 bis 8 beschrieben sind, in einem Modul (beispielsweise einem integrierten Schaltungsmodul mit einem einzelnen Die) für die integrierte Steuereinheit 7600 implementiert sein, die in 10 gezeigt ist. Alternativ kann das unter Bezugnahme auf 1 bis 8 beschriebene Bildverarbeitungssystem 10 durch die Mehrzahl von Steuereinheiten des in 10 gezeigten Fahrzeugsteuersystems 7000 implementiert werden.
Darüber hinaus bezieht sich das System in der vorliegenden Beschreibung auf einen Satz einer Mehrzahl von Bestandteilen (Vorrichtungen, Modulen (Teilen) und dergleichen), und es spielt keine Rolle, ob sich alle Bestandteile im selben Gehäuse befinden oder nicht. Daher sind eine Mehrzahl von Vorrichtungen, die in separaten Gehäusen untergebracht und über ein Netzwerk verbunden sind, und eine einzelne Vorrichtung, die eine Mehrzahl von Modulen aufweist, die in einem einzelnen Gehäuse untergebracht sind, beide Systeme.
Es sei zu beachten, dass die in der vorliegenden Beschreibung beschriebenen Effekte lediglich veranschaulichend und nicht einschränkend sind und andere Effekte erzielt werden können.
Ferner sind die Ausführungsformen der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Wesentlichen der vorliegenden Offenbarung abzuweichen.
Beispielsweise ist es in der vorliegenden Offenbarung möglich, eine Ausbildung von Cloud-Computing zu übernehmen, bei der eine Mehrzahl von Vorrichtungen eine einzelne Funktion gemeinsam nutzen und eine Verarbeitung in Zusammenarbeit miteinander über ein Netzwerk durchführen.
Ferner kann jeder Schritt, der in den oben beschriebenen Flussdiagrammen beschrieben ist, von einer einzelnen Vorrichtung durchgeführt werden oder kann von einer Mehrzahl von Vorrichtungen gemeinsam genutzt und durchgeführt werden.
Darüber hinaus können in einem Fall, in dem eine Mehrzahl von Prozessen in einem einzelnen Schritt eingeschlossen ist, die Mehrzahl von Prozessen, die in dem einzelnen Schritt eingeschlossen sind, von einer einzelnen Vorrichtung durchgeführt werden oder von einer Mehrzahl von Vorrichtungen gemeinsam genutzt und durchgeführt werden.
Es sei zu beachten, dass die vorliegende Offenbarung auch die folgenden Ausbildungen anwenden kann.
(1) Bildverarbeitungsvorrichtung, aufweisend:

eine Blickpunktbestimmungseinheit, die bestimmt, dass ein Kandidatenblickpunkt ein Blickpunkt eines Tiefenbilds eines 3D-Modells basierend auf dem 3D-Modell ist, das vom Kandidatenblickpunkt auf einen Bildschirm projiziert wird.

(2) Bildverarbeitungsvorrichtung nach (1) oben, wobei
die Blickpunktbestimmungseinheit dazu ausgebildet ist, zu bestimmen, dass der Kandidatenblickpunkt mit einer höheren Gleichförmigkeit von Flächen von Regionen auf dem Bildschirm, auf den jeweilige Polygone projiziert werden, die das 3D-Modell ausbilden, der Blickpunkt eines Tiefenbilds in einem Fall ist, in dem eine Anzahl von Blickpunkten von Farbbildern des 3D-Modells kleiner als eine Anzahl der Blickpunkte von Tiefenbildern ist.
(3) Bildverarbeitungsvorrichtung nach (1) oder (2) oben, wobei
die Blickpunktbestimmungseinheit dazu ausgebildet ist, zu bestimmen, dass der Kandidatenblickpunkt mit einer größeren Anzahl von Polygonen, die das 3D-Modell ausbilden, das auf den Bildschirm projiziert wird, der Blickpunkt eines Tiefenbilds in einem Fall ist, in dem eine Anzahl von Blickpunkten von Farbbildern des 3D-Modells größer als eine Anzahl der Blickpunkte von Tiefenbildern ist.
(4) Bildverarbeitungsvorrichtung, aufweisend:

eine Auswahleinheit, die ein Tiefenbild aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds auswählt; und
eine Erzeugungseinheit, die das Anzeigebild unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt, ausgewählt durch die Auswahleinheit, und einem Farbbild des 3D-Modells erzeugt.

(5) Bildverarbeitungsvorrichtung nach (4) oben, ferner aufweisend:

eine Prioritätsbestimmungseinheit, die die Priorität jedes der Mehrzahl von Blickpunkten basierend auf dem Blickpunkt des Anzeigebilds bestimmt,
wobei die Auswahleinheit dazu ausgebildet ist, das Tiefenbild aus dem vorbestimmten Blickpunkt basierend auf der Priorität, die durch die Prioritätsbestimmungseinheit bestimmt wird, und Ressourceninformationen der Bildverarbeitungsvorrichtung auszuwählen.

(6) Bildverarbeitungsvorrichtung nach (5) oben, wobei
die Prioritätsbestimmungseinheit dazu ausgebildet ist, die Priorität zu bestimmen, so dass einem Blickpunkt, der in Bezug auf eine Position oder einen Winkel näher am Blickpunkt des Anzeigebilds liegt, eine höhere Priorität zugewiesen wird.
(7) Bildverarbeitungsvorrichtung nach einem von (4) bis (6) oben, wobei
die Auswahleinheit dazu ausgebildet ist, ein Farbbild aus einem vorbestimmten Blickpunkt aus den Farbbildern aus einer Mehrzahl von Blickpunkten auszuwählen, und
die Erzeugungseinheit dazu ausgelegt ist, das Anzeigebild unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt und des Farbbilds aus dem vorbestimmten Blickpunkt zu erzeugen, ausgewählt von der Auswahleinhei t.
(8) Bildverarbeitungsverfahren, das von einer Bildverarbeitungsvorrichtung durchzuführen ist, das Verfahren aufweisend:

einen Auswahlschritt zum Auswählen eines Tiefenbilds aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds; und
einen Erzeugungsschritt zum Erzeugen des Anzeigebilds unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt, ausgewählt in einem Prozess des Auswahlschritts, und eines Farbbilds des 3D-Modells.

Bezugszeichenliste

12: Codierungsvorrichtung
13: Decodierungsvorrichtung
34: Rendering-Einheit
41: Blickpunktbestimmungseinheit
82: Prioritätsbestimmungseinheit
83: Auswahleinheit
91-0 bis 91-M: Virtuelle Kamera
100: Virtuelle Kamera
101: 3D-Modell

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Masayuki Tanimoto, „Realizing the Ultimate Visual Communication“, IEICE Technical Report, Communication Systems (CS), 110 (323), 73-78, 2010-11-25 [0025]

Claims

Bildverarbeitungsvorrichtung, aufweisend: eine Blickpunktbestimmungseinheit, die bestimmt, dass ein Kandidatenblickpunkt ein Blickpunkt eines Tiefenbilds eines 3D-Modells basierend auf dem 3D-Modell ist, das vom Kandidatenblickpunkt auf einen Bildschirm projiziert wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Blickpunktbestimmungseinheit dazu ausgebildet ist, zu bestimmen, dass der Kandidatenblickpunkt mit einer höheren Gleichförmigkeit von Flächen von Regionen auf dem Bildschirm, auf den jeweilige Polygone projiziert werden, die das 3D-Modell ausbilden, der Blickpunkt eines Tiefenbilds in einem Fall ist, in dem eine Anzahl von Blickpunkten von Farbbildern des 3D-Modells kleiner als eine Anzahl der Blickpunkte von Tiefenbildern ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Blickpunktbestimmungseinheit dazu ausgebildet ist, zu bestimmen, dass der Kandidatenblickpunkt mit einer größeren Anzahl von Polygonen, die das 3D-Modell ausbilden, das auf den Bildschirm projiziert wird, der Blickpunkt eines Tiefenbilds in einem Fall ist, in dem eine Anzahl von Blickpunkten von Farbbildern des 3D-Modells größer als eine Anzahl der Blickpunkte von Tiefenbildern ist.
Bildverarbeitungsvorrichtung, aufweisend: eine Auswahleinheit, die ein Tiefenbild aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds auswählt; und eine Erzeugungseinheit, die das Anzeigebild unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt, ausgewählt durch die Auswahleinheit, und einem Farbbild des 3D-Modells erzeugt.
Bildverarbeitungsvorrichtung nach Anspruch 4, ferner aufweisend: eine Prioritätsbestimmungseinheit, die die Priorität jedes der Mehrzahl von Blickpunkten basierend auf dem Blickpunkt des Anzeigebilds bestimmt, wobei die Auswahleinheit dazu ausgebildet ist, das Tiefenbild aus dem vorbestimmten Blickpunkt basierend auf der Priorität, die durch die Prioritätsbestimmungseinheit bestimmt wird, und Ressourceninformationen der Bildverarbeitungsvorrichtung auszuwählen.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Prioritätsbestimmungseinheit dazu ausgebildet ist, die Priorität zu bestimmen, so dass einem Blickpunkt, der in Bezug auf eine Position oder einen Winkel näher am Blickpunkt des Anzeigebilds liegt, eine höhere Priorität zugewiesen wird.
Bildverarbeitungsvorrichtung nach Anspruch 4, wobei die Auswahleinheit dazu ausgebildet ist, ein Farbbild aus einem vorbestimmten Blickpunkt aus den Farbbildern aus einer Mehrzahl von Blickpunkten auszuwählen, und die Erzeugungseinheit dazu ausgelegt ist, das Anzeigebild unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt und des Farbbilds aus dem vorbestimmten Blickpunkt zu erzeugen, ausgewählt von der Auswahleinheit.
Bildverarbeitungsverfahren, das von einer Bildverarbeitungsvorrichtung durchzuführen ist, das Verfahren aufweisend: einen Auswahlschritt zum Auswählen eines Tiefenbilds aus einem vorbestimmten Blickpunkt aus Tiefenbildern aus einer Mehrzahl von Blickpunkten eines 3D-Modells basierend auf einem Blickpunkt eines Anzeigebilds; und einen Erzeugungsschritt zum Erzeugen des Anzeigebilds unter Verwendung des Tiefenbilds aus dem vorbestimmten Blickpunkt, ausgewählt in einem Prozess des Auswahlschritts, und eines Farbbilds des 3D-Modells.