DE112021003549T5

DE112021003549T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112021003549T5
Application number: DE112021003549.5T
Authority: DE
Inventors: Keisuke Nakamura; Hiroshi Yamaguchi; Tsuyoshi Ishikawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-07-01
Filing date: 2021-05-31
Publication date: 2023-04-27
Also published as: US20230252722A1; CN116018619A; WO2022004234A1

Abstract

Die vorliegende Erfindung ermöglicht es beispielsweise, ein Rendering umzuschalten. Diese Informationsverarbeitungseinrichtung weist Folgendes auf: eine erste Bildverarbeitungseinheit, die ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert; und eine zweite Bildverarbeitungseinheit, die ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, wobei zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umgeschaltet werden können.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
STAND DER TECHNIK
Patentdokument 1 offenbart eine Technologie zum Durchführen einer Anzeigesteuerung durch Klassifizieren eines als dreidimensionales Modell gezeichneten Objekts und eines als zweidimensionales Video in Einheiten von Objekten angezeigten Objekts.
LISTE DER ANFÜHRUNGEN
PATENTDOKUMENT
Patentdokument 1: Japanisches Patent mit der Nr. 5483761
KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In der in Patentdokument 1 beschriebenen Technologie wird bestimmt, ob ein Objekt als dreidimensionales Modell gezeichnet oder ein Objekt als zweidimensionales Video in Einheiten von Objekten angezeigt werden soll, und somit ist es beispielsweise schwierig, eine Videodarstellung durchzuführen, bei der dasselbe Objekt aus einer zweidimensionalen Ebene in einen dreidimensionalen Raum hervorspringt.
Eine Aufgabe der vorliegenden Offenbarung besteht darin, eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm bereitzustellen, die in der Lage sind, ein vorbestimmtes Objekt in verschiedenen Rendering-Zuständen anzuzeigen und zwischen den verschiedenen Rendering-Zuständen umzuschalten.
LÖSUNGEN DER PROBLEME
Gemäß der vorliegenden Offenbarung wird beispielsweise
eine Informationsverarbeitungseinrichtung bereitgestellt, die Folgendes aufweist:

eine erste Bildverarbeitungseinheit, die ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert; und
eine zweite Bildverarbeitungseinheit, die ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt,
wobei zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.

Gemäß der vorliegenden Offenbarung wird beispielsweise
ein Informationsverarbeitungsverfahren bereitgestellt,
wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert,
eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und
zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.
Gemäß der vorliegenden Offenbarung wird beispielsweise
ein Programm bereitgestellt, das bewirkt, dass ein Computer ein Informationsverarbeitungsverfahren ausführt,
wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert,
eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und
zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.
Figurenliste

1 ist ein Diagramm, auf das zur Erläuterung einer die vorliegende Offenbarung betreffenden Technologie Bezug genommen wird.
2 ist ein Diagramm, auf das zur Erläuterung der die vorliegende Offenbarung betreffenden Technologie Bezug genommen wird.
3 ist ein Diagramm, auf das zur Erläuterung der die vorliegende Offenbarung betreffenden Technologie Bezug genommen wird.
4 ist ein Diagramm, auf das zur Erläuterung der die vorliegende Offenbarung betreffenden Technologie Bezug genommen wird.
5 ist ein Diagramm zur Erläuterung eines Konfigurationsbeispiels einer Informationsverarbeitungseinrichtung gemäß einer Ausführungsform.
6 ist ein Diagramm, auf das zur Erläuterung eines Betriebsbeispiels der Informationsverarbeitungseinrichtung gemäß der Ausführungsform Bezug genommen wird.
7 ist ein Diagramm, auf das zur Erläuterung eines Betriebsbeispiels der Informationsverarbeitungseinrichtung gemäß der Ausführungsform Bezug genommen wird.
8 ist ein Diagramm, auf das zur Erläuterung eines Betriebsbeispiels der Informationsverarbeitungseinrichtung gemäß der Ausführungsform Bezug genommen wird.
9 ist ein Diagramm, auf das zur Erläuterung eines Betriebsbeispiels der Informationsverarbeitungseinrichtung gemäß der Ausführungsform Bezug genommen wird.
10 ist ein Diagramm zur Erläuterung eines Betriebsbeispiels der Informationsverarbeitungseinrichtung gemäß der Ausführungsform.
11A und 11B sind Diagramme zur Erläuterung eines spezifischen Beispiels eines auf einer Anzeigeeinheit angezeigten Videos gemäß der Ausführungsform.
12A bis 12C sind Diagramme zur Erläuterung eines spezifischen Beispiels eines auf der Anzeigeeinheit angezeigten Videos gemäß der Ausführungsform.
13A und 13B sind Diagramme zur Erläuterung eines spezifischen Beispiels eines auf der Anzeigeeinheit angezeigten Videos gemäß der Ausführungsform.

AUSFÜHRUNGSWEISE DER ERFINDUNG
Das Folgende ist eine Beschreibung von Ausführungsformen und dergleichen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen. Es sei angemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
<Technologie im Zusammenhang mit der vorliegenden Offenbarung>
<Ausführungsform>
<Modifikationsbeispiel>
<Anwendungsbeispiel>
Die im Folgenden beschriebenen Ausführungsformen und dergleichen sind bevorzugte spezifische Beispiele der vorliegenden Offenbarung und der Inhalt der vorliegenden Offenbarung ist nicht auf diese Ausführungsformen und dergleichen beschränkt.
<Technologie im Zusammenhang mit der vorliegenden Offenbarung>
Zuerst wird, um das Verständnis der vorliegenden Offenbarung zu erleichtern, eine Technologie im Zusammenhang mit der vorliegenden Offenbarung beschrieben. Die nachstehend beschriebene Technologie im Zusammenhang mit der vorliegenden Offenbarung kann auf die vorliegende Offenbarung angewendet werden.
[Überblick über das Informationsverarbeitungssystem]
1 veranschaulicht einen Überblick über ein Informationsverarbeitungssystem, auf das die vorliegende Technologie angewendet wird. Eine Datenerfassungseinheit 1 erfasst Bilddaten zum Erzeugen eines 3D-Modells einer Zielperson. Beispielsweise werden, wie in 2 veranschaulicht, mehrere Standpunktbilder, die von mehreren Bildgebungsvorrichtungen 8B erfasst werden, die so angeordnet sind, dass sie eine Zielperson 8A umgeben, als Bilddaten erfasst. In diesem Fall handelt es sich bei den mehreren Standpunktbildern vorzugsweise um Bilder, die durch mehrere Kameras synchron aufgenommen werden. Ferner kann die Datenerfassungseinheit 1 beispielsweise mehrere Standpunktbilder, die durch bildliches Erfassen der Zielperson 8A aus mehreren Standpunkten durch eine Kamera erhalten werden, als Bilddaten erfassen. Ferner kann die Datenerfassungseinheit 1 beispielsweise ein aufgenommenes Bild der Zielperson 8A als Bilddaten erfassen. In diesem Fall erzeugt eine 3D-Modell-Erzeugungseinheit 2, die später beschrieben wird, ein 3D-Modell unter Verwendung von beispielsweise maschinellem Lernen.
Es sei angemerkt, dass die Datenerfassungseinheit 1 eine Kalibrierung auf Grundlage der Bilddaten durchführen und die internen Parameter und die externen Parameter jeder Bildgebungsvorrichtung 8B erfassen kann. Des Weiteren kann die Datenerfassungseinheit 1 beispielsweise mehrere Tiefeninformationselemente erfassen, die Entfernungen von Standpunkten an mehreren Orten zu der Zielperson 8A angeben.
Die 3D-Modell-Erzeugungseinheit 2 erzeugt ein Modell mit dreidimensionalen Informationen der Zielperson 8A auf Grundlage von Bilddaten zum Erzeugen eines 3D-Modells der Zielperson 8A. Die 3D-Modell-Erzeugungseinheit 2 erzeugt das 3D-Modell der Zielperson 8A zum Beispiel durch Schaben der dreidimensionalen Form der Zielperson 8A unter Verwendung von Bildern aus mehreren Standpunkten (zum Beispiel Silhouettenbildern aus mehreren Standpunkten) unter Verwendung einer sogenannten visuellen Hülle. In diesem Fall kann die 3D-Modell-Erzeugungseinheit 2 das unter Verwendung der visuellen Hülle erzeugte 3D-Modell mit hoher Genauigkeit unter Verwendung mehrerer Tiefeninformationselemente, die Entfernungen von Standpunkten an mehreren Orten zu der Zielperson 8A angeben, weiter verformen. Ferner kann die 3D-Modell-Erzeugungseinheit 2 beispielsweise das 3D-Modell der Zielperson 8A aus einem aufgenommenen Bild der Zielperson 8A erzeugen. Das durch die 3D-Modell-Erzeugungseinheit 2 erzeugte 3D-Modell kann auch als bewegtes Bild des 3D-Modells bezeichnet werden, wenn das 3D-Modell in Einheiten von Zeitreihenframes erzeugt wird. Ferner kann, da das 3D-Modell unter Verwendung eines durch die Bildgebungsvorrichtung 8B aufgenommen Bilds erzeugt wird, das 3D-Modell auch als Live-Action-3D-Modell bezeichnet werden. Das 3D-Modell kann Forminformationen ausdrücken, die die Oberflächenform der Zielperson 8A in Form von Netzdaten angeben, die beispielsweise durch eine Verbindung zwischen Eckpunkten ausgedrückt werden, die als Polygonnetz bezeichnet wird. Das Verfahren zum Ausdrücken des 3D-Modells ist nicht darauf beschränkt, und das 3D-Modell kann durch ein sogenanntes Punktwolkenausdruckverfahren beschrieben werden, das durch Punktpositionsinformationen ausgedrückt wird.
Farbinformationsdaten werden auch als Textur in Verbindung mit den 3D-Formdaten erzeugt. Beispielsweise gibt es einen Fall einer ansichtsunabhängigen Textur, bei der eine Farbe bei Betrachtung aus jeder Richtung konstant ist, und einen Fall einer ansichtsabhängigen Textur, bei der sich eine Farbe in Abhängigkeit von einer Betrachtungsrichtung ändert.
Eine Formatierungseinheit 3 (Codiereinheit) wandelt die durch die 3D-Modell-Erzeugungseinheit 2 erzeugten Daten des 3D-Modells in ein Format um, das zur Übertragung und Akkumulation geeignet ist. Beispielsweise kann das durch die 3D-Modell-Erzeugungseinheit 2 erzeugte 3D-Modell in mehrere zweidimensionale Bilder umgewandelt werden, indem eine perspektivische Projektion aus mehreren Richtungen durchgeführt wird. In diesem Fall können unter Verwendung des 3D-Modells Tiefeninformationen erzeugt werden, bei denen es sich um zweidimensionale Tiefenbilder aus mehreren Standpunkten handelt. Die Tiefeninformationen und die Farbinformationen des Zustands des zweidimensionalen Bilds werden komprimiert und an eine Übertragungseinheit 4 ausgegeben. Die Tiefeninformationen und die Farbinformationen können Seite an Seite als ein Bild übertragen werden oder können als zwei getrennte Bilder übertragen werden. Da sie in diesem Fall in Form von zweidimensionalen Bilddaten vorliegen, können sie unter Verwendung einer zweidimensionalen Komprimierungstechnologie wie Advanced Video Coding (AVC) komprimiert werden.
Außerdem können die 3D-Daten beispielsweise in ein Punktwolkenformat umgewandelt werden. Die dreidimensionalen Daten können an die Übertragungseinheit 4 ausgegeben werden. In diesem Fall kann beispielsweise eine in MPEG diskutierte dreidimensionale Komprimierungstechnologie eines geometriebasierten Ansatzes verwendet werden.
Die Übertragungseinheit 4 überträgt die durch die Formatierungseinheit 3 gebildeten Übertragungsdaten an eine Empfangseinheit 5. Die Übertragungseinheit 4 führt eine Reihe von Verarbeitungen der Datenerfassungseinheit 1, der 3D-Modell-Erzeugungseinheit 2 und der Formatierungseinheit 3 offline durch und überträgt dann die Übertragungsdaten an die Empfangseinheit 5. Darüber hinaus kann die Übertragungseinheit 4 die anhand der oben beschriebenen Verarbeitungsreihe erzeugten Übertragungsdaten in Echtzeit an die Empfangseinheit 5 übertragen.
Die Empfangseinheit 5 empfängt die von der Übertragungseinheit 4 übertragenen Übertragungsdaten.
Eine Rendering-Einheit 6 führt ein Rendering unter Verwendung der durch die Empfangseinheit 5 empfangenen Übertragungsdaten durch. Beispielsweise wird eine Texturabbildung durchgeführt, bei der ein Netz eines 3D-Modells aus einem Standpunkt einer Kamera projiziert wird, die das Netz zeichnet, und eine Textur, die eine Farbe oder ein Muster darstellt, eingefügt wird. Die Zeichnung kann zu diesem Zeitpunkt in beliebiger Weise eingestellt und unabhängig von der Kameraposition zum Zeitpunkt der Aufnahme eines Bilds von einem freien Standpunkt aus betrachtet werden.
Beispielsweise führt die Rendering-Einheit 6 eine Texturabbildung zum Einfügen einer Textur, die die Farbe, das Muster oder die Textur des Netzes gemäß der Position des Netzes des 3D-Modells darstellt, durch. Hinsichtlich der Texturabbildung gibt es ein sogenanntes ansichtsabhängiges Verfahren, bei dem der Betrachtungsstandpunkt des Benutzers berücksichtigt wird, und ein sogenanntes ansichtsunabhängiges Verfahren, bei dem der Betrachtungsstandpunkt des Benutzers nicht berücksichtigt wird. Da das ansichtsabhängige Verfahren die auf dem 3D-Modell einzufügende Textur gemäß der Position des Betrachtungsstandpunkts ändert, besteht ein Vorteil darin, dass im Vergleich zu dem ansichtsunabhängigen Verfahren ein Rendering mit hoher Qualität realisiert werden kann. Dagegen besteht, da das ansichtsunabhängige Verfahren die Position des Betrachtungspunkts nicht berücksichtigt, ein Vorteil darin, dass der Verarbeitungsaufwand im Vergleich zu dem ansichtsabhängigen Verfahren reduziert ist. Es sei angemerkt, dass die Betrachtungsstandpunktdaten von der Anzeigevorrichtung in die Rendering-Einheit 6 eingegeben werden, nachdem die Anzeigevorrichtung einen Betrachtungsstandort (Region von Interesse) des Benutzers detektiert hat. Darüber hinaus kann die Rendering-Einheit 6 zum Beispiel ein Anzeigetafel-Rendering zum derartigen Rendern eines Objekts, dass das Objekt eine vertikale Stellung in Bezug auf den Betrachtungsstandpunkt beibehält, verwenden. Wenn zum Beispiel mehrere Objekte gerendert werden, können Objekte von geringem Interesse für den Betrachter in einer Anzeigetafel gerendert werden, und andere Objekte können mit anderen Rendering-Verfahren gerendert werden.
Die Anzeigeeinheit 7 zeigt das durch die Rendering-Einheit 6 gerenderte Ergebnis auf der Anzeigeeinheit 7 der Anzeigevorrichtung an. Die Anzeigevorrichtung kann ein 2D-Monitor oder ein 3D-Monitor sein, beispielsweise ein Head-Mounted-Display, eine räumliche Anzeige, ein Mobiltelefon, ein Fernseher, ein PC oder dergleichen.
Das Informationsverarbeitungssystem in 1 veranschaulicht einen Flussablauf von der Datenerfassungseinheit 1, die ein aufgenommenes Bild erfasst, das ein Material zum Erzeugen von Inhalt ist, zu der Anzeigesteuereinheit, die die vom Benutzer betrachtete Anzeigevorrichtung steuert. Dies bedeutet jedoch nicht, dass alle Funktionsblöcke zur Implementierung der vorliegenden Technologie notwendig sind, und die vorliegende Technologie kann für jeden Funktionsblock oder eine Kombination aus mehreren Funktionsblöcken implementiert werden. Beispielsweise sind in 1 die Übertragungseinheit 4 und die Empfangseinheit 5 bereitgestellt, um einen Flussablauf von einer Inhaltserstellungsseite zu einer Inhaltsbetrachtungsseite durch die Verteilung von Inhaltsdaten zu veranschaulichen, jedoch ist es in einem Fall, in dem Inhaltserstellung zu -betrachtung durch dieselbe Informationsverarbeitungseinrichtung (beispielsweise einen Personal Computer) durchgeführt werden, nicht notwendig, die Codiereinheit, die Übertragungseinheit 4, die Decodiereinheit oder die Empfangseinheit 5 einzubeziehen.
Bei Implementierung des vorliegenden Informationsverarbeitungssystems kann derselbe Implementierer alle Prozesse implementieren, oder verschiedene Implementierer können jeden Funktionsblock implementieren. Beispielsweise erzeugt ein Unternehmen A 3D-Inhalte über die Datenerfassungseinheit 1, die 3D-Modellerzeugungseinheit 2 und die Formatierungseinheit 3. Dann ist es vorstellbar, dass der 3D-Inhalt über die Übertragungseinheit 4 (Plattform) eines Unternehmens B verteilt wird und die Anzeigevorrichtung eines Unternehmens C den Empfang, das Rendering und die Anzeigesteuerung des 3D-Inhalts durchführt.
Darüber hinaus kann jeder Funktionsblock in einer Cloud implementiert werden. Beispielsweise kann die Rendering-Einheit 6 in einer Anzeigevorrichtung implementiert sein oder kann durch einen Server implementiert sein. In diesem Fall werden Informationen zwischen der Anzeigevorrichtung und dem Server ausgetauscht.
In 1 werden die Datenerfassungseinheit 1, die 3D-Modell-Erzeugungseinheit 2, die Formatierungseinheit 3, die Übertragungseinheit 4, die Empfangseinheit 5, die Rendering-Einheit 6 und die Anzeigeeinheit 7 zusammen als Informationsverarbeitungssystem beschrieben. Das Informationsverarbeitungssystem der vorliegenden Beschreibung wird jedoch als Informationsverarbeitungssystem bezeichnet, wenn zwei oder mehr Funktionsblöcke beteiligt sind, und beispielsweise können die Datenerfassungseinheit 1, die 3D-Modell-Erzeugungseinheit 2, die Codiereinheit, die Übertragungseinheit 4, die Empfangseinheit 5, die Decodiereinheit und die Rendering-Einheit 6 zusammen als Informationsverarbeitungssystem bezeichnet werden, ohne die Anzeigeeinheit 7 einzuschließen.
[Verarbeitungsfluss des Informationsverarbeitungssystems]
Ein Beispiel eines Verarbeitungsflusses des Informationsverarbeitungssystems wird unter Bezugnahme auf ein Flussdiagramm von 3 beschrieben.
Wenn die Verarbeitung gestartet wird, erfasst die Datenerfassungseinheit 1 in Schritt S101 Bilddaten zum Erzeugen eines 3D-Modells der Zielperson 8A. In Schritt S102 erzeugt 3D-Modell-Erzeugungseinheit 2 ein Modell mit dreidimensionalen Informationen der Zielperson 8A auf Grundlage von Bilddaten zum Erzeugen eines 3D-Modells der Zielperson 8A. In Schritt S103 codiert die Formatierungseinheit 3 die Form- und Texturdaten des durch die 3D-Modell-Erzeugungseinheit 2 erzeugten Daten des 3D-Modells in ein Format, das zur Übertragung und Akkumulation geeignet ist. In Schritt S104 überträgt die Übertragungseinheit 4 die codierten Daten und in Schritt S105 empfängt die Empfangseinheit 5 die übertragenen Daten. In Schritt S106 führt die Decodiereinheit eine Decodierverarbeitung zum Umwandeln der Daten in zur Anzeige notwendige Form- und Texturdaten durch, und die Rendering-Einheit 6 führt ein Rendering unter Verwendung der Form- und Texturdaten durch. In Schritt S107 zeigt die Anzeigeeinheit 7 das Rendering-Ergebnis an. Wenn die Verarbeitung von Schritt S107 endet, endet die Verarbeitung des Informationsverarbeitungssystems.
4 ist ein Blockdiagramm, das ein Konfigurationsbeispiel der Hardware eines Computers veranschaulicht, der die oben beschriebene Reihe von Verarbeitungen durch ein Programm ausführt. In dem in 4 veranschaulichten Computer 4 sind eine zentrale Verarbeitungseinheit (CPU: Central Processing Unit) 11, ein Nurlesespeicher (ROM: Read Only Memory) 12 und ein Direktzugriffsspeicher (RAM: Random Access Memory) 13 über einen Bus 14 miteinander verbunden. Eine Eingabe/Ausgabe-Schnittstelle 15 ist auch mit dem Bus 14 verbunden. Eine Eingabeeinheit 16, eine Ausgabeeinheit 17, eine Speicherungseinheit 18, eine Kommunikationseinheit 19 und ein Laufwerk 20 sind mit der Eingabe/Ausgabe-Schnittstelle 15 verbunden. Die Eingabeeinheit 16 weist beispielsweise eine Tastatur, eine Maus, ein Mikrofon, ein Berührungsfeld, ein Eingabeterminal und dergleichen auf. Die Ausgabeeinheit 17 weist beispielsweise eine Anzeige, einen Lautsprecher, ein Ausgabeterminal und dergleichen auf. Die Speicherungseinheit 18 weist beispielsweise eine Festplatte, eine RAM-Disk, einen nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 19 weist beispielsweise eine Netzwerkschnittstelle auf. Das Laufwerk 20 treibt ein entfernbares Medium an, wie etwa eine magnetische Platte, eine optische Platte, eine magnetooptische Platte oder einen Halbleiterspeicher.
In dem wie oben beschrieben ausgebildeten Computer lädt beispielsweise die CPU 11 ein in der Speicherungseinheit gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 15 und den Bus 14 in den RAM 13 und führt das Programm aus, wodurch die oben beschriebene Reihe von Verarbeitungen durchgeführt wird. Der RAM 13 speichert außerdem zweckmäßig Daten, die für die CPU 11 zur Ausführung verschiedener Arten von Verarbeitung notwendig sind.
Das durch den Computer ausgeführte Programm kann beispielsweise angewendet werden, indem es auf einem entfernbaren Medium wie einem Paketmedium oder dergleichen aufgezeichnet wird. In diesem Fall kann das Programm über die Eingabe-/Ausgabeschnittstelle 15 in der Speicherungseinheit 18 installiert werden, indem das entfernbare Medium an das Laufwerk 20 angeschlossen wird. Ferner kann dieses Programm auch über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein Local Area Network (Lokalnetzwerk), das Internet oder digitalen Satellitenrundfunk, bereitgestellt werden. In diesem Fall kann das Programm durch die Kommunikationseinheit 19 empfangen und in der Speicherungseinheit 18 installiert werden.
<Ausführungsform>
[Konfigurationsbeispiel einer Informationsverarbeitungseinrichtung]
5 ist ein Diagramm zur Erläuterung eines Konfigurationsbeispiels der Informationsverarbeitungseinrichtung (Informationsverarbeitungseinrichtung 100) gemäß der ersten Ausführungsform. Die Informationsverarbeitungseinrichtung 100 kann zum Beispiel als Head-Mounted Display ausgebildet sein, das verwendet wird, indem es auf dem Kopf des Benutzers getragen wird. Die Informationsverarbeitungseinrichtung 100 kann als eine Anzeige einer anderen Form ausgebildet sein, beispielsweise als Brille.
Die Informationsverarbeitungseinrichtung 100 weist eine Benutzeroberflächenverarbeitungseinheit 101, eine Objektpositionssteuereinheit 102, eine erste Speicherungseinheit 103, eine 3D-Modell-Leseeinheit 104, eine 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105, eine 3D-Modell-Zeichnungseinheit 106, eine zweite Speicherungseinheit 107, eine Rendering-Einheit 108 und eine Anzeigeeinheit 109 auf.
Die Benutzeroberflächenverarbeitungseinheit 101 verarbeitet eine Bedienungseingabe in eine Bedienungseingabeeinheit (nicht veranschaulicht), wie etwa einen Controller. Beispielsweise detektiert, wenn eine Kopfverfolgung oder eine vorbestimmte Bedienung an dem Controller durchgeführt wird, die Benutzeroberflächenverarbeitungseinheit 101 die Bedienung und erzeugt ein der Bedienung entsprechendes Bedienungseingabesignal. Dann liefert die Benutzeroberflächenverarbeitungseinheit 101 das erzeugte Bedienungseingabesignal beispielsweise an die Objektpositionssteuereinheit 102.
Die Objektpositionssteuereinheit 102 steuert die Position eines Objekts in einem vorbestimmten virtuellen Raum auf Grundlage eines Bedienungseingabesignals von der Benutzeroberflächenverarbeitungseinheit 101. Insbesondere führt die Objektpositionssteuereinheit 102 auf Grundlage des Bedienungseingabesignals eine Steuerung durch, um die Position des Objekts in dem virtuellen Raum näher an die Benutzerposition in dem virtuellen Raum oder von dieser weg zu bringen.
Die erste Speicherungseinheit 103 speichert 3D-Modelldaten eines vorbestimmten Objekts. Als die erste Speicherungseinheit 103 kann eine magnetische Speichervorrichtung wie etwa ein Festplattenlaufwerk (HDD), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen angewendet werden.
Die 3D-Modell-Leseeinheit 104 liest die 3D-Modelldaten aus der ersten Speicherungseinheit 103.
Die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105, die ein Beispiel einer ersten Bildverarbeitungseinheit ist, projiziert ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum. Die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 projiziert zum Beispiel ein dreidimensionales Modell eines Objekts auf eine zweidimensionale Ebene. Es sei angemerkt, dass die zweidimensionale Ebene beispielsweise eine in einem virtuellen Raum angeordnete Anzeige ist. Durch die Verarbeitung durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 wird ein vorbestimmtes Objekt in 2D auf einer zweidimensionalen Ebene angezeigt. Der Anzeigezustand, der der Verarbeitung der 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 entspricht, ist der erste Rendering-Zustand.
Die 3D-Modell-Zeichnungseinheit 106, die ein Beispiel einer zweiten Bildverarbeitungseinheit ist, rendert ein dreidimensionales Modell in Bezug auf ein vorbestimmtes Objekt an einer Stelle, die keine zweidimensionale Ebene in einem virtuellen Raum ist.
Es sei angemerkt, dass die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 und die 3D-Modell-Zeichnungseinheit 106 basierend auf den Positionsinformationen des Objekts arbeiten, die von der Objektpositionssteuereinheit 102 geliefert werden. Obgleich Einzelheiten später beschrieben werden, können je nach Position des Objekts die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 und die 3D-Modell-Zeichnungseinheit 106 arbeiten oder es kann nur eine von ihnen arbeiten. Ferner kann die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 ein Objekt mit einer Größe, die den von der Objektpositionssteuereinheit 102 gelieferten Positionsinformationen des Objekts entspricht, auf eine zweidimensionale Ebene projizieren. In ähnlicher Weise kann die 3D-Modell-Zeichnungseinheit 106 auch ein Objekt (dreidimensionales Modell) rendern, das eine Größe aufweist, die den von der Objektpositionssteuereinheit 102 gelieferten Positionsinformationen entspricht.
Die zweite Speicherungseinheit 107 speichert Hintergrunddaten. Als die zweite Speicherungseinheit 107 kann eine magnetische Speichervorrichtung wie etwa ein HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen angewendet werden.
Die Rendering-Einheit 108 zeichnet den Hintergrund auf Grundlage der Hintergrunddaten in Bezug auf den von der 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 oder der 3D-Modell-Zeichnungseinheit 106 gezeichneten Vordergrund. Die Hintergrunddaten können beliebige Daten wie ein dreidimensionales Modell, ein omnidirektionales Bild oder ein omnidirektionales Video im virtuellen Raum sein.
Die Anzeigeeinheit 109 ist eine Anzeige, die ein Verarbeitungsergebnis durch die Rendering-Einheit 108 anzeigt.
[Betriebsbeispiel der Informationsverarbeitungseinrichtung]
(Überblick über den Betrieb)
Als Nächstes wird ein Betriebsbeispiel der Informationsverarbeitungseinrichtung 100 beschrieben. In der vorliegenden Ausführungsform werden der erste Rendering-Zustand und der zweite Rendering-Zustand gemäß der Position des Objekts im virtuellen Raum und der Position der zweidimensionalen Ebene umgeschaltet. Wie in 6 veranschaulicht, wird die Benutzerposition im virtuellen Raum als Benutzerposition UP bezeichnet. Eine Position einer zweidimensionalen Ebene (im Folgenden wird eine solche zweidimensionale Ebene als Anzeige beschrieben) im virtuellen Raum wird als Position DP bezeichnet. Die Position des Objekts OB ändert sich in Bezug auf die Benutzerposition UP. In dem veranschaulichten Beispiel ist das Objekt OB eine männliche Person, die Schlittschuh läuft, aber es kann auch ein geeignetes Objekt sein, das tanzt, rennt oder dergleichen. In der vorliegenden Ausführungsform ändert sich die Position des Objekts OB gemäß der Bedienungseingabe des Benutzers. Es versteht sich, dass sich die Position des Objekts OB im Verlauf des Videos gegebenenfalls ändern kann. Wie in 6 veranschaulicht, ist die Tiefenrichtung (z-Achse) in Bezug auf die Benutzerposition UP definiert. Die Größe der z-Koordinate auf der z-Achse wird größer, je näher sie der Benutzerposition UP kommt.
In einem Fall, in dem sich das Objekt OB an einem in 6 veranschaulichten Punkt A befindet, also auf der entfernten Seite von der Position DP der Anzeige, wird das Objekt OB im ersten Rendering-Zustand angezeigt. Das heißt, das Objekt OB wird in 2D auf der Anzeige angezeigt. Dann ändert sich beispielsweise die Position des Objekts OB gemäß der Benutzerbedienung von dem Punkt A zu einem Punkt B und dann zu einem Punkt C. In einem Fall, in dem die Position des Objekts OB größer wird als die Position DP der Anzeige, die die Grenzfläche ist, also in einem Fall, in dem sich das Objekt OB der Benutzerposition UP nähert, wird das Objekt OB im zweiten Rendering-Zustand angezeigt. Das heißt, das Objekt OB wird mit dem dreidimensionalen Modell gerendert. Ferner wird in einem Fall, in dem ein Teil des Objekts OB die Position DP der Anzeige überspannt, wie in der Position B in 6, der Teil des Objekts OB im zweiten Rendering-Zustand angezeigt, und der verbleibende Teil des Objekts OB wird im ersten Rendering-Zustand angezeigt. Auf diese Weise ist es durch Durchführen der Steuerung zum nahtlosen Umschalten des Rendering-Zustands gemäß der Änderung der Position des Objekts OB möglich, einen Videoausdruck zu realisieren, als ob das dreidimensionale Modell aus dem auf der Anzeige projizierten Video hervorspringt.
7 ist ein Diagramm, das die Anordnung einer virtuellen Kamera und eines Kegelstumpfs darstellt, die verwendet werden, wenn ein dreidimensionales Modell im ersten Rendering-Zustand auf eine Anzeige projiziert wird. Die Anordnungsposition der virtuellen Kamera ist vorzugsweise der Schwerpunkt der zu projizierenden Anzeige, und die Richtung ist vorzugsweise senkrecht zu der zu projizierenden Anzeige. Außerdem wird die Nahschnittebene des Kegelstumpfes der virtuellen Kamera auf Koordinaten eingestellt, die gleich den Koordinaten der Position DP der Anzeige sind.
Ein Betriebsbeispiel der Informationsverarbeitungseinrichtung 100 wird spezifisch unter Bezugnahme auf die in 8 und 9 veranschaulichten Sequenzdiagramme beschrieben. 8 veranschaulicht ein Beispiel, in dem sich die Position des Objekts OB von Punkt A zu Punkt B und dann zu Punkt C ändert, und im Gegensatz dazu veranschaulicht 9 ein Beispiel, bei dem sich die Position des Objekts OB von Punkt C zu Punkt B und dann zu Punkt A ändert.
Der Benutzer führt eine Bedienungseingabe durch, um die Position des Objekts OB näher zu bringen. Ein Bedienungseingabesignal, das einer solchen Bedienungseingabe entspricht, wird durch die Benutzeroberflächenverarbeitungseinheit 101 erzeugt, und das erzeugte Bedienungseingabesignal wird an die Objektpositionssteuereinheit 102 geliefert. Die Objektpositionssteuereinheit 102 bewegt die Position des auf der Anzeigeeinheit 109 angezeigten Objekts in einer Richtung, in der es sich dem Benutzer nähert, und überwacht, ob die Position des Objekts OB die Position DP der Anzeige überschreitet oder nicht. In dem vorliegenden Beispiel führt, da die Anfangsposition des Objekts OB der Punkt A ist und die Anfangsposition des Objekts OB kleiner als die Position DP der Anzeige ist, die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 eine Verarbeitung zum Anzeigen des Objekts OB im ersten Rendering-Zustand durch.
Die Objektpositionssteuereinheit 102 bewegt die Position des Objekts OB gemäß dem Bedienungseingabesignal. Dann benachrichtigt, falls ein Teil des Objekts OB den Punkt B erreicht und die Position DP der Anzeige überschreitet, die Objektpositionssteuereinheit 102 die 3D-Modell-Zeichnungseinheit 106 über diese Tatsache. Die 3D-Modell-Zeichnungseinheit 106 rendert einen Teil jenseits der Position DP der Anzeige mit dem 3D-Modell. Als Ergebnis wird der Teil jenseits der Position DP der Anzeige in dem Objekt OB mit dem 3D-Modell gerendert.
Ferner bewegt sich das Objekt OB von Punkt B zu Punkt C. In einem Fall, in dem die Koordinaten (Koordinaten in der Tiefenrichtung) des Punkts B, also alle Positionen des Objekts OB, größer werden als die Koordinaten der Position DP der Anzeige, benachrichtigt die Objektpositionssteuereinheit 102 die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 über diese Tatsache. Als Ergebnis wird die Verarbeitung durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 unterbrochen und nur die Verarbeitung durch die 3D-Modell-Zeichnungseinheit 106 wird durchgeführt. Daher werden alle Objekte OB mit dem 3D-Modell gerendert.
Umgekehrt führt der Benutzer eine Bedienungseingabe durch, um die Position des Objekts OB weg zu bewegen. Ein Bedienungseingabesignal, das einer solchen Bedienungseingabe entspricht, wird durch die Benutzeroberflächenverarbeitungseinheit 101 erzeugt, und das erzeugte Bedienungseingabesignal wird an die Objektpositionssteuereinheit 102 geliefert. Die Objektpositionssteuereinheit 102 bewegt die Position des auf der Anzeigeeinheit 109 angezeigten Objekts in einer Richtung, in der es sich von dem Benutzer entfernt, und überwacht, ob die Position des Objekts OB die Position DP der Anzeige überschreitet oder nicht. In dem vorliegenden Beispiel führt, da die Anfangsposition des Objekts OB der Punkt C ist und die Koordinaten (Koordinaten in der Tiefenrichtung) der Anfangsposition des Objekts OB größer sind als die Koordinaten der Position DP der Anzeige, die 3D-Modell-Zeichnungseinheit 106 eine Verarbeitung zum Anzeigen des Objekts OB im zweiten Rendering-Zustand durch.
Die Objektpositionssteuereinheit 102 bewegt die Position des Objekts OB gemäß dem Bedienungseingabesignal. Dann benachrichtigt, falls ein Teil des Objekts OB den Punkt B erreicht und die Position DP der Anzeige überschreitet, die Objektpositionssteuereinheit 102 die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 über diese Tatsache. Die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 projiziert den Teil jenseits der Position DP der Anzeige auf die Anzeige. Als Ergebnis wird ein Teil des Objekts OB im ersten Rendering-Zustand angezeigt.
Ferner bewegt sich das Objekt OB von Punkt B zu Punkt A. In einem Fall, in dem die Koordinaten des Punkts A, also die Koordinaten aller Positionen des Objekts OB kleiner werden als die Koordinaten der Position DP der Anzeige, benachrichtigt die Objektpositionssteuereinheit 102 die 3D-Modell-Zeichnungseinheit 106 über diese Tatsache. Als Ergebnis wird die Verarbeitung durch die 3D-Modell-Zeichnungseinheit 106 unterbrochen, und nur die Verarbeitung durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 wird durchgeführt. Daher werden alle Objekte OB als 2D-Modelle auf die Anzeige projiziert und angezeigt.
10 ist ein Flussdiagramm, das einen Verarbeitungsfluss veranschaulicht, der durch die Informationsverarbeitungseinrichtung 100 gemäß einer Ausführungsform durchgeführt wird. In Schritt S11 werden die 3D-Modelldaten des vorbestimmten Objekts durch die 3D-Modell-Leseeinheit 104 gelesen. Dann wird eine Verarbeitung zum Auswählen eines in dem dreidimensionalen Modell zu zeichnenden Polygons entsprechend den 3D-Modelldaten durchgeführt. Dann geht die Verarbeitung zu Schritt S12 über.
In Schritt S12 wird eine Verarbeitung zum Auswählen eines Pixels in dem in Schritt S11 ausgewählten Polygon (eine Verarbeitung, die als Rasterung bezeichnet wird) durchgeführt. Dann geht die Verarbeitung zu Schritt S13 über.
In Schritt S13 werden die Positionsinformationen des in Schritt S12 ausgewählten Pixels, insbesondere die z-Koordinate in der z-Achsenrichtung, die die Tiefeninformationen sind, erfasst. Dann geht die Verarbeitung zu Schritt S14 über.
In Schritt S14 wird bestimmt, ob die z-Koordinate des Pixels größer als die z-Koordinate des Grenzabschnitts, also der im virtuellen Raum angeordneten zweidimensionalen Ebene, ist oder nicht. Lautet das Bestimmungsergebnis Nein, so geht die Verarbeitung zu Schritt S15 über.
In Schritt S15 projiziert die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 das in Schritt S14 zu bestimmende Pixel auf eine zweidimensionale Ebene (erster Rendering-Zustand). Dann geht die Verarbeitung zu Schritt S17 über.
Lautet das Bestimmungsergebnis von Schritt S14 Ja, so geht die Verarbeitung zu Schritt S16 über. In Schritt S16 rendert die 3D-Modell-Zeichnungseinheit 106 das in Schritt S14 zu bestimmende Pixel als ein 3D-Modell (zweiter Rendering-Zustand). Dann geht die Verarbeitung zu Schritt S17 über.
In Schritt S17 wird bestimmt, ob alle Pixel in dem Polygon gezeichnet worden sind oder nicht. Wenn nicht alle Pixel gezeichnet sind, kehrt die Verarbeitung zu Schritt S13 zurück. Wurden alle Pixel gezeichnet, endet die Verarbeitung.
Unter den oben beschriebenen Verarbeitungen wird eine Verarbeitung in Bezug auf die Position (Schritte S11 bis S14 und S17) durch die Objektpositionssteuereinheit 102 durchgeführt, eine Verarbeitung in Schritt S15 wird durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 durchgeführt und eine Verarbeitung in Schritt S16 wird durch die 3D-Modell-Zeichnungseinheit 106 durchgeführt. Es versteht sich, dass dies ein Beispiel ist und ein geeigneter Funktionsblock, der in der Informationsverarbeitungseinrichtung 100 enthalten ist, die oben beschriebene Verarbeitung durchführen kann.
Auf diese Weise wird in der vorliegenden Ausführungsform in Einheiten von Pixeln von Polygonen, die das dreidimensionale Modell bilden, bestimmt, ob eine Anzeige in dem ersten Rendering-Zustand oder dem zweiten Rendering-Zustand durchzuführen ist.
[Spezifisches Anzeigebeispiel]
Als Nächstes wird ein spezifisches Beispiel des auf der Anzeigeeinheit 109 angezeigten Videos beschrieben.
Das durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 auf die zweidimensionale Ebene projizierte Video kann ein Video, das durch Rendern eines dreidimensionalen Modells mit einer einzelnen virtuellen Kamera erhalten wird, oder ein Video, das durch Rendern eines dreidimensionalen Modells mit einer linken und einer rechten virtuellen Kamera, die auf Grundlage des Augenabstands angeordnet sind, erhalten wird, sein. Gemäß letzterem ist es möglich, einen stereoskopischen Effekt zum Zeitpunkt des Projizierens eines Videos auf eine zweidimensionale Ebene beizubehalten. Außerdem ist es möglich, das unangenehme Gefühl zu reduzieren, das durch die Änderung des stereoskopischen Effekts verursacht wird, die zum Zeitpunkt des Umschaltens von dem ersten Rendering-Zustand in den zweiten Rendering-Zustand auftritt.
Das durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 auf die zweidimensionale Ebene projizierte Video kann ein im Voraus gespeichertes Video oder ein durch tatsächliche Bildgebung erhaltenes Video sein. Beispielsweise wird im ersten Rendering-Zustand ein durch die tatsächliche Kamera aufgenommenes Live-Action-Video angezeigt. Im zweiten Rendering-Zustand wird das volumetrische Video angezeigt. Zu diesem Zeitpunkt wird das im ersten Rendering-Zustand verwendete Video so ausgewählt, dass es nahe an dem Standpunkt liegt, von dem aus der Benutzer das 3D-Modell des volumetrischen Videos im zweiten Rendering-Zustand betrachtet. Volumetrisches Video bedeutet Video, das ein dreidimensionales Modell verwendet, das durch bildliches Erfassen einer Zielperson mit Kameras mehrerer Standpunkte und dreidimensionales Rekonstruieren der Zielperson unter Verwendung der Bildgebungsinformationen und des Bildgebungsergebnisses erhalten wird.
Ferner wird ein Beispiel des Umschaltens von dem in 11A veranschaulichten ersten Rendering-Zustand zu dem in 11B veranschaulichten zweiten Rendering-Zustand betrachtet. Wie in 11A veranschaulicht, wird das Objekt OB auf der im virtuellen Raum angeordneten Anzeige 30 im ersten Rendering-Zustand projiziert und angezeigt. Auf der Anzeige 30 wird ein Video angezeigt, in dem der Hintergrund (zum Beispiel ein Eisring) zusammen mit dem Objekt OB überlagert ist. Die Hintergrundüberlagerungsverarbeitung wird zum Beispiel durch die Rendering-Einheit 108 durchgeführt, kann jedoch auch durch die 2D-Bewegtbild-Zeichnungs-/Projektionseinheit 105 durchgeführt werden. Ferner kann in dem in 11B veranschaulichten zweiten Rendering-Zustand der Hintergrund kontinuierlich auf der Anzeige 30 angezeigt werden.
Ferner wird ein Beispiel des Umschaltens von dem in 12A veranschaulichten ersten Rendering-Zustand zu dem in 12B veranschaulichten zweiten Rendering-Zustand betrachtet. In diesem Fall kann, nachdem der Rendering-Zustand zu dem zweiten Rendering-umgeschaltet wurde, das Zeichnen auf der Anzeige 30 unterbrochen werden und die Anzeige 30 kann gelöscht werden, wie in 12C veranschaulicht.
Ferner wird ein Beispiel des Umschaltens von dem in 13A veranschaulichten ersten Rendering-Zustand zu dem in 13B veranschaulichten zweiten Rendering-Zustand betrachtet. In diesem Fall kann in dem in 13B veranschaulichten zweiten Rendering-Zustand ein Objekt (ein Objekt OBA in 13B), das sich von dem Objekt OB unterscheidet und das im ersten Rendering-Zustand nicht auf die Anzeige 30 projiziert wurde, als dreidimensionales Modell gerendert werden. Eine solche Verarbeitung wird zum Beispiel durch die 3D-Modell-Zeichnungseinheit 106 durchgeführt.
<Modifikationsbeispiel>
Obgleich eine Ausführungsform der vorliegenden Offenbarung oben spezifisch beschrieben wurde, ist der Inhalt der vorliegenden Offenbarung nicht auf die oben beschriebene Ausführungsform beschränkt, und verschiedene Modifikationen auf Grundlage der technischen Idee der vorliegenden Offenbarung sind möglich.
In der oben beschriebenen Ausführungsform kann das anzuzeigende Objekt ein allgemeines dreidimensionales Modell sein oder kann ein dreidimensionales Modell sein, das durch Bildgebung einer Zielperson mit Kameras mehrerer Standpunkte und dreidimensionales Rekonstruieren des Objekts unter Verwendung der Bildgebungsinformationen und des Bildgebungsergebnisses erhalten wird. Ferner kann im ersten Rendering-Zustand die Form der zweidimensionalen Ebene, die das Projektionsziel sein soll, ein Rechteck sein, wie in einer Ausführungsform beschrieben, oder kann eine beliebige Form wie ein Polygon oder ein Kreis sein. Ferner kann als die zweidimensionale Ebene eine Vorrichtung verwendet werden, die tatsächlich ein zweidimensionales Video anzeigt, wie etwa ein Fernseher oder ein Projektorbildschirm. Ferner drei oder mehr Rendering-Zustände umschaltbar sein.
Einige der Konfigurationen und Funktionen der Informationsverarbeitungseinrichtung gemäß den oben beschriebenen Ausführungsformen können in einer Vorrichtung (zum Beispiel einer Servervorrichtung oder dergleichen in einem Netzwerk) vorhanden sein, die sich von der Informationsverarbeitungseinrichtung unterscheidet. Beispielsweise kann die erste Speicherungseinheit 103 oder die zweite Speicherungseinheit 107 eine Servervorrichtung sein, die über ein Netzwerk mit der Informationsverarbeitungseinrichtung verbindbar ist.
Darüber hinaus kann das Programm zum Umsetzen der oben beschriebenen Funktionen beispielsweise in einer beliebigen Vorrichtung ausgeführt werden. In diesem Fall ist es nur erforderlich, dass die Vorrichtung über notwendige Funktionsblöcke verfügt und notwendige Informationen erhalten kann. Darüber hinaus kann beispielsweise jeder Schritt eines Flussdiagramms durch eine Vorrichtung ausgeführt werden oder kann durch mehrere Vorrichtungen geteilt und ausgeführt werden. Ferner können in einem Fall, in dem mehrere Verarbeitungsteile in einem Schritt enthalten sind, die mehreren Verarbeitungsteile von durch eine Vorrichtung ausgeführt werden oder durch mehrere Vorrichtungen geteilt und ausgeführt werden. Anders ausgedrückt können mehrere in einem Schritt enthaltene Prozesse auch als Verarbeitung mehrerer Schritte ausgeführt werden. Umgekehrt kann die Verarbeitung, die als mehrere Schritte beschrieben ist, zusammengenommen als ein Schritt ausgeführt werden.
Darüber hinaus kann beispielsweise in dem durch den Computer ausgeführten Programm die Verarbeitung von das Programm beschreibenden Schritten in Zeitreihe in der in der vorliegenden Beschreibung beschriebenen Reihenfolge ausgeführt werden oder kann parallel oder einzeln zu erforderlichen Zeitpunkten, wie etwa wenn ein Aufruf erfolgt, ausgeführt werden. Das heißt, solange es keinen Widerspruch gibt, kann die Verarbeitung jedes Schritts in einer Reihenfolge ausgeführt werden, die sich von der oben beschriebenen Reihenfolge unterscheidet. Zudem kann die Verarbeitung von Schritten, die dieses Programm beschreiben, parallel zur Verarbeitung eines anderen Programms ausgeführt werden oder in Kombination mit der Verarbeitung eines anderen Programms ausgeführt werden. Darüber hinaus können beispielsweise mehrere Technologien, die mit der vorliegenden Technologie im Zusammenhang stehen, unabhängig voneinander als ein einziger Körper implementiert werden, solange es keinen Widerspruch gibt. Es versteht sich, dass beliebige der mehreren vorliegenden Technologien in Kombination implementiert werden können. Zum Beispiel können einige oder alle der in einer beliebigen Ausführungsform beschriebenen vorliegenden Technologien in Kombination mit einigen oder allen der in anderen Ausführungsformen beschriebenen vorliegenden Technologien implementiert werden. Ferner können einige oder alle von beliebigen der oben beschriebenen vorliegenden Technologien in Kombination mit anderen, oben nicht beschriebenen Technologien implementiert werden.
Es sei angemerkt, dass die Inhalte der vorliegenden Offenbarung nicht so auszulegen sind, dass sie durch die in der vorliegenden Beschreibung beispielhaft dargestellten Wirkungen beschränkt sind.
Die vorliegende Offenbarung kann auch die folgenden Konfigurationen annehmen.

(1) Eine Informationsverarbeitungseinrichtung, die Folgendes umfasst:
- eine erste Bildverarbeitungseinheit, die ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert; und
- eine zweite Bildverarbeitungseinheit, die ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt,
- wobei zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.
(2) Die Informationsverarbeitungseinrichtung nach (1), wobei die erste Bildverarbeitungseinheit ein Video, das durch Rendern des dreidimensionalen Modells mit einer einzelnen virtuellen Kamera erhalten wird, oder ein Video, das durch Rendern des dreidimensionalen Modells mit einer linken und einer rechten virtuellen Kamera, die auf Grundlage eines Augenabstands angeordnet sind, erhalten wird, auf die zweidimensionale Ebene projiziert.
(3) Die Informationsverarbeitungseinrichtung nach (1) oder (2), wobei die erste Bildverarbeitungseinheit ein durch tatsächliche Bildgebung erhaltenes Video auf die zweidimensionale Ebene projiziert.
(4) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (3), wobei die zweite Bildverarbeitungseinheit das Objekt und ein sich von dem Objekt unterscheidendes Objekt an einer Stelle, bei der es sich nicht um die zweidimensionale Ebene im virtuellen Raum handelt, im zweiten Rendering-Zustand rendert.
(5) Die Informationsverarbeitungseinrichtung nach (2) oder (3), wobei im ersten Rendering-Zustand ein Video, dem ferner ein Hintergrund überlagert ist, auf die zweidimensionale Ebene projiziert wird.
(6) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (5), wobei im zweiten Rendering-Zustand ein Video nur eines Hintergrunds auf die zweidimensionale Ebene projiziert wird.
(7) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (6), wobei die zweidimensionale Ebene im ersten Rendering-Zustand angezeigt wird und die zweidimensionale Ebene im zweiten Rendering-Zustand gelöscht wird.
(8) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (7), wobei der erste Rendering-Zustand und der zweite Rendering-Zustand gemäß der Position des Objekts im virtuellen Raum und der Position der zweidimensionalen Ebene umgeschaltet werden.
(9) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (8), wobei sich eine Position des Objekts in Bezug auf eine Benutzerposition im virtuellen Raum gemäß einer Benutzerbedienung ändert.
(10) Die Informationsverarbeitungseinrichtung nach einem von (1) bis (9), wobei in Einheiten von Pixeln von Polygonen, die das dreidimensionale Modell bilden, bestimmt wird, ob eine Anzeige in dem ersten Rendering-Zustand oder dem zweiten Rendering-Zustand durchzuführen ist.
(11) Ein Informationsverarbeitungsverfahren, wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert, eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.
(12) Ein Programm, das bewirkt, dass ein Computer ein Informationsverarbeitungsverfahren ausführt, wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert, eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich des vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.

<Anwendungsbeispiel>
Die Technologie gemäß der vorliegenden Offenbarung kann auf verschiedene Produkte und Dienste angewendet werden.
(Produktion von Inhalt)
Beispielsweise kann ein neuer Videoinhalt produziert werden, indem das in der oben beschriebenen Ausführungsform erzeugte 3D-Modell der Zielperson mit 3D-Daten, die von einem anderen Server verwaltet werden, kombiniert wird. Darüber hinaus kann beispielsweise in einem Fall, in dem durch eine Bildgebungsvorrichtung wie LiDAR erfasste Hintergrunddaten vorhanden sind, ein Inhalt, als ob sich die Zielperson an einem durch die Hintergrunddaten angegebenen Ort befindet, durch Kombinieren des in der oben beschriebenen Ausführungsform erzeugten 3D-Modells der Zielperson und der Hintergrunddaten produziert werden. Es sei angemerkt, dass der Videoinhalt ein dreidimensionaler Videoinhalt oder ein zweidimensionaler Videoinhalt, der in zwei Dimensionen umgewandelt wurde, sein kann. Es sei angemerkt, dass Beispiele des in der oben beschriebenen Ausführungsform erzeugten 3D-Modells der Zielperson ein durch die 3D-Modell-Erzeugungseinheit 2 erzeugtes 3D-Modell und ein durch die Rendering-Einheit 6 rekonstruiertes 3D-Modell aufweisen.
(Erlebnis im virtuellen Raum)
Beispielsweise kann die in der vorliegenden Ausführungsform erzeugte Zielperson (beispielsweise ein Darsteller) in einem virtuellen Raum angeordnet werden, der ein Ort ist, an dem der Benutzer als Avatar kommuniziert. In diesem Fall wird der Benutzer zu einem Avatar und kann die Zielperson des Live-Action-Bilds im virtuellen Raum betrachten.
(Anwendung auf Kommunikation mit entferntem Standort)
Beispielsweise kann durch Übertragen des durch die 3D-Modell-Erzeugungseinheit 2 erzeugten 3D-Modells der Zielperson von der Übertragungseinheit 4 zu einem entfernten Ort ein Benutzer an dem entfernten Ort das 3D-Modell der Zielperson durch eine Wiedergabevorrichtung an dem entfernten Ort betrachten. Beispielsweise können durch Übertragen des 3D-Modells der Zielperson in Echtzeit die Zielperson und der Benutzer an dem entfernten Ort in Echtzeit miteinander kommunizieren. Es wird beispielsweise ein Fall, in dem die Zielperson ein Lehrer und der Benutzer ein Student ist, oder ein Fall, in dem die Zielperson ein Arzt und der Benutzer ein Patient ist, angenommen.
(Andere)
Beispielsweise kann ein Video mit freiem Standpunkt eines Sports oder dergleichen auf Grundlage der in der oben beschriebenen Ausführungsform erzeugten 3D-Modelle der mehreren Zielpersonen erzeugt werden, oder eine Einzelperson kann sich selbst, wobei es sich um das in der oben beschriebenen Ausführungsform erzeugte 3D-Modell handelt, an die Verteilungsplattform verteilen. Wie oben beschrieben, können die Inhalte in den in der vorliegenden Beschreibung beschriebenen Ausführungsformen auf verschiedene Technologien und Dienste angewendet werden.
Bezugszeichenliste

100: Informationsverarbeitungseinrichtung
105: 2D-Bewegtbild-Zeichnungs-/Projektionseinheit
106: 3D-Modell-Zeichnungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5483761 [0003]

Claims

Informationsverarbeitungseinrichtung, die Folgendes aufweist: eine erste Bildverarbeitungseinheit, die ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert; und eine zweite Bildverarbeitungseinheit, die ein dreidimensionales Modell bezüglich eines vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, wobei zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umschaltbar sind.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die erste Bildverarbeitungseinheit ein Video, das durch Rendern des dreidimensionalen Modells mit einer einzelnen virtuellen Kamera erhalten wird, oder ein Video, das durch Rendern des dreidimensionalen Modells mit einer linken und einer rechten virtuellen Kamera, die auf Grundlage eines Augenabstands angeordnet sind, erhalten wird, auf die zweidimensionale Ebene projiziert.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die erste Bildverarbeitungseinheit ein durch tatsächliche Bildgebung erhaltenes Video auf die zweidimensionale Ebene projiziert.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die zweite Bildverarbeitungseinheit das Objekt und ein sich von dem Objekt unterscheidendes Objekt an einer Stelle, bei der es sich nicht um die zweidimensionale Ebene im virtuellen Raum handelt, im zweiten Rendering-Zustand rendert.
Informationsverarbeitungseinrichtung nach Anspruch 2, wobei im ersten Rendering-Zustand ein Video, dem ferner ein Hintergrund überlagert ist, auf die zweidimensionale Ebene projiziert wird.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei im zweiten Rendering-Zustand ein Video nur eines Hintergrunds auf die zweidimensionale Ebene projiziert wird.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die zweidimensionale Ebene im ersten Rendering-Zustand angezeigt wird und die zweidimensionale Ebene im zweiten Rendering-Zustand gelöscht wird.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der erste Rendering-Zustand und der zweite Rendering-Zustand gemäß der Position des Objekts im virtuellen Raum und der Position der zweidimensionalen Ebene umgeschaltet werden.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei sich eine Position des Objekts in Bezug auf eine Benutzerposition im virtuellen Raum gemäß einer Benutzerbedienung ändert.
Informationsverarbeitungseinrichtung nach Anspruch 1, wobei in Einheiten von Pixeln von Polygonen, die das dreidimensionale Modell bilden, bestimmt wird, ob eine Anzeige in dem ersten Rendering-Zustand oder dem zweiten Rendering-Zustand durchzuführen ist.
Informationsverarbeitungsverfahren, wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert, eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich eines vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umgeschaltet werden.
Programm, das bewirkt, dass ein Computer ein Informationsverarbeitungsverfahren ausführt, wobei eine erste Bildverarbeitungseinheit ein vorbestimmtes Objekt auf eine zweidimensionale Ebene in einem virtuellen Raum projiziert, eine zweite Bildverarbeitungseinheit ein dreidimensionales Modell bezüglich eines vorbestimmten Objekts an einer Stelle rendert, bei der es sich nicht um die zweidimensionale Ebene in dem virtuellen Raum handelt, und zumindest ein erster Rendering-Zustand durch die erste Bildverarbeitungseinheit und ein zweiter Rendering-Zustand durch die zweite Bildverarbeitungseinheit umgeschaltet werden.