DE112018006939T5

DE112018006939T5 - Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren

Info

Publication number: DE112018006939T5
Application number: DE112018006939.7T
Authority: DE
Inventors: Nobuaki Izumi
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-01-25
Filing date: 2018-10-25
Publication date: 2020-10-08
Also published as: CN111656409A; US20200359007A1; WO2019146194A1; US11317082B2

Abstract

[Problem] Bereitstellen einer Informationsverarbeitungsvorrichtung und eines Informationsverarbeitungsverfahrens. [Lösung] Diese Informationsverarbeitungsvorrichtung wird bereitgestellt mit: einer Empfangseinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last empfängt; und einer Sendeeinheit, die in Reaktion auf die Anforderung dreidimensionale Formdaten, die eine Anzahl von Vertices gemäß den Lastinformationen aufweisen, und einen Datensatz von Texturdaten für das linke Auge und Texturdaten für das rechte Auge, die den dreidimensionalen Formdaten entsprechen, sendet.

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung und ein Informationsverarbeitungsverfahren.
Stand der Technik
3D-Filme, 3D-Fernsehen und dergleichen verwenden jeweils einen Mechanismus, bei dem ein linkes und ein rechtes Auge unterschiedliche Bilder betrachten und der die binokulare Parallaxe zwischen den Bildern verwendet, um einem Benutzer einen stereoskopischen Effekt zu bieten. Ferner verwenden einige Techniken HMDs (Head-Mounted Displays) oder dergleichen, die an den Köpfen von Benutzern angebracht sind, um die Bewegungsparallaxe zu reproduzieren.
Bilder, die von verschiedenen Sichtpunkten betrachtet werden, sind erforderlich, um die Bewegungsparallaxe zu reproduzieren, da es notwendig ist, einen Sichtpunkt gemäß der Kopfposition oder dergleichen eines Benutzers zu bewegen. Beispiele hierfür schließen eine Technik zum Rendern (Generieren) eines Bilds ein, das von jedem Sichtpunkt aus betrachtet wird, indem Informationen bezüglich der dreidimensionalen Form eines Objekts detektiert/aufgezeichnet werden und ein dreidimensionales Modell verwendet wird, das basierend auf den Informationen wie in PTL 1 unten neu ausgebildet wird.
Liste der Anführungen
Patentliteratur
PTL 1: Beschreibung der ungeprüften US-Patentanmeldungsveröffentlichung Nr. 2015/310662
Kurzfassung der Erfindung
Mit der Erfindung zu lösende Probleme
Bei der oben beschriebenen Technik haben dreidimensionale Formdaten, die zum Rendern verwendet werden, jedoch einen großen Einfluss auf die subjektive Bildqualität eines Bilds (Anzeigebilds), das von jedem Sichtpunkt aus betrachtet wird. Abhängig von der Genauigkeit oder dergleichen der dreidimensionalen Formdaten kann die subjektive Bildqualität des Anzeigebilds somit abnehmen.
Dementsprechend schlägt die vorliegende Offenbarung einen Mechanismus vor, der es ermöglicht, eine Abnahme der subjektiven Bildqualität eines Anzeigebilds zu unterdrücken, das basierend auf dreidimensionalen Formdaten generiert wird.
Mittel zur Lösung des Problems
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, einschließlich: einer Empfangseinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last empfängt; und einer Sendeeinheit, die einen Datensatz gemäß der Anforderung sendet. Der Datensatz weist dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge auf. Die dreidimensionalen Formdaten weisen eine Vertexanzahl auf, die den Lastinformationen entspricht. Die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechen den dreidimensionalen Formdaten.
Zusätzlich wird gemäß der vorliegenden Offenbarung eine Informationsverarbeitungsvorrichtung bereitgestellt, einschließlich: einer Sendeeinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last sendet; einer Empfangseinheit, die einen Datensatz mit dreidimensionalen Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge empfängt; und einer Rendereinheit, die basierend auf dem Datensatz ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge generiert. Die dreidimensionalen Formdaten weisen eine Vertexanzahl auf, die den Lastinformationen entspricht. Die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechen den dreidimensionalen Formdaten.
Zusätzlich wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, einschließlich: Empfangen einer Anforderung einschließlich Lastinformationen bezüglich einer Last; und Veranlassen, durch einen Prozessor, dass ein Datensatz gemäß der Anforderung gesendet wird. Der Datensatz weist dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge auf. Die dreidimensionalen Formdaten weisen eine Vertexanzahl auf, die den Lastinformationen entspricht. Die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechen den dreidimensionalen Formdaten.
Wirkungen der Erfindung
Gemäß der oben beschriebenen vorliegenden Offenbarung ist es möglich, eine Abnahme der subjektiven Bildqualität eines Anzeigebilds zu unterdrücken, das basierend auf dreidimensionalen Formdaten generiert wird.
Es sei zu beachten, dass die oben beschriebenen Wirkungen nicht notwendigerweise einschränkend sind. Alle in dieser Beschreibung angezeigten Wirkungen oder andere Wirkungen, die aus dieser Beschreibung zu verstehen sind, können zusätzlich zu den oben beschriebenen Wirkungen oder anstelle der oben beschriebenen Wirkungen angewendet werden.
Figurenliste

[1] 1 ist eine erläuternde Darstellung, die eine Konfiguration eines Übertragungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung schematisch veranschaulicht.
[2] 2 ist eine schematische Darstellung, die einen Fluss eines Prozesses zum Generieren eines Datensatzes gemäß der Ausführungsform schematisch veranschaulicht.
[3] 3 ist eine schematische Darstellung, die einen Fluss eines Datenübertragungsprozesses gemäß der Ausführungsform schematisch veranschaulicht.
[4] 4 ist eine erläuternde Darstellung zum Beschreiben einer Assoziation zwischen einem Vertex eines dreidimensionalen Modells und einem einzelnen Stück von Texturdaten.
[5] 5 ist eine Darstellung, die ein Beispiel einer Datenstruktur dreidimensionaler Formdaten veranschaulicht.
[6] 6 ist eine erläuternde Darstellung zum Beschreiben einer Assoziation zwischen dem Vertex des dreidimensionalen Modells und Texturdaten in der Ausführungsform.
[7] 7 ist eine schematische Darstellung zum Beschreiben eines Renderings, das Stereotexturdaten in der Ausführungsform verwendet.
[8] 8 ist eine erläuternde Darstellung zum Beschreiben eines Fehlers in einem dreidimensionalen Modell.
[9] 9 ist eine schematische Darstellung, die eine Bildgebung durch eine Stereokamera schematisch veranschaulicht.
[10] 10 ist eine schematische Darstellung, die einen Fluss eines Prozesses zum Generieren von Texturdaten schematisch veranschaulicht.
[11] 11 ist eine schematische Darstellung, die eine Beziehung zwischen einem dreidimensionalen Modell einschließlich eines Fehlers und der Stereokamera veranschaulicht.
[12] 12 ist eine schematische Darstellung, die eine Betrachtungs- und Hörsituation veranschaulicht, in der eine Kameraposition und eine Position eines Auges eines Benutzers miteinander übereinstimmen.
[13] 13 ist eine schematische Darstellung, die eine Betrachtungs- und Hörsituation veranschaulicht, in der sich die Kameraposition und die Position des Auges des Benutzers voneinander unterscheiden.
[14] 14 ist eine erläuternde Darstellung zum Beschreiben eines Vergleichsbeispiels.
[15] 15 ist eine erläuternde Darstellung zum Beschreiben des Vergleichsbeispiels.
[16] 16 ist ein Blockschaltbild, das ein Beispiel einer Konfiguration eines Verteilungsservers 1 gemäß der Ausführungsform veranschaulicht.
[17] 17 ist ein Blockschaltbild, das ein Beispiel einer Konfiguration einer Datensatzgenerierungseinheit 11 veranschaulicht.
[18] 18 ist eine erläuternde Darstellung, die einen Vertexreduktionsprozess durch einen Vertexreduktionsabschnitt 111 veranschaulicht.
[19] 19 ist eine schematische Darstellung, die eine allmähliche Vertexreduktion veranschaulicht.
[20] 20 ist eine schematische Darstellung, die schematisch veranschaulicht, dass Datensätze in einem Fall, in dem eine Steuerung 10 eine Mehrzahl von Datensatzgenerierungseinheiten 11 aufweist, parallel generiert werden.
[21] 21 ist ein Flussdiagramm, das ein Operationsbeispiel des Verteilungsservers 1 zum Generieren eines Datensatzes veranschaulicht.
[22] 22 ist ein Flussdiagramm, das ein Operationsbeispiel des Verteilungsservers 1 zum Senden eines Datensatzes veranschaulicht.
[23] 23 ist ein Blockschaltbild, das ein Konfigurationsbeispiel einer Anzeigesteuervorrichtung 2 gemäß der vorliegenden Ausführungsform veranschaulicht.
[24] 24 ist ein Flussdiagramm, das ein Operationsbeispiel der Anzeigesteuervorrichtung 2 veranschaulicht.
[25] 25 ist eine erläuternde Darstellung zum Beschreiben eines Modifikationsbeispiels 1.
[26] 26 ist ein Blockschaltbild, das ein Hardwarekonfigurationsbeispiel veranschaulicht.

Modi zur Ausführung der Erfindung
Im Folgenden wird eine bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen detailliert beschrieben. Es sei zu beachten, dass in dieser Beschreibung und den beigefügten Zeichnungen Komponenten, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, mit den gleichen Bezugszeichen versehen sind und daher auf eine redundante Beschreibung derselben verzichtet wird.
Es sei zu beachten, dass die Beschreibung in der nachfolgenden Reihenfolge erfolgt.

«1. Systemübersicht»
<1-1. Konfiguration>
<1-2. Prozessfluss>
«2. Prinzip gemäß der vorliegenden Technologie»
«3. Verteilungsserver»
<3-1. Konfiguration>
<3-2. Operation>
«4. Anzeigesteuervorrichtung»
<4-1. Konfiguration>
<4-2. Operation>
«5. Modifikationsbeispiel»
<5-1. Modifikationsbeispiel 1>
<5-2. Modifikationsbeispiel 2>
<5-3. Modifikationsbeispiel 3>
<5-4. Modifikationsbeispiel 4>
«6. Hardwarekonfigurationsbeispiel»
«7. Schlussfolgerung»
«1. Systemübersicht»
<1-1. Konfiguration>

Zuerst wird eine Übersicht über ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1 beschrieben. 1 ist eine erläuternde Darstellung, die die Konfiguration eines Übertragungssystems gemäß der Ausführungsform der vorliegenden Offenbarung schematisch veranschaulicht.
Wie in 1 veranschaulicht, ist ein Übertragungssystem 1000 gemäß der vorliegenden Ausführungsform ein Informationsverarbeitungssystem, das einen Verteilungsserver 1, eine Anzeigesteuervorrichtung 2, ein HMD 3 und ein Kommunikationsnetz 5 aufweist. Das Übertragungssystem 1000 gemäß der vorliegenden Ausführungsform stellt einem Benutzer U, der das HMD 3 trägt und ein auf dem HMD 3 angezeigtes Bild betrachtet, einen stereoskopischen Effekt bereit, der durch eine binokulare Parallaxe und Bewegungsparallaxe hervorgerufen wird.
Der Verteilungsserver 1 und die Anzeigesteuervorrichtung 2 sind über das Kommunikationsnetz 5 gekoppelt. Es ist möglich, Informationen zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 zu senden und zu empfangen. Zusätzlich sind die Anzeigesteuervorrichtung 2 und das HMD 3 auch drahtgebunden oder drahtlos gekoppelt, und es ist möglich, Informationen zwischen der Anzeigesteuervorrichtung 2 und dem HMD 3 zu senden und zu empfangen.
Das Kommunikationsnetz 5 ist ein drahtgebundener oder drahtloser Übertragungspfad für Informationen, die von einer Vorrichtung gesendet werden, die mit dem Kommunikationsnetz 5 gekoppelt ist. Beispielsweise kann das Kommunikationsnetz 5 ein öffentliches Netz, wie beispielsweise das Internet, ein Telefonnetz oder ein Satellitenkommunikationsnetz, und verschiedene LANs (Local Area Networks, lokale Netze) einschließlich Ethernet (eingetragene Marke) und WAN (Wide Area Network, Weitverkehrsnetz) und dergleichen einschließen. Zusätzlich kann das Kommunikationsnetz 5 ein privates Netz wie IP-VPN (Internet Protocol-Virtual Private Network) aufweisen.
Der Verteilungsserver 1 speichert dreidimensionale Formdaten und Texturdaten, die den dreidimensionalen Formdaten entsprechen, und sendet (überträgt) einen Datensatz an die Anzeigesteuervorrichtung 2 gemäß einer Anforderung zum Senden von Daten (die auch einfach als Anforderung unten bezeichnet wird) von der Anzeigesteuervorrichtung 2. Der Datensatz weist die dreidimensionalen Formdaten und die Texturdaten auf.
Basierend auf dem vom Verteilungsserver 1 empfangenen Datensatz und den vom HMD 3 empfangenen Sichtpunktinformationen bezüglich des Sichtpunkts des Benutzers U generiert (rendert) die Anzeigesteuervorrichtung 2 ein Anzeigebild am Sichtpunkt und sendet das Anzeigebild zum HMD 3. In der vorliegenden Ausführungsform weist das von der Anzeigesteuervorrichtung 2 generierte Anzeigebild ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge auf. Das Anzeigebild für das linke Auge wird vom unten beschriebenen HMD 3 vor dem linken Auge des Benutzers U angezeigt. Das Anzeigebild für das rechte Auge wird vor dem rechten Auge des Benutzers U angezeigt. Zusätzlich werden das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge im Folgenden zusammen auch als Stereoanzeigebild oder in einigen Fällen einfach als Anzeigebild bezeichnet.
Das HMD 3 ist eine Anzeigevorrichtung (Anzeigeeinheit), die ein Stereoanzeigebild anzeigt, das von der Anzeigesteuervorrichtung 2 empfangen wird. Es sei zu beachten, dass das HMD 3 einen Sensor aufweist, der Sichtpunktinformationen bezüglich des Sichtpunkts des Benutzers U, der das HMD 3 trägt, erfasst und die Sichtpunktinformationen an die Anzeigesteuervorrichtung 2 sendet. Die vom HMD 3 gesendeten Sichtpunktinformationen können beispielsweise Informationen aufweisen, die die Position des Sichtpunkts des Benutzers U und die Haltung des Benutzers U anzeigen.
Es sei zu beachten, dass 1 die Anzeigesteuervorrichtung 2 und das HMD 3 als unterschiedliche Vorrichtungen veranschaulicht, aber die Anzeigesteuervorrichtung 2 und das HMD 3 können auch integriert sein. Das heißt, eine Informationsverarbeitungsvorrichtung kann auch eine Funktion der Anzeigesteuervorrichtung 2 und eine Funktion des HMD 3 aufweisen, das als Anzeigeeinheit dient, die am Kopf eines Benutzers getragen wird und ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge anzeigt.
Die oben beschriebene Konfiguration ermöglicht es dem Übertragungssystem 1000, dem Benutzer U einen stereoskopischen Effekt bereitzustellen, der durch eine binokulare Parallaxe und Bewegungsparallaxe hervorgerufen wird.
Hier können die oben beschriebenen dreidimensionalen Formdaten und Texturdaten, die den dreidimensionalen Formdaten entsprechen, beispielsweise durch eine bekannte dreidimensionale Erfassungstechnologie erfasst werden, die beispielsweise ein Verfahren verwendet, bei dem eine Abstandsmessvorrichtung wie ein ToF-Sensor (Time-of-Flight-Sensor) oder eine Technik wie Stereo-Matching verwendet wird. Im Folgenden werden die dreidimensionalen Formdaten und Texturdaten, die durch diese dreidimensionale Erfassungstechnologie erfasst werden, jeweils als ursprüngliche dreidimensionale Formdaten und ursprüngliche Texturdaten bezeichnet und werden beide in einigen Fällen zusammen als Originaldaten bezeichnet.
Diese Originaldaten weisen in einigen Fällen eine extrem große Datenmenge auf. Daher sind auch die Übertragungslast und die Verarbeitungslast hoch, und es ist unter bestimmten Bedingungen schwierig, einen Prozess innerhalb der angeforderten Zeit durchzuführen. Beispielsweise kann es abhängig vom Band (Band des Kommunikationsnetzes 5) des Übertragungspfads zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 schwierig sein, die Originaldaten so zu senden, wie sie sind. Zusätzlich kann es abhängig von der Verarbeitungsleistung (wie beispielsweise der Verarbeitungsgeschwindigkeit eines Prozessors und der Größe eines Speichers) der Anzeigesteuervorrichtung 2 schwierig sein, ein Anzeigebild aus den Originaldaten zu generieren.
Es wird daher erwogen, eine Datenmenge zu ändern, die gemäß einer derartigen Last vom Verteilungsserver 1 zur Anzeigesteuervorrichtung 2 gesendet werden soll. Ein derartiger Mechanismus wird nachstehend beschrieben.
Die Anzeigesteuervorrichtung 2 sendet eine Anforderung einschließlich Lastinformationen bezüglich einer Last an den Verteilungsserver 1. Die Lastinformationen können beispielsweise wenigstens eine der Übertragungspfadbandinformationen bezüglich des Bands des Übertragungspfads zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 oder Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Anzeigesteuervorrichtung 2 aufweisen.
Der Verteilungsserver 1 sendet einen Datensatz einschließlich dreidimensionaler Formdaten und Texturdaten, die den dreidimensionalen Formdaten entsprechen, an die Anzeigesteuervorrichtung 2. Der Datensatz weist die Datenmenge auf, die den Lastinformationen entspricht, die in der von der Anzeigesteuervorrichtung 2 empfangenen Anforderung eingeschlossen sind. Hier können jede der dreidimensionalen Formdaten und Texturdaten, die im zu sendenden Datensatz eingeschlossen sind, Daten sein, deren Datenmenge stärker reduziert ist als die der ursprünglichen dreidimensionalen Formdaten und ursprünglichen Texturdaten. Ein Prozess zum Reduzieren der Datenmenge kann beispielsweise einen Vertexreduktionsprozess zum Reduzieren eines Vertex einschließen, der in den dreidimensionalen Formdaten eingeschlossen ist.
Wie oben beschrieben, kann das Ändern der Datenmenge, die vom Verteilungsserver 1 zur Anzeigesteuervorrichtung 2 gemäß den Lastinformationen übertragen werden soll, die Übertragung und die Generierung eines Anzeigebilds glätten. Die subjektive Bildqualität des Anzeigebilds kann jedoch zusammen mit einer Reduzierung der Datenmenge abnehmen. Beispielsweise kann das Reduzieren eines Vertex, der in den dreidimensionalen Formdaten eingeschlossen ist, die Formgenauigkeit des dreidimensionalen Modells verringern, das den dreidimensionalen Formdaten entspricht, und die subjektive Bildqualität eines Anzeigebilds kann abnehmen. Beispielsweise verliert das dreidimensionale Modell, das den dreidimensionalen Formdaten entspricht, Unebenheiten oder dergleichen, und es ist möglich, dass ein Benutzer keinen stereoskopischen Effekt erzielen kann.
Dementsprechend wurde unter Berücksichtigung der oben beschriebenen Umstände die vorliegende Ausführungsform geschaffen. Der Verteilungsserver 1 gemäß der vorliegenden Ausführungsform verwendet sogar ein linkes Kamerabild und ein rechtes Kamerabild, um Texturdaten für das linke Auge und Texturdaten für das rechte Auge zu generieren. Das linke Kamerabild und das rechte Kamerabild werden verwendet, um dreidimensionale Formdaten zu generieren (zu erfassen). Das heißt, ein Datensatz, der vom Verteilungsserver 1 gemäß der vorliegenden Ausführungsform an die Anzeigesteuervorrichtung 2 gesendet werden soll, weist nicht ein einzelnes Stück von Texturdaten, sondern mehrere Stücke von Texturdaten auf: Texturdaten für das linke Auge; und Texturdaten für das rechte Auge. Die Anzeigesteuervorrichtung 2 generiert dann ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge basierend auf den dreidimensionalen Formdaten, die dem Vertexreduktionsprozess unterzogen werden, und den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge. Die dreidimensionalen Formdaten, die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge sind im vom Verteilungsserver 1 empfangenen Datensatz eingeschlossen. Diese Konfiguration unterdrückt eine Abnahme der subjektiven Bildqualität eines Anzeigebilds selbst in einem Fall, in dem die dreidimensionalen Formdaten, die dem Vertexreduktionsprozess unterzogen werden, zur Anzeige verwendet werden. Beispielsweise kann es möglich sein, Unebenheiten zu reproduzieren, die im dreidimensionalen Modell, das den dreidimensionalen Formdaten entspricht, fehlen.
< Prozessfluss>
Oben wurde die schematische Konfiguration des Übertragungssystems 1000 gemäß der vorliegenden Ausführungsform beschrieben. Als Nächstes wird ein schematischer Fluss eines Prozesses des Übertragungssystems 1000 gemäß der vorliegenden Ausführungsform beschrieben.
Wie oben beschrieben, sendet der Verteilungsserver 1 gemäß der vorliegenden Ausführungsform der Anzeigesteuervorrichtung 2 die dreidimensionalen Formdaten und Texturdaten, die jeweils eine reduzierte Datenmenge aufweisen. Hier ist es wünschenswert, einen Prozess zum Reduzieren der Datenmenge im Voraus durchzuführen. Beispielsweise können eine Mehrzahl von Datensätzen mit unterschiedlichen Datenmengen basierend auf den Originaldaten im Voraus generiert und gespeichert werden. Der Verteilungsserver 1 wählt dann einen Datensatz mit der Datenmenge, die den Lastinformationen entspricht, aus der Mehrzahl von gespeicherten Datensätzen aus und sendet den ausgewählten Datensatz an die Anzeigesteuervorrichtung 2. Dies ermöglicht es dem Verteilungsserver 1, schnell auf eine Anforderung der Anzeigesteuervorrichtung 2 zu reagieren.
Dementsprechend beschreibt das Folgende einen Fluss des Prozesses zum Generieren eines Datensatzes unter Bezugnahme auf 2 und beschreibt dann einen Fluss eines Prozesses zum Senden von Daten unter Bezugnahme auf 3.
(Prozess zum Generieren eines Datensatzes)
2 ist eine schematische Darstellung, die einen Fluss eines Prozesses zum Generieren eines Datensatzes gemäß der vorliegenden Ausführungsform schematisch veranschaulicht. Im Folgenden wird ein Beispiel beschrieben, in dem der in 2 veranschaulichte Prozess zum Generieren eines Datensatzes vom in 1 veranschaulichten Verteilungsserver 1 durchgeführt wird. Die vorliegende Technologie ist jedoch nicht auf dieses Beispiel beschränkt. Der in 2 veranschaulichte Prozess kann von einer anderen Vorrichtung durchgeführt werden. Der von der anderen Vorrichtung im Voraus generierte Datensatz kann auf dem Verteilungsserver 1 gespeichert werden.
Der Verteilungsserver 1 führt einen Prozess zum Reduzieren von Daten durch, die in einem Datensatz DS10 eingeschlossen sind, und generiert eine Mehrzahl von Datensätzen DS11 bis DS13. Die generierten Datensätze DS11 bis DS13 werden auf dem Verteilungsserver 1 gespeichert.
Der in 2 veranschaulichte Datensatz DS10 weist ursprüngliche dreidimensionale Formdaten F10, ursprüngliche Texturdaten T10, ein linkes Kamerabild G10L und ein rechtes Kamerabild G10R auf. Die ursprünglichen dreidimensionalen Formdaten F10 weisen mehrere Stücke der Vertexdaten V101 bis V107 auf. Zusätzlich können das linke Kamerabild G10L und das rechte Kamerabild G10R Bilder sein, die zum Generieren der ursprünglichen dreidimensionalen Formdaten F10 verwendet werden. Beispielsweise ist das linke Kamerabild G10L ein Bild, das von einer linken Kamera erfasst wird, die eine Bildgebung durchführt, und das rechte Kamerabild G10R ist ein Bild, das von einer rechten Kamera erfasst wird, die eine Bildgebung durchführt. Die linke Kamera bildet ein Objekt von der linken Seite ab. Die rechte Kamera bildet ein Objekt von der rechten Seite ab.
Wie in 2 veranschaulicht, weisen die generierten Datensätze DS11 bis DS13 jeweils Stücke der dreidimensionalen Formdaten F11 bis F13 und Stücke der Texturdaten für das linke Auge T11L bis T13L und Stücke der Texturdaten für das rechte Auge T11R bis T13R auf. Die Stücke der Texturdaten für das linke Auge T11L bis T13L und die Stücke der Texturdaten für das rechte Auge T11R bis T13R entsprechen den Stücken der dreidimensionalen Formdaten F11 bis F13. Wie in 2 veranschaulicht, weisen die generierten Datensätze DS11 bis DS13 unterschiedliche Datenmengen auf.
In dem in 2 veranschaulichten Beispiel weist der Datensatz DS11 die größte Datenmenge der Datensätze DS11 bis DS13 auf. In dem in 2 veranschaulichten Beispiel wurden die dreidimensionalen Formdaten F11, die im Datensatz DS11 eingeschlossen sind, nicht dem Vertexreduktionsprozess unterzogen. Die Anzahl der Stücke der Vertexdaten V111 bis V117, die in den dreidimensionalen Formdaten F11 eingeschlossen sind, ist die gleiche wie die Anzahl der Stücke von Vertexdaten, die in den ursprünglichen dreidimensionalen Formdaten F10 eingeschlossen sind. Die vorliegende Ausführungsform ist jedoch nicht auf dieses Beispiel beschränkt. Der Verteilungsserver 1 kann die Vertexreduktionsprozesse an den Stücken von dreidimensionalen Formdaten durchführen, die in allen Datensätzen eingeschlossen sind, die gesendet werden können.
Im Gegensatz dazu werden die dreidimensionalen Formdaten F12 und die dreidimensionalen Formdaten F13, die im Datensatz DS12 und Datensatz DS13 eingeschlossen sind, generiert, indem der Vertexreduktionsprozess an den ursprünglichen dreidimensionalen Formdaten F10 durchgeführt wird. In dem in 2 veranschaulichten Beispiel sind Stücke der Vertexdaten V121 bis V124, die in den dreidimensionalen Formdaten F12 eingeschlossen sind, weniger als Stücke der Vertexdaten V101 bis 107, die in den ursprünglichen dreidimensionalen Formdaten F10 eingeschlossen sind, und mehr als Stücke der Vertexdaten V131 bis V132, die in den dreidimensionalen Formdaten F13 eingeschlossen sind. Es sei zu beachten, dass die Anzahl von Vertices (Vertexanzahl), die in jedem Stück von dreidimensionalen Formdaten eingeschlossen sind, nicht auf die Anzahl von Stücken von Vertexdaten beschränkt ist, die in 2 veranschaulicht sind.
Zusätzlich können die Stücke der Texturdaten für das linke Auge T11L bis T13L und Stücke der Texturdaten für das rechte Auge T11R bis T13R, die in den Stücken des Datensatzes DS11 bis DS12 eingeschlossen sind, so generiert werden, dass die Pixelanzahlen den Vertexanzahlen der entsprechenden Stücke der dreidimensionalen Formdaten F11 bis F13 entsprechen. Wie in 2 veranschaulicht, können, da die entsprechenden dreidimensionalen Formdaten eine höhere Vertexanzahl aufweisen, die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge jeweils eine höhere Pixelanzahl aufweisen. Dies liegt daran, dass selbst eine Erhöhung der Pixelanzahl jeder der Texturdaten für das linke Auge und der Texturdaten für das rechte Auge nicht wesentlich zur Verbesserung der Bildqualität in einem Fall beiträgt, in dem die dreidimensionalen Formdaten eine niedrige Vertexanzahl aufweisen. Diese Konfiguration ermöglicht es, die Datenmenge effizient zu reduzieren.
Es sei zu beachten, dass 2 ein Beispiel veranschaulicht, in dem die drei Datensätze DS11 bis DS13 generiert werden, aber die Anzahl der zu generierenden Datensätze ist nicht auf das in 2 veranschaulichte Beispiel beschränkt. Wenn eine größere Anzahl von Datensätzen generiert wird, ist die Datenmenge, die gemäß dem Band eines Übertragungspfads und der Verarbeitungsleistung gesendet wird, feiner anpassbar. Abhängig von der Anzahl der zu generierenden Datensätze werden jedoch die Verarbeitungskosten zum Generieren der Datensätze und die Aufbewahrungskosten der Datensätze angefordert. Es ist daher wünschenswert, die Anzahl der zu generierenden Datensätze unter Berücksichtigung der Verarbeitungskosten und der Aufbewahrungskosten zu bestimmen.
(Prozess zum Senden von Daten)
3 ist eine schematische Darstellung, die einen Fluss eines Datenübertragungsprozesses gemäß der vorliegenden Ausführungsform schematisch veranschaulicht. Der Verteilungsserver 1 wählt einen Datensatz, der an die Anzeigesteuervorrichtung 2 gesendet werden soll, aus der Mehrzahl von Datensätzen DS11 bis DS13 aus, die im Voraus generiert werden, wie oben unter Bezugnahme auf 2 beschrieben (S11). In Schritt S11 kann der Verteilungsserver 1 beispielsweise basierend auf den Lastinformationen, die in einer von der Anzeigesteuervorrichtung 2 empfangenen Anforderung eingeschlossen sind, einen Datensatz auswählen, der dreidimensionale Formdaten aufweist, deren Vertexanzahl den Lastinformationen entspricht. Eine derartige Auswahl ermöglicht es, die Übertragung eines Datensatzes vom Verteilungsserver 1 an die Anzeigesteuervorrichtung 2 und die Last für einen von der Anzeigesteuervorrichtung 2 durchgeführten Renderprozess anzupassen.
Nachfolgend wird der in Schritt S11 ausgewählte Datensatz vom Verteilungsserver 1 an die Anzeigesteuervorrichtung 2 übertragen (gesendet) (S12). Die Anzeigesteuervorrichtung 2 generiert (rendert) dann ein Anzeigebild basierend auf dem vom Verteilungsserver 1 empfangenen Datensatz (S13). Das in Schritt S13 generierte Anzeigebild schließt ein Anzeigebild für das linke Auge D10L und ein Anzeigebild für das rechte Auge D10R ein. Das Anzeigebild für das linke Auge D10L wird vor dem linken Auge eines Benutzers angezeigt. Das Anzeigebild für das rechte Auge D10R wird vor dem rechten Auge des Benutzers angezeigt. Zusätzlich werden in Schritt S13 die dreidimensionalen Formdaten und die Texturdaten für das linke Auge verwendet, um das Anzeigebild für das linke Auge D10L zu generieren, und die dreidimensionalen Formdaten und die Texturdaten für das rechte Auge werden verwendet, um das Anzeigebild für das rechte Auge D10R zu generieren.
Das Anzeigebild für das linke Auge D10L und das Anzeigebild für das rechte Auge D10R, die von der Anzeigesteuervorrichtung 2 generiert werden, werden durch das HMD 3 angezeigt (S14).
«2. Prinzip gemäß der vorliegenden Technologie»
Oben wurde die Übersicht über die vorliegende Ausführungsform beschrieben. Wie oben beschrieben, werden in der vorliegenden Ausführungsform nicht ein einzelnes Stück von Texturdaten, sondern Texturdaten für das linke Auge und Texturdaten für das rechte Auge gesendet. Die gesendeten Texturdaten für das linke Auge und Texturdaten für das rechte Auge werden dann verwendet, um ein Anzeigebild zu rendern. Dadurch ist es möglich, eine Abnahme der Bildqualität des Anzeigebilds zu unterdrücken, während gleichzeitig die Datenmenge reduziert wird. Hier wird das technische Prinzip beschrieben, das eine Abnahme der Bildqualität eines Anzeigebilds durch Durchführen eines Renderings unter Verwendung von Texturdaten für das linke Auge und Texturdaten für das rechte Auge in der vorliegenden Ausführungsform unterdrückt. Es sei zu beachten, dass die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge zusammen in der folgenden Beschreibung in einigen Fällen als Stereotexturdaten bezeichnet werden.
Zunächst wird eine Assoziation zwischen dreidimensionalen Formdaten und Texturdaten in einem Fall des Durchführens eines Renderings unter Verwendung eines einzelnen Stücks von Texturdaten unter Bezugnahme auf 4 und 5 beschrieben. 4 ist eine erläuternde Darstellung zum Beschreiben einer Assoziation zwischen einem Vertex eines dreidimensionalen Modells und einem einzelnen Stück von Texturdaten. Zusätzlich ist 5 eine Darstellung, die ein Beispiel der Datenstruktur dreidimensionaler Formdaten veranschaulicht.
4 veranschaulicht ein dreidimensionales Modell M21, das ein Würfel ist, und ein einzelnes Stück von Texturdaten T21, die dem dreidimensionalen Modell M21 entsprechen. Dreidimensionale Raumkoordinaten (x₀, y₀, z₀), die einen Vertex in dem in 4 veranschaulichten dreidimensionalen Modell M21 anzeigen, entsprechen Texturkoordinaten (u₀, v₀) auf den Texturdaten T21.
Wie in 5 veranschaulicht, können in einem Rechner gespeicherte dreidimensionale Formdaten F21 (x₀, y₀, z₀, u₀, v₀), die eine Kombination dieser entsprechenden Koordinaten sind, als ein Stück von Vertexdaten behandelt werden. In dem in 5 veranschaulichten Beispiel sind dann N Anordnungen von Stücken derartiger Vertexdaten in den dreidimensionalen Formdaten F21 eingeschlossen. Das heißt, die dreidimensionalen Formdaten F21 weisen Informationen zum Assoziieren der Koordinaten eines Vertex im dreidimensionalen Modell mit den entsprechenden Koordinaten in den Texturdaten auf.
Wenn hier drei von jedem Kopf der in 5 veranschaulichten dreidimensionalen Formdaten F21 als dreieckiges Patch behandelt werden, ist es möglich, das dreidimensionale Modell M21 im in 4 veranschaulichten dreidimensionalen Raumkoordinatensystem von xyz auszubilden. Das dreidimensionale Modell M21 weist eine stereoskopische Form einschließlich einer dreieckigen Patchgruppe auf. Ferner ermöglicht eine Assoziation zwischen den dreidimensionalen Raumkoordinaten (x, y, z) und den Texturkoordinaten (u, v) es, einen dreieckigen Bereich in den Texturdaten T21 zu erfassen, der jedem dreieckigen Patch entspricht. Das Mapping (Einfügen) des dreieckigen Bereichs auf ein dreieckiges Patch im dreidimensionalen Modell M21 während des Transformierens des dreieckigen Bereichs mit affiner Transformation ermöglicht es somit, ein dreidimensionales Modell unter Verwendung von Texturdaten zu rendern.
Oben wurde eine Assoziation zwischen dreidimensionalen Formdaten und Texturdaten in einem Fall des Durchführens eines Renderings unter Verwendung eines einzelnen Stücks von Texturdaten beschrieben. Nachfolgend wird eine Assoziation zwischen dreidimensionalen Formdaten und Texturdaten zum Durchführen eines Renderings unter Verwendung von Stereotexturdaten in der vorliegenden Ausführungsform beschrieben.
6 ist eine erläuternde Darstellung zum Beschreiben einer Assoziation zwischen einem Vertex eines dreidimensionalen Modells und Texturdaten in der vorliegenden Ausführungsform. 6 veranschaulicht ein dreidimensionales Modell M22 und Texturdaten für das linke Auge T22L und Texturdaten für das rechte Auge T22R. Das dreidimensionale Modell M22 ist ein Würfel. Die Texturdaten für das linke Auge T22L und die Texturdaten für das rechte Auge T22R entsprechen dem dreidimensionalen Modell M22.
Dreidimensionale Raumkoordinaten (x₀, y₀, z₀), die einen Vertex in dem in 6 veranschaulichten dreidimensionalen Modell M22 anzeigen, entsprechen Texturkoordinaten (u₀, v₀) auf den Texturdaten für das linke Auge T22L. Zusätzlich entsprechen die dreidimensionalen Raumkoordinaten (x₀, y₀, z₀), die den Vertex in dem in 6 veranschaulichten dreidimensionalen Modell M22 anzeigen, in ähnlicher Weise Texturkoordinaten (u₀, v₀) auf den Texturdaten für das rechte Auge T22R.
Wie in 6 veranschaulicht, ist es möglich, Texturkoordinaten in den Texturdaten für das linke Auge T22L und Texturkoordinaten in den Texturdaten für das rechte Auge T22R als dieselben Koordinaten zu repräsentieren. Die Texturkoordinaten in den Texturdaten für das linke Auge T22L und die Texturkoordinaten in den Texturdaten für das rechte Auge T22R entsprechen demselben Vertex im dreidimensionalen Modell M22. Die Datenstruktur von dreidimensionalen Formdaten gemäß der vorliegenden Ausführungsform kann daher ähnlich zu der des unter Bezugnahme auf 5 beschriebenen Beispiels sein.
7 ist eine schematische Darstellung zum Beschreiben eines Renderings, das Stereotexturdaten in der vorliegenden Ausführungsform verwendet. Wie in 7 veranschaulicht, ermöglichen das Mapping der Texturdaten für das linke Auge T22L auf das dreidimensionale Modell M22 und das Durchführen eines Renderings am Sichtpnkt, der dem linken Auge eines Benutzers entspricht, es, ein Anzeigebild für das linke Auge D22L zu generieren (rendern). Wie in 7 veranschaulicht, ermöglichen das Mapping der Texturdaten für das rechte Auge T22R auf das dreidimensionale Modell M22 und das Durchführen eines Renderings am Sichtpnkt, der dem rechten Auge des Benutzers entspricht, es zusätzlich, ein Anzeigebild für das rechte Auge D22R zu generieren (rendern).
Der in 7 veranschaulichte Prozess zum Durchführen eines Renderings kann durch die in 1 veranschaulichte Anzeigesteuervorrichtung 2 durchgeführt werden. Es sei zu beachten, dass die Informationen einer Assoziation zwischen einer Vertexposition eines dreidimensionalen Modells mit Texturdaten als dreidimensionale Formdaten repräsentiert werden, wie unter Bezugnahme auf 5 beschrieben. Die Verwendung eines vom Verteilungsserver 1 empfangenen Datensatzes ermöglicht es somit der Anzeigesteuervorrichtung 2, ein Rendering durchzuführen, wie in 7 veranschaulicht. Der Datensatz weist dreidimensionale Formdaten und Stereotexturdaten auf, die den dreidimensionalen Formdaten entsprechen.
Wie oben beschrieben, ermöglicht die Verwendung von Stereotexturdaten zum Rendern der Textur eines gemeinsamen dreidimensionalen Modells es, dass das gerenderte Stereoanzeigebild an einer Position verschmilzt, die sich von der Oberfläche des dreidimensionalen Modells unterscheidet. Dies entspricht dem Prinzip, dass es beispielsweise möglich ist, trotz einer flachen Anzeigeoberfläche in einer stereoskopischen Anzeige einen stereoskopischen Effekt bereitzustellen, der es einem auf einem Flachbildschirm angezeigten Bild ermöglicht, eine binokulare Parallaxe bereitzustellen. Die vorliegende Technologie unterdrückt eine Abnahme der subjektiven Bildqualität eines an einem Sichtpunkt des Benutzers gerenderten Anzeigebilds, indem der Effekt verwendet wird, dass das Durchführen eines Renderings unter Verwendung einer derartigen Stereotextur das Erkennen von Unebenheiten ermöglicht, die sich von der Form des dreidimensionalen Modells unterscheiden.
Wie oben beschrieben, werden die ursprünglichen dreidimensionalen Formdaten durch eine dreidimensionale Erfassungstechnologie erfasst, wie beispielsweise durch ein Verfahren, bei dem eine Abstandsmessvorrichtung verwendet wird, oder durch ein Verfahren, bei dem eine Technik wie Stereo-Matching verwendet wird. Die ursprünglichen dreidimensionalen Formdaten werden mit verschiedenen Verfahren erfasst, aber jedes der Verfahren kann einen Fehler aufweisen.
Selbst wenn es möglich ist, eine Form mit hoher Genauigkeit zu erfassen, erfordert eine komplizierte Form eine extrem große Datenmenge oder eine extrem hohe Vertexanzahl von dreidimensionalen Formdaten, um die Form mit hoher Genauigkeit zu reproduzieren. Wie unter Bezugnahme auf 1 bis 3 beschrieben, wird ein Datensatz, der dreidimensionale Formdaten aufweist, die dem Vertexreduktionsprozess unterzogen werden, gesendet und zum Rendern gemäß den Lastinformationen bezüglich des Bands eines Übertragungspfads, der Verarbeitungsleistung oder dergleichen in der vorliegenden Ausführungsform verwendet. Abhängig von den Lastinformationen können daher dreidimensionale Formdaten mit einer unzureichenden Vertexanzahl zum Reproduzieren einer Form mit hoher Genauigkeit oder dreidimensionale Formdaten einschließlich eines Fehlers zum Rendern verwendet werden.
Wenn das Rendering unter Verwendung dreidimensionaler Formdaten, einschließlich eines Fehlers, der durch die Erfassung (Messung), die Übertragung oder den Prozess verursacht wird, und eines einzelnen Stücks von Textur auf diese Weise durchgeführt wird, wird eine Form einschließlich eines Fehler reproduziert, und ein Benutzer, der ein Stereoanzeigebild betrachtet, erkennt auch die Form einschließlich des Fehlers. Im Gegensatz dazu werden selbst in einem Fall, in dem dreidimensionale Formdaten einschließlich eines derartigen Fehlers verwendet werden, die dreidimensionalen Formdaten und die Stereotextur verwendet, um das Rendern in der vorliegenden Ausführungsform durchzuführen. Dies führt dazu, dass ein Fehler einer Form kleiner aussieht, wodurch eine Abnahme der subjektiven Bildqualität unterdrückt werden kann. Im Folgenden wird das Prinzip beschrieben, dass ein derartiger Fehler einer Form in der vorliegenden Ausführungsform kleiner aussieht.
8 ist eine erläuternde Darstellung zum Beschreiben eines Fehlers in einem dreidimensionalen Modell. 8 zeigt die wahre Form eines dreidimensionalen Objekts OBJ31 mit einem Vorsprung (Schnabel) und die Form eines dreidimensionalen Modells M32. Das dreidimensionale Modell M32 ist auf dem dreidimensionalen Objekt OBJ31 durch dreidimensionale Erfassungstechnologie dreidimensional modelliert. Das dreidimensionale Objekt OBJ31 weist ursprünglich einen Vorsprung B auf, wie in 8 veranschaulicht. Im Gegensatz dazu weist das dreidimensionale Modell M32 aufgrund eines durch Messung oder dergleichen verursachten Fehlers keinen Vorsprung auf. Es sei zu beachten, dass 8 als Punkt P die Spitzenposition veranschaulicht, die der Spitze des Vorsprungs B des dreidimensionalen Objekts OBJ31 im dreidimensionalen Raum entspricht, in dem das dreidimensionale Modell M32 vorhanden ist.
In einem Fall, in dem die dreidimensionalen Formdaten, die dem in 8 veranschaulichten dreidimensionalen Modell M32 entsprechen, und ein einzelnes Stück von Texturdaten verwendet werden, um das Rendern durchzuführen, ist es hier für einen Benutzer, der das generierte Stereoanzeigebild betrachtet, schwierig, den Vorsprung zu erkennen. Im Gegensatz dazu ermöglicht die Verwendung einer Stereotextur, dass ein Vorsprung in der vorliegenden Ausführungsform vorhanden aussieht, selbst wenn die dreidimensionalen Formdaten, die einem dreidimensionalen Modell einschließlich eines Fehlers wie dem dreidimensionalen Modell M32 entsprechen, verwendet werden, um ein Rendering durchzuführen.
Um einen stereoskopischen Effekt bereitzustellen, der durch die Stereotextur hervorgerufen wird, werden Texturdaten verwendet, die basierend auf einem Kamerabild generiert werden, das von einer Stereokamera erfasst wird, die so angeordnet ist, dass der horizontale Abstand nahe dem menschlichen Interokularabstand liegt. Im Folgenden wird das Prinzip der Texturdatengenerierung basierend auf einem Kamerabild, das von einer Stereokamera erfasst wird, in der vorliegenden Ausführungsform beschrieben.
9 ist eine schematische Darstellung, die eine Bildgebung durch eine Stereokamera schematisch veranschaulicht. In 9 sind eine linke Kamera C31L und eine rechte Kamera C31R als Stereokamera im Wesentlichen im gleichen Abstand wie der menschliche Interokularabstand angeordnet, um die Bildgebung des dreidimensionalen Objekts OBJ31 zu ermöglichen. Es sei zu beachten, dass 9 die Bildgebungsbereiche der linken Kamera C31L und der rechten Kamera C31R mit Ein-Punkt-Kettenlinien veranschaulicht.
Die Positionsbeziehung zwischen der Stereokamera und dem dreidimensionalen Objekt entspricht der Positionsbeziehung zwischen der Stereokamera und dem dreidimensionalen Modell im dreidimensionalen Raum. Die bekannte Positionsbeziehung zwischen der Stereokamera und dem dreidimensionalen Modell im dreidimensionalen Raum ermöglicht es, die dem dreidimensionalen Modell entsprechenden Texturdaten wie folgt aus einem von der Stereokamera erfassten Kamerabild zu generieren.
10 ist eine schematische Darstellung, die einen Fluss eines Prozesses zum Generieren von Texturdaten schematisch veranschaulicht. Es ist möglich, ein perspektivisches Projektionsbild aus der Positionsbeziehung zwischen einer Stereokamera und einem dreidimensionalen Modell zu generieren, indem eine perspektivische Projektion der Form des dreidimensionalen Modells erstellt wird, das von jeder Kameraposition auf der perspektivischen Projektionsoberfläche aus betrachtet wird. In dem in 10 veranschaulichten Beispiel wird das dreidimensionale Modell M32 projiziert, das von der Position einer linken Kamera C32L aus betrachtet wird, die in 9 veranschaulicht ist, und ein linkes perspektivisches Projektionsbild P31L wird generiert. In ähnlicher Weise wird das dreidimensionale Modell M32 projiziert, das von der Position einer rechten Kamera C32R aus betrachtet wird, die in 9 veranschaulicht ist, und ein rechtes perspektivisches Projektionsbild P31R wird generiert.
Die Zusammensetzung jedes perspektivischen Projektionsbilds ist dieselbe wie die eines Kamerabilds, das von jeder Kamera erfasst wird, die eine Bildgebung durchführt. Dadurch ist es möglich, eine Assoziation zwischen dem perspektivischen Projektionsbild und dem Kamerabild für jeden dreieckigen Bereich herzustellen, der einem dreieckigen Patch entspricht, einschließlich drei Vertices in einem dreidimensionalen Modell. In dem in 10 veranschaulichten Beispiel sind ein dreieckiger Bereich A31L, der einem dreieckigen Patch A30 des dreidimensionalen Modells M32 entspricht, im linken perspektivischen Projektionsbild P31L und ein dreieckiger Bereich A32L eines linken Kamerabilds G32L assoziiert. In ähnlicher Weise sind ein dreieckiger Bereich A31R, der dem dreieckigen Patch A30 entspricht, im rechten perspektivischen Projektionsbild P31R und ein dreieckiger Bereich A32R eines rechten Kamerabilds G32R assoziiert.
Es ist möglich, Texturdaten durch Mapping (Einfügen) jedes dreieckigen Bereichs in jedem Kamerabild basierend auf einer Assoziation für jeden wie oben beschrieben erfassten dreieckigen Bereich zu generieren, während der dreieckige Bereich transformiert wird. In dem in 10 veranschaulichten Beispiel wird der dreieckige Bereich A32L des linken Kamerabilds G32L auf einen dreieckigen Bereich A33L der Texturdaten für das linke Auge T33L abgebildet, und ein dreieckiger Bereich A32R des rechten Kamerabilds G32R wird auf den dreieckigen Bereich A33L der Texturdaten für das rechte Auge T33R abgebildet.
Es sei zu beachten, dass ein perspektivisches Projektionsbild, das von einer perspektivischen Projektion von einer Kameraposition generiert wird, eine Oberfläche aufweist, die nicht das dreidimensionale Modell aufweist, und die Texturdaten somit einen Bereich aufweisen können, dessen Textur nicht vom Kamerabild erhalten wird. In diesem Fall kann für den Bereich, dessen Textur nicht vom Kamerabild erhalten wird, eine Textur beispielsweise von den in 2 veranschaulichten ursprünglichen Texturdaten erfasst werden.
Es wird ein Fall betrachtet, in dem eine Stereotextur unter Verwendung des dreidimensionalen Modells M32 einschließlich eines Fehlers generiert wird, wie in 10 veranschaulicht. 11 ist eine schematische Darstellung, die die Beziehung zwischen dem dreidimensionalen Modell M32 einschließlich eines Fehlers und der Stereokamera (linke Kamera C31L und rechte Kamera C31R) veranschaulicht.
In 11 repräsentiert der Pfeil, der sich von jeder der linken Kamera C31L und der rechten Kamera C31R zum Punkt P erstreckt, einen Lichtstrahl des Punkts P in einem Bild, das in jeder Kamera erscheint. Der Punkt P ist die Spitzenposition des in der wahren Form vorhandenen Vorsprungs. Das dreidimensionale Modell M32 weist aufgrund eines Fehlers keinen Vorsprung auf. Die jeweiligen Pfeile, die sich von der linken Kamera C31L und der rechten Kamera C31R bis zum Punkt P erstrecken, schneiden sich somit nicht am Punkt P, sondern an einem Punkt P_R und einem Punkt P_L auf der Oberfläche des dreidimensionalen Modells M32. Der Abstand d zwischen diesem Punkt P_R und Punkt P_L wird, wie er ist, als Positionsdifferenz zwischen den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge abgebildet und wird, wie er ist, als Links-Rechts-Parallaxe aufgezeichnet.
Die Texturdaten für das linke Auge T33L und die Texturdaten für das rechte Auge T33R, die in 10 veranschaulicht sind, weisen aufgrund dieser Links-Rechts-Parallaxe einen Designunterschied auf. Das den dreidimensionalen Formdaten entsprechende dreidimensionale Modell M32 weist keinen Vorsprung auf. Dies bewirkt, dass das Muster des Vorsprungs so aufgezeichnet wird, dass es eine Links-Rechts-Parallaxe auf der Textur aufweist.
In einem Fall, in dem die wie oben beschrieben generierten Stereotexturdaten auf das dreidimensionale Modell M32 abgebildet und von einer Kameraposition aus betrachtet und angehört werden, ist es möglich, einen stereoskopischen Effekt zu erhalten, der dem der wahren Form ähnlich ist, selbst wenn die Form des dreidimensionalen Modells M32 einen Fehler aufweist. 12 ist eine schematische Darstellung, die eine Betrachtungs- und Hörsituation veranschaulicht, in der eine Kameraposition und die Position eines Auges eines Benutzers miteinander übereinstimmen. In 12 erstreckt sich ein als Pfeil repräsentierter Lichtstrahl vom Punkt P_L zu einem linken Auge E32L eines Benutzers, der an der Position der linken Kamera C31L anwesend ist, und ein als Pfeil repräsentierter Lichtstrahl erstreckt sich vom Punkt P_R zu einem rechten Auge E32R des Benutzers, der an der Position der rechten Kamera C31R anwesend ist. Hier sieht es für den Benutzer so aus, als ob die Textur am Punkt P_L und die Textur am Punkt P_R an der Position des Punkts P verschmelzen, an dem sich die oben beschriebenen zwei Lichtstrahlen schneiden, und die Oberfläche des dreidimensionalen Modells M32 an der Position des Punkts P vorhanden ist.
Es sei zu beachten, dass 12 nur für den Punkt P ist, aber alle Lichtstrahlen, die in der linken und der rechten Kamera zusätzlich zum Punkt P erscheinen, reproduziert werden. Dies ermöglicht es, den ursprünglichen stereoskopischen Effekt zu erhalten, selbst wenn sich die Form des dreidimensionalen Modells M32 von der tatsächlichen Form unterscheidet. Darüber hinaus werden beim Betrachten und Hören mit den Kamerapositionen, die mit den Positionen der Augen eines Benutzers übereinstimmen, die Lichtstrahlen zum Zeitpunkt der Bildgebung durch die Kameras reproduziert, und die wahre Form sieht für den Benutzer reproduziert aus, selbst wenn das dreidimensionale Modell M32 irgendeine Form hat.
Es ist jedoch nicht möglich, die tatsächlichen Lichtstrahlen zu reproduzieren, falls die Form des dreidimensionalen Modells M32 einen Fehler beim Betrachten und Hören an Positionen aufweist, die sich von den Kamerapositionen unterscheiden. 13 ist eine schematische Darstellung, die eine Betrachtungs- und Hörsituation veranschaulicht, in der sich die Kameraposition und die Position eines Auges eines Benutzers voneinander unterscheiden. In der in 13 veranschaulichten Situation verschmelzen die Textur am Punkt P_L, die im linken Auge E32L eines Benutzers erscheint, und die Textur am Punkt P_L, die im rechten Auge E32R des Benutzers erscheint, an einem Punkt P', und die Oberfläche des dreidimensionalen Modells M32 sieht an der Position des Punkts P' vorhanden aus. Hier ist der in 13 veranschaulichte Punkt P' eine Position, die sich vom Punkt P unterscheidet, der die wahre Spitzenposition des Vorsprungs ist. Dies liegt daran, dass das dreidimensionale Modell M32 einen Fehler aufweist. Der Punkt P' scheint jedoch an einer hervorspringenden Position vorhanden zu sein, verglichen mit einem Fall, in dem der Vorsprung nicht vorhanden zu sein scheint. Dies unterdrückt eine durch einen Fehler verursachte Abnahme der subjektiven Bildqualität, selbst wenn das Betrachten und Hören an Positionen erfolgt, die sich von den Kamerapositionen unterscheiden.
Hier wird ein Beispiel eines Falls beschrieben, in dem eine Technik (die nachstehend als vorhandene Technik bezeichnet wird) zum Durchführen eines Renderings unter Verwendung eines einzelnen Stücks von Texturdaten anstelle von Stereotexturdaten für die vorliegende Ausführungsform als Vergleichsbeispiel verwendet wird. 14 und 15 sind jeweils erläuternde Darstellungen zum Beschreiben eines Vergleichsbeispiels gemäß der vorliegenden Ausführungsform. 14 und 15 sind Darstellungen in einem Fall, in dem ein einzelnes Stück von Texturdaten auf das dreidimensionale Modell M32 abgebildet und in den gleichen Positionsbeziehungen wie jeweils in 12 und 13 betrachtet und angehört wird.
Die vorhandene Technik erlaubt es dem linken und dem rechten Auge nicht, Punkte an verschiedenen Positionen auf der Oberfläche des dreidimensionalen Modells M32 wie den Punkt P_L und den Punkt P_R in 12 und 13 zu verschmelzen. Daher verwendet ein Benutzer beispielsweise in diesem Vergleichsbeispiel, wie in 14 und 15 veranschaulicht, das linke und das rechte Auge, um einen gemeinsamen Punkt P_C zu betrachten, der auf der Oberfläche des dreidimensionalen Modells M32 positioniert ist. Das heißt, die vorhandene Technik ermöglicht es einem Benutzer nicht, einen Punkt zu erkennen, der auf einem Vorsprung positioniert ist, wenn das dreidimensionale Modell M32 einen Fehler, aber keinen Vorsprung aufweist. Mit anderen Worten ist es für die vorhandene Technik nicht möglich, einen Punkt zu rendern, der an einer Position außerhalb der Form des dreidimensionalen Modells M32 vorhanden zu sein scheint, wie in 12 und 13 veranschaulicht.
Wie oben beschrieben, ist es gemäß der vorliegenden Ausführungsform möglich, dass ein Benutzer eine Form betrachtet, die im Vergleich zur vorhandenen Technik näher an der wahren Form liegt. Mit anderen Worten ermöglicht es das Durchführen eines Renderings unter Verwendung einer Stereotextur, eine Abnahme der subjektiven Bildqualität eines Anzeigebilds an jedem Sichtpunkt in der vorliegenden Ausführungsform zu unterdrücken, selbst in einem Fall, in dem die dreidimensionalen Formdaten, die einem dreidimensionalen Formmodell einschließlich eines Fehlers entsprechen, zum Rendern verwendet werden.
Oben wurde das technische Prinzip gemäß der vorliegenden Ausführungsform beschrieben. Nachfolgend werden nacheinander Konfigurationsbeispiele und Operationsbeispiele des Verteilungsservers 1 und der Anzeigesteuervorrichtung 2 zur Realisierung der oben beschriebenen Funktionen und Prozesse beschrieben.
«3. Verteilungsserver»
<Konfiguration>
16 ist ein Blockschaltbild, das ein Beispiel der Konfiguration des Verteilungsservers 1 gemäß der vorliegenden Ausführungsform veranschaulicht, wie in 1 veranschaulicht. Wie in 16 veranschaulicht, ist der Verteilungsserver 1 eine Informationsverarbeitungsvorrichtung einschließlich einer Steuerung 10, einer Kommunikationseinheit 17 und einer Speicherungseinheit 19.
Die Steuerung 10 steuert jede Komponente des Verteilungsservers 1. Zusätzlich fungiert die Steuerung 10 auch als eine Datensatzgenerierungseinheit 11, eine Kommunikationssteuereinheit 13 und eine Auswahleinheit 15, wie in 16 veranschaulicht.
Die Datensatzgenerierungseinheit 11 generiert eine Mehrzahl von Datensätzen mit unterschiedlichen Datenmengen basierend auf den ursprünglichen dreidimensionalen Formdaten, den ursprünglichen Texturdaten, dem linken Kamerabild und dem rechten Kamerabild, wie unter Bezugnahme auf 2 beschrieben.
17 ist ein Blockschaltbild, das ein Beispiel der Konfiguration der Datensatzgenerierungseinheit 11 veranschaulicht. Wie in 17 veranschaulicht, weist die Datensatzgenerierungseinheit 11 einen Vertexreduktionsabschnitt 111, einen perspektivischen Projektionsabschnitt 112 und einen Texturgenerierungsabschnitt 115 auf.
Der Vertexreduktionsabschnitt 111 führt den Vertexreduktionsprozess an den ursprünglichen dreidimensionalen Formdaten durch. Die dreidimensionalen Formdaten, die vom Vertexreduktionsabschnitt 111 ausgegeben und dem Vertexreduktionsprozess unterzogen werden, werden dem perspektivischen Projektionsabschnitt 112 bereitgestellt und mit den nachstehend beschriebenen Stereotexturdaten assoziiert. Die dreidimensionalen Formdaten werden dann in der Speicherungseinheit 19 als Datensatz gespeichert. Das heißt, die dreidimensionalen Formdaten, die im Datensatz eingeschlossen sind, werden durch den Vertexreduktionsabschnitt 111 generiert, der den Vertexreduktionsprozess durchführt.
18 ist eine erläuternde Darstellung, die den Vertexreduktionsprozess durch den Vertexreduktionsabschnitt 111 veranschaulicht. Wie in 18 veranschaulicht, werden die sechs Vertices und sieben Polygone eines dreidimensionalen Modells M41, die dreidimensionalen Formdaten entsprechen, die nicht dem Vertexreduktionsprozess unterzogen wurden, jeweils auf die vier Vertices und drei Polygone eines dreidimensionalen Modells M42 reduziert, die dreidimensionalen Formdaten entsprechen, die dem Vertexreduktionsprozess unterzogen wurden. Die Durchführung des Vertexreduktionsprozesses auf diese Weise ergibt eine rauere Form, ermöglicht aber eine erhebliche Datenreduktion. Dies ermöglicht es, die Lasten für das Senden und Verarbeiten von Daten erheblich zu reduzieren. Es sei zu beachten, dass die Technik des Vertexreduktionsabschnitts 111 für den Vertexreduktionsprozess nicht im Besonderen beschränkt ist, sondern beispielsweise eine bekannte Vertexreduktionstechnik wie QEM (Quadric Error Metrics) verwendet werden kann.
19 ist eine schematische Darstellung, die eine allmähliche Vertexreduktion veranschaulicht. Das in 19 veranschaulichte Beispiel demonstriert, dass, wenn die Vertexanzahl in der Reihenfolge der dreidimensionalen Modelle M51, M52 und M53 kleiner wird, die Form unterschiedlich wird und die Stücke der jeweiligen Vertexdaten, die in Stücken der dreidimensionalen Formdaten F51, F52 und F53 eingeschlossen sind, die den jeweiligen Formen entsprechen, kleinere Datenmengen aufweisen.
Es sei zu beachten, dass in einem Fall, in dem ein Datensatz generiert wird, in dem es nicht erforderlich ist, einen Vertex der dreidimensionalen Formdaten wie den in 2 veranschaulichten Datensatz DS11 zu reduzieren, der Vertexreduktionsabschnitt 111 den Vertexreduktionsprozess nicht durchführen muss, sondern die ursprünglichen dreidimensionalen Formdaten so ausgeben kann, wie sie sind.
Auf 17 wird erneut Bezug genommen, und die Datensatzgenerierungseinheit 11 wird fortlaufend beschrieben. Der perspektivische Projektionsabschnitt 112 erstellt perspektivische Projektionen von der linken und der rechten Kameraposition entsprechend den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge unter Verwendung der dreidimensionalen Formdaten, wie unter Bezugnahme auf 10 beschrieben, und generiert perspektivische Proj ektionsbilder.
Wie in 17 veranschaulicht, weist der perspektivische Projektionsabschnitt 112 einen Projektor für die linke Perspektive 113L und einen Projektor für die rechte Perspektive 113R auf. Der Projektor für die linke Perspektive 113L erstellt eine perspektivische Projektion der Form des dreidimensionalen Modells von der Position der linken Kamera, die den Texturdaten für das linke Auge entspricht, auf die perspektivische Projektionsoberfläche und generiert ein linkes perspektivisches Projektionsbild. Das dreidimensionale Modell entspricht den dreidimensionalen Formdaten, die vom Vertexreduktionsabschnitt 111 bereitgestellt werden. In ähnlicher Weise erstellt der Projektor für die rechte Perspektive 113R eine perspektivische Projektion der Form des dreidimensionalen Modells von der Position der linken Kamera, die den Texturdaten für das rechte Auge entspricht, auf die perspektivische Projektionsoberfläche und generiert ein rechtes perspektivisches Projektionsbild. Das dreidimensionale Modell entspricht den dreidimensionalen Formdaten, die vom Vertexreduktionsabschnitt 111 bereitgestellt werden.
Der Texturgenerierungsabschnitt 115 stellt Assoziationen zwischen den durch den perspektivischen Projektionsabschnitt 112 generierten perspektivischen Projektionsbildern und den Kamerabildern her und bildet die Kamerabilder ab, um Texturdaten für das linke Auge und Texturdaten für das rechte Auge zu generieren, wie unter Bezugnahme auf 10 beschrieben. Es sei zu beachten, dass der Texturgenerierungsabschnitt 115 eine Assoziation zwischen einem perspektivischen Projektionsbild und einem Kamerabild für jeden Bereich (z. B. für jeden dreieckigen Bereich, der einem dreieckigen Patch entspricht) basierend auf einem in dreidimensionalen Formdaten eingeschlossenen Vertex herstellen kann, wie unter Bezugnahme auf 10 beschrieben.
Wie in 17 veranschaulicht, weist der Texturgenerierungsabschnitt 115 einen linken Generierungsprozessor 116L, einen rechten Generierungsprozessor 116R, einen linken Auflösungswechsler 117L und einen rechten Auflösungswechsler 117R auf.
Der linke Generierungsprozessor 116L stellt eine Assoziation zwischen dem linken perspektivischen Projektionsbild und dem linken Kamerabild für jeden dreieckigen Bereich her. Der linke Generierungsprozessor 116L bildet dann einen dreieckigen Bereich des linken Kamerabilds auf den entsprechenden dreieckigen Bereich in den Texturdaten für das linke Auge ab, um die Texturdaten für das linke Auge zu generieren. Der rechte Generierungsprozessor 116R stellt in ähnlicher Weise eine Assoziation zwischen dem rechten perspektivischen Projektionsbild und dem rechten Kamerabild für jeden dreieckigen Bereich her. Der rechte Generierungsprozessor 116R bildet dann einen dreieckigen Bereich des linken Kamerabilds auf den entsprechenden dreieckigen Bereich in den Texturdaten für das rechte Auge ab, um die Texturdaten für das rechte Auge zu generieren. Es sei zu beachten, dass der linke Generierungsprozessor 116L und der rechte Generierungsprozessor 116R jeweils Textur von den ursprünglichen Texturdaten für einen Bereich erfassen können, dessen Textur nicht vom Kamerabild erhalten wird, und die Texturdaten wie oben beschrieben generieren können.
Der linke Auflösungswechsler 117L führt einen Auflösungsänderungsprozess an den vom linken Generierungsprozessor 116L generierten Texturdaten für das linke Auge durch und gibt die Texturdaten für das linke Auge aus. Der rechte Auflösungswechsler 117R führt in ähnlicher Weise den Auflösungsänderungsprozess an den vom rechten Generierungsprozessor 116R generierten Texturdaten für das rechte Auge durch und gibt die Texturdaten für das rechte Auge aus. Die vom linken Auflösungswechsler 117L ausgegebenen Texturdaten für das linke Auge und die vom rechten Auflösungswechsler 117R ausgegebenen Texturdaten für das rechte Auge sind mit den dreidimensionalen Formdaten assoziiert, die vom Vertexreduktionsabschnitt 111 ausgegeben werden, und werden in der Speicherungseinheit 19 als Datensatz gespeichert.
Der linke Auflösungswechsler 117L und der rechte Auflösungswechsler 117R können die Auflösungsänderungsprozesse ausführen, um zu bewirken, dass die in jedem Datensatz eingeschlossenen Texturdaten für das linke Auge und Texturdaten für das rechte Auge jeweils die Pixelanzahl aufweisen, die der Vertexanzahl der im Datensatz eingeschlossenen dreidimensionalen Formdaten entspricht. In einem Fall, in dem die dreidimensionalen Formdaten eine niedrige Vertexanzahl aufweisen, führt die jeweilige Reduzierung der Pixelanzahl der Texturdaten für das linke Auge und der Texturdaten für das rechte Auge nicht zu einer erheblichen Abnahme der Bildqualität. Diese Konfiguration ermöglicht es somit, die Datenmenge effizient zu reduzieren.
Oben wurde das Konfigurationsbeispiel der Datensatzgenerierungseinheit 11 unter Bezugnahme auf 17 beschrieben. Es sei zu beachten, dass die Datensatzgenerierungseinheit 11 eine Mehrzahl von Datensätzen mit unterschiedlichen Datenmengen generiert, wie oben beschrieben. Dies ermöglicht es der Datensatzgenerierungseinheit 11, die Generierung eines Datensatzes zur gleichen Zeit wie die gewünschte Anzahl von Datensätzen zu wiederholen, während ein Parameter entsprechend geändert wird, um beispielsweise die Vertexanzahl der im Datensatz eingeschlossenen dreidimensionalen Formdaten und die Pixelanzahl jedes Stücks von Texturdaten allmählich zu ändern.
Alternativ kann die Steuerung 10 die Mehrzahl von Datensatzgenerierungseinheiten 11 einschließen und Datensätze parallel generieren. 20 ist eine schematische Darstellung, die schematisch veranschaulicht, dass Datensätze in einem Fall, in dem die Steuerung 10 die Mehrzahl von Datensatzgenerierungseinheiten 11 aufweist, parallel generiert werden.
N Datensatzgenerierungseinheiten 11-1 bis 11-N, veranschaulicht in 20, können jeweils eine Konfiguration ähnlich der in 17 veranschaulichten Datensatzgenerierungseinheit 11 aufweisen. Die Datensatzgenerierungseinheiten 11-1 bis 11-N generieren jeweils die Datensätze DS-1 bis DS-N basierend auf den ursprünglichen dreidimensionalen Formdaten, den ursprünglichen Texturdaten, dem linken Kamerabild und dem rechten Kamerabild. Die jeweiligen Datensätze DS-1 bis DS-N weisen Stücke von dreidimensionalen Formdaten mit unterschiedlichen Vertexanzahlen und die Stücke von Texturdaten für das linke Auge und Texturdaten für das rechte Auge auf, die den Stücken von dreidimensionalen Formdaten entsprechen.
Wie in 20 veranschaulicht, ermöglichen parallele Prozesse eine effizientere Generierung einer Mehrzahl von Datensätzen mit allmählich unterschiedlichen Datenmengen.
Auf 16 wird erneut Bezug genommen, und die Steuerung 10 des Verteilungsservers 1 wird fortlaufend beschrieben. Die Kommunikationssteuereinheit 13 steuert die Kommunikation mit einer anderen Vorrichtung, die von der Kommunikationseinheit 17 hergestellt wurde. Beispielsweise steuert die Kommunikationssteuereinheit 13 die Kommunikationseinheit 17, um zu bewirken, dass die Kommunikationseinheit 17 eine Anforderung einschließlich der Lastinformationen von der Anzeigesteuervorrichtung 2 empfängt. Zusätzlich steuert die Kommunikationssteuereinheit 13 die Kommunikationseinheit 17, um zu bewirken, dass die Kommunikationseinheit 17 einen von der nachstehend beschriebenen Auswahleinheit 15 ausgewählten Datensatz gemäß der von der Anzeigesteuervorrichtung 2 empfangenen Anforderung an die Anzeigesteuervorrichtung 2 sendet.
Die Auswahleinheit 15 wählt einen Datensatz, der von der Kommunikationseinheit 17 gesendet werden soll, aus einer Mehrzahl von Datensätzen, die von der Datensatzgenerierungseinheit 11 generiert und in der Speicherungseinheit 19 gespeichert werden, basierend auf den Lastinformationen aus, die in einer von der Kommunikationseinheit 17 empfangenen Anforderung eingeschlossen sind. Wie oben beschrieben, kann die Auswahleinheit 15 einen Datensatz auswählen, der dreidimensionale Formdaten mit der Vertexanzahl entsprechend den Lastinformationen sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechend den dreidimensionalen Formdaten aufweist.
Die Lastinformationen können Übertragungspfadbandinformationen bezüglich des Bands des Übertragungspfads zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 aufweisen, wie oben beschrieben. In einem Fall, in dem das Band des Übertragungspfads zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 nicht breit genug ist, um die Datenmenge eines Datensatzes einschließlich der ursprünglichen dreidimensionalen Formdaten zu übertragen, wählt die Auswahleinheit 15 beispielsweise einen Datensatz aus, der dreidimensionale Formdaten mit einer niedrigeren Vertexanzahl als die der ursprünglichen dreidimensionalen Formdaten aufweist.
Beispielsweise findet das HMD 3 eine praktische Verwendung, wenn ein Benutzer innerhalb eines bestimmten Bereichs frei herumlaufen kann. Es ist somit wünschenswert, dass das HMD 3 eine drahtlose Kommunikation herstellt. In einem Fall, in dem die Anzeigesteuervorrichtung 2 und das HMD 3 integriert sind, um dem HMD 3 die Funktion der Anzeigesteuervorrichtung 2 bereitzustellen, soll dann der Übertragungspfad zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 (integriert in das HMD 3) schmalbandig sein. Im Gegensatz dazu soll in einem Fall, in dem die Anzeigesteuervorrichtung 2 und das HMD 3 unterschiedliche Vorrichtungen sind und die Anzeigesteuervorrichtung 2 drahtgebunden mit dem Kommunikationsnetz 5 gekoppelt ist, der Übertragungspfad zwischen dem Verteilungsserver 1 und der Anzeigesteuervorrichtung 2 breitbandig sein. In jedem dieser Fälle kann die Auswahleinheit 15 einen Datensatz basierend auf dem Band des Übertragungspfads geeignet auswählen.
Zusätzlich können die Lastinformationen Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Anzeigesteuervorrichtung 2 aufweisen, wie oben beschrieben. Die Anzeigesteuervorrichtung 2 kann eine Vielzahl von Verarbeitungsleistungen aufweisen. Die Anzeigesteuervorrichtung 2 und das HMD 3 können unterschiedliche Vorrichtungen sein, und die Anzeigesteuervorrichtung 2 kann ein High-Spec-PC mit einer hohen Verarbeitungsleistung sein. Alternativ weist die Anzeigesteuervorrichtung 2 in einem Fall, in dem die Anzeigesteuervorrichtung 2 und das HMD 3 integriert sind und das HMD 3 die Funktion der Anzeigesteuervorrichtung 2 aufweist, in einigen Fällen eine geringere Verarbeitungsleistung als die des High-Spec-PCs auf. Durch die Integration eines Smartphones in das HMD kann das Smartphone zusätzlich als Anzeigesteuervorrichtung 2 und HMD 3 fungieren. In diesem Fall soll die Anzeigesteuervorrichtung 2 eine geringere Verarbeitungsleistung aufweisen. In jedem dieser Fälle kann die Auswahleinheit 15 einen Datensatz basierend auf der Verarbeitungsleistung geeignet auswählen.
Die Kommunikationseinheit 17 führt eine Informationskommunikation mit einer anderen Vorrichtung unter der Steuerung der oben beschriebenen Kommunikationssteuereinheit 13 durch. Beispielsweise fungiert die Kommunikationseinheit 17 als Empfangseinheit und empfängt eine Anforderung einschließlich der Lastinformationen bezüglich einer Last von der Anzeigesteuervorrichtung 2. Zusätzlich fungiert die Kommunikationseinheit 17 als Sendeeinheit und sendet einen Datensatz gemäß der empfangenen Anforderung. Der Datensatz weist dreidimensionale Formdaten mit der Vertexanzahl entsprechend den Lastinformationen sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge entsprechend den dreidimensionalen Formdaten auf.
Die Speicherungseinheit 19 speichert ein Programm und einen Parameter, um zu bewirken, dass jede Komponente des Verteilungsservers 1 funktioniert. Beispielsweise speichert die Speicherungseinheit 19 die oben beschriebenen ursprünglichen dreidimensionalen Formdaten, die ursprünglichen Texturdaten, das linke Kamerabild und das rechte Kamerabild im Voraus und stellt damit die Datensatzgenerierungseinheit 11 bereit. Zusätzlich speichert die Speicherungseinheit 19 eine Mehrzahl von Datensätzen, die von der Datensatzgenerierungseinheit 11 generiert werden.
<Operation>
Oben wurde das Konfigurationsbeispiel des Verteilungsservers 1 gemäß der vorliegenden Ausführungsform beschrieben. Als Nächstes wird ein Operationsbeispiel des Verteilungsservers 1 gemäß der vorliegenden Ausführungsform beschrieben. Es sei zu beachten, dass der Verteilungsserver 1 gemäß der vorliegenden Ausführungsform eine Mehrzahl von Datensätzen im Voraus generiert und einen Datensatz, der aus der Mehrzahl von Datensätzen ausgewählt wird, an die Anzeigesteuervorrichtung 2 gemäß einer Anforderung von der Anzeigesteuervorrichtung 2 sendet, wie oben beschrieben. Dementsprechend beschreibt das Folgende ein Operationsbeispiel des Verteilungsservers 1 zum Generieren des Datensatzes unter Bezugnahme auf 21 und beschreibt dann ein Operationsbeispiel des Verteilungsservers 1 zum Senden eines Datensatzes unter Bezugnahme auf 22.
21 ist ein Flussdiagramm, das ein Operationsbeispiel des Verteilungsservers 1 zum Generieren eines Datensatzes veranschaulicht. Wie in 21 veranschaulicht, führt der Vertexreduktionsabschnitt 111 der Datensatzgenerierungseinheit 11 zuerst den Vertexreduktionsprozess an den ursprünglichen dreidimensionalen Formdaten durch (S101).
Als Nächstes verwendet der perspektivische Projektionsabschnitt 112 der Datensatzgenerierungseinheit 11 die dreidimensionalen Formdaten, die dem Vertexreduktionsprozess in Schritt S101 unterzogen wurden, um perspektivische Projektionen von der linken und der rechten Kameraposition zu erstellen, und generiert perspektivische Projektionsbilder (S103).
Anschließend stellt der Texturgenerierungsabschnitt 115 der Datensatzgenerierungseinheit 11 Assoziationen zwischen den perspektivischen Projektionsbildern und den linken und rechten Kamerabildern her und generiert Texturdaten für das linke Auge und Texturdaten für das rechte Auge (S105).
Ferner führt der Texturgenerierungsabschnitt 115 die Auflösungsänderungsprozesse an den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge durch, die in Schritt S105 generiert wurden, um den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge die Pixelanzahl, die der Vertexanzahl der dreidimensionalen Formdaten entspricht, die dem Vertexreduktionsprozess in Schritt S101 unterzogen wurden, bereitzustellen (S107).
Die Datensatzgenerierungseinheit 11 assoziiert dann die dreidimensionalen Formdaten, die dem Vertexreduktionsprozess in Schritt S101 unterzogen wurden, mit den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge, die jeweils dem Auflösungsänderungsprozess in Schritt S107 unterzogen wurden, und bewirkt, dass die Speicherungseinheit 19 die dreidimensionalen Formdaten sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge als Datensatz speichert (S109).
Oben wurde das Operationsbeispiel des Verteilungsservers 1 zum Generieren eines Datensatzes unter Bezugnahme auf 21 beschrieben. Es sei zu beachten, dass die in 21 veranschaulichte Reihe von Prozessen genauso oft wiederholt werden kann, wie es der gewünschten Anzahl von Datensätzen entspricht, während ein Parameter entsprechend geändert wird, um beispielsweise die Vertexanzahl der im Datensatz eingeschlossenen dreidimensionalen Formdaten und die Pixelanzahl jedes Stücks von Texturdaten allmählich zu ändern. Alternativ kann die in 21 veranschaulichte Reihe von Prozessen parallel durch die Mehrzahl von Datensatzgenerierungseinheiten 11 durchgeführt werden, wie in 20 veranschaulicht.
Als Nächstes wird ein Operationsbeispiel des Verteilungsservers 1 zum Senden eines Datensatzes unter Bezugnahme auf 22 beschrieben. 22 ist ein Flussdiagramm, das das Operationsbeispiel des Verteilungsservers 1 zum Senden eines Datensatzes veranschaulicht. Wie in 22 veranschaulicht, empfängt die Kommunikationseinheit 17 zuerst eine Anforderung einschließlich der Lastinformationen bezüglich einer Last von der Anzeigesteuervorrichtung 2 unter der Steuerung der Kommunikationssteuereinheit 13 (S151).
Als Nächstes wählt die Auswahleinheit 15 einen von der Kommunikationseinheit 17 zu sendenden Datensatz aus einer Mehrzahl von in der Speicherungseinheit 19 gespeicherten Datensätzen basierend auf den Lastinformationen aus, die in der in Schritt S151 empfangenen Anforderung eingeschlossen sind (S153). Wie oben beschrieben, weist der in Schritt S153 ausgewählte Datensatz dreidimensionale Formdaten mit der Vertexanzahl entsprechend den Lastinformationen sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechend den dreidimensionalen Formdaten auf.
Anschließend sendet die Kommunikationseinheit 17 den in Schritt S153 ausgewählten Datensatz gemäß der Anforderung unter der Steuerung der Kommunikationssteuereinheit 13 an die Anzeigesteuervorrichtung 2 (S155). Die Anforderung wird von der Anzeigesteuervorrichtung 2 in Schritt S151 empfangen.
«4. Anzeigesteuervorrichtung»
<Konfiguration>
Oben wurde das Konfigurationsbeispiel und Operationsbeispiel des Verteilungsservers 1 gemäß der vorliegenden Ausführungsform beschrieben. Als Nächstes wird ein Konfigurationsbeispiel der Anzeigesteuervorrichtung 2 beschrieben. 23 ist ein Blockschaltbild, das das Konfigurationsbeispiel der Anzeigesteuervorrichtung 2 gemäß der vorliegenden Ausführungsform veranschaulicht. Wie in 23 veranschaulicht, ist die Anzeigesteuervorrichtung 2 eine Informationsverarbeitungsvorrichtung einschließlich einer Steuerung 20, einer Kommunikationseinheit 27 und einer Speicherungseinheit 29.
Die Steuerung 20 steuert jede Komponente der Anzeigesteuervorrichtung 2. Zusätzlich fungiert die Steuerung 20 auch als Rendereinheit 21 und Kommunikationssteuereinheit 23, wie in 23 veranschaulicht.
Die Rendereinheit 21 generiert (rendert) ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge basierend auf einem Datensatz, den die nachstehend beschriebene Kommunikationseinheit 27 vom Verteilungsserver 1 empfängt, wie oben unter Bezugnahme auf 3, 7 und dergleichen beschrieben wird. Zusätzlich kann basierend auf Sichtpunktinformationen bezüglich des Sichtpunkts eines Benutzers die Rendereinheit 21 auch ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge am Sichtpunkt generieren. Die Sichtpunktinformationen werden von der Kommunikationseinheit 27 vom HMD 3 empfangen.
Die Kommunikationssteuereinheit 23 steuert die Kommunikation mit einer anderen Vorrichtung, die von der Kommunikationseinheit 27 hergestellt wurde. Beispielsweise steuert die Kommunikationssteuereinheit 23 die Kommunikationseinheit 27, um zu bewirken, dass die Kommunikationseinheit 27 eine Anforderung einschließlich der Lastinformationen bezüglich einer Last an den Verteilungsserver 1 sendet. Es sei zu beachten, dass die Kommunikationssteuereinheit 23 die Lastinformationen von der Speicherungseinheit 29 erfassen kann oder die Lastinformationen von außen über die Kommunikationseinheit 27 erfassen kann. Zusätzlich steuert die Kommunikationssteuereinheit 23 die Kommunikationseinheit 27, um zu bewirken, dass die Kommunikationseinheit 27 einen Datensatz vom Verteilungsserver 1 empfängt. Zusätzlich steuert die Kommunikationssteuereinheit 23 die Kommunikationseinheit 27, um zu bewirken, dass die Kommunikationseinheit 27 die Sichtpunktinformationen bezüglich des Sichtpunkts eines Benutzers vom HMD 3 empfängt. Zusätzlich steuert die Kommunikationssteuereinheit 23 die Kommunikationseinheit 27, um zu bewirken, dass die Kommunikationseinheit 27 ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge an das HMD 3 sendet, und veranlasst, dass das HMD 3 das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge anzeigt. Das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge werden von der Rendereinheit 21 generiert.
Die Kommunikationseinheit 27 führt eine Informationskommunikation mit einer anderen Vorrichtung unter der Steuerung der oben beschriebenen Kommunikationssteuereinheit 23 durch. Beispielsweise fungiert die Kommunikationseinheit 27 als Sendeeinheit und sendet eine Anforderung einschließlich der Lastinformationen bezüglich einer Last an den Verteilungsserver 1. Zusätzlich fungiert die Kommunikationseinheit 27 als Empfangseinheit und empfängt einen Datensatz vom Verteilungsserver 1. Der Datensatz weist dreidimensionale Formdaten mit der Vertexanzahl entsprechend den Lastinformationen sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge entsprechend den dreidimensionalen Formdaten auf. Zusätzlich empfängt die Kommunikationseinheit 27 die Sichtpunktinformationen bezüglich des Sichtpunkts eines Benutzers vom HMD 3 und sendet dem HMD 3 ein von der Rendereinheit 21 generiertes Anzeigebild für das linke Auge und Anzeigebild für das rechte Auge.
Die Speicherungseinheit 29 speichert ein Programm und einen Parameter, um zu bewirken, dass jede Komponente der Anzeigesteuervorrichtung 2 funktioniert. Beispielsweise kann die Speicherungseinheit 29 die oben beschriebenen Lastinformationen speichern.
<Operation>
Oben wurde das Konfigurationsbeispiel der Anzeigesteuervorrichtung 2 gemäß der vorliegenden Ausführungsform beschrieben. Als Nächstes wird ein Operationsbeispiel der Anzeigesteuervorrichtung 2 gemäß der vorliegenden Ausführungsform beschrieben. 24 ist ein Flussdiagramm, das das Operationsbeispiel der Anzeigesteuervorrichtung 2 veranschaulicht.
Wie in 24 veranschaulicht, sendet die Kommunikationseinheit 27 zuerst eine Anforderung einschließlich der Lastinformationen bezüglich einer Last an den Verteilungsserver 1 unter der Steuerung der Kommunikationssteuereinheit 23 (S201). Als Nächstes empfängt die Kommunikationseinheit 27 einen Datensatz vom Verteilungsserver 1 unter der Steuerung der Kommunikationssteuereinheit 23 (S203). Wie oben beschrieben, weist der in Schritt S203 empfangene Datensatz dreidimensionale Formdaten mit der Vertexanzahl entsprechend den Lastinformationen sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge entsprechend den dreidimensionalen Formdaten auf.
Als Nächstes generiert die Rendereinheit 21 basierend auf dem in Schritt S203 empfangenen Datensatz ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge (S205). Anschließend steuert die Kommunikationssteuereinheit 23 die Kommunikationseinheit 27, um zu bewirken, dass die Kommunikationseinheit 27 ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge an das HMD 3 sendet, wodurch veranlasst wird, dass das HMD 3 das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge anzeigt. Das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge werden in Schritt S205 generiert.
«5. Modifikationsbeispiel»
Oben wurde die Ausführungsform der vorliegenden Offenbarung beschrieben. Im Folgenden werden einige Modifikationsbeispiele der Ausführungsform der vorliegenden Offenbarung beschrieben. Es sei zu beachten, dass die nachstehend beschriebenen Modifikationsbeispiele einzeln auf die Ausführungsform der vorliegenden Offenbarung oder in Kombination auf die Ausführungsform der vorliegenden Offenbarung angewendet werden können. Zusätzlich kann jedes Modifikationsbeispiel anstelle der in der Ausführungsform der vorliegenden Offenbarung beschriebenen Konfiguration angewendet werden oder kann zusätzlich auf die in der Ausführungsform der vorliegenden Offenbarung beschriebene Konfiguration angewendet werden.
<Modifikationsbeispiel 1>
In der oben beschriebenen Ausführungsform wurde das Beispiel beschrieben, in dem die Auswahleinheit 15 einen Datensatz auswählt, der von der Kommunikationseinheit 17 basierend auf den Lastinformationen gesendet werden soll, aber die vorliegende Technologie ist nicht auf dieses Beispiel beschränkt. Beispielsweise kann die Auswahleinheit 15 ferner basierend auf der Anzahl von Objekten, die in einem von der Kommunikationseinheit 17 zu sendenden Datensatz eingeschlossen sind, den von der Kommunikationseinheit 17 zu sendenden Datensatz auswählen. Dieses Beispiel wird als Modifikationsbeispiel 1 beschrieben.
25 ist eine erläuternde Darstellung zum Beschreiben des Modifikationsbeispiels 1. Im vorliegenden Modifikationsbeispiel kann für jedes Objekt ein Datensatz generiert werden. Dann kann die Auswahleinheit 15 im vorliegenden Modifikationsbeispiel einen Datensatz für jedes Objekt auswählen. Da ein von der Kommunikationseinheit 17 zu sendender Datensatz mehr Objekte aufweist, kann die Auswahleinheit 15 ferner einen Datensatz mit einer kleineren Datenmenge auswählen. Beispielsweise kann die Auswahleinheit 15 Datensätze basierend auf der Anzahl von Objekten auswählen, um zu bewirken, dass zu sendende Datensätze eine konstante Gesamtdatenmenge aufweisen. In einem Fall, in dem sich die Anzahl der Objekte verdoppelt, kann beispielsweise ein Datensatz ausgewählt werden, um zu bewirken, dass jedes Objekt eine halbe Datenmenge aufweist.
Es sei zu beachten, dass die Anzahl von Objekten, die in einem Datensatz eingeschlossen sind, der von der Kommunikationseinheit 17 gesendet werden soll, beispielsweise basierend auf den in der Speicherungseinheit 19 gespeicherten ursprünglichen Daten identifiziert werden kann. Zusätzlich kann in einem Fall, in dem die Sichtpunktinformationen bezüglich des Sichtpunkts eines Benutzers von der Anzeigesteuervorrichtung 2 erhalten werden, die Anzahl von Objekten, die in einem Datensatz eingeschlossen sind, der von der Kommunikationseinheit 17 gesendet werden soll, gemäß dem Gesichtsfeld des Benutzers identifiziert werden, das basierend auf Sichtpunktinformationen identifiziert wird. 25 veranschaulicht die Gesichtsfelder W11 bis W13 eines Benutzers als Beispiel.
Das Gesichtsfeld W11 des Benutzers weist ein Objekt OBJ111 auf, und somit weist ein von der Kommunikationseinheit 17 zu sendender Datensatz auch ein Objekt auf. In diesem Fall kann die Auswahleinheit 15 einen Datensatz DS21 auswählen, der die dreidimensionalen Formdaten F21 mit einer großen Vertexanzahl sowie die Texturdaten für das linke Auge T21L und die Texturdaten für das rechte Auge T21R mit jeweils einer hohen Pixelanzahl aufweist, wie in 25 veranschaulicht. Infolgedessen weist ein zu sendender Datensatz DS31 die dreidimensionalen Formdaten F31 sowie die Texturdaten für das linke Auge T31L und die Texturdaten für das rechte Auge T31R auf, wie in 25 veranschaulicht.
Das Gesichtsfeld W12 des Benutzers weist zwei Objekte OBJ121 und OBJ122 auf, und somit weist ein von der Kommunikationseinheit 17 zu sendender Datensatz auch zwei Objekte auf. In diesem Fall kann die Auswahleinheit 15 für jedes Objekt einen Datensatz DS22 auswählen, der die dreidimensionalen Formdaten F22 aufweist, deren Vertexanzahl im Vergleich zu den dreidimensionalen Formdaten F21 reduziert ist, wie in 25 veranschaulicht. Wie in 25 veranschaulicht, weisen die Texturdaten für das linke Auge T22L und die Texturdaten für das rechte Auge T22R, die im Datensatz DS22 eingeschlossen sind, zusätzlich niedrigere Pixelanzahlen als diejenigen der Texturdaten für das linke Auge T21L und der Texturdaten für das rechte Auge T21R auf. Infolgedessen weist ein zu sendender Datensatz DS32 Stücke der dreidimensionalen Formdaten F32-1 und F32-2 sowie Stücke der Texturdaten für das linke Auge T32-1L und T32-2L und Stücke der Texturdaten für das rechte Auge T32-1R und T32-2R auf, wie in 25 veranschaulicht.
Das Gesichtsfeld W13 des Benutzers weist drei Objekte OBJ131, OBJ132 und OBJ133 auf, und somit weist ein von der Kommunikationseinheit 17 zu sendender Datensatz auch drei Objekte auf. In diesem Fall kann die Auswahleinheit 15 für jedes Objekt einen Datensatz DS23 auswählen, der die dreidimensionalen Formdaten F23 aufweist, deren Vertexanzahl im Vergleich zu den dreidimensionalen Formdaten F22 ferner reduziert ist, wie in 25 veranschaulicht. Wie in 25 veranschaulicht, weisen die Texturdaten für das linke Auge T23L und die Texturdaten für das rechte Auge T23R, die im Datensatz DS23 eingeschlossen sind, zusätzlich ferner niedrigere Pixelanzahlen als diejenigen der Texturdaten für das linke Auge T22L und der Texturdaten für das rechte Auge T22R auf. Infolgedessen weist ein zu sendender Datensatz DS33 Stücke der dreidimensionalen Formdaten F33-1 bis F33-3 sowie Stücke der Texturdaten für das linke Auge T33-1L bis T33-3L und Stücke der Texturdaten für das rechte Auge T33-1R bis T33-3R auf, wie in 25 veranschaulicht.
Wie oben beschrieben, ermöglicht gemäß dem vorliegenden Modifikationsbeispiel die Auswahl eines weiter zu sendenden Datensatzes basierend auf der Anzahl von Objekten, die im Datensatz eingeschlossen sind, das Senden eines geeigneten Datensatzes.
<Modifikationsbeispiel 2>
In der oben beschriebenen Ausführungsform wurde das Beispiel beschrieben, in dem der Verteilungsserver 1 einen Datensatz generiert, aber die vorliegende Technologie ist nicht auf dieses Beispiel beschränkt. Beispielsweise kann die Funktion der oben beschriebenen Datensatzgenerierungseinheit 11 in einer anderen Informationsverarbeitungsvorrichtung installiert sein. Die andere Informationsverarbeitungsvorrichtung kann eine Mehrzahl von Datensätzen im Voraus generieren und diese dem Verteilungsserver 1 bereitstellen.
<Modifikationsbeispiel 3>
Zusätzlich wurde in der oben beschriebenen Ausführungsform das Beispiel beschrieben, in dem zwei Stücke von Texturdaten basierend auf den zwei Kamerabildern eines linken Kamerabilds und eines rechten Kamerabilds generiert werden, aber die vorliegende Technologie ist nicht auf dieses Beispiel beschränkt. Beispielsweise können drei oder mehr Stücke von Texturdaten basierend auf drei oder mehr Kamerabildern generiert werden. In diesem Fall können zwei Bilder der drei oder mehr Kamerabilder als ein linkes Kamerabild und ein rechtes Kamerabild betrachtet werden, und zwei Stücke von Texturdaten der drei oder mehr Stücke von generierten Texturdaten können als Texturdaten für das linke Auge und Texturdaten für das rechte Auge betrachtet werden.
Es sei zu beachten, dass in einem Fall, in dem drei oder mehr Stücke von Texturdaten generiert werden, der Verteilungsserver 1 die Sichtpunktinformationen von der Anzeigesteuervorrichtung 2 empfangen und die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge auswählen kann, die in einem Datensatz eingeschlossen sind, der von den drei oder mehr Stücken von Texturdaten basierend auf den Sichtpunktinformationen gesendet werden soll.
<Modifikationsbeispiel 4>
In der oben beschriebenen Ausführungsform wurde das Beispiel beschrieben, in dem dreidimensionale Formdaten, die basierend auf der dreidimensionalen Erfassungstechnologie erfasst werden, die ursprünglichen dreidimensionalen Formdaten sind, aber die vorliegende Technologie ist nicht auf dieses Beispiel beschränkt. Beispielsweise sind dreidimensionale Formdaten, die nicht auf der Erfassung im realen Raum basieren, sondern auf einem Computer generiert werden, die ursprünglichen dreidimensionalen Formdaten, und die vorliegende Technologie ist anwendbar. In diesem Fall können beispielsweise ein linkes Kamerabild und ein rechtes Kamerabild durch Bildgebung (Rendern) mit einer virtuellen Stereokamera, einem dreidimensionalen Modell, das den ursprünglichen dreidimensionalen Formdaten entspricht, generiert werden, und die vorliegende Technologie kann angewendet werden.
«6. Hardwarekonfigurationsbeispiel»
Oben wurde die Ausführungsform der vorliegenden Offenbarung beschrieben. Schließlich wird die Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 26 beschrieben. 26 ist ein Blockschaltbild, das ein Beispiel der Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Es sei zu beachten, dass eine Informationsverarbeitungsvorrichtung 900, die in 26 veranschaulicht ist, beispielsweise den Verteilungsserver 1, die Anzeigesteuervorrichtung 2 und das HMD 3 ausführen kann, die in 1, 16 und 23 veranschaulicht sind. Die Informationsverarbeitung durch den Verteilungsserver 1, die Anzeigesteuervorrichtung 2 und das HMD 3 gemäß der vorliegenden Ausführungsform wird in Zusammenarbeit zwischen der nachstehend beschriebenen Software und Hardware ausgeführt.
Wie in 26 veranschaulicht, weist die Informationsverarbeitungsvorrichtung 900 eine CPU (Central Processing Unit, zentrale Verarbeitungseinheit) 901, einen ROM (Read Only Memory, Nur-Lese-Speicher) 902, einen RAM (Random Access Memory, Direktzugriffsspeicher) 903 und einen Hostbus 904a auf. Zusätzlich weist die Informationsverarbeitungsvorrichtung 900 eine Brücke 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Ausgabevorrichtung 907, eine Speicherungsvorrichtung 908, ein Laufwerk 909, einen Kopplungsport 911, eine Kommunikationsvorrichtung 913 und einen Sensor 915 auf. Die Informationsverarbeitungsvorrichtung 900 kann eine Verarbeitungsschaltung wie beispielsweise DSP oder ASIC anstelle oder zusätzlich zu der CPU 901 aufweisen.
Die CPU 901 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung und steuert die Gesamtoperation in der Informationsverarbeitungsvorrichtung 900 gemäß verschiedenen Programmen. Zusätzlich kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert ein Programm, das von der CPU 901 verwendet werden soll, einen arithmetischen Parameter und dergleichen. Der RAM 903 speichert temporär ein Programm, das bei der Ausführung der CPU 901 verwendet wird, einen Parameter, der bei der Ausführung in geeigneter Weise geändert wird, und dergleichen. Die CPU 901 kann beispielsweise in der Steuerung 10 und der Steuerung 20 eingeschlossen sein.
Die CPU 901, der ROM 902 und der RAM 903 sind durch den Hostbus 904a, einschließlich eines CPU-Busses und dergleichen, miteinander gekoppelt. Der Hostbus 904a ist über die Brücke 904 mit dem externen Bus 904b, beispielsweise mit einem PCI-Bus (Peripheral-Component-Interconnect/Interface-Bus), gekoppelt. Es sei zu beachten, dass der Hostbus 904a, die Brücke 904 und der externe Bus 904b nicht notwendigerweise separat eingeschlossen sein müssen, aber die Funktionen davon in einem einzelnen Bus implementiert sein können.
Die Eingabevorrichtung 906 wird durch eine Vorrichtung ausgeführt, über die ein Benutzer Informationen eingibt, wie beispielsweise eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel. Zusätzlich kann die Eingabevorrichtung 906 eine Fernbedienungsvorrichtung, die Infrarotstrahlen oder andere elektrische Wellen verwendet, oder eine externe Kopplungsvorrichtung, wie beispielsweise ein Mobiltelefon oder PDA, die beispielsweise eine Operation der Informationsverarbeitungsvorrichtung 900 unterstützen, sein. Ferner kann die Eingabevorrichtung 906 eine Eingabesteuerschaltung oder dergleichen aufweisen, die ein Eingabesignal basierend auf Informationen generiert, die vom Benutzer unter Verwendung der oben beschriebenen Eingabemittel eingegeben werden, und das Eingabesignal beispielsweise an die CPU 901 ausgibt. Der Benutzer der Informationsverarbeitungsvorrichtung 900 kann verschiedene Arten von Daten in die Informationsverarbeitungsvorrichtung 900 eingeben oder weist die Informationsverarbeitungsvorrichtung 900 an, eine Verarbeitungsoperation durchzuführen, indem diese Eingabevorrichtung 906 betrieben wird.
Die Ausgabevorrichtung 907 weist eine Vorrichtung auf, die in der Lage ist, einen Benutzer über erfasste Informationen visuell oder aural zu benachrichtigen. Beispiele einer derartigen Vorrichtung schließen eine Anzeigevorrichtung wie eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung und eine Lampe, eine Audioausgabevorrichtung wie einen Lautsprecher und einen Kopfhörer, eine Druckervorrichtung und dergleichen ein. Die Ausgabevorrichtung 907 gibt Ergebnisse aus, die durch verschiedene Arten von Verarbeitung erfasst werden, die beispielsweise von der Informationsverarbeitungsvorrichtung 900 durchgeführt wird. Insbesondere zeigt die Anzeigevorrichtung visuell Ergebnisse, die durch verschiedene Arten der Verarbeitung erfasst werden, die von der Informationsverarbeitungsvorrichtung 900 durchgeführt wird, in verschiedenen Formen, wie beispielsweise Text, Bildern, Tabellen und Grafiken, an. Indessen konvertiert die Audioausgabevorrichtung Audiosignale, einschließlich reproduzierter Audiodaten, akustischer Daten und dergleichen, in analoge Signale und gibt die analogen Signale aural aus.
Die Speicherungsvorrichtung 908 ist eine Vorrichtung zur Datenspeicherung, die als ein Beispiel einer Speicherungseinheit der Informationsverarbeitungsvorrichtung 900 ausgebildet ist. Beispielsweise ist die Speicherungsvorrichtung 908 durch eine magnetische Speicherungseinheitsvorrichtung, wie beispielsweise HDD, eine Halbleiterspeicherungsvorrichtung, eine optische Speicherungsvorrichtung, eine magnetooptische Speicherungsvorrichtung oder dergleichen, ausgeführt. Die Speicherungsvorrichtung 908 kann ein Speicherungsmedium, eine Aufzeichnungsvorrichtung, die Daten im Speicherungsmedium aufzeichnet, eine Lesevorrichtung, die Daten vom Speicherungsmedium liest, eine Löschvorrichtung, die im Speicherungsmedium aufgezeichnete Daten löscht, und dergleichen aufweisen. Diese Speicherungsvorrichtung 908 speichert ein Programm, das von der CPU 901 ausgeführt werden soll, verschiedene Arten von Daten, verschiedene Arten von Daten, die von außen erfasst werden, und dergleichen. Die oben beschriebene Speicherungsvorrichtung 908 kann beispielsweise in der Speicherungseinheit 19 und der Speicherungseinheit 29 eingeschlossen sein.
Das Laufwerk 909 ist ein Lese-/Schreibgerät für ein Speicherungsmedium und ist in die Informationsverarbeitungsvorrichtung 900 integriert oder extern an dieser angebracht. Das Laufwerk 909 liest Informationen aus, die auf einem entfernbaren Speicherungsmedium, wie beispielsweise einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder einem darauf montierten Halbleiterspeicher aufgezeichnet sind, und gibt die Informationen an den RAM 903 aus. Zusätzlich ist das Laufwerk 909 auch in der Lage, Informationen auf das entfernbare Speicherungsmedium zu schreiben.
Der Kopplungsport 911 ist eine Schnittstelle, die mit einer externen Vorrichtung gekoppelt ist, und ist ein Kopplungsport zu einer externen Vorrichtung, über die beispielsweise Daten über USB (Universal Serial Bus) und dergleichen gesendet werden können.
Die Kommunikationsvorrichtung 913 ist eine Kommunikationsschnittstelle, die beispielsweise eine Kommunikationsvorrichtung und dergleichen zum Koppeln mit einem Netz 920 aufweist. Die Kommunikationsvorrichtung 913 ist beispielsweise eine Kommunikationskarte oder dergleichen für drahtgebundenes oder drahtloses LAN (Local Area Network, lokales Netz), LTE (Long Term Evolution), Bluetooth (eingetragene Marke) oder WUSB (Wireless USB, drahtloses USB). Zusätzlich kann die Kommunikationsvorrichtung 913 ein Router für optische Kommunikation, ein Router für ADSL (Asymmetric Digital Subscriber Line), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Beispielsweise kann diese Kommunikationsvorrichtung 913 Signale und dergleichen zum und vom Internet und zu und von einer anderen Kommunikationsvorrichtung gemäß einem vorbestimmten Protokoll, wie beispielsweise TCP/IP, senden und empfangen. Die Kommunikationsvorrichtung 913 kann beispielsweise in der Kommunikationseinheit 17 und der Kommunikationseinheit 27 eingeschlossen sein.
Der Sensor 915 kann beispielsweise verschiedene Sensoren sein, wie beispielsweise ein Beschleunigungssensor, ein Gyrosensor, ein geomagnetischer Sensor, ein optischer Sensor, ein Schallsensor, ein Entfernungssensor und ein Kraftsensor. Der Sensor 915 erfasst Informationen bezüglich des Zustands der Informationsverarbeitungsvorrichtung 900 selbst, wie beispielsweise Höhe und Bewegungsgeschwindigkeit der Informationsverarbeitungsvorrichtung 900, und Informationen bezüglich der Umgebung der Informationsverarbeitungsvorrichtung 900, wie beispielsweise Helligkeit und Rauschen um die Informationsverarbeitungsvorrichtung 900. Zusätzlich kann der Sensor 915 einen GPS-Sensor aufweisen, der ein GPS-Signal empfängt und den Breitengrad, den Längengrad und die Höhe der Vorrichtung misst.
Es sei zu beachten, dass das Netz 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer Vorrichtung gesendet werden, die mit dem Netz 920 gekoppelt ist. Beispielsweise kann das Netz 920 ein öffentliches Netz, wie beispielsweise das Internet, ein Telefonnetz oder ein Satellitenkommunikationsnetz, und verschiedene LANs (Local Area Networks, lokale Netze) einschließlich Ethernet (eingetragene Marke) und WAN (Wide Area Network, Weitverkehrsnetz) und dergleichen aufweisen. Zusätzlich kann das Netz 920 ein privates Netz wie IP-VPN (Internet Protocol-Virtual Private Network) aufweisen.
Oben wurde ein Beispiel der Hardwarekonfiguration beschrieben, die es ermöglicht, eine Funktion der Informationsverarbeitungsvorrichtung 900 gemäß der Ausführungsform der vorliegenden Offenbarung auszuführen. Die oben beschriebenen jeweiligen Komponenten können unter Verwendung von Allzweckelementen ausgeführt werden oder können durch Hardware, die für die Funktionen der jeweiligen Komponenten spezifisch ist, ausgeführt werden. Es ist somit möglich, Hardwarekonfigurationen, die gemäß einem technischen Niveau zum Zeitpunkt der Ausführung der Ausführungsform der vorliegenden Offenbarung genutzt werden sollen, entsprechend zu ändern.
Es sei zu beachten, dass es möglich ist, ein Computerprogramm zum Ausführen jeder Funktion der Informationsverarbeitungsvorrichtung 900 gemäß der Ausführungsform der vorliegenden Offenbarung, wie oben beschrieben, zu erstellen und das Computerprogramm in einem PC oder dergleichen zu installieren. Zusätzlich ist es auch möglich, ein computerlesbares Aufzeichnungsmedium bereitzustellen, auf dem ein derartiges Computerprogramm gespeichert ist. Das Aufzeichnungsmedium ist beispielsweise eine Magnetplatte, eine optische Platte, eine magnetooptische Platte, ein Flash-Speicher oder dergleichen. Zusätzlich kann das oben beschriebene Computerprogramm beispielsweise über ein Netz ohne Verwendung eines Aufzeichnungsmediums verteilt werden.
«7. Schlussfolgerung»
Gemäß der oben beschriebenen Ausführungsform der vorliegenden Offenbarung ist es möglich, eine Abnahme der subjektiven Bildqualität eines Anzeigebilds zu unterdrücken, das basierend auf dreidimensionalen Formdaten generiert wird.
Eine bevorzugte Ausführungsform bzw. bevorzugte Ausführungsformen der vorliegenden Offenbarung wurde/wurden oben detailliert unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, aber der technische Schutzbereich der vorliegenden Offenbarung ist nicht auf eine derartige Ausführungsform bzw. derartige Ausführungsformen beschränkt. Fachleute auf dem Gebiet können verschiedene Änderungen und Modifikationen innerhalb des Schutzbereichs der beigefügten Ansprüche finden, und es sollte verstanden werden, dass sie natürlich unter den technischen Schutzbereich der vorliegenden Offenbarung fallen.
Beispielsweise müssen die jeweiligen Schritte in der oben beschriebenen Ausführungsform nicht notwendigerweise in chronologischer Reihenfolge gemäß der als Flussdiagramm beschriebenen Reihenfolge verarbeitet werden. Beispielsweise können die jeweiligen Schritte in den Prozessen gemäß der oben beschriebenen Ausführungsform in einer Reihenfolge verarbeitet werden, die sich von der als Flussdiagramm beschriebenen Reihenfolge unterscheidet, oder sie können parallel verarbeitet werden.
Zusätzlich sind die hierin beschriebenen Wirkungen lediglich veranschaulichend und beispielhaft, jedoch nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann zusätzlich zu den oben beschriebenen Wirkungen oder anstelle der oben beschriebenen Wirkungen andere Wirkungen ausüben, die für Fachleute auf dem Gebiet aus der vorliegenden Beschreibung offensichtlich sind.
Es sei zu beachten, dass die nachfolgenden Konfigurationen auch in den technischen Schutzbereich der vorliegenden Offenbarung fallen.

(1) Informationsverarbeitungsvorrichtung, aufweisend:
- eine Empfangseinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last empfängt; und
- eine Sendeeinheit, die einen Datensatz gemäß der Anforderung sendet, wobei der Datensatz dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge aufweist, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.
(2) Informationsverarbeitungsvorrichtung gemäß (1), ferner aufweisend eine Auswahleinheit, die eine Auswahl des von der Sendeeinheit zu sendenden Datensatzes aus einer Mehrzahl von Datensätzen basierend auf den Lastinformationen trifft, wobei die Mehrzahl von Datensätzen jeweils die dreidimensionalen Formdaten sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge aufweisen, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.
(3) Informationsverarbeitungsvorrichtung gemäß (2), wobei die Auswahleinheit die Auswahl ferner basierend auf einer Anzahl von Objekten trifft, die im von der Sendeeinheit zu sendenden Datensatz eingeschlossen sind.
(4) Informationsverarbeitungsvorrichtung gemäß (2) oder (3), ferner aufweisend eine Datensatzgenerierungseinheit, die die Mehrzahl von Datensätzen generiert.
(5) Informationsverarbeitungsvorrichtung gemäß (4), wobei die Datensatzgenerierungseinheit einen Vertexreduktionsabschnitt aufweist, der die dreidimensionalen Formdaten durch einen Vertexreduktionsprozess generiert, wobei die dreidimensionalen Formdaten im Datensatz eingeschlossen sind.
(6) Informationsverarbeitungsvorrichtung gemäß (4) oder (5), wobei die Datensatzgenerierungseinheit ferner einen perspektivischen Projektionsabschnitt aufweist, der perspektivische Projektionen von jeweiligen Kamerapositionen entsprechend den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge unter Verwendung der dreidimensionalen Formdaten erstellt und perspektivische Projektionsbilder generiert.
(7) Informationsverarbeitungsvorrichtung gemäß (6), wobei die Datensatzgenerierungseinheit ferner einen Texturgenerierungsabschnitt aufweist, der Assoziationen zwischen den perspektivischen Projektionsbildern und Kamerabildern herstellt und die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge generiert, wobei die Kamerabilder mittels Durchführen von Bildgebung von den Kamerapositionen erfasst werden.
(8) Informationsverarbeitungsvorrichtung gemäß (7), wobei der Texturgenerierungsabschnitt die Assoziationen zwischen den perspektivischen Projektionsbildern und den Kamerabildern für jeden Bereich basierend auf einem in den dreidimensionalen Formdaten eingeschlossenen Vertex herstellt.
(9) Informationsverarbeitungsvorrichtung gemäß einem von (1) bis (8), wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge jeweils eine Pixelanzahl aufweisen, die einer Vertexanzahl der dreidimensionalen Formdaten entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge in jedem Datensatz eingeschlossen sind, wobei die dreidimensionalen Formdaten im Datensatz eingeschlossen sind.
(10) Informationsverarbeitungsvorrichtung gemäß einem von (1) bis (9), wobei die Lastinformationen Übertragungspfadbandinformationen bezüglich eines Bands eines Übertragungspfads zwischen einer Sendevorrichtung und der Informationsverarbeitungsvorrichtung oder Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Sendevorrichtung aufweisen, wobei die Sendevorrichtung die Anforderung sendet.
(11) Informationsverarbeitungsvorrichtung, aufweisend:
- eine Sendeeinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last sendet;
- eine Empfangseinheit, die einen Datensatz mit dreidimensionalen Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge empfängt, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen; und
- eine Rendereinheit, die basierend auf dem Datensatz ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge generiert.
(12) Informationsverarbeitungsvorrichtung gemäß (11), wobei die Lastinformationen Übertragungspfadbandinformationen bezüglich eines Bands eines Übertragungspfads zwischen einer Empfangsvorrichtung und der Informationsverarbeitungsvorrichtung oder Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Informationsverarbeitungsvorrichtung aufweisen, wobei die Empfangsvorrichtung die Anforderung empfängt.
(13) Informationsverarbeitungsvorrichtung gemäß (11) oder (12), wobei die Rendereinheit das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge ferner basierend auf Informationen bezüglich eines Sichtpunkts eines Benutzers generiert.
(14) Informationsverarbeitungsvorrichtung gemäß (13), ferner aufweisend eine Anzeigeeinheit, die an einem Kopf des Benutzers getragen wird und das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge anzeigt.
(15) Informationsverarbeitungsverfahren, aufweisend:
- Empfangen einer Anforderung einschließlich Lastinformationen bezüglich einer Last; und
- Veranlassen durch einen Prozessor, dass ein Datensatz gemäß der Anforderung gesendet wird, wobei der Datensatz dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge aufweist, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.
(16) Informationsverarbeitungsverfahren, aufweisend:
- Senden einer Anforderung einschließlich Lastinformationen bezüglich einer Last;
- Empfangen eines Datensatzes mit dreidimensionalen Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen; und

Generieren durch einen Prozessor eines Anzeigebilds für das linke Auge und eines Anzeigebilds für das rechte Auge basierend auf dem Datensatz.
Bezugszeichenliste

1: Verteilungsserver
2: Anzeigesteuervorrichtung
3: HMD
5: Kommunikationsnetz
10: Steuerung
11: Datensatzgenerierungseinheit
13: Kommunikationssteuereinheit
15: Auswahleinheit
17: Kommunikationseinheit
19: Speicherungseinheit
20: Steuerung
21: Rendereinheit
23: Kommunikationssteuereinheit
27: Kommunikationseinheit
29: Speicherungseinheit
111: Vertexreduktionsabschnitt
112: perspektivischer Projektionsabschnitt
115: Texturgenerierungsabschnitt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2015/310662 [0004]

Claims

Informationsverarbeitungsvorrichtung, aufweisend: eine Empfangseinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last empfängt; und eine Sendeeinheit, die einen Datensatz gemäß der Anforderung sendet, wobei der Datensatz dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge aufweist, wobei die dreidimensionalen Formdaten eine Vertexanzahl entsprechend den Lastinformationen aufweisen, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner aufweisend eine Auswahleinheit, die eine Auswahl des von der Sendeeinheit zu sendenden Datensatzes aus einer Mehrzahl von Datensätzen basierend auf den Lastinformationen trifft, wobei die Mehrzahl von Datensätzen jeweils die dreidimensionalen Formdaten sowie die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge aufweisen, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Auswahleinheit die Auswahl ferner basierend auf einer Anzahl von Objekten trifft, die im von der Sendeeinheit zu sendenden Datensatz eingeschlossen sind.
Informationsverarbeitungsvorrichtung nach Anspruch 2, ferner aufweisend eine Datensatzgenerierungseinheit, die die Mehrzahl von Datensätzen generiert.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Datensatzgenerierungseinheit einen Vertexreduktionsabschnitt aufweist, der die dreidimensionalen Formdaten durch einen Vertexreduktionsprozess generiert, wobei die dreidimensionalen Formdaten im Datensatz eingeschlossen sind.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Datensatzgenerierungseinheit ferner einen perspektivischen Projektionsabschnitt aufweist, der perspektivische Projektionen von jeweiligen Kamerapositionen entsprechend den Texturdaten für das linke Auge und den Texturdaten für das rechte Auge unter Verwendung der dreidimensionalen Formdaten erstellt und perspektivische Projektionsbilder generiert.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Datensatzgenerierungseinheit ferner einen Texturgenerierungsabschnitt aufweist, der Assoziationen zwischen den perspektivischen Projektionsbildern und Kamerabildern herstellt und die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge generiert, wobei die Kamerabilder mittels Durchführen von Bildgebung von den Kamerapositionen erfasst werden.
Informationsverarbeitungsvorrichtung nach Anspruch 7, wobei der Texturgenerierungsabschnitt die Assoziationen zwischen den perspektivischen Projektionsbildern und den Kamerabildern für jeden Bereich basierend auf einem in den dreidimensionalen Formdaten eingeschlossenen Vertex herstellt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge jeweils eine Pixelanzahl aufweisen, die einer Vertexanzahl der dreidimensionalen Formdaten entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge in jedem Datensatz eingeschlossen sind, wobei die dreidimensionalen Formdaten im Datensatz eingeschlossen sind.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Lastinformationen Übertragungspfadbandinformationen bezüglich eines Bands eines Übertragungspfads zwischen einer Sendevorrichtung und der Informationsverarbeitungsvorrichtung oder Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Sendevorrichtung aufweisen, wobei die Sendevorrichtung die Anforderung sendet.
Informationsverarbeitungsvorrichtung, aufweisend: eine Sendeeinheit, die eine Anforderung einschließlich Lastinformationen bezüglich einer Last sendet; eine Empfangseinheit, die einen Datensatz mit dreidimensionalen Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge empfängt, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen; und eine Rendereinheit, die basierend auf dem Datensatz ein Anzeigebild für das linke Auge und ein Anzeigebild für das rechte Auge generiert.
Informationsverarbeitungsvorrichtung nach Anspruch 11, wobei die Lastinformationen Übertragungspfadbandinformationen bezüglich eines Bands eines Übertragungspfads zwischen einer Empfangsvorrichtung und der Informationsverarbeitungsvorrichtung oder Verarbeitungsleistungsinformationen bezüglich der Verarbeitungsleistung der Informationsverarbeitungsvorrichtung aufweisen, wobei die Empfangsvorrichtung die Anforderung empfängt.
Informationsverarbeitungsvorrichtung nach Anspruch 11, wobei die Rendereinheit das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge ferner basierend auf Informationen bezüglich eines Sichtpunkts eines Benutzers generiert.
Informationsverarbeitungsvorrichtung nach Anspruch 13, ferner aufweisend eine Anzeigeeinheit, die an einem Kopf des Benutzers getragen wird und das Anzeigebild für das linke Auge und das Anzeigebild für das rechte Auge anzeigt.
Informationsverarbeitungsverfahren, aufweisend: Empfangen einer Anforderung einschließlich Lastinformationen bezüglich einer Last; und Veranlassen durch einen Prozessor, dass ein Datensatz gemäß der Anforderung gesendet wird, wobei der Datensatz dreidimensionale Formdaten sowie Texturdaten für das linke Auge und Texturdaten für das rechte Auge aufweist, wobei die dreidimensionalen Formdaten eine Vertexanzahl aufweisen, die den Lastinformationen entspricht, wobei die Texturdaten für das linke Auge und die Texturdaten für das rechte Auge den dreidimensionalen Formdaten entsprechen.