DE112018005075T5

DE112018005075T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112018005075T5
Application number: DE112018005075.0T
Authority: DE
Inventors: Atsushi Ishihara
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-10-30
Filing date: 2018-07-30
Publication date: 2020-08-06
Also published as: US11176747B2; US20200342671A1; WO2019087491A1

Abstract

[Aufgabe] Steuern einer Anzeige eines virtuellen Objekts durch ein zweckmäßiges Anzeigesteuerungsverfahren entsprechend einem Abstand zwischen einem Benutzer und dem virtuellen Objekt.[Lösung] Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Rauminformationserfassungseinheit zum Erfassen von Informationen zu einem realen Objekt, das in einen realen Raum gesetzt ist; und eine Anzeigesteuereinheit zum Steuern eines Anzeigegeräts zum Anzeigen eines ersten Anzeigeobjekts als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung, wenn ein Abstand zwischen einem Benutzer und dem virtuellen Objekt ein erster Abstand ist, und Steuern des Anzeigegeräts zum Anzeigen eines zweiten Anzeigeobjekts als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung, wenn der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist. [Ausgewählte Zeichnung]

Description

Gebiet der Technik
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Stand der Technik
In den letzten Jahren sind Techniken, durch die einem Benutzer virtuelle Objekte präsentiert werden, offenbart worden. Es ist zum Beispiel eine Technik, durch die einem Benutzer Feedback zu einem auf einem virtuellen Objekt erzeugten Benutzerschatten gegeben wird, offenbart worden (siehe zum Beispiel Patentliteratur 1). Bei dieser Technik wird ein Anzeigesteuerungsverfahren eingesetzt, bei dem ein auf einem virtuellen Objekt erzeugter Benutzerschatten um so größer ist, je größer der Abstand zwischen dem Benutzer und dem virtuellen Objekt ist. Der Benutzer gewinnt dadurch, dass er den auf dem virtuellen Objekt erzeugten Benutzerschatten sieht, einfach ein Gefühl für den Abstand zwischen dem Benutzer und dem virtuellen Objekt.
Liste der Anführungen
Patentliteratur
Patentliteratur 1: japanische Offenlegungsschrift Nr. 2016-194744 .
Kurze Darstellung der Erfindung
Technische Aufgabe
Es sind jedoch möglicherweise jeweils unterschiedliche Verfahren zum Steuern einer Anzeige virtueller Objekte gemäß dem Abstand zwischen einem Benutzer und einem virtuellen Objekt geeignet. Es wird beispielsweise von einem Fall ausgegangen, in dem die Genauigkeit der Detektion des Abstands zwischen einem Benutzer und einem realen Objekt, das ein virtuelles Objekt verdeckt, gemäß dem Abstand zwischen dem Benutzer und dem virtuellen Objekt variiert. Es wird von einem Fall ausgegangen, in dem, falls die Genauigkeit der Detektion des Abstands zwischen dem Benutzer und dem realen Objekt variiert, auch jeweils unterschiedliche Verfahren zum Steuern einer Anzeige virtueller Objekte geeignet sind. Mithin ist es wünschenswert, wenn eine Anzeige virtueller Objekte mittels eines geeigneten Anzeigesteuerungsverfahrens gemäß dem Abstand zwischen dem Benutzer und dem virtuellen Objekt gesteuert wird.
Technische Lösung
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und eine Anzeigesteuereinheit, die, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Gemäß der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes enthält: Erfassen von Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, durch einen Prozessor; und, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, Ausführen einer Steuerung derart, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, Ausführen einer Steuerung derart, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Gemäß der vorliegenden Offenbarung wird ein Programm bereitgestellt, das bewirkt, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes enthält: eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und eine Anzeigesteuereinheit, die, falls der Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Vorteilhafte Wirkungen der Erfindung
Wie oben beschrieben, wird gemäß der vorliegenden Offenbarung eine Technik bereitgestellt, die das Steuern einer Anzeige virtueller Objekte mittels eines geeigneten Anzeigesteuerungsverfahrens gemäß dem Abstand zwischen einem Benutzer und einem virtuellen Objekt ermöglicht. Es wird darauf hingewiesen, dass die obigen vorteilhaften Wirkungen nicht zwangsläufig begrenzt sind, vielmehr können beliebige vorteilhafte Wirkungen, die in der vorliegenden Patentbeschreibung offenbart werden, oder auch andere vorteilhafte Wirkungen, die aus der vorliegenden Patentbeschreibung hervorgehen, zusätzlich zu den obigen vorteilhaften Wirkungen oder an ihrer Stelle enthalten sein.
Figurenliste

1 ist ein Schema zur überblicksartigen Veranschaulichung einer Ausführungsform der vorliegenden Offenbarung.
2 ist ein Schema, das eine beispielhafte Funktionskonfiguration einer Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
3 ist ein Schema, das eine beispielhafte detaillierte Konfiguration einer Steuereinheit veranschaulicht.
4 ist ein Schema zur Veranschaulichung eines ersten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem weiten Abstand platziert ist.
5 ist ein Schema zur Veranschaulichung eines zweiten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem weiten Abstand platziert ist.
6 ist ein Schema zur Veranschaulichung einer beispielhaften Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem mittleren Abstand platziert ist.
7 ist ein Schema zur Veranschaulichung eines ersten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem kurzen Abstand platziert ist.
8 ist ein Schema zur Veranschaulichung eines zweiten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem kurzen Abstand platziert ist.
9 ist ein Schema zur Veranschaulichung eines dritten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem kurzen Abstand platziert ist.
10 ist ein Schema zur Veranschaulichung eines vierten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem kurzen Abstand platziert ist.
11 ist ein Schema zur Veranschaulichung eines fünften Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt in einem kurzen Abstand platziert ist.
12 ist ein Ablaufschema, das beispielhafte Abläufe der Informationsverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform veranschaulicht.
13 ist ein Schema zur Veranschaulichung einer beispielhaften Schwellenwertsteuerung.
14 ist ein Blockschema, das eine beispielhafte Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.

Beschreibung der Ausführungsformen
Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben. Es wird darauf hingewiesen, dass doppelte Beschreibungen in der vorliegenden Patentbeschreibung und den Zeichnungen vermieden werden, indem einzelnen Elementen, die im Wesentlichen dieselben Funktionskonfigurationen aufweisen, dieselben Bezugszeichen zugewiesen werden.
Des Weiteren wird in der vorliegenden Patentbeschreibung und den Zeichnungen zwischen einer Vielzahl einzelner Elemente, die im Wesentlichen dieselben oder ähnliche Funktionskonfigurationen aufweisen, unterschieden, indem an dieselben Bezugszeichen unterschiedliche Ziffern angehängt werden. Wenn jedoch zwischen einer Vielzahl einzelner Elemente, die im Wesentlichen dieselben oder ähnliche Funktionskonfigurationen aufweisen, nicht unbedingt unterschieden werden muss, werden nur identische Bezugszeichen angehängt. Des Weiteren wird zwischen ähnlichen einzelnen Elementen unterschiedlicher Ausführungsformen mitunter unterschieden, indem unterschiedliche Buchstaben an dieselben Bezugszeichen angehängt werden. Wenn jedoch zwischen ähnlichen einzelnen Elementen nicht unbedingt unterschieden werden muss, werden nur identische Bezugszeichen angehängt.
Es wird darauf hingewiesen, dass in der Beschreibung folgende Reihenfolge eingehalten wird:

0. Überblick
1. Details der Ausführungsform
1.1. Beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung
1.2. Details von Informationsverarbeitungsvorrichtungsfunktionen
1.3. Beispielhafte Abläufe der Informationsverarbeitungsvorrichtung
1.4 Verschiedene Modifikationsbeispiele
2. Beispielhafte Hardwarekonfiguration
3. Schlussbemerkungen

<Überblick>
Zunächst wird mit Bezug auf 1 eine Ausführungsform der vorliegenden Offenbarung überblicksartig beschrieben. In den letzten Jahren sind Techniken, durch die einem Benutzer virtuelle Objekte präsentiert werden, offenbart worden. Es ist zum Beispiel eine Technik, durch die einem Benutzer Feedback zu einem auf einem virtuellen Objekt erzeugten Benutzerschatten gegeben wird, offenbart worden. Bei dieser Technik wird ein Anzeigesteuerungsverfahren eingesetzt, bei dem ein auf einem virtuellen Objekt erzeugter Benutzerschatten um so größer ist, je größer der Abstand zwischen dem Benutzer und dem virtuellen Objekt ist. Der Benutzer gewinnt dadurch, dass er den auf dem virtuellen Objekt erzeugten Benutzerschatten sieht, einfach ein Gefühl für den Abstand zwischen dem Benutzer und dem virtuellen Objekt.
Es sind jedoch möglicherweise jeweils unterschiedliche Verfahren zum Steuern einer Anzeige virtueller Objekte gemäß dem Abstand zwischen einem Benutzer und einem virtuellen Objekt geeignet. Die vorliegende Offenbarung wird mit Bezug auf 1 detailliert beschrieben. 1 ist ein Schema zur überblicksartigen Veranschaulichung einer Ausführungsform der vorliegenden Offenbarung. In 1, auf die Bezug genommen wird, befindet sich ein Benutzer U in einem realen Raum R. Des Weiteren ist eine Position, die um einen Abstand Th2 von einer Position P0, an der sich der Benutzer U befindet, beabstandet ist, als „Position P2“ veranschaulicht, und eine Position, die um einen Abstand Th1 von der Position P0, an der sich der Benutzer U befindet, beabstandet ist, ist als „Position P1“ veranschaulicht. In der folgenden Beschreibung wird aufgrund der Verwendung des Abstands Th1 und des Abstands Th2 als Schwellenwerte der Abstand Th1 auch als „Schwellenwert Th1“ und der Abstand Th2 als „Schwellenwert Th2“ bezeichnet.
Der Schwellenwert Th1 und der Schwellenwert Th2 können hierbei vorher bestimmt werden. Jedoch sind der Schwellenwert Th1 und der Schwellenwert Th2 nicht darauf beschränkt, dass sie vorher als jeweilige Werte bestimmt werden. Indem beispielsweise die Position P0, an der sich der Benutzer U befindet, als Referenz verwendet wird, kann der Schwellenwert Th2 ein maximaler Abstand zu einer Position sein, an der der Benutzer U vermutlich zu einer Berührung mit seiner Hand, indem er seine Hand ausstreckt, in einem stationären Zustand fähig ist. Indem des Weiteren beispielsweise die Position P0 des Benutzers U als Referenz verwendet wird, kann der Schwellenwert Th1 ein minimaler Abstand zu einer Position sein, an der eine verringerte Sichtbarkeit für den Benutzer U vermutet wird.
In der folgenden Beschreibung werden im Zusammenhang mit der Verwendung der Position P0, an der sich der Benutzer U befindet, als Referenz Abstände, die kleiner als der Schwellenwert Th2 sind, auch „kurze Abstände (PO ≤ P < P2)“ genannt. Des Weiteren werden im Zusammenhang mit der Verwendung der Position P0, an der sich der Benutzer U befindet, als Referenz Abstände, die mindestens gleich dem Schwellenwert Th2 sowie kleiner als der Schwellenwert Th1 sind, auch „mittlere Abstände (P2 ≤ P < P1)“ genannt. Darüber hinaus werden im Zusammenhang mit der Position P0, an der sich der Benutzer U befindet, als Referenz Abstände, die mindestens gleich dem Schwellenwert Th1 sind, auch „weite Abstände (P > P1)“ genannt.
Unter Bezugnahme auf 1 wird ein Beispiel veranschaulicht, in dem ein virtuelles Objekt 30-1 und ein reales Objekt 40-1 in einem weiten Abstand (P > P1) angeordnet sind. Darüber hinaus wird ein Beispiel veranschaulicht, in dem ein virtuelles Objekt 30-2 und ein reales Objekt 40-2 in einem mittleren Abstand (P2 ≤ P < P1) angeordnet sind. Ferner wird ein Beispiel veranschaulicht, in dem ein virtuelles Objekt 30-3 und ein reales Objekt 40-3 in einem kurzen Abstand (P2 ≤ P < P1) angeordnet sind.
Es wird darauf hingewiesen, dass 1 zylinderförmige Objekte als beispielhafte virtuelle Objekte 30 veranschaulicht, dass jedoch keine besonderen Einschränkungen für die Typen der virtuellen Objekte 30 (zum Beispiel die Form, die Größe, die Farbe, die Helligkeit, die Bewegung oder ähnliche Eigenschaften der virtuellen Objekte 30) gelten. Des Weiteren veranschaulicht 1 kastenförmige Objekte und die Hände des Benutzers U als beispielhafte reale Objekte 40, jedoch gelten keine besonderen Einschränkungen für die Typen der realen Objekte 40 (zum Beispiel die Form, die Größe, die Farbe, die Helligkeit, die Bewegung oder ähnliche Eigenschaften der realen Objekte 40).
Die Informationsverarbeitungsvorrichtung 10 detektiert als beispielhafte Informationen zu realen Objekten zum Beispiel den Abstand zwischen dem Benutzer U und den realen Objekten 40. Die Informationsverarbeitungsvorrichtung 10 enthält gemäß der Ausführungsform der vorliegenden Offenbarung eine Stereokamera, und es wird vor allem von einem Fall ausgegangen, in dem ein Tiefenbild basierend auf einem linken Bild und einem rechten Bild, die durch die Stereokamera aufgenommen werden, erzeugt wird und die realen Objekte 40 basierend auf dem Tiefenbild detektiert werden. Jedoch kann der Abstand zwischen dem Benutzer U und den realen Objekten 40 auf beliebige Weise detektiert werden. Wenn die Informationsverarbeitungsvorrichtung 10 zum Beispiel einen Abstandssensorsensor enthält, kann der Abstand zwischen dem Benutzer U und den realen Objekten 40 mittels des Abstandssensors detektiert werden. Der Abstandssensor kann ein Time-of-Flight(TOF)-Sensor oder dergleichen sein.
Unter Bezugnahme auf 1 wird beispielhaft ein Fall veranschaulicht, in dem die Informationsverarbeitungsvorrichtung 10 aus einem schutzbrillenartigen, am Kopf des Benutzers U getragenen Head Mounted Display (HMD) konfiguriert ist. Jedoch muss das HMD nicht unbedingt als schutzbrillenartiges HMD ausgebildet sein, sondern kann auch ein brillenartiges HMD oder dergleichen sein. Ferner muss die Informationsverarbeitungsvorrichtung 10 nicht unbedingt ein HMD sein. Die Informationsverarbeitungsvorrichtung 10 kann zum Beispiel ein Smartphone, ein Tablet-Endgerät, ein Mobiltelefon oder ein anderes mobiles Gerät sein.
Darüber hinaus wird in der Ausführungsform der vorliegenden Offenbarung vor allem von einem Fall ausgegangen, in dem die Informationsverarbeitungsvorrichtung 10 eine transparente Anzeige enthält. Hierbei kann der Benutzer U die virtuellen Objekte 30, die durch die Anzeige angezeigt werden, visuell bestätigen und die realen Objekte 40 hinter der Anzeige visuell bestätigen. Die Informationsverarbeitungsvorrichtung 10 kann jedoch auch eine nicht transparente Anzeige enthalten. Dabei kann der Benutzer U die virtuellen Objekte 30, die durch die Anzeige angezeigt werden, und reale Objekte über Bilder, die durch die Kamera der Informationsverarbeitungsvorrichtung 10 aufgenommen und durch die Anzeige angezeigt werden, visuell bestätigen.
Hierbei wird von einem Fall ausgegangen, in dem die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und einem realen Objekt 40, das ein virtuelles Objekt 30 verdeckt, gemäß dem Abstand zwischen dem Benutzer U und dem virtuellen Objekt 30 variiert. Wenn das virtuelle Objekt 30-1 zum Beispiel in einem weiten Abstand (P > P1) platziert ist, wird davon ausgegangen, dass der Abstand zwischen dem Benutzer U und dem realen Objekt 40-1, das das virtuelle Objekt 30-1 verdeckt, größer wird und deshalb die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und dem realen Objekt 40-1 geringer ist.
Wenn das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, kommt es darüber hinaus aufgrund des kurzen Abstands zwischen dem Benutzer U und dem realen Objekt 40-3, das das virtuelle Objekt 30-3 verdeckt, zu einer Vergrößerung der Parallaxe zwischen dem linken Bild und dem rechten Bild, die durch die Stereokamera aufgenommen werden. Folglich kann davon ausgegangen werden, dass selbst für einen Bereich, der vom Benutzer U visuell bestätigt werden kann, ein Bereich, für den der Abstand nicht detektierbar ist, in einem aus dem linken Bild und dem rechten Bild zu erzeugenden Tiefenbild erzeugt wird, wodurch die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und dem realen Objekt 40-3 geringer ist.
Es wird mithin von einem Fall ausgegangen, in dem, falls die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und dem realen Objekt 40 variiert, auch jeweils unterschiedliche Verfahren zum Steuern einer Anzeige der virtuellen Objekte 30 geeignet sind. Deshalb schlägt die vorliegende Patentbeschreibung vor allem eine Technik zum Steuern der Anzeige virtueller Objekte 30 mittels eines geeigneten Anzeigesteuerungsverfahrens gemäß dem Abstand zwischen dem Benutzer U und den realen Objekten 40 vor.
Die beispielhaften Anzeigesteuerungsverfahren in der folgenden Beschreibung enthalten eine Verdeckungsverarbeitung. Die Verdeckungsverarbeitung kann einer Verarbeitung entsprechen, bei der ein Bereich (unten auch „verdeckter Bereich“ genannt) eines virtuellen Objekts 30, das sich hinter einem realen Objekt 40 befindet, bei einer Verwendung der Position des Benutzers U als Referenz vom virtuellen Objekt 30 entfernt wird (das nicht als virtuelles Objekt 30 wiedergegeben wird), um ein virtuelles Objekt nach der Bereichsentfernung als Anzeigeobjekt zu erzeugen. Mithin kann eine Steuerung der Anzeige des virtuellen Objekts 30 implementiert werden, die natürlicher für den Benutzer U ist.
Wenn das virtuelle Objekt 30-1 beispielsweise in einem weiten Abstand (P > P1) platziert ist, wird davon ausgegangen, dass die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und dem realen Objekt 40-1, das das virtuelle Objekt 30-1 verdeckt, geringer ist. Wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, wird darüber hinaus davon ausgegangen, dass die Sichtbarkeit des virtuellen Objekts 30-1 für den Benutzer U geringer ist.
Wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, kann deshalb die Anzeige des virtuellen Objekts 30-1 zudem basierend auf einer weiter vereinfachten Verarbeitung gesteuert werden. Mithin wird der zum Steuern der Anzeige des virtuellen Objekts 30-1 erforderliche Rechenaufwand reduziert.
Vor allem deshalb, weil die Verdeckungsverarbeitung in der Regel immer dann, wenn ein virtuelles Objekt 30 angezeigt wird, durchgeführt wird, ist es mitunter besonders vonnöten, dass der zur Steuerung der Anzeige des virtuellen Objekts 30-1 erforderliche Rechenaufwand reduziert wird. Wenn die Informationsverarbeitungsvorrichtung 10 ein mobiles Gerät ist, gelten darüber hinaus Einschränkungen hinsichtlich des Stromverbrauchs und der Menge der vom Prozessor erzeugten Wärme, folglich ist es mitunter besonders vonnöten, dass der zum Steuern der Anzeige des virtuellen Objekts 30-1 erforderliche Rechenaufwand reduziert wird. Dies kann durch Steuern der Anzeige des virtuellen Objekts 30-1 basierend auf einer weiter vereinfachten Verarbeitung erzielt werden.
Wenn das virtuelle Objekt 30-3, um ein weiteres Beispiel anzuführen, in einem kurzen Abstand (PO ≤ P < P2) platziert ist, wird davon ausgegangen, dass die Genauigkeit der Detektion des Abstands zwischen dem Benutzer U und dem realen Objekt 40-3, das das virtuelle Objekt 30-3 verdeckt, geringer ist. Wenn das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, hat der Benutzer U darüber hinaus mitunter die Möglichkeit, dass er das reale Objekt 40-3 mit dem virtuellen Objekt 30-3 in Kontakt bringt oder das virtuelle Objekt 30-3 mittels des realen Objekts 40-3 manipuliert. Folglich hat der Benutzer U mitunter die Möglichkeit, dass er ein Gefühl für den Abstand zwischen dem virtuellen Objekt 30-3 und dem realen Objekt 40-3 gewinnt.
Wenn das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, kann dadurch, dass ein Bereich, der größer als der Verdeckungsbereich ist, vom virtuellen Objekt 30-3 entfernt wird, folglich ein virtuelles Objekt nach der Bereichsentfernung als Anzeigeobjekt erzeugt werden. Mithin kann der Benutzer U den Abstand zwischen dem virtuellen Objekt 30-3 und dem realen Objekt 40-3 gemäß der Größe des vom virtuellen Objekt 30-3 entfernten Bereichs einfach feststellen.
Oben ist die Ausführungsform der vorliegenden Offenbarung überblicksartig beschrieben worden.
<Details der Ausführungsform>
Als Nächstes werden die Details der Ausführungsform der vorliegenden Offenbarung beschrieben.
[Beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung]
Als Nächstes wird eine beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung beschrieben. 2 ist ein Schema, das eine beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Wie in 2 veranschaulicht, enthält die Informationsverarbeitungsvorrichtung 10 eine Gesichtsfeldanalyse-Abbildungseinheit 111, eine Blickliniendetektions-Abbildungseinheit 112, eine Steuereinheit 120, eine Speichereinheit 130 und eine Anzeigeeinheit 150.
Die Gesichtsfeldanalyse-Abbildungseinheit 111 hat die Funktion, durch Abbilden des Gesichtsfelds des Benutzers U ein Bild (ein Gesichtsfeldanalyse-Bild) zu erhalten. Die Gesichtsfeldanalyse-Abbildungseinheit 111 enthält zum Beispiel eine Stereokamera und erhält ein linkes Bild und ein rechtes Bild, die durch die Stereokamera aufgenommen werden. Das linke Bild und das rechte Bild, die durch die Stereokamera aufgenommen werden, werden bei der Detektion des Abstands durch eine Abstandsmesseinheit 124 (3) verwendet. Es wird darauf hingewiesen, dass nicht nur die Stereokamera und die Abstandsmesseinheit 124, sondern, wie oben beschrieben, verschiedene Abstandssensoren verwendet werden können. Darüber hinaus kann die Gesichtsfeldanalyse-Abbildungseinheit 111 entweder in die Informationsverarbeitungsvorrichtung 10 integriert oder von der Informationsverarbeitungsvorrichtung 10 getrennt sein.
Die Blickliniendetektions-Abbildungseinheit 112 hat die Funktion, durch Abbilden der Augen des Benutzers U ein Bild (ein Blickliniendetektions-Bild) zu erhalten. Die Blickliniendetektions-Abbildungseinheit 112 enthält zum Beispiel eine Kamera (die einen Bildsensor enthält) und erhält ein Blickliniendetektions-Bild, das durch die Kamera aufgenommen wird. Es gelten keine besonderen Einschränkungen dafür, wie viele Kameras in der Blickliniendetektions-Abbildungseinheit 112 enthalten sein müssen, sofern mindestens eine vorhanden ist. Es gelten zudem keine besonderen Einschränkungen dafür, an welcher Position die Blickliniendetektions-Abbildungseinheit 112 bereitgestellt sein muss. Die Blickliniendetektions-Abbildungseinheit 112 ist zum Beispiel möglicherweise entweder in die Informationsverarbeitungsvorrichtung 10 integriert oder von der Informationsverarbeitungsvorrichtung 10 getrennt.
Die Speichereinheit 130 ist ein Aufzeichnungsmedium, das so konfiguriert ist, dass in ihm ein Speicherelement enthalten ist, und das ein Programm, das durch die Steuereinheit 120 ausgeführt wird, und für die Programmausführung erforderliche Daten speichert. Des Weiteren speichert die Speichereinheit 130 vorübergehend Daten zur Berechnung durch die Steuereinheit 120. Die Speichereinheit 130 ist aus einer Magnetspeichereinheiteinrichtung, einer Halbleiterspeichereinrichtung, einer optischen Speichereinrichtung, einer magneto-optischen Speichereinrichtung oder dergleichen konfiguriert.
Die Anzeigeeinheit 150 enthält eine Funktion zum Anzeigen verschiedener Bildschirme. Es gelten keine Einschränkungen für den Typ der Anzeigeeinheit 150. Die Anzeigeeinheit 150 muss zum Beispiel nur eine Anzeige (ein Anzeigegerät) sein, die zum Wiedergeben einer Anzeige, die eine visuelle Bestätigung durch den Benutzer ermöglicht, fähig ist. Genauer kann die Anzeigeeinheit 150 eine Flüssigkristallanzeige oder eine OLED-Anzeige sein.
Die Steuereinheit 120 führt auf verschiedene Arten eine Steuerung der Informationsverarbeitungsvorrichtung 10 aus. 3 ist ein Schema, das eine beispielhafte detaillierte Konfiguration der Steuereinheit 120 veranschaulicht. Wie in 3 veranschaulicht, enthält die Steuereinheit 120 eine zur Erfassung realer Rauminformationen dienende Einheit 121, eine zur Detektion realer Objekte dienende Einheit 122, eine Anwendungsausführungseinheit 123, eine Abstandsmesseinheit 124, eine Blickliniendetektionseinheit 125 und eine Anzeigesteuereinheit 126. Die verschiedenen Funktionsblöcke werden im Folgenden detailliert beschrieben. Es wird darauf hingewiesen, dass die Steuereinheit 120 zum Beispiel aus einem oder mehreren Hauptprozessoren (CPUs) oder dergleichen konfiguriert ist. Wenn die Steuereinheit 120 aus einer Verarbeitungseinheit wie einer CPU konfiguriert ist, kann die Verarbeitungseinheit aus einer elektronischen Schaltung konfiguriert sein.
Oben ist eine beispielhafte Funktionskonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben worden.
[Details von Informationsverarbeitungsvorrichtungsfunktionen]
Als Nächstes werden Details der Funktionen der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben. In der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung erfasst die zur Erfassung realer Rauminformationen dienende Einheit 121 Informationen zu einem realen Objekt 40, das im realen Raum R platziert ist. Genauer erfasst die zur Erfassung realer Rauminformationen dienende Einheit 121 Informationen zum realen Objekt 40, indem sie das linke Bild und das rechte Bild vom realen Objekt 40, die von der Gesichtsfeldanalyse-Abbildungseinheit 111 gemacht werden, erfasst.
Falls der Abstand zwischen dem Benutzer U und einem virtuellen Objekt 30 ein erster Abstand ist, führt ferner die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass basierend auf dem realen Objekt 40 und einer ersten Verarbeitung ein erstes Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird. Falls der Abstand zwischen dem Benutzer U und dem virtuellen Objekt 30 ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, führt die Anzeigesteuereinheit 126 darüber hinaus eine Steuerung derart aus, dass basierend auf dem realen Objekt 40 und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung ein zweites Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird.
Gemäß dieser Konfiguration lässt sich die Anzeige virtueller Objekte mittels eines geeigneten Anzeigesteuerungsverfahrens gemäß dem Abstand zwischen dem Benutzer U und dem virtuellen Objekt 30 steuern.
Hierbei wird von einer Vielzahl von Kombinationen ausgegangen, die Kombinationen des ersten Abstands und des zweiten Abstands sind. In einem ersten Beispiel wird von einem Fall ausgegangen, in dem der erste Abstand ein mittlerer Abstand (P2 ≤ P < P1) und der zweite Abstand ein weiter Abstand (P > P1) ist. In einem zweiten Beispiel wird von einem Fall ausgegangen, in dem der erste Abstand ein mittlerer Abstand (P2 ≤ P < P1) und der zweite Abstand ein kurzer Abstand (PO ≤ P < P2) ist. Das erste Beispiel und das zweite Beispiel werden nachfolgend beschrieben.
Zunächst wird das erste Beispiel beschrieben. 4 ist ein Schema zur Veranschaulichung eines ersten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem weiten Abstand (P > P1) platziert ist. 5 ist ein Schema zur Veranschaulichung eines zweiten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem weiten Abstand (P > P1) platziert ist. 6 ist ein Schema zur Veranschaulichung einer beispielhaften Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist.
Falls, wobei auf 4 Bezug genommen wird, ein virtuelles Objekt 30 in einem weiten Abstand (P > P1) platziert ist, befindet sich ein reales Objekt 40-1, dessen Position in einem realen Raum detektiert worden ist, in einem Tiefenbild 70-1, und es wird ein darüber eingeblendetes virtuelles Objekt 30-1, dessen Position in einem virtuellen Raum bestimmt worden ist, veranschaulicht. Falls, wobei auf 6 Bezug genommen wird, ein virtuelles Objekt 30 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist, befindet sich ein reales Objekt 40-2, dessen Position in einem realen Raum detektiert worden ist, in einem Tiefenbild 70-2, und es wird ein darüber eingeblendetes virtuelles Objekt 30-2, dessen Position in einem virtuellen Raum bestimmt worden ist, veranschaulicht.
Die Position des virtuellen Objekts 30-1 in einem virtuellen Raum wird durch die Anwendungsausführungseinheit 123 bestimmt. Des Weiteren detektiert die Anwendungsausführungseinheit 123 die Position des virtuellen Objekts 30-1 in einem Gesichtsfeld und den Abstand zwischen der Gesichtsfeldanalyse-Abbildungseinheit 111 und dem virtuellen Objekt 30-1 basierend auf der Position des virtuellen Objekts 30-1 im virtuellen Raum und der Position und der Lage der Gesichtsfeldanalyse-Abbildungseinheit 111 in einem realen Raum (der Position der virtuellen Kamera). Die Position und die Lage der Gesichtsfeldanalyse-Abbildungseinheit 111 in einem realen Raum können durch die Anwendungsausführungseinheit 123 basierend auf einem Ergebnis einer Erkennung im realen Raum gemäß einer Vielzahl von im Zeitablauf durch die Gesichtsfeldanalyse-Abbildungseinheit 111 fortlaufend aufgenommenen Bildern kalkuliert werden. Es wird darauf hingewiesen, dass keine besonderen Einschränkungen für den Anwendungstyp gelten. Die Anwendung kann beispielsweise eine Spielanwendung sein.
Die Abstandsmesseinheit 124 erzeugt basierend auf einem linken Bild und einem rechten Bild, die durch die Gesichtsfeldanalyse-Abbildungseinheit 111 aufgenommen werden, ein Tiefenbild und gibt das erzeugte Tiefenbild an die Anzeigesteuereinheit 126 aus. Die zur Detektion realer Objekte dienende Einheit 122 bestimmt, ob sich ein vorher bestimmtes reales Objekt (zum Beispiel eine Hand des Benutzers U oder dergleichen) im Gesichtsfeld befindet oder nicht, basierend auf dem linken Bild und dem rechten Bild, die durch die Gesichtsfeldanalyse-Abbildungseinheit 111 aufgenommen werden. Wenn sich ein vorher bestimmtes reales Objekt im Gesichtsfeld befindet, detektiert die zur Detektion realer Objekte dienende Einheit 122 die Position des vorher bestimmten realen Objekts im Gesichtsfeld und gibt die Position an die Anzeigesteuereinheit 126 aus.
Die Anzeigesteuereinheit 126 ist dazu fähig, ein reales Objekt vor dem virtuellen Objekt 30-1 basierend auf der Position des virtuellen Objekts 30-1 im Gesichtsfeld, dem Abstand zwischen der Gesichtsfeldanalyse-Abbildungseinheit 111 und dem virtuellen Objekt 30-1 sowie dem Tiefenbild zu erkennen.
Wie oben beschrieben, wird hierbei in dem Beispiel, das in 6 veranschaulicht ist, von einem Fall ausgegangen, in dem das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist. In diesem Fall führt die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass basierend auf dem realen Objekt 40-1 und einer ersten Verarbeitung ein erstes Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird. Dahingegen wird in dem Beispiel, das in 4 veranschaulicht ist, von einem Fall ausgegangen, in dem das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist. In diesem Fall führt die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass basierend auf dem realen Objekt 40-2 und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung ein zweites Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird.
Es gelten keine besonderen Einschränkungen für die erste Verarbeitung oder die zweite Verarbeitung. Falls jedoch, wie oben beschrieben, das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, kann die Anzeige des virtuellen Objekts 30-1 zudem basierend auf einer weiter vereinfachten Verarbeitung gesteuert werden. Wenn das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist und die erste Verarbeitung eine Verarbeitung ist, bei der das erste Anzeigeobjekt gemäß einem ersten Genauigkeitsgrad erzeugt wird, ist deshalb die zweite Verarbeitung, wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, eine Verarbeitung, bei der das zweite Anzeigeobjekt gemäß einem zweiten Genauigkeitsgrad, der geringer als der erste Genauigkeitsgrad ist, erzeugt wird.
Die Genauigkeit beim Erzeugen von Anzeigeobjekten kann auf beliebige Art verringert werden. Die Genauigkeit beim Erzeugen von Anzeigeobjekten lässt sich beispielsweise verringern, indem die Form der virtuellen Objekte und/oder die Form der realen Objekte vereinfacht werden/wird. Nachfolgend wird vor allem ein Fall beschrieben, in dem die Form von realen Objekten vereinfacht ist. Jedoch kann auch die Form von virtuellen Objekten mittels der zum Vereinfachen der Form von realen Objekten verwendeten Technik vereinfacht werden. Alternativ können sowohl die Form der virtuellen Objekte als auch die Form der realen Objekte vereinfacht werden.
6 veranschaulicht eine Verarbeitung, bei der als erste Verarbeitung, wenn das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist, ein erster Bereich des virtuellen Objekts 30-2, das sich hinter dem realen Objekt 40-2 befindet, kalkuliert und der erste Bereich vom virtuellen Objekt 30-2 entfernt wird, um ein erstes Anzeigeobjekt (ein virtuelles Objekt 30-22) (ein Gesichtsfeld 80-22) zu erzeugen.
Dabei kann die zweite Verarbeitung, wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, eine Verarbeitung sein, bei der ein zweiter Bereich des virtuellen Objekts 30-1, das sich hinter dem realen Objekt 40-1 befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-1 entfernt wird, um ein zweites Anzeigeobjekt (ein virtuelles Objekt) zu erzeugen, nachdem mindestens eine Teilform eines Bereichs, in dem das reale Objekt 40-1 erkannt wird, vereinfacht worden ist.
Es lässt sich mindestens eine Teilform des Bereichs, in dem das reale Objekt 40-1 erkannt wird, durch beliebige Mittel vereinfachen. 4 veranschaulicht beispielhaft eine Verarbeitung, bei der als zweite Verarbeitung, wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, die Form des Bereichs, in dem das reale Objekt 40-1 erkannt wird, an einen rechteckigen Bereich 41 (ein Tiefenbild 70-12) angeglichen wird, ein zweiter Bereich des virtuellen Objekts 30-1, der sich hinter dem rechteckigen Bereich 41 befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-1 entfernt wird, um ein zweites Anzeigeobjekt (ein virtuelles Objekt 30-12) (ein Gesichtsfeld 80-12) zu erzeugen.
In dem Beispiel, das in 4 veranschaulicht ist, kann eine Formvereinfachung durchgeführt werden, indem der gesamte Bereich, in dem das reale Objekt 40-1 erkannt wird, an eine Rechteckform angeglichen wird. Die Formvereinfachung ist jedoch nicht auf dieses Beispiel begrenzt. Die anzugleichende Form ist zum Beispiel nicht auf eine Rechteckform begrenzt. Es kann des Weiteren ein Abschnitt des Bereichs, in dem das reale Objekt 40-1 erkannt wird, vereinfacht werden. Das heißt, eine Formvereinfachung kann auch durchgeführt werden, indem mindestens eine Teilform des Bereichs, in dem das reale Objekt 40-1 erkannt wird, an eine vorher bestimmte Form angeglichen wird.
Alternativ kann eine Formvereinfachung durchgeführt werden, indem die Anzahl von Vielecken mindestens eines Abschnitts des Bereichs, in dem das reale Objekt 40-1 erkannt wird, reduziert wird. Hierbei kann vorab bestimmt werden, inwieweit die Anzahl von Vielecken reduziert wird. Inwieweit die Anzahl von Vielecken reduziert wird, kann alternativ entsprechend der Anzahl von Vielecken in dem Bereich, in dem das reale Objekt 40-1 erkannt wird, bestimmt werden. Zum Beispiel kann vorab eine Differenz in der Anzahl von Vielecken bestimmt werden, und die Anzahl von Vielecken in dem Bereich, in dem das reale Objekt 40-1 erkannt wird, kann um diese Differenz reduziert werden.
Alternativ kann eine Formvereinfachung durchgeführt werden, indem mindestens eine Teilform des Bereichs, in dem das reale Objekt 40-1 erkannt wird, auf eine vorher bestimmte Ebene projiziert wird. Es gelten keine besonderen Einschränkungen für die vorher bestimmte Ebene. Die vorher bestimmte Ebene ist zum Beispiel möglicherweise eine Ebene, die durch die am nächsten bei der Gesichtsfeldanalyse-Abbildungseinheit 111 liegende Position in dem Bereich, in dem das reale Objekt 40-1 erkannt wird, verläuft (zum Beispiel eine zur Anzeigeebene der Anzeigeeinheit 150 parallele Ebene, eine vertikale Ebene oder dergleichen), oder eine Ebene, die durch die Mitte des Bereichs, in dem das reale Objekt 40-1 erkannt wird, verläuft (zum Beispiel eine zur Anzeigeebene der Anzeigeeinheit 150 parallele Ebene, eine vertikale Ebene oder dergleichen).
Um ein weiteres Beispiel anzuführen, kann des Weiteren die Genauigkeit, mit der ein Anzeigeobjekt erzeugt wird, reduziert werden, indem die Auflösung des Tiefenbilds verringert wird. 6 veranschaulicht eine Verarbeitung, bei der als erste Verarbeitung, wenn das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist, ein erster Bereich des virtuellen Objekts 30-2, das sich hinter dem realen Objekt 40-2 befindet, basierend auf dem durch die Abstandsmesseinheit 124 erzeugten Tiefenbild (einem ersten Tiefenbild) kalkuliert und der erste Bereich vom virtuellen Objekt 30-2 entfernt wird, um ein erstes Anzeigeobjekt (ein virtuelles Objekt 30-22) (ein Gesichtsfeld 80-22) zu erzeugen.
5 veranschaulicht eine Verarbeitung, bei der als zweite Verarbeitung, wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, ein zweiter Bereich des virtuellen Objekts 30-1, das sich hinter dem realen Objekt 40-1 befindet, basierend auf einem Tiefenbild 70-13 (dem zweiten Tiefenbild) mit einer geringeren Auflösung als das Tiefenbild (das erste Tiefenbild), das durch die Abstandsmesseinheit 124 erzeugt wird, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-1 entfernt wird, um ein zweites Anzeigeobjekt (ein virtuelles Objekt 30-12) zu erzeugen. Hierbei kann vorab bestimmt werden, inwieweit die Auflösung verringert wird.
Des Weiteren kann beispielsweise die Genauigkeit, mit der Anzeigeobjekte erzeugt werden, gesenkt werden, indem die Bildfolgefrequenz zum Erzeugen der Anzeigeobjekte reduziert wird. Wenn das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist, kann die erste Verarbeitung zum Beispiel eine Verarbeitung sein, bei der unter Verwendung einer ersten Bildfolgefrequenz (eines ersten Zyklus) ein erster Bereich des virtuellen Objekts 30-2, das sich hinter dem realen Objekt 40-2 befindet, kalkuliert und der erste Bereich vom virtuellen Objekt 30-2 entfernt wird, um ein erstes Anzeigeobjekt (ein virtuelles Objekt 30-22) zu erzeugen.
Wenn das virtuelle Objekt 30-1 in einem weiten Abstand (P > P1) platziert ist, kann die zweite Verarbeitung eine Verarbeitung sein, bei der unter Verwendung einer zweiten Bildfolgefrequenz, die niedriger als die erste Bildfolgefrequenz ist, (unter Verwendung eines zweiten Zyklus, der länger als der erste Zyklus ist) ein zweiter Bereich des virtuellen Objekts 30-1, das sich hinter dem realen Objekt 40-1 befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-2 entfernt wird, um ein zweites Anzeigeobjekt (ein virtuelles Objekt) zu erzeugen.
Als Nächstes wird das zweite Beispiel beschrieben. 7 ist ein Schema zur Veranschaulichung eines ersten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist. 8 ist ein Schema zur Veranschaulichung eines zweiten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist. 9 ist ein Schema zur Veranschaulichung eines dritten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist.
Wie oben beschrieben, wird in dem Beispiel, das in 6 veranschaulicht ist, von einem Fall ausgegangen, in dem das virtuelle Objekt 30-2 in einem mittleren Abstand (P2 ≤ P < P1) platziert ist. In diesem Fall führt die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass basierend auf dem realen Objekt 40-1 und einer ersten Verarbeitung ein erstes Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird. Dabei wird in dem Beispiel, das in den 7 bis 9 veranschaulicht ist, von einem Fall ausgegangen, in dem das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist. In diesem Fall führt die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass basierend auf dem realen Objekt 40-2 und einer zweiten, sich von der zweiten Verarbeitung unterscheidenden Verarbeitung ein zweites Anzeigeobjekt durch die Anzeigeeinheit 150 als virtuelles Objekt angezeigt wird.
Es gelten keine besonderen Einschränkungen für die erste Verarbeitung oder die zweite Verarbeitung. Falls jedoch, wie oben beschrieben, das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, kann dadurch, dass ein Bereich, der größer als der verdeckte Bereich ist, vom virtuellen Objekt 30-3 entfernt wird, ein virtuelles Objekt nach der Bereichsentfernung als Anzeigeobjekt erzeugt werden.
Wenn das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, kann die zweite Verarbeitung deshalb eine Verarbeitung sein, bei der ein zweiter Bereich des virtuellen Objekts 30-3, der sich hinter einem modifizierten Bereich befindet, der durch Modifizieren der Größe und/oder der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, erhalten wird, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-3 entfernt wird, um ein zweites Anzeigeobjekt zu erzeugen.
Von dem virtuellen Objekt 30-3 wird ein Bereich, der größer als der verdeckte Bereich ist, dadurch entfernt, dass der zweite Bereich, der sich hinter dem Bereich befindet, der dadurch erhalten wird, dass der Bereich, in dem das reale Objekt 40-3 erkannt wird, vergrößert wird, vom virtuellen Objekt 30-3 entfernt wird. Das Vergrößerungsverhältnis ist dabei möglicherweise entweder fest oder um so größer, je größer der Abstand zwischen der Position des Benutzers U (also der Position der Gesichtsfeldanalyse-Abbildungseinheit 111) und der Position des realen Objekts 40-3 ist.
Darüber hinaus wird vom virtuellen Objekt 30-3 ein Bereich, der größer als der verdeckte Bereich ist, dadurch entfernt, dass der modifizierte Bereich, der durch Modifizieren der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, erhalten wird, vom virtuellen Objekt 30-3 entfernt wird. Hierbei gelten keine Einschränkungen für die Richtung, in der die Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, geändert wird. Wenn jedoch als reales Objekt 40-3 eine Hand detektiert wird, weil davon ausgegangen wird, dass sich die Hand im Gesichtsfeld von unten nach oben erstrecken wird, falls die Richtung, in der die Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, geändert wird, eine Aufwärtsrichtung ist, wird ein Bereich, der größer als der verdeckte Bereich ist, von dem virtuellen Objekt 30-3 entfernt.
7 veranschaulicht beispielhaft eine Verarbeitung, bei der als zweite Verarbeitung, wenn das virtuelle Objekt 30-3 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, basierend auf einem Tiefenbild 70-31 ein zweiter Bereich des virtuellen Objekts 30-3, der sich hinter dem Bereich befindet, der durch Aufwärtsmodifizieren der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, erhalten wird, kalkuliert und der zweite Bereich vom virtuellen Objekt 30-3 entfernt wird, um ein zweites Anzeigeobjekt (ein virtuelles Objekt 30-31) (ein Gesichtsfeld 80-31) zu erzeugen.
Darüber hinaus führt die Anzeigesteuereinheit 126 eine Steuerung derart aus, dass ein vorher bestimmtes Bild durch die Anzeigeeinheit 150 in einem nicht überlappenden Bereich angezeigt wird, von dem modifizierten Bereich, der durch Modifizieren der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, erhalten wird, der den Bereich, in dem das reale Objekt 40-3 erkannt wird, nicht überlappt. 7 zeigt als Beispiel für das vorher bestimmte Bild ein Ausschnittbild 42-31 von dem Bereich im Tiefenbild an, der dem nicht überlappenden Bereich entspricht. Wenn das Ausschnittbild 42-31 mithin angezeigt wird, kann das Ausschnittbild 42-31 vom Benutzer U als Schatten des realen Objekts 40-3 wahrgenommen werden.
Inwieweit die Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, modifiziert wird (ein Betrag, der der Breite des Ausschnittbilds 42 entspricht), kann entweder fest sein oder kann um so größer sein, je kleiner der Abstand zwischen der Position des realen Objekts 40-3 und der Position des Benutzers U (also der Position der Gesichtsfeldanalyse-Abbildungseinheit 111) ist. In den 7 und 8, auf die Bezug genommen wird, ist der Abstand des realen Objekts 40-3 zum Benutzer U im Tiefenbild 70-32 kürzer als der Abstand des realen Objekts 40-3 zum Benutzer U im Tiefenbild 70-31. Folglich ist die Breite eines Ausschnittbilds 42-32 größer als die Breite des Ausschnittbilds 42-31 (das Gesichtsfeld 80-31 und ein Gesichtsfeld 80-32).
In den 8 und 9, auf die Bezug genommen wird, ist der Abstand des realen Objekts 40-3 zum Benutzer U in einem Tiefenbild 70-33 kürzer als der Abstand des realen Objekts 40-3 zum Benutzer U im Tiefenbild 70-32. Folglich ist die Breite eines Ausschnittbilds 42-33 größer als die Breite des Ausschnittbilds 42-32 (das Gesichtsfeld 80-32 und ein Gesichtsfeld 80-33).
10 ist ein Schema zur Veranschaulichung eines vierten Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist. Wie in 10 veranschaulicht, kann die zweite Verarbeitung, wenn ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, eine Verarbeitung enthalten, bei der als ein viertes Anzeigeobjekt die Position eines auf der Anzeigeeinheit 150 angezeigten Modells 43 basierend auf der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, bestimmt wird. Darüber hinaus kann die zweite Verarbeitung eine Verarbeitung enthalten, bei der ein Bereich des virtuellen Objekts 30-3, der den Bereich, in dem das reale Objekt 40-3 erkannt wird, nicht überlappt, als zweites Anzeigeobjekt (virtuelles Objekt 30-31) verwendet wird.
Hierbei entspricht das Modell 43 dem realen Objekt 40-3. In dem Beispiel, das in 10 veranschaulicht ist, wird durch die zur Detektion realer Objekte dienende Einheit 122 eine Hand als reales Objekt 40-3 detektiert. Deshalb bestimmt die Anzeigesteuereinheit 126, wie in 10 veranschaulicht, die Position des der Hand entsprechenden Modells 43 (Handmodell) basierend auf der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird. Die Anzeigesteuereinheit 126 steuert die Anzeigeeinheit 150 zum Beispiel so, dass das Modell 43 in der Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, angezeigt wird.
11 ist ein Schema zur Veranschaulichung eines fünften Beispiels einer Anzeigesteuerung in einem Fall, in dem ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist. Wie in 11 veranschaulicht, kann die zweite Verarbeitung, wenn ein virtuelles Objekt 30 in einem kurzen Abstand (PO ≤ P < P2) platziert ist, eine Verarbeitung sein, bei der das ganze virtuelle Objekt 30-3 als zweites Anzeigeobjekt (virtuelles Objekt 30-31) verwendet und die Position eines Zeigers 44, der die Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, anzeigt, als ein drittes Anzeigeobjekt bestimmt wird.
Mithin kann der Benutzer U, indem er sich am Zeiger 44 orientiert, die Position des Bereichs, in dem das reale Objekt 40-3 erkannt wird, feststellen. Weil das ganze virtuelle Objekt 30-3 angezeigt wird, kann der Benutzer U des Weiteren das virtuelle Objekt 30-3 einfach berühren und manipulieren.
Oben sind Details der Funktionen der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben worden.
[Beispielhafte Abläufe der Informationsverarbeitungsvorrichtung]
Als Nächstes werden beispielhafte Abläufe der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben. 12 ist ein Ablaufschema, das beispielhafte Abläufe der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform veranschaulicht. Es wird darauf hingewiesen, dass die beispielhaften Abläufe, die in 12 veranschaulicht werden, lediglich ein Beispiel für die Abläufe der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform darstellen. Die Abläufe der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform sind deshalb nicht auf die beispielhaften Abläufe, die in 12 veranschaulicht werden, begrenzt.
Wie in 12 veranschaulicht, erzeugt die Abstandsmesseinheit 124 ein Tiefenbild basierend auf einem linken Bild und einem rechten Bild, die durch die Gesichtsfeldanalyse-Abbildungseinheit 111 aufgenommen werden (S11). Des Weiteren bestimmt die Anwendungsausführungseinheit 123 die Position eines virtuellen Objekts in einem virtuellen Raum und detektiert basierend auf der Position des virtuellen Objekts im virtuellen Raum und der Position und der Lage der Gesichtsfeldanalyse-Abbildungseinheit 111 in einem realen Raum die Position des virtuellen Objekts 30-1 im Gesichtsfeld und den Abstand zwischen der Gesichtsfeldanalyse-Abbildungseinheit 111 und dem virtuellen Objekt.
Falls kein virtuelles Objekt in einem kurzen Abstand vorhanden ist („Nein“ bei S12), bestimmt die Anzeigesteuereinheit 126, ob ein virtuelles Objekt in einem mittleren Abstand vorhanden ist oder nicht (S17). Die Anzeigesteuereinheit 126 geht bei dem Ablauf zu S16 über, wenn ein virtuelles Objekt in einem mittleren Abstand vorhanden ist („Ja“ bei S17). Die Anzeigesteuereinheit 126 geht zwar bei dem Ablauf zu S16 über, falls kein virtuelles Objekt in einem mittleren Abstand vorhanden ist (d. h., wenn ein virtuelles Objekt in einem entfernten Abstand vorhanden ist) („Nein“ bei S17) und falls die Tiefenbildauflösung bereits verringert worden ist („Ja“ bei S18), wenn die Auflösung des Tiefenbilds jedoch noch nicht verringert worden ist („Nein“ bei S18), bestimmt die Anzeigesteuereinheit 126, dass die Auflösung des zu erzeugenden Tiefenbilds zu verringern ist, und geht bei dem Ablauf zu S11 über.
Die zur Detektion realer Objekte dienende Einheit 122 bestimmt, ob eine Hand, die ein Beispiel für ein vorher bestimmtes reales Objekt darstellt, innerhalb des Abbildungsbereichs (des Gesichtsfelds) der Stereokamera vorhanden ist oder nicht (S13). Wenn durch die zur Detektion realer Objekte dienende Einheit 122 bestimmt wird, dass keine Hand innerhalb des Abbildungsbereichs der Stereokamera vorhanden ist („Nein“ bei S13), geht die Anzeigesteuereinheit 126 bei dem Ablauf zu S15 über. Wird hingegen bestimmt, dass eine Hand innerhalb des Abbildungsbereichs der Stereokamera vorhanden ist („Ja“ bei S13), detektiert die zur Detektion realer Objekte dienende Einheit 122 die Position der Hand (den Abstand zwischen der Hand und der Stereokamera) basierend auf einem Tiefenbild.
Die Anzeigesteuereinheit 126 bestimmt das Vergrößerungsverhältnis und die Position des Tiefenbilds entsprechend der Position der Hand (S14). Die Anzeigesteuereinheit 126 gibt einen Schatten durch Verwendung eines Tiefenbilds als Maske gemäß dem bestimmten Vergrößerungsverhältnis und der bestimmten Position wieder (S15). Mit anderen Worten, die Anzeigesteuereinheit 126 führt eine Steuerung derart aus, dass ein Ausschnittbild eines Bereichs im Tiefenbild, der einem nicht überlappenden Bereich entspricht, der den Bereich, in dem die Hand erkannt wird, nicht überlappt, vom modifizierten Bereich, der durch Modifizieren des Bereichs, in dem die Hand erkannt wird, erhalten wird, durch die Anzeigeeinheit 150 im nicht überlappenden Bereich basierend auf dem bestimmten Vergrößerungsverhältnis und der bestimmten Position angezeigt wird.
Die Anzeigesteuereinheit 126 ist dazu fähig, ein reales Objekt vor dem virtuellen Objekt 30-1 basierend auf der Position des virtuellen Objekts 30-1 im Gesichtsfeld, dem Abstand zwischen der Gesichtsfeldanalyse-Abbildungseinheit 111 und dem virtuellen Objekt 30-1 sowie dem Tiefenbild zu erkennen. Folglich erzeugt die Anzeigesteuereinheit 126 ein Anzeigeobjekt durch Entfernen eines Bereichs des virtuellen Objekts, das hinter dem realen Objekt positioniert ist, vom virtuellen Objekt basierend auf dem Tiefenbild. Die Anzeigesteuereinheit 126 gibt das erzeugte Anzeigeobjekt als virtuelles Objekt wieder (steuert dessen Anzeige) (S16) und geht bei dem Ablauf zu S11 über.
Oben sind beispielhafte Abläufe der Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform beschrieben worden.
[Verschiedene Modifikationsbeispiele]
Als Nächstes werden verschiedene Modifikationsbeispiele beschrieben. Im obigen Beispiel wird ein Beispiel beschrieben, in dem die Anzeigesteuereinheit 126 die Anzeigeeinheit 150 so steuert, dass an der Position des Bereichs, in dem die Hand erkannt wird, ein Handmodell angezeigt wird. Auch wenn durch die zur Detektion realer Objekte dienende Einheit 122 keine Hand, sondern ein anderes reales Objekt (zum Beispiel ein reales Objekt, dessen Form eine definierte feste Form oder dergleichen ist) detektiert wird, kann die Anzeigesteuereinheit 126 die Anzeigeeinheit 150 so steuern, dass ein Modell, das dem realen Objekt entspricht, angezeigt wird.
Des Weiteren wird oben ein Beispiel beschrieben, in dem, falls das virtuelle Objekt in einem kurzen Abstand (PO ≤ P < P2) platziert ist, durch Entfernen eines Bereichs, der größer als der verdeckte Bereich ist, vom virtuellen Objekt ein virtuelles Objekt nach der Bereichsentfernung als Anzeigeobjekt erzeugt wird. Jedoch kann die Anzeigesteuereinheit 126 auch einen Schatten des realen Objekts mit einer dem Abstand zwischen dem virtuellen Objekt und dem realen Objekt entsprechenden Farbtiefe anzeigen. Die Anzeigesteuereinheit 126 kann zum Beispiel einen Schatten eines realen Objekts so anzeigen, dass er um so heller ist, je kürzer der Abstand zwischen dem Benutzer U und dem realen Objekt ist.
Darüber hinaus wird das virtuelle Objekt 30, wie oben beschrieben, dem Benutzer U durch die Informationsverarbeitungsvorrichtung 10 gemäß der vorliegenden Ausführungsform präsentiert. Folglich können die Positionen einer Vielzahl virtueller Objekte 30 mitunter auch gleichzeitig im Gesichtsfeld des Benutzers U bestimmt werden. Dabei können alle Anzeigeobjekte basierend auf jedem aus einer Vielzahl virtueller Objekte durch die Anzeigeeinheit 150 angezeigt werden. Um jedoch den Rechenaufwand zu reduzieren, kann die Anzeigesteuereinheit 126 so konfiguriert sein, dass nur die Anzeigeobjekte basierend auf virtuellen Objekten, die für den Benutzer U von Interesse sind, durch die Anzeigeeinheit 150 angezeigt werden.
Wenn zum Beispiel der Abstand zwischen dem Benutzer U und jedem aus der Vielzahl virtueller Objekte 30 ein erster Abstand ist, kann die Anzeigesteuereinheit 126 eine Steuerung derart ausführen, dass ein erstes Anzeigeobjekt durch die Anzeigeeinheit 150 basierend auf einem virtuellen Objekt, das aus der Vielzahl virtueller Objekte ausgewählt wird, angezeigt wird. Wenn des Weiteren der Abstand zwischen dem Benutzer U und jedem aus der Vielzahl virtueller Objekte 30 ein zweiter Abstand ist, kann die Anzeigesteuereinheit 126 eine Steuerung derart ausführen, dass ein zweites Anzeigeobjekt durch die Anzeigeeinheit 150 basierend auf einem virtuellen Objekt, das aus der Vielzahl virtueller Objekte ausgewählt wird, angezeigt wird.
Es gelten keine Einschränkungen dafür, wie ein virtuelles Objekt aus der Vielzahl virtueller Objekte ausgewählt wird. Es ist jedoch wahrscheinlich, dass der Benutzer U seine Aufmerksamkeit auf dasjenige virtuelle Objekt, das am nächsten bei der Position der Blicklinie oder der Hand des Benutzers ist, richtet. Mithin kann die Anzeigesteuereinheit 126 das virtuelle Objekt, das am nächsten bei der Position der Blicklinie des Benutzers U, die durch die Blickliniendetektionseinheit 125 detektiert wird, aus der Vielzahl virtueller Objekte auswählen. Alternativ kann die Anzeigesteuereinheit 126 das virtuelle Objekt, das am nächsten bei der Position der Hand im Gesichtsfeld oder in einem realen Raum ist, aus der Vielzahl virtueller Objekte auswählen.
Oben ist des Weiteren ein Fall beschrieben worden, in dem der erste Abstand ein mittlerer Abstand (P2 ≤ P < P1) und der zweite Abstand ein weiter Abstand (P > P1) ist. Der erste Abstand ist ein Abstand, der mindestens gleich einem Schwellenwert Th1 ist, und der zweite Abstand ist ein Abstand, der kleiner als der Schwellenwert Th1 ist. Der Schwellenwert Th1 kann hierbei situationsabhängig geändert werden. Falls zum Beispiel, wie oben beschrieben, ein virtuelles Objekt in einem Abstand, der kleiner als der Schwellenwert Th1 ist, platziert ist, wird ein Anzeigeobjekt bei einem Genauigkeitsgrad erzeugt, der höher ist als dann, wenn das virtuelle Objekt in einem Abstand, der mindestens gleich dem Schwellenwert Th1 ist, platziert ist. Ist eine Situation eingetreten, in der ein geringerer Rechenaufwand gewünscht ist, wird deshalb bevorzugt, dass die Wahrscheinlichkeit, dass ein Anzeigeobjekt bei einem hohen Genauigkeitsgrad erzeugt wird, durch eine Verringerung des Schwellenwerts Th1 reduziert wird.
Die Anzeigesteuereinheit 126 steuert den Schwellenwert Th1 zum Beispiel möglicherweise basierend auf einem Betriebsmodus und/oder einer Temperatur und/oder einer Batterierestladungsmenge der Informationsverarbeitungsvorrichtung 10. Wenn der Betriebsmodus der Informationsverarbeitungsvorrichtung 10 zum Beispiel ein Stromsparmodus ist, kann davon ausgegangen werden, dass ein reduzierter Rechenaufwand gewünscht ist. Wenn der Betriebsmodus der Informationsverarbeitungsvorrichtung 10 der Stromsparmodus ist, verringert folglich die Anzeigesteuereinheit 126 vorzugsweise den Schwellenwert Th1.
13 ist ein Schema zur Veranschaulichung einer beispielhaften Steuerung des Schwellenwerts Th1. In 13, auf die Bezug genommen wird, ist der Schwellenwert Th1 in einem Fall veranschaulicht, in dem der Betriebsmodus der Informationsverarbeitungsvorrichtung 10 ein normaler Modus ist. Dabei ist ein Schwellenwert Th11 in einem Fall veranschaulicht, in dem der Betriebsmodus der Informationsverarbeitungsvorrichtung 10 ein Stromsparmodus ist (eine Position, die um einen Abstand Th11 von der Position P0, an der sich der Benutzer U befindet, beabstandet ist, als „Position P11“ veranschaulicht). Vorzugsweise verringert die Anzeigesteuereinheit 126 mithin den Schwellenwert Th1 auf den Schwellenwert Th11, wenn der Betriebsmodus der Informationsverarbeitungsvorrichtung 10 der Stromsparmodus ist. Es wird darauf hingewiesen, dass der Schwellenwert Th11 auch vorab bestimmt werden kann.
Darüber hinaus wird zum Beispiel möglicherweise davon ausgegangen, dass ein reduzierter Rechenaufwand gewünscht ist, falls die Temperatur der Informationsverarbeitungsvorrichtung 10 über einer vorher bestimmten Temperatur liegt. Wenn die Temperatur der Informationsverarbeitungsvorrichtung 10 über einer vorher bestimmten Temperatur liegt, verringert folglich die Anzeigesteuereinheit 126 vorzugsweise den Schwellenwert Th1. Die Temperatur der Informationsverarbeitungsvorrichtung 10 kann eine Temperatur an einer beliebigen Position sein, sie kann aber auch die Temperatur des den Betrieb der Informationsverarbeitungsvorrichtung 10 bewirkenden Prozessors sein. Wenn ein Thermometer in der Informationsverarbeitungsvorrichtung 10 installiert ist, kann die Temperatur der Informationsverarbeitungsvorrichtung 10 des Weiteren durch das Thermometer gemessen werden.
Wenn die Batterierestladungsmenge für den Betrieb der Informationsverarbeitungsvorrichtung 10 geringer als eine vorher bestimmte Restladungsmenge ist, wird zum Beispiel möglicherweise davon ausgegangen, dass ein reduzierter Rechenaufwand gewünscht ist. Wenn die Batterierestladungsmenge für den Betrieb der Informationsverarbeitungsvorrichtung 10 geringer als eine vorher bestimmte Restladungsmenge ist, kann die Anzeigesteuereinheit 126 folglich den Schwellenwert Th1 verringern.
<Beispielhafte Hardwarekonfiguration>
Als Nächstes wird mit Bezug auf 14 eine beispielhafte Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung beschrieben. 14 ist ein Blockschema, das eine beispielhafte Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 10 gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Wie in 14 veranschaulicht, enthält die Informationsverarbeitungsvorrichtung 10 einen Hauptprozessor (CPU) 901, einen Festwertspeicher (ROM) 903 und einen Arbeitsspeicher (RAM) 905. Die Informationsverarbeitungsvorrichtung 10 kann auch einen Hostbus 907, eine Brücke 909, einen externen Bus 911, eine Schnittstelle 913, eine Eingabeeinrichtung 915, eine Ausgabeeinrichtung 917, eine Speichereinrichtung 919, ein Laufwerk 921, einen Verbindungsport 923 und eine Kommunikationseinrichtung 925 enthalten. Darüber hinaus kann die Informationsverarbeitungsvorrichtung 10 gegebenenfalls eine Abbildungseinrichtung 933 und einen Sensor 935 enthalten. Die Informationsverarbeitungsvorrichtung 10 kann anstelle oder zusätzlich zu der CPU 901 eine als Digitalsignalprozessor (DSP) oder anwendungsspezifische integrierte Schaltung (ASIC) bekannte Verarbeitungsschaltung enthalten.
Die CPU 901 fungiert als Arithmetikprozessor und Steuerteil und steuert entweder alle oder einen Teil der Abläufe in der Informationsverarbeitungsvorrichtung 10 gemäß verschiedenen im ROM 903, im RAM 905, in der Speichereinrichtung 919 oder in einem Wechselspeichermedium 927 abgelegten Programmen. Das ROM 903 speichert Programme, Rechenparameter und sonstige Daten, die von der CPU 901 verwendet werden. Das RAM 905 speichert vorübergehend die Programme, die bei der Ausführung der CPU 901 verwendet werden, die Parameter, die bei dieser Ausführung in einer geeigneten Weise variieren, oder dergleichen. Die CPU 901, das ROM 903 und das RAM 905 sind über den Hostbus 907, der durch einen internen Bus wie etwa einen CPU-Bus gebildet wird, miteinander verbunden. Darüber hinaus ist der Hostbus 907 über die Brücke 909 mit dem externen Bus 911 wie etwa einem Peripheral-Component-Interconnect/Interface(PCI)-Bus verbunden.
Bei der Eingabeeinrichtung 915 handelt es sich um ein vom Benutzer bedienbares Gerät wie eine Maus, eine Tastatur, einen Touchscreen, einen Knopf, einen Schalter oder einen Hebel. Die Eingabeeinrichtung 915 kann ein Mikrofon enthalten, das die Stimme des Benutzers detektiert. Die Eingabeeinrichtung 915 ist zum Beispiel möglicherweise ein Fernbedienungsgerät, das Infrarotstrahlen oder andere elektromagnetische Wellen verwendet, oder ein extern verbundenes Gerät 929 wie etwa ein Mobiltelefon, das hinsichtlich seiner Abläufe der Informationsverarbeitungsvorrichtung 10 entspricht. Die Eingabeeinrichtung 915 enthält eine Eingabesteuerschaltung, die ein Eingabesignal basierend auf Informationen, die vom Benutzer eingegeben werden, erzeugt und das Eingabesignal an die CPU 901 ausgibt. Der Benutzer gibt durch Bedienen der Eingabeeinrichtung 915 verschiedene Daten in die Informationsverarbeitungsvorrichtung 10 ein und weist zu Verarbeitungsvorgängen an. Des Weiteren kann die Abbildungseinrichtung 933, die im Folgenden beschrieben wird, als Eingabeeinrichtung fungieren, indem sie Bewegungen der Hände des Benutzers, der Finger des Benutzers und so weiter abbildet. Dabei kann eine Zeigeposition gemäß den Bewegungen der Hände und der Ausrichtung der Finger bestimmt werden.
Die Ausgabeeinrichtung 917 ist aus einer Einrichtung konfiguriert, die dazu fähig ist, dem Benutzer erfasste Informationen visuell oder akustisch mitzuteilen. Die Ausgabeeinrichtung 917 ist zum Beispiel möglicherweise ein Anzeigegerät wie eine Flüssigkristallanzeige (LCD), ein Plasmabildschirm (PDP), eine OLED-Anzeige, ein Projektor, ein holografisches Display, ein Sprachausgabegerät wie etwa ein Lautsprecher oder Kopfhörer, ein Druckergerät oder dergleichen. Die Ausgabeeinrichtung 917 gibt die bei der Verarbeitung durch die Informationsverarbeitungsvorrichtung 10 erhaltenen Ergebnisse als Video mit Text oder Bildern oder dergleichen aus oder gibt die Ergebnisse als Sprache aus, etwa als Stimme oder Audiosignale. Darüber hinaus kann die Ausgabeeinrichtung 917 eine Beleuchtung oder dergleichen zum Beleuchten der Umgebung enthalten.
Die Speichereinrichtung 919 ist eine Einrichtung zur Datenspeicherung, die als eine beispielhafte Speichereinheit der Informationsverarbeitungsvorrichtung 10 konfiguriert ist. Die Speichereinrichtung 919 ist zum Beispiel aus einer Magnetspeichereinheiteinrichtung wie einem Festplattenspeicher (HDD), einer Halbleiterspeichereinrichtung, einer optischen Speichereinrichtung, einer magneto-optischen Speichereinrichtung oder dergleichen konfiguriert. Die Speichereinrichtung 919 speichert von der CPU 901 ausgeführte Programme, verschiedene Daten, verschiedene von außen erfasste Daten oder sonstige Daten.
Das Laufwerk 921 ist ein Lese-/Schreibgerät für das Wechselspeichermedium 927 wie etwa eine Magnetspeicherplatte, eine optische Speicherplatte, eine magneto-optische Speicherplatte oder ein Halbleiterspeicher und ist entweder in der Informationsverarbeitungsvorrichtung 10 installiert oder extern an sie angeschlossen. Das Laufwerk 921 liest Informationen, die in dem eingebauten Wechselspeichermedium 927 aufgezeichnet sind, und gibt die Informationen an das RAM 905 aus. Des Weiteren beschreibt das Laufwerk 921 das eingebaute Wechselspeichermedium 927 mit Aufzeichnungen.
Der Verbindungsport 923 ist ein Port für eine direkte Verbindung einer Einrichtung mit der Informationsverarbeitungsvorrichtung 10. Der Verbindungsport 923 ist zum Beispiel möglicherweise ein USB-Port (USB = Universal Serial Bus), ein IEEE-1394-Port, ein Small Computer System Interface (SCSI) oder dergleichen. Des Weiteren kann der Verbindungsport 923 ein RS-232C-Port, ein optischer Audioanschluss, ein HDMI-Port (HDMI = High Definition Multimedia Interface) (eingetragene Marke) oder dergleichen sein. Durch eine Verbindung des extern verbundenen Geräts 929 mit dem Verbindungsport 923 können verschiedene Daten zwischen der Informationsverarbeitungsvorrichtung 10 und dem extern verbundenen Gerät 929 ausgetauscht werden.
Die Kommunikationseinrichtung 925 ist eine Kommunikationsschnittstelle, die aus einer Kommunikationseinrichtung oder dergleichen konfiguriert ist, zum Beispiel für die Verbindung mit einem Kommunikationsnetz 931. Die Kommunikationseinrichtung 925 ist zum Beispiel möglicherweise eine Kommunikationskarte für ein drahtgebundenes LAN (Local Area Network) oder ein WLAN, Bluetooth (eingetragene Marke), Wireless USB (WUSB) oder dergleichen. Darüber hinaus kann die Kommunikationseinrichtung 925 ein Router für optische Kommunikation, ein Router für ADSL (Asymmetrie Digital Subscriber Line), ein Modem für verschiedene Kommunikationen oder dergleichen sein. Die Kommunikationseinrichtung 925 sendet und empfängt Signale und dergleichen und verwendet hierzu ein vorher bestimmtes Protokoll wie TCP/IP zwischen dem Internet und zum Beispiel einer weiteren Kommunikationseinrichtung. Des Weiteren ist das Kommunikationsnetz 931, das mit der Kommunikationseinrichtung 925 verbunden ist, ein drahtgebundenes oder drahtloses Netz wie etwa das Internet, ein Intranet, ein Infrarotkommunikationsnetz, ein Funkwellenkommunikationsnetz oder ein Satellitenkommunikationsnetz.
Die Abbildungseinrichtung 933 ist zum Beispiel eine Einrichtung, die aufgenommene Bilder durch Abbilden eines realen Raums unter Verwendung verschiedener Elemente wie etwa eines CCD-Elements (CCD = Charge-Coupled Device) oder eines Komplementär-Metalloxid-Halbleiters (CMOS), einer Linse zum Steuern der Fokussierung eines Objektbilds auf der Abbildungseinrichtung oder dergleichen erzeugt. Die Abbildungseinrichtung 933 kann Stand- oder Bewegtbilder aufnehmen.
Der Sensor 935 ist zum Beispiel einer von verschiedenen Sensoren wie etwa ein Abstandsmesssensor, ein Beschleunigungssensor, ein Gyrosensor, ein geomagnetischer Sensor, ein optischer Sensor oder ein auditiver Sensor. Der Sensor 935 erfasst Informationen zum Zustand der Informationsverarbeitungsvorrichtung 10 selbst, etwa zur Lage des Gehäuses der Informationsverarbeitungsvorrichtung 10, oder Informationen zur peripheren Umgebung der Informationsverarbeitungsvorrichtung 10, zum Beispiel zur peripheren Helligkeit und zu peripheren Geräuschen der Informationsverarbeitungsvorrichtung 10. Darüber hinaus kann der Sensor 935 einen GPS-Sensor (GPS = Global Positioning System) enthalten, der die Länge, die Breite und die Höhe der Vorrichtung misst, indem er ein GPS-Signal empfängt.
<Schlussbemerkungen>
Wie oben beschrieben, stellt die Ausführungsform der vorliegenden Offenbarung eine Informationsverarbeitungsvorrichtung 10 bereit, die Folgendes enthält: eine zur Erfassung realer Rauminformationen dienende Einheit 121, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und eine Anzeigesteuereinheit 126, die, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Gemäß dieser Konfiguration lässt sich die Anzeige virtueller Objekte mittels eines geeigneten Anzeigesteuerungsverfahrens gemäß dem Abstand zwischen dem Benutzer und dem virtuellen Objekt steuern.
Oben sind bevorzugte Ausführungsformen der vorliegenden Offenbarung mit Bezug auf die beiliegenden Zeichnungen ausführlich beschrieben worden, jedoch ist der Schutzbereich der vorliegenden Offenbarung nicht auf derartige Beispiele beschränkt. Selbstverständlich könnte der Durchschnittsfachmann auf dem Gebiet der Offenbarung zu noch anderen Modifikationsbeispielen oder abgeänderten Beispielen im Schutzbereich der in den Ansprüchen offenbarten Erfindungsgedanken gelangen, und es versteht sich natürlich, dass diese Beispiele auch zum Schutzbereich der vorliegenden Offenbarung gehören.
Des Weiteren kann auch ein Programm, das bewirkt, dass Hardware wie eine CPU, ein ROM und ein RAM, die in einen Computer eingebaut sind, dieselben Funktionen wie die oben genannte Steuereinheit 120 aufweist, erstellt werden. Ferner kann auch ein computerlesbares Aufzeichnungsmedium, in dem das Programm aufgezeichnet ist, bereitgestellt werden.
Zum Beispiel gelten keine besonderen Einschränkungen für die Positionen jeder Konfiguration, sofern die Abläufe der oben genannten Informationsverarbeitungsvorrichtung 10 implementiert werden. Die Verarbeitung jeder Einheit in der Informationsverarbeitungsvorrichtung 10 kann zum Teil auch durch eine Servervorrichtung (nicht veranschaulicht) durchgeführt werden. Es können etwa, um ein konkretes Beispiel anzuführen, einige oder alle der Blöcke der Steuereinheit 120 in der Informationsverarbeitungsvorrichtung 10 in einer Servervorrichtung (nicht veranschaulicht) untergebracht sein. Zum Beispiel können einige oder alle der Funktionen der zur Detektion realer Objekte dienenden Einheit 122, der Anwendungsausführungseinheit 123, der Abstandsmesseinheit 124 und der Blickliniendetektionseinheit 125 in der Informationsverarbeitungsvorrichtung 10 in einer Servervorrichtung (nicht veranschaulicht) untergebracht sein.
Des Weiteren dienen die vorteilhaften Wirkungen, die in der vorliegenden Patentbeschreibung offenbart werden, lediglich zur Erläuterung oder sind beispielhaft, sie sind jedoch nicht einschränkend. Mit anderen Worten, die Technik gemäß der vorliegenden Offenbarung bietet zusätzlich zu den oben genannten vorteilhaften Wirkungen oder an ihrer Stelle auch noch andere vorteilhafte Wirkungen, die für den Fachmann aufgrund der Offenbarungen der vorliegenden Patentbeschreibung naheliegend sind.
Es wird darauf hingewiesen, dass die folgenden Konfigurationen ebenfalls zum Schutzbereich der vorliegenden Offenbarung gehören.

(1) Informationsverarbeitungsvorrichtung, die Folgendes umfasst:
- eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und
- eine Anzeigesteuereinheit, die, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
(2) Informationsverarbeitungsvorrichtung gemäß Abschnitt (1) , wobei die erste Verarbeitung eine Verarbeitung ist, bei der das erste Anzeigeobjekt gemäß einem ersten Genauigkeitsgrad erzeugt wird, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der das zweite Anzeigeobjekt gemäß einem zweiten Genauigkeitsgrad, der geringer als der erste Genauigkeitsgrad ist, erzeugt wird.
(3) Informationsverarbeitungsvorrichtung gemäß Abschnitt (2), wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, basierend auf einem ersten Tiefenbild kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, basierend auf einem zweiten Tiefenbild mit einer geringeren Auflösung als das erste Tiefenbild kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
(4) Informationsverarbeitungsvorrichtung gemäß Abschnitt (2), wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, durch die eine Verarbeitung durchgeführt wird, bei der ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen, nachdem mindestens eine Teilform eines Bereichs, in dem das virtuelle Objekt und das reale Objekt erkannt werden, vereinfacht worden ist.
(5) Informationsverarbeitungsvorrichtung gemäß Abschnitt (4), wobei die Vereinfachung eine Verarbeitung enthält, bei der die Anzahl von Vielecken in der mindestens einen Teilform reduziert wird.
(6) Informationsverarbeitungsvorrichtung gemäß Abschnitt (4) oder Abschnitt (5), wobei die Vereinfachung eine Verarbeitung enthält, bei der die mindestens eine Teilform an eine vorher bestimmte Form angeglichen wird.
(7) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (4) bis (6), wobei die Vereinfachung eine Verarbeitung enthält, bei der die mindestens eine Teilform auf eine vorher bestimmte Form projiziert wird.
(8) Informationsverarbeitungsvorrichtung gemäß Abschnitt (2), wobei die erste Verarbeitung eine Verarbeitung ist, bei der unter Verwendung einer ersten Bildfolgefrequenz ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der unter Verwendung einer zweiten Bildfolgefrequenz, die geringer als die erste Bildfolgefrequenz ist, ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
(9) Informationsverarbeitungsvorrichtung gemäß Abschnitt (1), wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der ein zweiter Bereich des virtuellen Objekts, der sich hinter einem modifizierten Bereich befindet, der durch Modifizieren der Größe und/oder der Position eines Bereichs, in dem das reale Objekt erkannt wird, erhalten wird, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
(10) Informationsverarbeitungsvorrichtung gemäß Abschnitt (9), wobei die Anzeigesteuereinheit, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt der zweite Abstand ist, eine Steuerung so ausführt, dass ein vorher bestimmtes Bild durch das Anzeigegerät in einem Bereich, von dem modifizierten Bereich, der den Bereich, in dem das reale Objekt erkannt wird, nicht überlappt, angezeigt wird.
(11) Informationsverarbeitungsvorrichtung gemäß Abschnitt (9), wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der das virtuelle Objekt als zweites Anzeigeobjekt verwendet und die Position eines Zeigers, der die Position des Bereichs, in dem das reale Objekt erkannt wird, anzeigt, als ein drittes Anzeigeobjekt bestimmt wird.
(12) Informationsverarbeitungsvorrichtung gemäß Abschnitt (9), wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der die Position eines Modells, das dem realen Objekt entspricht, basierend auf der Position des Bereichs, in dem das reale Objekt erkannt wird, als ein viertes Anzeigeobjekt bestimmt und ein Bereich des virtuellen Objekts, der den Bereich, in dem das reale Objekt erkannt wird, nicht überlappt, als zweites Anzeigeobjekt verwendet wird.
(13) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (12), wobei die Anzeigesteuereinheit, falls der Abstand zwischen dem Benutzer und jedem aus einer Vielzahl virtueller Objekte ein erster Abstand ist, eine Steuerung so ausführt, dass das erste Anzeigeobjekt durch das Anzeigegerät basierend auf einem virtuellen Objekt, das aus der Vielzahl virtueller Objekte ausgewählt wird, angezeigt wird.
(14) Informationsverarbeitungsvorrichtung gemäß Abschnitt (13), wobei die Anzeigesteuereinheit das virtuelle Objekt, das am nächsten bei der Position der Blicklinie oder der Hand des Benutzers ist, aus der Vielzahl virtueller Objekte auswählt.
(15) Informationsverarbeitungsvorrichtung gemäß einem der Abschnitte (1) bis (14), wobei der erste Abstand ein Abstand ist, der mindestens gleich einem Schwellenwert ist, wobei der zweite Abstand ein Abstand ist, der kleiner als der Schwellenwert ist, und wobei die Anzeigesteuereinheit den Schwellenwert basierend auf einem Betriebsmodus und/oder einer Temperatur und/oder einer Batterierestladungsmenge der Informationsverarbeitungsvorrichtung steuert.
(16) Informationsverarbeitungsvorrichtung gemäß Abschnitt (15), wobei die Anzeigesteuereinheit, wenn der Betriebsmodus ein Stromsparmodus ist, den Schwellenwert verringert.
(17) Informationsverarbeitungsvorrichtung gemäß Abschnitt (15), wobei die Anzeigesteuereinheit, wenn die Temperatur über einer vorher bestimmten Temperatur liegt, den Schwellenwert verringert.
(18) Informationsverarbeitungsvorrichtung gemäß Abschnitt (15), wobei die Anzeigesteuereinheit, wenn die Batterierestladungsmenge geringer als eine vorher bestimmte Restladungsmenge ist, den Schwellenwert verringert.
(19) Informationsverarbeitungsverfahren, das Folgendes umfasst:
- Erfassen von Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, durch einen Prozessor; und,
- falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, Ausführen einer Steuerung derart, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, Ausführen einer Steuerung derart, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
(20) Programm zum Bewirken, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes umfasst:
- eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und
- eine Anzeigesteuereinheit, die, falls der Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.

Bezugszeichenliste

10: INFORMATIONSVERARBEITUNGSVORRICHTUNG
111: GESICHTSFELDANALYSE-ABBILDUNGSEINHEIT
112: BLICKLINIENDETEKTIONS-ABBILDUNGSEINHEIT
120: STEUEREINHEIT
121: ZUR ERFASSUNG REALER RAUMINFORMATIONEN DIENENDE EINHEIT
122: ZUR DETEKTION REALER OBJEKTE DIENENDE EINHEIT
123: ANWENDUNGSAUSFÜHRUNGSEINHEIT
124: ABSTANDSMESSEINHEIT
125: BLICKLINIENDETEKTIONSEINHEIT
126: ANZEIGESTEUEREINHEIT
130: SPEICHEREINHEIT
150: ANZEIGEEINHEIT
30: VIRTUELLES OBJEKT
40: REALES OBJEKT
41: RECHTECKIGER BEREICH
42: AUSSCHNITTBILD
43: MODELL
44: ZEIGER
70: TIEFENBILD
80: GESICHTSFELD

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016194744 [0003]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und eine Anzeigesteuereinheit, die, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die erste Verarbeitung eine Verarbeitung ist, bei der das erste Anzeigeobjekt gemäß einem ersten Genauigkeitsgrad erzeugt wird, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der das zweite Anzeigeobjekt gemäß einem zweiten Genauigkeitsgrad, der geringer als der erste Genauigkeitsgrad ist, erzeugt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, basierend auf einem ersten Tiefenbild kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, basierend auf einem zweiten Tiefenbild mit einer geringeren Auflösung als das erste Tiefenbild kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, durch die eine Verarbeitung durchgeführt wird, bei der ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen, nachdem mindestens eine Teilform eines Bereichs, in dem das virtuelle Objekt und das reale Objekt erkannt werden, vereinfacht worden ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Vereinfachung eine Verarbeitung enthält, bei der die Anzahl von Vielecken in der mindestens einen Teilform reduziert wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Vereinfachung eine Verarbeitung enthält, bei der die mindestens eine Teilform an eine vorher bestimmte Form angeglichen wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Vereinfachung eine Verarbeitung enthält, bei der die mindestens eine Teilform auf eine vorher bestimmte Form projiziert wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die erste Verarbeitung eine Verarbeitung ist, bei der unter Verwendung einer ersten Bildfolgefrequenz ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der unter Verwendung einer zweiten Bildfolgefrequenz, die geringer als die erste Bildfolgefrequenz ist, ein zweiter Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der ein zweiter Bereich des virtuellen Objekts, der sich hinter einem modifizierten Bereich befindet, der durch Modifizieren der Größe und/oder der Position eines Bereichs, in dem das reale Objekt erkannt wird, erhalten wird, kalkuliert und der zweite Bereich vom virtuellen Objekt entfernt wird, um das zweite Anzeigeobjekt zu erzeugen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, wobei die Anzeigesteuereinheit, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt der zweite Abstand ist, eine Steuerung so ausführt, dass ein vorher bestimmtes Bild durch das Anzeigegerät in einem Bereich, von dem modifizierten Bereich, der den Bereich, in dem das reale Objekt erkannt wird, nicht überlappt, angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der das virtuelle Objekt als zweites Anzeigeobjekt verwendet und die Position eines Zeigers, der die Position des Bereichs, in dem das reale Objekt erkannt wird, anzeigt, als ein drittes Anzeigeobjekt bestimmt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 9, wobei die erste Verarbeitung eine Verarbeitung ist, bei der ein erster Bereich des virtuellen Objekts, das sich hinter dem realen Objekt befindet, kalkuliert und der erste Bereich vom virtuellen Objekt entfernt wird, um das erste Anzeigeobjekt zu erzeugen, und wobei die zweite Verarbeitung eine Verarbeitung ist, bei der die Position eines Modells, das dem realen Objekt entspricht, basierend auf der Position des Bereichs, in dem das reale Objekt erkannt wird, als ein viertes Anzeigeobjekt bestimmt und ein Bereich des virtuellen Objekts, der den Bereich, in dem das reale Objekt erkannt wird, nicht überlappt, als zweites Anzeigeobjekt verwendet wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Anzeigesteuereinheit, falls der Abstand zwischen dem Benutzer und jedem aus einer Vielzahl virtueller Objekte ein erster Abstand ist, eine Steuerung so ausführt, dass das erste Anzeigeobjekt durch das Anzeigegerät basierend auf einem virtuellen Objekt, das aus der Vielzahl virtueller Objekte ausgewählt wird, angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 13, wobei die Anzeigesteuereinheit das virtuelle Objekt, das am nächsten bei der Position der Blicklinie oder der Hand des Benutzers ist, aus der Vielzahl virtueller Objekte auswählt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der erste Abstand ein Abstand ist, der mindestens gleich einem Schwellenwert ist, wobei der zweite Abstand ein Abstand ist, der kleiner als der Schwellenwert ist, und wobei die Anzeigesteuereinheit den Schwellenwert basierend auf einem Betriebsmodus und/oder einer Temperatur und/oder einer Batterierestladungsmenge der Informationsverarbeitungsvorrichtung steuert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 15, wobei die Anzeigesteuereinheit, wenn der Betriebsmodus ein Stromsparmodus ist, den Schwellenwert verringert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 15, wobei die Anzeigesteuereinheit, wenn die Temperatur über einer vorher bestimmten Temperatur liegt, den Schwellenwert verringert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 15, wobei die Anzeigesteuereinheit, wenn die Batterierestladungsmenge geringer als eine vorher bestimmte Restladungsmenge ist, den Schwellenwert verringert.
Informationsverarbeitungsverfahren, das Folgendes umfasst: Erfassen von Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, durch einen Prozessor; und, falls ein Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, Ausführen einer Steuerung derart, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, Ausführen einer Steuerung derart, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.
Programm zum Bewirken, dass ein Computer als eine Informationsverarbeitungsvorrichtung fungiert, die Folgendes umfasst: eine Rauminformationserfassungseinheit, die Informationen zu einem realen Objekt, das in einem realen Raum platziert ist, erfasst; und eine Anzeigesteuereinheit, die, falls der Abstand zwischen einem Benutzer und einem virtuellen Objekt ein erster Abstand ist, eine Steuerung so ausführt, dass ein erstes Anzeigeobjekt durch ein Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer ersten Verarbeitung angezeigt wird, und die, falls der Abstand zwischen dem Benutzer und dem virtuellen Objekt ein zweiter, sich vom ersten Abstand unterscheidender Abstand ist, eine Steuerung so ausführt, dass ein zweites Anzeigeobjekt durch das Anzeigegerät als virtuelles Objekt basierend auf dem realen Objekt und einer zweiten, sich von der ersten Verarbeitung unterscheidenden Verarbeitung angezeigt wird.