DE112020001867T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium Download PDF

Info

Publication number
DE112020001867T5
DE112020001867T5 DE112020001867.9T DE112020001867T DE112020001867T5 DE 112020001867 T5 DE112020001867 T5 DE 112020001867T5 DE 112020001867 T DE112020001867 T DE 112020001867T DE 112020001867 T5 DE112020001867 T5 DE 112020001867T5
Authority
DE
Germany
Prior art keywords
terminal
spatial information
display terminal
control unit
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020001867.9T
Other languages
English (en)
Inventor
Haruka Fujisawa
Fujio Arai
Hidenori Aoki
Ryo Fukazawa
Keijiroh Nagano
Tomohiko Gotoh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of DE112020001867T5 publication Critical patent/DE112020001867T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Offenbart ist eine Informationsverarbeitungsvorrichtung, die Folgendes aufweist: eine Steuereinheit zum Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines mit dem realen Raum korrelierten Koordinatensystems anordnet, wobei die Steuereinheit auf der Basis eines ersten Betriebszustands eines ersten Anzeigeendgerätes und eines zweiten Betriebszustands eines zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, bestimmt, ob erste Rauminformationen des ersten Anzeigeendgerätes und zweite Rauminformationen des zweiten Anzeigeendgerätes, die zum Bestimmen der Position des virtuellen Objekts verwendet werden, aktualisiert werden sollen oder nicht.

Description

  • Gebiet
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium.
  • Hintergrund
  • In den letzten Jahren hat eine Technologie Aufmerksamkeit erregt, die als Augmented Reality (AR) bezeichnet wird, bei der zusätzliche Informationen (im Folgenden auch als virtuelles Objekt bezeichnet) einem realen Raum überlagert werden und das Ergebnis der Überlagerung einem Benutzer präsentiert wird. Bei der Präsentation von Informationen unter Verwendung der AR-Technologie wird ein Anzeigeendgerät, wie z. B. ein Head-Mounted Display (HMD), verwendet. In einigen Fällen wird dem präsentierten virtuellen Objekt eine Position im globalen Koordinatensystem zugewiesen. In diesem Fall schätzt das Anzeigeendgerät die Eigenposition im globalen Koordinatensystem und bestimmt dann die Anzeigeposition des virtuellen Objekts, so dass das virtuelle Objekt an der Position im globalen Koordinatensystem, die dem virtuellen Objekt zugewiesen ist, angezeigt wird.
  • Unter den verschiedenen bestehenden Verfahren zur Schätzung der Eigenposition des Anzeigeendgerätes wird in der nachstehenden Patentliteratur 1 ein Verfahren unter Verwendung einer auf Schlüsselbildern basierenden Technologie zur gleichzeitigen Lokalisierung und Abbildung (SLAM) offenbart.
  • Anführungsliste
  • Patentdokumente
  • Patentdokument 1: JP 2016-528476 A
  • Kurzdarstellung
  • Technisches Problem
  • Das Ergebnis der Schätzung der Eigenposition des Anzeigeendgerätes kann einen Fehler beinhalten. Dadurch kann es zu einem Fehler zwischen der Position im globalen Koordinatensystem, die dem virtuellen Objekt zugewiesen ist, und der Position im globalen Koordinatensystem des vom Anzeigeendgerät angezeigten virtuellen Objekts kommen. Wenn ein identisches virtuelles Objekt auf einer Vielzahl von Anzeigeendgeräten angezeigt werden soll, führt die Variation, die bei der Genauigkeit der Schätzung der Eigenposition und des Schätzungsergebnisses für die einzelnen Anzeigeendgeräte auftritt, zu einer Differenz in den Positionen der virtuellen Objekte im globalen Koordinatensystem, die auf den einzelnen Anzeigeendgeräten angezeigt werden.
  • Angesichts dieser Situation schlägt die vorliegende Offenbarung eine neue und verbesserte Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium vor, die fähig sind, in einem Fall, in dem eine Vielzahl von Anzeigeendgeräten ein identisches virtuelles Objekt anzeigt, die Differenz in der Anzeigeposition zu verringern.
  • Lösung des Problems
  • Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die eine Steuereinheit enthält, die ein Anzeigeendgerät steuert, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines dem realen Raum zugeordneten Koordinatensystems anordnet, wobei die Steuereinheit bestimmt, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
  • Darüber hinaus wird gemäß der vorliegenden Offenbarung eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes aufweist: eine Ausgabeeinheit einschließlich einer ersten Vorrichtung, die einem ersten Benutzer ein virtuelles Objekt präsentiert, und eine Steuereinheit, die eine Position des virtuellen Objekts bestimmt, das in einem dem realen Raum zugeordneten Koordinatensystem anzuordnen ist, wobei die Steuereinheit basierend auf einem ersten Betriebszustand der ersten Vorrichtung und einem zweiten Betriebszustand einer zweiten Vorrichtung, die extern bereitgestellt wird und das virtuelle Objekt mit der ersten Vorrichtung teilt, bestimmt, ob erste Rauminformationen der ersten Vorrichtung und zweite Rauminformationen der zweiten Vorrichtung, die zur Bestimmung der Position des virtuellen Objekts verwendet werden, zu aktualisieren sind.
  • Darüber hinaus wird gemäß der vorliegenden Offenbarung ein von einem Prozessor auszuführendes Informationsverarbeitungsverfahren bereitgestellt, das Folgendes beinhaltet: Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines dem realen Raum zugeordneten Koordinatensystems anordnet; und Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, zu aktualisieren sind.
  • Darüber hinaus wird gemäß der vorliegenden Offenbarung ein Aufzeichnungsmedium bereitgestellt, das ein Programm aufzeichnet, das einen Computer veranlasst, Prozesse auszuführen, die Folgendes beinhalten: Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines dem realen Raum zugeordneten Koordinatensystems anordnet; und Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, zu aktualisieren sind.
  • Figurenliste
    • 1 ist ein Diagramm, das ein Systemkonfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
    • 2 ist ein Blockdiagramm, das ein Hardware-Konfigurationsbeispiel eines AR-Endgerätes gemäß der Ausführungsform darstellt.
    • 3 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß der Ausführungsform darstellt.
    • 4 ist ein Flussdiagramm, das den Ablauf eines Standard-Lokalisierungsprozesses darstellt.
    • 5 ist ein Flussdiagramm, das den Ablauf eines Lokalisierungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
    • 6 ist ein Flussdiagramm, das den Ablauf eines Entscheidungsprozesses zur Aktualisierung eines Schlüsselbildes gemäß der Ausführungsform darstellt.
    • 7 ist ein Sequenzdiagramm, das den Ablauf eines Prozesses in dem Informationsverarbeitungssystem gemäß der Ausführungsform darstellt.
    • 8A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern gemäß einem ersten spezifischen Beispiel der Ausführungsform darstellt.
    • 8B ist ein Diagramm, das die Ansichten einzelner Benutzer gemäß dem ersten spezifischen Beispiel der Ausführungsform darstellt.
    • 9A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern gemäß einem zweiten spezifischen Beispiel der Ausführungsform darstellt.
    • 9B ist ein Diagramm, das die Ansichten einzelner Benutzer gemäß dem zweiten spezifischen Beispiel der Ausführungsform darstellt.
    • 10A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern gemäß einem dritten spezifischen Beispiel der Ausführungsform darstellt.
    • 10B ist ein Diagramm, das die Ansichten einzelner Benutzer gemäß dem dritten spezifischen Beispiel der Ausführungsform darstellt.
    • 11 ist ein Diagramm, das Zeitreihenänderungen von Schlüsselbildern gemäß dem vierten spezifischen Beispiel der Ausführungsform darstellt.
    • 12 ist ein Flussdiagramm, das den Ablauf eines Entscheidungsprozesses zur Aktualisierung eines Schlüsselbildes gemäß einer ersten Modifikation der Ausführungsform darstellt.
    • 13 ist ein Flussdiagramm, das den Ablauf eines Entscheidungsprozesses zur Aktualisierung eines Schlüsselbildes gemäß einer zweiten Modifikation der Ausführungsform darstellt.
    • 14 ist ein Blockdiagramm, das ein Hardware-Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß der Ausführungsform darstellt.
  • Beschreibung der Ausführungsformen
  • Im Folgenden werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beiliegenden Zeichnungen im Einzelnen beschrieben. In der vorliegenden Spezifikation und den Zeichnungen werden Komponenten, die im Wesentlichen dieselbe funktionale Konfiguration aufweisen, mit denselben Referenznummern bezeichnet, und redundante Beschreibungen werden weggelassen.
  • Beachten Sie, dass die Beschreibung in der folgenden Reihenfolge bereitgestellt wird.
    1. 1. Erste Ausführungsform
    2. 2. Zweite Ausführungsform
    3. 3. Hardware-Konfigurationsbeispiel
    4. 4. Ergänzung
  • <<1. Erste Ausführungsform>>
  • Eine Technologie gemäß einer Ausführungsform der vorliegenden Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, die die Anzeige eines identischen virtuellen Objekts auf einer Vielzahl von Anzeigeendgeräten steuert. Im Folgenden wird als Beispiel angenommen, dass das Anzeigeendgerät durch ein AR-Endgerät und die Informationsverarbeitungsvorrichtung durch einen Server aktualisiert wird.
  • <1-1. Systemkonfigurationsbeispiel>
  • Zunächst wird ein Beispiel für die Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1 und 2 beschrieben. 1 ist ein Diagramm, das ein Systemkonfigurationsbeispiel eines Informationsverarbeitungssystems gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Wie in 1 dargestellt, weist ein Informationsverarbeitungssystem 1000 gemäß der vorliegenden Ausführungsform ein AR-Endgerät 10, einen Server 20 und ein Netzwerk 30 auf. Beachten Sie, dass in der vorliegenden Ausführungsform, wie in 1 dargestellt, davon ausgegangen wird, dass ein Benutzer 12a ein AR-Endgerät 10a (erstes Anzeigeendgerät) trägt, während ein Benutzer 12b ein AR-Endgerät 10b (zweites Anzeigeendgerät) trägt. Außerdem führen das AR-Endgerät 10a und das AR-Endgerät 10b eine gemeinsame Anzeige eines identischen virtuellen Objekts durch.
  • (1) AR-Endgerät 10
  • Das AR-Endgerät 10 ist ein Endgerät, das ein virtuelles Objekt anzeigt. Das AR-Endgerät 10 gemäß der vorliegenden Ausführungsform wird beispielsweise durch ein Head-Mounted Display (HMD) oder dergleichen verwirklicht. Beispiele für ein HMD, das auf das AR-Endgerät 10 anwendbar ist, beinhalten ein Durchsicht-HMD, ein Video-Durchsicht-HMD und ein Netzhautprojektions-HMD.
  • Das Durchsicht-HMD verwendet beispielsweise einen halbtransparenten Spiegel oder eine transparente Lichtleiterplatte, um ein optisches System für virtuelle Bilder, das aus einer transparenten Lichtleitereinheit oder dergleichen besteht, vor die Augen des Benutzers 12 zu halten, um ein Bild innerhalb des optischen Systems für virtuelle Bilder anzuzeigen. Daher kann der Benutzer 12, der ein Durchsicht-HMD trägt, eine Außenansicht betrachten, während er ein Bild ansieht, das innerhalb des optischen Systems für virtuelle Bilder angezeigt wird. Bei einer solchen Konfiguration kann das Durchsicht-HMD zum Beispiel auch ein virtuelles Objektbild auf das optische Bild des realen Objekts, das sich im realen Raum befindet, basierend auf der AR-Technologie im Einklang mit einem Erkennungsergebnis von mindestens einer der Position oder der Haltung des Durchsicht-HMD, überlagern. Ein konkretes Beispiel für ein Durchsicht-HMD ist eine Vorrichtung, die als tragbare Vorrichtung vom Typ „Brille“ bezeichnet wird, und bei der ein Teil, der dem Brillenglas entspricht, als ein optisches System für virtuelle Bilder ausgebildet ist.
  • Wenn das Video-Durchsicht-HMD auf dem Kopf oder im Gesicht des Benutzers 12 getragen wird, verdeckt es die Augen des Benutzers 12 und erlaubt es, eine Anzeigeeinheit, wie z. B. ein Anzeigeelement, vor die Augen des Benutzers 12 zu halten. Außerdem weist das Video-Durchsicht-HMD eine Abbildungseinheit zum Erfassen eines Bildes einer umgebenden Ansicht auf und bewirkt, dass eine Anzeigeeinheit ein Bild der Ansicht, das von der Abbildungseinheit erfasst wurde, vor dem Benutzer 12 anzeigt. Bei einer solchen Konfiguration kann der Benutzer 12, der das Video-Durchsicht-HMD trägt, die Außenansicht nicht ohne weiteres direkt sehen, aber er kann die Außenansicht dennoch durch das auf der Anzeigeeinheit angezeigte Bild bestätigen. Außerdem kann das Video-Durchsicht-HMD dabei zum Beispiel ein virtuelles Objekt auf ein Bild einer Außenansicht basierend auf der AR-Technologie im Einklang mit einem Erkennungsergebnis von mindestens einer der Position oder der Haltung des Video-Durchsicht-HMD einblenden.
  • Das Netzhautprojektions-HMD hat eine Konfiguration, bei der ein Projektor vor die Augen des Benutzers 12 gehalten wird und ein Bild vom Projektor auf die Augen des Benutzers 12 projiziert wird, so dass das Bild auf die Außenansicht überlagert wird. Insbesondere projiziert das Netzhautprojektions-HMD ein Bild vom Projektor direkt auf die Netzhaut des Auges des Benutzers 12, um zu erlauben, dass das Bild auf der Netzhaut entsteht. Mit einer solchen Konfiguration kann selbst ein kurzsichtiger oder weitsichtiger Benutzer 12 ein klareres Bild sehen. Außerdem kann der Benutzer 12, der das Netzhautprojektions-HMD trägt, die Außenansicht betrachten, während er das vom Projektor projizierte Bild sieht. Bei einer solchen Konfiguration kann das Netzhautprojektions-HMD zum Beispiel auch ein virtuelles Objektbild auf das optische Bild des realen Objekts, das sich im realen Raum befindet, basierend auf der AR-Technologie im Einklang mit einem Erkennungsergebnis von mindestens einer der Position oder der Haltung des Netzhautprojektions-HMD, überlagern.
  • Außerdem gibt es, abgesehen von den oben beschriebenen Beispielen, ein HMD, das als immersives HMD bezeichnet wird. Ähnlich wie das Video-Durchsicht-HMD wird das immersive HMD so getragen, dass es die Augen des Benutzers 12 bedeckt, um zu erlauben, dass eine Anzeigeeinheit, wie z. B. ein Anzeigeelement, vor die Augen des Benutzers 12 gehalten wird. Daher ist es für den Benutzer 12, der das immersive HMD trägt, schwierig, die Außenansicht (d. h. die Ansicht der realen Welt) direkt zu sehen, und nur das auf der Anzeigeeinheit angezeigte Bild gelangt in das Gesichtsfeld. Mit einer solchen Konfiguration kann das immersive HMD dem Benutzer 12 beim Betrachten des Bildes ein Gefühl des Eintauchens vermitteln. Daher ist das immersive HMD zum Beispiel in einem Fall anwendbar, in dem die Informationen hauptsächlich basierend auf einer Technologie der virtuellen Realität (VR) präsentiert werden.
  • Beachten Sie, dass das AR-Endgerät 10 nicht auf das oben beschriebene HMD beschränkt ist. Beispielsweise kann das AR-Endgerät 10 ein Endgerät mit einer Anzeigeeinheit sein, wie ein Smartphone, ein Tablet-Endgerät, ein tragbares Endgerät oder eine Agentenvorrichtung.
  • Das AR-Endgerät 10 ist über das Netzwerk 30 mit dem Server 20 verbunden und kann Informationen an den Server 20 übertragen und von ihm empfangen.
  • (Hardware-Konfiguration des AR-Endgerätes 10)
  • Hier wird unter Bezugnahme auf 2 ein Hardware-Konfigurationsbeispiel für das AR-Endgerät 10 beschrieben.
  • 2 ist ein Blockdiagramm, das ein Hardware-Konfigurationsbeispiel des AR-Endgerätes 10 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Beachten Sie, dass das Hardware-Konfigurationsbeispiel des AR-Endgerätes 10 nicht auf ein solches Beispiel beschränkt ist.
  • Wie in 2 dargestellt, weist das AR-Endgerät 10 eine zentrale Verarbeitungseinheit (CPU) 100, einen Nur-Lese-Speicher (ROM) 102 und einen Direktzugriffsspeicher (RAM) 104 auf. Außerdem weist das AR-Endgerät 10 einen Kommunikationsschnittstellen-(I/F)-Controller 106, einen Eingabebild-Controller 108, eine Kamera 110, einen Controller 112 für die Eingabe von Umgebungszustandsinformationen, einen Sensor zur Erkennung von Umgebungszustandsinformationen 114, einen Ausgabebild-Controller 116 und ein Display 118 auf.
  • Die CPU 100 fungiert beispielsweise als arithmetische Verarbeitungsvorrichtung oder als Steuervorrichtung und steuert die gesamte oder einen Teil der Operation jeder Komponente basierend auf verschiedenen Programmen, die im ROM 102, im RAM 104 oder in der Speichervorrichtung aufgezeichnet sind. Das ROM 102 dient zum Speichern von Programmen, die von der CPU 100 geladen werden, von Daten, die für Berechnungen verwendet werden, oder dergleichen. Im RAM 104 werden beispielsweise ein von der CPU 100 geladenes Programm, verschiedene Parameter, die sich bei der Ausführung des Programms entsprechend ändern, oder dergleichen vorübergehend oder dauerhaft gespeichert.
  • Der Kommunikations-I/F-Controller 106 ist ein Controller, der die Steuerung im Zusammenhang mit der Kommunikation durchführt. Beispielsweise steuert der Kommunikations-I/F-Controller 106 die Kommunikation mit einer externen Vorrichtung über das Netzwerk 30.
  • Der Eingabebild-Controller 108 ist ein Controller, der die Steuerung im Zusammenhang mit der Eingabe eines Bildes (eines Standbildes oder eines Bewegtbildes) durchführt. Beispielsweise steuert der Eingabebild-Controller 108 die Eingabe eines von der Kamera 110 erfassten fotografischen Bildes. Außerdem kann der Eingabebild-Controller 108 einen von der Kamera 110 durchgeführten Abbildungsprozess steuern.
  • Die Kamera 110 ist eine Abbildungsvorrichtung, die die Umgebung des AR-Endgerätes 10 abbildet. Mit der Abbildungsvorrichtung kann das AR-Endgerät 10 ein fotografisches Bild erfassen, das die Umgebung des Benutzers 12 angibt. Die Anzahl der im AR-Endgerät 10 bereitgestellten Kameras 110 ist nicht unbedingt begrenzt, und es kann eine beliebige Anzahl von Kameras 110 bereitgestellt werden. Das AR-Endgerät 10 gemäß der vorliegenden Ausführungsform ist beispielsweise mit einer Rechtsaugen-Kamera und einer Linksaugen-Kamera ausgestattet.
  • Der Controller 112 für die Eingabe von Umgebungszustandsinformationen ist ein Controller, der eine Steuerung in Bezug auf die Eingabe von Informationen durchführt, die einen Zustand in der Umgebung des AR-Endgeräts 10 angeben (im Folgenden auch als „Umgebungszustandsinformationen“ bezeichnet). Beispielsweise steuert der Controller 112 für die Eingabe von Umgebungszustandsinformationen die Eingabe der Umgebungszustandsinformationen, die vom Sensor 114 für die Erkennung von Umgebungszustandsinformationen erfasst werden. Außerdem kann der Controller 112 für die Eingabe von Umgebungszustandsinformationen einen Prozess zur Erfassung von Umgebungszustandsinformationen steuern, der von dem Sensor 114 zur Erkennung von Umgebungszustandsinformationen durchgeführt wird.
  • Der Sensor zur Erkennung von Umgebungszustandsinformationen 114 ist eine Sensorvorrichtung, die Umgebungszustandsinformationen erfasst. Der Sensor 114 zur Erkennung von Umgebungszustandsinformationen erfasst beispielsweise mit einer Kamera ein fotografisches Bild, das einen Zustand um das AR-Endgerät 10 herum als Umgebungszustandsinformationen anzeigt. Beachten Sie, dass es sich bei der Kamera um die oben beschriebene Kamera 110 oder um eine andere Kamera als die Kamera 110 handeln kann.
  • Der Ausgabebild-Controller 116 ist ein Controller, der die Steuerung im Zusammenhang mit der Ausgabe von Bildern durchführt. Beispielsweise steuert der Ausgabebild-Controller 116 die Ausgabe bezüglich des auf dem Display 118 angezeigten Bildes. Außerdem kann der Ausgabebild-Controller 116 Prozesse steuern, die mit der Erzeugung eines von dem Display 118 ausgegebenen Ausgabebildes zusammenhängen.
  • Das Display 118 ist eine Vorrichtung, die ein Ausgabebild ausgibt. Beispiele für das Display 118 umfassen eine CRT-Anzeigevorrichtung, eine Flüssigkristall-Anzeigevorrichtung, eine Plasma-Anzeigevorrichtung und eine EL-Anzeigevorrichtung. Beachten Sie, dass die Anzahl der im AR-Endgerät 10 bereitgestellten Displays 118 nicht unbedingt begrenzt ist und jede beliebige Anzahl von Displays bereitgestellt werden kann. Das AR-Endgerät 10 gemäß der vorliegenden Ausführungsform ist beispielsweise mit einem Rechtsaugen-Display und einem Linksaugen-Display ausgestattet.
  • (2) Server 20
  • Der Server 20 ist eine Informationsverarbeitungsvorrichtung, die die Funktion hat, die Anzeige von virtuellen Objekten in einer Vielzahl von AR-Endgeräten 10 zu steuern. Beispielsweise führt der Server 20 basierend auf den Informationen, die den Betriebszustand des AR-Endgerätes 10 angeben, einen Entscheidungsprozess zur Steuerung der Anzeige des virtuellen Objekts im AR-Endgerät 10 durch. Konkret führt der Server 20 einen Prozess durch, bei dem bestimmt wird, ob ein Schlüsselbild (räumliche Informationen), das zur Bestimmung der Position des virtuellen Objekts verwendet wird, basierend auf dem Betriebszustand (erster Betriebszustand) des AR-Endgerätes 10a und dem Betriebszustand (zweiter Betriebszustand) des AR-Endgerätes 10b aktualisiert werden soll. Anschließend bestimmt das AR-Endgerät 10 die Position des virtuellen Objekts und zeigt sie an, während es das Schlüsselbild gemäß der vom Server 20 vorgenommenen Bestimmung sequentiell aktualisiert. Im Folgenden wird das Schlüsselbild, das zur Bestimmung der Position des virtuellen Objekts verwendet wird, auch als „Positionsbestimmungs-Schlüsselbild“ bezeichnet. Im Folgenden wird der Prozess des Bestimmens, ob das Positionsbestimmungs-Schlüsselbild aktualisiert werden soll, auch als „Entscheidungsprozess zur Aktualisierung des Schlüsselbildes“ bezeichnet. In einem Fall, in dem der Server 20 entschieden hat, das Positionsbestimmungs-Schlüsselbild im Entscheidungsprozess zur Schlüsselbildaktualisierung zu aktualisieren, ist sowohl das Positionsbestimmungs-Schlüsselbild (erste räumliche Information) des AR-Endgerätes 10a als auch das Positionsbestimmungs-Schlüsselbild (zweite räumliche Information) des AR-Endgerätes 10b zu aktualisieren.
  • Das Schlüsselbild kann ein fotografisches Bild, einen Merkmalspunkt des fotografischen Bildes und Informationen aufweisen, die die eigene Position der Kamera bei der Erfassung des fotografischen Bildes angeben. Beispielsweise wird jedes Mal, wenn die Kamera 110 des AR-Endgerätes 10 ein Bild erfasst, das Schlüsselbild in einer Speichereinheit gespeichert, die im AR-Endgerät 10 enthalten ist. Im Folgenden wird eine Vielzahl von Schlüsselbildern, die in der Speichereinheit des AR-Endgerätes 10 gespeichert sind, auch als „Schlüsselbildgruppe“ bezeichnet.
  • Jedes der Vielzahl von AR-Endgeräten 10 erfasst ein Kandidatenschlüsselbild, das zum Aktualisieren des Positionsbestimmungs-Schlüsselbildes (im Folgenden als „Aktualisierungszielkandidaten-Schlüsselbild“ bezeichnet) aus der Schlüsselbildgruppe verwendet wird. Beispielsweise erfasst das AR-Endgerät 10a ein Aktualisierungszielkandidaten-Schlüsselbild (dritte räumliche Information) des AR-Endgeräts 10a aus der Schlüsselbildgruppe des AR-Endgerätes 10a. Darüber hinaus erfasst das AR-Endgerät 10b ein Aktualisierungszielkandidaten-Schlüsselbild (vierte räumliche Information) des AR-Endgerätes 10b aus der Schlüsselbildgruppe des AR-Endgerätes 10b. Der Server 20 empfängt die Aktualisierungszielkandidaten-Schlüsselbilder, die von jedem der Vielzahl von AR-Endgeräten 10 erfasst wurden, und führt dann einen Schlüsselbild-Aktualisierungsentscheidungsprozess durch, der auf den empfangenen Aktualisierungszielkandidaten-Schlüsselbildern basiert.
  • Das Aktualisierungskandidaten-Schlüsselbild wird durch das AR-Endgerät 10 erfasst, basierend auf den Informationen, die den Betriebszustand des AR-Endgerätes 10 angeben. Ein Beispiel für den Betriebszustand des AR-Endgerätes 10 ist eine Haltung des AR-Endgerätes 10. Die Haltung des AR-Endgerätes 10 kann auch Informationen beinhalten, die die eigene Position des AR-Endgerätes 10 angeben. Ein Beispiel für die Informationen, die den Betriebszustand angeben, ist ein fotografisches Bild, das von der Kamera 110, die im AR-Endgerät 10 enthalten ist, erfasst wurde. Beispielsweise führt das AR-Endgerät 10 einen Abgleich zwischen dem Merkmalspunkt des fotografischen Bildes, das unmittelbar vor dem Schlüsselbild-Aktualisierungsentscheidungsprozess erfasst wurde, und dem Merkmalspunkt des fotografischen Bildes, der in jedem der Schlüsselbilder der Schlüsselbildgruppe enthalten ist, durch und erfasst dann das Schlüsselbild, das bei dem Abgleich erfolgreich war, als das Aktualisierungszielkandidaten-Schlüsselbild.
  • Der Server 20 ist über das Netzwerk 30 mit dem AR-Endgerät 10 verbunden und kann Informationen an das AR-Endgerät 10 übertragen und von diesem empfangen. Beispielsweise empfängt der Server 20 die Aktualisierungszielkandidaten-Schlüsselbilder von dem AR-Endgerät 10a und dem AR-Endgerät 10b. Außerdem überträgt der Server 20 das im Entscheidungsprozess erhaltene Entscheidungsergebnis an das AR-Endgerät 10a und das AR-Endgerät 10b.
  • (3) Netzwerk 30
  • Das Netzwerk 30 besitzt eine Funktion, das AR-Endgerät 10 und den Server 20 miteinander zu verbinden. Außerdem kann das Netzwerk 30 die Funktion haben, eine Vielzahl von AR-Endgeräten 10 miteinander zu verbinden. Beispielsweise verbindet das Netzwerk 30 das AR-Endgerät 10a und das AR-Endgerät 10b miteinander.
  • Das Netzwerk 30 kann ein öffentliches Netzwerk wie das Internet, ein Telefonnetzwerk, ein Satellitenkommunikationsnetzwerk oder verschiedene lokale Netzwerke (LANs) einschließlich Ethernet (eingetragenes Markenzeichen), Weitverkehrsnetzwerke (WANs) oder dergleichen beinhalten. Außerdem kann das Netzwerk 30 ein dediziertes Netzwerk wie z. B. ein virtuelles privates Internetprotokoll-Netzwerk (IP-VPN) beinhalten. Das Netzwerk 30 kann ferner ein Drahtloskommunikationsnetzwerk wie Wi-Fi (eingetragenes Markenzeichen) oder Bluetooth (eingetragenes Markenzeichen) beinhalten.
  • <1-2. Funktionales Konfigurationsbeispiel>
  • Das Systemkonfigurationsbeispiel gemäß der vorliegenden Ausführungsform ist oben beschrieben worden. Als Nächstes wird ein funktionales Konfigurationsbeispiel des Informationsverarbeitungssystems 1000 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 3 beschrieben. 3 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel des Informationsverarbeitungssystems 1000 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
  • <1-2-1. Funktionale Konfiguration des AR-Endgerätes>
  • Wie in 3 dargestellt, weist das AR-Endgerät 10 gemäß der vorliegenden Ausführungsform eine Kommunikationseinheit 120, eine Sensoreinheit 130, eine Steuereinheit 140, eine Speichereinheit 150 und eine Ausgabeeinheit 160 auf.
  • (1) Kommunikationseinheit 120
  • Die Kommunikationseinheit 120 besitzt eine Funktion, mit einer externen Vorrichtung zu kommunizieren. Beispielsweise gibt die Kommunikationseinheit 120 bei der Kommunikation mit einer externen Vorrichtung die von der externen Vorrichtung empfangenen Informationen an die Steuereinheit 140 aus. Als Beispiel empfängt die Kommunikationseinheit 120 ein Entscheidungsergebnis vom Server 20, der über das Netzwerk 30 mit dem Server 20 kommuniziert, und gibt das Entscheidungsergebnis dann an die Steuereinheit 140 aus.
  • Beispielsweise überträgt die Kommunikationseinheit 120 bei der Kommunikation mit einer externen Vorrichtung die von der Steuereinheit 140 eingegebenen Informationen an die externe Vorrichtung. Als Beispiel überträgt die Kommunikationseinheit 120 das Aktualisierungszielkandidaten-Schlüsselbild an den Server 20.
  • (2) Sensoreinheit 130
  • Die Sensoreinheit 130 besitzt eine Funktion, Informationen zu erfassen, die für die Prozesse in der Steuereinheit 140 verwendet werden. Nach der Erfassung gibt die Sensoreinheit 130 Sensorinformationen, die von verschiedenen Sensoren erfasst wurden, an die Steuereinheit 140 aus.
  • Die Sensoreinheit 130 kann verschiedene Sensorvorrichtungen aufweisen. Als Beispiel kann die Sensoreinheit 130 eine Kamera, einen Tiefensensor, einen Beschleunigungssensor, einen Kreiselsensor oder dergleichen beinhalten. Die in der Sensoreinheit 130 enthaltene Sensorvorrichtung ist nicht auf das oben beschriebene Beispiel beschränkt, und es kann jede beliebige andere Sensorvorrichtung enthalten sein.
  • Die Kamera ist eine Abbildungsvorrichtung, wie z. B. eine RGB-Kamera, die ein Linsensystem, ein Antriebssystem und ein Abbildungselement aufweist und ein Bild als fotografisches Bild erfasst. Eine solche Abbildungsvorrichtung kann in dem AR-Endgerät 10 enthalten sein, um Bilder aus der Umgebung des AR-Endgerätes 10 erfassen zu können. Mit einer solchen Konfiguration kann die Sensoreinheit 130 ein fotografisches Bild im Umfeld des AR-Endgerätes 10 erfassen. Beachten Sie, dass in einem Fall, in dem der Benutzer 12 das AR-Endgerät 10 trägt oder mit sich führt, die von der Sensoreinheit 130 erfassten fotografischen Bilder der Umgebung des AR-Endgerätes 10 auch die fotografischen Bilder der Umgebung des Benutzers 12 sind.
  • Der Tiefensensor ist eine Vorrichtung, die Tiefeninformationen erfasst, wie z. B. eine Infrarot-Entfernungsmessvorrichtung, eine Ultraschall-Entfernungsmessvorrichtung, ein LiDAR (Laser Imaging Detection and Ranging) oder eine Stereokamera. Die Sensoreinheit 130 kann basierend auf den durch den Tiefensensor erfassten Informationen die Positionsinformationen des AR-Endgerätes 10 erfassen. In einem Fall, in dem der Benutzer 12 das AR-Endgerät 10 trägt oder mit sich führt, sind die durch die Sensoreinheit 130 erfassten Positionsinformationen des AR-Endgerätes 10 auch die Positionsinformationen des Benutzers 12.
  • Der Beschleunigungssensor ist eine Vorrichtung, die die Beschleunigung erfasst. Beispielsweise misst der Beschleunigungssensor die Beschleunigung, d. h. die Rate der Geschwindigkeitsänderung bei der Bewegung des Ziels. Der Kreiselsensor ist eine Vorrichtung, die eine Winkelgeschwindigkeit erfasst. Beispielsweise misst der Kreiselsensor eine Winkelgeschwindigkeit, die ein Maß für die Änderung der Haltung des Ziels ist. Im Folgenden werden die von dem Beschleunigungssensor und dem Kreiselsensor erfassten Informationen auch als „Trägheitsinformationen“ bezeichnet. Mit einer solchen Konfiguration kann die Sensoreinheit 130 Trägheitsinformationen des AR-Endgerätes 10 erfassen. In einem Fall, in dem der Benutzer 12 das AR-Endgerät 10 trägt oder mit sich führt, sind die durch die Sensoreinheit 130 erfassten Trägheitsinformationen auch die Trägheitsinformationen des Benutzers 12.
  • (3) Steuereinheit 140
  • Die Steuereinheit 140 besitzt eine Funktion, den gesamten Betrieb des AR-Endgerätes 10 zu steuern. Zur Umsetzung der in 3 dargestellten Funktion weist die Steuereinheit 140 eine Umgebungszustandsinformationen-Erfassungseinheit 1402, eine Umgebungszustandsinformationen-Verwaltungseinheit 1404, eine Rauminformationen-Erfassungseinheit 1406, eine Rauminformationen-Verwaltungseinheit 1408, eine Bildausgabe-Steuereinheit 1410 und eine Ausgabebild-Erzeugungseinheit 1412 auf.
  • (3-1) Umgebungszustandsinformationen-Erfassungseinheit 1402
  • Die Umgebungszustandsinformationen-Erfassungseinheit 1402 besitzt eine Funktion, die Erfassung der Umgebungszustandsinformationen bezüglich des AR-Endgerätes 10 zu steuern. Beispielsweise steuert die Umgebungszustandsinformationen-Erfassungseinheit 1402 den Betrieb der Sensoreinheit 130 und veranlasst die Sensoreinheit 130, die Umgebungszustandsinformationen zu erfassen. Außerdem kann die Umgebungszustandsinformationen-Erfassungseinheit 1402 den Betrieb der Kommunikationseinheit 120 steuern und die Umgebungszustandsinformationen von einer externen Vorrichtung erfassen, die über die Kommunikationseinheit 120 an das AR-Endgerät 10 angeschlossen ist. Beispiele für die externe Vorrichtung weisen eine Sensorvorrichtung, den Server 20 oder dergleichen auf, die außerhalb des AR-Endgerätes 10 installiert sind.
  • (3-2) Umgebungszustandsinformationen-Verwaltungseinheit 1404
  • Die Umgebungszustandsinformationen-Verwaltungseinheit 1404 besitzt eine Funktion, Umgebungszustandsinformationen zu verwalten. Beispielsweise führt die Umgebungszustandsinformationen-Verwaltungseinheit 1404 einen Aktualisierungsprozess einer Datenbank (im Folgenden auch als „Umgebungszustandsinformationen-DB“ bezeichnet) durch, die Umgebungszustandsinformationen speichert, die in der Speichereinheit 150 enthalten sind. Als Beispiel veranlasst die Umgebungszustandsinformationen-Verwaltungseinheit 1404 die Speichereinheit 150, die von der Umgebungszustandsinformationen-Erfassungseinheit 1402 erfassten Umgebungszustandsinformationen zu der Umgebungszustandsinformationen-DB hinzuzufügen.
  • (3-3) Rauminformationen-Erfassungseinheit 1406
  • Die Rauminformationen-Erfassungseinheit 1406 besitzt eine Funktion zur Steuerung der Erfassung von Informationen, die sich auf Rauminformationen des AR-Endgerätes 10 beziehen. Beispielsweise steuert die Rauminformationen-Erfassungseinheit 1406 den Betrieb der Sensoreinheit 130 und veranlasst die Sensoreinheit 130, auf die Rauminformationen bezogene Informationen zu erfassen. Als Beispiel steuert die Rauminformationen-Erfassungseinheit 1406 eine in der Sensoreinheit 130 vorgesehene Kamera, um ein fotografisches Bild aufzunehmen, das den Betriebszustand des AR-Endgerätes 10 anzeigt.
  • (3-4) Rauminformationen-Verwaltungseinheit 1408
  • Die Rauminformationen-Verwaltungseinheit 1408 besitzt eine Funktion zur Verwaltung von Rauminformationen. Beispielsweise steuert die Rauminformationen-Verwaltungseinheit 1408 Prozesse, die sich auf Rauminformationen beziehen. Als Beispiel führt die Rauminformationen-Verwaltungseinheit 1408 Prozesse wie die Erzeugung eines Abfragebildes, die Erfassung eines Aktualisierungszielkandidaten-Schlüsselbildes, die Aktualisierung eines Positionsbestimmungs-Schlüsselbildes, die Schätzung der anfänglichen Pose und die Schätzung der endgültigen Pose durch.
  • (Erzeugung eines Abfragebildes)
  • Die Rauminformationen-Verwaltungseinheit 1408 führt Prozesse durch, die auf die Erzeugung eines Abfragebildes bezogen sind. Beispielsweise erzeugt die Rauminformationen-Verwaltungseinheit 1408 ein Abfragebild basierend auf dem von der Rauminformationen-Erfassungseinheit 1406 erfassten fotografischen Bild. Das Abfragebild wird bei der Erfassung des Aktualisierungszielkandidaten-Schlüsselbildes aus der Schlüsselbildgruppe verwendet.
  • Zum Zeitpunkt der Erzeugung des Abfragebildes schätzt die Rauminformationen-Verwaltungseinheit 1408 basierend auf dem fotografischen Bild die Eigenposition der Kamera zum Zeitpunkt der Abbildung (Eigenposition des AR-Endgerätes 10). Außerdem führt die Rauminformationen-Verwaltungseinheit 1408 die Erkennung von Merkmalspunkten und die Beschreibung der Merkmalsmenge auf dem fotografischen Bild durch und erfasst dann einen zweidimensionalen Merkmalspunkt.
  • (Erfassung eines Aktualisierungszielkandidaten-Schlüsselbildes)
  • Die Rauminformationen-Verwaltungseinheit 1408 erfasst ein Aktualisierungszielkandidaten-Schlüsselbild des AR-Endgerätes 10 basierend auf dem Betriebszustand des AR-Endgerätes 10. Beispielsweise verwendet die Rauminformationen-Verwaltungseinheit 1408 das Abfragebild, das aus dem fotografischen Bild erzeugt wird, das den Betriebszustand des AR-Endgerätes 10 anzeigt und von der Kamera der Sensoreinheit 130 erfasst wurde, und sucht auf diese Weise nach dem Aktualisierungszielkandidaten-Schlüsselbild aus der in der Speichereinheit 150 gespeicherten Schlüsselbildgruppe. Bei der Suche nach dem Aktualisierungszielkandidaten-Schlüsselbild führt die Rauminformationen-Verwaltungseinheit 1408 einen Abgleich zwischen dem zweidimensionalen Merkmalspunkt, der zum Zeitpunkt der Erzeugung des Abfragebildes erfasst wurde, und dem zweidimensionalen Merkmalspunkt durch, der in den einzelnen Schlüsselbildern der Schlüsselbildgruppe enthalten ist. Die Rauminformationen-Verwaltungseinheit 1408 erfasst dann ein Schlüsselbild mit einem zweidimensionalen Merkmalspunkt, der beim Abgleich erfolgreich war, als Aktualisierungszielkandidaten-Schlüsselbild.
  • (Aktualisierung des Positionsbestimmungs-Schlüsselbildes)
  • Die Rauminformationen-Verwaltungseinheit 1408 führt einen Aktualisierungsprozess des Positionsbestimmungs-Schlüsselbildes basierend auf dem Entscheidungsergebnis des Schlüsselbild-Aktualisierungsentscheidungsprozesses im Server 20 durch. Wenn der Schlüsselbild-Aktualisierungsentscheidungsprozess entschieden hat, das Positionsbestimmungs-Schlüsselbild zu aktualisieren, wird die Rauminformationen-Verwaltungseinheit 1408 das Positionsbestimmungs-Schlüsselbild unter Verwendung des Aktualisierungszielkandidaten-Schlüsselbildes aktualisieren. Im Gegensatz dazu aktualisiert die Rauminformationen-Verwaltungseinheit 1408 das Positionsbestimmungs-Schlüsselbild nicht, wenn der Schlüsselbild-Aktualisierungsentscheidungsprozess beschlossen hat, das Positionsbestimmungs-Schlüsselbild nicht zu aktualisieren.
  • (Schätzung der anfänglichen Pose)
  • Die Rauminformationen-Verwaltungseinheit 1408 schätzt die anfängliche Pose des AR-Endgerätes 10 basierend auf dem Positionsbestimmungs-Schlüsselbild. Die Pose gibt die Position und Haltung des AR-Endgerätes 10 an. Außerdem gibt die anfängliche Pose die Position und Haltung des AR-Endgerätes 10 an, wenn die Kamera ein fotografisches Bild erfasst hat. Beispielsweise schätzt die Rauminformationen-Verwaltungseinheit 1408 die anfängliche Pose des AR-Endgerätes 10 anhand der Informationen, die die mit dem Positionsbestimmungs-Schlüsselbild verbundene Eigenposition bestimmen.
  • An diesem Punkt führt die Rauminformationen-Verwaltungseinheit 1408 einen Merkmalspunktabgleich zwischen dem zweidimensionalen Merkmalspunkt des von der Kamera der Sensoreinheit 130 erfassten fotografischen Bildes und dem zweidimensionalen Merkmalspunkt des Positionsbestimmungs-Schlüsselbildes durch. Wenn der Merkmalspunktabgleich erfolgreich ist, verwendet die Rauminformationen-Verwaltungseinheit 1408 die im Positionsbestimmungs-Schlüsselbild enthaltenen Informationen, die die Eigenposition bestimmen, als anfängliche Pose des AR-Endgerätes 10. Wenn der Merkmalspunktabgleich nicht erfolgreich ist, aktualisiert die Rauminformationen-Verwaltungseinheit 1408 das Positionsbestimmungs-Schlüsselbild und wiederholt den Merkmalspunktabgleich, bis der Merkmalspunktabgleich erfolgreich ist.
  • (Schätzung der endgültigen Pose)
  • Die Rauminformationen-Verwaltungseinheit 1408 korrigiert die geschätzte anfängliche Pose und schätzt dadurch die endgültige Pose des AR-Endgerätes 10. Die endgültige Pose gibt die Position und Haltung des AR-Endgerätes 10 zum aktuellen Zeitpunkt an. Beispielsweise führt die Rauminformationen-Verwaltungseinheit 1408 in Bezug auf die endgültige Position einen Bildabgleich zwischen dem von der Kamera der Sensoreinheit 130 erfassten Bild und dem im Positionsbestimmungs-Schlüsselbild enthaltenen fotografischen Bild durch. Wenn eine Differenz zwischen beiden Bildern als Ergebnis des Bildabgleichs erkannt worden ist, korrigiert die Rauminformationen-Verwaltungseinheit 1408 die anfängliche Pose basierend auf der Differenz und bestimmt die korrigierte Pose als die endgültige Pose des AR-Endgerätes 10.
  • (3-5) Bildausgabe-Steuereinheit 1410
  • Die Bildausgabe-Steuereinheit 1410 besitzt eine Funktion, die Ausgabe eines Bildes zu steuern. Beispielsweise veranlasst die Bildausgabe-Steuereinheit 1410 die Ausgabeeinheit 160, ein von der Ausgabebild-Erzeugungseinheit 1412 erzeugtes Ausgabebild auszugeben. In einem Fall, in dem das AR-Endgerät 10 mit einem Rechtsaugen-Display und einem Linksaugen-Display ausgestattet ist, veranlasst die Bildausgabe-Steuereinheit 1410 jedes der Displays, ein Ausgabebild in einem Format auszugeben, das jedem der Displays entspricht.
  • (3-6) Ausgabebild-Erzeugungseinheit 1412
  • Die Ausgabebild-Erzeugungseinheit 1412 besitzt eine Funktion zum Erzeugen eines Bildes. Beispielsweise erzeugt die Ausgabebild-Erzeugungseinheit 1412 ein Ausgabebild, das von der Ausgabeeinheit 160 auszugeben ist. Beispielsweise erzeugt die Ausgabebild-Erzeugungseinheit 1412 basierend auf der durch die Rauminformationen-Verwaltungseinheit 1408 geschätzten endgültigen Pose des AR-Endgerätes 10 ein Ausgabebild, in dem ein virtuelles Objekt angeordnet ist.
  • (4) Speichereinheit 150
  • Die Speichereinheit 150 besitzt eine Funktion zur Speicherung von Informationen in Bezug auf Prozesse im AR-Endgerät 10. Beispielsweise speichert die Speichereinheit 150 die von der Umgebungszustandsinformationen-Erfassungseinheit 1402 erfassten Umgebungszustandsinformationen in der Umgebungszustandsinformationen-DB unter der Kontrolle der Umgebungszustandsinformationen-Verwaltungseinheit 1404. Zusätzlich speichert die Speichereinheit 150 eine im Voraus vorbereitete Karten-DB (Schlüsselbildgruppe) in der Rauminformationen-DB.
  • Beachten Sie, dass die in der Speichereinheit 150 zu speichernden Informationen nicht auf ein solches Beispiel beschränkt sind. Beispielsweise kann die Speichereinheit 150 Programme, wie z. B. verschiedene Anwendungen, speichern.
  • (5) Ausgabeeinheit 160
  • Die Ausgabeeinheit 160 besitzt eine Funktion, ein Bild auszugeben. Beispielsweise gibt die Ausgabeeinheit 160 unter der Kontrolle der Bildausgabe-Steuereinheit 1410 das von der Ausgabebild-Erzeugungseinheit 1412 erzeugte Ausgabebild aus.
  • <1-2-2. Funktionale Konfiguration des Servers>
  • Wie in 3 dargestellt, weist der Server 20 gemäß der vorliegenden Ausführungsform eine Kommunikationseinheit 210, eine Steuereinheit 220 und eine Speichereinheit 230 auf.
  • (1) Kommunikationseinheit 210
  • Die Kommunikationseinheit 210 besitzt eine Funktion, mit einer externen Vorrichtung zu kommunizieren. Beispielsweise gibt die Kommunikationseinheit 210 bei der Kommunikation mit einer externen Vorrichtung die von der externen Vorrichtung empfangenen Informationen an die Steuereinheit 220 aus. Als Beispiel empfängt die Kommunikationseinheit 210 bei der Kommunikation mit dem AR-Endgerät 10 über das Netzwerk 30 ein Aktualisierungszielkandidaten-Schlüsselbild von dem AR-Endgerät 10 und gibt das empfangene Aktualisierungszielkandidaten-Schlüsselbild an die Steuereinheit 220 aus.
  • Beispielsweise überträgt die Kommunikationseinheit 210 bei der Kommunikation mit einer externen Vorrichtung die von der Steuereinheit 220 eingegebenen Informationen an die externe Vorrichtung. Als Beispiel überträgt die Kommunikationseinheit 210 das Entscheidungsergebnis an das AR-Endgerät 10.
  • (2) Steuereinheit 220
  • Die Steuereinheit 220 ist eine Informationsverarbeitungsvorrichtung, die die Funktion hat, den gesamten Betrieb des Servers 20 zu steuern. Beispielsweise besitzt die Steuereinheit 220 eine Funktion, Prozesse im Zusammenhang mit der Steuerung der Anordnung virtueller Objekte im AR-Endgerät 10 durchzuführen. Als Beispiel für den Prozess führt die Steuereinheit 220 den Entscheidungsprozess zur Aktualisierung des Schlüsselbildes durch.
  • (Schlüsselbild-Aktualisierungsentscheidungsprozess)
  • Im Schlüsselbild-Aktualisierungsentscheidungsprozess bestimmt die Steuereinheit 220 basierend auf dem Betriebszustand des AR-Endgerätes 10a und dem Betriebszustand des AR-Endgerätes 10b, ob das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b aktualisiert werden sollen. Die Entscheidung, ob das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b zu aktualisieren sind, wird basierend darauf bestimmt, ob der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b ähnlich sind.
  • Die Ähnlichkeit in den Betriebszuständen gibt die Ähnlichkeit in den Blickrichtungen des Benutzers 12a und des Benutzers 12b an. Dementsprechend bestimmt die Steuereinheit 220, wenn der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b ähnlich sind, dass das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a oder das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b nicht aktualisiert wird. Durch den Verzicht auf die Aktualisierung der Schlüsselbilder wäre es möglich, dass das AR-Endgerät 10a und das AR-Endgerät 10b bei ähnlichen Betriebszuständen zumindest die Positionsbestimmungs-Schlüsselbilder (genauer gesagt, die in ähnlichen Betriebszuständen erhaltenen Schlüsselbilder) kontinuierlich verwenden können. Dies ermöglicht es, die Schwankungen in der Genauigkeit der Schätzung der Eigenposition und des Ergebnisses der Schätzung der Eigenposition für jedes AR-Endgerät 10 zu verringern und damit auch die Differenz in der angezeigten Position des identischen virtuellen Objekts unter der Vielzahl der AR-Endgeräte 10 zu reduzieren.
  • Im Gegensatz dazu gibt die Ungleichheit der Betriebszustände die Ungleichheit der Blickrichtungen des Benutzers 12a und des Benutzers 12b an. Dementsprechend bestimmt die Steuereinheit 220, wenn der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b unähnlich sind, dass das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b aktualisiert werden. Mit einer solchen Konfiguration ist es möglich, für jeden der Benutzer ein virtuelles Objekt an einer Position anzuzeigen, die der Blickrichtung jedes der Benutzer entspricht.
  • - Auf dem Ähnlichkeitsgrad basierende Entscheidung
  • Die Entscheidung, ob der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b ähnlich sind, wird basierend auf einem Vergleichsergebnis eines von der Steuereinheit 220 berechneten Ähnlichkeitsgrades im Betriebszustand des AR-Endgerätes 10a und des Betriebszustandes des AR-Endgerätes 10b mit einem ersten Schwellenwert bestimmt. Wenn der Ähnlichkeitsgrad dem ersten Schwellenwert entspricht oder darüber liegt, entscheidet die Steuereinheit 220, dass der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b ähnlich sind. Wenn der Ähnlichkeitsgrad dagegen nicht dem ersten Schwellenwert entspricht oder der Unterschied größer ist, entscheidet die Steuereinheit 220, dass der Betriebszustand des AR-Endgerätes 10a und der Betriebszustand des AR-Endgerätes 10b unähnlich sind.
  • Die Steuereinheit 220 berechnet den Ähnlichkeitsgrad basierend auf dem Positionsbestimmungs-Schlüsselbild, das durch das AR-Endgerät 10a im Betriebszustand des AR-Endgerätes 10a erfasst wurde, und dem Positionsbestimmungs-Schlüsselbild, das durch das AR-Endgerät 10b im Betriebszustand des AR-Endgerätes 10b erfasst wurde. Konkret führt die Steuereinheit 220 einen Merkmalspunktabgleich zwischen dem Merkmalspunkt, der in dem durch das AR-Endgerät 10a erfassten Positionsbestimmungs-Schlüsselbild enthalten ist, und dem Merkmalspunkt, der in dem durch das AR-Endgerät 10b erfassten Positionsbestimmungs-Schlüsselbild enthalten ist, durch und berechnet dann den Ähnlichkeitsgrad basierend auf der Anzahl der bei dem Abgleich erfolgreichen Merkmalspunkte. Beispielsweise berechnet die Steuereinheit 220 eine Punktzahl als spezifischen Wert, der den Ähnlichkeitsgrad angibt. Als Beispiel berechnet die Steuereinheit 220 die Anzahl der beim Abgleich erfolgreichen Merkmalspunkte als Punktzahl.
  • Beachten Sie, dass das Verfahren zur Berechnung des Ähnlichkeitsgrades nicht auf ein solches Beispiel beschränkt ist. Beispielsweise kann der Übereinstimmungsgrad einer Positions- und Haltungsmatrix (3 × 4-Matrix) in einem dreidimensionalen Koordinatensystem der Kamera, das dem Aktualisierungszielkandidaten-Schlüsselbild entspricht, als Ähnlichkeitsgrad berechnet werden. Beachten Sie, dass der Übereinstimmungsgrad der Matrix die Summe der Quadrate der einzelnen Elemente der Matrix ist.
  • Außerdem ist der als erster Schwellenwert festgelegte Wert nicht unbedingt begrenzt, und es kann jeder beliebige Wert eingestellt werden. Wenn beispielsweise gewünscht wird, die Differenz zwischen den Anzeigepositionen in einem Fall, in dem eine Vielzahl von AR-Endgeräten ein identisches virtuelles Objekt anzeigt, weiter zu verringern, wird der erste Schwellenwert wünschenswerterweise hoch angesetzt.
  • Außerdem kann der erste Schwellenwert dynamisch verändert werden. Beispielsweise ändert die Steuereinheit 220 den ersten Schwellenwert gemäß der Positionsbeziehung zwischen dem AR-Endgerät 10a und dem AR-Endgerät 10b, d. h. der Positionsbeziehung zwischen dem Benutzer 12a und dem Benutzer 12b.
  • In einem Fall, in dem sich der Benutzer 12a und der Benutzer 12b in einer engen Positionsbeziehung befinden, kann es sehr wahrscheinlich sein, dass die Differenz in den Anzeigepositionen des virtuellen Objekts wahrgenommen wird. Daher kann die Steuereinheit 220 in einem Fall, in dem sich der Benutzer 12a und der Benutzer 12b an nahen Positionen befinden, den ersten Schwellenwert hoch festlegen. Mit dieser Einstellung kann es weniger wahrscheinlich sein, dass die Vorrichtung an der Anzeigeposition des virtuellen Objekts von dem Benutzer 12a und dem Benutzer 12b wahrgenommen wird, da die Differenz der Anzeigepositionen verringert wird.
  • In einem Fall, in dem sich der Benutzer 12a und der Benutzer 12b in einer entfernten Positionsbeziehung befinden, kann es dagegen weniger wahrscheinlich sein, dass eine Differenz in der Anzeigeposition des virtuellen Objekts wahrgenommen wird. Daher kann in einem Fall, in dem sich der Benutzer 12a und der Benutzer 12b in einer entfernten Positionsbeziehung befinden, die Steuereinheit 220 den ersten Schwellenwert niedrig festlegen. Mit dieser Einstellung kann, obwohl die Differenz in der Anzeigeposition zunimmt, ein Zustand aufrechterhalten werden, bei dem es weniger wahrscheinlich ist, dass die Vorrichtung an der Anzeigeposition des virtuellen Objekts von dem Benutzer 12a und dem Benutzer 12b wahrgenommen wird.
  • - Entscheidung über den Maximalwert des Ähnlichkeitsgrades
  • Die Entscheidung, ob das Positionsbestimmungs-Schlüsselbild im Schlüsselbild-Aktualisierungsentscheidungsprozess zu aktualisieren ist, kann basierend darauf bestimmt werden, ob die Punktzahl des Ähnlichkeitsgrades der Maximalwert ist. Beispielsweise bestimmt die Steuereinheit 220 ferner, ob das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b basierend darauf aktualisiert werden sollen, ob der Ähnlichkeitsgrad den Maximalwert (dritter Schwellenwert) überschreitet.
  • Der Maximalwert ist ein Maximalwert des Ähnlichkeitsgrades, berechnet in einem Zeitraum, in dem eine vorbestimmte Bedingung erfüllt ist. Der vorbestimmte Zeitraum ist zum Beispiel eine Organisation, bei der kontinuierlich entschieden wird, das Positionsbestimmungs-Schlüsselbild bei einer nachstehend beschriebenen Entscheidung über eine Bewegungsdistanz nicht zu aktualisieren.
  • Wenn der Ähnlichkeitsgrad aufgrund der Entscheidung den Maximalwert überschreitet, bestimmt die Steuereinheit 220, das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b zu aktualisieren. Wenn der Ähnlichkeitsgrad den Maximalwert nicht überschreitet, bestimmt die Steuereinheit 220, dass das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a oder das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b nicht aktualisiert wird.
  • Der Zustand, bei dem der Ähnlichkeitsgrad des Aktualisierungszielkandidaten-Schlüsselbildes der Maximalwert ist, gibt an, dass der Ähnlichkeitsgrad des Aktualisierungszielkandidaten-Schlüsselbildes höher ist als der Ähnlichkeitsgrad des aktuell verwendeten Positionsbestimmungs-Schlüsselbildes. Dementsprechend kann durch die Aktualisierung des aktuell verwendeten Positionsbestimmungs-Schlüsselbildes unter Verwendung des Aktualisierungszielkandidaten-Schlüsselbildes mit dem maximalen Ähnlichkeitsgrad die Differenz der Anzeigepositionen des virtuellen Objekts verringert werden.
  • - Entscheidung über die Bewegungsdistanz
  • Im Schlüsselbild-Aktualisierungsentscheidungsprozess kann basierend auf der Bewegungsdistanz des AR-Endgerätes 10 nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes bestimmt werden, ob das Positionsbestimmungs-Schlüsselbild aktualisiert werden soll. Beispielsweise berechnet die Steuereinheit 220 eine Bewegungsdistanz des AR-Endgerätes 10a nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes des AR-Endgerätes 10a und eine Bewegungsdistanz des AR-Endgerätes 10b nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes des AR-Endgerätes 10b.
  • Beachten Sie, dass die Bewegungsdistanz eine Distanz in Form einer Geraden ist, die die Position bei der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes mit der Position verbindet, an der der Schlüsselbild-Aktualisierungsentscheidungsprozess durchgeführt wird. Die Bewegungsdistanz kann beispielsweise basierend auf einer Differenz zwischen der Eigenposition des AR-Endgeräts 10 bei der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes und der Eigenposition des AR-Endgeräts 10 zu dem Zeitpunkt, an dem der Schlüsselbild-Aktualisierungsentscheidungsprozess durchgeführt wird, berechnet werden. Daher erfasst die Steuereinheit 220 die Eigenposition des AR-Endgerätes 10 bei der Aktualisierung des Positionsbestimmungs-Schlüsselbildes und hält die Eigenposition in der Speichereinheit 230 fest.
  • Nach der Berechnung der Bewegungsdistanz vergleicht die Steuereinheit 220 die berechnete Bewegungsdistanz mit einem zweiten Schwellenwert und bestimmt basierend auf dem Ergebnis des Vergleichs, ob das Positionsbestimmungs-Schlüsselbild zu aktualisieren ist.
  • Beispielsweise bestimmt die Steuereinheit 220, das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a und das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b zu aktualisieren, wenn mindestens eine Bewegungsdistanz von den Bewegungsdistanzen des AR-Endgerätes 10a und des AR-Endgerätes 10b den zweiten Schwellenwert oder mehr beträgt. Im Gegensatz dazu bestimmt die Steuereinheit 220 in einem Fall, in dem alle Bewegungsdistanzen von den Bewegungsdistanzen des AR-Endgerätes 10a und des AR-Endgerätes 10b nicht den zweiten Schwellenwert oder mehr betragen, das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a oder das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b nicht zu aktualisieren.
  • Beachten Sie, dass in einem Fall, in dem die Bewegungsdistanz von mindestens einem AR-Endgerät 10 aus der Vielzahl der AR-Endgeräte 10 den zweiten Schwellenwert oder mehr beträgt, die Steuereinheit 220 bestimmt, die Positionsbestimmungs-Schlüsselbilder aller AR-Endgeräte 10 zu aktualisieren.
  • Außerdem kann, wenn man das Ergebnis des auf dem Ähnlichkeitsgrad basierenden Entscheidungsprozesses und das Ergebnis des auf der Bewegungsdistanz basierenden Entscheidungsprozesses vergleicht, das Ergebnis des auf der Bewegungsdistanz basierenden Entscheidungsprozesses höher priorisiert werden. Beispielsweise würde die Steuereinheit 220 selbst dann, wenn in dem auf dem Ähnlichkeitsgrad basierenden Entscheidungsprozess bestimmt wird, dass die Aktualisierungszielkandidaten-Schlüsselbilder der mehreren AR-Endgeräte 10 ähnlich sind, entscheiden, das Positionsbestimmungs-Schlüsselbild zu aktualisieren, wenn in dem auf der Bewegungsdistanz basierenden Entscheidungsprozess bestimmt wird, dass die Bewegungsdistanz den zweiten Schwellenwert oder mehr beträgt.
  • Das liegt daran, dass bei der Schätzung der Eigenposition des AR-Endgerätes 10 aufgrund der Bewegung des AR-Endgerätes 10 um eine vorbestimmte Distanz oder mehr ein Fehler auftreten kann. Selbst wenn die Aktualisierungszielkandidaten-Schlüsselbilder der Vielzahl von AR-Endgeräten 10 ähnlich sind, besteht die Möglichkeit, dass die Anzeigepositionen des virtuellen Objekts aufgrund des Fehlers eine Differenz aufweisen.
  • Beachten Sie, dass die Schätzung der Eigenposition im AR-Endgerät einen Verfolgungsprozess verwendet, z. B. durch SLAM. Der Verfolgungsprozess berechnet die Bewegungsdistanz des AR-Endgerätes 10 basierend auf der Koordinatenposition der Kamera, die dem Schlüsselbild entspricht, und der Bewegungsdistanz, die auf der Grundlage des Messwertes des Sensors, z. B. eines Trägheitsmessgerätes, berechnet wird. Wenn die Bewegungsdistanz des AR-Endgerätes 10 dem zweiten Schwellenwert oder mehr entspricht, besteht eine hohe Wahrscheinlichkeit, dass das Ergebnis der Schätzung der Eigenposition des AR-Endgerätes 10 in hohem Maße von einem Anteil der Bewegungsdistanz abhängt, der basierend auf dem Messwert eines Sensors, wie z. B. eines Trägheitsmessgerätes, berechnet wird. Außerdem ist die Wahrscheinlichkeit groß, dass das Schätzungsergebnis einen großen Driftfehler beinhaltet.
  • Dementsprechend bestimmt die Steuereinheit 220 in einem Fall, in dem die Bewegungsdistanz von mindestens einem AR-Endgerät 10 aus der Vielzahl der AR-Endgeräte 10 den zweiten Schwellenwert oder mehr beträgt, die Positionsbestimmungs-Schlüsselbilder aller AR-Endgeräte 10 zu aktualisieren. Außerdem bestimmt die Steuereinheit 220 selbst dann, wenn in dem auf dem Ähnlichkeitsgrad basierenden Entscheidungsprozess entschieden wird, dass die Aktualisierungszielkandidaten-Schlüsselbilder der mehreren AR-Endgeräte 10 ähnlich sind, ob das Positionsbestimmungs-Schlüsselbild gemäß dem Ergebnis des auf der Bewegungsdistanz basierenden Entscheidungsprozesses aktualisiert werden soll. Diese Konfiguration ermöglicht es, die Differenz in den Anzeigepositionen des virtuellen Objekts zu verringern.
  • (3) Speichereinheit 230
  • Die Speichereinheit 230 besitzt eine Funktion zur Speicherung von Informationen in Bezug auf Prozesse im Server 20. Beispielsweise speichert die Speichereinheit 230 den Maximalwert der von der Steuereinheit 220 berechneten Punktzahl. Außerdem speichert die Speichereinheit 230 Programme wie verschiedene Anwendungen, Daten oder dergleichen. Beachten Sie, dass die in der Speichereinheit 230 gespeicherten Daten nicht auf das obige Beispiel beschränkt sind.
  • <1-3. Prozessbeispiele>
  • Das funktionale Konfigurationsbeispiel gemäß der vorliegenden Ausführungsform ist oben beschrieben worden. Als Nächstes wird ein Verarbeitungsbeispiel in dem Informationsverarbeitungssystem 1000 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 4 bis 7 beschrieben.
  • (1) Lokalisierungsprozess
  • Zunächst wird ein Lokalisierungsprozess unter Bezugnahme auf 4 und 5 beschrieben. 4 ist ein Flussdiagramm, das den Ablauf eines Standard-Lokalisierungsprozesses darstellt. 5 ist ein Flussdiagramm, das den Ablauf eines Lokalisierungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.. Beachten Sie, dass die standardmäßige Lokalisierungsverarbeitung durch ein standardmäßiges AR-Endgerät durchgeführt werden soll. Außerdem soll der Lokalisierungsprozess gemäß der vorliegenden Ausführungsform durch das AR-Endgerät 10 gemäß der vorliegenden Ausführungsform durchgeführt werden.
  • (1-1) Standard-Lokalisierungsprozess
  • Wie in 4 dargestellt, führt das AR-Endgerät zunächst die Erkennung von Merkmalspunkten und die Beschreibung der Merkmalsmenge auf einem fotografischen Bild durch und erfasst dann einen zweidimensionalen Merkmalspunkt (S102). Als Nächstes sucht das standardmäßige AR-Endgerät nach einem Schlüsselbild unter Verwendung des erfassten zweidimensionalen Merkmalspunkts auf der Schlüsselbildgruppe der in der Speichereinheit des standardmäßigen AR-Endgeräts gespeicherten Karten-DB und erfasst dadurch ein Schlüsselbild, das für die Erzeugung eines Ausgabebildes (S104) zu verwenden ist. Als Nächstes führt das standardmäßige AR-Endgerät einen Merkmalspunktabgleich zwischen den erfassten Merkmalspunkten des Schlüsselbildes und den Merkmalspunkten des fotografischen Bildes durch und schätzt dann eine anfängliche Pose des standardmäßigen AR-Endgerätes (S106). Anschließend führt das standardmäßige AR-Endgerät einen Bildabgleich zwischen dem erfassten Schlüsselbild und dem fotografischen Bild durch und schätzt dann die endgültige Pose des standardmäßigen AR-Endgerätes (S108).
  • Bei dem oben beschriebenen standardmäßigen Lokalisierungsprozess teilt ein standardmäßiges AR-Endgerät keine Informationen, wie z. B. ein Schlüsselbild, mit einem anderen standardmäßigen AR-Endgerät. Daher führt das standardmäßige AR-Endgerät nicht die Bestimmung der Anzeigeposition des virtuellen Objekts durch, bei der die Positionsbeziehung zu einem anderen standardmäßigen AR-Endgerät berücksichtigt wird.
  • (1-2) Lokalisierungsprozess gemäß der vorliegenden Ausführungsform
  • Wie in 5 dargestellt, führt das AR-Endgerät zunächst die Erkennung von Merkmalspunkten und die Beschreibung der Merkmalsmenge auf einem fotografischen Bild durch und erfasst dann einen zweidimensionalen Merkmalspunkt (S202). Als Nächstes sucht das AR-Endgerät 10 ein Schlüsselbild unter Verwendung des erfassten zweidimensionalen Merkmalspunkts auf der Schlüsselbildgruppe der in der Speichereinheit 150 des AR-Endgerätes 10 gespeicherten Karten-DB und erfasst ein Aktualisierungszielkandidaten-Schlüsselbild (S204). Als Nächstes überträgt das AR-Endgerät 10 das Aktualisierungszielkandidaten-Schlüsselbild an den Server 20 und veranlasst den Server 20, den Schlüsselbild-Aktualisierungsentscheidungsprozess durchzuführen (S206). Beachten Sie, dass die Einzelheiten des Schlüsselbild-Aktualisierungsentscheidungsprozesses nachstehend beschrieben werden.
  • Nach dem Schlüsselbild-Aktualisierungsentscheidungsprozess bestätigt das AR-Endgerät 10, ob im Entscheidungsprozess beschlossen wurde, das Positionsbestimmungs-Schlüsselbild zu aktualisieren (S208). Wenn im Entscheidungsprozess beschlossen wird, das Positionsbestimmungs-Schlüsselbild zu aktualisieren (S208/JA), aktualisiert das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild (S210) und fährt mit dem Prozess S212 fort. Wenn im Entscheidungsprozess entschieden wird, das Positionsbestimmungs-Schlüsselbild nicht zu aktualisieren (S208/NEIN), fährt das AR-Endgerät 10 mit dem Prozess S212 fort, ohne das Positionsbestimmungs-Schlüsselbild zu aktualisieren.
  • In S212 führt das AR-Endgerät 10 einen Merkmalspunktabgleich zwischen dem Merkmalspunkt des Positionsbestimmungs-Schlüsselbildes und dem Merkmalspunkt des fotografischen Bildes (S212) durch. Nach dem Merkmalspunktabgleich bestätigt das AR-Endgerät 10, ob der Abgleich der Merkmalspunkte erfolgreich war (S214).
  • Wenn die Merkmalspunkte keinen Abgleich erreicht haben (S214/NEIN), wiederholt das AR-Endgerät 10 die Prozesse ab S210. Wenn der Abgleich der Merkmalspunkte erfolgreich war (S214/JA), schätzt das AR-Endgerät 10 die anfängliche Pose des AR-Endgerätes 10 (S216). Anschließend führt das AR-Endgerät 10 einen Bildabgleich zwischen dem Positionsbestimmungs-Schlüsselbild und dem fotografischen Bild durch und schätzt die endgültige Position des AR-Endgerätes 10 (S218).
  • Bei dem Lokalisierungsprozess gemäß der oben beschriebenen vorliegenden Ausführungsform teilt sich das AR-Endgerät 10 ein Schlüsselbild mit einem anderen AR-Endgerät 10 auf dem Server 20. Außerdem bestimmt das AR-Endgerät 10 die Anzeigeposition des virtuellen Objekts unter Berücksichtigung der Positionsbeziehung zu einem anderen standardmäßigen AR-Endgerät basierend auf dem Ergebnis des vom Server 20 durchgeführten Schlüsselbild-Aktualisierungsentscheidungsprozesses. Mit einer solchen Konfiguration ist es möglich, die Differenz der Anzeigepositionen zu verringern, wenn eine Vielzahl von AR-Endgeräten ein identisches virtuelles Objekt anzeigt.
  • (2) Schlüsselbild-Aktualisierungsentscheidungsprozess
  • Als Nächstes wird ein Ablauf des Schlüsselbild-Aktualisierungsentscheidungsprozesses gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 6 beschrieben. 6 ist ein Flussdiagramm, das den Ablauf eines Entscheidungsprozesses zur Aktualisierung eines Schlüsselbildes gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Außerdem soll der Schlüsselbild-Aktualisierungsentscheidungsprozess gemäß der vorliegenden Ausführungsform von dem Server 20 gemäß der vorliegenden Ausführungsform durchgeführt werden.
  • Wie in 6 dargestellt, berechnet der Server 20 zunächst eine Punktzahl, die den Ähnlichkeitsgrad zwischen dem vom AR-Endgerät 10a erfassten Aktualisierungszielkandidaten-Schlüsselbild und dem vom AR-Endgerät 10b erfassten Aktualisierungszielkandidaten-Schlüsselbild angibt (S302). Nach der Berechnung der Punktzahl bestätigt der Server 20, ob die Punktzahl den ersten Schwellenwert oder mehr beträgt (S304).
  • Wenn die Punktzahl nicht den ersten Schwellenwert oder mehr beträgt (S304/NEIN), beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild zu aktualisieren (S314), und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Punktzahl den ersten Schwellenwert oder mehr beträgt (S304/JA), bestätigt der Server 20, ob die Punktzahl den Maximalwert oder mehr beträgt (S306). Wenn die Punktzahl den Maximalwert oder mehr beträgt (S306/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl (S308). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S314) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Punktzahl nicht den Maximalwert oder mehr beträgt (S306/NEIN), bestätigt der Server 20, ob die Bewegungsdistanz des AR-Endgerätes 10a oder des AR-Endgerätes 10b nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes (S310) den zweiten Schwellenwert oder mehr beträgt.
  • Wenn die Bewegungsdistanz dem zweiten Schwellenwert oder mehr entspricht (S310/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl auf 0 (S312). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S314) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Bewegungsdistanz nicht den zweiten Schwellenwert oder mehr beträgt (S310/NEIN), beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild nicht zu aktualisieren (S316), und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • (3) Prozesse im Informationsverarbeitungssystem 1000
  • Anschließend wird ein Ablauf der Prozesse im Informationsverarbeitungssystem 1000 gemäß der Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 7 beschrieben. 7 ist ein Sequenzdiagramm, das den Ablauf von Prozessen in dem Informationsverarbeitungssystem 1000 gemäß der Ausführungsform der vorliegenden Offenbarung darstellt.
  • Wie in 7 dargestellt, erfasst das AR-Endgerät 10a zunächst das Aktualisierungszielkandidaten-Schlüsselbild, indem es die Prozesse von S202 bis S204 (S402) ausführt. Nach der Erfassung überträgt das AR-Endgerät 10a das erfasste Aktualisierungszielkandidaten-Schlüsselbild an den Server 20 (S404). In ähnlicher Weise erfasst das AR-Endgerät 10b das Aktualisierungszielkandidaten-Schlüsselbild, indem es die Prozesse von S202 bis S204 (S406) ausführt. Nach der Erfassung überträgt das AR-Endgerät 10b das erfasste Aktualisierungszielkandidaten-Schlüsselbild an den Server 20 (S408).
  • Nachdem der Server 20 die Aktualisierungszielkandidaten-Schlüsselbilder von dem AR-Endgerät 10a und dem AR-Endgerät 10b empfangen hat, führt er den Schlüsselbild-Aktualisierungsentscheidungsprozess durch, indem er S206 (S410) ausführt. Nach dem Schlüsselbild-Aktualisierungsentscheidungsprozess überträgt der Server 20 das Entscheidungsergebnis an das AR-Endgerät 10a und das AR-Endgerät 10b (S412 und S416).
  • Nachdem das AR-Endgerät 10a das Entscheidungsergebnis vom Server 20 empfangen hat, führt es die Prozesse von S208 bis S218 (S414) aus. Nachdem das AR-Endgerät 10a in ähnlicher Weise das Entscheidungsergebnis vom Server 20 empfangen hat, führt es die Prozesse von S208 bis S218 (S418) aus.
  • <1-4. Konkrete Beispiele>
  • Das Konfigurationsbeispiel gemäß der vorliegenden Ausführungsform ist oben beschrieben worden. Als Nächstes wird ein konkretes Beispiel gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 8A bis 11 beschrieben. Ein konkretes Beispiel bezüglich der Aktualisierung des Positionsbestimmungs-Schlüsselbildes wird nachstehend beschrieben.
  • (1) Erstes konkretes Beispiel
  • Zunächst wird ein Beispiel für die Aktualisierung des Positionsbestimmungs-Schlüsselbildes beschrieben, wenn die Blickrichtungen des Benutzers 12a und des Benutzers 12b gleich sind, und zwar unter Bezugnahme auf 8A und 8B. 8A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern 12 in einem ersten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. 8B ist ein Diagramm, das die Ansichten einzelner Benutzer 12 in dem ersten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Beachten Sie, dass die Zeit in dem ersten konkreten Beispiel die Zeit t1 sein soll.
  • Wie in 8A dargestellt, befinden sich ein virtuelles Objekt, bei dem es sich um ein Gespenst 50 handelt, und ein reales Objekt, bei dem es sich um eine Zimmerpflanze 51 handelt, in einem Gesichtsfeld 40a des Benutzers 12a, der das AR-Endgerät 10a trägt. Dabei sieht der Benutzer 12a das Gespenst 50 und die Zimmerpflanze 51, wie links in 8B dargestellt.
  • Außerdem befinden sich das virtuelle Objekt des Gespenstes 50 und das reale Objekt der Zimmerpflanze 51 auch in einem Gesichtsfeld 40b des Benutzers 12b, der das AR-Endgerät 10b trägt. Dabei sieht der Benutzer 12b das Gespenst 50 und die Zimmerpflanze 51, wie rechts in 8B dargestellt.
  • Wenn der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t1 durchgeführt wird, bestimmt das AR-Endgerät 10a ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf einem fotografischen Bild 60a, das links in 8B dargestellt ist. Außerdem erfasst das AR-Endgerät 10b ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf dem rechts in 8B dargestellten fotografischen Bild 60b. Da das fotografische Bild 60a und das fotografische Bild 60b ähnlich sind, sind auch die Aktualisierungszielkandidaten-Schlüsselbilder, die basierend auf den einzelnen fotografischen Bildern erfasst werden, ähnlich. Daher entscheidet der Schlüsselbild-Aktualisierungsentscheidungsprozess im Server 20, dass das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild nicht aktualisieren wird. Außerdem werden das AR-Endgerät 10a und das AR-Endgerät 10b das Positionsbestimmungs-Schlüsselbild nicht aktualisieren und weiterhin das identische Schlüsselbild verwenden.
  • (2) Zweites konkretes Beispiel
  • Als Nächstes wird ein Beispiel für die Aktualisierung des Positionsbestimmungs-Schlüsselbildes beschrieben, wenn die Blickrichtungen des Benutzers 12a und des Benutzers 12b unterschiedlich sind, und zwar unter Bezugnahme auf 9A und 9B. 9A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern 12 in einem zweiten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. 9B ist ein Diagramm, das die Ansichten einzelner Benutzer 12 in dem zweiten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Beachten Sie, dass die Zeit in dem zweiten konkreten Beispiel die Zeit t2 sein soll.
  • Der Benutzer 12a hat die Richtung oder die Position des Gesichtsfeldes 40a im Vergleich zu denjenigen zum Zeitpunkt t1 des ersten konkreten Beispiels nicht verändert. Daher befinden sich, wie in 9A dargestellt, ein virtuelles Objekt, bei dem es sich um ein Gespenst 50 handelt, und ein reales Objekt, bei dem es sich um eine Zimmerpflanze 51 handelt, in einem Gesichtsfeld 40a des Benutzers 12a, der das AR-Endgerät 10a trägt. Dabei sieht der Benutzer 12a das Gespenst 50 und die Zimmerpflanze 51, wie links in 9B dargestellt.
  • Im Gegensatz dazu hat der Benutzer 12b nicht die Position, sondern die Richtung des Gesichtsfelds 40b in Bezug auf die in dem ersten konkreten Beispiel beschriebene Richtung zum Zeitpunkt t1 geändert. Daher befindet sich, wie in 9A dargestellt, nur ein reales Objekt einer Blume 52 im Gesichtsfeld 40b des Benutzers 12b, der das AR-Endgerät 10b trägt. Dabei betrachtet der Benutzer 12b die Blume 52, wie sie rechts in 9B dargestellt ist.
  • Wenn der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t2 durchgeführt wird, bestimmt das AR-Endgerät 10a ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf einem fotografischen Bild 60a, das links in 9B dargestellt ist. Außerdem erfasst das AR-Endgerät 10b ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf dem rechts in 9B dargestellten fotografischen Bild 60b. Da das fotografische Bild 60a und das fotografische Bild 60b unähnlich sind, sind auch die Aktualisierungszielkandidaten-Schlüsselbilder, die basierend auf den einzelnen fotografischen Bildern erfasst werden, unähnlich. Daher entscheidet der Schlüsselbild-Aktualisierungsentscheidungsprozess im Server 20, dass das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild aktualisieren wird. Außerdem werden das AR-Endgerät 10a und das AR-Endgerät 10b das Positionsbestimmungs-Schlüsselbild aktualisieren.
  • (3) Drittes konkretes Beispiel
  • Als Nächstes wird ein Beispiel für die Aktualisierung des Positionsbestimmungs-Schlüsselbildes beschrieben, wenn sich die Positionsbeziehung zwischen dem Benutzer 12a und dem Benutzer 12b geändert hat, und zwar unter Bezugnahme auf 10A und 10B. 10A ist ein Diagramm, das eine Positionsbeziehung zwischen einer Vielzahl von Benutzern 12 in einem dritten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. 10B ist ein Diagramm, das die Ansichten einzelner Benutzer 12 in dem dritten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung darstellt. Beachten Sie, dass die Zeit in dem dritten konkreten Beispiel die Zeit t3 sein soll.
  • Der Benutzer 12a hat die Richtung und Position des Gesichtsfeldes 40a ab dem Zeitpunkt t2 des zweiten konkreten Beispiels nicht verändert. Daher befinden sich, wie in 10A dargestellt, ein virtuelles Objekt, bei dem es sich um ein Gespenst 50 handelt, und ein reales Objekt, bei dem es sich um eine Zimmerpflanze 51 handelt, in einem Gesichtsfeld 40a des Benutzers 12a, der das AR-Endgerät 10a trägt. Dabei sieht der Benutzer 12a das Gespenst 50 und die Zimmerpflanze 51, wie links in 10B dargestellt.
  • Im Gegensatz dazu hat der Benutzer 12b die Richtung des Gesichtsfeldes 40b in Bezug auf die in dem zweiten konkreten Beispiel beschriebene Richtung zum Zeitpunkt t2 geändert, wobei diese Änderung in die gleiche Richtung geht wie die Richtung zum Zeitpunkt t1 des ersten konkreten Beispiels. Daher befinden sich, wie in 10A dargestellt, ein virtuelles Objekt, bei dem es sich um ein Gespenst 50 handelt, und ein reales Objekt, bei dem es sich um eine Zimmerpflanze 51 handelt, in einem Gesichtsfeld 40b des Benutzers 12b, der das AR-Endgerät 10b trägt. Dabei sieht der Benutzer 12b das Gespenst 50 und die Zimmerpflanze 51, wie rechts in 10B dargestellt. Der Benutzer 12b hat jedoch die Position gegenüber der in dem zweiten konkreten Beispiel beschriebenen Position zum Zeitpunkt t2 so verändert, dass die Bewegungsdistanz den zweiten Schwellenwert oder mehr beträgt.
  • Wenn der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t2 durchgeführt wird, bestimmt das AR-Endgerät 10a ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf einem fotografischen Bild 60a, das links in 10B dargestellt ist. Außerdem erfasst das AR-Endgerät 10b ein Aktualisierungszielkandidaten-Schlüsselbild basierend auf dem rechts in 10B dargestellten fotografischen Bild 60b. Da das fotografische Bild 60a und das fotografische Bild 60b ähnlich sind, sind auch die Aktualisierungszielkandidaten-Schlüsselbilder, die basierend auf den einzelnen fotografischen Bildern erfasst werden, ähnlich. Da die Bewegungsdistanz des Benutzers 12b jedoch den zweiten Schwellenwert oder mehr beträgt, wird im Schlüsselbild-Aktualisierungsentscheidungsprozess im Server 20 entschieden, dass das Positionsbestimmungs-Schlüsselbild zu aktualisieren ist. Außerdem werden das AR-Endgerät 10a und das AR-Endgerät 10b das Positionsbestimmungs-Schlüsselbild aktualisieren.
  • (4) Viertes konkretes Beispiel
  • Abschließend wird die Zeitreihenänderung der Positionsbestimmungs-Schlüsselbilder in den oben beschriebenen ersten bis dritten konkreten Beispielen unter Bezugnahme auf 11 beschrieben. 11 ist ein Diagramm zur Veranschaulichung von Zeitreihenänderungen von Schlüsselbildern in dem vierten konkreten Beispiel gemäß der Ausführungsform der vorliegenden Offenbarung.
  • Die in 11 dargestellte Tabelle stellt Zeitreihenänderungen in den Positionsbestimmungs-Schlüsselbildern des AR-Endgerätes 10a und des AR-Endgerätes 10b dar. Beachten Sie, dass das AR-Endgerät 10a die Positionsbestimmungs-Schlüsselbilder 1 bis 5 verwendet, während das AR-Endgerät 10b die Positionsbestimmungs-Schlüsselbilder 6 bis 10 verwendet.
  • Zunächst haben sich die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10a in einer Zeitspanne von to und t1 in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 3, 5, 4 und 1 geändert. In ähnlicher Weise haben sich die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10b in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 8, 10, 9 und 7 geändert.
  • Wie in dem oben beschriebenen ersten konkreten Beispiel beschrieben, hat der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t1 entschieden, dass das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild nicht aktualisieren würde. Basierend auf dieser Entscheidung wird während einer Zeitspanne von t1 bis t2 im AR-Endgerät 10a kontinuierlich das Positionsbestimmungs-Schlüsselbild 1 verwendet, während im AR-Endgerät 10b kontinuierlich das Positionsbestimmungs-Schlüsselbild 7 verwendet wird.
  • Wie in dem obigen zweiten konkreten Beispiel beschrieben, hat der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t2 entschieden, dass das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild aktualisieren würde. Basierend auf dieser Entscheidung haben sich die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10a in einer Zeitspanne von t2 bis t3 in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 3, 1, 2, 1 und 4 geändert. In ähnlicher Weise haben sich die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10b in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 6, 9, 6, 8 und 10 geändert.
  • Wie in dem oben beschrieben dritten konkreten Beispiel beschrieben, hat der Schlüsselbild-Aktualisierungsentscheidungsprozess zum Zeitpunkt t3 entschieden, dass das AR-Endgerät 10 das Positionsbestimmungs-Schlüsselbild aktualisieren würde. Basierend auf dieser Entscheidung haben sich zum Zeitpunkt t3 oder zu einem späteren Zeitpunkt die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10a in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 4, 1, 3, geändert. In ähnlicher Weise haben sich die Positionsbestimmungs-Schlüsselbilder des AR-Endgerätes 10b in der Reihenfolge der Positionsbestimmungs-Schlüsselbilder 10, 9, 10 geändert.
  • <1-5. Modifikationen>
  • Im Folgenden werden Modifikationen der Ausführungsform der vorliegenden Offenbarung beschrieben. Beachten Sie, dass die nachstehend beschriebenen Modifikationen getrennt auf die Ausführungsformen der vorliegenden Offenbarung angewandt werden können oder in Kombination auf die Ausführungsformen der vorliegenden Offenbarung angewandt werden können. Außerdem kann die Modifikation anstelle der in der Ausführungsform der vorliegenden Offenbarung beschriebenen Konfiguration angewandt oder zusätzlich auf die in der Ausführungsform der vorliegenden Offenbarung beschriebenen Konfiguration angewandt werden.
  • (1) Erste Modifikation
  • Die oben beschriebene Ausführungsform ist ein Beispiel, bei dem die Anzahl der AR-Endgeräte 10, die sich das gleiche virtuelle Objekt teilen, zwei ist (zwei Benutzer 12). Die Anzahl der AR-Endgeräte 10, die sich das gleiche virtuelle Objekt teilen, ist jedoch nicht unbedingt eingeschränkt und kann beliebig groß sein. Im Folgenden wird unter Bezugnahme auf 12 ein Beispiel beschrieben, bei dem die Anzahl der AR-Endgeräte 10, die sich das gleiche virtuelle Objekt teilen, drei beträgt. 12 ist ein Flussdiagramm, das den Ablauf des Schlüsselbild-Aktualisierungsentscheidungsprozesses in der ersten Modifikation der Ausführungsform der vorliegenden Offenbarung darstellt.
  • Der Server 20 empfängt die Aktualisierungszielkandidaten-Schlüsselbilder von allen AR-Endgeräten 10, die sich das identische virtuelle Objekt teilen, und führt den Schlüsselbild-Aktualisierungsentscheidungsprozess unter Berücksichtigung aller Kombinationen der empfangenen Aktualisierungszielkandidaten-Schlüsselbilder durch. Beispielsweise berechnet der Server 20 eine Punktzahl für den Ähnlichkeitsgrad in allen Kombinationen der empfangenen Aktualisierungszielkandidaten-Schlüsselbilder und vergleicht die berechnete Punktzahl mit dem Maximalwert. Außerdem vergleicht der Server 20 die Bewegungsdistanzen aller AR-Endgeräte 10 mit dem zweiten Schwellenwert.
  • Mit einer solchen Konfiguration kann der Server 20 den Schlüsselbild-Aktualisierungsentscheidungsprozess selbst dann durchführen, wenn sich drei oder mehr AR-Endgeräte 10 ein identisches virtuelles Objekt teilen. Außerdem kann jedes der drei oder mehr AR-Endgeräte 10 in einem Fall, in dem die drei oder mehr Anzeigeendgeräte ein identisches virtuelles Objekt anzeigen, basierend auf dem Ergebnis des Entscheidungsprozesses zur Aktualisierung des Schlüsselbildes, die Differenz der Anzeigepositionen verringern.
  • Hier wird unter Bezugnahme auf 12 der Ablauf des Schlüsselbild-Aktualisierungsentscheidungsprozesses in der ersten Modifikation beschrieben. Wie in 12 dargestellt, berechnet der Server 20 zunächst Punktzahlen, die den Ähnlichkeitsgrad der Aktualisierungszielkandidaten-Schlüsselbilder in allen Kombinationen (NC2-Varianten) in einem Fall angeben, in dem zwei AR-Endgeräte 10 aus N AR-Endgeräten 10 ausgewählt werden (S502). Da die Anzahl der AR-Endgeräte 10 bei der vorliegenden Modifikation drei beträgt, ergeben sich 3C2 = 3 Kombinationen.
  • Nach der Berechnung der NC2 Punktzahlen bestätigt der Server 20, ob die NC2 Punktzahlen den ersten Schwellenwert oder mehr betragen (S504). In der vorliegenden Modifikation wird bestätigt, ob die 3C2 Punktzahlen den ersten Schwellenwert oder mehr betragen.
  • Wenn die Punktzahl nicht den ersten Schwellenwert oder mehr beträgt (S504/NEIN), beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild zu aktualisieren (S514), und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Punktzahl den ersten Schwellenwert oder mehr beträgt (S504/JA), bestätigt der Server 20, ob mindestens eine Punktzahl der NC2 Punktzahlen den Maximalwert oder mehr beträgt (S506). Wenn mindestens eine der Punktzahlen den Maximalwert oder mehr beträgt (S506/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl (S508). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S514) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn alle Punktzahlen nicht den Maximalwert oder mehr betragen (S506/NEIN), bestätigt der Server 20, ob die Bewegungsdistanz von mindestens einem der N AR-Endgeräte 10 nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes den zweiten Schwellenwert oder mehr beträgt (S510) .
  • Wenn die Bewegungsdistanz mindestens eines AR-Endgerätes 10 den zweiten Schwellenwert oder mehr beträgt (S510/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl auf 0 (S512). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S514) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Bewegungsdistanz mindestens eines AR-Endgerätes 10 nicht den vorbestimmten Schwellenwert oder mehr beträgt (S510/NEIN), entscheidet der Server 20, das Positionsbestimmungs-Schlüsselbild nicht zu aktualisieren (S516), und beendet den Schlüsselbild-Aktualisierungsentscheidungsprozess.
  • (2) Zweite Modifikation
  • Obwohl es sich bei der oben beschriebenen Ausführungsform um ein Beispiel handelt, bei dem sich eine Vielzahl von AR-Endgeräten 10 ein identisches virtuelles Objekt zum selben Zeitpunkt teilen, können die Zeitpunkte, bei denen die Vielzahl von AR-Endgeräten 10 das identische virtuelle Objekt teilen, unterschiedlich sein. Im Folgenden wird unter Bezugnahme auf 13 ein Beispiel beschrieben, bei dem eine Vielzahl von AR-Endgeräten 10 zu unterschiedlichen Zeiten das identische virtuelle Objekt nutzt. 13 ist ein Flussdiagramm, das den Ablauf des Schlüsselbild-Aktualisierungsentscheidungsprozesses in einer zweiten Modifikation der Ausführungsform der vorliegenden Offenbarung darstellt.
  • Es wird angenommen, dass der Benutzer 12a des AR-Endgerätes 10a ein virtuelles Objekt an einer vorbestimmten Position betrachtet, an der das virtuelle Objekt zu einem bestimmten Zeitpunkt t4 angezeigt wird. Es wird davon ausgegangen, dass das identische virtuelle Objekt an derselben vorbestimmten Position zum Zeitpunkt ts betrachtet wird, der sich von dem Zeitpunkt unterscheidet, an dem der Benutzer 12a das virtuelle Objekt betrachtet hat. Dabei sollte das virtuelle Objekt auf dem AR-Endgerät 10b des Benutzers 12b auf die gleiche Weise angezeigt werden, wie wenn der Benutzer 12a das virtuelle Objekt betrachtet.
  • Konkrete Beispiele für diesen Fall beinhalten ein AR-Rätselspiel und ein AR-Fluchtspiel. Beispielsweise wird angenommen, dass der Benutzer 12a ein virtuelles Objekt an einer Position in einem Raum platziert und den Raum verlässt. Anschließend wird angenommen, dass der Benutzer 12b denselben Raum betritt und die Position des von dem Benutzer 12a platzierten virtuellen Objekts erfassen muss. Falls der Benutzer 12b zu diesem Zeitpunkt die Position des von dem Benutzer 12a platzierten virtuellen Objekts nicht genau erfasst, würde der Spielverlauf beeinträchtigt werden. Beispielsweise wird angenommen, dass sich ein roter und ein blauer Stuhl in einem Raum befinden und der Benutzer 12a ein virtuelles Objekt auf den roten Stuhl stellt. Es wird jedoch davon ausgegangen, dass eine Positionsverschiebung auftritt, wenn der Benutzer 12b das virtuelle Objekt betrachtet und das virtuelle Objekt auf dem blauen Stuhl angezeigt wird. In diesem Fall konnte der Benutzer 12b nicht die richtige Antwort der Position erhalten, an der der Benutzer 12a das virtuelle Objekt platziert hat, und konnte das Spiel nicht beenden.
  • Um dies zu lösen, muss der Server 20 selbst bei unterschiedlichen Zeitreihen die Anzeige des virtuellen Objekts basierend auf dem Aktualisierungszielkandidaten-Schlüsselbild des AR-Endgerätes 10a und dem Aktualisierungszielkandidaten-Schlüsselbild des AR-Endgerätes 10b steuern. Da sich das AR-Endgerät 10a des Benutzers 12a zum Zeitpunkt ts jedoch nicht an der gleichen Position befindet wie das AR-Endgerät 10b des Benutzers 12b, kann der Server 20 das Aktualisierungszielkandidaten-Schlüsselbild des AR-Endgerätes 10a leider nicht an der Position erfassen.
  • Um dies zu handhaben, berechnet die Steuereinheit 220 des Servers 20 den Ähnlichkeitsgrad zwischen dem Betriebszustand des AR-Endgerätes 10a, das eine bestimmte Positionsbeziehung zu einer vorbestimmten Position hat, und dem Betriebszustand des AR-Endgerätes 10b, das eine bestimmte Beziehung zu der vorbestimmten Position in Zeitreihen hat, die sich vom Betriebszustand des AR-Endgerätes 10a unterscheiden, und führt dann den Schlüsselbild-Aktualisierungsentscheidungsprozess durch.
  • Die konkrete Positionsbeziehung zur vorbestimmten Position ist beispielsweise eine Positionsbeziehung zwischen der vorbestimmten Position und dem AR-Endgerät 10, wenn der Benutzer 12 das virtuelle Objekt betrachtet, das an der vorbestimmten Position angezeigt wird. Dementsprechend ist der Betriebszustand des AR-Endgerätes 10, das eine bestimmte Positionsbeziehung zu der vorbestimmten Position hat, mit anderen Worten, der Betriebszustand des AR-Endgerätes 10, wenn der Benutzer 12 das virtuelle Objekt betrachtet, das an der vorbestimmten Position angezeigt wird.
  • Beispielsweise erfasst der Server 20 ein Positionsbestimmungs-Schlüsselbild, das basierend auf dem Betriebszustand des AR-Endgeräts 10a des Benutzers 12a erfasst wird, der das an der vorbestimmten Position angezeigte virtuelle Objekt zuerst betrachtet hat, als Referenzschlüsselbild (im Folgenden auch als „Schlüsselbild X“ bezeichnet). Wenn der Benutzer 12b ein virtuelles Objekt betrachtet, das an einer vorbestimmten Position zu einem Zeitpunkt angezeigt wird, der sich von dem des Benutzers 12a unterscheidet, erfasst der Server 20 ein Aktualisierungszielkandidaten-Schlüsselbild, das basierend auf dem Betriebszustand des AR-Endgerätes 10b des Benutzers 12b erfasst wird. Anschließend berechnet der Server 20 den Ähnlichkeitsgrad zwischen dem Schlüsselbild X und dem Aktualisierungszielkandidaten-Schlüsselbild des AR-Endgerätes 10b und führt dann den Schlüsselbild-Aktualisierungsentscheidungsprozess durch.
  • Mit einer solchen Konfiguration kann selbst dann, wenn die Zeitpunkte, zu denen die Vielzahl der Benutzer das identische virtuelle Objekt betrachtet, nicht gleich sind, die Differenz der Anzeigepositionen verringert werden, wenn die Vielzahl der Anzeigeendgeräte das identische virtuelle Objekt anzeigt.
  • Hier wird unter Bezugnahme auf 13 der Ablauf des Schlüsselbild-Aktualisierungsentscheidungsprozesses in der zweiten Modifikation beschrieben. Beachten Sie, dass das Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10a des Benutzers 12a, der eine vorbestimmte Position zuerst betrachtet, als Schlüsselbild X definiert ist. Außerdem wird davon ausgegangen, dass der Schlüsselbild-Aktualisierungsentscheidungsprozess ausgeführt wird, wenn der Benutzer 12b die vorbestimmte Position zu einem Zeitpunkt betrachtet, der nach dem Betrachtungszeitpunkt des Benutzers 12a liegt.
  • Wie in 13 dargestellt, berechnet der Server 20 zunächst eine Punktzahl, die den Ähnlichkeitsgrad zwischen dem Positionsbestimmungs-Schlüsselbild des AR-Endgerätes 10b und dem Schlüsselbild X angibt (S602). Nach der Berechnung der Punktzahl bestätigt der Server 20, ob die Punktzahl einen ersten Schwellenwert oder mehr beträgt (S604) .
  • Wenn die Punktzahl nicht den ersten Schwellenwert oder mehr beträgt (S604/NEIN), beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild zu aktualisieren (S614), und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Punktzahl den ersten Schwellenwert oder mehr beträgt (S604/JA), bestätigt der Server 20, ob die Punktzahl den Maximalwert oder mehr beträgt (S606). Wenn die Punktzahl den Maximalwert oder mehr beträgt (S606/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl (S608). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S614) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Punktzahl nicht den Maximalwert oder mehr beträgt (S606/NEIN), bestätigt der Server 20, ob die Bewegungsdistanz des AR-Endgerätes 10a oder des AR-Endgerätes 10b nach der letzten Aktualisierung des Positionsbestimmungs-Schlüsselbildes (S610) den zweiten Schwellenwert oder mehr beträgt.
  • Wenn die Bewegungsdistanz dem zweiten Schwellenwert oder mehr entspricht (S610/JA), aktualisiert der Server 20 den Maximalwert der Punktzahl auf 0 (S612). Nach der Aktualisierung des Maximalwertes beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild (S614) zu aktualisieren, und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • Wenn die Bewegungsdistanz nicht den zweiten Schwellenwert oder mehr beträgt (S610/NEIN), beschließt der Server 20, das Positionsbestimmungs-Schlüsselbild nicht zu aktualisieren (S616), und beendet den Prozess der Schlüsselbild-Aktualisierungsentscheidung.
  • <<2. Zweite Ausführungsform>>
  • Die erste Ausführungsform ist oben beschrieben worden. Eine zweite Ausführungsform der vorliegenden Offenbarung wird beschrieben. Obwohl es sich bei der oben beschriebenen Ausführungsform um ein Beispiel handelt, bei dem der Schlüsselbild-Aktualisierungsentscheidungsprozess vom Server 20 durchgeführt wird, kann der Schlüsselbild-Aktualisierungsprozess auch vom AR-Endgerät 10 durchgeführt werden.
  • Das AR-Endgerät 10 gemäß der zweiten Ausführungsform weist ferner dieselbe Funktion auf wie die in der ersten Ausführungsform beschriebene Steuereinheit 220 des Servers 20, zusätzlich zu der in der ersten Ausführungsform beschriebenen Funktion des AR-Endgerätes 10. Mit einer solchen Konfiguration kann das AR-Endgerät 10 gemäß der zweiten Ausführungsform den Schlüsselbild-Aktualisierungsentscheidungsprozess unabhängig vom Server 20 durchführen.
  • Beachten Sie, dass in einem Fall, in dem es eine Vielzahl von AR-Endgeräten 10 gibt, die fähig sind, den Schlüsselbild-Aktualisierungsentscheidungsprozess auszuführen, das AR-Endgerät, das den Schlüsselbild-Aktualisierungsentscheidungsprozess durchführen soll, gemäß der Verarbeitungsleistung der einzelnen AR-Endgeräte 10 bestimmt werden kann. Beispielsweise wird das AR-Endgerät mit der höchsten Verarbeitungsleistung als Endgerät bestimmt, das den Schlüsselbild-Aktualisierungsentscheidungsprozess durchführt.
  • <<3. Hardware-Konfigurationsbeispiel>>
  • Abschließend wird ein Hardware-Konfigurationsbeispiel der Informationsverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 14 beschrieben. 14 ist ein Blockdiagramm, das ein Hardware-Konfigurationsbeispiel einer Informationsverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform darstellt. Beachten Sie, dass eine in 14 dargestellte Informationsverarbeitungsvorrichtung 900 zum Beispiel den in 3 dargestellten Server 20 verwirklichen kann. Die Prozesse des Servers 20 gemäß der vorliegenden Ausführungsform werden durch nachstehend beschriebene kooperative Operationen von Software und Hardware implementiert.
  • Wie in 14 dargestellt, weist die Informationsverarbeitungsvorrichtung 900 eine zentrale Verarbeitungseinheit (CPU) 901, einen Nur-Lese-Speicher (ROM) 902 und einen Direktzugriffsspeicher (RAM) 903 auf. Darüber hinaus enthält die Informationsverarbeitungsvorrichtung 900 einen Host-Bus 904, eine Brücke 905, einen externen Bus 906, eine Schnittstelle 907, eine Eingabevorrichtung 908, eine Ausgabevorrichtung 909, eine Speichervorrichtung 910, ein Laufwerk 911, einen Verbindungsport 912 und eine Kommunikationsvorrichtung 913. Beachten Sie, dass es sich bei der hier dargestellten Hardware-Konfiguration um ein Beispiel handelt, bei dem einige Komponenten weggelassen sein können. Außerdem kann die Hardware-Konfiguration ferner andere Komponenten als die hier dargestellten Komponenten aufweisen.
  • Die CPU 901 fungiert beispielsweise als arithmetische Verarbeitungsvorrichtung oder als Steuervorrichtung und steuert die gesamte oder einen Teil der Operation jeder Komponente basierend auf verschiedenen Programmen, die im ROM 902, im RAM 903 oder in der Speichervorrichtung 910 aufgezeichnet sind. Das ROM 902 dient zum Speichern eines Programms, das von der CPU 901 geladen wird, von Daten, die für Berechnungen verwendet werden, oder dergleichen. Im RAM 903 werden beispielsweise ein von der CPU 901 geladenes Programm, verschiedene Parameter, die sich bei der Ausführung des Programms entsprechend ändern, oder dergleichen vorübergehend oder dauerhaft gespeichert. Diese werden durch einen Host-Bus 904, der einen CPU-Bus oder dergleichen einschließt, miteinander verbunden. Die CPU 901, das ROM 902 und das RAM 903 können die unter Bezugnahme auf 3 beschriebenen Funktionen der Steuereinheit 220, z. B. in Zusammenarbeit mit Software, implementieren.
  • Die CPU 901, das ROM 902 und das RAM 903 sind über den Host-Bus 904 miteinander verbunden, der beispielsweise zu Hochgeschwindigkeits-Datenübertragung fähig ist. Andererseits ist der Host-Bus 904 beispielsweise über die Brücke 905 mit dem externen Bus 906 verbunden, der eine relativ niedrige Datenübertragungsgeschwindigkeit hat. Außerdem ist der externe Bus 906 über die Schnittstelle 907 mit verschiedenen Komponenten verbunden.
  • Die Eingabevorrichtung 908 wird durch eine Vorrichtung verwirklicht, in die der Benutzer Informationen eingibt, wie z. B. eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Mikrofon, ein Schalter und ein Hebel. Außerdem kann es sich bei der Eingabevorrichtung 908 beispielsweise um eine Fernbedienung handeln, die Infrarotstrahlen oder andere Funkwellen verwendet, oder um eine extern angeschlossene Vorrichtung wie ein Mobiltelefon oder einen PDA, die den Betrieb der Informationsverarbeitungsvorrichtung 900 unterstützt. Außerdem kann die Eingabevorrichtung 908 beispielsweise eine Eingangssteuerschaltung enthalten, die ein Eingangssignal erzeugt, das auf den von dem Benutzer unter Verwendung der obigen Eingabeeinrichtungen eingegebenen Informationen basiert, und das Eingangssignal an die CPU 901 ausgibt. Durch Betätigen der Eingabevorrichtung 908 kann der Benutzer der Informationsverarbeitungsvorrichtung 900 verschiedene Daten in die Informationsverarbeitungsvorrichtung 900 eingeben und eine Anweisung für die Verarbeitungsoperation geben.
  • Außerdem kann die Eingabevorrichtung 908 durch eine Vorrichtung gebildet werden, die Informationen bezüglich des Benutzers erkennt. Beispielsweise kann die Eingabevorrichtung 908 verschiedene Sensoren aufweisen, wie einen Bildsensor (z. B. eine Kamera), einen Tiefensensor (z. B. eine Stereokamera), einen Beschleunigungssensor, einen Kreiselsensor, einen geomagnetischen Sensor, einen optischen Sensor, einen Schallsensor, einen Distanzmessungssensor (z. B. einen Flugzeitsensor (ToF)) und einen Kraftsensor. Außerdem kann die Eingabevorrichtung 908 Informationen bezüglich des Eigenzustands der Informationsverarbeitungsvorrichtung 900 erfassen, wie z. B. die Haltung und die Bewegungsgeschwindigkeit der Informationsverarbeitungsvorrichtung 900, sowie Informationen bezüglich der Umgebung der Informationsverarbeitungsvorrichtung 900, wie z. B. Helligkeit und Geräusche im Umfeld der Informationsverarbeitungsvorrichtung 900. Außerdem kann die Eingabevorrichtung 908 ein GNSS-Modul (Global Navigation Satellite System) aufweisen, das ein GNSS-Signal (beispielsweise ein Signal eines globalen Positioniersystems (GPS) von einem GPS-Satelliten) von einem GNSS-Satelliten empfängt und Positionsinformationen einschließlich des Breitengrads, des Längengrads und der Höhe der Vorrichtung misst. Außerdem kann die Eingabevorrichtung 908 in Bezug auf die Positionsinformationen die Position durch Wi-Fi (eingetragenes Warenzeichen), Übertragung und Empfang mittels eines Mobiltelefons, eines PHS, eines Smartphones oder dergleichen, Nahfeldkommunikation oder dergleichen erkennen.
  • Die Ausgabevorrichtung 909 besteht aus einer Vorrichtung, die fähig ist, dem Benutzer die erfassten Informationen visuell oder akustisch mitzuteilen. Beispiele für solche Vorrichtungen umfassen Anzeigevorrichtungen wie CRT-Anzeigevorrichtungen, Flüssigkristall-Anzeigevorrichtungen, Plasma-Anzeigevorrichtungen, EL-Anzeigevorrichtungen, Laserprojektoren, LED-Projektoren und -Lampen, Audio-Ausgabevorrichtungen wie Lautsprecher und Kopfhörer sowie Drucker. Die Ausgabevorrichtung 909 gibt die Ergebnisse aus, die durch verschiedene Prozesse erhalten wurden, die zum Beispiel von der Informationsverarbeitungsvorrichtung 900 durchgeführt wurden. Insbesondere zeigt die Anzeigevorrichtung die Ergebnisse, die durch die verschiedenen Prozesse der Informationsverarbeitungsvorrichtung 900 erhalten wurden, in verschiedenen Formaten wie Texten, Bildern, Tabellen und Grafiken visuell an. Die Audio-Ausgabevorrichtung wandelt ein Audiosignal, das sich aus wiedergegebenen Audiodaten, akustischen Daten oder dergleichen zusammensetzt, in ein analoges Signal um und gibt das Signal hörbar aus.
  • Die Speichervorrichtung 910 ist eine Datenspeichervorrichtung, die als Beispiel für eine Speichereinheit der Informationsverarbeitungsvorrichtung 900 gebildet wird. Die Speichervorrichtung 910 wird beispielsweise durch eine magnetische Speichervorrichtung wie eine HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine optisch-magnetische Speichervorrichtung oder dergleichen verwirklicht. Die Speichervorrichtung 910 kann ein Speichermedium aufweisen, eine Aufzeichnungsvorrichtung, die Daten auf dem Speichermedium aufzeichnet, eine Auslesevorrichtung, die Daten von dem Speichermedium ausliest, eine Löschvorrichtung, die auf dem Speichermedium aufgezeichnete Daten löscht, und dergleichen. Diese Speichervorrichtung 910 speichert die von der CPU 901 ausgeführten Programme, verschiedene Daten, sowie verschiedene von außen erfasste Daten und dergleichen. Die Speichervorrichtung 910 kann zum Beispiel die unter Bezugnahme auf 3 beschriebene Funktion der Speichereinheit 230 implementieren.
  • Das Laufwerk 911 ist ein Lese-/Schreibgerät für ein Speichermedium und ist in die Informationsverarbeitungsvorrichtung 900 eingebaut oder extern angeschlossen. Das Laufwerk 911 liest Informationen aus, die auf einem Wechseldatenträger, wie z. B. einer gemounteten Magnetplatte, einer optischen Disc, einer magneto-optischen Disc oder einem Halbleiterspeicher, aufgezeichnet sind, und gibt die ausgelesenen Informationen an das RAM 903 aus. Das Laufwerk 911 kann auch Informationen auf den Wechseldatenträger schreiben.
  • Der Anschlussport 912 ist beispielsweise ein Port zum Anschließen einer externen Verbindungsvorrichtung, wie z. B. ein USB-Port (Universal Serial Bus), ein IEEE-1394-Port, eine SCSI-Schnittstelle (Small Computer System Interface), ein RS-232C-Port oder ein optischer Audioanschluss.
  • Bei der Kommunikationsvorrichtung 913 handelt es sich beispielsweise um eine Kommunikationsschnittstelle, die durch eine Kommunikationsvorrichtung oder dergleichen zur Verbindung mit einem Netzwerk 920 gebildet wird. Bei der Kommunikationsvorrichtung 913 handelt es sich beispielsweise um eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (LAN), Long Term Evolution (LTE), Bluetooth (eingetragenes Markenzeichen), Wireless USB (WUSB) und dergleichen. Außerdem kann es sich bei der Vorrichtung 913 um einen Router für optische Kommunikation, einen ADSL-Router (Asymmetrie Digital Subscriber Line), ein Modem für verschiedene Kommunikationsarten oder dergleichen handeln. Die Kommunikationsvorrichtung 913 kann Signale oder dergleichen zu und von dem Internet und anderen Kommunikationsvorrichtungen im Einklang mit einem vorbestimmten Protokoll, wie z. B. TCP/IP, senden und empfangen. Die Kommunikationsvorrichtung 913 kann zum Beispiel die unter Bezugnahme auf 3 beschriebene Funktion der Kommunikationseinheit 210 implementieren.
  • Das Netzwerk 920 ist ein drahtgebundener oder drahtloser Übertragungsweg für Informationen, die von einer an das Netzwerk 920 angeschlossenen Vorrichtung übertragen werden. Beispielsweise kann das Netzwerk 920 ein öffentliches Netzwerk wie das Internet, ein Telefonnetzwerk, ein Satellitenkommunikationsnetzwerk oder verschiedene lokale Netzwerke (LANs) einschließlich Ethernet (eingetragenes Markenzeichen), Weitverkehrsnetzwerke (WANs) oder dergleichen umfassen. Außerdem kann das Netzwerk 920 ein dediziertes Netzwerk wie z. B. ein virtuelles privates Internetprotokoll-Netzwerk (IP-VPN) umfassen.
  • Ein Beispiel für eine Hardware-Konfiguration, die fähig ist, die Funktionen der Informationsverarbeitungsvorrichtung 900 gemäß der vorliegenden Ausführungsform zu implementieren, ist oben beschrieben worden. Jede der oben beschriebenen Komponenten kann unter Verwendung eines Allzweckbauteils oder durch Hardware-Vorrichtungen, die auf die Funktion der einzelnen Komponenten spezialisiert sind, verwirklicht werden. Daher ist es möglich, die Hardware-Konfiguration, die gemäß dem technischen Stand bei der Ausführung der vorliegenden Ausführungsform zu verwenden ist, entsprechend zu ändern.
  • <<4. Ergänzung>>
  • Die bevorzugten Ausführungsformen der vorliegenden Offenbarung sind oben unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben worden. Der technische Anwendungsbereich der vorliegenden Offenbarung ist jedoch nicht auf solche Beispiele beschränkt. Dem Fachmann der vorliegenden Offenbarung wird klar sein, dass im Rahmen der in den Ansprüchen beschriebenen technischen Idee verschiedene Modifikationen und Abänderungen denkbar sind, die selbstverständlich in den technischen Anwendungsbereich der vorliegenden Offenbarung fallen.
  • Außerdem kann die in der vorliegenden Spezifikation beschriebene Reihe von Prozessen, die von einzelnen Vorrichtungen auszuführen sind, unter Verwendung beliebiger Software, Hardware oder einer Kombination aus Software und Hardware implementiert werden. Das Programm, aus dem die Software besteht, wird beispielsweise vorab auf einem Aufzeichnungsmedium (nicht-flüchtigen Medium) gespeichert, das innerhalb oder außerhalb der jeweiligen Vorrichtung bereitgestellt wird. Dann wird jedes der Programme zum Zeitpunkt der Ausführung durch den Computer beispielsweise in das RAM eingelesen und von einem Prozessor, wie z. B. einer CPU, ausgeführt.
  • Außerdem müssen die unter Verwendung des Flussdiagramms und des Sequenzdiagramms in der vorliegenden Spezifikation beschriebenen Prozesse nicht unbedingt in der dargestellten Reihenfolge ausgeführt werden. Einige Verarbeitungsschritte können parallel durchgeführt werden. Außerdem können zusätzliche Verarbeitungsschritte eingesetzt und einige Verarbeitungsschritte ausgelassen werden.
  • Außerdem sind die in der vorliegenden Spezifikation beschriebenen Effekte lediglich illustrativ oder beispielhaft, und sind nicht begrenzt. Das heißt, die Technik gemäß der vorliegenden Offenbarung kann zusätzlich zu den oben genannten Effekten oder stattdessen weitere Effekte aufweisen, die für den Fachmann aus der Beschreibung der vorliegenden Spezifikation ersichtlich sind.
  • Beachten Sie, dass die folgenden Konfigurationen ebenfalls zu dem technischen Anwendungsbereich der vorliegenden Offenbarung gehören.
    1. (1) Informationsverarbeitungsvorrichtung, die Folgendes umfasst:
      • eine Steuereinheit, die ein Anzeigeendgerät steuert, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems anordnet,
      • wobei die Steuereinheit bestimmt, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
    2. (2) Informationsverarbeitungsvorrichtung gemäß (1), wobei die Steuereinheit basierend darauf, ob der erste Betriebszustand und der zweite Betriebszustand ähnlich sind, bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen zu aktualisieren sind.
    3. (3) Informationsverarbeitungsvorrichtung gemäß (2), wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn der erste Betriebszustand und der zweite Betriebszustand ähnlich sind, und die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn der erste Betriebszustand und der zweite Betriebszustand unähnlich sind.
    4. (4) Informationsverarbeitungsvorrichtung gemäß (2) oder (3), wobei die Steuereinheit einen Ähnlichkeitsgrad zwischen dem ersten Betriebszustand und dem zweiten Betriebszustand berechnet und basierend auf einem Ergebnis des Vergleichs des Ähnlichkeitsgrades mit einem ersten Schwellenwert entscheidet, ob der erste Betriebszustand und der zweite Betriebszustand ähnlich sind.
    5. (5) Informationsverarbeitungsvorrichtung gemäß (4), wobei die Steuereinheit den Ähnlichkeitsgrad basierend auf dritten Rauminformationen, die ein durch das erste Anzeigeendgerät im ersten Betriebszustand erfasster Aktualisierungszielkandidat sind, und vierten Rauminformationen, die ein durch das zweite Anzeigeendgerät im zweiten Betriebszustand erfasster Aktualisierungszielkandidat sind, berechnet.
    6. (6) Informationsverarbeitungsvorrichtung gemäß (5), wobei die Steuereinheit einen Prozess des Abgleichs zwischen einem Merkmalspunkt, der in den dritten Rauminformationen enthalten ist, und einem Merkmalspunkt, der in den vierten Rauminformationen enthalten ist, durchführt und den Ähnlichkeitsgrad basierend auf einer Anzahl von Merkmalspunkten, die bei dem Abgleich erfolgreich sind, berechnet.
    7. (7) Informationsverarbeitungsvorrichtung gemäß (4), wobei die Steuereinheit den ersten Schwellenwert im Einklang mit einer Positionsbeziehung zwischen dem ersten Anzeigeendgerät und dem zweiten Anzeigeendgerät ändert.
    8. (8) Informationsverarbeitungsvorrichtung gemäß einem der Posten (4) bis (7), wobei die Steuereinheit ferner bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen basierend darauf zu aktualisieren sind, ob der Ähnlichkeitsgrad einen dritten Schwellenwert überschreitet, und der dritte Schwellenwert ein Maximalwert eines Ähnlichkeitsgrades ist, der in einem Zeitraum berechnet wird, in dem eine vorbestimmte Bedingung erfüllt ist.
    9. (9) Informationsverarbeitungsvorrichtung gemäß (8), wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn der Ähnlichkeitsgrad den dritten Schwellenwert überschreitet, und die Steuereinheit bestimmt, dass die ersten oder die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn der Ähnlichkeitsgrad den dritten Schwellenwert nicht überschreitet.
    10. (10) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (2) bis (9), wobei die Steuereinheit ferner bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen in Abhängigkeit von einer Bewegungsdistanz des ersten Anzeigeendgerätes oder einer Bewegungsdistanz des zweiten Anzeigeendgerätes nach einer letzten Aktualisierung der ersten Rauminformationen und der zweiten Rauminformationen zu aktualisieren sind.
    11. (11) Informationsverarbeitungsvorrichtung gemäß (10), wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn die Bewegungsdistanz einen zweiten Schwellenwert oder mehr beträgt, und die Steuereinheit bestimmt, dass die ersten oder die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn die Bewegungsdistanz nicht einen zweiten Schwellenwert oder mehr beträgt.
    12. (12) Informationsverarbeitungsvorrichtung gemäß (4), wobei die Steuereinheit den Ähnlichkeitsgrad zwischen dem ersten Betriebszustand, der eine spezifische Positionsbeziehung zu einer vorbestimmten Position aufweist, und dem zweiten Betriebszustand, der eine spezifische Beziehung zu der vorbestimmten Position aufweist, in Zeitreihen berechnet, die sich von dem ersten Betriebszustand unterscheiden.
    13. (13) Informationsverarbeitungsvorrichtung, die Folgendes umfasst:
      • eine Ausgabeeinheit, die eine erste Ausgabevorrichtung aufweist, die einem ersten Benutzer ein virtuelles Objekt präsentiert; und
      • eine Steuereinheit, die eine Position des virtuellen Objekts bestimmt, das in einem mit einem realen Raum verbundenen Koordinatensystem angeordnet werden soll,
      • wobei die Steuereinheit bestimmt, ob erste Rauminformationen der ersten Ausgabevorrichtung und zweite Rauminformationen der zweiten Ausgabevorrichtung, die zum Bestimmen der Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand der ersten Ausgabevorrichtung und einem zweiten Betriebszustand einer zweiten Ausgabevorrichtung, die extern bereitgestellt wird und das virtuelle Objekt mit der ersten Ausgabevorrichtung teilt, aktualisiert werden sollen.
    14. (14) Informationsverarbeitungsverfahren, das von einem Prozessor auszuführen ist, wobei das Verfahren Folgendes umfasst:
      • Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum anordnet, unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems; und
      • Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
    15. (15) Aufzeichnungsmedium, das ein Programm aufzeichnet, das einen Computer veranlasst, Prozesse auszuführen, die Folgendes umfassen:
      • Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum anordnet, unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems; und
      • Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
  • Bezugszeichenliste
    • 10
    AR-ENDGERÄT
    12
    USER
    20
    SERVER
    30
    NETZWERK
    120
    KOMMUNIKATIONSEINHEIT
    130
    SENSOREINHEIT
    140
    STEUEREINHEIT
    150
    SPEICHEREINHEIT
    160
    AUSGABEEINHEIT
    210
    KOMMUNIKATIONSEINHEIT
    220
    STEUEREINHEIT
    230
    SPEICHEREINHEIT
    1000
    INFORMATIONSVERARBEITUNGSSYSTEM
    1402
    UMGEBUNGSZUSTANDSINFORMATIONEN-ERFASSUNGSEINHEIT
    1404
    UMGEBUNGSZUSTANDSINFORMATIONEN-VERWALTUNGSEINHEIT
    1406
    RAUMINFORMATIONEN-ERFASSUNGSEINHEIT
    1408
    RAUMINFORMATIONEN-VERWALTUNGSEINHEIT
    1410
    BILDAUSGABE-STEUEREINHEIT
    1412
    AUSGABEBILD-ERZEUGUNGSEINHEIT
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016528476 A [0004]

Claims (15)

  1. Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Steuereinheit, die ein Anzeigeendgerät steuert, das ein virtuelles Objekt in einem realen Raum unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems anordnet, wobei die Steuereinheit bestimmt, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
  2. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Steuereinheit basierend darauf, ob der erste Betriebszustand und der zweite Betriebszustand ähnlich sind, bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen zu aktualisieren sind.
  3. Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn der erste Betriebszustand und der zweite Betriebszustand ähnlich sind, und die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn der erste Betriebszustand und der zweite Betriebszustand unähnlich sind.
  4. Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit einen Ähnlichkeitsgrad zwischen dem ersten Betriebszustand und dem zweiten Betriebszustand berechnet und basierend auf einem Ergebnis des Vergleichs des Ähnlichkeitsgrades mit einem ersten Schwellenwert entscheidet, ob der erste Betriebszustand und der zweite Betriebszustand ähnlich sind.
  5. Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Steuereinheit den Ähnlichkeitsgrad basierend auf dritten Rauminformationen, die ein durch das erste Anzeigeendgerät im ersten Betriebszustand erfasster Aktualisierungszielkandidat sind, und vierten Rauminformationen, die ein durch das zweite Anzeigeendgerät im zweiten Betriebszustand erfasster Aktualisierungszielkandidat sind, berechnet.
  6. Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Steuereinheit einen Prozess des Abgleichs zwischen einem Merkmalspunkt, der in den dritten Rauminformationen enthalten ist, und einem Merkmalspunkt, der in den vierten Rauminformationen enthalten ist, durchführt und den Ähnlichkeitsgrad basierend auf einer Anzahl von Merkmalspunkten, die bei dem Abgleich erfolgreich sind, berechnet.
  7. Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Steuereinheit den ersten Schwellenwert im Einklang mit einer Positionsbeziehung zwischen dem ersten Anzeigeendgerät und dem zweiten Anzeigeendgerät ändert.
  8. Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Steuereinheit ferner bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen basierend darauf zu aktualisieren sind, ob der Ähnlichkeitsgrad einen dritten Schwellenwert überschreitet, und der dritte Schwellenwert ein Maximalwert eines Ähnlichkeitsgrades ist, der in einem Zeitraum berechnet wird, in dem eine vorbestimmte Bedingung erfüllt ist.
  9. Informationsverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn der Ähnlichkeitsgrad den dritten Schwellenwert überschreitet, und die Steuereinheit bestimmt, dass die ersten oder die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn der Ähnlichkeitsgrad den dritten Schwellenwert nicht überschreitet.
  10. Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Steuereinheit ferner bestimmt, ob die ersten Rauminformationen und die zweiten Rauminformationen in Abhängigkeit von einer Bewegungsdistanz des ersten Anzeigeendgerätes oder einer Bewegungsdistanz des zweiten Anzeigeendgerätes nach einer letzten Aktualisierung der ersten Rauminformationen und der zweiten Rauminformationen zu aktualisieren sind.
  11. Informationsverarbeitungsvorrichtung gemäß Anspruch 10, wobei die Steuereinheit bestimmt, dass die ersten und die zweiten Rauminformationen aktualisiert werden sollen, wenn die Bewegungsdistanz einen zweiten Schwellenwert oder mehr beträgt, und die Steuereinheit bestimmt, dass die ersten oder die zweiten Rauminformationen nicht aktualisiert werden sollen, wenn die Bewegungsdistanz nicht einen zweiten Schwellenwert oder mehr beträgt.
  12. Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Steuereinheit den Ähnlichkeitsgrad zwischen dem ersten Betriebszustand, der eine spezifische Positionsbeziehung zu einer vorbestimmten Position aufweist, und dem zweiten Betriebszustand, der eine spezifische Beziehung zu der vorbestimmten Position aufweist, in Zeitreihen berechnet, die sich von dem ersten Betriebszustand unterscheiden.
  13. Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Ausgabeeinheit, die eine erste Ausgabevorrichtung aufweist, die einem ersten Benutzer ein virtuelles Objekt präsentiert; und eine Steuereinheit, die eine Position des virtuellen Objekts bestimmt, das in einem mit einem realen Raum verbundenen Koordinatensystem angeordnet werden soll, wobei die Steuereinheit bestimmt, ob erste Rauminformationen der ersten Ausgabevorrichtung und zweite Rauminformationen der zweiten Ausgabevorrichtung, die zum Bestimmen der Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand der ersten Ausgabevorrichtung und einem zweiten Betriebszustand einer zweiten Ausgabevorrichtung, die extern bereitgestellt wird und das virtuelle Objekt mit der ersten Ausgabevorrichtung teilt, aktualisiert werden sollen.
  14. Informationsverarbeitungsverfahren, das von einem Prozessor auszuführen ist, wobei das Verfahren Folgendes umfasst: Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum anordnet, unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems; und Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
  15. Aufzeichnungsmedium, das ein Programm aufzeichnet, das einen Computer veranlasst, Prozesse auszuführen, die Folgendes umfassen: Steuern eines Anzeigeendgerätes, das ein virtuelles Objekt in einem realen Raum anordnet, unter Verwendung eines mit dem realen Raum verbundenen Koordinatensystems; und Bestimmen, ob erste Rauminformationen eines ersten Anzeigeendgerätes und zweite Rauminformationen eines zweiten Anzeigeendgerätes, die zum Bestimmen einer Position des virtuellen Objekts verwendet werden, basierend auf einem ersten Betriebszustand des ersten Anzeigeendgerätes und einem zweiten Betriebszustand des zweiten Anzeigeendgerätes, das das virtuelle Objekt mit dem ersten Anzeigeendgerät teilt, aktualisiert werden sollen.
DE112020001867.9T 2019-04-11 2020-04-03 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium Pending DE112020001867T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019075688A JP2020173656A (ja) 2019-04-11 2019-04-11 情報処理装置、情報処理方法、及び記録媒体
JP2019-075688 2019-04-11
PCT/JP2020/015326 WO2020209199A1 (ja) 2019-04-11 2020-04-03 情報処理装置、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
DE112020001867T5 true DE112020001867T5 (de) 2022-01-20

Family

ID=72751572

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020001867.9T Pending DE112020001867T5 (de) 2019-04-11 2020-04-03 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium

Country Status (5)

Country Link
US (1) US20220164981A1 (de)
JP (1) JP2020173656A (de)
CN (1) CN113678171A (de)
DE (1) DE112020001867T5 (de)
WO (1) WO2020209199A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US20220172386A1 (en) * 2020-11-27 2022-06-02 Samsung Electronics Co., Ltd. Method and device for simultaneous localization and mapping (slam)
US11831973B2 (en) * 2021-08-05 2023-11-28 Qualcomm Incorporated Camera setting adjustment based on event mapping

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528476A (ja) 2013-04-30 2016-09-15 クアルコム，インコーポレイテッド Ｓｌａｍマップからのワイドエリア位置推定

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5158007B2 (ja) * 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2015192436A (ja) * 2014-03-28 2015-11-02 キヤノン株式会社 送信端末、受信端末、送受信システム、およびそのプログラム
US20170169617A1 (en) * 2015-12-14 2017-06-15 II Jonathan M. Rodriguez Systems and Methods for Creating and Sharing a 3-Dimensional Augmented Reality Space
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
WO2019026713A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016528476A (ja) 2013-04-30 2016-09-15 クアルコム，インコーポレイテッド Ｓｌａｍマップからのワイドエリア位置推定

Also Published As

Publication number Publication date
JP2020173656A (ja) 2020-10-22
WO2020209199A1 (ja) 2020-10-15
US20220164981A1 (en) 2022-05-26
CN113678171A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
AU2023200677B2 (en) System and method for augmented and virtual reality
CN110954083B (zh) 移动设备的定位
DE112020001867T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
US20180150961A1 (en) Deep image localization
CN109891189B (zh) 策划的摄影测量
EP4104145A1 (de) Realitätsübergreifendes system mit priorisierung von geolokalisierungsinformationen zur lokalisierung
DE112019001257T5 (de) Stabilisierung von video zur verringerung von kamera- und gesichtsbewegung
US11417069B1 (en) Object and camera localization system and localization method for mapping of the real world
DE102016118647A1 (de) Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung
DE112017006836T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
DE112018004313T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE102009049849A1 (de) Verfahren zur Bestimmung der Pose einer Kamera und zur Erkennung eines Objekts einer realen Umgebung
EP3410405A1 (de) Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
DE112018006666T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
DE102018106108A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE112016001829T5 (de) Automatische Verbindung von Bildern unter Verwendung visueller Eigenschaftsquerverweise auf zugehörige Anwendungen
DE112016002022T5 (de) Managen von merkmalsdaten zur umgebungsabbildung auf einer elektronischen vorrichtung
CN113160418A (zh) 三维重建方法、装置和***、介质及计算机设备
DE112017006537T5 (de) Chirurgische lupe
DE112018008019T5 (de) Echtzeit-Multi View-Detektion von Objekten in Multicamera-Umgebungen
DE102018209377A1 (de) Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
DE112019004889T5 (de) Recheneffiziente Modellauswahl
CN115907869A (zh) 基于关注度的电梯广告推荐方法与***