DE112016002350T5

DE112016002350T5 - Anzeigevorrichtung, Informationsverarbeitungssystem und Steuerverfahren

Info

Publication number: DE112016002350T5
Application number: DE112016002350.2T
Authority: DE
Inventors: Hirotaka Ishikawa; Tsubasa Tsukahara
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-05-26
Filing date: 2016-04-05
Publication date: 2018-04-05
Also published as: US10878629B2; EP3306456A1; CN107615227A; WO2016189791A1; JP2016218981A; US20180144552A1; CN107615227B; EP3306456A4; JP6344311B2

Abstract

Bereitgestellt werden eine Anzeigevorrichtung, ein die selbige verwendendes Informationsverarbeitungssystem und ein Steuerverfahren, die Informationen mit Einfachheit und hoher Sichtbarkeit über mehrere Objekte liefern können. Eine Anzeigevorrichtung gemäß einer Ausführungsform der vorliegenden Technologie enthält eine Steuereinheit und eine Anzeigeeinheit. Die Steuereinheit gruppiert mehrere, in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte und generiert eine Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind. Die Anzeigeeinheit präsentiert die Verteilungsanzeige in einem Blickfeld des Benutzers.

Description

Erfindungsgebiet
Die vorliegende Technologie betrifft eine Anzeigevorrichtung, ein die selbige verwendendes Informationsverarbeitungssystem und ein Steuerverfahren, die in der Lage sind, in einem Blickfeld angezeigte mehrere Bilder zur Anzeige zu gruppieren.
Allgemeiner Stand der Technik
Es ist eine Technologie bekannt, die als Augmented Reality (AR – gesteigerte Realität) bezeichnet wird, bei der ein Realitätsraum oder ein Bild davon zusätzlich mit einem entsprechenden Bild versehen wird. Gemäß dieser Technologie kann beispielsweise ein mit einem Objekt mit einem Realitätsraum assoziiertes Bild auf überlagerte Weise auf dem Objekt angezeigt werden.
Dabei können in einem Fall, wo zusätzliche Informationselemente in einem Blickfeld angezeigt werden, jene zusätzliche Informationselemente überlagert werden. In dieser Hinsicht beschreibt Patentliteratur 1 eine Informationsverarbeitungsvorrichtung, die konfiguriert ist zum Anzeigen, unter mehreren Objekten in einem Bild, von zusätzlichen Informationen eines Objekts, dessen Hierarchieinformationen sich an der Spitze der Hierarchie befinden, oder zum Anzeigen zusätzlicher Informationen gemäß der Priorität der Objekte. Entgegenhaltungsliste
Patentliteratur

Patentliteratur 1: offengelegte japanische Patentanmeldung Nr. 2011-81556

Offenbarung der Erfindung
Technisches Problem
In der in der Patentliteratur 1 beschriebenen Technologie jedoch ist es in einem Fall, wenn die zusätzlichen Informationen eines Objekts, dessen Hierarchieinformationen sich an der Spitze der Hierarchie befinden, angezeigt werden, notwendig, die Hierarchieinformationen des Objekts zu erfassen. Bei derselben Technologie ist es weiterhin in einem Fall, wenn die zusätzlichen Informationen gemäß der Priorität der Objekte angezeigt werden, notwendig, Informationen zum Bestimmen der Priorität der Objekte zu erfassen. Mit anderen Worten kann in einem Fall, wenn detaillierte Informationen über Objekte nicht erfasst werden können, die obige Technologie nicht angewendet werden. Deshalb besteht ein Bedarf an einer Technologie, die notwendige Informationen über mehrere Objekte auf einfachere Weise präsentieren kann.
Angesichts der Umstände wie oben beschrieben, besteht eine Aufgabe der vorliegenden Technologie in der Bereitstellung einer Anzeigevorrichtung, eines die selbige verwendenden Informationsverarbeitungssystems und eines Steuerverfahrens, die Informationen mit Einfachheit und hoher Sichtbarkeit auf mehreren Objekten bereitstellen können.
Lösung des Problems
Zur Lösung der oben beschriebenen Aufgabe enthält eine Anzeigevorrichtung gemäß einer Ausführungsform der vorliegenden Technologie eine Steuereinheit und eine Anzeigeeinheit. Die Steuereinheit gruppiert mehrere in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte und generiert eine Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind. Die Anzeigeeinheit präsentiert die Verteilungsanzeige in ein Blickfeld des Benutzers. Gemäß der oben beschriebenen Konfiguration kann die Verteilungsanzeige die Verteilung der gruppierten Objekte ausdrücken. Deshalb können Informationen mit Einfachheit und hoher Sichtbarkeit über mehrere Objekte bereitgestellt werden.
Die Steuereinheit kann die Verteilungsanzeige nahe dem Gebiet generieren, in dem die gruppierten Objekte verteilt sind. Somit kann das Gebiet, in dem die Objekte verteilt sind, durch die Anordnung der Verteilungsanzeige ausgedrückt werden.
Weiterhin kann die Steuereinheit die Verteilungsanzeige mit einer Form generieren, die mit einer Form des Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind. Somit kann das Gebiet, in dem die Objekte verteilt sind, durch die Form der Verteilungsanzeige ausgedrückt werden.
In diesem Fall kann die Steuereinheit die Verteilungsanzeige mit einer Form generieren, die eine voreingestellte Verteilung der mehreren Objekte ausdrückt. Somit kann die voreingestellte Verteilung der Objekte durch die Form der Verteilungsanzeige ausgedrückt werden.
Die Steuereinheit kann die Verteilungsanzeige mit einer Transmittanz generieren, mit der die mehreren Objekte sichtbar sind. Somit können die mehreren Objekte auch sichtbar erkannt werden, und die Sichtbarkeit in dem Blickfeld kann verbessert werden.
Die Steuereinheit kann die Verteilungsanzeige derart generieren, dass mindestens eines von Buntton, Helligkeit und Sättigung auf Basis einer Dichte der gruppierten Objekte geändert wird. Beispielsweise kann die Steuereinheit die Verteilungsanzeige generieren, in welcher ein Gebiet mit einer höheren Dichte der gruppierten Objekte einen Farbton mit einer höheren Helligkeit oder einen Farbton mit einer niedrigeren Helligkeit besitzt. Somit kann die Verteilungsanzeige die Dichte der mehreren Objekte ausdrücken.
Weiterhin kann die Steuereinheit die Verteilungsanzeige unter Verwendung einer Wahrscheinlichkeitsdichtefunktion generieren, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable Koordinaten verwendet, die eine Position jedes der gruppierten Objekte in dem Blickfeld anzeigen. Beispielsweise kann die Wahrscheinlichkeitsdichtefunktion eine Gaußsche Funktion sein. Somit kann die Verteilung der Objekte adäquat ausgedrückt werden.
Insbesondere kann die Steuereinheit die Wahrscheinlichkeitsdichtefunktion ableiten und die Verteilungsanzeige generieren, die einem Gebiet im Blickfeld überlagert ist, in dem eine Verteilungswahrscheinlichkeit der Objekte einen vorbestimmten Wert besitzt, wenn die abgeleitete Wahrscheinlichkeitsdichtefunktion durch die Variable integriert wird. Angesichts der Verteilungswahrscheinlichkeit der Objekte kann die Verteilung der Objekte somit adäquater ausgedrückt werden.
Zudem kann die Steuereinheit mehrere Objekte mit assoziierten zusätzlichen Informationen unter mehreren, in dem Blickfeld verteilten Objekten gruppieren. Somit kann eine Verteilungsanzeige für Objekte mit zusätzlichen Informationen über ein assoziiertes Attribut oder dergleichen generiert werden.
Die Steuereinheit kann mehrere Objekte, die eine Dichte einer vorbestimmten Referenz oder mehr bilden, aus mehreren, in dem Blickfeld verteilten Objekten gruppieren. Somit können AR-Icons oder dergleichen daran gehindert werden, auf überfüllte Weise angeordnet zu werden.
Weiterhin kann die Steuereinheit konfiguriert sein, um zwischen einem ersten Modus des Ausführens einer Zeichnungsverarbeitung an einer Gruppe mit den mehreren Objekten und einem zweiten Modus des Ausführens einer Zeichnungsverarbeitung an jedem der gruppierten Objekte umschalten zu können. Somit können detaillierte Informationen wie benötigt an jedes der Objekte geliefert werden.
In diesem Fall kann die Steuereinheit den ersten Modus wählen, wenn bestimmt wird, dass eine Dichte der gruppierten Objekte in dem Blickfeld eine vorbestimmte Referenz oder mehr ist. Somit können AR-Icons oder dergleichen daran gehindert werden, auf überfüllte Weise angeordnet zu werden.
Die Steuereinheit kann konfiguriert sein zum Umschalten von dem ersten Modus zu dem zweiten Modus, wenn bestimmt wird, dass der Benutzer die Verteilungsanzeige betrachtet. Beispielsweise kann die Steuereinheit bestimmen, dass der Benutzer die Verteilungsanzeige betrachtet, wenn bestimmt wird, dass die Verteilungsanzeige in der Mitte des Blickfelds angezeigt wird. Somit können detaillierte Informationen über jedes der gruppierten Objekte auf Basis einer Benutzerabsicht geliefert werden.
Beim Bestimmen, dass ein Anteil eines Bereichs der Verteilungsanzeige in dem Blickfeld größer ist als ein vorbestimmter Anteil, kann die Steuereinheit die Verteilungsanzeige zu dem vorbestimmten Anteil oder weniger reduzieren. Somit kann eine Verteilungsanzeige mit einer Form entsprechend der Größe des Blickfelds und mit einer hohen Sichtbarkeit präsentiert werden.
Die Anzeigeeinheit kann konfiguriert sein, um von dem Benutzer getragen werden zu können. Somit kann die Anzeigevorrichtung als eine tragbare Anzeige konfiguriert sein.
Ein Informationsverarbeitungssystem gemäß einer weiteren Ausführungsform der vorliegenden Technologie enthält eine Steuervorrichtung und eine Anzeigevorrichtung. Die Steuervorrichtung ist konfiguriert, um in der Lage zu sein, Informationen über mehrere in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte zu speichern und die Informationen über die mehreren Objekte auszugeben. Die Anzeigevorrichtung enthält eine Steuereinheit und eine Anzeigeeinheit. Die Steuereinheit gruppiert die mehreren Objekte und generiert eine Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind. Die Anzeigeeinheit präsentiert die Verteilungsanzeige in einem Blickfeld des Benutzers.
Ein Steuerverfahren gemäß noch einer weiteren Ausführungsform der vorliegenden Technologie beinhaltet die folgenden Schritte: Gruppieren mehrerer in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilter Objekte; Generieren einer Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind; und Präsentieren der Verteilungsanzeige in einem Blickfeld des Benutzers. Vorteilhafte Effekte der Erfindung
Wie oben beschrieben ist es gemäß der vorliegenden Technologie möglich, eine Anzeigevorrichtung, ein die selbige verwendendes Informationsverarbeitungssystem und ein Steuerverfahren bereitzustellen, die in der Lage sind, Informationen mit Einfachheit und hoher Sichtbarkeit über mehrere Objekte bereitzustellen. Man beachte, dass die hierin beschriebenen Effekte nicht notwendigerweise beschränkt sind und ein beliebiger der in der vorliegenden Offenbarung beschriebenen Effekte erzeugt werden kann.
Kurze Beschreibung der Zeichnungen
1 ist ein Schemadiagramm, das eine Konfiguration eines Augmented Reality(AR)-Systems (Informationsverarbeitungssystems) gemäß einer ersten Ausführungsform der vorliegenden Technologie zeigt.
2 ist ein Diagramm, das ein Beispiel eines Blickfelds eines Head Mounted Displays (HMD) (Anzeigevorrichtung) des AR-Systems zeigt.
3 ist ein Blockdiagramm, das eine Konfiguration des AR-Systems zeigt.
4 ist ein Blockdiagramm des HMD zum Beschreiben einer Funktionskonfiguration eines Controllers des HMD.
5 ist ein Schemadiagramm zum Beschreiben von Zylinderkoordinaten und eines Blickfelds.
6 ist ein Entwicklungsdiagramm von Zylinderkoordinaten, das ein Blickfeld auf den Zylinderkoordinaten zeigt.
7 ist ein Diagramm zum Beschreiben eines Umwandlungsverfahrens von den Zylinderkoordinaten zu einem Blickfeld (lokalen Koordinaten).
8 ist ein Flussdiagramm, das einen Fluss der Verarbeitung im AR-System zeigt.
9 ist ein Flussdiagramm, das einen Fluss der Verarbeitung des Zeichnens einer Verteilungsanzeige und eines AR-Icons zeigt, das in 8 gezeigt ist.
10 ist ein Diagramm, das ein Blickfeld zeigt, bevor die Zeichnungsverarbeitung ausgeführt wird.
11 ist ein Diagramm, das ein Blickfeld zeigt, in dem die Zeichnungsverarbeitung in einem ersten Modus ausgeführt wird.
12 ist ein Diagramm, das ein Blickfeld zeigt, in dem die Zeichnungsverarbeitung in einem zweiten Modus ausgeführt wird.
13 ist eine graphische Darstellung, die ein Beispiel einer Gaußschen Funktion zeigt, bei der die vertikale Achse x darstellt und die horizontale Achse eine Verteilungswahrscheinlichkeit ψ (x) darstellt.
14 ist ein Diagramm, das ein weiteres Beispiel der Verteilungsanzeige zeigt.
15 ist ein Diagramm, das noch ein weiteres Beispiel der Verteilungsanzeige zeigt.
16 ist ein Diagramm, das noch ein weiteres Beispiel der Verteilungsanzeige zeigt.
17 ist ein Diagramm, das schematisch ein Blickfeld gemäß einem Referenzbeispiel der ersten Ausführungsform zeigt.
18 ist ein Diagramm, das schematisch ein Blickfeld gemäß dem Referenzbeispiel der ersten Ausführungsform zeigt.
19 ist ein Diagramm, das schematisch ein Blickfeld gemäß dem weiteren Referenzbeispiel der ersten Ausführungsform zeigt.
20 ist ein Diagramm, das ein Beispiel eines Blickfelds zeigt, präsentiert durch Verarbeiten eines im Applikationsbeispiel 1 der ersten Ausführungsform beschriebenen Applikationsprogramms.
21 ist ein Diagramm, das ein Beispiel eines Blickfelds zeigt, präsentiert durch Verarbeiten eines im Applikationsbeispiel 2 der ersten Ausführungsform beschriebenen Applikationsprogramms.
22 ist ein Diagramm, das ein Beispiel eines Blickfelds zeigt, präsentiert durch Verarbeiten eines im Applikationsbeispiel 3 der ersten Ausführungsform beschriebenen Applikationsprogramms.
23 ist ein Diagramm, das ein Beispiel eines Blickfelds zeigt, präsentiert durch Verarbeiten eines im Applikationsbeispiel 4 der ersten Ausführungsform beschriebenen Applikationsprogramms.
24 ist ein Diagramm, das ein Beispiel eines Blickfelds gemäß einem modifizierten Beispiel 1-1 zeigt.
25 ist ein Diagramm, das ein Beispiel eines Blickfelds gemäß einem modifizierten Beispiel 1-2 zeigt.
26 ist ein Diagramm, das ein Beispiel eines Blickfelds im zweiten Modus gemäß einem modifizierten Beispiel 1-4 zeigt.
27 ist ein Diagramm eines Blickfelds, das ein Beispiel des Modusumschaltens gemäß einem modifizierten Beispiel 1-5 zeigt.
28 ist ein Diagramm, das ein Beispiel eines Blickfelds gemäß einem modifizierten Beispiel 1-6 zeigt.
29 ist ein Diagramm, das ein Beispiel eines Blickfelds gemäß einem modifizierten Beispiel 1-8 zeigt.
30 ist ein Blockdiagramm eines HMD zum Beschreiben einer Funktionskonfiguration eines Controllers gemäß einer zweiten Ausführungsform der vorliegenden Technologie.
31 ist ein Flussdiagramm, das ein Beispiel für die Arbeit des Controllers zeigt.
32 ist ein Diagramm zum Beschreiben eines Blickwinkels des Blickfelds. Modus (Modi) zum Ausführen der Erfindung
Im Folgenden werden Ausführungsformen gemäß der vorliegenden Technologie unter Bezugnahme auf die Zeichnungen beschrieben.
<Erste Ausführungsform>
[Schematische Konfiguration eines AR-Systems]
1 ist ein Schemadiagramm, das eine Konfiguration eines Augmented Reality(AR)-Systems (Informationsverarbeitungssystems) gemäß einer ersten Ausführungsform der vorliegenden Technologie zeigt. In der Figur stellen eine X-Achsen-Richtung und eine Z-Achsen-Richtung horizontale Richtungen orthogonal zueinander dar, und eine Y-Achsen-Richtung stellt die Richtung einer vertikalen Achse dar. Das orthogonale XYZ-Koordinatensystem stellt ein Koordinatensystem in einem realen Raum dar, zu dem ein Benutzer gehört. Der Pfeil der X-Achse stellt eine Rechts-Richtung des Benutzers dar, und der Pfeil der Y-Achse stellt eine Abwärts-Richtung des Benutzers dar. Weiterhin stellt der Pfeil der Z-Achse eine Vorwärts-Richtung des Benutzers dar.
Wie in 1 enthält ein AR-System 100 ein Head Mounted Display (HMD) 10, ein tragbares Informationsterminal 30 und einen AR-Server 40. Der AR-Server 40 ist eine Servervorrichtung im Internet 50. Der AR-Server 40 speichert Informationen über ein später zu beschreibendes Objekt und funktioniert in dieser Ausführungsform als eine „Steuervorrichtung“. Das tragbare Informationsterminal 30 ist typischerweise ein Smartphone und besteht aus seiner Informationsverarbeitungsvorrichtung wie etwa einem Mobiltelefon, einem Tablet-Terminal, einem Personal Computer (PC), einem Tablet-PC oder einem PDA (Personal Digital Assistant). Das tragbare Informationsterminal 30 kann durch eine GPS(Global Positioning System)-Funktion eine aktuelle Position erfassen. Weiterhin ist das tragbare Informationsterminal 30 über das Internet 50 mit dem AR-Server 40 verbunden und kann Informationen über eine AR-Anzeigeverarbeitung oder dergleichen von dem AR-Server 40 erfassen. Zudem ist das tragbare Informationsterminal 30 durch ein drahtloses Nahbereichskommunikationssystem wie etwa Bluetooth (eingetragenes Warenzeichen) mit einem Controller 20 verbunden und kann die Informationen über die AR-Anzeigeverarbeitung oder dergleichen und die Informationen über die aktuelle Position des Benutzers an den Controller 20 senden. Das HMD 10 enthält eine Anzeigeeinheit 11, die konfiguriert ist als eine durchsichtige Anzeige mit einer Augenglasform und dem Controller 20 und in dieser Ausführungsform als eine „Anzeigevorrichtung“ funktioniert. Man beachte, dass 1 schematisch die Form des HMD 10 zeigt. Der Controller 20 steuert die Arbeit des HMD 10 auf der Basis einer Eingabeoperation durch den Benutzer. Der Controller 20 ist mit der Anzeigeeinheit 11 verbunden, wobei ein Kabel vorbestimmten Normen entspricht, und führt die Verarbeitung auf der Basis der von dem tragbaren Informationsterminal 30 erfassten Informationen durch. Somit kann das HMD 10 dem Benutzer, der das HMD 10 trägt, über die durchsichtige Anzeige ein Blickfeld bereitstellen, in dem ein mit in einem Realitätsraum verteilten Objekten assoziiertes Bild den Objekten überlagert wird. Im Folgenden wird ein mit einem Objekt assoziiertes Bild als ein AR-Icon bezeichnet. Man beachte, dass der hierin verwendete Ausdruck „in einem Realitätsraum verteiltes Objekt“ ein Objekt im Realitätsraum oder ein virtuelles Objekt sein kann, das sich nicht in dem Realitätsraum befindet und so angezeigt wird, dass es dem Realitätsraum überlagert wird.
[Allgemeiner Umriss der Funktion des AR-Systems]
2 ist ein Diagramm, das ein Beispiel eines Blickfelds V des HMD 10 zeigt. Das Blickfeld V wird auf der durchsichtigen Anzeige ausgebildet. Bei dem Beispiel der Figur werden die beiden Gebäude im Realitätsraum auf durchsichtige Weise angezeigt. Zwei sich in einem Gebäude befindende Läden und zwei sich in dem anderen Gebäude befindende Läden werden als Objekte angenommen. Mit der AR-Technologie beispielsweise kann, wie in jenen Figuren gezeigt, ein AR-Icon B, das zusätzliche Informationen darstellt, auf überlagerte Weise auf den Objekten im Realitätsraum angezeigt werden.
Wie in 2 gezeigt, werden gemäß dieser Ausführungsform die vier Läden gruppiert und eine Verteilungsanzeige D wird für das gruppierte Objekt angezeigt. Die Verteilungsanzeige D besitzt eine Form, die mit einer Form eines Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind, und wird nahe dem Gebiet angezeigt, in dem jene Objekte verteilt sind. Weiterhin wird das AR-Icon B nicht für jedes Objekt angezeigt, sondern zum Beispiel für die oben beschriebene Gruppe angezeigt. Auf derartige Weise wird gemäß der Verteilungsanzeige D die Verteilung von mehreren Objekten intuitiv präsentiert.
3 ist ein Blockdiagramm, das eine Konfiguration des AR-Systems 100 zeigt. Im Folgenden werden die Elemente des AR-Systems 100 unter Bezugnahme auf 3 beschrieben.
[Konfiguration des AR-Servers]
Wie in 3 gezeigt, enthält der AR-Server 40 eine CPU 401, einen Speicher 402 und eine Netzwerkkommunikationseinheit 403. Beispielsweise ist der AR-Server 40 dazu konfiguriert, Informationen über mehrere, in einem Realitätsraum um den Benutzer verteilte Objekte speichern und die Informationen über mehrere Objekte ausgeben zu können. Der AR-Server 40 kann, obwohl nicht in der Figur gezeigt, eine Konfiguration aus einer Eingabeeinrichtung, einer Anzeigeeinrichtung, einem Lautsprecher oder dergleichen haben, wie benötigt. Die CPU 401 steuert den ganzen Betrieb des AR-Servers 40. Der Speicher 402 beinhaltet einen ROM (Read Only Memory – Festwertspeicher), einen RAM (Random Access Memory – Direktzugriffsspeicher) oder einen nichtflüchtigen Speicher wie etwa ein HDD (Hard Disc Drive – Festplattenlaufwerk) oder einen Flash-Speicher (SSD – Solid State Drive) und speichert ein Programm zum Ausführen einer Steuerung des AR-Servers 40 durch die CPU 401, verschiedene Parameter und andere notwendige Daten. Die Netzwerkkommunikationseinheit 403 kommuniziert mit dem tragbaren Informationsterminal 30 über das Internet 50. Ein Kommunikationsverfahren ist nicht besonders beschränkt und kann eine verdrahtete Kommunikation unter Verwendung einer NIC (Network Interface Card) für Ethernet (eingetragenes Warenzeichen) oder eine drahtlose Kommunikation unter Verwendung eines drahtlosen LAN (IEEE802.11 usw.) wie etwa WiFi (Wireless Fidelity) oder unter Verwendung eines 3G- oder 4G-Netzwerks für mobile Kommunikation sein.
Weiterhin enthält der Speicher 402 eine Objektdatenbank 404. Die Objektdatenbank 404 speichert für jedes Objekt Informationen wie etwa ein Attribut des Objekts oder eine Position des Objekts. Weiterhin kann die Objektdatenbank 404 ein Aggregat von Datenbanken mit Objekten mit einem identischen Attribut sein. Informationen über ein neues Objekt werden wie angemessen durch das tragbare Informationsterminal 30, ein weiteres tragbares Informationsterminal, eine Informationsverarbeitungsvorrichtung oder dergleichen, die über das Internet 50 mit dem AR-Server 40 verbunden sind, der Objektdatenbank 404 hinzugefügt und darin registriert.
[Konfiguration des tragbaren Informationsterminals]
Wie in 3 gezeigt, enthält das tragbare Informationsterminal 30 eine CPU 301, einen Speicher 302, eine Netzwerkkommunikationseinheit 303, eine Nahbereichskommunikationseinheit 304, eine GPS-Kommunikationseinheit 305, eine mit einem Touchpanel ausgestattete Anzeigeeinheit 306 und eine interne Stromversorgung 307. Die CPU 301 steuert den ganzen Betrieb des tragbaren Informationsterminals 30. Der Speicher 302 enthält einen ROM, einen RAM, einen nichtflüchtigen Speicher oder dergleichen und speichert ein Applikationsprogramm zum Ausführen einer Steuerung des tragbaren Informationsterminals 30 durch die CPU 301, verschiedene Parameter und Informationen über ein Objekt, die an den Controller 20 geschickt werden sollen, und andere notwendige Daten. Die Netzwerkkommunikationseinheit 303 kommuniziert mit dem AR-Server 40 oder dergleichen unter Verwendung eines drahtlosen LAN (IEEE802.11 usw.) wie etwa WiFi (Wireless Fidelity) oder unter Verwendung eines 3G- oder 4G-Netzwerks für mobile Kommunikation. Das tragbare Informationsterminal 30 lädt Informationen über ein Objekt, die an den Controller 20 geschickt werden sollen, über die Netzwerkkommunikationseinheit 303 von dem AR-Server 40 herunter und speichert die Informationen im Speicher 302. Die Nahbereichskommunikationseinheit 304 kommuniziert mit dem Controller 20 oder einem anderen tragbaren Informationsterminal unter Verwendung eines Nahbereichskommunikationssystems wie etwa Bluetooth (eingetragenes Warenzeichen) oder Infrarotkommunikation. Die GPS-Kommunikationseinheit 305 empfängt ein Signal von einem GPS-Satelliten zum Erfassen einer aktuellen Position des das tragbare Informationsterminal 30 tragenden Benutzers. Die Anzeigeeinheit 306 besteht beispielsweise aus einer LCD (Liquid Crystal Display – Flüssigkristallanzeige) oder einer OLED (Organic Electro Luminescence Display) und zeigt verschiedene Menüs, GUIs einer Applikation oder dergleichen an. Typischerweise ist die Anzeigeeinheit 306 mit einem Touchpanel ausgestattet und kann eine Berührungsoperation des Benutzers empfangen. Die interne Stromversorgung 307 liefert den Strom, der notwendig ist, um das tragbare Informationsterminal 30 anzusteuern.
[Konfiguration des HMD]
Wie in 1 und 3 gezeigt, enthält das HMD 10 die Anzeigeeinheit 11, eine Detektionseinheit 12 und den Controller 20.
(Anzeigeeinheit)
Die Anzeigeeinheit 11 ist dazu konfiguriert, eine Verteilungsanzeige in einem Blickfeld des Benutzers zu präsentieren, und ist dazu konfiguriert, an der Hand des Benutzers getragen zu werden. Die Anzeigeeinheit 11 präsentiert einen Realitätsraum, der durch das Blickfeld gesehen wird, und zeigt auch ein AR-Icon in diesem Realitätsraum auf überlagerte Weise an. Die Anzeigeeinheit 11 enthält eine erste und zweite Anzeigeoberfläche 111R und 111L, eine erste und zweite Bildgenerierungseinheit 112R und 112L und eine Stütze 113.
Die erste und zweite Anzeigeoberfläche 111R und 111L bestehen aus optischen Elementen mit Transparenz, die jeweils den Realitätsraum (externes Blickfeld) an das rechte Auge und das linke Auge eines Benutzers U liefern können. Die erste und zweite Bildgenerierungseinheit 112R und 112L sind so konfiguriert, dass sie Bilder generieren können, die jeweils dem Benutzer U über die erste und zweite Anzeigeoberfläche 111R und 111L präsentiert werden. Die Stütze 113 besitzt eine angemessene Form, die die Anzeigeoberflächen 111R und 111L und die Bildgenerierungseinheiten 112R und 112L stützen kann und an dem Kopf des Benutzers derart getragen werden kann, dass die erste und zweite Displayoberfläche 111R bzw. 111L dem rechten Auge und dem linken Auge des Benutzers U zugewandt sind. Die wie oben beschrieben konfigurierte Anzeigeeinheit 11 ist so konfiguriert, dass sie dem Benutzer U das Blickfeld V liefern kann, in dem ein vorbestimmtes Bild (oder virtuelles Bild) in einem realen Raum über die Anzeigeoberflächen 111R und 111L überlagert wird.
(Detektionseinheit)
Die Detektionseinheit 12 kann eine Änderung bei der Haltung der Anzeigeeinheit 11 detektieren. Bei dieser Ausführungsform ist die Detektionseinheit 12 so konfiguriert, dass sie Änderungen bei der Haltung um die Achsen X, Y bzw. Z detektiert. Die Detektionseinheit 12 kann aus einem Bewegungssensor wie etwa einem Winkelgeschwindigkeitssensor oder einem Beschleunigungssensor oder aus einer Kombination davon bestehen. In diesem Fall kann die Detektionseinheit 12 aus einer Sensoreinheit bestehen, in der der Winkelgeschwindigkeitssensor und der Beschleunigungssensor jeweils in den drei Achsenrichtungen angeordnet sind, oder können verschiedene Sensoren gemäß den jeweiligen Achsen verwenden. Beispielsweise kann ein ganzzahliger Wert von Ausgängen von dem Winkelgeschwindigkeitssensor für die Änderung bei der Haltung, der Richtung der Änderung, des Ausmaßes der Änderung und dergleichen der Anzeigeeinheit 11 verwendet werden. Um eine Richtung der Anzeigeeinheit 11 um die vertikale Achse (Z-Achse) zu detektieren, kann ferner ein geomagnetischer Sensor verwendet werden. Alternativ dazu können der geomagnetische Sensor und der oben erwähnte Bewegungssensor in Kombination verwendet werden. Dies ermöglicht eine hochpräzise Detektion der Richtung oder Änderung bei der Haltung. Die Detektionseinheit 12 ist an einer entsprechenden Position der Anzeigeeinheit 11 angeordnet. Die Position der Detektionseinheit 12 ist nicht besonders beschränkt. Beispielsweise kann die Detektionseinheit 12 an einer der Bildgenerierungseinheiten 112R und 112L oder an einem Teil der Stütze 113 angeordnet sein.
(Controller)
Der Controller 20 funktioniert als eine Steuereinheit des HMD 10 und gruppiert mehrere in einem Realitätsraum oder einem virtuellen Raum um den Benutzer verteilte Objekte, um eine Verteilungsanzeige zu generieren. Nachfolgend wird ein Beispiel beschrieben, bei dem Objekte in dem Realitätsraum verteilt sind, doch können die Objekte in einem virtuellen Raum verteilt sein, wie später beschrieben werden wird. Wie in 3 gezeigt, enthält der Controller 20 eine CPU 201, einen Speicher 202, eine Kommunikationseinheit 203, eine Eingabeoperationseinheit 204 und eine interne Stromversorgung 205. Die CPU 201 steuert den ganzen Betrieb des Controllers 20. Der Speicher 202 enthält einen ROM, einen RAM oder dergleichen und speichert ein Programm zum Ausführen einer Steuerung des Controllers 20 durch die CPU 201, verschiedene Parameter, Informationen über ein Objekt und andere notwendige Daten. Die Kommunikationseinheit 203 bildet eine Schnittstelle für eine Nahbereichskommunikation mit dem tragbaren Informationsterminal 30. Die Eingabeoperationseinheit 204 soll auf dem HMD 10 angezeigte Bilder durch eine Benutzeroperation steuern. Die Eingabeoperationseinheit 204 kann auch aus einem mechanischen Schalter und/oder einem Berührungssensor bestehen. Die interne Stromversorgung 205 liefert den zum Ansteuern des HMD 10 erforderlichen Strom.
Das HMD 10 kann weiterhin eine Schallausgabeeinheit wie etwa einen Lautsprecher, eine Kamera und dergleichen enthalten. In diesem Fall werden die Sprachausgabeeinheit und die Kamera typischerweise an die Anzeigeeinheit 11 geliefert. Außerdem kann der Controller 20 mit einer Anzeigeeinrichtung versehen sein, die einen Eingabeoperationsbildschirm der Anzeigeeinheit 11 oder dergleichen anzeigt. In diesem Fall kann die Eingabeoperationseinheit 204 aus einem an die Anzeigeeinrichtung gelieferten Touchpanel bestehen.
[Funktionskonfiguration des Controllers]
4 ist ein Blockdiagramm des HMD 10 zum Beschreiben einer Funktionskonfiguration des Controllers. Wie in der Figur gezeigt, enthält der Controller 20 eine Blickfeld-Einstelleinheit 21, eine Objektinformationsmanagementeinheit 22, eine Objektextraktionseinheit 23, eine Objektverteilungsberechnungseinheit 24, eine Gruppenmanagementeinheit 25, eine Modusumschalteinheit 26, eine Verteilungsanzeigegenerierungseinheit 27 und eine AR-Icon-Anzeigeverarbeitungseinheit 28. Jene Elemente werden durch die CPU 201 hauptsächlich gemäß einem im Speicher 202 gespeicherten Applikationsprogramm ausgeführt. Im Folgenden werden jene Elemente beschrieben.
(Blickfeld-Einstelleinheit)
Die Blickfeld-Einstelleinheit 21 setzt den Bereich oder ein Blickfeld auf der Basis einer Haltung der Anzeigeeinheit 11 ein, die anhand eines Detektionsergebnisses der Detektionseinheit 12 berechnet wird. Wenn bei dieser Ausführungsform die Blickfeld-Einstelleinheit 21 den Bereich eines Blickfelds einstellt, werden virtuelle Zylinderkoordinaten C0, die den Benutzer U um eine vertikale Achse Az umgeben, verwendet.
5 ist ein Schemadiagramm zum Beschreiben der Zylinderkoordinaten C0 und des Blickfelds V. Wie in der Figur gezeigt, befinden sich die Zylinderkoordinaten C0 in einem Koordinatensystem mit der vertikalen Achse Az an einer Position des Benutzers U (Anzeigeeinheit 11), das eine Position auf einer virtuellen Umfangsoberfläche spezifiziert, die an einer Position mit einer Distanz (Radius) R von der vertikalen Achse Az angeordnet ist. Die Zylinderkoordinaten C0 besitzen eine Koordinatenachse (θ) in einer Umfangsrichtung und eine Koordinatenachse (h) in einer Höhenrichtung. Die Koordinatenachse (θ) in der Umfangsrichtung stellt einen Winkel um die vertikale Achse dar, wobei eine Nordrichtung 0° ist. Die Koordinatenachse (h) in der Höhenrichtung stellt einen Winkel in einer Aufwärts- und Abwärts-Richtung dar, wobei eine Sichtlinie Lh des Benutzers U in der horizontalen Richtung eine Referenz ist. Die Koordinatenachse (θ) stellt eine Ostrichtung als eine positive Richtung ein, und die Koordinatenachse (h) stellt einen Depressionswinkel als eine positive Richtung ein und stellt einen Elevationswinkel als eine negative Richtung ein. Der Radius R und die Höhe H der Zylinderkoordinaten C0 können optional eingestellt werden. Man beachte, dass die Position des Benutzers U, durch die die vertikale Achse Az spezifiziert wird, durch eine Position des Benutzers U spezifiziert wird, die durch das tragbare Informationsterminal 30 erfasst wird. Wie in der Figur gezeigt, berechnet die Blickfeld-Einstelleinheit 21 eine Änderung bei der Haltung der Anzeigeeinheit 11 auf Basis einer Ausgabe der Detektionseinheit 12 und bestimmt, zu welchem Gebiet das Blickfeld V des Benutzers U auf den Zylinderkoordinaten C0 gehört. Das Gebiet, zu dem das Blickfeld V auf den Zylinderkoordinaten C0 gehört, wird durch die Bereiche von θ und h spezifiziert. Das Blickfeld V bewegt sich gemäß der Änderung bei der Haltung des Benutzers U auf den Zylinderkoordinaten C0, und die Bewegungsrichtung oder das Ausmaß an Bewegung davon werden auf Basis einer Ausgabe der Detektionseinheit 12 berechnet.
6 ist ein Entwicklungsdiagramm der Zylinderkoordinaten C0, das das Blickfeld V auf den Zylinderkoordinaten C0 zeigt. Ein Referenzsymbol Oc in der Figur stellt den Ursprung der Zylinderkoordinaten C0 dar. Das Blickfeld V besitzt eine im Wesentlichen rechteckige Form. Beispielsweise wird der Bereich des Blickfelds V in der Umfangsrichtung durch den folgenden Ausdruck (1) ausgedrückt. θv1 ≤ θ v ≤ θv2 (1) Dabei wird der Bereich des Blickfelds V in der Höhenrichtung durch den folgenden Ausdruck (2) ausgedrückt. hv1 ≤ hv ≤ hv2 (2) Außerdem besitzt das Blickfeld V xy-Koordinaten (lokale Koordinaten), bei denen die obere linke Ecke der Ursprung OP ist. Eine x-Achse ist eine Achse, die sich von dem Ursprung OP in der horizontalen Richtung erstreckt. Eine y-Achse ist eine Achse, die sich in einer senkrechten Richtung von dem Ursprung OP erstreckt. Details darüber werden später beschrieben.
(Objektinformationsmanagementeinheit)
Die Objektinformationsmanagementeinheit 22 erfasst Informationen über ein vorbestimmtes Objekt von dem tragbaren Informationsterminal 30 über die Kommunikationseinheit 203 und verwaltet die erfassten Informationen des Objekts. Eine Zeitsteuerung, zu der die Objektinformationsmanagementeinheit 22 ein Objekt erfasst, kann beispielsweise auf eine Zeitsteuerung eingestellt werden, zu der bestimmt wird, dass sich die aktuelle Position um eine vorbestimmte Distanz oder mehr verändert hat, wie später beschrieben werden wird. Bei dieser Ausführungsform kann die Objektinformationsmanagementeinheit 22 Informationen über mehrere Objekte aus der Objektdatenbank 404 über das tragbare Informationsterminal 30 erfassen. Die Informationen über ein Objekt beinhalten beispielsweise Informationen wie etwa ein Attribut des Objekts, den Namen des Objekts und die Position des Objekts. Die Informationen über die Position des Objekts beinhalten typischerweise Informationen über eine absolute Position (Breite, Länge oder dergleichen) des Objekts.
(Objektextraktionseinheit)
Die Objektextraktionseinheit 23 extrahiert in dem Blickfeld V verteilte Objekte aus Objekten, deren Informationen erfasst werden, auf Basis eines Verarbeitungsergebnisses der Blickfeld-Einstelleinheit 21. Zuerst berechnet die Objektextraktionseinheit 23 Koordinaten (θa, ha) eines Objekts auf den Zylinderkoordinaten C0 auf Basis einer absoluten Position des Objekts und der aktuellen Position des Benutzers. Die aktuelle Position des Benutzers kann aus dem tragbaren Informationsterminal 30 erfasst werden. Die Objektextraktionseinheit 23 kann ein Objekt extrahieren, dessen Koordinaten (θa, ha) in dem Bereich des Blickfelds V in den Zylinderkoordinaten C0 (dem Bereich der Ausdrücke (1) und (2)) enthalten sind.
Wieder unter Bezugnahme auf 5 werden die Koordinaten (θa, ha) des Objekts in den Zylinderkoordinaten C0 beschrieben. Die Objekte A1 bis A4 befinden sich im Realitätsraum und befinden sich typischerweise an Positionen, die weiter weg sind als der Radius R der Zylinderkoordinaten C0 von dem Benutzer U. Deshalb kann, wie in der Figur gezeigt, jede Position der Objekte A1 bis A4 in den Zylinderkoordinaten C0 durch eine Kreuzungsposition zwischen einer Blicklinie L des jedes der Objekte A1 bis A4 betrachtenden Benutzers und den Zylinderkoordinaten C0 spezifiziert werden. Die Positionen der Objekte A1 bis A4 in den Zylinderkoordinaten C0 werden jeweils durch Koordinaten (θa, ha) auf den Zylinderkoordinaten C0 ausgedrückt. Man beachte, dass in dem Beispiel in der Figur die Mittelposition jedes der Objekte A1 bis A4 mit jeder Kreuzungsposition übereinstimmt, aber nicht darauf beschränkt ist. Ein Teil der Peripherie des Objekts (z.B. ein Teil der vier Ecken) kann mit der Kreuzungsposition übereinstimmen. Alternativ dazu kann bewirkt werden, dass die Positionen der Objekte A1 bis A4 von den Kreuzungspositionen getrennten optionalen Positionen entsprechen.
(Objektverteilungsberechnungseinheit)
Die Objektverteilungsberechnungseinheit 24 berechnet eine Verteilung der extrahierten Objekte. Die Objektverteilungsberechnungseinheit 24 kann eine Verarbeitung des Umwandelns der Position (θa, ha) jedes Objekts, von der bestimmt wird, dass sie in dem Blickfeld V angezeigt werden soll, in lokale Koordinaten (xa, ya) in dem Blickfeld V ausführen, um die Verteilung der Objekte in dem Blickfeld V zu berechnen.
A und B von 7 ist ein Diagramm zum Beschreiben eines Umwandlungsverfahrens von den Zylinderkoordinaten C0 in das Blickfeld V (lokale Koordinaten). Wie in A von 7 gezeigt, werden die Koordinaten eines Referenzpunkts des Blickfelds V auf den Zylinderkoordinaten C0 als (θv, hv) angenommen, und Koordinaten eines Referenzpunkts eines Objekts A, das im Blickfeld V positioniert ist, wird als (θa, ha) angenommen. Die Referenzpunkte des Blickfelds V und des Objekts A können an beliebigen Punkten eingestellt werden und in diesem Beispiel in der linken oberen Ecke des Blickfelds V mit einer rechteckigen Gestalt und dem Objekt A eingestellt werden. αv[°] ist ein Breitenwinkel des Blickfelds V in den Zylinderkoordinaten, und ein Wert davon wird in Abhängigkeit von dem Design oder von Spezifikationen der Anzeigeeinheit 11 bestimmt. Die Objektverteilungsberechnungseinheit 24 wandelt das Zylinderkoordinatensystem (θ, h) in das lokale Koordinatensystem (x, y) um, um somit die Position des Objekts A in dem Blickfeld V zu bestimmen. Wie in B von 7 gezeigt, werden unter der Annahme, dass die Höhe und die Breite des Blickfelds V in dem lokalen Koordinatensystem Hv und Wv sind und die Koordinaten des Referenzpunkts des Objekts A im lokalen Koordinatensystem (x, y) (xa, ya) sind, die folgenden Umwandlungsausdrücke angegeben. xa = (θa – θv)∙Wv/αv (3) ya = (ha – hv)∙Hv/100 (4) Somit kann die Objektverteilungsberechnungseinheit 24 Koordinaten (xa, ya) jedes Objekts im Blickfeld V auf Basis der oben beschriebenen Umwandlungsausdrücke berechnen.
(Gruppenmanagementeinheit)
Die Gruppenmanagementeinheit 25 gruppiert mehrere in einem Realitätsraum um den Benutzer verteilte Objekte und verwaltet auch Informationen der Gruppe. Die zu gruppierenden Objekte können beispielsweise in einer Richtung des Blickfelds V verteilte Objekte sein. Zu Informationen über die Gruppe zählen Informationen wie etwa die Anzahl an in der Gruppe enthaltenen Objekten und ein gemeinsames Attribut der Objekte, die zum Beispiel aus der Objektinformationsmanagementeinheit 22 erfasst werden. Die Gruppenmanagementeinheit 25 gruppiert mehrere Objekte auf Basis einer vorbestimmten Bedingung. Zu Beispielen für die vorbestimmte Bedingung zählen eine Dichte der mehreren Objekte in dem Blickfeld V und eine Gemeinsamkeit eines Attributs der Objekte. Wenn die Gruppenmanagementeinheit 25 weiter bestimmt, dass die Dichte der gruppierten Objekte in dem Blickfeld V so reduziert ist, dass sie unter einer vorbestimmten Referenz liegt, weil zum Beispiel der Benutzer sich einem Objekt nähert, kann die Gruppenmanagementeinheit 25 auch die Gruppe restrukturieren.
(Modusumschalteinheit)
Die Modusumschalteinheit 26 ist so konfiguriert, dass sie zwischen einem ersten Modus des Ausführens einer Zeichnungsverarbeitung an der Gruppe mit den mehreren Objekten und einem zweiten Modus des Ausführens einer Zeichnungsverarbeitung an jedem der gruppierten Objekte umschalten kann. Die hier beschriebene „Zeichnungsverarbeitung an der Gruppe“ bezieht sich beispielsweise auf das Verarbeiten einer Zeichnung einer Verteilungsanzeige auf diese Gruppe oder Verarbeitung einer Zeichnung eines AR-Icons, das zusätzliche Informationen der Gruppe anzeigt. Die „Zeichnungsverarbeitung an jedem der gruppierten Objekte” bezieht sich beispielsweise auf die Verarbeitung einer Zeichnung eines AR-Icons, das zusätzliche Informationen jedes Objekts anzeigt. Die Modusumschalteinheit 26 schaltet auf Basis einer vorbestimmten Bedingung zwischen dem ersten Modus und dem zweiten Modus um. Wenn beispielsweise bestimmt wird, dass eine der Modusumschaltung entsprechende Benutzeroperation durch die Eingabeoperationseinheit 204 empfangen wird, kann die Modusumschalteinheit 26 zwischen dem ersten Modus und dem zweiten Modus umschalten.
(Verteilungsanzeigegenerierungseinheit)
Die Verteilungsanzeigegenerierungseinheit 27 generiert eine Verteilungsanzeige, die ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind. Bei dieser Ausführungsform generiert die Verteilungsanzeige eine Verteilungsanzeige, die eine Form besitzt, die mit einer Form des Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind, und nahe dem Gebiet, in dem jene Objekte verteilt sind, angezeigt wird. Beispielsweise kann die Verteilungsanzeigegenerierungseinheit 27 die Verteilungsanzeige generieren durch Verwenden einer Wahrscheinlichkeitsdichtefunktion, wobei die Wahrscheinlichkeitsdichtefunktion als Variable die Koordinaten (xa, ya) verwendet, die eine Position jedes der gruppierten Objekte in dem Blickfeld anzeigen. Details darüber werden später beschrieben. Die Verteilungsanzeigegenerierungseinheit 27 kann die Verteilungsanzeige entweder im ersten Modus oder im zweiten Modus generieren oder kann die Verteilungsanzeige nur im ersten Modus generieren.
(AR-Icon-Anzeigeverarbeitungseinheit)
Die AR-Icon-Anzeigeverarbeitungseinheit 28 führt eine Verarbeitung des Anzeigens eines AR-Icons durch, das zusätzliche Informationen über die in dem Blickfeld V verteilten Objekte liefert. Das AR-Icon ist ein Bild, das zusätzliche Informationen über die Objekte A1 bis A4 anzeigt und ein Bild sein kann, das Zeichen, Bilder und dergleichen enthalten kann oder ein Animationsbild sein kann. Weiterhin kann das AR-Icon ein zweidimensionales Bild oder dreidimensionales Bild sein. Außerdem kann die Form des AR-Icons rechteckig oder kreisförmig sein oder eine andere geometrische Form besitzen und kann gemäß dem Typ des AR-Icons entsprechend eingestellt sein. Die AR-Icon-Anzeigeverarbeitungseinheit 28 zeigt ein AR-Icon für jedes der gruppierten Objekte im zweiten Modus an. Die AR-Icon-Anzeigeverarbeitungseinheit 28 kann zum Beispiel ein AR-Icon für die Gruppe im ersten Modus anzeigen. In diesem Fall kann das AR-Icon die Anzahl an Objekten, die zu der Gruppe gehören, ein gemeinsames Attribut der mehreren Objekte, die zu der Gruppe gehören, und dergleichen anzeigen. Die AR-Icon-Anzeigeverarbeitungseinheit 28 kann das AR-Icon in einem vorbestimmten Gebiet des Blickfelds V auf Basis der Verteilung von Objekten anzeigen. Beispielsweise kann die AR-Icon-Anzeigeverarbeitungseinheit 28 das AR-Icon an einer Position anzeigen, die von der Position jedes Objekts (Kreuzungsposition zwischen der Blicklinie L des das Objekt betrachtenden Benutzers und den Zylinderkoordinaten C0) um eine vorbestimmte Distanz getrennt ist. Alternativ dazu kann die AR-Icon-Anzeigeverarbeitungseinheit 28 ein Gebiet des Objekts oder der Verteilungsanzeige berechnen und das AR-Icon nahe diesem Gebiet anzeigen.
[Beispiel für den Betrieb des AR-Systems]
(Verarbeitung des Erfassens von Objektinformation)
A von 8 ist ein Flussdiagramm, das einen Fluss des Verarbeitens des Erfassens von Objektinformationen in dem Controller 20 zeigt. Wenn bei diesem Betriebsbeispiel die aktuelle Position des Benutzers um beispielsweise 50 m oder mehr verändert wird, führt der Controller 20 das Verarbeiten des Erfassens der Objektinformationen durch. Man beachte, dass in der Figur die Verarbeitung von ST101 bis ST104 durch das tragbare Informationsterminal 30 ausgeführt wird. Weiterhin wird die Verarbeitung von ST201 bis ST203 durch den AR-Server 40 ausgeführt, und die Verarbeitung von ST301 wird durch den Controller 20 des HMD 10 ausgeführt.
Zuerst bestimmt die CPU 301 des tragbaren Informationsterminals 30, ob eine Bedingung zum Erfassen von Informationen eines AR-Anzeigekandidaten erfüllt oder nicht erfüllt ist (ST101). Insbesondere kann die CPU 301 auf Basis von Informationen über die von der GPS-Kommunikationseinheit 305 erfasste aktuelle Position bestimmen, ob sich die aktuelle Position des Benutzers um 50 m oder mehr verändert hat. Weiterhin kann zusätzlich oder anstelle des Obigen die CPU 301 bestimmen, ob eine Benachrichtigung über eine Änderung beim Zustand des AR-Anzeigekandidaten von dem Server 40 empfangen oder nicht empfangen worden ist. Wenn bestimmt wird, dass die Bedingung für das Erfassen von Informationen eines AR-Anzeigekandidaten erfüllt ist (Ja in ST101), sendet die Netzwerkkommunikationseinheit 303 die aktuelle Position, die von der GPS-Kommunikationseinheit 305 erfasst wird, unter der Steuerung der CPU 301 an den AR-Server 40 (ST102).
Die Netzwerkkommunikationseinheit 403 des AR-Servers 40 empfängt die aktuelle Position, die von dem tragbaren Informationsterminal 30 gesendet wird, unter der Steuerung der CPU 401 (ST201). Danach erfasst die CPU 401 Informationen über ein Objekt, die der erfassten aktuellen Position entsprechen, von der Objektdatenbank 404 (ST202). Die Netzwerkkommunikationseinheit 403 sendet dann die erfassten Informationen über ein Objekt zu dem tragbaren Informationsterminal 30 zu dem tragbaren Informationsterminal 30 unter der Steuerung der CPU 401 (ST203).
Die Netzwerkkommunikationseinheit 303 des tragbaren Informationsterminals 30 erfasst die Informationen über ein Objekt, die von dem AR-Server 40 gesendet werden, unter der Steuerung der CPU 301 (ST103). Danach sendet die Nahbereichskommunikationseinheit 304 die erfassten Informationen über ein Objekt an den Controller 20 unter der Steuerung der CPU 301 (ST104).
Schließlich empfängt die Kommunikationseinheit 203 des Controllers 20 die Informationen über ein Objekt, die von dem tragbaren Informationsterminal 30 gesendet werden, unter der Steuerung der CPU 201, und die CPU 201 sichert jene Informationen in dem Speicher 202 (ST301). Somit kann die Objektinformationsmanagementeinheit 22 des Controllers 202 Informationen über mehrere in der Objektdatenbank 404 enthaltene Objekte erfassen. Dabei führt der Controller 20 eine Zeichnungsverarbeitung mit einer vorbestimmten Zeitsteuerung unter Verwendung der erfassten Informationen über ein Objekt aus. Danach wird der allgemeine Umriss der Zeichnungsverarbeitung durch die CPU 201 des Controllers 20, der als ein Subjekt der Operation dient, beschrieben.
(Zeichnungsverarbeitung des Controllers)
B von 8 ist ein Flussdiagramm, das einen Fluss der Zeichnungsverarbeitung des Controllers zeigt. Zuerst bestimmt die CPU 201, ob eine Zeichnungszeitsteuerung bei 1/30 s gekommen oder nicht gekommen ist. Wenn bestimmt wird, dass die Zeichnungszeitsteuerung gekommen ist (Ja in ST401), erfasst die CPU 201 ein Detektionsergebnis der Detektionseinheit 12 (ST402). Danach erfasst die CPU 201 Informationen über ein Objekt von dem Speicher 202 (ST403). Insbesondere erfasst die CPU 201 (Objektinformationsmanagementeinheit 22) mehrere in jeder Datenbank enthaltene Objekte, was in ST301 in A von 8 gezeigt ist. Danach führt die CPU 201 eine Verarbeitung des Zeichnens einer Verteilungsanzeige und eines AR-Icons durch Zusammenarbeiten mit dem Speicher 202 aus (ST404). Somit kann die Anzeigeeinheit 11 ein Anzeigeergebnis der Zeichnungsverarbeitung von dem Blickfeld V ausgeben. Im Folgenden werden Details der Verarbeitung des Zeichnens einer Verteilungsanzeige und eines AR-Icons beschrieben.
(Verarbeitung des Zeichnens einer Verteilungsanzeige und eines AR-Icons)
9 ist ein Flussdiagramm, das einen Fluss der Verarbeitung des Zeichnens einer Verteilungsanzeige und eines AR-Icons des Controllers 20 zeigt. Hier wird angenommen, dass die CPU 201 die Verarbeitung gemäß einem in dem Speicher 202 gespeicherten Speiselokal-Suchapplikationsprogramm ausführt.
Zuerst stellt die Blickfeld-Einstelleinheit 21 einen Bereich des Blickfelds V auf Basis der Haltung der Anzeigeeinheit 11 ein, der anhand eines Detektionsergebnisses der Detektionseinheit 12 berechnet wird (ST501). Der Bereich des Blickfelds V wird durch die Ausdrücke (1) und (2) anhand der Zylinderkoordinaten C0 ausgedrückt.
Danach bestimmt die Objektextraktionseinheit 23, ob in dem Blickfeld V verteilte Objekte vorliegen, auf der Basis eines Verarbeitungsergebnisses der Blickfeld-Einstelleinheit 21 (ST502). Wenn bestimmt wird, dass Objekte vorliegen (Ja in ST502), extrahiert die Objektextraktionseinheit 23 die in dem Blickfeld V verteilten Objekte (ST503).
Zur spezifischen Verarbeitung berechnet die Objektextraktionseinheit 23 Koordinaten (θa, ha) jedes Objekts auf den Zylinderkoordinaten C0, wie unter Bezugnahme auf 5 beschrieben, auf Basis der Informationen über die aktuelle Position, die durch die GPS-Kommunikationseinheit 305 erfasst werden, und die absolute Position jedes Objekts. Die Objektextraktionseinheit 23 bestimmt dann, ob in dem Bereich des Blickfelds V (dem Bereich der Ausdrücke (1) und (2)) in den Zylinderkoordinaten C0 Objekte mit Koordinaten (θa, ha) vorliegen (ST502). Wenn bestimmt wird, dass Objekte vorliegen, extrahiert die Objektextraktionseinheit 23 alle Koordinaten (θa, ha) der in dem Bereich enthaltenen Objekte (ST503).
10 ist ein Diagramm, das das Blickfeld V zeigt, bevor die Zeichnungsverarbeitung ausgeführt wird. In dem in dieser Figur gezeigten Beispiel extrahiert die Objektextraktionseinheit 23 ein Speiselokal A11, ein Speiselokal A12, ein Speiselokal A13 und ein Speiselokal A14 und auch ein Gebäude A21, ein Gebäude A22, ein Gebäude A23 und eine Kreuzung A31.
Danach berechnet die Objektverteilungsberechnungseinheit 24 die Verteilung der in dem Blickfeld V verteilten Objekte (ST503). Wie anhand von 9 beschrieben, berechnet die Objektverteilungsberechnungseinheit 24 lokale Koordinaten (xa, ya) der extrahierten Objekte innerhalb des Blickfelds V anhand der Koordinaten (θa, ha) auf den Zylinderkoordinaten C0. Bei dem in 10 gezeigten Beispiel werden die Positionen der Objekte A11 bis A14 bei lokalen Koordinaten als lokale Koordinaten (xa11, ya11), (xa12, ya12), (xa13, ya13) bzw. (xa14, ya14) berechnet.
Danach gruppiert die Gruppenmanagementeinheit 25 die mehreren, in dem Blickfeld V verteilten Objekte (ST504). Bei dem in 10 gezeigten Beispiel gruppiert die Gruppenmanagementeinheit 25 die vier Objekte A11 bis A14 in dem Blickfeld V als eine Gruppe G10, wobei die vier Objekte A11 bis A14 assoziierte zusätzliche Informationen eines „Speiselokals“ besitzen. In diesem Fall sind die assoziierten zusätzlichen Informationen ein Attribut der Objekte. Man beachte, dass in diesem Betriebsbeispiel die Gruppenmanagementeinheit 25 das Gebäude A21, das Gebäude A22, das Gebäude A23 und die Kreuzung A31 nicht gruppiert.
Danach bestimmt die Modusumschalteinheit 26, ob der erste Modus eingestellt ist oder nicht (ST505). Bei dieser Ausführungsform kann die Modusumschalteinheit 26 den aktuellen Modus angesichts des Modus bestimmen, wenn die Verarbeitung gestartet wird, und der Anwesenheit oder Abwesenheit einer Benutzereingabeoperation entsprechend der Modusumschaltung über die Eingabeoperationseinheit 204.
Wenn bestimmt wird, dass der erste Modus eingestellt ist (Nein in ST505), generiert die Verteilungsanzeigegenerierungseinheit 27 eine Verteilungsanzeige. Die Verteilungsanzeige besitzt eine Form, die mit einer Form des Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind, und wird nahe dem Gebiet angezeigt, in dem jene Gebiete verteilt sind (ST506). Somit steuert der Controller 20 die Anzeigeeinheit 11, so dass die Verteilungsanzeige dem Benutzer präsentiert wird.
Danach führt die AR-Icon-Anzeigeverarbeitungseinheit 28 eine Verarbeitung des Anzeigens von AR-Icons für die Gruppe G1, das Gebäude A21, das Gebäude A22, das Gebäude A23 und die Kreuzung A31, die in dem Blickfeld V verteilt sind, durch (ST507).
11 ist ein Diagramm, das das Blickfeld V zeigt, auf dem die Zeichnungsverarbeitung im ersten Modus ausgeführt wird. Wie in der Figur gezeigt, wird eine Verteilungsanzeige D10 auf den gruppierten Objekten A11 bis A14 auf überlagerte Weise angezeigt. Beispielsweise berechnet die AR-Icon-Anzeigeverarbeitungseinheit 28 das Gebiet der Verteilungsanzeige D10 und zeigt ein mit der Gruppe G10 assoziiertes AR-Icon B10 an einer Position entlang dem oberen Abschnitt der Verteilungsanzeige D10 an. In dem AR-Icon B10 kann die Anzahl an Läden angezeigt werden, wie in der Figur gezeigt, oder ein Attribut, das die in der Gruppe oder dergleichen enthaltenen Objekte gemein haben, kann angezeigt werden. Weiterhin kann in einem Fall, wenn alle die Objekte kein gemeinsames Attribut besitzen, aber ein statistisch signifikantes Attribut vorliegt, das Attribut angezeigt werden. Wie in der Figur gezeigt, zeigt die AR-Icon-Anzeigeverarbeitungseinheit 28 AR-Icons B21, B22, B23, B24 und B31 an, die jeweils mit dem Gebäude A21, dem Gebäude A22, dem Gebäude A23 und der Kreuzung A31 assoziiert sind. Wie in der Figur gezeigt, können beispielsweise Namen der Gebäude und der Kreuzung in den AR-Icons B21, B22, B23, B24 und B31 angezeigt werden.
Wenn dabei in ST505 bestimmt wird, dass der erste Modus nicht eingestellt ist (Nein in ST505), bestimmt die AR-Icon-Anzeigeverarbeitungseinheit 28 den zweiten Modus und führt eine Verarbeitung des Anzeigens von AR-Icons für die jeweiligen gruppierten Objekte durch (ST507).
12 ist ein Diagramm, das das Blickfeld V zeigt, auf dem die Zeichnungsverarbeitung im zweiten Modus ausgeführt wird. Wie in der Figur gezeigt, kann die AR-Icon-Anzeigeverarbeitungseinheit 28 AR-Icons B11, B12, B13 und B14 generieren und anzeigen, die mit den jeweiligen gruppierten Objekten A11 bis A14 assoziiert sind. Wie in der Figur gezeigt, können jene AR-Icons B11 bis B14 Ladennamen und dergleichen der jeweiligen Objekte anzeigen. Weiterhin kann die AR-Icon-Anzeigeverarbeitungseinheit 28 Positionen der AR-Icons derart verstellen, dass die AR-Icons B11 bis B14 einander nicht überlappen.
Wie oben beschrieben, kann gemäß diesem Betriebsbeispiel im ersten Modus die Verteilungsanzeige auf den gruppierten Objekten angezeigt werden, und im zweiten Modus können die gruppierten Objekte zerlegt und angezeigt werden. Danach wird eine detaillierte Verarbeitung des Generierens der Verteilungsanzeige beschrieben.
(Verarbeitung des Generierens einer Verteilungsanzeige)
Bei dieser Ausführungsform kann die Verteilungsanzeigegenerierungseinheit 27 die Verteilungsanzeige unter Verwendung einer Wahrscheinlichkeitsdichtefunktion generieren, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable die Koordinaten verwendet, die eine Position jedes der gruppierten Objekte in dem Blickfeld anzeigen. Beispielsweise kann die Wahrscheinlichkeitsdichtefunktion eine Gaußsche Funktion sein.
13 ist eine graphische Darstellung, die ein Beispiel der Gaußschen Funktion zeigt, bei der die vertikale Achse x darstellt und die horizontale Achse eine Verteilungswahrscheinlichkeit ψ (x) darstellt. Die in der Figur gezeigte Gaußsche Funktion ist eine Normalverteilungsfunktion wie eine der Gaußschen Funktionen und wird durch den folgenden Ausdruck (5) ausgedrückt.
Im Folgenden wird anhand eines Beispiels der in 10 gezeigten Objekte A11 bis A14 ein Verfahren zum Ableiten einer Normalverteilungsfunktion ψ (x) beschrieben. Zuerst berechnet die Verteilungsanzeigegenerierungseinheit 27 einen Mittelwert μ und eine Standardabweichung σ von Werten von x (xa11, xa12, xa13, xa14) der jeweiligen Objekte A11 bis A14 auf den lokalen Koordinaten. Die so berechneten Werte für μ und σ werden in Ausdruck (5) eingesetzt, um eine Normalverteilungsfunktion ψ (x) in der x-Achsenrichtung abzuleiten. Der Wert von ψ (xa) stellt eine relative Wahrscheinlichkeit dar, wenn xa als eine Wahrscheinlichkeitsdichtevariable verwendet wird, das heißt, er stellt eine virtuelle Dichte von Objekten in einem xa enthaltenden kleinen Intervall dar.
Hier bezieht sich die Dichte von Objekten auf den Grad, der eine Überfüllungshöhe von Objekten anzeigt. Insbesondere ist die Dichte von Objekten ein Konzept, das die Anzahl von Objekten pro Gebietseinheit (tatsächliche Dichte) oder die Streuung der die Positionen der Objekte in dem Blickfeld anzeigenden Koordinaten beinhaltet. Bei dem in 10 gezeigten Beispiel sind die Koordinaten der Objekte diskret verteilt, und es ist nicht realistisch, die tatsächliche Dichte zu berechnen. In dieser Hinsicht wird angenommen, dass die Dichte von Objekten in diesem Beispiel durch einen Wert der Streuung (σ²) spezifiziert wird. Weiterhin wird unter Bezugnahme auf 13, wenn σ², das heißt die Streuung, kleiner wird, die Kurve der graphischen Darstellung steiler und der Wert von ψ wird etwa bei dem Mittelwert μ größer. Auf derartige Weise zeigt die graphische Darstellung auch, dass die Streuung mit der Dichte eine Korrelation aufweist.
Dabei leitet die Verteilungsanzeigegenerierungseinheit 27 auf ähnliche Weise eine Normalverteilungsfunktion ψ (y) für die y-Achsenrichtung ab. Mit anderen Worten berechnet die Verteilungsanzeigegenerierungseinheit 27 einen Mittelwert μ und eine Standardabweichung σ von Werten von y (ya11, ya12, ya13, ya14) der jeweiligen Objekte A11 bis A14 auf den lokalen Koordinaten und erhält eine Normalverteilungsfunktion ψ (y) in der Achsenrichtung.
Die Verteilungsanzeigegenerierungseinheit 27 generiert dann eine Verteilungsanzeige, die nahe dem Gebiet im Blickfeld angezeigt wird, in dem eine Verteilungswahrscheinlichkeit (Existenzwahrscheinlichkeit) der Objekte einen vorbestimmten Wert besitzt oder darüber liegt, wenn die abgeleiteten ψ (x) und ψ (y) jeweils mit einer Variablen integriert werden. Beispielsweise kann die Verteilungswahrscheinlichkeit der Objekte durch Integrieren der Wahrscheinlichkeitsdichtefunktion ψ (x) in einem vorbestimmten Bereich bezüglich der Variablen x abgeleitet werden. Deshalb werden Integralbereiche [xd1, xd2], [yd1, yd2] entsprechend einer vorbestimmten Verteilungswahrscheinlichkeit erhalten und somit kann das obige Gebiet extrahiert werden. Wenn beispielsweise die Variable x ist, können die Integralbereiche als Bereiche des folgenden Ausdrucks (6) spezifiziert werden. [xd1, xd2] = [μ – kσ, μ + kσ](k > 0) (6) Gemäß Ausdruck (6) kann die Verteilungswahrscheinlichkeit nur durch einen Wert von k ungeachtet des Umrisses der graphischen Darstellung spezifiziert werden. Wenn beispielsweise k = 0,6745 in den Ausdruck (6) eingesetzt wird, beträgt ein Integralergebnis von ψ (x) 0,5 und die Verteilungswahrscheinlichkeit der Objekte in einem durch Ausdruck (6) ausgedrückten Intervall beträgt 50%. Wenn analog beispielsweise k = 1 eingesetzt wird, beträgt die Verteilungswahrscheinlichkeit der Objekte in dem durch den Ausdruck (6) ausgedrückten Intervall 68,27%. Wenn der Wert von k von Ausdruck (6) eingestellt wird, kann auf diese Weise der Bereich von x (und y), in dem die Verteilungswahrscheinlichkeit der Objekte einen vorbestimmten Wert besitzt, abgeleitet werden.
Man beachte, dass zusätzlich zu dem Beispiel, in dem der oben beschriebene Integralbereich abgeleitet wird, die Verteilungsanzeigegenerierungseinheit 27 beispielsweise die Bereiche von Variablen x und y entsprechend ψ (x) und ψ (y) mit einem vorbestimmten Wert oder darüber extrahieren und eine Verteilungsanzeige generieren kann, die nahe einem Gebiet in dem Blickfeld entsprechend jenen Bereichen angezeigt wird.
Wie in 11 gezeigt, ist die Verteilungsanzeige eine Graphik, die in den extrahierten Bereichen von x und y überlagert wird. Bei einer derartigen Verteilungsanzeige kann die Verteilung von mehreren Objekten durch die Form ausgedrückt werden. Obwohl die Verteilungsanzeige beispielsweise rechteckig sein kann, wie in der Figur gezeigt, kann zudem die Peripherie ganz oder teilweise durch eine stetige Kurve gebildet werden. Außerdem kann die Verteilungsanzeigegenerierungseinheit 27 eine Verteilungsanzeige mit einer Transmittanz generieren, bei der die mehreren Objekten sichtbar sind. Zudem kann eine wie ein Nebel oder eine Wolke, die die Objekte bedeckt, ausgedrückte Verteilungsanzeige generiert werden.
(Verteilungsanzeigegenerierung Beispiel 1)
14 ist ein Diagramm, das ein weiteres Beispiel der Verteilungsanzeige zeigt. Wie in der Figur gezeigt, kann die Verteilungsanzeigegenerierungseinheit 27 mindestens einen des Bunttons, der Helligkeit und der Sättigung in der Verteilungsanzeige auf Basis des Werts von ψ oder des Bereichs des Werts von k von Ausdruck (6) ändern. Beispielsweise kann in der Verteilungsanzeige ein Gebiet mit einem größeren Wert von ψ, das heißt ein Gebiet mit einer höheren Dichte, so konfiguriert sein, dass es einen Farbton mit einer höheren Helligkeit oder einen Farbton mit einer geringeren Helligkeit besitzt. Alternativ dazu kann der Buntton gemäß dem Wert von ψ geändert werden. Somit kann die Verteilungsanzeigegenerierungseinheit 27 die Verteilungsanzeige so generieren, dass der Farbton auf Basis der Dichte der gruppierten Objekte geändert wird. Weiterhin kann, wie in der Figur gezeigt, der Farbton der Verteilungsanzeige stufenweise oder konsekutiv geändert werden.
(Verteilungsanzeigegenerierung Beispiel 2)
15 ist ein Diagramm, das noch ein weiteres Beispiel der Verteilungsanzeige zeigt. Wie in der Figur gezeigt, kann in dem Fall, wenn mehrere Gruppen vorliegen, die Verteilungsanzeigegenerierungseinheit 27 die Verteilungsanzeige für jede der Gruppen generieren. In dem in der Figur gezeigten Beispiel enthält eine Gruppe G20 Objekte mit einem Attribut von Restaurant, und eine Gruppe G30 enthält Objekte mit einem Attribut von Lebensmittelladen. Die Verteilungsanzeigen D20 und D30 sind jeweils jenen Gruppen überlagert. Weiterhin werden AR-Icons B10 und B20 jeweils zu den Gruppen G20 und G30 hinzugefügt. Somit kann dem Benutzer in einem Fall, wo mehrere Objekte mit verschiedenen Attributen in dem Blickfeld verteilt sind oder wo die Verteilung von mehreren Objekten voreingestellt ist, eine geeignete Verteilungsanzeige präsentiert werden.
(Verteilungsanzeigegenerierung Beispiel 3)
16 ist ein Diagramm, das noch ein weiteres Beispiel der Verteilungsanzeige zeigt. Die Referenzsymbole A41 bis A44 in der Figur stellen Objekte dar. In einem Fall, wenn eine Gruppe mehrere mit Objekten überfüllte Gebiete enthält, kann, wenn eine Wahrscheinlichkeitsdichtefunktion verwendet wird, eine geeignete Verteilungsanzeige, die die Verteilung der Objekte zeigt, nicht erhalten werden. In dieser Hinsicht kann die Verteilungsanzeigegenerierungseinheit 27 eine Verteilungsanzeige D40 mit einer Form generieren, die eine voreingestellte Verteilung der Objekte in der Gruppe ausdrückt. Insbesondere kann die Verteilungsanzeigegenerierungseinheit 27 bestimmen, ob kleine Gruppen jeweils mit mehreren Objekten vorliegen, deren Dichte eine vorbestimmte Referenz ist oder darüber liegt, unter den gruppierten Objekten. Wenn bestimmt wird, dass kleine Gruppen vorliegen, kann die Verteilungsanzeigegenerierungseinheit 27 eine Wahrscheinlichkeitsdichtefunktion für jede kleine Gruppe ableiten, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable Koordinaten verwendet, die eine Position jedes der Objekte in dem Blickfeld anzeigen, die zu jeder kleinen Gruppe gehören, und kann eine Verteilungsanzeige unter Verwendung einer Wahrscheinlichkeitsdichtefunktion generieren, die durch die Summe der abgeleiteten Wahrscheinlichkeitsdichtefunktionen erhalten wird. In diesem Fall kann die Verteilungsanzeigegenerierungseinheit 27 bestimmen, ob kleine Gruppen jeweils mit mehreren Objekten vorliegen, deren Streuung einen vorbestimmten Wert besitzt oder kleiner ist, unter den gruppierten Objekten, ähnlich dem später zu beschreibenden modifizierten Beispiel 1-1. Somit kann, wie in der Figur gezeigt, eine Verteilungsanzeige mit einer Form generiert werden, die der Verteilung der Objekte entspricht.
[Wirkung und Effekt dieser Ausführungsform]
Wie oben beschrieben, ist es gemäß dieser Ausführungsform möglich, wenn mehrere Objekte gruppiert sind und eine Verteilungsanzeige generiert wird, die nahe einem Gebiet angezeigt wird, in dem die Objekte verteilt sind, dem Benutzer, der das Blickfeld V visuell erkennt, zu gestatten, intuitiv die Verteilung der Objekte zu verstehen. Selbst wenn in dem Blickfeld V mehrere Objekte vorliegen, können die Informationen in einem einfachen Stil bereitgestellt werden und die Sichtbarkeit kann verbessert werden.
Wenn beispielsweise der Benutzer den Realitätsraum über das Blickfeld betrachtet, kann beim Bereitstellen von Informationen durch ein AR-Icon, das den Inhalt eines Objekts unter Verwendung von Zeichen oder dergleichen anzeigt, der Inhalt des AR-Icons nicht ausreichend erkannt werden. Wenn zudem der Anteil des AR-Icons im Blickfeld größer ist, kann die Betrachtung auf dem Realitätsraum behindert werden, und wenn der Benutzer das AR-Icon betrachtet, kann von der Aufmerksamkeit auf dem Realitätsraum abgelenkt werden. Im Folgenden wird ein spezifisches Beispiel beschrieben.
Die 17 und 18 sind jeweils ein Diagramm, das schematisch ein Blickfeld gemäß einem Referenzbeispiel dieser Ausführungsform zeigt. In jedem in den 17 und 18 gezeigten Blickfeld V' sind drei nicht gezeigte Objekte in einem Gebiet S angeordnet, und die mit den drei Objekten assoziierten AR-Icons B'1, B'2 und B'3 werden angezeigt. In dem in A von 17 gezeigten Blickfeld V’ werden die AR-Icons B'1, B'2 und B'3 zur Anzeige überlagert, und der Benutzer kann den Inhalt der AR-Icons B'2 und B'3 nicht erfassen. In dieser Hinsicht werden in dem in B von 17 gezeigten Blickfeld V' die AR-Icons B'1, B'2 und B'3 so angezeigt, dass sie einander nicht überlappen. In diesem Fall wird der Anteil der AR-Icons B'1, B'2 und B'3 in dem Blickfeld V’ hoch. Wenn der Benutzer ein Objekt oder dergleichen im Realitätsraum betrachten möchte, können aus diesem Grund die AR-Icons B'1, B'2 und B'3 diesem Objekt überlagert werden und können den Benutzer daran hindern, das Objekt zu betrachten. Je nach dem Steuerverfahren besteht zudem ein Risiko, dass die Verteilung von mit den AR-Icons B'1, B'2 und B'3 assoziierten Objekte oder die Übereinstimmungsbeziehungen zwischen den AR-Icons und den Objekten unklar wird. In dem in C von 17 gezeigten Blickfeld V' sind Objekte und die damit assoziierten AR-Icons B'1, B'2 und B'3 durch jeweilige Linien verbunden und Übereinstimmungsbeziehungen dazwischen werden verdeutlicht und auch die Anordnung der Objekte wird verdeutlicht. Wenn der Benutzer ein Objekt oder dergleichen im Realitätsraum betrachten möchte, kann die Anwesenheit der AR-Icons B'1, B'2 und B'3 den Benutzer immer noch daran hindern, das Objekt zu betrachten. In dem in 18 gezeigten Blickfeld V’ werden die AR-Icons B'1, B'2 und B'3 mit einer vorbestimmten Zeitsteuerung umgeschaltet. Falls die Umschaltzeitsteuerung unzureichend sichergestellt ist, kann der Benutzer in diesem Fall nicht dazu gebracht werden, die AR-Icons B'1, B'2 und B'3 visuell zu erkennen. Zum visuellen Erkennen aller AR-Icons B'1, B'2 und B'3 ist es dabei notwendig, die AR-Icons für eine gewisse Zeitperiode kontinuierlich zu betrachten.
Gemäß dem ersten Modus in dieser Ausführungsform können diese Probleme eliminiert werden. Mit anderen Worten ist es gemäß diesem ersten Modus in dieser Ausführungsform nicht notwendig, ein AR-Icon entsprechend jedem der Objekte anzuzeigen, da die Verteilungsanzeige auf überlagerte Weise auf mehreren Objekten angezeigt wird. Deshalb wird der Anteil der AR-Anzeige in dem Blickfeld gesenkt und die Betrachtung des Realitätsraums wird nicht behindert. Da die Verteilungsanzeige die Verteilung der Objekte durch Form oder dergleichen zeigen kann, kann außerdem die Verteilungsanzeige mit einer Konfiguration mit Permeabilität versehen werden. Somit kann die Sichtbarkeit des Realitätsraums stärker verbessert werden. Da die Verteilungsanzeige die Verteilung oder Dichte von mehreren Objekten durch die Form oder den Farbton ausdrücken kann, kann dem Benutzer zudem gestattet werden, die Anwesenheit der Objekte und einen Verteilungszustand davon auf intuitive und einfache Weise zu erfassen. Deshalb kann der Benutzer die Mindestinformationen über die Objekte während einer kurzen Zeitperiode durch die Verteilungsanzeige erfassen. Da der Benutzer die Verteilung der Objekte oder dergleichen durch die Verteilungsanzeige ohne Betrachtung vage erfassen kann, kann die Aufmerksamkeit auf den Realitätsraum aufrechterhalten werden.
Zusätzlich zu dem oben Gesagten kann in dieser Ausführungsform, da der erste Modus zum zweiten Modus umgeschaltet werden kann, der Benutzer detailliertere Informationen über die Objekte erfassen, wie benötigt.
19 ist ein Diagramm, das schematisch ein Blickfeld gemäß einem weiteren Referenzbeispiel dieser Ausführungsform zeigt. In dem in A von 19 gezeigten Blickfeld V’ wird ein AR-Icon B'41, das mit einem Gebäude A'4 assoziiert ist, das Läden wie etwa Speiselokale enthält, angezeigt. Wenn sich der Benutzer diesem Gebäude A'4 nähert, wie in B von 19 gezeigt, werden AR-Icons B'42 und B'43, die die Namen von Läden wie etwa Speiselokalen anzeigen, die Informationen niedrigerer Ordnung sind, angezeigt. Mit anderen Worten ist das in 19 gezeigte Beispiel wie folgt konfiguriert: in einem Fall, wenn die AR-Icons überfüllt oder überlagert sind, wenn sie für die jeweiligen Objekte angezeigt werden, wird das AR-Icon B'41 über Informationen einer Hierarchie höherer Ordnung angezeigt; und während der Überfüllungsgrad der AR-Icons gemildert wird, werden AR-Icons B'42 und B'43 über Informationen einer Hierarchie niedrigerer Ordnung angezeigt. In diesem Fall muss der Controller 20 Informationen über die Hierarchien der Objekte erfassen, und es ist notwendig, die Hierarchien der Objekte vorzubereiten.
Gemäß dieser Ausführungsform kann selbst in einem Fall, wenn Informationen über eine Hierarchie eines Objekts unzureichend sind, zum Beispiel ein in dem AR-Server 40 oder dergleichen neuregistriertes Objekt, das Objekt ein Ziel der Gruppierung sein. Somit können Informationen über mehrere Objekte schnell bereitgestellt werden, und das Ausmaß an Verarbeitung zum Vorbereiten der Hierarchie kann gelockert werden.
[Anwendungsbeispiel des AR-Systems]
In dem oben beschriebenen Betriebsbeispiel wurde das Beispiel, bei dem das AR-System 100 (Controller 20) auf das Speiselokal-Suchapplikationsprogramm (im Folgenden als Applikation abgekürzt) angewendet wird, beschrieben, doch kann das AR-System 100 in dieser Ausführungsform nicht bei einer anderen Applikation angewendet werden.
(Applikationsbeispiel 1)
Das AR-System 100 kann beispielsweise auf eine Überfüllte-Ort-Suchapplikation angewendet werden. Es wird angenommen, dass die Überfüllte-Ort-Suchapplikation dem Benutzer in Echtzeit einen Ort präsentieren kann, an dem ausgehende Personen verstärkt versammelt sind. In diesem Fall sind die Objekte ausgehende Personen. Beispielsweise speichert der AR-Server 40 eine Datenbank über eine Ansammlung von ausgehenden Personen als die Objektdatenbank 404. Der AR-Server 40 erfasst eine aktuelle Position jeder Person und Positionsinformationen eines registrierten Zuhauses jener Person beispielsweise aus tragbaren Informationsterminals von mehreren Personen und berechnet eine Distanz von dem Zuhause jeder Person. Weiterhin erfasst der AR-Server 40 ein Verhaltensanalyseresultat jeder Person, das durch ein in dem tragbaren Informationsterminal jeder Person installiertes Verhaltensanalyseprogramm oder dergleichen analysiert wird. Der AR-Server 40 bestimmt auf Basis der erfassten Informationselemente, ob jede Person ausgeht oder nicht ausgeht. Weiterhin werden die aktuelle Position und der Ausgehstatus, die mit jeder Person assoziiert sind, in der Datenbank über eine Ansammlung von ausgehenden Personen gespeichert. Der Controller 20 erfasst Informationen über eine Person, die ausgeht, von dem AR-Server 40 über das tragbare Informationsterminal 30. Die Objektextraktionseinheit 23 extrahiert dann ausgehende Personen, die in dem Blickfeld V verteilt sind, und die Objektverteilungsberechnungseinheit 24 berechnet die Verteilung jener Personen. Danach gruppiert die Gruppenmanagementeinheit 25 die ausgehenden Personen, und die Verteilungsanzeigegenerierungseinheit 27 generiert eine Verteilungsanzeige. Die Verteilungsanzeigegenerierungseinheit 27 kann beispielsweise gemäß einer Dichte einen anderen Farbton besitzen.
20 ist ein Diagramm, das ein Beispiel eines durch die Verarbeitung dieser Applikation präsentierten Blickfelds V zeigt. In dem in der Figur gezeigten Blickfeld V wird eine gewisse Ereignisörtlichkeit präsentiert und eine Verteilungsanzeige D50 wird angezeigt. Auf derartige Weise kann gemäß dieser Ausführungsform selbst dann, wenn in dem Blickfeld V keine Objekte (Personen) visuell erkannt werden können, die Verteilungsanzeige D50 in einem Gebiet angezeigt werden, in dem jene Objekte verteilt sind. Beispielsweise können in dem in der Figur gezeigten Beispiel Informationen über ein Attribut von Benutzern als „gewisse Spieleliebhaber“ und Informationen über einen Abstand zu dieser Gruppe durch ein AR-Icon B50 präsentiert werden. Auf eine derartige Weise kann in einem Fall, wenn ein statistisch signifikantes Attribut unter vorbestimmten Attributen der gruppierten Personen vorliegt, die AR-Icon-Anzeigeverarbeitungseinheit 28 ein derartiges Attribut als das AR-Icon B50 anzeigen. Zudem kann die AR-Icon-Anzeigeverarbeitungseinheit 28 eine Distanz von dem das HMD 10 tragenden Benutzer zu der Gruppe zusätzlich zu dem Attribut anzeigen. In diesem Fall kann die Distanz zu der Gruppe eine mittlere Distanz der Distanzen der gruppierten Personen von dem das HMD 10 tragenden Benutzer sein.
So kann der das HMD 10 tragende Benutzer leicht nach einem Ort suchen, wo es viele Leute oder viele Benutzer mit einem mit dem Benutzer gemeinsamen Hobby gibt, auch bei einer Ereignisörtlichkeit, die der Benutzer zum ersten Mal besucht hat oder dergleichen. Außerdem kann der Benutzer unter Vermeidung der Menschenmengen auf Basis einer Benutzerintension handeln.
Weiterhin kann beispielsweise, falls der Benutzer zuvor die Informationen über einen „gewissen Spieleliebhaber“ registriert, die Gruppenmanagementeinheit 25 Personen mit dem registrierten Attribut „gewisser Spieleliebhaber“ gruppieren. Dies kann dem Benutzer effektivere Informationen liefern.
(Applikationsbeispiel 2)
Das AR-System 100 kann beispielsweise auf eine Fotografieort-Suchapplikation angewendet werden. Es wird angenommen, dass die Fotografieort-Suchapplikation eine Richtung oder eine Distanz eines für Fotografie geeigneten Ortes bei Betrachtung vom Benutzer aus präsentieren kann. In diesem Fall ist das Objekt ein Ort für Fotografie. Beispielsweise speichert der AR-Server 40 eine Fotografieplatz-Datenbank als die Objektdatenbank 404. Durch eine Digitalkamera oder durch ein tragbares Informationsterminal fotografierte Bilddaten werden auf einer Foto-Sharing-Website im Internet 50, einem Block im Internet 50 oder dergleichen hochgeladen. Der AR-Server 40 erfasst Fotografiepositionsinformationen, die zu jenen Stücken der Bilddaten als Metadaten hinzugefügt werden. Die Fotografiepositionsinformationen werden beispielsweise bei der Fotografie durch eine fotografische Vorrichtung mit der GPS-Kommunikationseinheit 305 erfasst. Der AR-Server 40 hält die erfassten Fotografiepositionsinformationen als die Fotografieplatz-Datenbank. Der Controller 20 erfasst die Fotografiepositionsinformationen von dem AR-Server 40 über das tragbare Informationsterminal 30. Die Objektextraktionseinheit 23 extrahiert dann in dem Blickfeld V verteilte Fotografieorte, und die Objektverteilungsberechnungseinheit 24 berechnet die Verteilung jener Fotografieorte. Danach gruppiert die Gruppenmanagementeinheit 25 jene Fotografieorte, und die Verteilungsanzeigegenerierungseinheit 27 generiert eine Verteilungsanzeige. Die Verteilungsanzeigegenerierungseinheit 27 kann beispielsweise gemäß einer Dichte einen anderen Farbton besitzen.
21 ist ein Diagramm, das ein Beispiel eines durch die Verarbeitung dieser Applikation präsentierten Blickfelds V zeigt. In dem in der Figur gezeigten Blickfeld V wird eine die Verteilung von Fotografieorten repräsentierende Verteilungsanzeige D60 angezeigt. Über der Verteilungsanzeige D60 werden Informationen, die den Inhalt eines Gegenstands an einem Fotografieort anzeigen, „Kirschblüten“, und Informationen über eine Distanz zu jenem Ort durch ein AR-Icon B60 präsentiert. Die den Inhalt eines Gegenstands an einem Fotografieort anzeigenden Informationen können beispielsweise durch eine Bildanalyse der Bilddaten erhalten werden. Dadurch kann der Benutzer die Richtung oder Distanz eines Fotografieortes, den Grad an Popularität des Fotografieortes oder dergleichen erfassen.
In einem Fall, wo eine statistisch signifikante Saison unter Fotografiesaisons in Fotografieorten unter den extrahierten Fotografieorten vorliegt, kann außerdem die Gruppenmanagementeinheit 25 Fotografieorte gruppieren, die in dem Moment nahe der signifikanten Fotografiesaison verarbeitet werden. Die Fotografiesaison kann anhand der zu den Bilddaten hinzugefügten Metadaten identifiziert werden. Unter Bezugnahme beispielsweise auf das Beispiel von 21 wird angenommen, dass eine Fotografiesaison mit Kirschblüten als einen Gegenstand sich hauptsächlich Ende März bis Anfang April in diesem Fotografiebereich konzentriert. Wenn in diesem Fall die Verarbeitung Anfang April durchgeführt wird, kann der Controller 20 Bildgebungsorte mit den Kirschblüten als einen Gegenstand gruppieren und eine in der Figur gezeigte Verteilungsanzeige D60 generieren. Wenn die Verarbeitung im August durchgeführt wird, gruppiert der Controller 20 dabei nicht die Bildgebungsorte mit den Kirschblüten als einen Gegenstand und generiert nicht die Verteilungsanzeige D60. Dies ermöglicht dem Benutzer, einen für die Fotografie geeigneten realistischen Fotografieplatz zu erfassen.
(Applikationsbeispiel 3)
Das AR-System 100 kann beispielsweise auf eine Reiseführerapplikation für Sehenswürdigkeiten angewendet werden. Es wird angenommen, dass die Reiseführerapplikation für Sehenswürdigkeiten eine Richtung zu einem oder eine Distanz von einem Ort einer Sehenswürdigkeit nahe dem aktuellen Ort, der vom Benutzer betrachtet wird, präsentiert. In diesem Fall ist das Objekt ein Ort einer Sehenswürdigkeit. Beispielsweise speichert der AR-Server 40 eine Sehenswürdigkeiten-Datenbank als die Objektdatenbank 404. Der AR-Server 40 erfasst als Informationen über einen Ort einer Sehenswürdigkeit Informationen, die auf einer Homepage hochgeladen werden, die durch eine Stadtverwaltung, einen Tourismusverband oder dergleichen angelegt wurde, und auf einen Blog hochgeladene Informationen. Der Controller 20 erfasst Informationen über einen Ort einer Sehenswürdigkeit von dem AR-Server 40 über das tragbare Informationsterminal 30. Die Objektextraktionseinheit 23 extrahiert dann in dem Blickfeld V verteilte Orte mit Sehenswürdigkeiten, und die Objektverteilungsberechnungseinheit 24 berechnet die Verteilung jener Orte mit Sehenswürdigkeiten. Danach gruppiert die Gruppenmanagementeinheit 25 jene Orte mit Sehenswürdigkeiten, und die Verteilungsanzeigegenerierungseinheit 27 generiert eine Verteilungsanzeige. Die Verteilungsanzeigegenerierungseinheit 27 kann beispielsweise gemäß einer Dichte einen anderen Farbton besitzen.
22 ist ein Diagramm, das ein Beispiel eines durch die Verarbeitung dieser Applikation präsentierten Blickfelds V zeigt. In dem in der Figur gezeigten Blickfeld V werden Verteilungsanzeigen D70 und D80, die die Verteilung von Orten mit Sehenswürdigkeiten repräsentieren, angezeigt. Über den Verteilungsanzeigen D70 und D80 werden AR-Icons B70 bzw. B80 angezeigt. In den AR-Icons B70 und B80 werden jeweils Informationen, die ein Attribut eines Ortes einer Sehenswürdigkeit, „Tempel“, anzeigen, und Informationen über eine Distanz zu jenem Ort präsentiert. Dadurch kann der Benutzer die Richtung oder die Distanz zu einem Ort einer Sehenswürdigkeit, den Grad an Konzentration der Orte mit Sehenswürdigkeiten oder dergleichen erfassen.
Man beachte, dass in einem Fall, wenn unter Attributen von mehreren Orten mit Sehenswürdigkeiten ein statistisch signifikantes Attribut vorliegt, die AR-Icon-Anzeigeverarbeitungseinheit 28 das Attribut als ein AR-Icon anzeigen kann. Unter Bezugnahme auf 22 kann in einem Fall, wenn die Gruppenmanagementeinheit 25 ein Tor, einen Haupttempel und dergleichen eines Tempels gruppiert, die eine vorbestimmte Dichte als einen Ort einer Sehenswürdigkeit bilden, die AR-Icon-Anzeigeverarbeitungseinheit 28 beispielsweise ein Attribut, „Tempel“, das für das Tor, den Haupttempel und dergleichen des Tempels gängig ist, als ein statistisch signifikantes Attribut anzeigen. Außerdem kann in einem Fall, wenn jeder der extrahierten Orte mit Sehenswürdigkeiten eine für das Sightseeing geeignete Saison hat, die Gruppenmanagementeinheit 25 Orte mit Sehenswürdigkeiten gruppieren, die in dem Moment nahe dieser Saison verarbeitet werden. Dadurch kann der Benutzer einen für eine Sightseeingsaison geeigneten Ort einer Sehenswürdigkeit erfassen.
(Applikationsbeispiel 4)
Das AR-System 100 kann beispielsweise auf eine Verkehrsstauinformationsbereitstellungsapplikation angewendet werden. Die Verkehrsstauinformationsbereitstellungsapplikation kann einem Benutzer in Echtzeit einen Ort präsentieren, wo ein Verkehrsstau ist. In diesem Fall ist das Objekt ein Kraftfahrzeug. Beispielsweise speichert der AR-Server 40 eine Verkehrsstauinformationsdatenbank als die Objektdatenbank 404. Der AR-Server 40 erfasst Verteilungsinformationen von Kraftfahrzeugen, die mit niedriger Geschwindigkeit gefahren werden, beispielsweise unter Verwendung von Betriebsinformationen, die durch ein Kraftfahrzeug, ein zum Überwachen eines Flusses von Kraftfahrzeugen an einer Straße installiertes System oder ein tragbares Informationsterminal eines Fahrers ausgegeben werden. Der Controller 20 erfasst die Verteilungsinformationen von Kraftfahrzeugen von dem AR-Server 40 über das tragbare Informationsterminal 30. Die Objektextraktionseinheit 23 extrahiert dann bei niedriger Geschwindigkeit gefahrene Kraftfahrzeuge, die in dem Blickfeld V verteilt sind, und die Objektverteilungsberechnungseinheit 24 berechnet die Verteilung jener Kraftfahrzeuge. Danach gruppiert die Gruppenmanagementeinheit 25 diese extrahierten Kraftfahrzeuge, und die Verteilungsanzeigegenerierungseinheit 27 generiert eine Verteilungsanzeige. Die Verteilungsanzeigegenerierungseinheit 27 kann beispielsweise gemäß einer Dichte einen anderen Farbton besitzen.
23 ist ein Diagramm, das ein Beispiel für ein durch die Verarbeitung dieser Applikation präsentiertes Blickfeld V zeigt. In dem in der Figur gezeigten Blickfeld V werden Verteilungsanzeigen D90 und D100, die die Verteilung der Kraftfahrzeuge darstellen, die bei niedriger Geschwindigkeit gefahren werden, angezeigt. Über den Verteilungsanzeigen D90 und D100 sind jeweils AR-Icons B90 und B100 angezeigt. In den AR-Icons B90 und B100 werden jeweils Informationen über „Verkehrsstau“ und Informationen über eine Distanz zu einer Position, bei der der Verkehrsstau beginnt, präsentiert. Dadurch kann der Benutzer die Richtung oder Distanz eines Orts, wo sich ein Verkehrsstau befindet, oder den Grad des Verkehrsstaus erfassen und einen derartigen Ort, wo sich ein Verkehrsstau befindet, meiden.
(Andere Applikationsbeispiele)
Weiterhin kann das AR-System 100 auch auf eine Applikation zum Suchen nach einer freien Parklücke auf einem Parkplatz angewendet werden. In diesem Fall kann der Controller 20 eine Verteilungsanzeige der Verteilung von Kraftfahrzeugen auf einem bestimmten Parkplatz durch ähnliche Verarbeitung wie bei der Verkehrsstauinformationsbereitstellungsapplikation generieren. Dadurch kann der Benutzer die Verteilung der Überfüllung von Kraftfahrzeugen auf dem Parkplatz erfassen und leicht eine freie Parklücke finden.
[Modifizierte Beispiele]
Im Folgenden werden modifizierte Beispiele dieser Ausführungsform beschrieben. Man beachte, dass in den folgenden modifizierten Beispielen Konfigurationen ähnlich jenen in der oben beschriebenen Ausführungsform mit identischen Referenzsymbolen bezeichnet sind und eine Beschreibung davon deshalb entfällt.
(Modifiziertes Beispiel 1-1)
Die obige Ausführungsform hat beschrieben, dass die Gruppenmanagementeinheit 25 mehrere Objekte mit zusätzlichen Informationen über ein assoziiertes Attribut oder dergleichen gruppiert, doch ist eine Bedingung für die Gruppierung nicht darauf beschränkt. Beispielsweise kann die Gruppenmanagementeinheit 25 mehrere Objekte, die eine Dichte einer vorbestimmten Referenz oder mehr bilden, aus mehreren, in einem Blickfeld verteilten Objekten gruppieren. In diesem Fall kann die Gruppenmanagementeinheit 25 mehrere Objekte gruppieren, deren Streuung einen vorbestimmten Wert besitzt oder darunterliegt, wenn eine Wahrscheinlichkeitsdichtefunktion abgeleitet wird, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable Koordinaten (xa, ya) verwendet, die eine Position jedes Objekts in einem Blickfeld anzeigen.
Außerdem kann in diesem modifizierten Beispiel die Gruppenmanagementeinheit 25 die Gruppe auf Basis einer Dichte von mehreren, in einem Blickfeld verteilten Objekten restrukturieren. A und B von 24 sind ein Diagramm, die ein Beispiel des Blickfelds V zeigen und ein Beispiel zeigen, in dem die Objekte A111 bis A114 zwei sich in einem Gebäude befindende Restaurants A111 und A112 und zwei sich in einem anderen Gebäude befindende Cafés A113 und A114 sind. In A von 24 sind die vier Objekte A111 bis A114 in einem engen Bereich des Blickfelds V konzentriert. Die vier Objekte A111 bis A114 sind als eine Gruppe G110 gruppiert, und eine Verteilungsanzeige D110 wird angezeigt. Dabei ist, wie in B von 24 gezeigt, in einem Fall, wo sich der Benutzer jenen Gebäuden nähert und die Dichte der Objekte gemildert wird, die Streuung der Verteilung der vier Objekte A111 bis A114 größer als ein Referenzwert. In diesem Fall sucht die Gruppenmanagementeinheit 25 nach einer Anhäufung von Objekten, dessen Streuung der Verteilung einen Referenzwert besitzt oder darunterliegt. Wie in der Figur gezeigt, werden die beiden Restaurants A111 und A112 und die beiden Cafés A113 und A114 jeweils als Gruppen G120 und G130 restrukturiert. Außerdem generiert die Verteilungsanzeigegenerierungseinheit 27 Verteilungsanzeigen D120 und D130 für die jeweiligen Gruppen G120 und G130.
Gemäß diesem modifizierten Beispiel ist es deshalb möglich, eine der Dichte entsprechende, geeignetere Verteilungsanzeige zu generieren und die Sichtbarkeit eines Blickfelds zu verbessern.
(Modifiziertes Beispiel 1-2)
Die Verteilungsanzeigegenerierungseinheit 27 und die AR-Icon-Anzeigeverarbeitungseinheit 28 können eine Verarbeitung des Verhinderns des Anzeigens eines Teils des generierten AR-Icons oder der Verteilungsanzeige durchführen.
Beispielsweise zeigt A von 25 ein Beispiel, bei dem die Verteilungsanzeigegenerierungseinheit 27 und die AR-Icon-Anzeigeverarbeitungseinheit 28 eine Verteilungsanzeige und ein AR-Icon für Sortimentsläden generieren. In dem Blickfeld V sind Verteilungsanzeigen D140 und D150, die die Verteilung von Restaurants anzeigen, und eine Verteilungsanzeige D160, die die Verteilung von Sortimentsläden anzeigt, und dementsprechende AR-Icons B140, B150 bzw. 160 angezeigt. Wenn beispielsweise der Benutzer nach einem Speiselokal sucht, ist die Bedeutung der Sortimentsläden gering. In dieser Hinsicht können, wie in B von 25 gezeigt, die Verteilungsanzeigegenerierungseinheit 27 und die AR-Icon-Anzeigeverarbeitungseinheit 28 AR-Icons und Verteilungsanzeigen mit anderen Attributen als einem vorbestimmten Attribut wie etwa einem Speiselokal durch Filterverarbeitung entfernen. Das Entfernen von AR-Icons und Verteilungsanzeigen kann auf Basis einer Benutzereingabeoperation durchgeführt werden oder kann durch eine Applikation automatisch durchgeführt werden. Dies kann das Bereitstellen von Mindestinformationen in einem einfacheren Stil modifizieren.
(Modifiziertes Beispiel 1-3)
Beispielsweise extrahiert die Objektextraktionseinheit 23 möglicherweise nur ein Objekt mit einem vorbestimmten Attribut. Dies kann das Ausmaß an Verarbeitung im Controller 20 senken.
(Modifiziertes Beispiel 1-4)
Die obige Ausführungsform hat das Beispiel beschrieben, in dem die Verteilungsanzeige im zweiten Modus nicht generiert wird, doch ist die vorliegende Technologie nicht darauf beschränkt. Außerdem kann im zweiten Modus eine Verteilungsanzeige für die gruppierten Objekte generiert werden. 26 ist ein Diagramm, das ein Beispiel des Blickfelds V in dem zweiten Modus zeigt. Wie in der Figur gezeigt, werden ein AR-Icon B170 und eine Verteilungsanzeige D170 für eine Gruppe angezeigt. Zudem werden außerdem AR-Icons B171, B172, B173 und B174 entsprechend jeweiligen Objekten in der Gruppe angezeigt. Dies kann die Anwesenheit einer Gruppe auch im zweiten Modus zeigen.
(Modifiziertes Beispiel 1-5)
Die obige Ausführungsform hat beschrieben, dass beim Bestimmen, dass eine Benutzeroperation entsprechend einem Modusumschalten durch die Eingabeoperationseinheit 204 empfangen wird, die Modusumschaltungseinheit 26 zwischen dem ersten Modus und dem zweiten Modus umschaltet, doch ist die vorliegende Technologie nicht darauf beschränkt. Wenn beispielsweise bestimmt wird, dass der Benutzer eine Verteilungsanzeige betrachtet, kann die Modusumschaltungseinheit 26 konfiguriert sein, von dem ersten Modus zu dem zweiten Modus umzuschalten. Wenn insbesondere bestimmt wird, dass eine später zu beschreibende Verteilungsanzeige in der Mitte des Blickfelds V angezeigt wird, kann die Modusumschaltungseinheit 26 bestimmen, dass der Benutzer die Verteilungsanzeige betrachtet.
27 ist ein Diagramm des Blickfelds V, das ein Beispiel der Modusumschaltung durch die Modusumschalteinheit 26 zeigt. Ein Referenzsymbol Ov in der Figur stellt die Mitte des Blickfelds V dar. Zuerst wird, wie in A von 27 gezeigt, im ersten Modus eine Verteilungsanzeige D170 in einem von der Mitte Ov abweichenden Gebiet angezeigt. Wenn der Benutzer die Orientierung des Kopfs ändert, d.h. die Anzeigeeinheit 11 (Kopfverfolgung), ändert sich auch der Bereich von θ im Blickfeld V in den Zylinderkoordinaten C0. Somit wird, wie in B von 27 gezeigt, die Verteilungsanzeige D170 in der Mitte Ov angezeigt, und die Modusumschalteinheit 26 schaltet von dem ersten Modus zum zweiten Modus um. Wie in C von 27 gezeigt, werden AR-Icons B171, B172, B173 und B174, die Informationen von in der Gruppe enthaltenen Objekten präsentieren, angezeigt. Es wird vermutet, dass, wenn der Benutzer detaillierte Informationen über die Gruppe erfassen möchte, der Benutzer die Gruppe betrachtet. Deshalb kann in diesem modifizierten Beispiel das Umschalten zu dem zweiten Modus unter Verwendung einer natürlichen Bewegung des Benutzers beim Betrachten der Gruppe ausgeführt werden. Man beachte, dass die Modusumschalteinheit 26 konfiguriert sein kann zum Umschalten von dem ersten Modus zu dem zweiten Modus nach Verstreichen einer vorbestimmten Zeitperiode, nachdem die Verteilungsanzeige D170 in der Mitte Ov angezeigt wird.
Alternativ dazu kann die Modusumschalteinheit 26 bestimmen, ob der Benutzer das Blickfeld V betrachtet oder nicht, unter Verwendung einer in dem tragbaren Informationsterminal 30 installierten Verhaltenserkennungs-Engine, eines an der Anzeigeeinheit 11 montierten Blickachsendetektionssystems oder dergleichen.
(Modifiziertes Beispiel 1-6)
Als ein weiteres Beispiel für die Modusumschaltverarbeitung kann die Modusumschalteinheit 26 beim Bestimmen, dass die Dichte der gruppierten Objekte in dem Blickfeld V eine vorbestimmte Referenz aufweist oder darunterliegt, in den zweiten Modus umschalten. In diesem modifizierten Beispiel wird beispielsweise, wenn sich der Benutzer einem Objekt im Realitätsraum nähert, die Streuung der Verteilung der Objekte in dem Blickfeld V groß und die Dichte wird gesenkt, so dass das Umschalten zu dem zweiten Modus durchgeführt werden kann. A und B von 28 sind ein Diagramm, die ein Beispiel für das Blickfeld V zeigen, in dem die Objekte vier Speiselokale sind. A von 28 zeigt ein Beispiel, bei dem die Dichte der vier Objekte A111 bis A114 über einer vorbestimmten Referenz liegt und der erste Modus beibehalten wird. Für die Referenz der Dichte beispielsweise kann der Wert der Streuung wie im modifizierten Beispiel 1-1 angewendet werden. Bei dem in der Figur gezeigten Beispiel werden eine Verteilungsanzeige D110 und ein AR-Icon B110 für die vier gruppierten Objekte A111 bis A114 angezeigt. B von 28 zeigt ein Beispiel, bei dem die Dichte der vier Objekte A111 bis A114 eine vorbestimmte Referenz ist oder darunterliegt, und das Umschalten zum zweiten Modus wird durchgeführt. Bei dem in der Figur gezeigten Beispiel werden AR-Icons B111, B112, B113 und B114 jeweils für die vier Objekte A111 bis A114 angezeigt. Hier sind in einem Fall, wo die Dichte der Objekte gesenkt ist, die Objekte A111 bis A114 in dem Blickfeld V in einem weiteren Gebiet verteilt. Somit wird ein Ort zum Anzeigen der AR-Icons B111 bis B114 für die jeweiligen Objekte leicht sichergestellt. Deshalb kann gemäß diesem modifizierten Beispiel das Umschalten zwischen den Moden bei Aufrechterhaltung der Sichtbarkeit der AR-Icons in dem Blickfeld V durchgeführt werden.
(Modifiziertes Beispiel 1-7)
Die obige Ausführungsform hat beschrieben, dass die Verteilungsanzeigegenerierungseinheit 27 die Verteilungsanzeige durch Verwenden der durch Ausdruck (5) ausgedrückten Normalverteilungsfunktion generiert. Jedoch kann eine durch den folgenden Ausdruck (6) ausgedrückte andere Gaußsche Funktion verwendet werden.
Auch durch Ausdruck (6) kann die in 13 gezeigte glockenförmige Funktion erhalten werden und eine Verteilungsanzeige ähnlich der der oben beschriebenen Ausführungsform kann generiert werden.
(Modifiziertes Beispiel 1-8)
Alternativ dazu kann die Verteilungsanzeigegenerierungseinheit 27 beispielsweise die folgende Verteilungsanzeige ohne Verwendung der Wahrscheinlichkeitsdichtefunktion generieren.
29 ist ein Diagramm, das ein weiteres Beispiel der Verteilungsanzeige zeigt. Wie in der Figur gezeigt, kann eine Verteilungsanzeige D180 aus mehreren Kreisen D181 bis D184 gebildet werden, wobei eine Koordinatenposition jedes Objekts beispielsweise die Mitte ist. Die Größe eines Kreises ist nicht besonders beschränkt und sie kann beispielsweise eine Größe sein, die den Kreis eines anderen gruppierten Objekts überlappt. Beispielsweise kann der Kreis so konfiguriert sein, dass der Durchmesser größer ist, während eine Distanz zwischen dem die Anzeigeeinheit 11 tragenden Benutzer und dem Objekt kleiner ist. Weiterhin kann in der Verteilungsanzeige D180 ein Gebiet, in dem mehrere Kreise einander überlappen, einen Farbton mit einer geringeren Helligkeit besitzen. Zudem können, wie in der Figur gezeigt, mehrere Kreise integriert werden, um die Verteilungsanzeige zu bilden. Dies kann die Gruppe betonen. Außerdem kann bei einer derartigen Verteilungsanzeige der Verteilungszustand der Objekte durch die Form und Anordnung ausgedrückt werden.
Alternativ dazu kann in einem Fall, wenn viele zu gruppierende Objekte vorliegen, die Verteilungsanzeige als eine Anhäufung von Punkten entsprechend einem Objekt konfiguriert sein. Außerdem kann bei dieser Konfiguration ein Gebiet mit einer hohen Dichte der Objekte in der Verteilungsanzeige durch einen dichten Farbton ausgedrückt werden, weil die Punkte so gezeichnet sind, dass sie einander überlappen, so dass der Farbton auf Basis der Dichte der gruppierten Objekte geändert werden kann.
(Modifiziertes Beispiel 1-9)
Der Controller 20 besitzt möglicherweise keine Konfiguration, die zwischen dem ersten und zweiten Modus umschalten kann, kann aber eine Konfiguration nur mit dem oben beschriebenen ersten Modus besitzen.
<Zweite Ausführungsform>
30 ist ein Blockdiagramm eines HMD zum Beschreiben einer Funktionskonfiguration eines Controllers gemäß einer zweiten Ausführungsform der vorliegenden Technologie. Ein HMD 10A gemäß dieser Ausführungsform enthält eine Anzeigeeinheit 11 und einen Controller 20A, und die Funktionskonfiguration des Controllers 20A ist von der ersten Ausführungsform verschieden. Man beachte, dass die Hardwarekonfiguration des Controllers 20 ähnlich der des in 3 gezeigten Controllers 20 ist und die Beschreibung davon deshalb entfällt. Man beachte, dass in dem folgenden modifizierten Beispiel eine Konfiguration ähnlich der oben beschriebenen Ausführungsform mit identischen Referenzsymbolen bezeichnet ist und eine Beschreibung davon entfällt.
Wie in 30 gezeigt, enthält der Controller 20A eine Blickfeld-Einstelleinheit 21, eine Objektinformationsmanagementeinheit 22, eine Objektextraktionseinheit 23, eine Objektverteilungsberechnungseinheit 24, eine Gruppenmanagementeinheit 25, eine Modusumschalteinheit 26, eine Verteilungsanzeigegenerierungseinheit 27, eine AR-Icon-Anzeigeverarbeitungseinheit 28 und eine Verteilungsanzeigeeinstelleinheit 29.
Beim Bestimmen, dass ein Anteil eines Bereichs einer Verteilungsanzeige in einem Blickfeld größer ist als ein erster Anteil (vorbestimmter Anteil), kann die Verteilungsanzeigeeinstelleinheit 29 die Verteilungsanzeige auf den ersten Anteil oder weniger reduzieren. Beim Bestimmen, dass der Anteil des Bereichs der Verteilungsanzeige in dem Blickfeld kleiner ist als ein zweiter Anteil, kann die Verteilungsanzeigeeinstelleinheit 29 außerdem die Verteilungsanzeige auf den zweiten Anteil oder mehr erhöhen. Es wird angenommen, dass der zweite Anteil kleiner ist als der erste Anteil. 31 ist ein Flussdiagramm, das ein Beispiel des Betriebs der Verteilungsanzeigeeinstelleinheit 29 zeigt. Die Verteilungsanzeigeeinstelleinheit 29 berechnet einen Anteil eines Bereichs der Verteilungsanzeige in dem Blickfeld nach dem Generieren einer Verteilungsanzeige (ST601). Danach bestimmt die Verteilungsanzeigeeinstelleinheit 29, ob der berechnete Anteil des Bereichs größer ist als sein erster Anteil oder nicht (ST602). Wenn bestimmt wird, dass der berechnete Anteil des Bereichs größer ist als der erste Anteil (Ja in ST602), führt die Verteilungsanzeigeeinstelleinheit 29 die Verarbeitung des Reduzierens der Verteilungsanzeige auf den ersten Anteil oder weniger durch (ST603). Wenn dabei bestimmt wird, dass der berechnete Anteil des Bereichs der erste Anteil oder weniger ist (Nein in ST602), bestimmt die Verteilungsanzeigeeinstelleinheit 29, ob der berechnete Anteil des Bereichs kleiner ist als ein zweiter Anteil oder nicht (ST604). Wenn bestimmt wird, dass der berechnete Anteil des Bereichs kleiner ist als der zweite Anteil (Ja in ST604), führt die Verteilungsanzeigeeinstelleinheit 29 eine Verarbeitung des Vergrößerns der Verteilungsanzeige auf den zweiten Anteil oder mehr aus (ST605). Wenn weiter bestimmt wird, dass der berechnete Anteil des Bereichs der zweite Anteil oder mehr ist (Nein in ST604), beendet die Verteilungsanzeigeeinstelleinheit 29 die Verarbeitung ohne Ausführen der Reduktion oder Vergrößerung der Verteilungsanzeige. Die Verteilungsanzeigeeinstelleinheit 29 kann die Verteilungsanzeige reduzieren durch Verwenden von Streuung (d. h. σ²) mit einem Wert kleiner als z. B. ein tatsächlich berechneter Wert, für die unter Verwendung der Gaußschen Funktion generierte Verteilungsanzeige. Analog kann die Verteilungsanzeigeeinstelleinheit 29 die Verteilungsanzeige vergrößern unter Verwendung der Streuung mit einem Wert größer als ein tatsächlich berechneter Wert.
Die Verteilungsanzeigeeinstelleinheit 29 kann eine Verarbeitung des Einstellens der Verteilungsanzeige ausführen konsekutiv nach dem Ausführen der Verarbeitung der Zeichnung der Verteilungsanzeige und des AR-Icons bei einer Zeichnungszeitsteuerung von jeweils 1/30 s, was beispielsweise unter Verwendung von 8B beschrieben worden ist. Alternativ dazu kann die Verteilungsanzeigeeinstelleinheit 29 die Verarbeitung des Einstellens der Verteilungsanzeige mit einer vorbestimmten Zeitsteuerung ausführen, die von der oben beschriebenen Zeichnungszeitsteuerung verschieden ist.
Eine Referenz für die Einstellung der Verteilungsanzeige durch die Verteilungsanzeigeeinstelleinheit 29 wird beschrieben. Der erste Anteil und der zweite Anteil können durch einen Blickwinkel des Blickfelds V der Anzeigeeinheit 11 entsprechend eingestellt werden. A und B von 32 sind ein Diagramm zum Beschreiben des Blickwinkels des Blickfelds V. A von 32 zeigt einen Blickwinkel α in einer Umfangsrichtung (θ-Richtung), und B von 32 zeigt einen Blickwinkel β in einer Höhenrichtung (h-Richtung). Wie in A von 32 gezeigt, kann der Blickwinkel α als ein Bereich des Blickfelds V in der Umfangsrichtung (θ-Richtung) in den Zylinderkoordinaten C0 und wie folgt unter Verwendung von Ausdruck (1) definiert werden: α = θv2 – θv1. Dabei stellt, wie in B von 32 gezeigt, der Blickwinkel β einen Bereich eines durch einen Benutzer U betrachteten Winkels von dem unteren Ende hv2 zum oberen Ende hv1 des Blickfelds V auf den Zylinderkoordinaten C0 dar und kann durch Ausdruck (7) definiert werden. β = 2 × tan^–1((hv2 – hv1)/2R) (7) Hier kann beispielsweise in einem Fall, wenn der Blickwinkel α 20° beträgt und der Blickwinkel β 10° beträgt, der erste Anteil auf 50% eingestellt werden, und der zweite Anteil kann auf 10% eingestellt werden. Weiterhin ist beispielsweise das Blickfeld V, bei dem der Blickwinkel α 40° beträgt und der Blickwinkel β 20° beträgt, so konfiguriert, dass es relativ größer ist als das Blickfeld V, bei dem der Blickwinkel α 20° und der Blickwinkel β 10° beträgt bezüglich des Blickfelds des Benutzers. In diesem Fall kann beispielsweise der erste Anteil auf 30% und der zweite Anteil auf 5% eingestellt sein. Dies kann eine Verteilungsanzeige mit hoher Sichtbarkeit ungeachtet der Größe des Blickfelds V präsentieren. Weiterhin kann ein Anteil einer reduzierten oder vergrößerten Verteilungsanzeige auch entsprechend eingestellt werden. Beispielsweise kann die Verteilungsanzeigeeinstelleinheit 29 den Anteil zu dem ersten Anteil reduzieren oder den Anteil zu dem zweiten Anteil vergrößern.
Eine Beziehung zwischen dem Blickwinkel des Blickfelds V und den Werten des ersten und zweiten Anteils kann beispielsweise in dem Speicher 202 des AR-Servers 40 gespeichert oder durch ein Applikationsprogramm zum Ausführen der Verarbeitung des Generierens einer Verteilungsanzeige bestimmt werden. Alternativ dazu können der erste und zweite Anteil für jedes HMD 10 bestimmt werden.
Wie oben beschrieben kann gemäß dieser Ausführungsform die Sichtbarkeit der Verteilungsanzeige weiter verbessert werden.
Die Ausführungsformen der vorliegenden Technologie wurden hier oben beschrieben. Die vorliegende Technologie ist jedoch nicht auf die oben beschriebenen Ausführungsformen beschränkt und kann unterschiedlich modifiziert werden, und kann natürlich unterschiedlich modifiziert werden, ohne von dem Kern der vorliegenden Technologie abzuweichen.
Obwohl die obigen Ausführungsformen beschrieben haben, dass das AR-System den AR-Server, das tragbare Informationsterminal, den Controller und das HMD enthält, ist die vorliegende Technologie nicht darauf beschränkt. Beispielsweise kann das AR-System so konfiguriert sein, dass es kein tragbares Informationsterminal enthält, und derart konfiguriert sein, dass der AR-Server und der Controller direkt miteinander kommunizieren. Weiterhin kann der Controller integral mit dem HMD konfiguriert sein oder aus dem tragbaren Informationsterminal bestehen. Alternativ dazu kann der Controller aus mehreren Einrichtungen bestehen, zum Beispiel dem AR-Server und dem tragbaren Informationsterminal.
Außerdem werden in dem obigen Betriebsbeispiel notwendige Informationen über ein Objekt von dem AR-Server erfasst, wenn sich die aktuelle Position des Benutzers ändert, doch ist die vorliegende Technologie nicht darauf beschränkt. Beispielsweise kann der Controller (HMD) oder das tragbare Informationsterminal kollektiv bei ihrer Aktivierungszeit Informationen über ein Objekt, die für die AR-Display-Verarbeitung und taktile Rückkopplungsverarbeitung nötig sind, von dem AR-Server erfassen und die Informationen im Speicher halten.
Beispielsweise haben die obigen Ausführungsformen das Beispiel des HMD mit einer Konfiguration beschrieben, bei der Bilder über die Anzeigeoberflächen 111R und 111L präsentiert werden, doch lässt sich die vorliegende Technologie beispielsweise auch auf ein HMD vom Retina-Projektions-Typ anwenden. Weiterhin wurde als ein Beispiel für das HMD das eine Anzeige vom Transmissionstyp enthaltende Beispiel beschrieben. Das HMD kann jedoch beispielsweise eine Anzeige vom Nicht-Transmissionstyp enthalten. In diesem Fall sind die Objekte möglicherweise keine im Realitätsraum verteilten Objekte, sondern in einem virtuellen Raum verteilte Objekte, die auf einer Anzeige vom Nicht-Transmissionstyp angezeigt werden können. Beispielsweise kann der virtuelle Raum ein virtueller Raum sein, der durch eine Spielapplikation hergestellt wird, die durch den AR-Server oder dergleichen bereitgestellt wird. Außerdem lässt sich, obwohl das Beispiel, in dem die vorliegende Technologie auf das HMD angewendet wird, beschrieben worden ist, die vorliegende Technologie auch auf eine tragbare Anzeige vom Kontaktlinsentyp oder eine tragbare Anzeige anwenden, die beispielsweise am Handgelenk, am Arm oder am Hals getragen werden kann.
Weiterhin haben die obigen Ausführungsformen das Beispiel beschrieben, bei dem die Verteilungsanzeige nahe dem Gebiet generiert wird, in dem Objekte verteilt sind, doch ist die vorliegende Technologie nicht darauf beschränkt. Beispielsweise kann in einem Fall, wenn ein Objekt auf der Oberseite außerhalb des Blickfelds angeordnet ist, der Controller des HMD die Verteilungsanzeige auf der Oberseite des Blickfelds anzeigen. Alternativ dazu kann die Form der Verteilungsanzeige eine vorbestimmte Form sein, wie etwa eine Ellipse oder ein Kreis, deren Mitte sich in der Verteilungsmitte von Objekten befindet, ungeachtet der Form des Gebiets, in dem Objekte verteilt sind.
Weiterhin haben die obigen Ausführungsformen das Beispiel des Änderns eines Farbtons auf Basis der Dichte von mehreren gruppierten Objekten beschrieben, bei dem eine Verteilungsanzeige mit einem Farbton mit einer höheren Helligkeit für ein Gebiet mit einer höheren Dichte von mehreren gruppierten Objekten generiert wird. Die vorliegende Technologie ist jedoch nicht darauf beschränkt. Beispielsweise kann der Controller des HMD eine Verteilungsanzeige mit einem Farbton mit einer niedrigeren Helligkeit für das Gebiet mit einer höheren Dichte von mehreren gruppierten Objekten generieren.
Außerdem kann der Controller des HMD eine Verteilungsanzeige generieren, bei der eine innere Farbtonverteilung oder Helligkeitsverteilung beispielsweise auf der Basis der Dichteverteilung von mehreren gruppierten Objekten geändert wird. Beispielsweise kann der Controller eine Verteilungsanzeige generieren, bei der ein mit Läden überfülltes Gebiet in Weiß ausgedrückt ist und andere Gebiete in Grau ausgedrückt sind. Alternativ dazu kann der Controller des HMD auch eine Verteilungsanzeige generieren, deren Gestalt auf Basis einer Dichteverteilung von mehreren gruppierten Objekten geändert wird. Dies ermöglicht dem Controller, beispielsweise aus der generierten Verteilungsanzeige einen Teil der Verteilungsanzeige in einem Gebiet zu löschen, in dem es einige wenige Objekte oder keine Objekte gibt.
Man beachte, dass die vorliegende Technologie auch die folgenden Konfigurationen besitzen kann.

(1) Eine Anzeigevorrichtung, die Folgendes enthält: eine Steuereinheit, die mehrere in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte gruppiert und eine Verteilungsanzeige generiert, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind; und eine Anzeigeeinheit, die die Verteilungsanzeige in einem Blickfeld des Benutzers präsentiert.
(2) Die Anzeigevorrichtung gemäß (1), wobei die Steuereinheit die Verteilungsanzeige nahe dem Gebiet generiert, in dem die gruppierten Objekte verteilt sind.
(3) Die Anzeigevorrichtung gemäß (1) oder (2), wobei die Steuereinheit die Verteilungsanzeige mit einer Form generiert, die mit einer Form des Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind.
(4) Die Anzeigevorrichtung gemäß (3), wobei die Steuereinheit die Verteilungsanzeige mit einer Form generiert, die eine voreingestellte Verteilung der mehreren Objekte ausdrückt.
(5) Die Anzeigevorrichtung gemäß einem von (1) bis (4), wobei die Steuereinheit die Verteilungsanzeige mit einer Transmittanz generiert, bei der die mehreren Objekte sichtbar sind.
(6) Die Anzeigevorrichtung gemäß einem von (1) bis (5), wobei die Steuereinheit die Verteilungsanzeige derart generiert, dass mindestens eines von Buntton, Helligkeit und Sättigung auf Basis einer Dichte der gruppierten Objekte verändert wird.
(7) Die Anzeigevorrichtung gemäß (6), wobei die Steuereinheit die Verteilungsanzeige generiert, in welcher ein Gebiet mit einer höheren Dichte der gruppierten Objekte einen Farbton mit einer höheren Helligkeit oder einen Farbton mit einer niedrigeren Helligkeit besitzt.
(8) Die Anzeigevorrichtung gemäß einem von (1) bis (7), wobei die Steuereinheit die Verteilungsanzeige unter Verwendung einer Wahrscheinlichkeitsdichtefunktion generiert, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable Koordinaten verwendet, die eine Position jedes der gruppierten Objekte in dem Blickfeld anzeigt.
(9) Die Anzeigevorrichtung gemäß (8), wobei die Steuereinheit die Wahrscheinlichkeitsdichtefunktion ableitet und die Verteilungsanzeige generiert, die einem Gebiet in dem Blickfeld überlagert wird, in dem eine Verteilungswahrscheinlichkeit der Objekte einen vorbestimmten Wert besitzt, wenn die abgeleitete Wahrscheinlichkeitsdichtefunktion durch die Variable integriert wird.
(10) Die Anzeigevorrichtung gemäß (8) oder (9), wobei die Wahrscheinlichkeitsdichtefunktion eine Gaußsche Funktion ist.
(11) Die Anzeigevorrichtung gemäß einem von (1) bis (10), wobei die Steuereinheit mehrere Objekte mit assoziierten zusätzlichen Informationen aus mehreren, in dem Blickfeld verteilten Objekten gruppiert.
(12) Die Anzeigevorrichtung gemäß einem von (1) bis (10), wobei die Steuereinheit mehrere Objekte, die eine Dichte einer vorbestimmten Referenz oder mehr bilden, aus mehreren, in dem Blickfeld verteilten Objekten gruppiert.
(13) Die Anzeigevorrichtung gemäß einem von (1) bis (12), wobei die Steuereinheit konfiguriert ist, um zwischen einem ersten Modus des Ausführens einer Zeichnungsverarbeitung an einer Gruppe mit den mehreren Objekten und einem zweiten Modus des Ausführens einer Zeichnungsverarbeitung an jedem der gruppierten Objekte umschalten zu können.
(14) Die Anzeigevorrichtung gemäß (13), wobei die Steuereinheit den ersten Modus wählt, wenn bestimmt wird, dass eine Dichte der gruppierten Objekte in dem Blickfeld eine vorbestimmte Referenz oder mehr ist.
(15) Die Anzeigevorrichtung gemäß (13), wobei die Steuereinheit von dem ersten Modus zu dem zweiten Modus umschaltet, wenn bestimmt wird, dass der Benutzer die Verteilungsanzeige betrachtet.
(16) Die Anzeigevorrichtung gemäß (15), wobei die Steuereinheit bestimmt, dass der Benutzer die Verteilungsanzeige betrachtet, wenn bestimmt wird, dass die Verteilungsanzeige in der Mitte des Blickfelds überlagert wird.
(17) Die Anzeigevorrichtung gemäß einem von (1) bis (16), wobei beim Bestimmen, dass ein Anteil eines Bereichs der Verteilungsanzeige in dem Blickfeld größer ist als ein vorbestimmter Anteil, die Steuereinheit die Verteilungsanzeige auf den vorbestimmten Anteil oder weniger reduziert.
(18) Die Anzeigevorrichtung gemäß einem von (1) bis (17), wobei die Anzeigeeinheit konfiguriert ist, um von dem Benutzer getragen werden zu können.
(19) Ein Informationsverarbeitungssystem, das Folgendes enthält: eine Steuervorrichtung, die in der Lage ist zum Speichern von Informationen über mehrere, in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte und Ausgeben der Informationen über die mehreren Objekte; und eine Anzeigevorrichtung, die Folgendes enthält: eine Steuereinheit, die die mehreren Objekte gruppiert und eine Verteilungsanzeige generiert, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind, und eine Anzeigeeinheit, die die Verteilungsanzeige in einem Blickfeld des Benutzers präsentiert.
(20) Ein Steuerverfahren, das Folgendes beinhaltet: Gruppieren mehrerer, in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilter Objekte; Generieren einer Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind; und Präsentieren der Verteilungsanzeige in einem Blickfeld des Benutzers.

Bezugszeichenliste

10, 10A: HMD (Anzeigevorrichtung)
11: Anzeigeeinheit
20, 20A: Controller
40: AR-Server (Steuervorrichtung)
100: AR-System (Informationsverarbeitungssystem)

Claims

Anzeigevorrichtung, umfassend: eine Steuereinheit, die mehrere in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte gruppiert und eine Verteilungsanzeige generiert, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind; und eine Anzeigeeinheit, die die Verteilungsanzeige in einem Blickfeld des Benutzers präsentiert.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit die Verteilungsanzeige nahe dem Gebiet generiert, in dem die gruppierten Objekte verteilt sind.
Anzeigevorrichtung nach Anspruch 1 oder 2, wobei die Steuereinheit die Verteilungsanzeige mit einer Form generiert, die mit einer Form des Gebiets assoziiert ist, in dem die gruppierten Objekte verteilt sind.
Anzeigevorrichtung nach Anspruch 3, wobei die Steuereinheit die Verteilungsanzeige mit einer Form generiert, die eine voreingestellte Verteilung der mehreren Objekte ausdrückt.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit die Verteilungsanzeige mit einer Transmittanz generiert, bei der die mehreren Objekte sichtbar sind.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit die Verteilungsanzeige derart generiert, dass mindestens eines von Buntton, Helligkeit und Sättigung auf Basis einer Dichte der gruppierten Objekte verändert wird.
Anzeigevorrichtung nach Anspruch 6, wobei die Steuereinheit die Verteilungsanzeige generiert, in welcher ein Gebiet mit einer höheren Dichte der gruppierten Objekte einen Farbton mit einer höheren Helligkeit oder einen Farbton mit einer niedrigeren Helligkeit besitzt.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit die Verteilungsanzeige unter Verwendung einer Wahrscheinlichkeitsdichtefunktion generiert, wobei die Wahrscheinlichkeitsdichtefunktion als eine Variable Koordinaten verwendet, die eine Position jedes der gruppierten Objekte in dem Blickfeld anzeigt.
Anzeigevorrichtung nach Anspruch 8, wobei die Steuereinheit die Wahrscheinlichkeitsdichtefunktion ableitet und die Verteilungsanzeige generiert, die einem Gebiet in dem Blickfeld überlagert wird, in dem eine Verteilungswahrscheinlichkeit der Objekte einen vorbestimmten Wert besitzt, wenn die abgeleitete Wahrscheinlichkeitsdichtefunktion durch die Variable integriert wird.
Anzeigevorrichtung nach Anspruch 8, wobei die Wahrscheinlichkeitsdichtefunktion eine Gaußsche Funktion ist.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit mehrere Objekte mit assoziierten zusätzlichen Informationen aus mehreren, in dem Blickfeld verteilten Objekten gruppiert.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit mehrere Objekte, die eine Dichte einer vorbestimmten Referenz oder mehr bilden, aus mehreren, in dem Blickfeld verteilten Objekten gruppiert.
Anzeigevorrichtung nach Anspruch 1, wobei die Steuereinheit konfiguriert ist, um zwischen einem ersten Modus des Ausführens einer Zeichnungsverarbeitung an einer Gruppe mit den mehreren Objekten und einem zweiten Modus des Ausführens einer Zeichnungsverarbeitung an jedem der gruppierten Objekte umschalten zu können.
Anzeigevorrichtung nach Anspruch 13, wobei die Steuereinheit den ersten Modus wählt, wenn bestimmt wird, dass eine Dichte der gruppierten Objekte in dem Blickfeld eine vorbestimmte Referenz oder mehr ist.
Anzeigevorrichtung nach Anspruch 13, wobei die Steuereinheit von dem ersten Modus zu dem zweiten Modus umschaltet, wenn bestimmt wird, dass der Benutzer die Verteilungsanzeige betrachtet.
Anzeigevorrichtung nach Anspruch 15, wobei die Steuereinheit bestimmt, dass der Benutzer die Verteilungsanzeige betrachtet, wenn bestimmt wird, dass die Verteilungsanzeige in der Mitte des Blickfelds angezeigt wird.
Anzeigevorrichtung nach Anspruch 1, wobei beim Bestimmen, dass ein Anteil eines Bereichs der Verteilungsanzeige in dem Blickfeld größer ist als ein vorbestimmter Anteil, die Steuereinheit die Verteilungsanzeige auf den vorbestimmten Anteil oder weniger reduziert.
Anzeigevorrichtung nach Anspruch 1, wobei die Anzeigeeinheit konfiguriert ist, um von dem Benutzer getragen werden zu können.
Informationsverarbeitungssystem, umfassend: eine Steuervorrichtung, die in der Lage ist zum Speichern von Informationen über mehrere, in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilte Objekte und Ausgeben der Informationen über die mehreren Objekte; und eine Anzeigevorrichtung, die Folgendes enthält: eine Steuereinheit, die die mehreren Objekte gruppiert und eine Verteilungsanzeige generiert, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind, und eine Anzeigeeinheit, die die Verteilungsanzeige in einem Blickfeld des Benutzers präsentiert.
Steuerverfahren, umfassend: Gruppieren mehrerer, in einem Realitätsraum oder einem virtuellen Raum um einen Benutzer verteilter Objekte; Generieren einer Verteilungsanzeige, wobei die Verteilungsanzeige ein Gebiet anzeigt, in dem die gruppierten Objekte verteilt sind; und Präsentieren der Verteilungsanzeige in einem Blickfeld des Benutzers.