JP6344311B2 - 表示装置、情報処理システム及び制御方法 - Google Patents

表示装置、情報処理システム及び制御方法 Download PDF

Info

Publication number
JP6344311B2
JP6344311B2 JP2015106767A JP2015106767A JP6344311B2 JP 6344311 B2 JP6344311 B2 JP 6344311B2 JP 2015106767 A JP2015106767 A JP 2015106767A JP 2015106767 A JP2015106767 A JP 2015106767A JP 6344311 B2 JP6344311 B2 JP 6344311B2
Authority
JP
Japan
Prior art keywords
display
distribution
objects
mode
distribution display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015106767A
Other languages
English (en)
Other versions
JP2016218981A5 (ja
JP2016218981A (ja
Inventor
博隆 石川
博隆 石川
翼 塚原
翼 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015106767A priority Critical patent/JP6344311B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/575,131 priority patent/US10878629B2/en
Priority to PCT/JP2016/001912 priority patent/WO2016189791A1/ja
Priority to DE112016002350.2T priority patent/DE112016002350T5/de
Priority to CN201680028918.4A priority patent/CN107615227B/zh
Priority to EP16799509.1A priority patent/EP3306456A4/en
Publication of JP2016218981A publication Critical patent/JP2016218981A/ja
Publication of JP2016218981A5 publication Critical patent/JP2016218981A5/ja
Application granted granted Critical
Publication of JP6344311B2 publication Critical patent/JP6344311B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本技術は、視野に表示される複数の画像をグループ化して表示することが可能な表示装置及びそれを用いた情報処理システム並びに制御方法に関する。
現実空間もしくはその画像に、対応する画像を付加する、拡張現実(AR:Augmented Reality)と呼ばれる技術が知られている。この技術によれば、例えば、現実空間に存在するオブジェクトに対し、当該オブジェクトに関連する画像を重畳的に表示することができる。
一方で、1つの視野中に複数の付加情報が表示される場合、これらの付加情報がオーバーレイされる可能性がある。そこで、特許文献1には、画像内の複数のオブジェクトのうち、階層情報が最上位の階層であるオブジェクトの付加情報を表示させ、あるいはオブジェクトの優先度に応じて付加情報を表示させるように構成された情報処理装置が記載されている。
特開2011−81556号公報
しかしながら、特許文献1に記載の技術において、階層情報が最上位の階層であるオブジェクトの付加情報を表示させる場合には、オブジェクトの階層情報を取得する必要がある。また、同技術において、オブジェクトの優先度に応じて付加情報を表示させる場合には、オブジェクトの優先度を決定するための情報を取得する必要がある。
すなわち、オブジェクトについての詳細な情報を取得できない場合には、上記技術は適用することができない。したがって、複数のオブジェクトについて、必要な情報をよりシンプルに提示できる技術が求められている。
以上のような事情に鑑み、本技術の目的は、複数のオブジェクトについてシンプルで視認性の高い情報提供が可能な表示装置、及びそれを用いた情報処理システム並びに制御方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る表示装置は、制御部と、表示部とを具備する。
上記制御部は、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。
上記表示部は、上記ユーザの視野に上記分布表示を提示する。
上記構成によれば、分布表示が、グループ化された複数のオブジェクトの分布を表現することができる。したがって、複数のオブジェクトについてシンプルで視認性の高い情報提供が可能となる。
上記制御部は、上記グループ化された複数のオブジェクトの分布する領域付近に上記分布表示を生成してもよい。
これにより、分布表示の配置によってオブジェクトの分布する領域を表現することができる。
また、上記制御部は、上記グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有する上記分布表示を生成してもよい。
これにより、分布表示の形状によってオブジェクトの分布する領域を表現することができる。
この場合、上記制御部は、上記複数のオブジェクトの分布の偏りを表す形状を有する上記分布表示を生成してもよい。
これにより、分布表示の形状によってオブジェクトの分布の偏りを表現することができる。
上記制御部は、上記複数のオブジェクトを視認可能な透過度を有する上記分布表示を生成してもよい。
これにより、上記複数のオブジェクトについても視認させることができ、視野における視認性を向上させることができる。
上記制御部は、上記グループ化された複数のオブジェクトの密度に基づいて少なくとも色相、明度、彩度のいずれかを変化させるように上記分布表示を生成してもよい。
例えば、上記制御部は、上記グループ化された複数のオブジェクトの密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する上記分布表示を生成してもよい。
これにより、分布表示が複数のオブジェクトの密度を表現することができる。
また、上記制御部は、上記グループ化された複数のオブジェクト各々の上記視野中における位置を示す座標を変数とした確率密度関数を用いて、上記分布表示を生成してもよい。
例えば、上記確率密度関数は、ガウス関数であってもよい。
これにより、オブジェクトの分布を的確に表現することができる。
具体的には、上記制御部は、上記確率密度関数を導出し、上記導出された確率密度関数を上記変数で積分した場合にオブジェクトの分布確率が所定の値となる上記視野中の領域に重畳される上記分布表示を生成してもよい。
これにより、オブジェクトの分布確率を考慮して、オブジェクトの分布をより的確に表現することができる。
また、上記制御部は、上記視野内に分布する複数のオブジェクトのうち、関連する付加情報を有する複数のオブジェクトをグループ化してもよい。
これにより、関連する属性等の付加情報を有するオブジェクトに対する分布表示を生成することができる。
上記制御部は、上記視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化してもよい。
これにより、ARアイコン等が過密に配置されることを防止することができる。
また、上記制御部は、
上記複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、
上記グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成されてもよい。
これにより、必要に応じて、各オブジェクトに対して詳細な情報提供を行うことができる。
この場合、上記制御部は、
上記グループ化された複数のオブジェクトの上記視野内における密度が所定の基準以上であると判定した場合、上記第1のモードを選択してもよい。
これにより、ARアイコン等が過密に配置されることを防止することができる。
上記制御部は、ユーザが上記分布表示を注視していると判定した場合に、上記第1のモードから上記第2のモードへ切り替えるように構成されてもよい。
例えば、上記制御部は、上記分布表示が上記視野の中心に表示されていると判定された場合に、ユーザが上記分布表示を注視していると判定してもよい。
これにより、ユーザの意思に基づいて、グループ化された各オブジェクトについての詳細な情報提供を行うことができる。
上記制御部は、上記視野中の上記分布表示の占める面積の割合が所定の割合より大きいと判定した場合、上記分布表示を上記所定の割合以下に縮小してもよい。
これにより、視野の大きさに応じた形状の視認性の高い分布表示を提示することができる。
上記表示部は、ユーザに装着可能に構成されてもよい。
これにより、表示装置を、ウェアラブルディスプレイとして構成することができる。
本技術の他の形態に係る情報処理システムは、制御装置と、表示装置とを具備する。
上記制御装置は、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能に構成される。
上記表示装置は、制御部と、表示部とを有する。
上記制御部は、上記複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。
上記表示部は、上記ユーザの視野に上記分布表示を提示する。
本技術のさらに他の形態に係る制御方法は、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化するステップと、
上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成するステップと、
上記ユーザの視野に上記分布表示を提示するステップとを含む。
以上のように、本技術によれば、複数のオブジェクトについてシンプルで視認性の高い情報提供が可能な表示装置、及びそれを用いた情報処理システム並びに制御方法を提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施形態に係るARシステム(情報処理システム)の構成を示す概略図である。 上記ARシステムのHMD(表示装置)の視野の例を示す図である。 上記ARシステムの構成を示すブロック図である。 上記HMDのコントローラの機能的構成を説明するためのHMDのブロック図である。 円筒座標と視野の説明をする概略図である。 円筒座標上における視野を示す円筒座標の展開図である。 円筒座標から視野(ローカル座標)への変換方法を説明する図である。 上記ARシステムにおける処理の流れを示すフローチャートである。 図8に示す分布表示及びARアイコンの描画処理の流れを示すフローチャートである。 描画処理実行前の視野を示す図である。 第1のモードにおいて描画処理が実行された視野を示す図である。 第2のモードにおいて描画処理が実行された視野を示す図である。 ガウス関数の例を示すグラフであり、縦軸はx、横軸は分布確率ψ(x)を示す。 分布表示の他の例を示す図である。 分布表示のさらに他の例を示す図である。 分布表示のさらに他の例を示す図である。 第1の実施形態の参考例に係る視野を模式的に示す図である。 第1の実施形態の参考例に係る視野を模式的に示す図である。 第1の実施形態の他の参考例に係る視野を模式的に示す図である。 第1の実施形態の適用例1で説明したアプリケーションプログラムの処理により提示された視野の例を示す図である。 第1の実施形態の適用例2で説明したアプリケーションプログラムの処理により提示された視野の例を示す図である。 第1の実施形態の適用例3で説明したアプリケーションプログラムの処理により提示された視野の例を示す図である。 第1の実施形態の適用例4で説明したアプリケーションプログラムの処理により提示された視野の例を示す図である。 変形例1−1に係る視野の例を示す図である。 変形例1−2に係る視野の例を示す図である。 変形例1−4に係る第2のモードにおける視野の例を示す図である。 変形例1−5に係るモード切替の例を示す視野の図である。 変形例1−6に係る視野の例を示す図である。 変形例1−8に係る視野の例を示す図である。 本技術の第2の実施形態に係るコントローラの機能的構成を説明するためのHMDのブロック図である。 上記コントローラの動作例を示すフローチャートである。 視野の画角について説明する図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[ARシステムの概略構成]
図1は、本技術の第1の実施形態に係るARシステム(情報処理システム)の構成を示す概略図である。
同図において、X軸方向及びZ軸方向は相互に直交する水平方向を示し、Y軸方向は鉛直軸方向を示している。これらXYZ直交座標系は、ユーザの属する実空間の座標系を表し、X軸の矢印はユーザから見た右方向を示し、Y軸の矢印はユーザから見た下方向を示している。またZ軸の矢印はユーザから見た前方向を示している。
図1に示すように、ARシステム100は、ヘッドマウントディスプレイ(Head Mounted Display;HMD)10と、携帯情報端末30と、ARサーバ40とを備える。
ARサーバ40は、インターネット50上のサーバ装置である。ARサーバ40は、後述するオブジェクトに関する情報を記憶しており、本実施形態における「制御装置」として機能する。
携帯情報端末30は、典型的にはスマートフォンであるが、携帯電話機、タブレット端末、パーソナルコンピュータ(PC:Personal Computer)、タブレットPC、PDA(Personal Digital Assistant)等の情報処理装置で構成される。
携帯情報端末30は、GPS(Global Positioning System)機能によってユーザの現在位置を取得することができる。また携帯情報端末30は、インターネット50を介してARサーバ40に接続されており、ARサーバ40からAR表示処理等に関する情報を取得することできる。さらに携帯情報端末30は、Bluetooth(登録商標)等の近距離無線通信システムによってコントローラ20と接続され、コントローラ20へAR表示処理等に関する情報やユーザの現在位置に関する情報を送信することができる。
HMD10は、眼鏡形状のシースルー型ディスプレイとして構成された表示部11と、コントローラ20とを有し、本実施形態における「表示装置」として機能する。なお、図1のHMD10は、形状を模式的に示している。
コントローラ20は、ユーザによる入力操作に基づいて、HMD10の動作を制御する。コントローラ20は、所定の規格に対応したケーブルによって表示部11と接続されており、携帯情報端末30から取得した情報に基づいて処理を実行する。
これにより、HMD10は、HMD10を装着したユーザに、シースルー型ディスプレイを介して、現実空間に分布するオブジェクトにそれと関連する画像が重畳された視野を提供することができる。以下、オブジェクトに関連する画像をARアイコンと称する。
なお、ここでいう「現実空間に分布するオブジェクト」とは、現実空間に存在するオブジェクトであってもよいし、現実空間に存在せず、現実空間に重畳するように表示される仮想的なオブジェクトであってもよい。
[ARシステムの機能の概要]
図2は、HMD10の視野Vの例を示す図である。
視野Vは、シースルー型ディスプレイに形成されている。同図の例では、現実空間に存在する2つのビルが透過して表示されており、1つのビルに含まれる2つの店舗及び他のビルに含まれる2つの店舗をオブジェクトとする。AR技術を用いると、例えばこれらの図に示すように、現実空間に存在するオブジェクトに対して、付加的な情報を示すARアイコンBを重畳的に表示することができる。
図2に示すように、本実施形態によれば、4店舗がグループ化されて、このグループ化されたオブジェクトに対し分布表示Dが表示される。分布表示Dは、グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有し、これらの分布する領域付近に表示されている。また、ARアイコンBは、オブジェクト毎に表示されるのではなく、例えば当該グループに対して1つ表示される。
このように、分布表示Dによれば、複数のオブジェクトの分布が直観的に提示される。
図3は、ARシステム100の構成を示すブロック図である。
以下、同図を参照してARシステム100の各要素について説明する。
[ARサーバの構成]
図3に示すように、ARサーバ40は、CPU401と、メモリ402と、ネットワーク通信部403とを有する。ARサーバ40は、例えば、ユーザの周囲の現実空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能に構成される。ARサーバ40は、図示しないが、必要に応じて入力デバイスや表示デバイス、スピーカ等の構成を有していてもよい。
CPU401は、ARサーバ40全体の動作を制御する。
メモリ402は、ROM(Read Only Memory)及びRAM(Random Access Memory)や、HDD(Hard Disk Drive)及びフラッシュメモリ(SSD;Solid State Drive)等の不揮発性メモリを有し、CPU401によるARサーバ40の制御を実行するためのプログラムや各種パラメータ、その他必要なデータを記憶する。
ネットワーク通信部403は、インターネット50を介して携帯情報端末30と通信する。通信方法は特に限定されず、Ethernet(登録商標)用のNIC(Network Interface Card)を用いた有線通信であってもよいし、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いた無線通信であってもよい。
メモリ402は、また、オブジェクトデータベース404を保持する。
オブジェクトデータベース404には、オブジェクト毎に、オブジェクトの属性、オブジェクトの位置等の情報等が記憶される。またオブジェクトデータベース404は、同一の属性のオブジェクトを含むデータベースの集合体であってもよい。
オブジェクトデータベース404には、ARサーバ40とインターネット50を介して接続された携帯情報端末30や他の携帯情報端末、情報処理装置等により、適宜新たなオブジェクトの情報が追加登録される。
[携帯情報端末の構成]
図3に示すように、携帯情報端末30は、CPU301と、メモリ302と、ネットワーク通信部303と、近距離通信部304と、GPS通信部305と、タッチパネルが搭載された表示部306と、内部電源307とを有する。
CPU301は、携帯情報端末30全体の動作を制御する。
メモリ302は、ROM及びRAM、不揮発性メモリ等を有し、CPU301による携帯情報端末30の制御を実行するためのアプリケーションプログラムや各種パラメータ、コントローラ20へ送信されるオブジェクトの情報、その他必要なデータを記憶する。
ネットワーク通信部303は、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いて、ARサーバ40等と通信する。携帯情報端末30は、ネットワーク通信部303を介してARサーバ40から、コントローラ20へ送信するべきオブジェクトの情報をダウンロードし、メモリ302へ格納する。
近距離通信部304は、Bluetooth(登録商標)、赤外線通信等の近距離通信システムを用いて、コントローラ20や他の携帯情報端末と通信する。
GPS通信部305は、GPS衛星からの信号を受信することで、携帯情報端末30を携帯するユーザの現在位置を取得する。
表示部306は、例えばLCD(Liquid Crystal Display)やOELD(Organic ElectroLuminescence Display)で構成され、各種メニューやアプリケーションのGUI等を表示する。典型的には、表示部306は、タッチパネルを搭載しており、ユーザのタッチ操作を受け付け可能である。
内部電源307は、携帯情報端末30の駆動に必要な電力を供給する。
[HMDの構成]
図1及び図3に示すように、HMD10は、表示部11と、検出部12と、コントローラ20とを有する。
(表示部)
表示部11は、ユーザの視野に分布表示を提示することが可能に構成され、ユーザの頭部に装着可能に構成される。表示部11は、視野から透過される現実空間を提示するととともに、この現実空間に重畳的にARアイコンを表示する。表示部11は、第1及び第2の表示面111R,111Lと、第1及び第2の画像生成部112R,112Lと、支持体113とを有する。
第1及び第2の表示面111R,111Lは、それぞれユーザUの右眼及び左眼に現実空間(外界視野)を提供可能な透明性を有する光学素子で構成される。
第1及び第2の画像生成部112R,112Lは、それぞれ第1及び第2の表示面111R,111Lを介してユーザUへ提示される画像を生成可能に構成される。
支持体113は、表示面111R,111L及び画像生成部112R,112Lを支持し、第1及び第2の表示面111R,111LがユーザUの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。
以上のように構成される表示部11は、ユーザUに対して、表示面111R,111Lを介して実空間に所定の画像(あるいは虚像)が重畳された視野Vを提供することが可能に構成される。
(検出部)
検出部12は、表示部11の姿勢変化を検出することができる。本実施形態において検出部12は、X,Y及びZ軸周りの姿勢変化をそれぞれ検出するように構成されている。
検出部12は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部12は、角速度センサ及び加速度センサの各々を3軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部11の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。
また、鉛直軸(Z軸)周りの表示部11の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い方位あるいは姿勢変化の検出が可能となる。
検出部12は、表示部11の適宜の位置に配置されている。検出部12の位置は特に限定されず、例えば画像生成部112R,112Lのいずれか一方に配置され、あるいは支持体113の一部に配置されてもよい。
(コントローラ)
コントローラ20は、HMD10の制御部として機能し、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、分布表示を生成する。以下では、オブジェクトが現実空間に分布する例を挙げるが、後述するように、オブジェクトは仮想空間に分布するものであってもよい。
図3に示すように、コントローラ20は、CPU201と、メモリ202と、通信部203と、入力操作部204と、内部電源205とを有する。
CPU201は、コントローラ20全体の動作を制御する。メモリ202は、ROM及びRAM等を有し、CPU201によるコントローラ20の制御を実行するためのプログラムや各種パラメータ、オブジェクトの情報、その他必要なデータを記憶する。通信部203は、携帯情報端末30との近距離通信のためのインターフェースを構成する。
入力操作部204は、ユーザ操作によってHMD10で表示される画像を制御するためのものである。入力操作部204は、メカニカルスイッチ及び/又はタッチセンサで構成され得る。
内部電源205は、HMD10の駆動に必要な電力を供給する。
HMD10はさらに、スピーカ等の音響出力部、カメラ等を備えていてもよい。この場合、上記音声出力部及びカメラは、典型的には表示部11に設けられる。さらにコントローラ20には、表示部11の入力操作画面等を表示する表示デバイスが設けられてもよい。この場合、入力操作部204は、当該表示デバイスに設けられたタッチパネルで構成されてもよい。
[コントローラの機能的構成]
図4は、コントローラの機能的構成を説明するためのHMD10のブロック図である。
同図に示すように、コントローラ20は、視野設定部21と、オブジェクト情報管理部22と、オブジェクト抽出部23と、オブジェクト分布算出部24と、グループ管理部25と、モード切替部26と、分布表示生成部27と、ARアイコン表示処理部28とを有する。これらの各要素は、主に、メモリ202に格納されたアプリケーションプログラムに従い、CPU201によって実行される。以下、各要素について説明する。
(視野設定部)
視野設定部21は、検出部12の検出結果から算出された表示部11の姿勢に基づいて、視野の範囲を設定する。本実施形態において、視野設定部21による視野の範囲の設定には、鉛直軸Azを中心とし、ユーザUを包囲する仮想上の円筒座標C0が用いられる。
図5は、円筒座標C0と視野Vの説明をする概略図である。
同図に示すように、円筒座標C0は、ユーザU(表示部11)の位置に鉛直軸Azを有し、この鉛直軸Azから距離(半径)Rの位置に配置された仮想的な周面上の位置を規定する座標系である。円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。円筒座標C0の上記半径R、高さHは任意に設定可能である。なお、鉛直軸Azを規定するユーザUの位置は、携帯情報端末30によって取得されたユーザUの位置により規定される。
同図に示すように、視野設定部21は、検出部12の出力に基づいて表示部11の姿勢変化を算出し、ユーザUの視野Vが円筒座標C0上のどの領域に属するか判定する。円筒座標C0における視野Vの属する領域は、θ,h各々の範囲によって規定される。視野VはユーザUの姿勢変化によって円筒座標C0上を移動し、その移動方向や移動量は、検出部12の出力に基づいて算出される。
図6は、円筒座標C0上における視野Vを示す円筒座標C0の展開図である。図中の符号Ocは、円筒座標C0の原点を示す。
視野Vは略矩形状であり、例えば視野Vの周方向の範囲は、以下の式(1)で表される。
θv1≦θv≦θv2 …(1)
一方、視野Vの高さ方向の範囲は、以下の式(2)で表される。
hv1≦hv≦hv2 …(2)
さらに、視野Vは、左上の隅部を原点OPとするxy座標(ローカル座標)を有する。x軸は、原点OPから水平方向に延びる軸であり、y軸は、原点OPから垂直方向に延びる軸である。詳細については、後述する。
(オブジェクト情報管理部)
オブジェクト情報管理部22は、通信部203を介して携帯情報端末30から所定のオブジェクトの情報を取得し、取得したオブジェクトの情報を管理する。オブジェクト情報管理部22によるオブジェクト取得のタイミングは、例えば後述するように、現在位置が所定の距離以上変化したと判定されたタイミングとすることができる。
オブジェクト情報管理部22は、本実施形態において、携帯情報端末30を介してオブジェクトデータベース404から複数のオブジェクトの情報を取得することができる。
オブジェクトの情報は、例えば、オブジェクトの属性、オブジェクトの名称、オブジェクトの位置等の情報を含んでいる。オブジェクトの位置の情報は、典型的には、オブジェクトの絶対位置(緯度、経度等)の情報を含む。
(オブジェクト抽出部)
オブジェクト抽出部23は、視野設定部21の処理結果に基づいて、情報が取得されたオブジェクトのうち、視野V内に分布するオブジェクトを抽出する。
オブジェクト抽出部23は、まず、オブジェクトの絶対位置とユーザの現在位置に基づいて、オブジェクトの円筒座標C0における座標(θa,ha)を算出する。ユーザの現在位置は、携帯情報端末30から取得することができる。
オブジェクト抽出部23は、座標(θa,ha)が円筒座標C0内の視野Vの範囲(式(1)及び式(2)の範囲)に含まれるオブジェクトを抽出することができる。
再び図5を参照し、オブジェクトの円筒座標C0における座標(θa,ha)について説明する。
オブジェクトA1〜A4は、現実空間上に存在し、典型的にはユーザUから円筒座標C0の半径Rよりも遠い位置に存在する。したがって、オブジェクトA1〜A4の円筒座標C0における位置は、同図に示すように、オブジェクトA1〜A4を注視するユーザの目線Lと円筒座標C0との交差位置により規定され得る。オブジェクトA1〜A4の円筒座標C0における位置は、円筒座標C0上の座標(θa,ha)により表される。
なお、図示の例では、オブジェクトA1〜A4各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトの周縁の一部(例えば四隅の一部)を上記交差位置に一致させてもよい。あるいは、オブジェクトA1〜A4の位置が上記交差位置から離れた任意の位置に対応付けられてもよい。
(オブジェクト分布算出部)
オブジェクト分布算出部24は、抽出されたオブジェクトの分布を算出する。
オブジェクト分布算出部24は、視野Vに表示されると判定された各オブジェクトの位置(θa,ha)を、視野V内のローカル座標(xa,ya)に変換する処理を実行し、視野V内のオブジェクトの分布を算出することができる。
図7A,図7Bは、円筒座標C0から視野V(ローカル座標)への変換方法を説明する図である。
図7Aに示すように円筒座標C0上における視野Vの基準点の座標を(θv,hv)とし、視野V内に位置するオブジェクトAの基準点の座標を(θa、ha)とする。視野V及びオブジェクトAの基準点はどの点に設定されてもよく、本例では矩形状である視野V及びオブジェクトAの左上のコーナ部に設定される。αv[°]は、円筒座標上における視野Vの幅角度であり、その値は表示部11の設計あるいは仕様によって確定する。
オブジェクト分布算出部24は、円筒座標系(θ,h)をローカル座標系(x,y)に変換することで、視野VにおけるオブジェクトAの位置を決定する。図7Bに示すようにローカル座標系における視野Vの高さ及び幅をそれぞれHv及びWvとし、ローカル座標系(x,y)におけるオブジェクトAの基準点の座標を(xa,ya)とすると、変換式は、以下のとおりである。
xa=(θa−θv)・Wv/αv …(3)
ya=(ha−hv)・Hv/100 …(4)
これにより、オブジェクト分布算出部24が上記変換式に基づいて視野V中の各オブジェクトの座標(xa,ya)を算出することができる。
(グループ管理部)
グループ管理部25は、ユーザの周囲の現実空間に分布する複数のオブジェクトをグループ化するとともに、グループの情報を管理する。グループ化されるオブジェクトは、例えば視野V方向に分布するオブジェクトとすることができる。グループの情報は、例えば、グループに含まれるオブジェクトの数や、オブジェクト情報管理部22から取得したオブジェクトの共通する属性等の情報を含む。
グループ管理部25は、所定の条件に基づいて複数のオブジェクトをグループ化する。所定の条件として、例えば複数のオブジェクトの視野V内における密度や、オブジェクト属性の共通性等の条件が挙げられる。
また、グループ管理部25は、例えば、ユーザがオブジェクトに近づいたこと等により、グループ化された複数のオブジェクトの視野V内における密度が所定の基準未満に低下したと判定した場合、グループを再編することもできる。
(モード切替部)
モード切替部26は、複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成される。ここでいう「グループに対する描画処理」は、例えば当該グループに対する分布表示の描画処理や、グループの付加的な情報を表示するARアイコンの描画処理を示す。「複数のオブジェクト各々に対応する描画処理」は、例えば各オブジェクトの付加的な情報を表示するARアイコンの描画処理を示す。
モード切替部26は、所定の条件に基づき、第1のモードと第2のモードとを切り替える。例えば、モード切替部26は、入力操作部204によりモード切替に対応するユーザ操作が受け付けられたと判定した場合、第1のモードと第2のモードとを切り替えてもよい。
(分布表示生成部)
分布表示生成部27は、グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。本実施形態において、分布表示は、グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有し、これらの分布する領域付近に表示される分布表示を生成する。
例えば、分布表示生成部27は、グループ化された複数のオブジェクト各々の視野中における位置を示す座標(xa,ya)を変数とした確率密度関数を用いて、分布表示を生成することができる。詳細は、後述する。
分布表示生成部27は、第1のモード及び第2のモードのいずれにおいても分布表示を生成してもよいし、第1のモードのみ分布表示を生成してもよい。
(ARアイコン表示処理部)
ARアイコン表示処理部28は、視野V内に分布するオブジェクトの付加的な情報を提供するARアイコンを表示する処理を実行する。ARアイコンは、オブジェクトA1〜A4の付加的な情報を表示する画像であって、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またARアイコンは、2次元画像であってもよいし、3次元画像であってもよい。さらにARアイコンの形状は、矩形、円形その他の幾何学的形状であってもよく、ARアイコンの種類によって適宜設定可能である。
ARアイコン表示処理部28は、第2のモードにおいては、グループ化された複数のオブジェクト各々についてのARアイコンを表示する。
ARアイコン表示処理部28は、第1のモードにおいては、グループに対して例えば1つのARアイコンを表示することができる。この場合、ARアイコンは、グループに属するオブジェクトの数や、グループに属する複数のオブジェクトに共通する属性などを表示することができる。
ARアイコン表示処理部28は、オブジェクトの分布に基づいて視野V中の所定の領域にARアイコンを表示することができる。例えばARアイコン表示処理部28は、各オブジェクトの位置(オブジェクトを注視するユーザの目線Lと円筒座標C0との交差位置)から所定の距離だけ離間した位置にARアイコンを表示してもよい。あるいはARアイコン表示処理部28は、オブジェクトや分布表示の占める領域を算出し、当該領域の近傍にARアイコンを表示してもよい。
[ARシステムの動作例]
(オブジェクト情報の取得処理)
図8Aは、コントローラ20におけるオブジェクト情報の取得処理の流れを示すフローチャートである。本動作例では、コントローラ20が、ユーザの現在位置が例えば50m以上変化した場合に、オブジェクト情報の取得処理を実行する。
なお同図において、ST101乃至ST104の処理は、携帯情報端末30により実行される。また、ST201乃至ST203の処理は、ARサーバ40により実行され、ST301の処理は、HMD10のコントローラ20により実行される。
まず携帯情報端末30のCPU301は、AR表示物候補の情報の取得条件を満たしているか否か判定する(ST101)。具体的には、CPU301は、GPS通信部305から取得された現在位置の情報に基づいてユーザの現在位置が50m以上変化したか否か判定してもよい。またCPU301は、上記に加えて、あるいは上記に替えて、ARサーバ40からAR表示物候補の状態変化に関する通知を受信したか否か判定してもよい。
AR表示物候補の情報の取得条件を満たしていると判定された場合(ST101でYes)、ネットワーク通信部303は、CPU301の制御に基づき、GPS通信部305から取得された現在位置をARサーバ40へ送信する(ST102)。
ARサーバ40のネットワーク通信部403は、CPU401の制御に基づき、携帯情報端末30から送信された現在位置を受信する(ST201)。続いてCPU401は、取得された現在位置に応じたオブジェクトの情報を、オブジェクトデータベース404から取得する(ST202)。そして、ネットワーク通信部403は、CPU401の制御に基づき、携帯情報端末30へ取得されたオブジェクトの情報を携帯情報端末30へ送信する(ST203)。
携帯情報端末30のネットワーク通信部303は、CPU301の制御に基づき、ARサーバ40から送信されたオブジェクトの情報を取得する(ST103)。続いて近距離通信部304は、CPU301の制御に基づき、取得されたオブジェクトの情報をコントローラ20へ送信する(ST104)。
最後にコントローラ20の通信部203は、CPU201の制御に基づき、携帯情報端末30から送信されたオブジェクトの情報を受信し、CPU201が当該情報をメモリ202に保存する(ST301)。
これにより、コントローラ202のオブジェクト情報管理部22は、オブジェクトデータベース404に含まれる複数のオブジェクトの情報を取得することができる。
一方、コントローラ20は、取得したオブジェクトの情報を用いて所定のタイミングで描画処理を実行する。以下、コントローラ20のCPU201を動作主体とした描画処理の概要について説明する。
(コントローラの描画処理)
図8Bは、コントローラの描画処理の流れを示すフローチャートである。
まず、CPU201は、1/30secの描画タイミングになったか否か判定する。
描画タイミングになったと判定された場合(ST401でYes)、CPU201は、検出部12の検出結果を取得する(ST402)。
続いてCPU201は、メモリ202からオブジェクトの情報を取得する(ST403)。具体的に、CPU201(オブジェクト情報管理部22)は、図8AのST301で示した各データベースに含まれる複数のオブジェクトを取得する。
続いて、CPU201が、メモリ202との協働によって、分布表示及びARアイコンの描画処理を実行する(ST404)。これにより、表示部11は、描画処理の表示結果を視野Vから出力することができる。
以下、この分布表示及びARアイコンの描画処理の詳細について説明する。
(分布表示及びARアイコンの描画処理)
図9は、コントローラ20の分布表示及びARアイコンの描画処理の流れを示すフローチャートである。ここでは、CPU201が、メモリ202に格納された飲食店検索アプリケーションプログラムに従って処理を実行するものとする。
まず、視野設定部21が、検出部12の検出結果から算出された表示部11の姿勢に基づいて、視野Vの範囲を設定する(ST501)。視野Vの範囲は、円筒座標C0を用いて、上記式(1)及び式(2)で表される。
続いて、オブジェクト抽出部23が、視野設定部21の処理結果に基づいて、視野V内に分布するオブジェクトがあるか否か判定し(ST502)、あると判定された場合(ST502でYes)、視野V内に分布するオブジェクトを抽出する(ST503)。
具体的な処理として、オブジェクト抽出部23は、GPS通信部305によって取得された現在位置の情報と、各オブジェクトの絶対位置とに基づいて、図5で説明したように円筒座標C0上における各オブジェクトの座標(θa,ha)を算出する。
そしてオブジェクト抽出部23は、円筒座標C0内の視野Vの範囲(式(1)及び式(2)の範囲)に含まれる座標(θa,ha)を有するオブジェクトがあるか否か判定し(ST502)、あると判定された場合、この範囲に含まれるオブジェクトの座標(θa,ha)を全て抽出する(ST503)。
図10は、描画処理実行前の視野Vを示す図である。
オブジェクト抽出部23は、同図に示す例では、飲食店A11、飲食店A12、飲食店A13及び飲食店A14、並びに、ビルA21、ビルA22、ビルA23及び交差点A31を抽出する。
続いて、オブジェクト分布算出部24が、視野V内に分布するオブジェクトの分布を算出する(ST503)。オブジェクト分布算出部24は、図9を用いて説明したように、抽出された各オブジェクトについて、円筒座標C0における座標(θa,ha)から視野V内のローカル座標(xa,ya)を算出する。
図10に示す例では、各オブジェクトA11〜A14のローカル座標における位置は、それぞれ、ローカル座標(xa11,ya11),(xa12,ya12),(xa13,ya13),(xa14,ya14)と算出されるものとする。
続いて、グループ管理部25が、視野V内に分布する複数のオブジェクトをグループ化する(ST504)。
図10に示す例において、グループ管理部25は、「飲食店」という関連する付加情報を有する視野V中の4つのオブジェクトA11〜A14をグループG10としてグループ化する。この場合、関連する付加情報は、オブジェクトの属性である。なお、本動作例において、グループ管理部25は、ビルA21、ビルA22、ビルA23及び交差点A31についてはグループ化しない。
続いて、モード切替部26が、第1のモードであるか否か判定する(ST505)。モード切替部26は、本実施形態において、処理開始時のモードと、ユーザによる入力操作部204を介したモード切替に対応する入力操作の有無とを鑑みて、現在のモードを判定することができる。
第1のモードであると判定された場合(ST505でNo)、分布表示生成部27は、グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有しこれらの分布する領域付近に表示される分布表示を生成する(ST506)。これにより、コントローラ20が表示部11を制御することで、ユーザに分布表示が提示される。
続いて、ARアイコン表示処理部28が、視野V内に分布するグループG1やビルA21、ビルA22、ビルA23及び交差点A31に対してARアイコンを表示する処理を実行する(ST507)。
図11は、第1のモードにおいて描画処理が実行された視野Vを示す図である。
同図に示すように、グループ化されたオブジェクトA11〜A14上には、分布表示D10が重畳的に表示されている。
例えばARアイコン表示処理部28は、分布表示D10の占める領域を算出し、分布表示D10の上部に沿った位置にグループG10に関連するARアイコンB10を表示する。
ARアイコンB10には、同図に示すように店舗数を表示してもよいし、あるいはグループに含まれる各オブジェクトに共通する属性等を表示してもよい。また、全てのオブジェクトに共通する属性はないが、統計的に有意な属性がある場合には、当該属性を表示してもよい。
ARアイコン表示処理部28は、同図に示すように、ビルA21、ビルA22、ビルA23及び交差点A31各々に関連するARアイコンB21,B22,B23,B24,B31を、適宜の位置に表示する。ARアイコンB21,B22,B23,B24,B31には、同図に示すように、例えばビルや交差点の名称を表示することができる。
一方、ST505において第1のモードでないと判定された場合(ST505でNo)、ARアイコン表示処理部28が、第2のモードであるとして、グループ化された複数のオブジェクト各々に対してARアイコンを表示する処理を実行する(ST507)。
図12は、第2のモードにおいて描画処理が実行された視野Vを示す図である。
同図に示すように、ARアイコン表示処理部28は、グループ化されたオブジェクトA11〜A14各々に関連するARアイコンB11,B12,B13,B14を生成し、表示することができる。これらのARアイコンB11〜B14は、同図に示すように、それぞれ、各オブジェクトの店舗名等を表示することができる。
また、ARアイコン表示処理部28は、各ARアイコンB11〜B14が重複しないようにARアイコンの位置を調整してもよい。
以上のように、本動作例によれば、第1のモードにおいてはグループ化されたオブジェクトに分布表示を表示させることができ、第2のモードにおいてはグループ化されたオブジェクトをブレイクダウンして表示させることができる。
続いて、分布表示の詳細な生成処理について説明する。
(分布表示の生成処理)
本実施形態において、分布表示生成部27は、グループ化された複数のオブジェクト各々の視野中における位置を示す座標を変数とした確率密度関数を用いて、分布表示を生成することができる。例えば、確率密度関数は、ガウス関数とすることができる。
図13は、ガウス関数の例を示すグラフであり、縦軸はx、横軸は分布確率ψ(x)を示す。同図に示すガウス関数は、ガウス関数の一つである正規分布関数であり、以下の式(5)で表される。
以下、図10に示す各オブジェクトA11〜A14を例に、正規分布関数ψ(x)の導出方法について説明する。
分布表示生成部27は、まず、各オブジェクトA11〜A14のローカル座標におけるxの値(xa11,xa12,xa13,xa14)から、平均値μと標準偏差σとを算出する。これにより算出されたμ,σを式(5)に代入し、x軸方向における正規分布関数ψ(x)を導出する
ψ(xa)の値は、xaを確率密度変数とした場合の相対尤度を示し、言い換えればxaを含む微小区間におけるオブジェクトの仮想的な密度を示す。
ここで、オブジェクトの密度とは、オブジェクトの混み具合を示す度合いをいう。具体的に、オブジェクトの密度は、単位領域当たりのオブジェクトの数(実際の密度)や、オブジェクトの視野中の位置を示す座標の分散を含む概念である。
図10に示す例では、オブジェクトの座標が離散的に分布しており、実際の密度を算出することは現実的ではない。そこで、この例では、オブジェクトの密度は、分散(σ)の値によって規定されるものとする。
また、図13を参照し、σ、つまり分散が小さいほどグラフのカーブも急峻になり、平均値μ付近でのψの値が大きくなる。このように、グラフからも、分散が密度と相関することが示される。
一方で、分布表示生成部27は、同様にy軸方向についても正規分布関数ψ(y)を導出する。すなわち、分布表示生成部27は、各オブジェクトA11〜A14のローカル座標におけるyの値(ya11,ya12,ya13,ya14)から平均値μと標準偏差σとを算出し、軸方向における正規分布関数ψ(y)を得る。
そして分布表示生成部27は、導出されたψ(x)、ψ(y)各々を変数で積分した場合に、オブジェクトの分布確率(存在確率)が所定の値以上となる視野中の領域付近に表示される分布表示を生成する。
例えば、オブジェクトの分布確率は、確率密度関数ψ(x)を変数xについて所定の範囲で積分することで導出することができる。したがって、所定の分布確率に対応する積分範囲[xd1,xd2]、[yd1,yd2]を求めることで、上記領域を抽出することができる。
この積分範囲は、例えば変数がxの場合、以下の式(6)のような範囲として規定することができる。
[xd1,xd2]=[μ−kσ,μ+kσ](k>0) …(6)
式(6)によれば、グラフの概形によらず、kの値のみによって分布確率を規定することができる。
例えば、k=0.6745を(6)式に代入した場合、ψ(x)の積分結果は0.5となり、(6)式で示す区間のオブジェクトの分布確率は50%となる。同様に、例えばk=1を代入した場合、(6)式で示す区間のオブジェクトの分布確率は68.27%となる。このように、(6)式のkの値を設定することで、オブジェクトの分布確率が所定の値となるx(及びy)の範囲を導出することができる。
なお、分布表示生成部27は、上記の積分範囲を導出する例以外にも、例えば所定の値以上のψ(x)やψ(y)に対応する変数x、yの範囲を抽出し、これらの範囲に対応する視野中の領域付近に表示される分布表示を生成してもよい。
図11に示すように、分布表示は、上記抽出されたx及びyの範囲に重畳された図形である。このような分布表示により、形状によって複数のオブジェクトの分布を表現することができる。
また分布表示は、矩形でもよいが、例えば図示するように周縁の全部又は一部を滑らかな曲線で構成することができる。
さらに分布表示生成部27は、複数のオブジェクトを視認可能な透過度を有する分布表示を生成することができる。これにより、オブジェクト上を覆う霧や雲のように表現された分布表示を生成することができる。
(分布表示の生成例1)
図14は、分布表示の他の例を示す図である。
同図に示すように、分布表示生成部27は、ψの値や式(6)のkの値の範囲に基づいて、分布表示における少なくとも色相、明度、彩度のいずれかを変化させてもよい。例えば、分布表示は、ψの値が大きい領域ほど、すなわち密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する構成とすることができるし、あるいはψの値に応じて色相を変化させてもよい。
これにより、分布表示生成部27は、グループ化された複数のオブジェクトの密度に基づいて色調を変化させるように分布表示を生成することができる。
また、分布表示の色調は、同図に示すように段階的に変化してもよいし、連続的に変化してもよい。
(分布表示の生成例2)
図15は、分布表示のさらに他の例を示す図である。
同図に示すように、分布表示生成部27は、グループが複数ある場合、各グループについて分布表示を生成することができる。
同図に示す例では、グループG20はレストランの属性を有するオブジェクトを含み、グループG30はコンビニエンスストアの属性を有するオブジェクトを含む。これらの各グループに、分布表示D20,D30がそれぞれ重畳されている。また、各グループG20,G30に対し、ARアイコンB10,B20が付加されている。
これにより、視野内に異なる属性を有する複数のオブジェクトが分布する場合や、複数のオブジェクトの分布に偏りがある場合であっても、ユーザに対し適切な分布表示を提示することができる。
(分布表示の生成例3)
図16は、分布表示のさらに他の例を示す図である。同図に示す符号A41〜A44は、オブジェクトを示す。
グループ内にオブジェクトの密集する領域が複数存在する場合には、一つの確率密度関数を用いた場合に、オブジェクトの分布を示す適切な分布表示を得ることができない。
そこで、分布表示生成部27は、グループ内のオブジェクトの分布の偏りを表す形状を有する分布表示D40を生成することができる。
より具体的に、分布表示生成部27は、グループ化された複数のオブジェクトのうち、密度が所定の基準以上となる複数のオブジェクトをそれぞれ有する小グループがあるか否か判定してもよい。あると判定された場合、分布表示生成部27は、小グループ毎に、各小グループに属する複数のオブジェクト各々の視野中における位置を示す座標を変数とした確率密度関数を導出し、導出された複数の確率密度関数の和により得られた確率密度関数を用いて、分布表示を生成することができる。
この場合、分布表示生成部27は、後述する変形例1−1と同様に、グループ化された複数のオブジェクトのうち、分散が所定の値以下となる複数のオブジェクトをそれぞれ有する小グループがあるか否か判定してもよい。
これにより、同図に示すように、オブジェクトの分布により即した形状の分布表示を生成することができる。
[本実施形態の作用効果]
以上のように、本実施形態によれば、複数のオブジェクトをグループ化し、その分布する領域付近に表示された分布表示を生成することで、視野Vを視認するユーザに対し、オブジェクトの分布を直観的に理解させることができる。したがって、視野V内に複数のオブジェクトが存在する場合であっても、シンプルなスタイルの情報提供が可能となり、視認性を向上させることが可能となる。
例えば、ユーザが視野を介して現実空間を注視している場合、文字等によってオブジェクトの内容を表示するARアイコンによる情報提供では、ARアイコンの内容を十分に認識することができない。また、視野内に占めるARアイコンの割合が大きくなると現実空間への注視が妨げられるとともに、ユーザがARアイコンを注視していると、現実空間への注意が散漫になることもある。以下、具体例を示して説明する。
図17及び図18は、本実施形態の参考例に係る視野を模式的に示す図である。
図17及び図18に示す視野V'には、それぞれ、3つのオブジェクト(図示せず)が領域S内に配置されており、これらに関連するARアイコンB'1,B'2,B'3が表示される。
図17Aに示す視野V'では、ARアイコンB'1,B'2,B'3が重ねられて表示されており、ユーザは、ARアイコンB'2,B'3の内容を把握することができない。
そこで、図17Bに示す視野V'では、ARアイコンB'1,B'2,B'3が重複しないように表示されている。この場合、視野V'中のARアイコンB'1,B'2,B'3の占める割合が高くなる。このため、ユーザが現実空間に存在するオブジェクト等を注視したい場合に、ARアイコンB'1,B'2,B'3が当該オブジェクトと重畳し、注視を妨げるおそれがある。また、制御方法によっては、ARアイコンB'1,B'2,B'3に関連するオブジェクトの分布やARアイコンとオブジェクトとの対応関係が不明確になるおそれがある。
図17Cに示す視野V'では、オブジェクトとそれに関連するARアイコンB'1,B'2,B'3とが線で結ばれており、これらの対応関係が明確になるとともに、オブジェクトの配置も明確になっている。一方で、ユーザが現実空間に存在するオブジェクト等を注視したい場合に、やはりARアイコンB'1,B'2,B'3の存在により注視を妨げるおそれがある。
図18に示す視野V'では、所定のタイミングで、ARアイコンB'1,B'2,B'3が切り替わる。この場合、切り替わるタイミングを十分に確保しないと各ARアイコンB'1,B'2,B'3をユーザに視認させることができない。一方で、ARアイコンB'1,B'2,B'3を全て視認するためには、一定時間ARアイコンを注視し続けなくてはならない。
本実施形態の第1のモードによれば、これらの問題を解消することができる。
すなわち、本実施形態の第1のモードによれば、分布表示が複数のオブジェクト上に重畳的に表示されるため、各オブジェクトに対するARアイコンを表示する必要がない。したがって、視野中のAR表示の占める割合を低減し、現実空間への注視を妨げない。さらに、分布表示は、形状等でオブジェクトの分布を示すことができるため、透過性を有する構成とすることができる。これにより、現実空間の視認性をより向上させることができる。
また、分布表示は、形状や色調により複数のオブジェクトの分布や密度を表現できるため、ユーザに対し直観的かつシンプルにオブジェクトの存在とその分布状態を把握させることができる。したがって、ユーザは、分布表示により、オブジェクトについての必要最低限の情報を短時間で把握することができる。
さらに、分布表示により、ユーザが注視することなくオブジェクトの分布等を漠然と把握することができるため、現実空間への注意を維持させることができる。
これらに加えて、本実施形態では、第1のモードから第2のモードに切り替えることができるため、ユーザが必要に応じてオブジェクトのより詳細な情報を取得することができる。
図19は、本実施形態の他の参考例に係る視野を模式的に示す図である。
図19Aに示す視野V'には、飲食店の店舗が含まれるビルA'4に関連するARアイコンB'41が表示されている。ユーザがこのビルA'4に近づくと、図19Bに示すように、より下位の情報である飲食店等の店名を表示するARアイコンB'42,B'43が表示される。すなわち、図19に示す例では、オブジェクト毎にARアイコンを表示するとARアイコンが密集したりオーバーレイしたりするような場合には、上位の階層の情報についてのARアイコンB'41を表示し、ARアイコンの密集度が緩和するに従い、より下位の階層の情報についてのARアイコンB'42,B'43を表示するように構成される。
この場合、コントローラ20が、オブジェクトの階層に関する情報を取得する必要があり、オブジェクトの階層を整備する必要が生じる。
本実施形態によれば、ARサーバ40等に新規に登録されたオブジェクト等、オブジェクトの階層等の情報が十分でない場合であっても、グループ化の対象とすることができる。これにより、より多くのオブジェクトについて迅速な情報提供が可能になるとともに、階層化整備のための処理量を軽減することができる。
[ARシステムの適用例]
以上の動作例では、ARシステム100(コントローラ20)が飲食店検索アプリケーションプログラム(以下、アプリとも略する)に適用される例を示したが、本実施形態のARシステム100は、他のアプリにも適用され得る。
(適用例1)
ARシステム100は、例えば、人混みスポット探索アプリに適用されることができる。人混みスポット探索アプリは、外出している人が集中している場所をリアルタイムにユーザに提示することができるものとする。この場合、オブジェクトは外出している人である。
例えば、ARサーバ40は、オブジェクトデータベース404として、外出人口データベースを記憶している。ARサーバ40は、例えば複数の人が所有している携帯情報端末から、各人の現在位置と登録された自宅の位置情報とを取得し、各人の自宅からの距離を算出する。また、ARサーバ40は、各人の携帯情報端末にインストールされた行動解析プログラム等によって解析された各人の行動解析結果を取得する。ARサーバ40は、取得されたこれらの情報に基づいて、各人の外出の有無を判断する。また、外出人口データベースには、各人に対応づけられた現在位置と外出状況とが記憶されている。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から外出している人に関する情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する外出している人を抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、外出している人をグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
図20は、本アプリの処理により提示された視野Vの例を示す図である。
同図に示す視野Vには、あるイベント会場が提示されており、分布表示D50が表示されている。このように、本実施形態によれば、視野V内にオブジェクト(人)が視認できなくても、これらのオブジェクトの分布する領域に分布表示D50が表示され得る。
例えば同図に示す例では、ARアイコンB50により、「あるゲーム好き」というユーザの属性の情報と、そのグループまでの距離の情報が提示されている。
このように、ARアイコン表示処理部28は、グループ化された人の所定の属性に統計的に有意な属性があった場合、当該属性をARアイコンB50として表示することができる。また、ARアイコン表示処理部28は、属性のほか、HMD10を装着しているユーザからグループまでの距離を表示してもよい。この場合、グループまでの距離は、HMD10を装着しているユーザから、グループ化された人各々までの距離の平均の距離とすることができる。
これにより、HMD10を装着しているユーザは、初めて訪れるイベント会場等においても、大勢の人で賑わっていたり、自身と趣味が共通するユーザが多くいる場所を容易に探索することができる。さらに、当該ユーザは、自身の意思により、混雑箇所を回避して行動することもできる。
また例えば、ユーザが予め「あるゲーム好き」という情報を登録しておけば、グループ管理部25が、登録された「あるゲーム好き」という属性を有する人をグループ化することも可能である。これにより、ユーザに対してより有効な情報提供をすることができる。
(適用例2)
ARシステム100は、例えば、写真撮影スポット探索アプリに適用されることができる。写真撮影スポット探索アプリは、写真の撮影に好適な場所のユーザから見た方角や距離を提示することができるものとする。この場合、オブジェクトは写真の撮影場所である。
例えば、ARサーバ40は、オブジェクトデータベース404として、撮影スポットデータベースを記憶している。インターネット50上の写真共有サイトや、インターネット50上のブログ等には、デジタルカメラや携帯情報端末で撮影された画像データ(以下、写真データという)がアップロードされている。ARサーバ40は、これらの写真データにメタデータとして付加された撮影位置情報を取得する。撮影位置情報は、例えば、GPS通信部305を有する撮影装置によって、撮影時に取得されるものである。ARサーバ40は、取得した撮影位置情報を撮影スポットデータベースとして保持する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から撮影位置情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する撮影スポットを抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、これらの撮影スポットをグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
図21は、本アプリの処理により提示された視野Vの例を示す図である。
同図に示す視野Vには、撮影スポットの分布を表す分布表示D60が表示されている。分布表示D60の上部には、ARアイコンB60により、「桜」という撮影スポットの被写体の内容を示す情報と、そのスポットまでの距離の情報が提示されている。撮影スポットの被写体の内容を示す情報は、写真データを画像解析すること等により得ることができる。
これにより、ユーザは、撮影スポットの方位や距離、及び撮影スポットの人気度等を把握することができる。
さらに、グループ管理部25は、抽出された撮影スポットのうち、これらの撮影スポットにおける撮影時期のうち、統計的に有意な時期がある場合は、処理時が当該有意な撮影時期と近い撮影スポットをグループ化することができる。撮影時期は、写真データに付加されたメタデータから特定することができる。
例えば、図21の例を参照し、桜を被写体とした撮影の時期は、当該撮影地域において主に3月末から4月初めに集中しているものとする。この場合、処理時が4月初めであれば、コントローラ20は、桜を被写体とする撮像スポットをグループ化し、同図に示す分布表示D60を生成することができる。一方で、処理時が8月であれば、コントローラ20は、桜を被写体とする撮像スポットをグループ化せず、分布表示D60を生成しなくてもよい。
これにより、ユーザは、撮影に適した現実的な撮影スポットを把握することができる。
(適用例3)
ARシステム100は、例えば、観光スポット案内アプリに適用されることができる。観光スポット案内アプリは、現在地付近の観光スポットのユーザから見た方角や距離を提示することができるものとする。この場合、オブジェクトは観光スポットである。
例えば、ARサーバ40は、オブジェクトデータベース404として、観光スポットデータベースを記憶している。ARサーバ40は、観光スポットの情報として、自治体や観光協会等が作成したホームページにアップされている情報や、ブログにアップされている情報を取得する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から観光スポットの情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する観光スポットを抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、これらの観光スポットをグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
図22は、本アプリの処理により提示された視野Vの例を示す図である。
同図に示す視野Vには、観光スポットの分布を表す分布表示D70,D80が表示されている。分布表示D70,D80の上部には、それぞれARアイコンB70,B80が表示されている。ARアイコンB70,B80には、それぞれ、「寺」という観光スポットの属性を示す情報と、そのスポットまでの距離の情報が提示されている。
これにより、ユーザは、観光スポットの方位や距離、あるいは観光スポットの集中度を把握することができる。
なお、ARアイコン表示処理部28は、複数の観光スポットの属性のうち統計的に有意な属性がある場合、その属性をARアイコンとして表示することができる。図22を参照すると、例えばグループ管理部25が、所定の密度を構成する寺の門、本堂等をそれぞれ観光スポットとしてグループ化した場合、ARアイコン表示処理部28は、寺の門、本堂等に共通する属性である「寺」を統計的に有意な属性として表示することができる。
さらに、グループ管理部25は、抽出された各観光スポットに観光に適した時期がある場合は、処理時が当該時期と近い観光スポットをグループ化することができる。
これにより、ユーザは、観光時期に適した観光スポットを把握することができる。
(適用例4)
ARシステム100は、例えば、渋滞情報提供アプリに適用されることができる。渋滞情報提供アプリは、車が渋滞している場所をリアルタイムにユーザに提示することができる。この場合、オブジェクトは車である。
例えば、ARサーバ40は、オブジェクトデータベース404として、渋滞情報データベースを記憶している。ARサーバ40は、例えば車が発信する走行情報や、道路上に設置された車の流れを監視するシステム、あるいはドライバの所有する携帯情報端末等を用いて、遅い速度で運転している車の分布情報を取得する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から車の分布情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する遅い速度の車を抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、抽出された車をグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
図23は、本アプリの処理により提示された視野Vの例を示す図である。
同図に示す視野Vには、遅い速度の車の分布を表す分布表示D90,D100が表示されている。分布表示D90,D100の上部には、それぞれARアイコンB90,B100が表示されている。ARアイコンB90,B100には、それぞれ、「渋滞」という情報と、それらの渋滞開始位置までの距離の情報が提示されている。
これにより、ユーザは、渋滞箇所の方位や距離、あるいは渋滞の度合いを把握することができ、このような渋滞箇所を回避することができる。
(その他の適用例)
また、ARシステム100は、駐車場の空いている区画を検索するアプリにも適用されることができる。この場合コントローラ20は、渋滞情報提供アプリの際と同様の処理により、ある駐車場内における車の分布に関する分布表示を生成することができる。これにより、ユーザは、駐車場内における車の混雑分布を把握することができ、空いている区画を容易に見つけることができる。
[変形例]
以下、本実施形態の変形例について説明する。なお、以下の変形例において、上述の実施形態と同様の構成については、同一の符号を付して説明を省略する。
(変形例1−1)
上述の実施形態では、グループ管理部25が関連する属性等の付加情報を有する複数のオブジェクトをグループ化すると説明したが、グループ化の条件はこれに限定されない。
例えば、グループ管理部25は、視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化してもよい。
この場合、グループ管理部25は、オブジェクト各々の視野中における位置を示す座標(xa,ya)を変数とした確率密度関数を導出したとき、分散の値が所定の大きさ以下になる複数のオブジェクトをグループ化することができる。
さらに、本変形例において、グループ管理部25は、視野内に分布する複数のオブジェクトの密度に基づいてグループを再編することができる。
図24A,Bは、視野Vの例を示す図であり、オブジェクトA111〜A114が、1つのビルに含まれる2店のレストランA111,A112及び他のビルに含まれる2店のカフェA113,A114である例を示す。
図24Aでは、視野Vの狭い範囲に4つのオブジェクトA111〜A114が集中して存在しており、これら4つのオブジェクトA111〜A114が1つのグループG110としてグループ化され、分布表示D110が表示されている。
一方、図24Bに示すように、ユーザがこれらのビルに近づきオブジェクトの密度が緩和された場合、4つのオブジェクトA111〜A114の分布の分散が基準値より大きくなる。この場合、グループ管理部25は、分布の分散が基準値以下となるオブジェクトの集合を探索し、同図に示すように2店のレストランとA111,A112と2店のカフェA113,A114とをそれぞれグループG120,G130として再編する。さらに、分布表示生成部27が、グループG120,G130毎に分布表示D120,D130を生成する。
これにより、本変形例によれば、密度に応じたより適切な分布表示を生成することができ、視野の視認性を向上させることができる。
(変形例1−2)
分布表示生成部27及びARアイコン表示処理部28は、生成されたARアイコンや分布表示のうち、一部を表示しないように処理することができる。
例えば、図25Aは、分布表示生成部27及びARアイコン表示処理部28が、雑貨屋についての分布表示及びARアイコンを生成した例を示す。この視野Vには、レストランの分布を表示する分布表示D140,D150と雑貨屋の分布を表示する分布表示D160と、それぞれに対応するARアイコンB140,B150,160が表示されている。
例えば、ユーザが飲食店を検索する場合、雑貨屋の重要性は低い。
そこで、図25Bに示すように、分布表示生成部27及びARアイコン表示処理部28は、飲食店等の所定の属性以外の属性を有するARアイコンや分布表示をフィルタ処理によって除去してもよい。
ARアイコンや分布表示の除去は、ユーザの入力操作に基づいて実施されてもよいし、あるいはアプリによって自動的に実施されてもよい。
これにより、よりシンプルなスタイルで、必要最低限の情報提供を実現することができる。
(変形例1−3)
例えば、オブジェクト抽出部23は、所定の属性を有するオブジェクトのみを抽出してもよい。
これにより、コントローラ20における処理量を低減することができる。
(変形例1−4)
以上の実施形態では、第2のモードにおいては分布表示を生成しない例を示したが、これに限定されず、第2のモードにおいてもグループ化されたオブジェクトに対して分布表示を生成することができる。
図26は、第2のモードにおける視野Vの例を示す図である。同図に示すように、グループに対してARアイコンB170と分布表示D170とが表示されており、さらにグループ内の各オブジェクトに対応するARアイコンB171,B172,B173,B174も表示されている。
これにより、第2のモードにおいてもグループの存在を示すことができる。
(変形例1−5)
上述の実施形態では、モード切替部26が、入力操作部204によりモード切替に対応するユーザ操作が受け付けられたと判定した場合、第1のモードと第2のモードとを切り替えると説明したが、これに限定されない。
例えば、モード切替部26は、ユーザが分布表示を注視していると判定される場合に、第1のモードから第2のモードへ切り替えるように構成されてもよい。
より具体的には、モード切替部26は、後述する分布表示が視野Vの中心に表示されると判定された場合、ユーザが分布表示を注視していると判定してもよい。
図27は、モード切替部26によりモード切替の例を示す視野Vの図である。同図の符号Ovは、視野Vの中心を示す。
まず図27Aに示すように、第1のモードにおいて、分布表示D170が、中心Ovから外れた領域に表示されている。
ユーザが頭部、すなわち表示部11の向きを変えること(ヘッドトラック)により、円筒座標C0において視野Vの占めるθの範囲も変化する。
これにより、図27Bに示すように、分布表示D170が中心Ovに表示され、モード切替部26が第1のモードから第2のモードへ切り替える。
そして、図27Cに示すように、グループに含まれる各オブジェクトの情報を提示するARアイコンB171,B172,B173,B174が表示される。
ユーザは、グループの詳細な情報を取得したいと考えた場合、グループを注視すると考えられる。したがって、本変形例では、ユーザがグループを注視する際の自然な動きを利用して第2のモードへの切り替えを実行することができる。
なお、モード切替部26は、分布表示D170が中心Ovに表示された後、所定の時間が経過した後、第1のモードから第2のモードへ切り替えるように構成されてもよい。
あるいは、モード切替部26は、携帯情報端末30にインストールされた行動認識エンジンや、表示部11に搭載された視線検出システム等によって、ユーザが視野Vを注視しているか否か判定してもよい。
(変形例1−6)
他のモード切替処理例として、モード切替部26は、グループ化された複数のオブジェクトの視野V内における密度が所定の基準以下であると判定した場合、第2のモードに切り替えてもよい。
本変形例では、例えば、ユーザが現実空間のオブジェクトに近づいたことにより、視野V中のオブジェクトの分布の分散が大きくなって密度が低下し、第2のモードに切り替えることができる。
図28A,Bは、視野Vの例を示す図であり、オブジェクトが4つの飲食店である例を示す。
図28Aは、4つのオブジェクトA111〜A114の密度が所定の基準よりも大きいと判定され、第1のモードを維持している例を示す。密度の基準は、例えば変形例1−1と同様に分散の値を適用することができる。同図に示す例では、グループ化された4つのオブジェクトA111〜A114に対して、分布表示D110とARアイコンB110とが表示されている。
図28Bは、4つのオブジェクトA111〜A114の密度が所定の基準以下であると判定され、第2のモードに切り替えられた例を示す。同図に示す例では、4つのオブジェクトA111〜A114各々に対して、ARアイコンB111,B112,B113,B114が表示されている。
ここで、オブジェクトの密度が低下した場合、視野V中のより広範な領域にオブジェクトA111〜A114が分布することになるため、個々のオブジェクトについてのARアイコンB111〜B114を表示するスペースが確保しやすくなる。したがって、本変形例によれば、視野V中のARアイコンの視認性を維持しつつ、モードの切替を行うことができる。
(変形例1−7)
上述の実施形態では、分布表示生成部27が式(5)に示す正規分布関数を用いて分布表示を生成すると説明したが、以下の式(6)で表される他のガウス関数を用いてもよい。
式(6)によっても、図13に示す釣鐘型の関数を得ることができ、上述の実施形態と同様の分布表示を生成することができる。
(変形例1−8)
あるいは、分布表示生成部27は、確率密度関数を用いず、例えば以下のような分布表示を生成してもよい。
図29は、分布表示の他の例を示す図である。
同図に示すように、分布表示D180は、例えばオブジェクトの座標位置を中心とした複数の円D181〜D184で形成されてもよい。1つの円の大きさは特に限定されないが、例えば、グループ化された他のオブジェクトの円と重複する程度の大きさとすることができる。例えば表示部11を装着するユーザとオブジェクトとの距離が小さいほど径が大きくなるように構成されてもよい。
また、分布表示D180のうち、複数の円が重複している領域は、明度の低い色調を有していてもよい。
また、同図に示すように、複数の円が一体化されて1つの分布表示を構成してもよい。これにより、グループを強調することができる。
このような分布表示によっても、オブジェクトの分布状態を、形状と配置とで表現することが可能となる。
あるいは、グループ化されるオブジェクトが多数存在するような場合、分布表示は、一つのオブジェクトに対応する点の集合体として構成されてもよい。これによっても、分布表示内のオブジェクトの密度が高い領域は点が重複して描画されるため、濃い色調で表現することができ、グループ化された複数のオブジェクトの密度に基づいて色調を変化させることができる。
(変形例1−9)
コントローラ20は、第1及び第2のモードに切り替え可能な構成ではなく、上述の第1のモードのみ有する構成であってもよい。
<第2の実施形態>
図30は、本技術の第2の実施形態に係るコントローラの機能的構成を説明するためのHMDのブロック図である。
本実施形態に係るHMD10Aは、表示部11と、コントローラ20Aとを有し、コントローラ20Aの機能的構成が第1の実施形態と異なる。なお、コントローラ20のハードウェア構成は、図3に示すコントローラ20と同様であるため、説明を省略する。
なお、以下の変形例において、上述の実施形態と同様の構成については、同一の符号を付して説明を省略する。
図30に示すように、コントローラ20Aは、視野設定部21と、オブジェクト情報管理部22と、オブジェクト抽出部23と、オブジェクト分布算出部24と、グループ管理部25と、モード切替部26と、分布表示生成部27と、ARアイコン表示処理部28と、さらに分布表示調整部29とを有する。
分布表示調整部29は、視野中の分布表示の占める面積の割合が第1の割合(所定の割合)よりも大きいと判定した場合、分布表示を第1の割合以下に縮小することができる。
さらに分布表示調整部29は、視野中の分布表示の占める面積の割合が第2の割合よりも小さいと判定した場合、分布表示を第2の割合以上に拡大することができる。第2の割合は、第1の割合よりも小さいものとする。
図31は、分布表示調整部29の動作例を示すフローチャートである。
分布表示調整部29は、分布表示が生成された後、視野中の分布表示の占める面積の割合を算出する(ST601)。
続いて、分布表示調整部29は、算出された面積の割合が第1の割合よりも大きいか否か判定する(ST602)。
第1の割合よりも大きいと判定された場合(ST602でYes)、分布表示調整部29は、分布表示を第1の割合以下に縮小する処理を実行する(ST603)。
一方、第1の割合以下であると判定された場合(ST602でNo)、分布表示調整部29は、算出された面積の割合が第2の割合よりも小さいか否か判定する(ST604)。
第2の割合よりも小さいと判定された場合(ST604でYes)、分布表示調整部29は、分布表示を第2の割合以上に拡大する処理を実行する(ST605)。
また、第2の割合以上であると判定された場合(ST604でNo)、分布表示調整部29は、分布表示の縮小及び拡大のいずれも実行せずに処理を終了する。
分布表示調整部29は、ガウス関数を用いて生成された分布表示に対しては、例えば実際に算出された値よりも小さい値の分散(すなわちσ)を用いることにより、分布表示を縮小することができる。同様に、分布表示調整部29は、実際に算出された値よりも大きい値の分散を用いることにより、分布表示を拡大することができる。
分布表示調整部29は、例えば図8Bを用いて説明した、1/30secの描画タイミング毎に実行される分布表示及びARアイコンの描画処理後に、連続して分布表示の調整処理を実行することができる。あるいは、分布表示調整部29は、上記描画タイミングとは異なる所定のタイミングにより、分布表示の調整処理を実行することができる。
分布表示調整部29による分布表示の調整基準について説明する。
第1の割合、及び第2の割合は、表示部11の視野Vの画角により、適宜設定することができる。
図32A,Bは、視野Vの画角について説明する図であり、図32Aは周方向(θ方向)の画角α、図32Bは高さ方向(h方向)の画角βを示す。
図32Aに示すように、画角αは、円筒座標C0における周方向(θ方向)の視野Vの範囲と定義でき、式(1)を用いて、α=θv2−θv1と定義できる。
一方、図32Bに示すように、画角βは、ユーザUが円筒座標C0上の視野Vの下端hv2から上端hv1までを望む角度の範囲を示し、式(7)で定義できる。
β=2×tan−1((hv2−hv1)/2R) ・・・(7)
ここで、画角αが20°、画角βが10°である場合、例えば第1の割合を50%、第2の割合を10%とすることができる。
また例えば、画角αが40°、画角βが20°である視野Vは、画角αが20°、画角βが10°である視野Vよりも、ユーザの視野に対し相対的に大きく構成される。この場合は、例えば第1の割合を30%、第2の割合を5%とすることができる。これにより、視野Vの大きさによらず、視認性の高い分布表示を提示することができる。
また、分布表示の縮小、拡大後の割合も適宜調整することができ、例えば分布表示調整部29は、第1の割合に縮小してもよいし、第2の割合に拡大してもよい。
視野Vの画角と、第1及び第2の割合の値との関係は、例えばARサーバ40のメモリ202に記憶されていてもよいし、あるいは分布表示生成処理を実行するためのアプリケーションプログラムによって決定されていてもよい。
あるいは、HMD10毎に、第1及び第2の割合が決定されていてもよい。
以上のように、本実施形態によれば、分布表示の視認性をより向上させることができる。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
以上の実施形態では、ARシステムとしてARサーバと、携帯情報端末と、コントローラと、HMDとを有すると説明したが、これに限定されない。
例えば、ARシステムが携帯情報端末を有さず、ARサーバとコントローラとが直接通信するように構成されていてもよい。
また、コントローラはHMDと一体に構成されていてもよいし、携帯情報端末によって構成されてもよい。あるいは、コントローラは、例えばARサーバと携帯情報端末など、複数の機器によって構成されてもよい。
さらに、以上の動作例では、ユーザの現在位置が変化した際にARサーバから必要なオブジェクトの情報を取得するようにしたが、これに限定されない。
例えば、コントローラ(HMD)又は携帯情報端末が、これらの起動時に、ARサーバからAR表示処理と触覚フィードバック処理とに必要なオブジェクトの情報をまとめて取得し、メモリに保持していてもよい。
例えば以上の実施形態では、表示面111R,111Lを介して画像を提示する構成のHMDの例を示したが、本技術は、例えば網膜投影型のHMD等にも適用可能である。
また、HMDの例として、透過型のディスプレイを有する例を挙げたが、例えば非透過型のディスプレイを有していてもよい。この場合、オブジェクトは、現実空間に分布するオブジェクトではなく、非透過型のディスプレイに表示され得る仮想空間に分布するオブジェクトであってもよい。例えば、仮想空間は、ARサーバ等によって提供されるゲームアプリにより、ユーザの周囲に構築される仮想的な空間であってもよい。
さらに、HMDに本技術を適用した例を説明したが、コンタクトレンズ型や、例えば手首や腕、首等に装着可能なウェアラブルディスプレイにも本技術は適用可能である。
また、以上の実施形態では、分布表示がオブジェクトの分布する領域付近に生成される例を示したが、これに限定されない。例えば、HMDのコントローラは、オブジェクトが視野の外部上方に配置されている場合に、視野の上部に分布表示を表示するようにしてもよい。
あるいは、分布表示の形状は、オブジェクトの分布する領域の形状に関連せずに、オブジェクトの分布中心に中心を有する楕円形や、円形等の所定の形状であってもよい。
また、以上の実施形態では、グループ化された複数のオブジェクトの密度に基づいて色調を変化させる例として、グループ化された複数のオブジェクトの密度が高い領域ほど、明度の高い色調を有する分布表示を生成すると説明したが、これに限定されない。例えば、HMDのコントローラは、上記複数のオブジェクトの密度が高い領域ほど、明度の低い色調を有する分布表示を生成してもよい。
さらに、HMDのコントローラは、例えばグループ化された複数のオブジェクトの密度分布に基づいて内部の色調分布や明度分布を変化させた分布表示を生成してもよい。例えば、コントローラは、店舗の密集している領域を白、その他の領域をグレーで表現した分布表示を生成することができる。
あるいは、HMDのコントローラは、グループ化された複数のオブジェクトの密度分布に基づいて形状を変化させた分布表示を生成することもできる。これにより、コントローラは、例えば生成された分布表示のうち、オブジェクトが少ない、又は無い領域では、分布表示の一部を削除することができる。
なお、本技術は以下のような構成もとることができる。
(1)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、前記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する制御部と、
前記ユーザの視野に前記分布表示を提示する表示部と
を具備する表示装置。
(2)上記(1)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの分布する領域付近に上記分布表示を生成する
表示装置。
(3)上記(1)又は(2)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有する上記分布表示を生成する
表示装置。
(4)上記(3)に記載の表示装置であって、
上記制御部は、上記複数のオブジェクトの分布の偏りを表す形状を有する上記分布表示を生成する
表示装置。
(5)(1)から(4)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記複数のオブジェクトを視認可能な透過度を有する上記分布表示を生成する
表示装置。
(6)(1)から(5)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの密度に基づいて少なくとも色相、明度、彩度のいずれかを変化させるように上記分布表示を生成する
表示装置。
(7)上記(6)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する上記分布表示を生成する
表示装置。
(8)(1)から(7)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクト各々の上記視野中における位置を示す座標を変数とした確率密度関数を用いて、上記分布表示を生成する
表示装置。
(9)上記(8)に記載の表示装置であって、
上記制御部は、上記確率密度関数を導出し、上記導出された確率密度関数を上記変数で積分した場合にオブジェクトの分布確率が所定の値となる上記視野中の領域に重畳される上記分布表示を生成する
表示装置。
(10)上記(8)又は(9)に記載の表示装置であって、
上記確率密度関数は、ガウス関数である
表示装置。
(11)(1)から(10)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野内に分布する複数のオブジェクトのうち、関連する付加情報を有する複数のオブジェクトをグループ化する
表示装置。
(12)(1)から(10)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化する
表示装置。
(13)(1)から(12)のうちいずれか1つに記載の表示装置であって、
上記制御部は、
上記複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、
上記グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成される
表示装置。
(14)上記(13)に記載の表示装置であって、
上記制御部は、
上記グループ化された複数のオブジェクトの上記視野内における密度が所定の基準以上であると判定した場合、上記第1のモードを選択する
表示装置。
(15)上記(13)に記載の表示装置であって、
上記制御部は、ユーザが上記分布表示を注視していると判定した場合に、上記第1のモードから上記第2のモードへ切り替える
表示装置。
(16)上記(15)に記載の表示装置であって、
上記制御部は、上記分布表示が上記視野の中心に重畳されると判定された場合に、ユーザが上記分布表示を注視していると判定する
表示装置。
(17)(1)から(16)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野中の上記分布表示の占める面積の割合が所定の割合より大きいと判定した場合、上記分布表示を上記所定の割合以下に縮小する
表示装置。
(18)(1)から(17)のうちいずれか1つに記載の表示装置であって、
上記表示部は、ユーザに装着可能に構成される
表示装置。
(19)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能な制御装置と、
上記複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する制御部と、上記ユーザの視野に上記分布表示を提示する表示部と、を有する表示装置と
を具備する情報処理システム。
(20)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成し、
上記ユーザの視野に上記分布表示を提示する
制御方法。
10,10A…HMD(表示装置)
11…表示部
20,20A…コントローラ
40…ARサーバ(制御装置)
100…ARシステム(情報処理システム)

Claims (17)

  1. ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
    第1のモード及び第2のモードのいずれであるか判定し、
    前記第1のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々の前記ユーザの視野中における位置を示す座標を変数とした確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、かつ、前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
    前記第2のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成する、
    制御部と、
    前記視野に、前記第1のモードでは前記分布表示及び前記グループアイコンを提示し、前記第2モードでは前記オブジェクトアイコンを提示する表示部と
    を具備する表示装置。
  2. 請求項1に記載の表示装置であって、
    前記制御部は、前記グループ化された複数のオブジェクトの分布する領域付近に前記分布表示を生成する
    表示装置。
  3. 請求項1又は2に記載の表示装置であって、
    前記制御部は、前記複数のオブジェクトの分布の偏りを表す形状を有する前記分布表示を生成する
    表示装置。
  4. 請求項1〜3のいずれか1つに記載の表示装置であって、
    前記制御部は、前記複数のオブジェクトを視認可能な透過度を有する前記分布表示を生成する
    表示装置。
  5. 請求項1〜4のいずれか1つに記載の表示装置であって、
    前記制御部は、前記確率密度関数に基づいて少なくとも色相、明度、彩度のいずれかを変化させるように前記分布表示を生成する
    表示装置。
  6. 請求項5に記載の表示装置であって、
    前記制御部は、前記グループ化された複数のオブジェクトの前記確率密度関数が高い領域ほど、明度の高い色調又は明度の低い色調を有する前記分布表示を生成する
    表示装置。
  7. 請求項1〜6のいずれか1つに記載の表示装置であって、
    前記制御部は、前記確率密度関数を導出し、前記導出された確率密度関数を前記変数で積分した場合にオブジェクトの分布確率が所定の値となる前記視野中の領域に重畳される前記分布表示を生成する
    表示装置。
  8. 請求項1〜7のいずれか1つに記載の表示装置であって、
    前記確率密度関数は、ガウス関数である
    表示装置。
  9. 請求項1〜8のいずれか1つに記載の表示装置であって、
    前記制御部は、前記視野内に分布する複数のオブジェクトのうち、関連する付加情報を有する複数のオブジェクトをグループ化する
    表示装置。
  10. 請求項1〜9のいずれか1つに記載の表示装置であって、
    前記制御部は、前記視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化する
    表示装置。
  11. 請求項1〜10のいずれか1つに記載の表示装置であって、
    前記制御部は、
    前記グループ化された複数のオブジェクトの前記視野内における密度が所定の基準以上であると判定した場合、前記第1のモードを選択する
    表示装置。
  12. 請求項1〜11のいずれか1つに記載の表示装置であって、
    前記制御部は、ユーザが前記分布表示を注視していると判定した場合に、前記第1のモードから前記第2のモードへ切り替える
    表示装置。
  13. 請求項12に記載の表示装置であって、
    前記制御部は、前記分布表示が前記視野の中心に表示されていると判定された場合に、ユーザが前記分布表示を注視していると判定する
    表示装置。
  14. 請求項1〜13のいずれか1つに記載の表示装置であって、
    前記制御部は、前記視野中の前記分布表示の占める面積の割合が所定の割合より大きいと判定した場合、前記分布表示を前記所定の割合以下に縮小する
    表示装置。
  15. 請求項1〜14のいずれか1つに記載の表示装置であって、
    前記表示部は、ユーザに装着可能に構成される
    表示装置。
  16. ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、前記複数のオブジェクトについての情報を出力可能な制御装置と、
    制御部と、表示部と、を有する表示装置と
    を具備し、
    前記制御部は、
    第1のモード及び第2のモードのいずれであるか判定し、
    前記第1のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々の前記ユーザの視野中における位置を示す座標を変数とした確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、かつ、前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
    前記第2のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成し、
    前記表示部は、
    前記視野に、前記第1のモードでは前記分布表示及び前記グループアイコンを提示し、前記第2モードでは前記オブジェクトアイコンを提示する
    情報処理システム。
  17. ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
    第1のモード及び第2のモードのいずれであるか判定し、
    前記第1のモードであると判定した場合に、
    前記グループ化された複数のオブジェクト各々の前記視野中における位置を示す座標を変数とした確率密度関数を導出し、
    前記導出された確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、
    前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
    前記ユーザの視野に前記分布表示及び前記グループアイコンを提示し、
    前記第2のモードであると判定した場合に、
    前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成し、
    前記ユーザの視野に前記オブジェクトアイコンを提示する
    制御方法。
JP2015106767A 2015-05-26 2015-05-26 表示装置、情報処理システム及び制御方法 Active JP6344311B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015106767A JP6344311B2 (ja) 2015-05-26 2015-05-26 表示装置、情報処理システム及び制御方法
PCT/JP2016/001912 WO2016189791A1 (ja) 2015-05-26 2016-04-05 表示装置、情報処理システム及び制御方法
DE112016002350.2T DE112016002350T5 (de) 2015-05-26 2016-04-05 Anzeigevorrichtung, Informationsverarbeitungssystem und Steuerverfahren
CN201680028918.4A CN107615227B (zh) 2015-05-26 2016-04-05 显示装置、信息处理***以及控制方法
US15/575,131 US10878629B2 (en) 2015-05-26 2016-04-05 Display apparatus, information processing system, and control method
EP16799509.1A EP3306456A4 (en) 2015-05-26 2016-04-05 DISPLAY DEVICE, INFORMATION PROCESSING SYSTEM AND CONTROL PROCESS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015106767A JP6344311B2 (ja) 2015-05-26 2015-05-26 表示装置、情報処理システム及び制御方法

Publications (3)

Publication Number Publication Date
JP2016218981A JP2016218981A (ja) 2016-12-22
JP2016218981A5 JP2016218981A5 (ja) 2017-07-06
JP6344311B2 true JP6344311B2 (ja) 2018-06-20

Family

ID=57392648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015106767A Active JP6344311B2 (ja) 2015-05-26 2015-05-26 表示装置、情報処理システム及び制御方法

Country Status (6)

Country Link
US (1) US10878629B2 (ja)
EP (1) EP3306456A4 (ja)
JP (1) JP6344311B2 (ja)
CN (1) CN107615227B (ja)
DE (1) DE112016002350T5 (ja)
WO (1) WO2016189791A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6742760B2 (ja) * 2016-02-29 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6911834B2 (ja) * 2016-03-29 2021-07-28 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
EP3451135A4 (en) 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US20190221184A1 (en) * 2016-07-29 2019-07-18 Mitsubishi Electric Corporation Display device, display control device, and display control method
JP2019114078A (ja) * 2017-12-25 2019-07-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP7110738B2 (ja) * 2018-06-05 2022-08-02 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム
TWI691891B (zh) * 2018-09-07 2020-04-21 財團法人工業技術研究院 多重目標物資訊顯示方法及裝置
CN109582134B (zh) 2018-11-09 2021-07-23 北京小米移动软件有限公司 信息显示的方法、装置及显示设备
US11878698B2 (en) * 2019-04-12 2024-01-23 Mitsubishi Electric Corporation Display control device, display control method, and storage medium storing display control program
WO2020236171A1 (en) * 2019-05-22 2020-11-26 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11176751B2 (en) * 2020-03-17 2021-11-16 Snap Inc. Geospatial image surfacing and selection
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
US20230244305A1 (en) * 2022-01-05 2023-08-03 Industrial Technology Research Institute Active interactive navigation system and active interactive navigation method

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7594194B2 (en) * 2003-09-24 2009-09-22 Nokia Corporation Portrayal of navigation objects
JP4875843B2 (ja) * 2004-10-20 2012-02-15 オリンパス株式会社 情報端末装置
US7574409B2 (en) * 2004-11-04 2009-08-11 Vericept Corporation Method, apparatus, and system for clustering and classification
US20070097143A1 (en) * 2005-10-28 2007-05-03 Mutsuya Ii Application of variable opacity (image alpha) to power and probability distributions superimposed on cartographic displays
US8165808B2 (en) * 2007-07-17 2012-04-24 Yahoo! Inc. Techniques for representing location information
US8339399B2 (en) * 2007-10-31 2012-12-25 Microsoft Corporation Declustering point-of-interest icons
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
CN101551732A (zh) * 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其***
JP5315111B2 (ja) * 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP2011081556A (ja) 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
CN101826129A (zh) 2010-04-17 2010-09-08 中山大学 基于增强现实的虚拟测量原理及方法
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP5597837B2 (ja) * 2010-09-08 2014-10-01 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及び、画像生成装置
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR101350033B1 (ko) * 2010-12-13 2014-01-14 주식회사 팬택 증강 현실 제공 단말기 및 방법
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
US9672049B2 (en) * 2011-09-22 2017-06-06 Qualcomm Incorporated Dynamic and configurable user interface
US9087412B2 (en) * 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
WO2013128078A1 (en) * 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
CN102495947A (zh) * 2011-11-15 2012-06-13 中国计量科学研究院 一种基于虚拟现实技术的表达和分析不确定度的方法
US20140053099A1 (en) * 2012-08-14 2014-02-20 Layar Bv User Initiated Discovery of Content Through an Augmented Reality Service Provisioning System
US9607436B2 (en) * 2012-08-27 2017-03-28 Empire Technology Development Llc Generating augmented reality exemplars
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US20140074395A1 (en) * 2012-09-13 2014-03-13 Michael Brown Method of displaying points of interest and related portable electronic device
CN102929391B (zh) * 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制***人机交互设备及方法
EP3779895A1 (en) * 2012-12-21 2021-02-17 Apple Inc. Method for representing virtual information in a real environment
US9829997B2 (en) * 2013-02-22 2017-11-28 Sony Corporation Head-mounted display system, head-mounted display, and head-mounted display control program
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
US10229415B2 (en) * 2013-03-05 2019-03-12 Google Llc Computing devices and methods for identifying geographic areas that satisfy a set of multiple different criteria
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
EP3004803B1 (en) * 2013-06-07 2021-05-05 Nokia Technologies Oy A method and apparatus for self-adaptively visualizing location based digital information
JP5705279B2 (ja) * 2013-08-27 2015-04-22 ヤフー株式会社 位置特定サーバ、位置特定方法および位置特定プログラム
JP2015072607A (ja) * 2013-10-03 2015-04-16 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9582516B2 (en) * 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
CN105096375B (zh) * 2014-05-09 2020-03-13 三星电子株式会社 图像处理方法和设备
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN104331155B (zh) * 2014-10-27 2017-02-15 北京理工大学 一种利用电刺激实现触觉再现装置
US11232466B2 (en) * 2015-01-29 2022-01-25 Affectomatics Ltd. Recommendation for experiences based on measurements of affective response that are backed by assurances
CN104571532B (zh) * 2015-02-04 2018-01-30 网易有道信息技术(北京)有限公司 一种实现增强现实或虚拟现实的方法及装置
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
CA3018758A1 (en) * 2016-03-31 2017-10-05 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
JP7130368B2 (ja) * 2017-01-13 2022-09-05 キヤノン株式会社 情報処理装置および情報処理システム

Also Published As

Publication number Publication date
EP3306456A1 (en) 2018-04-11
DE112016002350T5 (de) 2018-04-05
CN107615227A (zh) 2018-01-19
CN107615227B (zh) 2021-08-27
US10878629B2 (en) 2020-12-29
US20180144552A1 (en) 2018-05-24
WO2016189791A1 (ja) 2016-12-01
JP2016218981A (ja) 2016-12-22
EP3306456A4 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
JP6344311B2 (ja) 表示装置、情報処理システム及び制御方法
JP7268692B2 (ja) 情報処理装置、制御方法及びプログラム
JP6450779B2 (ja) ストリートビュー目的地への案内を提供する方法およびデバイス
JP6669067B2 (ja) 表示制御装置、表示制御方法およびプログラム
CN108474666B (zh) 用于在地图显示中定位用户的***和方法
US10366523B2 (en) Method, system and apparatus for providing visual feedback of a map view change
US9441975B2 (en) System and method for generating signal coverage information from client metrics
US9488488B2 (en) Augmented reality maps
US9069440B2 (en) Method, system and apparatus for providing a three-dimensional transition animation for a map view change
EP3598073A1 (en) User terminal device for displaying map and method thereof
JP5622510B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
US20150032771A1 (en) System and method for sharing geo-localized information in a social network environment
US9909878B2 (en) Method and apparatus for triggering conveyance of guidance information
ES2706824T3 (es) Un indicador de región de vídeo que indica que hay disponible contenido de vídeo
US10650037B2 (en) Enhancing information in a three-dimensional map

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R151 Written notification of patent or utility model registration

Ref document number: 6344311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151