JP6344311B2 - 表示装置、情報処理システム及び制御方法 - Google Patents
表示装置、情報処理システム及び制御方法 Download PDFInfo
- Publication number
- JP6344311B2 JP6344311B2 JP2015106767A JP2015106767A JP6344311B2 JP 6344311 B2 JP6344311 B2 JP 6344311B2 JP 2015106767 A JP2015106767 A JP 2015106767A JP 2015106767 A JP2015106767 A JP 2015106767A JP 6344311 B2 JP6344311 B2 JP 6344311B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- distribution
- objects
- mode
- distribution display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
すなわち、オブジェクトについての詳細な情報を取得できない場合には、上記技術は適用することができない。したがって、複数のオブジェクトについて、必要な情報をよりシンプルに提示できる技術が求められている。
上記制御部は、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。
上記表示部は、上記ユーザの視野に上記分布表示を提示する。
上記構成によれば、分布表示が、グループ化された複数のオブジェクトの分布を表現することができる。したがって、複数のオブジェクトについてシンプルで視認性の高い情報提供が可能となる。
これにより、分布表示の配置によってオブジェクトの分布する領域を表現することができる。
これにより、分布表示の形状によってオブジェクトの分布する領域を表現することができる。
これにより、分布表示の形状によってオブジェクトの分布の偏りを表現することができる。
これにより、上記複数のオブジェクトについても視認させることができ、視野における視認性を向上させることができる。
例えば、上記制御部は、上記グループ化された複数のオブジェクトの密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する上記分布表示を生成してもよい。
これにより、分布表示が複数のオブジェクトの密度を表現することができる。
例えば、上記確率密度関数は、ガウス関数であってもよい。
これにより、オブジェクトの分布を的確に表現することができる。
これにより、オブジェクトの分布確率を考慮して、オブジェクトの分布をより的確に表現することができる。
これにより、関連する属性等の付加情報を有するオブジェクトに対する分布表示を生成することができる。
これにより、ARアイコン等が過密に配置されることを防止することができる。
上記複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、
上記グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成されてもよい。
これにより、必要に応じて、各オブジェクトに対して詳細な情報提供を行うことができる。
上記グループ化された複数のオブジェクトの上記視野内における密度が所定の基準以上であると判定した場合、上記第1のモードを選択してもよい。
これにより、ARアイコン等が過密に配置されることを防止することができる。
例えば、上記制御部は、上記分布表示が上記視野の中心に表示されていると判定された場合に、ユーザが上記分布表示を注視していると判定してもよい。
これにより、ユーザの意思に基づいて、グループ化された各オブジェクトについての詳細な情報提供を行うことができる。
これにより、視野の大きさに応じた形状の視認性の高い分布表示を提示することができる。
これにより、表示装置を、ウェアラブルディスプレイとして構成することができる。
上記制御装置は、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能に構成される。
上記表示装置は、制御部と、表示部とを有する。
上記制御部は、上記複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。
上記表示部は、上記ユーザの視野に上記分布表示を提示する。
上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成するステップと、
上記ユーザの視野に上記分布表示を提示するステップとを含む。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
[ARシステムの概略構成]
図1は、本技術の第1の実施形態に係るARシステム(情報処理システム)の構成を示す概略図である。
同図において、X軸方向及びZ軸方向は相互に直交する水平方向を示し、Y軸方向は鉛直軸方向を示している。これらXYZ直交座標系は、ユーザの属する実空間の座標系を表し、X軸の矢印はユーザから見た右方向を示し、Y軸の矢印はユーザから見た下方向を示している。またZ軸の矢印はユーザから見た前方向を示している。
ARサーバ40は、インターネット50上のサーバ装置である。ARサーバ40は、後述するオブジェクトに関する情報を記憶しており、本実施形態における「制御装置」として機能する。
携帯情報端末30は、典型的にはスマートフォンであるが、携帯電話機、タブレット端末、パーソナルコンピュータ(PC:Personal Computer)、タブレットPC、PDA(Personal Digital Assistant)等の情報処理装置で構成される。
携帯情報端末30は、GPS(Global Positioning System)機能によってユーザの現在位置を取得することができる。また携帯情報端末30は、インターネット50を介してARサーバ40に接続されており、ARサーバ40からAR表示処理等に関する情報を取得することできる。さらに携帯情報端末30は、Bluetooth(登録商標)等の近距離無線通信システムによってコントローラ20と接続され、コントローラ20へAR表示処理等に関する情報やユーザの現在位置に関する情報を送信することができる。
HMD10は、眼鏡形状のシースルー型ディスプレイとして構成された表示部11と、コントローラ20とを有し、本実施形態における「表示装置」として機能する。なお、図1のHMD10は、形状を模式的に示している。
コントローラ20は、ユーザによる入力操作に基づいて、HMD10の動作を制御する。コントローラ20は、所定の規格に対応したケーブルによって表示部11と接続されており、携帯情報端末30から取得した情報に基づいて処理を実行する。
これにより、HMD10は、HMD10を装着したユーザに、シースルー型ディスプレイを介して、現実空間に分布するオブジェクトにそれと関連する画像が重畳された視野を提供することができる。以下、オブジェクトに関連する画像をARアイコンと称する。
なお、ここでいう「現実空間に分布するオブジェクト」とは、現実空間に存在するオブジェクトであってもよいし、現実空間に存在せず、現実空間に重畳するように表示される仮想的なオブジェクトであってもよい。
図2は、HMD10の視野Vの例を示す図である。
視野Vは、シースルー型ディスプレイに形成されている。同図の例では、現実空間に存在する2つのビルが透過して表示されており、1つのビルに含まれる2つの店舗及び他のビルに含まれる2つの店舗をオブジェクトとする。AR技術を用いると、例えばこれらの図に示すように、現実空間に存在するオブジェクトに対して、付加的な情報を示すARアイコンBを重畳的に表示することができる。
このように、分布表示Dによれば、複数のオブジェクトの分布が直観的に提示される。
以下、同図を参照してARシステム100の各要素について説明する。
図3に示すように、ARサーバ40は、CPU401と、メモリ402と、ネットワーク通信部403とを有する。ARサーバ40は、例えば、ユーザの周囲の現実空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能に構成される。ARサーバ40は、図示しないが、必要に応じて入力デバイスや表示デバイス、スピーカ等の構成を有していてもよい。
CPU401は、ARサーバ40全体の動作を制御する。
メモリ402は、ROM(Read Only Memory)及びRAM(Random Access Memory)や、HDD(Hard Disk Drive)及びフラッシュメモリ(SSD;Solid State Drive)等の不揮発性メモリを有し、CPU401によるARサーバ40の制御を実行するためのプログラムや各種パラメータ、その他必要なデータを記憶する。
ネットワーク通信部403は、インターネット50を介して携帯情報端末30と通信する。通信方法は特に限定されず、Ethernet(登録商標)用のNIC(Network Interface Card)を用いた有線通信であってもよいし、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いた無線通信であってもよい。
オブジェクトデータベース404には、オブジェクト毎に、オブジェクトの属性、オブジェクトの位置等の情報等が記憶される。またオブジェクトデータベース404は、同一の属性のオブジェクトを含むデータベースの集合体であってもよい。
オブジェクトデータベース404には、ARサーバ40とインターネット50を介して接続された携帯情報端末30や他の携帯情報端末、情報処理装置等により、適宜新たなオブジェクトの情報が追加登録される。
図3に示すように、携帯情報端末30は、CPU301と、メモリ302と、ネットワーク通信部303と、近距離通信部304と、GPS通信部305と、タッチパネルが搭載された表示部306と、内部電源307とを有する。
CPU301は、携帯情報端末30全体の動作を制御する。
メモリ302は、ROM及びRAM、不揮発性メモリ等を有し、CPU301による携帯情報端末30の制御を実行するためのアプリケーションプログラムや各種パラメータ、コントローラ20へ送信されるオブジェクトの情報、その他必要なデータを記憶する。
ネットワーク通信部303は、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いて、ARサーバ40等と通信する。携帯情報端末30は、ネットワーク通信部303を介してARサーバ40から、コントローラ20へ送信するべきオブジェクトの情報をダウンロードし、メモリ302へ格納する。
近距離通信部304は、Bluetooth(登録商標)、赤外線通信等の近距離通信システムを用いて、コントローラ20や他の携帯情報端末と通信する。
GPS通信部305は、GPS衛星からの信号を受信することで、携帯情報端末30を携帯するユーザの現在位置を取得する。
表示部306は、例えばLCD(Liquid Crystal Display)やOELD(Organic ElectroLuminescence Display)で構成され、各種メニューやアプリケーションのGUI等を表示する。典型的には、表示部306は、タッチパネルを搭載しており、ユーザのタッチ操作を受け付け可能である。
内部電源307は、携帯情報端末30の駆動に必要な電力を供給する。
図1及び図3に示すように、HMD10は、表示部11と、検出部12と、コントローラ20とを有する。
表示部11は、ユーザの視野に分布表示を提示することが可能に構成され、ユーザの頭部に装着可能に構成される。表示部11は、視野から透過される現実空間を提示するととともに、この現実空間に重畳的にARアイコンを表示する。表示部11は、第1及び第2の表示面111R,111Lと、第1及び第2の画像生成部112R,112Lと、支持体113とを有する。
第1及び第2の画像生成部112R,112Lは、それぞれ第1及び第2の表示面111R,111Lを介してユーザUへ提示される画像を生成可能に構成される。
支持体113は、表示面111R,111L及び画像生成部112R,112Lを支持し、第1及び第2の表示面111R,111LがユーザUの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。
以上のように構成される表示部11は、ユーザUに対して、表示面111R,111Lを介して実空間に所定の画像(あるいは虚像)が重畳された視野Vを提供することが可能に構成される。
検出部12は、表示部11の姿勢変化を検出することができる。本実施形態において検出部12は、X,Y及びZ軸周りの姿勢変化をそれぞれ検出するように構成されている。
検出部12は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部12は、角速度センサ及び加速度センサの各々を3軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部11の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。
また、鉛直軸(Z軸)周りの表示部11の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い方位あるいは姿勢変化の検出が可能となる。
検出部12は、表示部11の適宜の位置に配置されている。検出部12の位置は特に限定されず、例えば画像生成部112R,112Lのいずれか一方に配置され、あるいは支持体113の一部に配置されてもよい。
コントローラ20は、HMD10の制御部として機能し、ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、分布表示を生成する。以下では、オブジェクトが現実空間に分布する例を挙げるが、後述するように、オブジェクトは仮想空間に分布するものであってもよい。
図3に示すように、コントローラ20は、CPU201と、メモリ202と、通信部203と、入力操作部204と、内部電源205とを有する。
CPU201は、コントローラ20全体の動作を制御する。メモリ202は、ROM及びRAM等を有し、CPU201によるコントローラ20の制御を実行するためのプログラムや各種パラメータ、オブジェクトの情報、その他必要なデータを記憶する。通信部203は、携帯情報端末30との近距離通信のためのインターフェースを構成する。
入力操作部204は、ユーザ操作によってHMD10で表示される画像を制御するためのものである。入力操作部204は、メカニカルスイッチ及び/又はタッチセンサで構成され得る。
内部電源205は、HMD10の駆動に必要な電力を供給する。
図4は、コントローラの機能的構成を説明するためのHMD10のブロック図である。
同図に示すように、コントローラ20は、視野設定部21と、オブジェクト情報管理部22と、オブジェクト抽出部23と、オブジェクト分布算出部24と、グループ管理部25と、モード切替部26と、分布表示生成部27と、ARアイコン表示処理部28とを有する。これらの各要素は、主に、メモリ202に格納されたアプリケーションプログラムに従い、CPU201によって実行される。以下、各要素について説明する。
視野設定部21は、検出部12の検出結果から算出された表示部11の姿勢に基づいて、視野の範囲を設定する。本実施形態において、視野設定部21による視野の範囲の設定には、鉛直軸Azを中心とし、ユーザUを包囲する仮想上の円筒座標C0が用いられる。
同図に示すように、円筒座標C0は、ユーザU(表示部11)の位置に鉛直軸Azを有し、この鉛直軸Azから距離(半径)Rの位置に配置された仮想的な周面上の位置を規定する座標系である。円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。円筒座標C0の上記半径R、高さHは任意に設定可能である。なお、鉛直軸Azを規定するユーザUの位置は、携帯情報端末30によって取得されたユーザUの位置により規定される。
同図に示すように、視野設定部21は、検出部12の出力に基づいて表示部11の姿勢変化を算出し、ユーザUの視野Vが円筒座標C0上のどの領域に属するか判定する。円筒座標C0における視野Vの属する領域は、θ,h各々の範囲によって規定される。視野VはユーザUの姿勢変化によって円筒座標C0上を移動し、その移動方向や移動量は、検出部12の出力に基づいて算出される。
視野Vは略矩形状であり、例えば視野Vの周方向の範囲は、以下の式(1)で表される。
θv1≦θv≦θv2 …(1)
一方、視野Vの高さ方向の範囲は、以下の式(2)で表される。
hv1≦hv≦hv2 …(2)
さらに、視野Vは、左上の隅部を原点OPとするxy座標(ローカル座標)を有する。x軸は、原点OPから水平方向に延びる軸であり、y軸は、原点OPから垂直方向に延びる軸である。詳細については、後述する。
オブジェクト情報管理部22は、通信部203を介して携帯情報端末30から所定のオブジェクトの情報を取得し、取得したオブジェクトの情報を管理する。オブジェクト情報管理部22によるオブジェクト取得のタイミングは、例えば後述するように、現在位置が所定の距離以上変化したと判定されたタイミングとすることができる。
オブジェクト情報管理部22は、本実施形態において、携帯情報端末30を介してオブジェクトデータベース404から複数のオブジェクトの情報を取得することができる。
オブジェクトの情報は、例えば、オブジェクトの属性、オブジェクトの名称、オブジェクトの位置等の情報を含んでいる。オブジェクトの位置の情報は、典型的には、オブジェクトの絶対位置(緯度、経度等)の情報を含む。
オブジェクト抽出部23は、視野設定部21の処理結果に基づいて、情報が取得されたオブジェクトのうち、視野V内に分布するオブジェクトを抽出する。
オブジェクト抽出部23は、まず、オブジェクトの絶対位置とユーザの現在位置に基づいて、オブジェクトの円筒座標C0における座標(θa,ha)を算出する。ユーザの現在位置は、携帯情報端末30から取得することができる。
オブジェクト抽出部23は、座標(θa,ha)が円筒座標C0内の視野Vの範囲(式(1)及び式(2)の範囲)に含まれるオブジェクトを抽出することができる。
オブジェクトA1〜A4は、現実空間上に存在し、典型的にはユーザUから円筒座標C0の半径Rよりも遠い位置に存在する。したがって、オブジェクトA1〜A4の円筒座標C0における位置は、同図に示すように、オブジェクトA1〜A4を注視するユーザの目線Lと円筒座標C0との交差位置により規定され得る。オブジェクトA1〜A4の円筒座標C0における位置は、円筒座標C0上の座標(θa,ha)により表される。
なお、図示の例では、オブジェクトA1〜A4各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトの周縁の一部(例えば四隅の一部)を上記交差位置に一致させてもよい。あるいは、オブジェクトA1〜A4の位置が上記交差位置から離れた任意の位置に対応付けられてもよい。
オブジェクト分布算出部24は、抽出されたオブジェクトの分布を算出する。
オブジェクト分布算出部24は、視野Vに表示されると判定された各オブジェクトの位置(θa,ha)を、視野V内のローカル座標(xa,ya)に変換する処理を実行し、視野V内のオブジェクトの分布を算出することができる。
図7Aに示すように円筒座標C0上における視野Vの基準点の座標を(θv,hv)とし、視野V内に位置するオブジェクトAの基準点の座標を(θa、ha)とする。視野V及びオブジェクトAの基準点はどの点に設定されてもよく、本例では矩形状である視野V及びオブジェクトAの左上のコーナ部に設定される。αv[°]は、円筒座標上における視野Vの幅角度であり、その値は表示部11の設計あるいは仕様によって確定する。
オブジェクト分布算出部24は、円筒座標系(θ,h)をローカル座標系(x,y)に変換することで、視野VにおけるオブジェクトAの位置を決定する。図7Bに示すようにローカル座標系における視野Vの高さ及び幅をそれぞれHv及びWvとし、ローカル座標系(x,y)におけるオブジェクトAの基準点の座標を(xa,ya)とすると、変換式は、以下のとおりである。
xa=(θa−θv)・Wv/αv …(3)
ya=(ha−hv)・Hv/100 …(4)
これにより、オブジェクト分布算出部24が上記変換式に基づいて視野V中の各オブジェクトの座標(xa,ya)を算出することができる。
グループ管理部25は、ユーザの周囲の現実空間に分布する複数のオブジェクトをグループ化するとともに、グループの情報を管理する。グループ化されるオブジェクトは、例えば視野V方向に分布するオブジェクトとすることができる。グループの情報は、例えば、グループに含まれるオブジェクトの数や、オブジェクト情報管理部22から取得したオブジェクトの共通する属性等の情報を含む。
グループ管理部25は、所定の条件に基づいて複数のオブジェクトをグループ化する。所定の条件として、例えば複数のオブジェクトの視野V内における密度や、オブジェクト属性の共通性等の条件が挙げられる。
また、グループ管理部25は、例えば、ユーザがオブジェクトに近づいたこと等により、グループ化された複数のオブジェクトの視野V内における密度が所定の基準未満に低下したと判定した場合、グループを再編することもできる。
モード切替部26は、複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成される。ここでいう「グループに対する描画処理」は、例えば当該グループに対する分布表示の描画処理や、グループの付加的な情報を表示するARアイコンの描画処理を示す。「複数のオブジェクト各々に対応する描画処理」は、例えば各オブジェクトの付加的な情報を表示するARアイコンの描画処理を示す。
モード切替部26は、所定の条件に基づき、第1のモードと第2のモードとを切り替える。例えば、モード切替部26は、入力操作部204によりモード切替に対応するユーザ操作が受け付けられたと判定した場合、第1のモードと第2のモードとを切り替えてもよい。
分布表示生成部27は、グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する。本実施形態において、分布表示は、グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有し、これらの分布する領域付近に表示される分布表示を生成する。
例えば、分布表示生成部27は、グループ化された複数のオブジェクト各々の視野中における位置を示す座標(xa,ya)を変数とした確率密度関数を用いて、分布表示を生成することができる。詳細は、後述する。
分布表示生成部27は、第1のモード及び第2のモードのいずれにおいても分布表示を生成してもよいし、第1のモードのみ分布表示を生成してもよい。
ARアイコン表示処理部28は、視野V内に分布するオブジェクトの付加的な情報を提供するARアイコンを表示する処理を実行する。ARアイコンは、オブジェクトA1〜A4の付加的な情報を表示する画像であって、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またARアイコンは、2次元画像であってもよいし、3次元画像であってもよい。さらにARアイコンの形状は、矩形、円形その他の幾何学的形状であってもよく、ARアイコンの種類によって適宜設定可能である。
ARアイコン表示処理部28は、第2のモードにおいては、グループ化された複数のオブジェクト各々についてのARアイコンを表示する。
ARアイコン表示処理部28は、第1のモードにおいては、グループに対して例えば1つのARアイコンを表示することができる。この場合、ARアイコンは、グループに属するオブジェクトの数や、グループに属する複数のオブジェクトに共通する属性などを表示することができる。
ARアイコン表示処理部28は、オブジェクトの分布に基づいて視野V中の所定の領域にARアイコンを表示することができる。例えばARアイコン表示処理部28は、各オブジェクトの位置(オブジェクトを注視するユーザの目線Lと円筒座標C0との交差位置)から所定の距離だけ離間した位置にARアイコンを表示してもよい。あるいはARアイコン表示処理部28は、オブジェクトや分布表示の占める領域を算出し、当該領域の近傍にARアイコンを表示してもよい。
(オブジェクト情報の取得処理)
図8Aは、コントローラ20におけるオブジェクト情報の取得処理の流れを示すフローチャートである。本動作例では、コントローラ20が、ユーザの現在位置が例えば50m以上変化した場合に、オブジェクト情報の取得処理を実行する。
なお同図において、ST101乃至ST104の処理は、携帯情報端末30により実行される。また、ST201乃至ST203の処理は、ARサーバ40により実行され、ST301の処理は、HMD10のコントローラ20により実行される。
AR表示物候補の情報の取得条件を満たしていると判定された場合(ST101でYes)、ネットワーク通信部303は、CPU301の制御に基づき、GPS通信部305から取得された現在位置をARサーバ40へ送信する(ST102)。
これにより、コントローラ202のオブジェクト情報管理部22は、オブジェクトデータベース404に含まれる複数のオブジェクトの情報を取得することができる。
一方、コントローラ20は、取得したオブジェクトの情報を用いて所定のタイミングで描画処理を実行する。以下、コントローラ20のCPU201を動作主体とした描画処理の概要について説明する。
図8Bは、コントローラの描画処理の流れを示すフローチャートである。
まず、CPU201は、1/30secの描画タイミングになったか否か判定する。
描画タイミングになったと判定された場合(ST401でYes)、CPU201は、検出部12の検出結果を取得する(ST402)。
続いてCPU201は、メモリ202からオブジェクトの情報を取得する(ST403)。具体的に、CPU201(オブジェクト情報管理部22)は、図8AのST301で示した各データベースに含まれる複数のオブジェクトを取得する。
続いて、CPU201が、メモリ202との協働によって、分布表示及びARアイコンの描画処理を実行する(ST404)。これにより、表示部11は、描画処理の表示結果を視野Vから出力することができる。
以下、この分布表示及びARアイコンの描画処理の詳細について説明する。
図9は、コントローラ20の分布表示及びARアイコンの描画処理の流れを示すフローチャートである。ここでは、CPU201が、メモリ202に格納された飲食店検索アプリケーションプログラムに従って処理を実行するものとする。
そしてオブジェクト抽出部23は、円筒座標C0内の視野Vの範囲(式(1)及び式(2)の範囲)に含まれる座標(θa,ha)を有するオブジェクトがあるか否か判定し(ST502)、あると判定された場合、この範囲に含まれるオブジェクトの座標(θa,ha)を全て抽出する(ST503)。
オブジェクト抽出部23は、同図に示す例では、飲食店A11、飲食店A12、飲食店A13及び飲食店A14、並びに、ビルA21、ビルA22、ビルA23及び交差点A31を抽出する。
図10に示す例では、各オブジェクトA11〜A14のローカル座標における位置は、それぞれ、ローカル座標(xa11,ya11),(xa12,ya12),(xa13,ya13),(xa14,ya14)と算出されるものとする。
図10に示す例において、グループ管理部25は、「飲食店」という関連する付加情報を有する視野V中の4つのオブジェクトA11〜A14をグループG10としてグループ化する。この場合、関連する付加情報は、オブジェクトの属性である。なお、本動作例において、グループ管理部25は、ビルA21、ビルA22、ビルA23及び交差点A31についてはグループ化しない。
同図に示すように、グループ化されたオブジェクトA11〜A14上には、分布表示D10が重畳的に表示されている。
例えばARアイコン表示処理部28は、分布表示D10の占める領域を算出し、分布表示D10の上部に沿った位置にグループG10に関連するARアイコンB10を表示する。
ARアイコンB10には、同図に示すように店舗数を表示してもよいし、あるいはグループに含まれる各オブジェクトに共通する属性等を表示してもよい。また、全てのオブジェクトに共通する属性はないが、統計的に有意な属性がある場合には、当該属性を表示してもよい。
ARアイコン表示処理部28は、同図に示すように、ビルA21、ビルA22、ビルA23及び交差点A31各々に関連するARアイコンB21,B22,B23,B24,B31を、適宜の位置に表示する。ARアイコンB21,B22,B23,B24,B31には、同図に示すように、例えばビルや交差点の名称を表示することができる。
同図に示すように、ARアイコン表示処理部28は、グループ化されたオブジェクトA11〜A14各々に関連するARアイコンB11,B12,B13,B14を生成し、表示することができる。これらのARアイコンB11〜B14は、同図に示すように、それぞれ、各オブジェクトの店舗名等を表示することができる。
また、ARアイコン表示処理部28は、各ARアイコンB11〜B14が重複しないようにARアイコンの位置を調整してもよい。
続いて、分布表示の詳細な生成処理について説明する。
本実施形態において、分布表示生成部27は、グループ化された複数のオブジェクト各々の視野中における位置を示す座標を変数とした確率密度関数を用いて、分布表示を生成することができる。例えば、確率密度関数は、ガウス関数とすることができる。
分布表示生成部27は、まず、各オブジェクトA11〜A14のローカル座標におけるxの値(xa11,xa12,xa13,xa14)から、平均値μと標準偏差σとを算出する。これにより算出されたμ,σを式(5)に代入し、x軸方向における正規分布関数ψ(x)を導出する
ψ(xa)の値は、xaを確率密度変数とした場合の相対尤度を示し、言い換えればxaを含む微小区間におけるオブジェクトの仮想的な密度を示す。
図10に示す例では、オブジェクトの座標が離散的に分布しており、実際の密度を算出することは現実的ではない。そこで、この例では、オブジェクトの密度は、分散(σ2)の値によって規定されるものとする。
また、図13を参照し、σ2、つまり分散が小さいほどグラフのカーブも急峻になり、平均値μ付近でのψの値が大きくなる。このように、グラフからも、分散が密度と相関することが示される。
例えば、オブジェクトの分布確率は、確率密度関数ψ(x)を変数xについて所定の範囲で積分することで導出することができる。したがって、所定の分布確率に対応する積分範囲[xd1,xd2]、[yd1,yd2]を求めることで、上記領域を抽出することができる。
この積分範囲は、例えば変数がxの場合、以下の式(6)のような範囲として規定することができる。
[xd1,xd2]=[μ−kσ,μ+kσ](k>0) …(6)
式(6)によれば、グラフの概形によらず、kの値のみによって分布確率を規定することができる。
例えば、k=0.6745を(6)式に代入した場合、ψ(x)の積分結果は0.5となり、(6)式で示す区間のオブジェクトの分布確率は50%となる。同様に、例えばk=1を代入した場合、(6)式で示す区間のオブジェクトの分布確率は68.27%となる。このように、(6)式のkの値を設定することで、オブジェクトの分布確率が所定の値となるx(及びy)の範囲を導出することができる。
また分布表示は、矩形でもよいが、例えば図示するように周縁の全部又は一部を滑らかな曲線で構成することができる。
さらに分布表示生成部27は、複数のオブジェクトを視認可能な透過度を有する分布表示を生成することができる。これにより、オブジェクト上を覆う霧や雲のように表現された分布表示を生成することができる。
図14は、分布表示の他の例を示す図である。
同図に示すように、分布表示生成部27は、ψの値や式(6)のkの値の範囲に基づいて、分布表示における少なくとも色相、明度、彩度のいずれかを変化させてもよい。例えば、分布表示は、ψの値が大きい領域ほど、すなわち密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する構成とすることができるし、あるいはψの値に応じて色相を変化させてもよい。
これにより、分布表示生成部27は、グループ化された複数のオブジェクトの密度に基づいて色調を変化させるように分布表示を生成することができる。
また、分布表示の色調は、同図に示すように段階的に変化してもよいし、連続的に変化してもよい。
図15は、分布表示のさらに他の例を示す図である。
同図に示すように、分布表示生成部27は、グループが複数ある場合、各グループについて分布表示を生成することができる。
同図に示す例では、グループG20はレストランの属性を有するオブジェクトを含み、グループG30はコンビニエンスストアの属性を有するオブジェクトを含む。これらの各グループに、分布表示D20,D30がそれぞれ重畳されている。また、各グループG20,G30に対し、ARアイコンB10,B20が付加されている。
これにより、視野内に異なる属性を有する複数のオブジェクトが分布する場合や、複数のオブジェクトの分布に偏りがある場合であっても、ユーザに対し適切な分布表示を提示することができる。
図16は、分布表示のさらに他の例を示す図である。同図に示す符号A41〜A44は、オブジェクトを示す。
グループ内にオブジェクトの密集する領域が複数存在する場合には、一つの確率密度関数を用いた場合に、オブジェクトの分布を示す適切な分布表示を得ることができない。
そこで、分布表示生成部27は、グループ内のオブジェクトの分布の偏りを表す形状を有する分布表示D40を生成することができる。
より具体的に、分布表示生成部27は、グループ化された複数のオブジェクトのうち、密度が所定の基準以上となる複数のオブジェクトをそれぞれ有する小グループがあるか否か判定してもよい。あると判定された場合、分布表示生成部27は、小グループ毎に、各小グループに属する複数のオブジェクト各々の視野中における位置を示す座標を変数とした確率密度関数を導出し、導出された複数の確率密度関数の和により得られた確率密度関数を用いて、分布表示を生成することができる。
この場合、分布表示生成部27は、後述する変形例1−1と同様に、グループ化された複数のオブジェクトのうち、分散が所定の値以下となる複数のオブジェクトをそれぞれ有する小グループがあるか否か判定してもよい。
これにより、同図に示すように、オブジェクトの分布により即した形状の分布表示を生成することができる。
以上のように、本実施形態によれば、複数のオブジェクトをグループ化し、その分布する領域付近に表示された分布表示を生成することで、視野Vを視認するユーザに対し、オブジェクトの分布を直観的に理解させることができる。したがって、視野V内に複数のオブジェクトが存在する場合であっても、シンプルなスタイルの情報提供が可能となり、視認性を向上させることが可能となる。
図17及び図18に示す視野V'には、それぞれ、3つのオブジェクト(図示せず)が領域S内に配置されており、これらに関連するARアイコンB'1,B'2,B'3が表示される。
図17Aに示す視野V'では、ARアイコンB'1,B'2,B'3が重ねられて表示されており、ユーザは、ARアイコンB'2,B'3の内容を把握することができない。
そこで、図17Bに示す視野V'では、ARアイコンB'1,B'2,B'3が重複しないように表示されている。この場合、視野V'中のARアイコンB'1,B'2,B'3の占める割合が高くなる。このため、ユーザが現実空間に存在するオブジェクト等を注視したい場合に、ARアイコンB'1,B'2,B'3が当該オブジェクトと重畳し、注視を妨げるおそれがある。また、制御方法によっては、ARアイコンB'1,B'2,B'3に関連するオブジェクトの分布やARアイコンとオブジェクトとの対応関係が不明確になるおそれがある。
図17Cに示す視野V'では、オブジェクトとそれに関連するARアイコンB'1,B'2,B'3とが線で結ばれており、これらの対応関係が明確になるとともに、オブジェクトの配置も明確になっている。一方で、ユーザが現実空間に存在するオブジェクト等を注視したい場合に、やはりARアイコンB'1,B'2,B'3の存在により注視を妨げるおそれがある。
図18に示す視野V'では、所定のタイミングで、ARアイコンB'1,B'2,B'3が切り替わる。この場合、切り替わるタイミングを十分に確保しないと各ARアイコンB'1,B'2,B'3をユーザに視認させることができない。一方で、ARアイコンB'1,B'2,B'3を全て視認するためには、一定時間ARアイコンを注視し続けなくてはならない。
すなわち、本実施形態の第1のモードによれば、分布表示が複数のオブジェクト上に重畳的に表示されるため、各オブジェクトに対するARアイコンを表示する必要がない。したがって、視野中のAR表示の占める割合を低減し、現実空間への注視を妨げない。さらに、分布表示は、形状等でオブジェクトの分布を示すことができるため、透過性を有する構成とすることができる。これにより、現実空間の視認性をより向上させることができる。
また、分布表示は、形状や色調により複数のオブジェクトの分布や密度を表現できるため、ユーザに対し直観的かつシンプルにオブジェクトの存在とその分布状態を把握させることができる。したがって、ユーザは、分布表示により、オブジェクトについての必要最低限の情報を短時間で把握することができる。
さらに、分布表示により、ユーザが注視することなくオブジェクトの分布等を漠然と把握することができるため、現実空間への注意を維持させることができる。
図19Aに示す視野V'には、飲食店の店舗が含まれるビルA'4に関連するARアイコンB'41が表示されている。ユーザがこのビルA'4に近づくと、図19Bに示すように、より下位の情報である飲食店等の店名を表示するARアイコンB'42,B'43が表示される。すなわち、図19に示す例では、オブジェクト毎にARアイコンを表示するとARアイコンが密集したりオーバーレイしたりするような場合には、上位の階層の情報についてのARアイコンB'41を表示し、ARアイコンの密集度が緩和するに従い、より下位の階層の情報についてのARアイコンB'42,B'43を表示するように構成される。
この場合、コントローラ20が、オブジェクトの階層に関する情報を取得する必要があり、オブジェクトの階層を整備する必要が生じる。
以上の動作例では、ARシステム100(コントローラ20)が飲食店検索アプリケーションプログラム(以下、アプリとも略する)に適用される例を示したが、本実施形態のARシステム100は、他のアプリにも適用され得る。
ARシステム100は、例えば、人混みスポット探索アプリに適用されることができる。人混みスポット探索アプリは、外出している人が集中している場所をリアルタイムにユーザに提示することができるものとする。この場合、オブジェクトは外出している人である。
例えば、ARサーバ40は、オブジェクトデータベース404として、外出人口データベースを記憶している。ARサーバ40は、例えば複数の人が所有している携帯情報端末から、各人の現在位置と登録された自宅の位置情報とを取得し、各人の自宅からの距離を算出する。また、ARサーバ40は、各人の携帯情報端末にインストールされた行動解析プログラム等によって解析された各人の行動解析結果を取得する。ARサーバ40は、取得されたこれらの情報に基づいて、各人の外出の有無を判断する。また、外出人口データベースには、各人に対応づけられた現在位置と外出状況とが記憶されている。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から外出している人に関する情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する外出している人を抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、外出している人をグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
同図に示す視野Vには、あるイベント会場が提示されており、分布表示D50が表示されている。このように、本実施形態によれば、視野V内にオブジェクト(人)が視認できなくても、これらのオブジェクトの分布する領域に分布表示D50が表示され得る。
例えば同図に示す例では、ARアイコンB50により、「あるゲーム好き」というユーザの属性の情報と、そのグループまでの距離の情報が提示されている。
このように、ARアイコン表示処理部28は、グループ化された人の所定の属性に統計的に有意な属性があった場合、当該属性をARアイコンB50として表示することができる。また、ARアイコン表示処理部28は、属性のほか、HMD10を装着しているユーザからグループまでの距離を表示してもよい。この場合、グループまでの距離は、HMD10を装着しているユーザから、グループ化された人各々までの距離の平均の距離とすることができる。
ARシステム100は、例えば、写真撮影スポット探索アプリに適用されることができる。写真撮影スポット探索アプリは、写真の撮影に好適な場所のユーザから見た方角や距離を提示することができるものとする。この場合、オブジェクトは写真の撮影場所である。
例えば、ARサーバ40は、オブジェクトデータベース404として、撮影スポットデータベースを記憶している。インターネット50上の写真共有サイトや、インターネット50上のブログ等には、デジタルカメラや携帯情報端末で撮影された画像データ(以下、写真データという)がアップロードされている。ARサーバ40は、これらの写真データにメタデータとして付加された撮影位置情報を取得する。撮影位置情報は、例えば、GPS通信部305を有する撮影装置によって、撮影時に取得されるものである。ARサーバ40は、取得した撮影位置情報を撮影スポットデータベースとして保持する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から撮影位置情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する撮影スポットを抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、これらの撮影スポットをグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
同図に示す視野Vには、撮影スポットの分布を表す分布表示D60が表示されている。分布表示D60の上部には、ARアイコンB60により、「桜」という撮影スポットの被写体の内容を示す情報と、そのスポットまでの距離の情報が提示されている。撮影スポットの被写体の内容を示す情報は、写真データを画像解析すること等により得ることができる。
これにより、ユーザは、撮影スポットの方位や距離、及び撮影スポットの人気度等を把握することができる。
例えば、図21の例を参照し、桜を被写体とした撮影の時期は、当該撮影地域において主に3月末から4月初めに集中しているものとする。この場合、処理時が4月初めであれば、コントローラ20は、桜を被写体とする撮像スポットをグループ化し、同図に示す分布表示D60を生成することができる。一方で、処理時が8月であれば、コントローラ20は、桜を被写体とする撮像スポットをグループ化せず、分布表示D60を生成しなくてもよい。
これにより、ユーザは、撮影に適した現実的な撮影スポットを把握することができる。
ARシステム100は、例えば、観光スポット案内アプリに適用されることができる。観光スポット案内アプリは、現在地付近の観光スポットのユーザから見た方角や距離を提示することができるものとする。この場合、オブジェクトは観光スポットである。
例えば、ARサーバ40は、オブジェクトデータベース404として、観光スポットデータベースを記憶している。ARサーバ40は、観光スポットの情報として、自治体や観光協会等が作成したホームページにアップされている情報や、ブログにアップされている情報を取得する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から観光スポットの情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する観光スポットを抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、これらの観光スポットをグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
同図に示す視野Vには、観光スポットの分布を表す分布表示D70,D80が表示されている。分布表示D70,D80の上部には、それぞれARアイコンB70,B80が表示されている。ARアイコンB70,B80には、それぞれ、「寺」という観光スポットの属性を示す情報と、そのスポットまでの距離の情報が提示されている。
これにより、ユーザは、観光スポットの方位や距離、あるいは観光スポットの集中度を把握することができる。
さらに、グループ管理部25は、抽出された各観光スポットに観光に適した時期がある場合は、処理時が当該時期と近い観光スポットをグループ化することができる。
これにより、ユーザは、観光時期に適した観光スポットを把握することができる。
ARシステム100は、例えば、渋滞情報提供アプリに適用されることができる。渋滞情報提供アプリは、車が渋滞している場所をリアルタイムにユーザに提示することができる。この場合、オブジェクトは車である。
例えば、ARサーバ40は、オブジェクトデータベース404として、渋滞情報データベースを記憶している。ARサーバ40は、例えば車が発信する走行情報や、道路上に設置された車の流れを監視するシステム、あるいはドライバの所有する携帯情報端末等を用いて、遅い速度で運転している車の分布情報を取得する。
コントローラ20は、携帯情報端末30を介して、ARサーバ40から車の分布情報を取得する。そしてオブジェクト抽出部23は、視野V内に分布する遅い速度の車を抽出し、オブジェクト分布算出部24がこれらの分布を算出する。続いて、グループ管理部25が、抽出された車をグループ化し、分布表示生成部27が分布表示を生成する。分布表示生成部27は、例えば密度に応じて異なる色調を有していてもよい。
同図に示す視野Vには、遅い速度の車の分布を表す分布表示D90,D100が表示されている。分布表示D90,D100の上部には、それぞれARアイコンB90,B100が表示されている。ARアイコンB90,B100には、それぞれ、「渋滞」という情報と、それらの渋滞開始位置までの距離の情報が提示されている。
これにより、ユーザは、渋滞箇所の方位や距離、あるいは渋滞の度合いを把握することができ、このような渋滞箇所を回避することができる。
また、ARシステム100は、駐車場の空いている区画を検索するアプリにも適用されることができる。この場合コントローラ20は、渋滞情報提供アプリの際と同様の処理により、ある駐車場内における車の分布に関する分布表示を生成することができる。これにより、ユーザは、駐車場内における車の混雑分布を把握することができ、空いている区画を容易に見つけることができる。
以下、本実施形態の変形例について説明する。なお、以下の変形例において、上述の実施形態と同様の構成については、同一の符号を付して説明を省略する。
上述の実施形態では、グループ管理部25が関連する属性等の付加情報を有する複数のオブジェクトをグループ化すると説明したが、グループ化の条件はこれに限定されない。
例えば、グループ管理部25は、視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化してもよい。
この場合、グループ管理部25は、オブジェクト各々の視野中における位置を示す座標(xa,ya)を変数とした確率密度関数を導出したとき、分散の値が所定の大きさ以下になる複数のオブジェクトをグループ化することができる。
図24A,Bは、視野Vの例を示す図であり、オブジェクトA111〜A114が、1つのビルに含まれる2店のレストランA111,A112及び他のビルに含まれる2店のカフェA113,A114である例を示す。
図24Aでは、視野Vの狭い範囲に4つのオブジェクトA111〜A114が集中して存在しており、これら4つのオブジェクトA111〜A114が1つのグループG110としてグループ化され、分布表示D110が表示されている。
一方、図24Bに示すように、ユーザがこれらのビルに近づきオブジェクトの密度が緩和された場合、4つのオブジェクトA111〜A114の分布の分散が基準値より大きくなる。この場合、グループ管理部25は、分布の分散が基準値以下となるオブジェクトの集合を探索し、同図に示すように2店のレストランとA111,A112と2店のカフェA113,A114とをそれぞれグループG120,G130として再編する。さらに、分布表示生成部27が、グループG120,G130毎に分布表示D120,D130を生成する。
分布表示生成部27及びARアイコン表示処理部28は、生成されたARアイコンや分布表示のうち、一部を表示しないように処理することができる。
例えば、ユーザが飲食店を検索する場合、雑貨屋の重要性は低い。
そこで、図25Bに示すように、分布表示生成部27及びARアイコン表示処理部28は、飲食店等の所定の属性以外の属性を有するARアイコンや分布表示をフィルタ処理によって除去してもよい。
ARアイコンや分布表示の除去は、ユーザの入力操作に基づいて実施されてもよいし、あるいはアプリによって自動的に実施されてもよい。
これにより、よりシンプルなスタイルで、必要最低限の情報提供を実現することができる。
例えば、オブジェクト抽出部23は、所定の属性を有するオブジェクトのみを抽出してもよい。
これにより、コントローラ20における処理量を低減することができる。
以上の実施形態では、第2のモードにおいては分布表示を生成しない例を示したが、これに限定されず、第2のモードにおいてもグループ化されたオブジェクトに対して分布表示を生成することができる。
図26は、第2のモードにおける視野Vの例を示す図である。同図に示すように、グループに対してARアイコンB170と分布表示D170とが表示されており、さらにグループ内の各オブジェクトに対応するARアイコンB171,B172,B173,B174も表示されている。
これにより、第2のモードにおいてもグループの存在を示すことができる。
上述の実施形態では、モード切替部26が、入力操作部204によりモード切替に対応するユーザ操作が受け付けられたと判定した場合、第1のモードと第2のモードとを切り替えると説明したが、これに限定されない。
例えば、モード切替部26は、ユーザが分布表示を注視していると判定される場合に、第1のモードから第2のモードへ切り替えるように構成されてもよい。
より具体的には、モード切替部26は、後述する分布表示が視野Vの中心に表示されると判定された場合、ユーザが分布表示を注視していると判定してもよい。
まず図27Aに示すように、第1のモードにおいて、分布表示D170が、中心Ovから外れた領域に表示されている。
ユーザが頭部、すなわち表示部11の向きを変えること(ヘッドトラック)により、円筒座標C0において視野Vの占めるθの範囲も変化する。
これにより、図27Bに示すように、分布表示D170が中心Ovに表示され、モード切替部26が第1のモードから第2のモードへ切り替える。
そして、図27Cに示すように、グループに含まれる各オブジェクトの情報を提示するARアイコンB171,B172,B173,B174が表示される。
ユーザは、グループの詳細な情報を取得したいと考えた場合、グループを注視すると考えられる。したがって、本変形例では、ユーザがグループを注視する際の自然な動きを利用して第2のモードへの切り替えを実行することができる。
なお、モード切替部26は、分布表示D170が中心Ovに表示された後、所定の時間が経過した後、第1のモードから第2のモードへ切り替えるように構成されてもよい。
他のモード切替処理例として、モード切替部26は、グループ化された複数のオブジェクトの視野V内における密度が所定の基準以下であると判定した場合、第2のモードに切り替えてもよい。
本変形例では、例えば、ユーザが現実空間のオブジェクトに近づいたことにより、視野V中のオブジェクトの分布の分散が大きくなって密度が低下し、第2のモードに切り替えることができる。
図28A,Bは、視野Vの例を示す図であり、オブジェクトが4つの飲食店である例を示す。
図28Aは、4つのオブジェクトA111〜A114の密度が所定の基準よりも大きいと判定され、第1のモードを維持している例を示す。密度の基準は、例えば変形例1−1と同様に分散の値を適用することができる。同図に示す例では、グループ化された4つのオブジェクトA111〜A114に対して、分布表示D110とARアイコンB110とが表示されている。
図28Bは、4つのオブジェクトA111〜A114の密度が所定の基準以下であると判定され、第2のモードに切り替えられた例を示す。同図に示す例では、4つのオブジェクトA111〜A114各々に対して、ARアイコンB111,B112,B113,B114が表示されている。
ここで、オブジェクトの密度が低下した場合、視野V中のより広範な領域にオブジェクトA111〜A114が分布することになるため、個々のオブジェクトについてのARアイコンB111〜B114を表示するスペースが確保しやすくなる。したがって、本変形例によれば、視野V中のARアイコンの視認性を維持しつつ、モードの切替を行うことができる。
上述の実施形態では、分布表示生成部27が式(5)に示す正規分布関数を用いて分布表示を生成すると説明したが、以下の式(6)で表される他のガウス関数を用いてもよい。
あるいは、分布表示生成部27は、確率密度関数を用いず、例えば以下のような分布表示を生成してもよい。
同図に示すように、分布表示D180は、例えばオブジェクトの座標位置を中心とした複数の円D181〜D184で形成されてもよい。1つの円の大きさは特に限定されないが、例えば、グループ化された他のオブジェクトの円と重複する程度の大きさとすることができる。例えば表示部11を装着するユーザとオブジェクトとの距離が小さいほど径が大きくなるように構成されてもよい。
また、分布表示D180のうち、複数の円が重複している領域は、明度の低い色調を有していてもよい。
また、同図に示すように、複数の円が一体化されて1つの分布表示を構成してもよい。これにより、グループを強調することができる。
このような分布表示によっても、オブジェクトの分布状態を、形状と配置とで表現することが可能となる。
コントローラ20は、第1及び第2のモードに切り替え可能な構成ではなく、上述の第1のモードのみ有する構成であってもよい。
図30は、本技術の第2の実施形態に係るコントローラの機能的構成を説明するためのHMDのブロック図である。
本実施形態に係るHMD10Aは、表示部11と、コントローラ20Aとを有し、コントローラ20Aの機能的構成が第1の実施形態と異なる。なお、コントローラ20のハードウェア構成は、図3に示すコントローラ20と同様であるため、説明を省略する。
なお、以下の変形例において、上述の実施形態と同様の構成については、同一の符号を付して説明を省略する。
さらに分布表示調整部29は、視野中の分布表示の占める面積の割合が第2の割合よりも小さいと判定した場合、分布表示を第2の割合以上に拡大することができる。第2の割合は、第1の割合よりも小さいものとする。
図31は、分布表示調整部29の動作例を示すフローチャートである。
分布表示調整部29は、分布表示が生成された後、視野中の分布表示の占める面積の割合を算出する(ST601)。
続いて、分布表示調整部29は、算出された面積の割合が第1の割合よりも大きいか否か判定する(ST602)。
第1の割合よりも大きいと判定された場合(ST602でYes)、分布表示調整部29は、分布表示を第1の割合以下に縮小する処理を実行する(ST603)。
一方、第1の割合以下であると判定された場合(ST602でNo)、分布表示調整部29は、算出された面積の割合が第2の割合よりも小さいか否か判定する(ST604)。
第2の割合よりも小さいと判定された場合(ST604でYes)、分布表示調整部29は、分布表示を第2の割合以上に拡大する処理を実行する(ST605)。
また、第2の割合以上であると判定された場合(ST604でNo)、分布表示調整部29は、分布表示の縮小及び拡大のいずれも実行せずに処理を終了する。
分布表示調整部29は、ガウス関数を用いて生成された分布表示に対しては、例えば実際に算出された値よりも小さい値の分散(すなわちσ2)を用いることにより、分布表示を縮小することができる。同様に、分布表示調整部29は、実際に算出された値よりも大きい値の分散を用いることにより、分布表示を拡大することができる。
第1の割合、及び第2の割合は、表示部11の視野Vの画角により、適宜設定することができる。
図32A,Bは、視野Vの画角について説明する図であり、図32Aは周方向(θ方向)の画角α、図32Bは高さ方向(h方向)の画角βを示す。
図32Aに示すように、画角αは、円筒座標C0における周方向(θ方向)の視野Vの範囲と定義でき、式(1)を用いて、α=θv2−θv1と定義できる。
一方、図32Bに示すように、画角βは、ユーザUが円筒座標C0上の視野Vの下端hv2から上端hv1までを望む角度の範囲を示し、式(7)で定義できる。
β=2×tan−1((hv2−hv1)/2R) ・・・(7)
ここで、画角αが20°、画角βが10°である場合、例えば第1の割合を50%、第2の割合を10%とすることができる。
また例えば、画角αが40°、画角βが20°である視野Vは、画角αが20°、画角βが10°である視野Vよりも、ユーザの視野に対し相対的に大きく構成される。この場合は、例えば第1の割合を30%、第2の割合を5%とすることができる。これにより、視野Vの大きさによらず、視認性の高い分布表示を提示することができる。
また、分布表示の縮小、拡大後の割合も適宜調整することができ、例えば分布表示調整部29は、第1の割合に縮小してもよいし、第2の割合に拡大してもよい。
あるいは、HMD10毎に、第1及び第2の割合が決定されていてもよい。
例えば、ARシステムが携帯情報端末を有さず、ARサーバとコントローラとが直接通信するように構成されていてもよい。
また、コントローラはHMDと一体に構成されていてもよいし、携帯情報端末によって構成されてもよい。あるいは、コントローラは、例えばARサーバと携帯情報端末など、複数の機器によって構成されてもよい。
例えば、コントローラ(HMD)又は携帯情報端末が、これらの起動時に、ARサーバからAR表示処理と触覚フィードバック処理とに必要なオブジェクトの情報をまとめて取得し、メモリに保持していてもよい。
また、HMDの例として、透過型のディスプレイを有する例を挙げたが、例えば非透過型のディスプレイを有していてもよい。この場合、オブジェクトは、現実空間に分布するオブジェクトではなく、非透過型のディスプレイに表示され得る仮想空間に分布するオブジェクトであってもよい。例えば、仮想空間は、ARサーバ等によって提供されるゲームアプリにより、ユーザの周囲に構築される仮想的な空間であってもよい。
さらに、HMDに本技術を適用した例を説明したが、コンタクトレンズ型や、例えば手首や腕、首等に装着可能なウェアラブルディスプレイにも本技術は適用可能である。
あるいは、分布表示の形状は、オブジェクトの分布する領域の形状に関連せずに、オブジェクトの分布中心に中心を有する楕円形や、円形等の所定の形状であってもよい。
あるいは、HMDのコントローラは、グループ化された複数のオブジェクトの密度分布に基づいて形状を変化させた分布表示を生成することもできる。これにより、コントローラは、例えば生成された分布表示のうち、オブジェクトが少ない、又は無い領域では、分布表示の一部を削除することができる。
(1)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、前記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する制御部と、
前記ユーザの視野に前記分布表示を提示する表示部と
を具備する表示装置。
(2)上記(1)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの分布する領域付近に上記分布表示を生成する
表示装置。
(3)上記(1)又は(2)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの分布する領域の形状に関連した形状を有する上記分布表示を生成する
表示装置。
(4)上記(3)に記載の表示装置であって、
上記制御部は、上記複数のオブジェクトの分布の偏りを表す形状を有する上記分布表示を生成する
表示装置。
(5)(1)から(4)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記複数のオブジェクトを視認可能な透過度を有する上記分布表示を生成する
表示装置。
(6)(1)から(5)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの密度に基づいて少なくとも色相、明度、彩度のいずれかを変化させるように上記分布表示を生成する
表示装置。
(7)上記(6)に記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクトの密度が高い領域ほど、明度の高い色調又は明度の低い色調を有する上記分布表示を生成する
表示装置。
(8)(1)から(7)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記グループ化された複数のオブジェクト各々の上記視野中における位置を示す座標を変数とした確率密度関数を用いて、上記分布表示を生成する
表示装置。
(9)上記(8)に記載の表示装置であって、
上記制御部は、上記確率密度関数を導出し、上記導出された確率密度関数を上記変数で積分した場合にオブジェクトの分布確率が所定の値となる上記視野中の領域に重畳される上記分布表示を生成する
表示装置。
(10)上記(8)又は(9)に記載の表示装置であって、
上記確率密度関数は、ガウス関数である
表示装置。
(11)(1)から(10)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野内に分布する複数のオブジェクトのうち、関連する付加情報を有する複数のオブジェクトをグループ化する
表示装置。
(12)(1)から(10)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化する
表示装置。
(13)(1)から(12)のうちいずれか1つに記載の表示装置であって、
上記制御部は、
上記複数のオブジェクトを含むグループに対して描画処理を実行する第1のモードと、
上記グループ化された複数のオブジェクト各々に対して描画処理を実行する第2のモードとを切り替え可能に構成される
表示装置。
(14)上記(13)に記載の表示装置であって、
上記制御部は、
上記グループ化された複数のオブジェクトの上記視野内における密度が所定の基準以上であると判定した場合、上記第1のモードを選択する
表示装置。
(15)上記(13)に記載の表示装置であって、
上記制御部は、ユーザが上記分布表示を注視していると判定した場合に、上記第1のモードから上記第2のモードへ切り替える
表示装置。
(16)上記(15)に記載の表示装置であって、
上記制御部は、上記分布表示が上記視野の中心に重畳されると判定された場合に、ユーザが上記分布表示を注視していると判定する
表示装置。
(17)(1)から(16)のうちいずれか1つに記載の表示装置であって、
上記制御部は、上記視野中の上記分布表示の占める面積の割合が所定の割合より大きいと判定した場合、上記分布表示を上記所定の割合以下に縮小する
表示装置。
(18)(1)から(17)のうちいずれか1つに記載の表示装置であって、
上記表示部は、ユーザに装着可能に構成される
表示装置。
(19)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、上記複数のオブジェクトについての情報を出力可能な制御装置と、
上記複数のオブジェクトをグループ化し、上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成する制御部と、上記ユーザの視野に上記分布表示を提示する表示部と、を有する表示装置と
を具備する情報処理システム。
(20)ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
上記グループ化された複数のオブジェクトの分布する領域を表示する分布表示を生成し、
上記ユーザの視野に上記分布表示を提示する
制御方法。
11…表示部
20,20A…コントローラ
40…ARサーバ(制御装置)
100…ARシステム(情報処理システム)
Claims (17)
- ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
第1のモード及び第2のモードのいずれであるか判定し、
前記第1のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々の前記ユーザの視野中における位置を示す座標を変数とした確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、かつ、前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
前記第2のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成する、
制御部と、
前記視野に、前記第1のモードでは前記分布表示及び前記グループアイコンを提示し、前記第2モードでは前記オブジェクトアイコンを提示する表示部と
を具備する表示装置。 - 請求項1に記載の表示装置であって、
前記制御部は、前記グループ化された複数のオブジェクトの分布する領域付近に前記分布表示を生成する
表示装置。 - 請求項1又は2に記載の表示装置であって、
前記制御部は、前記複数のオブジェクトの分布の偏りを表す形状を有する前記分布表示を生成する
表示装置。 - 請求項1〜3のいずれか1つに記載の表示装置であって、
前記制御部は、前記複数のオブジェクトを視認可能な透過度を有する前記分布表示を生成する
表示装置。 - 請求項1〜4のいずれか1つに記載の表示装置であって、
前記制御部は、前記確率密度関数に基づいて少なくとも色相、明度、彩度のいずれかを変化させるように前記分布表示を生成する
表示装置。 - 請求項5に記載の表示装置であって、
前記制御部は、前記グループ化された複数のオブジェクトの前記確率密度関数が高い領域ほど、明度の高い色調又は明度の低い色調を有する前記分布表示を生成する
表示装置。 - 請求項1〜6のいずれか1つに記載の表示装置であって、
前記制御部は、前記確率密度関数を導出し、前記導出された確率密度関数を前記変数で積分した場合にオブジェクトの分布確率が所定の値となる前記視野中の領域に重畳される前記分布表示を生成する
表示装置。 - 請求項1〜7のいずれか1つに記載の表示装置であって、
前記確率密度関数は、ガウス関数である
表示装置。 - 請求項1〜8のいずれか1つに記載の表示装置であって、
前記制御部は、前記視野内に分布する複数のオブジェクトのうち、関連する付加情報を有する複数のオブジェクトをグループ化する
表示装置。 - 請求項1〜9のいずれか1つに記載の表示装置であって、
前記制御部は、前記視野内に分布する複数のオブジェクトのうち、所定の基準以上の密度を構成する複数のオブジェクトをグループ化する
表示装置。 - 請求項1〜10のいずれか1つに記載の表示装置であって、
前記制御部は、
前記グループ化された複数のオブジェクトの前記視野内における密度が所定の基準以上であると判定した場合、前記第1のモードを選択する
表示装置。 - 請求項1〜11のいずれか1つに記載の表示装置であって、
前記制御部は、ユーザが前記分布表示を注視していると判定した場合に、前記第1のモードから前記第2のモードへ切り替える
表示装置。 - 請求項12に記載の表示装置であって、
前記制御部は、前記分布表示が前記視野の中心に表示されていると判定された場合に、ユーザが前記分布表示を注視していると判定する
表示装置。 - 請求項1〜13のいずれか1つに記載の表示装置であって、
前記制御部は、前記視野中の前記分布表示の占める面積の割合が所定の割合より大きいと判定した場合、前記分布表示を前記所定の割合以下に縮小する
表示装置。 - 請求項1〜14のいずれか1つに記載の表示装置であって、
前記表示部は、ユーザに装着可能に構成される
表示装置。 - ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトについての情報を記憶し、前記複数のオブジェクトについての情報を出力可能な制御装置と、
制御部と、表示部と、を有する表示装置と
を具備し、
前記制御部は、
第1のモード及び第2のモードのいずれであるか判定し、
前記第1のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々の前記ユーザの視野中における位置を示す座標を変数とした確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、かつ、前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
前記第2のモードであると判定した場合に、前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成し、
前記表示部は、
前記視野に、前記第1のモードでは前記分布表示及び前記グループアイコンを提示し、前記第2モードでは前記オブジェクトアイコンを提示する
情報処理システム。 - ユーザの周囲の現実空間もしくは仮想空間に分布する複数のオブジェクトをグループ化し、
第1のモード及び第2のモードのいずれであるか判定し、
前記第1のモードであると判定した場合に、
前記グループ化された複数のオブジェクト各々の前記視野中における位置を示す座標を変数とした確率密度関数を導出し、
前記導出された確率密度関数を用いて、前記グループ化された複数のオブジェクトの分布する領域の前記視野中における位置及び形状を表示する分布表示を生成し、
前記分布表示に対して前記複数のオブジェクトの属するグループに関連するグループアイコンを生成し、
前記ユーザの視野に前記分布表示及び前記グループアイコンを提示し、
前記第2のモードであると判定した場合に、
前記グループ化された複数のオブジェクト各々に対してオブジェクトアイコンを生成し、
前記ユーザの視野に前記オブジェクトアイコンを提示する
制御方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015106767A JP6344311B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、情報処理システム及び制御方法 |
PCT/JP2016/001912 WO2016189791A1 (ja) | 2015-05-26 | 2016-04-05 | 表示装置、情報処理システム及び制御方法 |
DE112016002350.2T DE112016002350T5 (de) | 2015-05-26 | 2016-04-05 | Anzeigevorrichtung, Informationsverarbeitungssystem und Steuerverfahren |
CN201680028918.4A CN107615227B (zh) | 2015-05-26 | 2016-04-05 | 显示装置、信息处理***以及控制方法 |
US15/575,131 US10878629B2 (en) | 2015-05-26 | 2016-04-05 | Display apparatus, information processing system, and control method |
EP16799509.1A EP3306456A4 (en) | 2015-05-26 | 2016-04-05 | DISPLAY DEVICE, INFORMATION PROCESSING SYSTEM AND CONTROL PROCESS |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015106767A JP6344311B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、情報処理システム及び制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016218981A JP2016218981A (ja) | 2016-12-22 |
JP2016218981A5 JP2016218981A5 (ja) | 2017-07-06 |
JP6344311B2 true JP6344311B2 (ja) | 2018-06-20 |
Family
ID=57392648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015106767A Active JP6344311B2 (ja) | 2015-05-26 | 2015-05-26 | 表示装置、情報処理システム及び制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10878629B2 (ja) |
EP (1) | EP3306456A4 (ja) |
JP (1) | JP6344311B2 (ja) |
CN (1) | CN107615227B (ja) |
DE (1) | DE112016002350T5 (ja) |
WO (1) | WO2016189791A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6742760B2 (ja) * | 2016-02-29 | 2020-08-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6911834B2 (ja) * | 2016-03-29 | 2021-07-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
EP3451135A4 (en) | 2016-04-26 | 2019-04-24 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
US20190221184A1 (en) * | 2016-07-29 | 2019-07-18 | Mitsubishi Electric Corporation | Display device, display control device, and display control method |
JP2019114078A (ja) * | 2017-12-25 | 2019-07-11 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7110738B2 (ja) * | 2018-06-05 | 2022-08-02 | 大日本印刷株式会社 | 情報処理装置、プログラム及び情報処理システム |
TWI691891B (zh) * | 2018-09-07 | 2020-04-21 | 財團法人工業技術研究院 | 多重目標物資訊顯示方法及裝置 |
CN109582134B (zh) | 2018-11-09 | 2021-07-23 | 北京小米移动软件有限公司 | 信息显示的方法、装置及显示设备 |
US11878698B2 (en) * | 2019-04-12 | 2024-01-23 | Mitsubishi Electric Corporation | Display control device, display control method, and storage medium storing display control program |
WO2020236171A1 (en) * | 2019-05-22 | 2020-11-26 | Google Llc | Methods, systems, and media for object grouping and manipulation in immersive environments |
US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
US11176751B2 (en) * | 2020-03-17 | 2021-11-16 | Snap Inc. | Geospatial image surfacing and selection |
KR20220114336A (ko) * | 2021-02-08 | 2022-08-17 | 현대자동차주식회사 | 사용자 단말 및 그 제어 방법 |
US20230244305A1 (en) * | 2022-01-05 | 2023-08-03 | Industrial Technology Research Institute | Active interactive navigation system and active interactive navigation method |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7594194B2 (en) * | 2003-09-24 | 2009-09-22 | Nokia Corporation | Portrayal of navigation objects |
JP4875843B2 (ja) * | 2004-10-20 | 2012-02-15 | オリンパス株式会社 | 情報端末装置 |
US7574409B2 (en) * | 2004-11-04 | 2009-08-11 | Vericept Corporation | Method, apparatus, and system for clustering and classification |
US20070097143A1 (en) * | 2005-10-28 | 2007-05-03 | Mutsuya Ii | Application of variable opacity (image alpha) to power and probability distributions superimposed on cartographic displays |
US8165808B2 (en) * | 2007-07-17 | 2012-04-24 | Yahoo! Inc. | Techniques for representing location information |
US8339399B2 (en) * | 2007-10-31 | 2012-12-25 | Microsoft Corporation | Declustering point-of-interest icons |
US9191238B2 (en) * | 2008-07-23 | 2015-11-17 | Yahoo! Inc. | Virtual notes in a reality overlay |
CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其*** |
JP5315111B2 (ja) * | 2009-03-31 | 2013-10-16 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、情報提示システム及び端末画面表示方法 |
DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
JP2011081556A (ja) | 2009-10-06 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよびサーバ |
US20110161875A1 (en) * | 2009-12-29 | 2011-06-30 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
CN101826129A (zh) | 2010-04-17 | 2010-09-08 | 中山大学 | 基于增强现实的虚拟测量原理及方法 |
JP5651386B2 (ja) * | 2010-06-23 | 2015-01-14 | ソフトバンクモバイル株式会社 | 眼鏡型表示装置 |
JP5597837B2 (ja) * | 2010-09-08 | 2014-10-01 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体、及び、画像生成装置 |
US9710554B2 (en) * | 2010-09-23 | 2017-07-18 | Nokia Technologies Oy | Methods, apparatuses and computer program products for grouping content in augmented reality |
KR101266198B1 (ko) * | 2010-10-19 | 2013-05-21 | 주식회사 팬택 | 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법 |
KR101350033B1 (ko) * | 2010-12-13 | 2014-01-14 | 주식회사 팬택 | 증강 현실 제공 단말기 및 방법 |
JP2012174116A (ja) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
US9600933B2 (en) * | 2011-07-01 | 2017-03-21 | Intel Corporation | Mobile augmented reality system |
US9672049B2 (en) * | 2011-09-22 | 2017-06-06 | Qualcomm Incorporated | Dynamic and configurable user interface |
US9087412B2 (en) * | 2011-09-26 | 2015-07-21 | Nokia Technologies Oy | Method and apparatus for grouping and de-overlapping items in a user interface |
WO2013128078A1 (en) * | 2012-02-29 | 2013-09-06 | Nokia Corporation | Method and apparatus for rendering items in a user interface |
CN102495947A (zh) * | 2011-11-15 | 2012-06-13 | 中国计量科学研究院 | 一种基于虚拟现实技术的表达和分析不确定度的方法 |
US20140053099A1 (en) * | 2012-08-14 | 2014-02-20 | Layar Bv | User Initiated Discovery of Content Through an Augmented Reality Service Provisioning System |
US9607436B2 (en) * | 2012-08-27 | 2017-03-28 | Empire Technology Development Llc | Generating augmented reality exemplars |
US9165190B2 (en) * | 2012-09-12 | 2015-10-20 | Avigilon Fortress Corporation | 3D human pose and shape modeling |
US20140074395A1 (en) * | 2012-09-13 | 2014-03-13 | Michael Brown | Method of displaying points of interest and related portable electronic device |
CN102929391B (zh) * | 2012-10-23 | 2015-11-04 | 中国石油化工股份有限公司 | 增强现实的分布式控制***人机交互设备及方法 |
EP3779895A1 (en) * | 2012-12-21 | 2021-02-17 | Apple Inc. | Method for representing virtual information in a real environment |
US9829997B2 (en) * | 2013-02-22 | 2017-11-28 | Sony Corporation | Head-mounted display system, head-mounted display, and head-mounted display control program |
CN104246864B (zh) * | 2013-02-22 | 2016-06-29 | 索尼公司 | 头戴式显示器和图像显示装置 |
US10229415B2 (en) * | 2013-03-05 | 2019-03-12 | Google Llc | Computing devices and methods for identifying geographic areas that satisfy a set of multiple different criteria |
US9047703B2 (en) * | 2013-03-13 | 2015-06-02 | Honda Motor Co., Ltd. | Augmented reality heads up display (HUD) for left turn safety cues |
EP3004803B1 (en) * | 2013-06-07 | 2021-05-05 | Nokia Technologies Oy | A method and apparatus for self-adaptively visualizing location based digital information |
JP5705279B2 (ja) * | 2013-08-27 | 2015-04-22 | ヤフー株式会社 | 位置特定サーバ、位置特定方法および位置特定プログラム |
JP2015072607A (ja) * | 2013-10-03 | 2015-04-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US9582516B2 (en) * | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
US20150262428A1 (en) * | 2014-03-17 | 2015-09-17 | Qualcomm Incorporated | Hierarchical clustering for view management augmented reality |
CN105096375B (zh) * | 2014-05-09 | 2020-03-13 | 三星电子株式会社 | 图像处理方法和设备 |
US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
CN104331155B (zh) * | 2014-10-27 | 2017-02-15 | 北京理工大学 | 一种利用电刺激实现触觉再现装置 |
US11232466B2 (en) * | 2015-01-29 | 2022-01-25 | Affectomatics Ltd. | Recommendation for experiences based on measurements of affective response that are backed by assurances |
CN104571532B (zh) * | 2015-02-04 | 2018-01-30 | 网易有道信息技术(北京)有限公司 | 一种实现增强现实或虚拟现实的方法及装置 |
US9652896B1 (en) * | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
CA3018758A1 (en) * | 2016-03-31 | 2017-10-05 | Magic Leap, Inc. | Interactions with 3d virtual objects using poses and multiple-dof controllers |
JP7130368B2 (ja) * | 2017-01-13 | 2022-09-05 | キヤノン株式会社 | 情報処理装置および情報処理システム |
-
2015
- 2015-05-26 JP JP2015106767A patent/JP6344311B2/ja active Active
-
2016
- 2016-04-05 DE DE112016002350.2T patent/DE112016002350T5/de active Pending
- 2016-04-05 CN CN201680028918.4A patent/CN107615227B/zh active Active
- 2016-04-05 WO PCT/JP2016/001912 patent/WO2016189791A1/ja active Application Filing
- 2016-04-05 EP EP16799509.1A patent/EP3306456A4/en not_active Ceased
- 2016-04-05 US US15/575,131 patent/US10878629B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3306456A1 (en) | 2018-04-11 |
DE112016002350T5 (de) | 2018-04-05 |
CN107615227A (zh) | 2018-01-19 |
CN107615227B (zh) | 2021-08-27 |
US10878629B2 (en) | 2020-12-29 |
US20180144552A1 (en) | 2018-05-24 |
WO2016189791A1 (ja) | 2016-12-01 |
JP2016218981A (ja) | 2016-12-22 |
EP3306456A4 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6344311B2 (ja) | 表示装置、情報処理システム及び制御方法 | |
JP7268692B2 (ja) | 情報処理装置、制御方法及びプログラム | |
JP6450779B2 (ja) | ストリートビュー目的地への案内を提供する方法およびデバイス | |
JP6669067B2 (ja) | 表示制御装置、表示制御方法およびプログラム | |
CN108474666B (zh) | 用于在地图显示中定位用户的***和方法 | |
US10366523B2 (en) | Method, system and apparatus for providing visual feedback of a map view change | |
US9441975B2 (en) | System and method for generating signal coverage information from client metrics | |
US9488488B2 (en) | Augmented reality maps | |
US9069440B2 (en) | Method, system and apparatus for providing a three-dimensional transition animation for a map view change | |
EP3598073A1 (en) | User terminal device for displaying map and method thereof | |
JP5622510B2 (ja) | 画像生成システム、プログラム及び情報記憶媒体 | |
CN109962939B (zh) | 位置推荐方法、装置、服务器、终端及存储介质 | |
US20150032771A1 (en) | System and method for sharing geo-localized information in a social network environment | |
US9909878B2 (en) | Method and apparatus for triggering conveyance of guidance information | |
ES2706824T3 (es) | Un indicador de región de vídeo que indica que hay disponible contenido de vídeo | |
US10650037B2 (en) | Enhancing information in a three-dimensional map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6344311 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |