JP6669067B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP6669067B2
JP6669067B2 JP2016545012A JP2016545012A JP6669067B2 JP 6669067 B2 JP6669067 B2 JP 6669067B2 JP 2016545012 A JP2016545012 A JP 2016545012A JP 2016545012 A JP2016545012 A JP 2016545012A JP 6669067 B2 JP6669067 B2 JP 6669067B2
Authority
JP
Japan
Prior art keywords
display
mode
display control
view
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016545012A
Other languages
English (en)
Other versions
JPWO2016031358A1 (ja
Inventor
博隆 石川
博隆 石川
岩津 健
健 岩津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016031358A1 publication Critical patent/JPWO2016031358A1/ja
Application granted granted Critical
Publication of JP6669067B2 publication Critical patent/JP6669067B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、表示制御装置、表示制御方法およびプログラムに関する。
異なる複数の表示モードの間でモード切り替えを行う技術が知られている。例えば、拡張現実(AR:Augmented Realty)空間にオブジェクトを重畳させる第1の表示モードと地図データを表示する第2の表示モードとの間でモード切り替えを行う技術が開示されている(例えば、特許文献1参照)。
特開2007−93661号公報
しかし、第1の表示モードと第2の表示モードとの間でモード切り替えを行う場合において、第1の表示モードにおいて表示されるオブジェクトと第2の表示モードにおいて表示されるオブジェクトとが対応している場合に、そのオブジェクト同士が対応していることをユーザに把握させることが求められる。
そこで、本開示では、異なる複数の表示モードそれぞれにおいて表示されるオブジェクトの対応関係をモード切り替え時にユーザに容易に把握させることが可能な技術を提案する。
本開示によれば、第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、前記表示制御部は、前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、表示制御装置が提供される。
また、本開示によれば、第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させることを含み、前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行うことを含む、表示制御方法が提供される。
また、本開示によれば、コンピュータを、第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、前記表示制御部は、前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、表示制御装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、異なる複数の表示モードそれぞれにおいて表示されるオブジェクトの対応関係をモード切り替え時にユーザに容易に把握させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本技術の一実施形態に係るヘッドマウントディスプレイの機能を説明する概略図である。 上記ヘッドマウントディスプレイを示す全体図である。 上記ヘッドマウントディスプレイを含むシステムの構成を示すブロック図である。 上記ヘッドマウントディスプレイにおける制御ユニットの機能ブロック図である。 上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。 上記ヘッドマウントディスプレイにおけるワールド座標系の一例としての円筒座標を示す概略図である。 図5Aに示す円筒座標の展開図である。 図5Bに示す円筒座標の展開図である。 上記円筒座標系における座標位置の説明図である。 視野とオブジェクトとの関係を概念的に示す上記円筒座標の展開図である。 円筒座標(ワールド座標)から視野(ローカル座標)への変換方法を説明する図である。 円筒座標(ワールド座標)から視野(ローカル座標)への変換方法を説明する図である。 上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。 上記ヘッドマウントディスプレイにおける顔ぶれ補正機能を説明する概念図である。 領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。 領域制限された円筒座標に対応付けられたオブジェクトと視野との相対位置関係を示す概略図である。 領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。 領域制限された円筒座標にオブジェクトを配置する手順を説明する概念図である。 領域制限された円筒座標にオブジェクトを配置する手順を説明するシーケンス図である。 上記システムの動作の概要を説明するフローチャートである。 上記制御ユニットによるオブジェクトデータの受信手順の一例を示すフローチャートである。 上記制御ユニットによる視野へのオブジェクトの描画手順の一例を示すフローチャートである。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一適用例を説明する視野の模式図である。 上記ヘッドマウントディスプレイにおける一表示制御例を示すフローチャートである。 上記表示制御例を説明する視野の模式図である。 他の表示制御例を説明する視野の模式図である。 他の表示制御例を説明する視野の模式図である。 ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例を説明するための図である。 ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例(オブジェクトAは固定)を説明するための図である。 ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例(オブジェクトA、B、C、Dは端部に移動)を説明するための図である。 表示部と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザの実空間の視野に対象物が収まった直後におけるMapビューの例を示す図である。 表示部と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザの実空間の視野に対象物が収まった場合におけるビュー変化の例を示す図である。 表示部と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザの実空間の視野から対象物が外れた直後におけるARビューの例を示す図である。 表示部と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザの実空間の視野から対象物が外れた場合におけるビュー変化の例を示す図である。 ARビューを表示させるモードとMapビューを表示させるモードとの間でモード切り替えを行う動作例を示すフローチャートである。 2次元メニュービューを表示させるモードと1次元メニュービューを表示させるモードとの間でモード切り替えを行う例を説明するための図である。 2次元メニュービューを表示させるモードと1次元メニュービューを表示させるモードとの間でヘッドトラッキングによりモード切り替えを行う例を説明するための図である。 2次元メニュービューを表示させるモードと奥行きメニュービューを表示させるモードとの間でモード切り替えを行う例を説明するための図である。 タイムラインビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 お店リストビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 時間軸が奥行き方向に設定されたタイムラインビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 チャットビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 チャットビューとチャットビューを含んだARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 Infoビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。 Mapビューを表示させるモードとARビューを表示させるモードとの間でモード切り替えを行う他の例を説明するための図である。 本技術の他の実施形態に係るヘッドマウントディスプレイの一作用を説明する模式図である。 上記ヘッドマウントディスプレイの一作用を説明する模式図である。 上記ヘッドマウントディスプレイの一作用を説明する模式図である。 上記ヘッドマウントディスプレイの一作用を説明する模式図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。本実施形態では、画像表示装置としてヘッドマウントディスプレイに本技術を適用した例について説明する。
<第1の実施形態>
図1は、本技術の一実施形態に係るヘッドマウントディスプレイ(以下「HMD」と称する。)の機能を説明する概略図である。まず図1を参照して、本実施形態に係るHMDの基本的な機能の概要について説明する。
ここで図1において、X軸方向及びY軸方向は相互に直交する水平方向を示し、Z軸方向は鉛直軸方向を示している。これらXYZ直交座標系は、ユーザの属する実空間の座標系(実3次元座標系)を表し、X軸の矢印は北方向を示し、Y軸の矢印は東方向を示している。またZ軸の矢印は重力方向を示している。
[HMDの機能の概要]
本実施形態のHMD100は、ユーザUの頭部に装着され、ユーザUの実空間の視野V(表示視野)に仮想的な画像を表示することが可能に構成される。視野Vに表示される画像には、当該視野Vに存在する所定の対象物A1,A2,A3,A4に関連する情報が含まれる。所定の対象物としては、例えば、ユーザUの周囲に存在する風景、店舗、商品等が該当する。
HMD100は、HMDを装着したユーザUを包囲する仮想上のワールド座標系に対応付けられた画像(以下、オブジェクトともいう。)B1,B2,B3,B4を予め記憶する。ワールド座標系は、ユーザの属する実空間と等価な座標系であって、ユーザUの位置及び所定の軸方向を基準とした対象物A1〜A4の位置を定める。本実施形態においてワールド座標は、鉛直軸を軸心とする円筒座標C0が採用されるが、これ以外にユーザUを中心とする天球座標等の他の3次元座標が採用されてもよい。
円筒座標C0の半径R、高さHは任意に設定可能である。ここでは、半径Rは、ユーザUから対象物A1〜A4までの距離よりも短く設定されるが、上記距離よりも長くてもよい。また高さHは、HMD100を介して提供されるユーザUの視野Vの高さ(縦方向の長さ)Hv以上の大きさに設定される。
オブジェクトB1〜B4は、そのワールド座標系に存在する対象物A1〜A4に関連する情報を表示する画像であって、文字や絵柄等を含む画像であってもよいし、アニメーション画像であってもよい。またオブジェクトは、2次元画像であってもよいし、3次元画像であってもよい。さらにオブジェクトの形状は、矩形、円形その他の幾何学的形状であってもよく、オブジェクトの種類によって適宜設定可能である。
円筒座標C0上におけるオブジェクトB1〜B4の座標位置は、例えば、対象物A1〜A4を注視するユーザの目線Lと円筒座標C0との交差位置にそれぞれ対応付けられる。図示の例では、オブジェクトB1〜B4各々の中心位置を上記交差位置に一致させたが、これに限られず、オブジェクトの周縁の一部(例えば四隅の一部)を上記交差位置に一致させてもよい。あるいは、オブジェクトB1〜B4の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。
円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。
後述するように、HMD100は、ユーザUの視点方向を検出するための検出部を有しており、当該検出部の出力に基づいて、ユーザUの視野Vが円筒座標C0上のどの領域に対応するかを判定する。そしてHMD100は、視野Vを形成するxy座標系の対応領域に何れかのオブジェクト(例えばオブジェクトB1)が存在するときは、上記対応領域にオブジェクトB1を表示(描画)する。
以上のように本実施形態のHMD100は、実空間の対象物A1に重畳してオブジェクトB1を視野Vに表示することで、ユーザUに対して対象物A1に関連する情報を提供する。またHMD100は、ユーザUの視点の方位あるいは方向に応じて、所定の対象物A1〜A4に関するオブジェクト(B1〜B4)をユーザUに提供することができる。
続いて、HMD100の詳細について説明する。図2は、HMD100を示す全体図であり、図3は、その構成を示すブロック図である。
[HMDの構成]
HMD100は、表示部10と、表示部10の姿勢を検出する検出部20と、表示部10の駆動を制御する制御ユニット30とを有する。本実施形態においてHMD100は、ユーザに実空間の視野Vを提供可能なシースルー型のHMDで構成されている。
(表示部)
表示部10は、ユーザUの頭部に装着可能に構成される。表示部10は、第1及び第2の表示面11R,11Lと、第1及び第2の画像生成部12R,12Lと、支持体13とを有する。
第1及び第2の表示面11R,11Lは、それぞれユーザUの右眼及び左眼に実空間(外界視野)を提供可能な透明性を有する光学素子で構成される。第1及び第2の画像生成部12R,12Lは、それぞれ第1及び第2の表示面11R,11Lを介してユーザUへ提示される画像を生成可能に構成される。支持体13は、表示面11R,11L及び画像生成部12R,12Lを支持し、第1及び第2の表示面11L,11RがユーザUの右眼及び左眼にそれぞれ対向するようにユーザの頭部に装着されることが可能な適宜の形状を有する。
以上のように構成される表示部10は、ユーザUに対して、表示面11R,11Lを介して実空間に所定の画像(あるいは虚像)が重畳された視野Vを提供することが可能に構成される。この場合、右眼用の円筒座標C0と左眼用の円筒座標C0とがそれぞれ設定され、各円筒座標に描画されたオブジェクトが表示面11R,11Lに投影される。
(検出部)
検出部20は、表示部10の少なくとも一軸周りの方位あるいは姿勢変化を検出することが可能に構成される。本実施形態において検出部20は、X,Y及びZ軸周りの表示部10の方位あるいは姿勢変化をそれぞれ検出するように構成されている。
ここで、表示部10の方位とは、典型的には、表示部の正面方向を意味する。本実施形態では、表示部10の方位は、ユーザUの顔の向きと定義される。
検出部20は、角速度センサ、加速度センサ等のモーションセンサ、あるいはこれらの組み合わせによって構成することができる。この場合、検出部20は、角速度センサ及び加速度センサの各々を3軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。表示部10の姿勢変化、変化の方向及びその変化の量等は、例えば角速度センサの出力の積分値を用いることができる。
また、鉛直軸(Z軸)周りの表示部10の方位の検出には、地磁気センサが採用されてもよい。あるいは、地磁気センサと上記モーションセンサとが組み合わされてもよい。これにより精度の高い方位あるいは姿勢変化の検出が可能となる。
検出部20は、表示部10の適宜の位置に配置されている。検出部20の位置は特に限定されず、例えば画像生成部12R,12Lのいずれか一方、あるいは支持体13の一部に配置される。
(制御ユニット)
制御ユニット30(第1の制御ユニット)は、検出部20の出力に基づいて、表示部10(画像生成部12R,12L)の駆動を制御する制御信号を生成する。本実施形態において制御ユニット30は、接続ケーブル30aを介して表示部10と電気的に接続されている。勿論これに限られず、制御ユニット30は表示部10と無線通信回線を通じて接続されてもよい。
図3に示すように制御ユニット30は、CPU301と、メモリ302(記憶部)と、送受信部303と、内部電源304と、入力操作部305とを有する。
CPU301は、HMD100全体の動作を制御する。メモリ302は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を有し、CPU301によるHMD100の制御を実行するためのプログラムや各種パラメータ、表示部10で表示するべき画像(オブジェクト)、その他必要なデータを記憶する。送受信部303は、後述する携帯情報端末200との通信のためのインターフェースを構成する。内部電源304は、HMD100の駆動に必要な電力を供給する。
入力操作部305は、ユーザ操作によって表示部10で表示される画像を制御するためのものである。入力操作部305は、メカニカルスイッチで構成されてもよいし、タッチセンサで構成されてもよい。入力操作部305は、表示部10に設けられてもよい。
HMD100はさらに、スピーカ等の音響出力部、カメラ等を備えていてもよい。この場合、上記音声出力部及びカメラは、典型的には表示部10に設けられる。さらに制御ユニット30には、表示部10の入力操作画面等を表示する表示デバイスが設けられてもよい。この場合、入力操作部305は、当該表示デバイスに設けられたタッチパネルで構成されてもよい。
(携帯情報端末)
携帯情報端末200(第2の制御ユニット)は、制御ユニット30と無線通信回線を介して相互に通信可能に構成されている。携帯情報端末200は、表示部10で表示するべき画像を取得する機能と、取得した画像を制御ユニット30へ送信する機能とを有する。携帯情報端末200は、HMD100と有機的に組み合わされることで、HMDシステムを構築する。
携帯情報端末200は、表示部10を装着するユーザUによって携帯され、パーソナルコンピュータ(PC:Personal Computer)、スマートフォン、携帯電話機、タブレットPC、PDA(Personal Digital Assistant)等の情報処理装置で構成されるが、HMD100専用の端末装置であってもよい。
図3に示すように携帯情報端末200は、CPU201と、メモリ202と、送受信部203と、内部電源204と、表示部205と、カメラ206と、位置情報取得部207とを有する。
CPU201は、携帯情報端末200全体の動作を制御する。メモリ202は、ROM及びRAM等を有し、CPU201による携帯情報端末200の制御を実行するためのプログラムや各種パラメータ、制御ユニット30へ送信される画像(オブジェクト)、その他必要なデータを記憶する。内部電源204は、携帯情報端末200の駆動に必要な電力を供給する。
送受信部203は、WiFi(Wireless Fidelity)等の無線LAN(IEEE802.11等)や移動通信用の3Gや4Gのネットワークを用いて、サーバNや制御ユニット30、近隣の他の携帯情報端末等と通信する。携帯情報端末200は、送受信部203を介してサーバNから、制御ユニット30へ送信するべき画像(オブジェクト)やそれを表示するためのアプリケーションをダウンロードし、メモリ202へ格納する。
サーバNは、典型的にはCPU、メモリ等を含むコンピュータで構成され、ユーザUの要求に応じて、あるいはユーザUの意図に依らず自動的に、所定の情報を携帯情報端末200へ送信する。
表示部205は、例えばLCDやOLEDで構成され、各種メニューやアプリケーションのGUI等を表示する。典型的には、表示部205は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。携帯情報端末200は、表示部205のタッチ操作によって制御ユニット30へ所定の操作信号を入力することが可能に構成されている。
位置情報取得部207は、典型的にはGPS(Global Positioning System)受信機を含む。携帯情報端末200は、位置情報取得部207を用いてユーザU(表示部10)の現在位置(経度、緯度、高度)を測位し、サーバNから必要な画像(オブジェクト)を取得することが可能に構成される。すなわちサーバNは、ユーザの現在位置に関する情報を取得し、その位置情報に応じた画像データやアプリケーションソフトウェア等を携帯情報端末200へ送信する。
(制御ユニットの詳細)
次に、制御ユニット30の詳細について説明する。
図4は、CPU301の機能ブロック図である。CPU301は、座標設定部311と、画像管理部312と、座標判定部313と、表示制御部314とを有する。CPU301は、メモリ302に格納されたプログラムに従って、これら座標設定部311、画像管理部312、座標判定部313及び表示制御部314における処理を実行する。
座標設定部311は、ユーザU(表示部10)を包囲する3次元座標を設定する処理を実行するように構成される。本例では、上記3次元座標は、鉛直軸Azを中心とする円筒座標C0(図1参照)が用いられる。座標設定部311は、円筒座標C0の半径Rと高さHをそれぞれ設定する。座標設定部311は、典型的には、ユーザUに提示するべきオブジェクトの数や種類等に応じて円筒座標C0の半径R及び高さHを設定する。
円筒座標C0の半径Rは固定値でもよいが、表示するべき画像の大きさ(ピクセルサイズ)等に応じて任意に設定可能な可変値であってもよい。円筒座標C0の高さHは、表示部10によってユーザUへ提供される視野Vの縦方向(垂直方向)の高さHv(図1参照)の例えば1倍以上3倍以下の大きさに設定される。高さHの上限は、Hvの3倍に限られず、Hvの3倍を超える大きさであってもよい。
図5Aは、視野Vの高さHvと同一の高さH1を有する円筒座標C0を示している。図5Bは、視野Vの高さHvの3倍の高さH2を有する円筒座標C0を示している。
図6A及び図6Bは、円筒座標C0を展開して示す模式図である。上述のように円筒座標C0は、北方向を0°とした鉛直軸周りの角度を表す周方向の座標軸(θ)と、ユーザUの水平方向の目線Lhを基準とした上下方向の角度を表す高さ方向の座標軸(h)とを有する。座標軸(θ)は、東周りを正方向とし、座標軸(h)は、俯角を正方向、仰角を負方向としている。高さhは、視野Vの高さHvの大きさを100%としたときの大きさを表し、円筒座標C0の原点OP1は、北方向の方位(0°)とユーザUの水平方向の目線Lh(h=0%)との交点に設定される。
座標設定部311は、表示部10を方位する3次元座標における視野Vの一軸方向に沿った表示領域を制限することが可能な領域制限部としての機能を有する。本実施形態において座標設定部311は、表示部10を包囲する円筒座標C0における視野Vの高さ方向の視野領域(Hv)を制限する。具体的には、座標設定部311は、高さ(H)の規定値が、視野Vの高さHvよりも大きいとき、当該円筒座標の高さ(H)を視野Vの高さ方向の領域に応じて制限する。さらに座標設定部311は、ユーザUによる操作に応じて、例えば、円筒座標の高さをH2(図5B)からH1(図5A)に制限する。
画像管理部312は、メモリ302に格納された画像を管理する機能を有し、例えば、表示部10を介して表示される単数又は複数の画像をメモリ302へ格納し、及び、メモリ302に格納された画像を選択的に削除する処理を実行するように構成される。メモリ302へ格納される画像は、携帯情報端末200から送信される。画像管理部312はまた、送受信部303を介して携帯情報端末200に対して画像の送信を要求する。
メモリ302は、視野Vに表示すべき単数又は複数の画像(オブジェクト)を円筒座標C0に対応付けて記憶することができるように構成される。すなわちメモリ302は、図1に示した円筒座標C0上の個々のオブジェクトB1〜B4を円筒座標C0上の座標位置とともに記憶する。
図7に示すように、円筒座標系(θ,h)と直交座標系(X,Y,Z)とは、X=rcosθ、Y=rsinθ、Z=h、の関係を有する。図1に示したように視野Vの方位あるいは姿勢に対応して表示すべき個々のオブジェクトB1〜B4は、それぞれ固有の円筒座標C0上の座標領域を占めており、その領域内の特定の座標位置P(θ,h)とともにメモリ302に格納される。
円筒座標C0上におけるオブジェクトB1〜B4の座標(θ,h)は、直交座標系(X,Y,Z)で各々定義される対象物A1〜A4の位置とユーザの位置とを結ぶ直線と、円筒座標C0の円筒面との交点における円筒座標系の座標に対応付けられる。すなわちオブジェクトB1〜B4の座標は、それぞれ、実3次元座標から円筒座標C0に変換された対象物A1〜A4の座標に相当する。このようなオブジェクトの座標変換は、例えば、画像管理部312において実行され、当該座標位置とともに各オブジェクトがメモリ302へ格納される。ワールド座標系に円筒座標C0が採用されることにより、オブジェクトB1〜B4を平面的に描画することができる。
オブジェクトB1〜B4の座標位置は、各オブジェクトB1〜B4の表示領域内であればどの位置に設定されてもよく、1つのオブジェクトにつき特定の1点(例えば中心位置)に設定されてもよいし、2点以上(例えば対角の2点、あるいは四隅の点)に設定されてもよい。
また図1に示したように、オブジェクトB1〜B4の座標位置が対象物A1〜A4を注視するユーザの目線Lと円筒座標C0との交差位置に対応付けられたとき、ユーザUは、オブジェクトB1〜B4を対象物A1〜A4と重なる位置で視認する。これに代えて、オブジェクトB1〜B4の座標位置が上記交差位置から離れた任意の位置に対応付けられてもよい。これにより対象物A1〜A4に対してオブジェクトB1〜B4を所望の位置に表示あるいは描画することができる。
座標判定部313は、検出部20の出力に基づいてユーザUの視野Vが円筒座標C0上のどの領域に対応するかを判定する処理を実行するように構成される。すなわち、視野Vは、ユーザU(表示部10)の姿勢変化によって円筒座標C0上を移動し、その移動方向や移動量は、検出部20の出力に基づいて算出される。座標判定部313は、検出部20の出力に基づいて表示部10の移動方向及び移動量を算出し、円筒座標C0上のどの領域に視野Vが属するかを判定する。
図8は、円筒座標C0上における視野VとオブジェクトB1〜B4との関係を概念的に示す円筒座標C0の展開図である。視野Vは略矩形状であり、その左上の隅部を原点OP2とするxy座標(ローカル座標)を有する。x軸は、原点OP2から水平方向に延びる軸であり、y軸は、原点OP2から垂直方向に延びる軸である。そして座標判定部313は、視野Vの対応領域にオブジェクトB1〜B4の何れかが存在するかどうかを判定する処理を実行するように構成される。
表示制御部314は、検出部20の出力(すなわち座標判定部313の判定結果)に基づいて表示部10の方位に対応する円筒座標C0上のオブジェクトを視野Vに表示(描画)する処理を実行するように構成される。例えば図8に示すように、視野Vの現在の方位が、円筒座標C0上のオブジェクトB1,B2の表示領域にそれぞれ重なる場合、それらの重なる領域B10,B20に相当する画像を視野Vに表示する(ローカルレンダリング:Local Rendering)。
図9A及び図9Bは、円筒座標C0(ワールド座標)から視野V(ローカル座標)への変換方法を説明する図である。
図9Aに示すように円筒座標C0上における視野Vの基準点の座標を(θv,hv)とし、視野Vの領域内に位置するオブジェクトBの基準点の座標を(θ0,h0)とする。視野V及びオブジェクトBの基準点はどの点に設定されてもよく、本例では矩形状である視野V及びオブジェクトBの左上のコーナ部に設定される。αv[°]は、ワールド座標上における視野Vの幅角度であり、その値は表示部10の設計あるいは仕様によって確定する。
表示制御部314は、円筒座標系(θ,h)をローカル座標系(x,y)に変換することで、視野VにおけるオブジェクトBの表示位置を決定する。図9Bに示すようにローカル座標系における視野Vの高さ及び幅をそれぞれHv及びWvとし、ローカル座標系(x,y)におけるオブジェクトBの基準点の座標を(x0,y0)とすると、変換式は、以下のとおりである。
x0=(θ0−θv)・Wv/αv …(1)
y0=(h0−hv)・Hv/100 …(2)
表示制御部314は、典型的には、表示部10の方位あるいは姿勢の変化に追従して、視野V内でオブジェクトBの表示位置を変化させる。この制御は、視野VにオブジェクトBの少なくとも一部が存在する限り継続される。
一方、近年においてはHMDの小型化に伴ってその表示領域が狭くなる傾向にある。またシースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。このような場合、上述のように表示部10の方位あるいは姿勢の変化に追従して視野V内でオブジェクトBの表示位置が変化すると、オブジェクトBが視野Vに入った状態を保つことが困難になるおそれがある。このような問題を解決するため、本実施形態のHMD100は以下に説明するようなオブジェクト表示固定機能を有する。
<オブジェクト表示固定機能>
(1)ノンストリクト(Non Strict)属性の導入
表示制御部314は、表示部10の方位あるいは姿勢が所定角度以上変化したときは、上記方位あるいは姿勢の変化に応じてオブジェクトを視野V内で移動させ、上記方位あるいは姿勢の変化が上記所定角度未満のときは、視野Vにおけるオブジェクトの表示位置を固定する処理を実行可能に構成される。
本実施形態では、オブジェクトにノンストリクト属性が導入されてもよい。すなわち、オブジェクトBがワールド座標系(円筒座標C0)の1ヶ所に固定されるのではなく、ユーザUが見ている方向がある角度範囲内の場合、表示部10のローカル座標系(x,y)にオブジェクトが固定表示されてもよい。このような処理を実行することにより、視野Vにオブジェクトが入った状態を容易に維持することができる。したがって、ユーザUの鉛直軸周り又は水平軸周りの不用意な姿勢変化に起因するオブジェクトの移動を規制して、オブジェクトの視認性を高めることができる。
上記所定角度としては、鉛直軸(Z軸)周りの角度でもよいし、水平軸(X軸及び/又はY軸)まわりの角度であってもよいし、それらの双方であってもよい。上記所定角度の値は適宜設定可能であり、例えば±15°である。上記所定角度は、鉛直軸周りの角度(第1の所定角度)及び水平軸周り(第2の所定角度)で同一であってもよいし、相互に異なっていてもよい。
(2)第1のグラブ機能
表示制御部314は、検出部20の出力変化が所定時間にわたって所定以下のときは、オブジェクトBを視野Vの所定位置に移動させる処理を実行可能に構成される。
本実施形態では、所定時間にわたって検出部20の出力が変化しないときは視野Vに表示されたオブジェクトをユーザが参照している蓋然性が高いため、そのオブジェクトを視野Vの所定位置に移動させることでオブジェクトの視認性を高めるようにしてもよい。
上記所定時間は特に限定されず、例えば5秒程度に設定される。上記所定位置も特に限定されず、例えば視野Vの中央部や隅部、あるいは上下左右の何れか偏った位置とされる。更に、移動後のオブジェクトは拡大等の誇張表示がされてもよい。
当該機能は、例えば、オブジェクトが視野Vの中心に位置する状態で、所定時間検出部20の出力変化が認められない場合に、当該オブジェクトBを視野Vのローカル座標系(x,y)の所定位置に固定表示するようにしてもよい。この場合、検出部20の出力が所定の値を超えたとき、当該オブジェクトの固定表示機能が解除される。このときの検出部20の出力値は、上述した表示部10の所定の軸周りへの所定角度以上の姿勢変化に相当する出力変化量であってもよいし、それ以外の出力変化量であってもよい。
(3)第2のグラブ機能
表示制御部314は、ユーザUの操作により生成される所定信号の入力を検出したときは、オブジェクトを視野Vの所定位置に移動させる処理を実行可能に構成される。このような構成においても上述と同様にオブジェクトの視認性を高めることができるとともに、ユーザの意図に即して画像の表示を制御することが可能となる。
この処理は、例えば、オブジェクトを視野Vの中心に合わせて、入力操作部305あるいは携帯情報端末200へ所定の入力操作を行うことで、オブジェクトが視野Vのローカル座標系(x,y)に固定される。そして入力操作部305等を再度操作することで、オブジェクトがワールド座標系に復帰し、オブジェクトの固定表示機能が解除される。
(4)顔ぶれ補正機能
表示制御部314は、視野Vの所定位置にオブジェクトが表示されている状態において、検出部20の出力変化が所定周波数以上のときは、検出部20の出力のうち上記所定周波数以上の周波数成分を無効とする処理を実行可能に構成される。
視野V内のオブジェクトが表示部10の方位あるいは姿勢変化に追従して移動すると、ユーザUの細かい顔のぶれにも追従してしまい、オブジェクトの視認性が悪化するおそれがある。この問題を防止するために、所定以上の高周波成分に対してはオブジェクトを表示部10の姿勢変化に追従させず、所定未満の低周波成分に対してはオブジェクトの表示位置を視野V(ローカル座標系)に固定するようにしてもよい。上記所定周波数として、例えば、ユーザの顔ぶれに相当する周波数に設定される。これにより、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。
図10A及び図10Bは、顔ぶれ補正機能を説明する概念図である。同図において、V1はある時点におけるローカル座標系を示し、V2は、V1に対応する顔ぶれ補正座標系を示す。OP及びOP'は、V1及びV2の原点を示す。
顔ぶれ補正機能が有効とされた場合、顔ぶれ補正座標系にオブジェクトが置かれる。顔ぶれ補正座標系は、視野Vのローカル座標系(x,y)に対してPD制御で追従制御される。PD制御とは、フィードバック制御の一種であり、一般に、比例制御(Proportional Control)及び微分制御(Differential
Control)を組み合わせて設定値に収束させる制御をいう。図10A,10Bにおいて、視野Vと視野V'の間に各々接続されたバネ(p)及びダンパ(d)のうち、バネ(p)がPD制御のP成分に相当し、ダンパ(d)がPD制御のD成分に相当する。
追従制御の計算方法の一例を挙げると、ある時点tでのローカル座標系V1にある点を(x(t),y(t))とし、それと対応する顔ぶれ補正座標系V2の点を(x'(t),y'(t))とする。さらにサンプル周期(Δt)前のローカル座標系V1の点を(x(t−Δt),y(t−Δt))とし、それと対応する顔ぶれ補正座標系V2の点を(x'(t−Δt),y'(t−Δt))とする。対応点の差分を(Δx(t),Δy(t))とすると、
Δx(t)=x'(t)−x(t) …(3)
Δy(t)=y'(t)−y(t) …(4)
と表され、対応点の速度差分を(Δvx(t),Δvy(t))とすると、
Δvx(t)={Δx'(t)−Δx'(t−Δt)}−{Δx(t)−Δx(t−Δt)} …(5)
Δvy(t)={Δy'(t)−Δy'(t−Δt)}−{Δy(t)−Δy(t−Δt)} …(6)
と表される。そのときに顔ぶれ補正座標系V1'がローカル座標系V1に追従移動すべき量(Δp(t)、Δq(t))は、
Δp(t)=Px×Δx(t)+Dx×Δvx(t) …(7)
Δq(t)=Py×Δy(t)+Dy×Δvy(t) …(8)
と表される。
ここで、Px、Pyはx、yに対する差分ゲイン定数、Dx、Dyはx、yに対する速度ゲイン定数である。
ローカル座標系V1が回転した場合でも、顔ぶれ補正座標系V1'は回転成分には追従しない(図10B)。すなわち、ユーザの前後方向の軸周りに顔を傾けた場合でもオブジェクトの傾きは規制されることになる。
上述の各オブジェクト表示固定機能(1)〜(4)は、それぞれ個別に適用されてもよいし、各機能を適宜組み合わせて適用されてもよい。例えば、上記(1)〜(3)の何れか1つと上記(4)との組み合わせが適用可能である。
<領域制限機能>
続いて、HMD100の領域制限機能について説明する。
近年、シースルー型ヘッドマウントディスプレイにおいては、例えば、シースルー領域を確保しつつ、情報表示領域を制限したい場合がある。この場合、オブジェクト画像が視界に入りにくくなるおそれがある。そこで本実施形態では、オブジェクトの検索性を高める目的で、ワールド座標系の領域制限機能を有する。
上述のように座標設定部311は、表示部10を包囲する円筒座標C0におけるZ軸方向に沿った領域(H)を視野Vの高さ方向の領域(Hv)に応じて制限することが可能な領域制限部としての機能を有する(図5A参照)。円筒座標C0の高さHを制限することにより、ユーザの水平視野内における画像の検索性及び視認性を向上させることができる。
円筒座標C0の高さ方向の制限量は特に限定されず、本実施形態では、円筒座標C0の高さは、視野Vの高さHvと同一の高さ(H1)に制限される。表示制御部314は、当該領域制限機能が有効とされた場合には、領域制限された円筒座標C0内に各オブジェクトB1〜B4が位置するように、円筒座標系(θ,h)のうち少なくともh座標を変更してオブジェクトB1〜B4を視野Vに表示することが可能に構成される。
図11A及び図11Bは、高さH1に領域制限された円筒座標C1に対応付けられたオブジェクトB1〜B4と視野Vとの相対位置関係を示す概略図である。ユーザUは、Z軸(鉛直軸)周りの姿勢変更だけで全ての方位に対応付けられたオブジェクトB1〜B4を視認することが可能となるため、オブジェクトB1〜B4の検索性が飛躍的に向上することになる。
図11Aの例では、全てのオブジェクトB1〜B4を円筒座標C1内に配置されたが、これに限られず、必要に応じて、少なくとも1つのオブジェクトが円筒座標C1内に配置されてもよい。また円筒座標C1に配置されるオブジェクトB1〜B4の高さは特に限定されず、各々任意に設定可能である。
さらに図11の例では、オブジェクトB1〜B4の全体が円筒座標C1内に配置されたが、オブジェクトB1〜B4の少なくとも一部が視野Vに表示されるように構成されてもよい。これにより一定の方位に存在する当該画像を容易に認識することができる。この場合、入力操作部305等へのユーザUによる入力操作によって、円筒座標C1の高さH1をこれよりも大きい高さに変更可能に構成されてもよい。これにより当該オブジェクトの全体を視認することができる。
上述の領域制限機能を有効にするか無効にするかは、ユーザUによる設定によって選択可能に構成されてもよい。本実施形態のHMD100は、通常モードとして、ワールド座標系を円筒座標C1とする領域制限機能が有効な状態に設定されており、ユーザによる自発的な設定変更によって当該領域制限機能の変更(例えば高さHの変更)あるいは無効状態への切り替えが可能に構成される。
一方、制御ユニット30は、ユーザUの操作により生成される所定信号の入力を検出したときは、円筒座標における高さ方向の領域を視野Vの高さ方向の領域(Hv)に合わせて制限し、視野Vに表示されるオブジェクトをすべて視野Vにおいて同一の高さに揃える処理を実行可能に構成されてもよい。
すなわち、領域制限機能が無効状態である場合、あるいはワールド座標系が円筒座標C1以外の円筒座標に設定されている場合において、ユーザUによる入力操作部305等への入力操作によって、ワールド座標系を円筒座標C1に強制的に切り替えられる。そして更に、全てのオブジェクトB1〜B4が図11Bに示すように視野Vにおいて同一の高さで表示される位置に各オブジェクトB1〜B4が円筒座標C1内に配置される。これにより視野に表示された画像の視認性の更なる向上を図ることができる。
<画像管理機能>
続いて、HMD100の画像管理機能について説明する。
上述のように本実施形態では、制御ユニット30へのオブジェクトデータの送信に携帯情報端末200が用いられる。携帯情報端末200は、ユーザU(表示部10)の位置を測位する位置情報取得部207と、制御ユニット30のメモリ302へ格納すべき複数のオブジェクト(B1〜B4)をサーバN等から取得可能な送受信部203等を含む画像取得部を備える。
本実施形態において制御ユニット30は、携帯情報端末200に対して、複数のオブジェクトデータの中から選択された1つ以上のオブジェクトデータの送信を要求し、携帯情報端末200は、制御ユニット30へ要求されたオブジェクトデータを送信する。
ここで、表示部10の視野Vへオブジェクトを円滑に描画する上で、携帯情報端末200と制御ユニット30との間の通信速度とレイテンシ(送信要求から実際に画像が送信されるまでの時間)が問題になる。本実施形態では、上記通信速度やレイテンシの問題を回避する目的で、制御ユニット30(本例では画像管理部312)は以下のように構成されている。
まず、制御ユニット30は、あらかじめ必要な複数のオブジェクトデータを携帯情報端末200から取得するように構成される。これにより、視野Vへのオブジェクトの描画タイミングを制御ユニット30側で制御できるようになり、通信環境等によらずにユーザUへ必要なオブジェクトを適切なタイミングで提供できるようになる。
また制御ユニット30は、円筒座標C0上の、視野Vの表示領域により近い座標位置に対応付けられたオブジェクトの優先的な送信を携帯情報端末200に対して要求するように構成される。このように視野Vへ提示される可能性の高いオブジェクトデータを優先的に取得しておくことで、視野Vへのオブジェクト表示の遅延を阻止することができる。
この際、画像管理部312は、まずワールド座標上にオブジェクトの配置位置に相当する単数又は複数のフレームを設定し、次いで、当該フレームに、優先度の高いオブジェクトを配置する処理を実行可能に構成される。なお、「ワールド座標上にフレームあるいはオブジェクトを配置する」とは、ワールド座標上にフレームあるいはオブジェクトを対応付けることを意味する。
一例として、高さH1に領域制限された円筒座標C1にオブジェクトB3及びB4を配置する手順を図12A、図12B及び図13に示す。なお以下の手順は、領域制限されていない円筒座標C0あるいは他の3次元座標で構成されたワールド座標系にも同様に適用可能である。本実施形態では、オブジェクトの画像データ(オブジェクトデータ)と当該オブジェクトの座標位置を定めるフレームデータの各々が、携帯情報端末200から制御ユニット30へ送信される。フレームデータは、オブジェクトデータよりもデータ量が少ないため、オブジェクトデータと比較して取得に時間を要さない。このため、先にフレームデータ取得の通信を行い、後から優先度順にオブジェクトデータ取得の通信を行う。
(フレーム登録フェーズ)
まず、携帯情報端末200は、制御ユニット30へオブジェクトB3を配置するためのフレームF3の送信要否を確認し(ステップ101)、これに対して制御ユニット30は、携帯情報端末200へフレームF3の送信を要求する(ステップ102)。制御ユニット30は、受信したフレームF3をメモリ302へ格納することで、フレームF3を円筒座標C1上の対応位置へ配置する。
続いて、携帯情報端末200は、制御ユニット30へオブジェクトB4を配置するためのフレームF4の送信要否を確認し(ステップ103)、これに対して制御ユニット30は、携帯情報端末200へフレームF4の送信を要求する(ステップ104)。制御ユニット30は、受信したフレームF4をメモリ302へ格納することで、フレームF4を円筒座標C1上の対応位置へ配置する。全フレームデータの送信後、携帯情報端末200は制御ユニット30へオブジェクトデータの送信許可を通知する(ステップ105)。
(データ取得フェーズ)
制御ユニット30は、上記オブジェクトデータの送信許可通知をトリガにデータ取得フェーズに移行する。具体的には例えば、制御ユニット30は、検出部20の出力に基づき、現在の視野V(表示部10)の方位に最も近いフレーム(本例ではフレームF4)を判定し、そのフレームに属するオブジェクト(本例ではオブジェクトB4)の画像データの送信を要求する(ステップ106)。この要求を受けて、携帯情報端末200は、制御ユニット30へオブジェクトB4の画像データを送信する(ステップ107)。制御ユニット30は、受信したオブジェクトB4の画像データをメモリ302へ格納することで、オブジェクトB4を円筒座標C1上のフレームF4内に配置する。
続いて、制御ユニット30は、フレームF4の次に視野Vの方位に近いフレーム(本例ではフレームF3)を判定し、そのフレームに属するオブジェクト(本例ではオブジェクトB3)の画像データの送信を要求する(ステップ108)。この要求を受けて、携帯情報端末200は、制御ユニット30へオブジェクトB3の画像データを送信する(ステップ109)。制御ユニット30は、受信したオブジェクトB3の画像データをメモリ302へ格納することで、オブジェクトB3を円筒座標C1上のフレームF3内に配置する。
以上のように、制御ユニット30は、円筒座標C1上にあらかじめオブジェクトのフレームデータを登録しておくことで、現在の視野Vを基準とするオブジェクトの取得優先度を判定可能とし、その判定結果に基づいて、優先度の高い(視野Vに最も近い)オブジェクトから順次その画像データを取得するように構成される。
ここで、オブジェクトがアニメーション画像の場合には、現在時刻とアニメーションフレーム時刻とを考慮して優先付けを行えばよい。例えば、制御ユニット30は、当該アニメーション画像を構成する全画像の少なくとも一部の一括的な送信を携帯情報端末200に対して要求するように構成される。このようにオブジェクトがアニメーション画像の場合であっても、そのフレームレートを考慮して必要な数の画像(例えば1秒後までの画像)をキャッシュしておくことで、動的に対応することができる。
上述のようなシステムを構築するには、オブジェクトデータを保持するメモリ302の容量を大きくする必要が生じる。しかし、必要性が高いオブジェクトデータを優先的に保持し、必要性が低いデータを破棄する処理を動的に実施することで、全ては保持しきれないオブジェクトデータ量でも適切なオブジェクト表示が実現可能となる。なお破棄したデータは、必要性が出たら再取得すればよい。
すなわち制御ユニット30は、メモリ302に記憶されたオブジェクトのすべてについて、その座標位置と視野Vの表示領域との距離を定期的に評価し、視野Vの表示領域から最も遠い座標位置のオブジェクトをメモリ302から削除するように構成されてもよい。具体的には、円筒座標C1上の全オブジェクトと視野Vの現在方位との相対位置関係に基づいて、全オブジェクトの優先度を各々評価し、優先度の低いオブジェクトデータを消去する。これにより視野Vに近いオブジェクトデータの保存領域を確保することができる。
優先度の評価方法は特に限定されず、例えば、円筒座標C1における視野Vの中心位置とオブジェクトの中心位置との間のピクセル数に基づいて評価することができる。またアニメーション画像の場合は、再生時刻に基づいた係数を評価値に乗じてもよい。
[HMDの動作]
次に、以上のように構成される本実施形態に係るHMD100を備えたHMDシステムの動作の一例について説明する。
図14は、本実施形態に係るHMDシステムの動作の概要を説明するフローチャートである。
まず、携帯情報端末200の位置情報取得部207を用いて、ユーザU(表示部10)の現在位置が測定される(ステップ201)。表示部10の位置情報は、サーバNに送信される。そして携帯情報端末200は、サーバNから、ユーザUの周囲の実空間に存在する所定の対象物に関連するオブジェクトデータを取得する(ステップ202)。
次に、携帯情報端末200は、制御ユニット30へオブジェクトデータの送信準備ができたことを通知する。制御ユニット30(本例では座標設定部311)は、オブジェクデータの種類等に応じてワールド座標系としての円筒座標C0の高さ(H)及び半径(R)を設定する(ステップ203)。
この場合、座標設定部311は、表示部10によって提供される視野Vの高さ(Hv)に応じた領域制限機能が有効な場合には、ワールド座標系を例えば図12Aに示す円筒座標C1に設定する。
続いて、制御ユニット30は、検出部20の出力に基づいて視野Vの方位を検出し(ステップ204)、携帯情報端末200からオブジェクトデータを取得してメモリ302へ格納する(ステップ205)。
図15は、制御ユニット30によるオブジェクトデータの受信手順の一例を示すフローチャートである。
制御ユニット30は、携帯情報端末200からのオブジェクトデータの送信許可確認を受信した後(ステップ301)、全オブジェクトのフレーム登録が完了したかどうかを判定する(ステップ302)。全オブジェクトのフレーム登録が完了しないとオブジェクトの座標位置が定まらず、また、オブジェクトの優先度の評価が不可能となるからである。フレーム登録が未完の場合は処理を終了し、上述した未完フレームの登録処理を実行する。
一方、全オブジェクトのフレーム登録が完了しているときは、受信していないオブジェクトの有無とメモリ302の容量を確認する(ステップ303)。未登録オブジェクトがあり、かつメモリ容量が十分である場合は、当該未登録オブジェクトを受信しメモリ302へ格納する(ステップ304)。
なお制御ユニット30は、定期的にメモリ302内のオブジェクトの優先度を評価し、評価値の低いものは必要に応じて削除する。
制御ユニット30は、円筒座標C0における視野Vの対応領域に何れかのオブジェクトデータが存在する場合には、当該オブジェクトを視野Vの対応位置に表示部10を介して表示(描画)する(ステップ206)。視野Vへのオブジェクトの表示に際しては、上述したオブジェクト表示固定機能の何れかが適用されてもよい。
図16は、制御ユニット30による視野Vへのオブジェクトの描画手順の一例を示すフローチャートである。
制御ユニット30は、検出部20の出力に基づいて現在の視野Vの方位を算出する(ステップ401)。視野Vの方位は、ワールド座標系(θ,h)に換算されて、円筒座標C0上のどの位置に対応するかモニタリングされる。
次に制御ユニット30は、メモリ302に格納された全オブジェクトのうち、スキャンが未完了のオブジェクトがあるかどうか判定する(ステップ402)。上記スキャンは、画面更新毎にメモリ302に格納された全オブジェクトに対して行われる。
スキャン未完了のオブジェクトがある場合、当該オブジェクトがワールド座標系のオブジェクトがどうか判定し(ステップ403)、「No」の場合は視野Vに当該オブジェクトを描画する(ステップ404)。
一方、ステップ403において判定が「Yes」の場合には、続いて当該オブジェクトについて上記オブジェクト表示固定機能の何れか(例えば第1のグラブ機能)が適用されているかどうかを判定する(ステップ405)。当該機能が適用されている場合、所期の条件を満たした時点で当該オブジェクトを視野Vに固定表示する(ステップ406)。一方、何れの表示固定機能の適用がない場合には、視野Vがオブジェクト位置に入った時点で視野Vに当該オブジェクトを描画する(ステップ407)。
以後、上述の処理が繰り返される。これにより表示部10を介してユーザUの現在位置に則した最新のオブジェクトをユーザUへ提供することが可能となる。
(適用例)
以下、本実施形態のHMD100の適用例について説明する。
[適用例1]
視野Vを介して提供される画像の表示形態が一様であると、それが表示する情報の属性(種類)によっては、ユーザにとって有用なものとならない場合がある。そのため、表示制御部314は、表示部10と対象物A1〜A4との間の相対位置に関する情報を取得し、上記相対位置の変化に応じて視野Vに表示されている画像の表示形態を制御するように構成される。
図17は、対象物T21に関連するオブジェクト(画像)B21の表示形態を示している。対象物T21は、例えば、街中の喫茶店であり、オブジェクトB21は、対象物T21に関連する情報として、特定のクーポンが利用可能であることを表示している。このような文字情報等を含むオブジェクトは、ユーザと対象物との距離に関係なく、一定の大きさで表示させたい場合がある。
本例では、表示制御部314は、検出部20および携帯情報端末30を介して、表示部10と対象物T21との間の相対位置に関する情報として、表示部10と対象物T21との間の相対距離に関する情報を取得する。そして、表示制御部314は、上記相対距離の変化に応じて、視野Vに表示されているオブジェクトB21の位置を変化させるように構成される。
これにより、対象物T21がユーザから遠く離れている場合においても、ユーザは当該対象物T21に関連する情報を視認することができるとともに、オブジェクトB21の指標位置を手掛かりに対象物T21の位置を把握することができる。さらに、ユーザと対象物T21との距離が近づくにつれて、視野Vにおける対象物T21の大きさや位置も変化する。このときオブジェクトB21の表示位置も変化するため、ユーザは容易に対象物T21の場所を特定することができる。
オブジェクトB21の表示位置の変更は、例えば、ユーザと対象物との間の距離が所定以上変化したときに実行される。例えば、ユーザと対象物との間の相対距離が所定以上(例えば10m以上)変化したときに、視野VへのオブジェクトB21の再表示(再レンダリング)が実行される。これにより、常に所定の微小時間間隔でオブジェクトの再表示を実行する場合と比較して、制御ユニット30における演算等の処理の負担軽減を実現することができる。
一方、図18は、対象物T22に関連するオブジェクト(画像)B22の表示形態の変化を示している。本例において、表示制御部314は、表示部10と対象物T22との間の相対距離の変化に応じて、視野Vに表示されているオブジェクトB21の位置および大きさを変化させるように構成される。
本例では、ユーザと対象物との間の距離に応じて数段階の表示レベルを有する。図18は、同一のオブジェクトB22が、対象物T22へユーザが近づくにつれて、段階的に右方へ拡大しながら移動する様子を示している。先に表示されたオブジェクトは、後のオブジェクトの表示に伴い消失する。上記表示レベルの変化には、オブジェクトの表示位置の位置または大きさのみが変化する段階が含まれてもよい。
このようなオブジェクトの表示形態によれば、ユーザの近くに存在する対象物に関連する情報を、ユーザから離れた位置に存在する対象物に関連する情報よりも優先して、視野Vに表示させることができる。なお、視野Vに表示されるオブジェクトの優先度は、距離情報以外にも、他の属性の表示情報(目的地情報、更新情報、地名情報)が基準パラメータとされてもよい。
図19は、対象物T23に関連するオブジェクト(画像)B23の表示形態を示している。本例において、オブジェクトB23は、三次元画像であり、表示制御部314は、検出部20および携帯情報端末30を介して、表示部10と対象物T23との間の相対位置に関する情報として、対象物T23を中心とする表示部10の角度位置に関する情報を取得する。そして、表示制御部314は、上記角度位置の変化に応じて、視野Vに表示されているオブジェクトB21の向きを三次元的に変化させるように構成される。
このようなオブジェクトの表示形態によれば、例えば、ユーザが対象物T23のまわりを歩くことで、オブジェクトB23が水平面内で回転する様子を表示することができる。例えば、対象物T23が歴史上の旧跡あるいは史跡である場合、オブジェクトB23として、当時の状態が3次元的に描画されてもよいし、対象物T23が建物の建設予定地の場合、オブジェクトB23として、完成予定の建物が描画されてもよい。
この場合、メモリ302は、所定の対象物に関連する複数の画像を記憶し、表示制御部314は、ユーザの操作に応じて視野Vに表示すべき画像を複数の画像から選択するように構成される。
例えば図20に示すように、対象物T24がある観光地における城跡の場合、視野Vに当該城跡に関する情報を含むオブジェクトB24が表示される。オブジェクトB24は、当時の城の様子を再現した画像があることを所定の態様で表示する。そして、ユーザによる入力操作部305の操作により、オブジェクトB24が、図21に示すように当時の城の様子を再現したオブジェクトB24aに切り替えられる。あるいは、オブジェクトB24が、上記操作により、当時よりも過去の城の様子や位置を再現したオブジェクトB24bに切り替えられる。
なお、オブジェクトB24a,B24bの画像データは、例えば、自治体のサーバからダウンロード可能な観光地アプリケーションを携帯情報端末200にインストールすることで取得される。
[適用例2]
視野Vに複数の画像が表示されると、かえって画像の視認性を妨げ、ユーザに適切な情報提示を行うことができない場合がある。そのため、表示制御部314は、ユーザにより設定された少なくとも1つの表示条件に適合する情報を含む画像をメモリ302(記憶部)から抽出し、抽出した画像を視野Vに選択的に表示するように構成される。
本例においては、オブジェクトの属性パラメータを利用してフィルタリングが行われ、円筒座標C0に投影(描画)するものとしないものとが決定される。オブジェクトの属性パラメータとしては、例えば、以下のものが挙げられる。
(1)ユーザからの距離(例:100m以内にあるオブジェクト)
(2)重要度(例:目的地、友人の現在地、渋滞情報)
(3)カテゴリ(例:観光スポット、コンビニエンスストア)
(4)更新時間(例:掲示板情報)
(5)歴史時間(例:時間情報を基準にピックアップされた史跡)
フィルタリングの利用方法としては、例えば、予め用意されたシナリオモードにフィルタリング条件が登録され、当該フィルタリング条件に適合するオブジェクトのみを視野Vに表示可能とされる。シナリオモード、フィルタリング条件は、ユーザによって例えば携帯情報端末200に入力される。
シナリオモード例としては、例えば以下のものが挙げられる。
(a)観光モード(例:半径1km以内の観光スポットを表示)
(b)史跡探索モード(例:半径10km以内の江戸時代に存在した史跡を表示)
(c)新情報表示モード(例:半径10km以内の更新日時が新しいものを20個表示)
(d)友人探索モード(例:近くにいる友人5人を表示)
例えば、上記(a)は、フィルタリング条件として、上記属性パラメータ(1)と(3)が入力される。同様に、上記(b)の場合は(1)と(5)、上記(c)の場合は(1)と(4)、上記(d)の場合は(1)と(2)が、それぞれフィルタリング条件として入力される。
図23は、制御ユニット30(表示制御部314)において実行される処理のフローチャートである。
制御ユニット30は、メモリ302に格納されたオブジェクトから、入力されたフィルタリング条件(表示条件)に適合するオブジェクトを抽出し、それを円筒座標C0に投影する(ステップ501,502)。続いて、制御ユニット30は、前回のオブジェクト投影時からのユーザの移動距離を算出し、それが所定以上(例えば10m以上)である場合には円筒座標C0にオブジェクトを再投影する(ステップ503,501,502)。以上の処理は、当該シナリオモードが終了するまで繰り返し実行される。
オブジェクトの再投影は、同一オブジェクトの位置あるいは大きさの変更、新しいオブジェクトの投影等を含む。
(表示制御例1)
図24は、例えば、シナリオモードとしてカーナビゲーションアプリを設定したときのオブジェクトの表示例を示している。ここでは、フィルタリング条件として、別の車に乗車した友人の位置、目的地情報、道路の信号名が入力された例を説明する。
視野Vにはユーザが搭乗した車から見た対象物に関連する種々のオブジェクトが表示される。対象物としては、友人の車、信号機、目的地が含まれ、これらに関連するオブジェクトとして、友人の車の位置情報(B251)、交差点名(信号名)(B252)、目的地の位置および距離情報(B253)が表示される。オブジェクトB251は、ユーザの携帯情報端末200に入力された、友人が装着するHMDのID等に基づいて表示される。
交差点名に関するオブジェクトB252の対象としては、距離条件として、例えばユーザからの距離が100m以内に存在する交差点(信号機)が設定される。一方、友人の車や目的地に関するオブジェクトB251、B253に関しては、重要情報であるため、上記距離条件は適用しないようにすることができる。
制御ユニット30は、ユーザの位置情報に基づいて、オブジェクトB251〜B253を視野Vに表示する。制御ユニット30は、オブジェクトB251〜B253を表示してからユーザの移動距離をモニタリングし、それが所定の距離(例えば10m)以上になると、オブジェクトB251〜B253の位置や大きさを変更するため、あるいは次の交差点名を含むオブジェクトを表示するため、視野Vのオブジェクトを更新する。このような表示制御は、ユーザが目的地に到着するまで繰り返し実行される。
(表示制御例2)
一方、視野Vに表示されるオブジェクトが多すぎたり、オブジェクト同士が重なって表示されたりすると、ユーザにとって有用なオブジェクトの識別あるいは視認が困難になる場合がある。そこで、制御ユニット30(表示制御部314)は、視野Vに表示すべき画画像が複数の画像を含むとき、当該複数の画像各々を交互に表示するように構成されてもよい。
例えば図25A,Bに示すように、交差点名を表示するオブジェクトB252と、友人の車情報や目的地情報を表示するオブジェクトB251、B253とが所定時間ずつ交互に表示されてもよい。これにより、視野Vにおける各オブジェクトの視認性、識別性を高めることができる。
各オブジェクトが相互に重ならないように各々の表示位置をずらして表示してしまうと、どのオブジェクトがどの対象物に関する情報かを識別するのが困難になる場合がある。本例によれば、各オブジェクトの表示タイミングを時間方向にずらすことで、オブジェクトの視認性、識別性を確保するようにしている。
また同時に表示されるオブジェクトのグループは、属性パラメータ毎に分類されてもよい。これによりオブジェクトの一覧性が確保されるため、ユーザにとって優位な情報を人目で確認することができる。
さらに視野Vにおけるオブジェクトの数、重なり量に応じて、表示されるオブジェクトのグループや、交代表示されるオブジェクトのグループが決定されてもよい。例えば、混み合ってない場所では交差点名と建物名を同時に表示し、混み合った場所では、交差点名と建物名とを時間的にずらして表示するようにしてもよい。
(表示制御例3)
上記においては、シナリオモードの例を挙げたが、異なる複数の表示モードの間でモード切り替えが行われることがある。第1の表示モードと第2の表示モードとの間でモード切り替えを行う場合において、第1の表示モードにおいて表示されるオブジェクトと第2の表示モードにおいて表示されるオブジェクトとが対応している場合に、そのオブジェクト同士が対応していることをモード切り替え時にユーザに把握させることが求められる。
そこで、以下では、異なる複数の表示モードそれぞれにおいて表示されるオブジェクトの対応関係をモード切り替え時にユーザに容易に把握させることが可能な技術を提案する。具体的には、表示制御部314が、第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示部に表示させる。このとき、表示制御部314は、第1の表示モードから第2の表示モードへの切り替え時に、第1の画面に含まれる第1のオブジェクトと第2の画面に含まれる第2のオブジェクトとが対応する場合には、第1のオブジェクトから第2のオブジェクトへの遷移をシームレスに行う。
例えば、表示制御部314は、第1のオブジェクトから第2のオブジェクトへの位置の遷移をシームレスに行ってもよい。あるいは、表示制御部314は、第1のオブジェクトから第2のオブジェクトへのサイズの遷移をシームレスに行ってもよい。あるいは、表示制御部314は、第1のオブジェクトから第2のオブジェクトへの色の遷移をシームレスに行ってもよい。あるいは、表示制御部314は、第1のオブジェクトから第2のオブジェクトへの形状の遷移をシームレスに行ってもよい。
第1の表示モードと第2の表示モードとの組み合わせに対して、以下に登場する「ビュー」を表示させる2つのモードのあらゆる組み合わせを適用することができる。まず、第1の表示モードと第2の表示モードとの組み合わせに対して、表示部10の少なくとも一軸周りの方位に対応するオブジェクトをユーザUの実空間の視野V(表示視野)に表示させるモード(以下、単に「ARビュー」を表示させるモードとも言う。)と地図データを表示させるモード(以下、単に「Mapビュー」を表示させるモードとも言う。)との組み合わせを適用する場合を例として説明する。
まず、図26を参照しながら、ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う場合について説明する。図26は、ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例を説明するための図である。図26に示したように、まず、ARビューを表示させるモードにおいては、表示制御部314は、各対象物に関連する情報として、オブジェクトA、B、Cを視野V1−1に表示させる。オブジェクトDは、視野V1−1の外部に存在している。また、オブジェクトA、B、C、Dそれぞれが進む方向が矢印にて示されている。
一方、Mapビューを表示させるモードにおいては、表示制御部314は、視野V1−4に地図データを表示させており、地図データにオブジェクトA、C、Dを重畳させている。オブジェクトBは、視野V1−4の外部に存在している。また、Mapビューを表示させるモードにおいては、表示制御部314は、地図データにおける表示部10の位置および方位を示すオブジェクトNpを表示部10に表示させ、地図データにおける道路を示すオブジェクトLnを表示部10に表示させる。
なお、図26に示された例では、ARビューを表示させるモードにおけるオブジェクトA、B、C、DとMapビューを表示させるモードにおけるオブジェクトA、B、C、Dとは同じであるが、必ずしも同じオブジェクトでなくてもよい。すなわち、ARビューを表示させるモードにおけるオブジェクトA、B、C、DとMapビューを表示させるモードにおけるオブジェクトA、B、C、Dとが対応付けられていれば、オブジェクト同士の異同は問われない。
ここで、表示制御部314は、ARビューを表示させるモードからMapビューを表示させるモードへの切り替え時に、ARビューに含まれるオブジェクトA、B、C、DとMapビューに含まれるオブジェクトA、B、C、Dとが対応すると判断する。したがって、例えば、表示制御部314は、ARビューV1−1、切替アニメーション(第1段階)V1−2、切替アニメーション(第2段階)V1−3およびMapビューV1−4に示されるように、ARビューに含まれるオブジェクトA、B、C、DからMapビューに含まれるオブジェクトA、B、C、Dへの遷移をシームレスに行ってよい。
例えば、図26に示すように、表示制御部314は、ARビューに含まれるオブジェクトA、B、C、DからMapビューに含まれるオブジェクトA、B、C、Dへの位置の遷移をシームレスに行ってもよい。あるいは、図26に示すように、表示制御部314は、ARビューに含まれるオブジェクトA、B、C、DからMapビューに含まれるオブジェクトA、B、C、Dへのサイズの遷移をシームレスに行ってもよい。あるいは、表示制御部314は、ARビューに含まれるオブジェクトA、B、C、DからMapビューに含まれるオブジェクトA、B、C、Dへの色の遷移をシームレスに行ってもよい。
また、表示モードの切り替えを滑らかに行うため、表示制御部314は、地図データをフェードインしてもよい。例えば、図26に示すように、表示制御部314は、地図データにおける表示部10の位置を示すオブジェクトNpを(徐々に透過率を変化させることにより)フェードインさせてもよい。また、例えば、図26に示すように、表示制御部314は、地図データにおける道路を示すオブジェクトを(徐々に透過率を変化させることにより)フェードインさせてもよい。以上においては、ARビューを表示させるモードからMapビューを表示させるモードへの切り替え時に、オブジェクトA、B、C、Dのすべての位置を遷移させる例を説明した。
しかし、オブジェクトA、B、C、Dのうち、所定のオブジェクトの位置を遷移させたくない場合もあり得る。そこで、表示制御部314は、所定のオブジェクトの位置を固定してもよい。所定のオブジェクトは、あらかじめ登録されてもよいし、ユーザUの実空間の視野V(表示視野)の中心に最も近いオブジェクトが自動的に選択されてもよい。例えば、オブジェクトAの位置を固定する場合に他のオブジェクトB、C、Dの位置を遷移させる例を説明する。図27は、ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例(オブジェクトAは固定)を説明するための図である。
図27に示したように、例えば、表示制御部314は、ARビューV2−1、切替アニメーション(1段階)V2−2、切替アニメーション(2段階)V2−3およびMapビューV2−4に示されるように、ARビューに含まれるオブジェクトB、C、DからMapビューに含まれるオブジェクトB、C、Dへの遷移をシームレスに行ってよい。このとき、図27に示したように、表示制御部314は、オブジェクトAの位置を遷移させないようにしてよい(固定してもよい)。このとき、図27に示したように、表示制御部314は、オブジェクトAのサイズおよび色は遷移させてもよい。
また、オブジェクトA、B、C、DをユーザUの実空間の視野V(表示視野)の端部に寄せたい場合もあり得る。そこで、表示制御部314は、オブジェクトA、B、C、Dを視野の端部に移動させるとともに引き出し線によってオブジェクトA、B、C、Dの位置を示すようにしてもよい。図28は、ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行う例(オブジェクトA、B、C、Dは端部に移動)を説明するための図である。
図28に示したように、例えば、表示制御部314は、ARビューV3−1、切替アニメーション(1段階)V3−2、切替アニメーション(2段階)V3−3およびMapビューV3−4に示されるように、ARビューに含まれるオブジェクトA、B、C、DからMapビューの右端部に整列されるオブジェクトA、B、C、Dへの遷移をシームレスに行ってよい。なお、図28に示した例では、Mapビューの右端部にオブジェクトA、B、C、Dが整列されているが、オブジェクトA、B、C、Dは、Mapビューの他端部(例えば、左端部、上端部、下端部など)に整列されてもよい。
ここで、表示モードの切り替えは、どのようなタイミングで行われてもよいが、例えば、表示制御部314は、所定の条件が満たされた場合に、表示モードの切り替えを行ってよい。例えば、表示制御部314は、表示部10と対象物との間の相対距離が所定の距離よりも小さい場合、かつ、ユーザUの実空間の視野Vに対象物が収まった場合に、Mapビューを表示させるモードからARビューを表示させるモードにモード切り替えを行ってよい。かかる条件が満たされたときが、ARビューの閲覧に適していると考えられ、対象物を見失わずに円滑に対象物の位置を認識する可能性が増すと考えられるからである。なお、所定の距離としては、ユースケースによっては無限大を採用する場合もあり得る。続いては、図29および図30を参照しながら、Mapビューを表示させるモードからARビューを表示させるモードへのモード切り替えのタイミングについて説明する。
図29は、表示部10と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザUの実空間の視野V(ユーザの視界F)に対象物が収まった直後におけるMapビューの例を示す図である。図29に示したように、「ユーザと対象物との位置関係」の例として、ユーザUの実空間の視野V(ユーザの視界F)に(オブジェクトAとして示された位置に存在する)対象物が収まっていない場合においては、表示制御部314は、MapビューV4−1を表示させてよい。一方、「ユーザと対象物との位置関係」の例として、ユーザUの実空間の視野V(ユーザの視界F)に(オブジェクトAとして示された位置に存在する)対象物が収まった直後においても、表示制御部314は、MapビューV4−2を表示させてよい。
図30は、表示部10と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザUの実空間の視野V(ユーザの視界F)に対象物が収まった場合におけるビュー変化の例を示す図である。図30に示したように、ユーザUの実空間の視野V(ユーザの視界F)に(オブジェクトAとして示された位置に存在する)対象物が収まった場合には、表示制御部314は、MapビューV4−2、切替アニメーション(第1段階)V4−3、切替アニメーション(第2段階)V4−4、切替アニメーション(第3段階)V4−5およびARビューV4−6に示されるように、Mapビューに含まれるオブジェクトAからARビューに含まれるオブジェクトAへの遷移をシームレスに行ってよい。
また、例えば、図30に示すように、表示制御部314は、地図データにおける表示部10の位置を示すオブジェクトNpを(表示部10に対する地面の傾きに合わせて変形させながら徐々に視野外に移動させることにより)フェードアウトさせてもよい。また、例えば、図30に示すように、表示制御部314は、地図データにおける道路を示すオブジェクトを(表示部10に対する地面の傾きに合わせて変形させながら徐々に視野外に移動させることにより)フェードアウトさせてもよい。また、図30に示すように、表示制御部314は、ユーザから対象物までの距離を表示部10に表示されてもよい。
一方、表示制御部314は、表示部10と対象物との間の相対距離が所定の距離よりも大きい場合、または、ユーザUの実空間の視野V(ユーザの視界F)から対象物が外れた場合に、ARビューを表示させるモードからMapビューを表示させるモードにモード切り替えを行ってよい。かかる条件が満たされたときが、Mapビューの閲覧に適していると考えられるからである。続いては、図31および図32を参照しながら、ARビューを表示させるモードからMapビューを表示させるモードへのモード切り替えのタイミングについて説明する。
図31は、表示部10と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザUの実空間の視野V(ユーザの視界F)から対象物が外れた直後におけるARビューの例を示す図である。図31に示したように、「ユーザと対象物との位置関係」の例として、ユーザUの実空間の視野V(ユーザの視界F)に(オブジェクトAとして示された位置に存在する)対象物が収まっている場合においては、表示制御部314は、ARビューV5−1を表示させてよい。一方、「ユーザと対象物との位置関係」の例として、ユーザUの実空間の視野V(ユーザの視界F)から(オブジェクトAとして示された位置に存在する)対象物が外れた直後においても、表示制御部314は、ARビューV4−2を表示させてよい。
図32は、表示部10と対象物との間の相対距離が所定の距離よりも小さい場合において、ユーザUの実空間の視野V(ユーザの視界F)から対象物が外れた場合におけるビュー変化の例を示す図である。図32に示したように、ユーザUの実空間の視野V(ユーザの視界F)から(オブジェクトAとして示された位置に存在する)対象物が外れた場合には、表示制御部314は、MapビューV5−2、切替アニメーション(第1段階)V5−3、切替アニメーション(第2段階)V5−4、切替アニメーション(第3段階)V5−5およびARビューV5−6に示されるように、ARビューの外側に存在するオブジェクトAからMapビューに含まれるオブジェクトAへの遷移をシームレスに行ってよい。
また、例えば、図32に示すように、表示制御部314は、地図データにおける表示部10の位置を示すオブジェクトNpを(表示部10に対する地面の傾きに合わせて変形させながら徐々に視野内に移動させることにより)フェードインさせてもよい。また、例えば、図32に示すように、表示制御部314は、地図データにおける道路を示すオブジェクトを(表示部10に対する地面の傾きに合わせて変形させながら徐々に視野内に移動させることにより)フェードインさせてもよい。
図33は、ARビューを表示させるモードとMapビューを表示させるモードとの間でモード切り替えを行う動作例を示すフローチャートである。なお、ここでは、対象物としてユーザの車を用いる場合を例として説明するが、対象物は車に限定されず、店舗などであってもよい。また、AR表示可能範囲は、上記した例において、表示部10と対象物との間の相対距離が所定の距離よりも小さく、ユーザUの実空間の視野V(ユーザの視界F)に対象物が収まる範囲に相当する。まず、表示制御部314は、AR表示可能範囲に自分の車が入っていると判定した場合には(ステップS11において「Yes」)、ステップS12に進む。
一方、表示制御部314は、AR表示可能範囲に自分の車が入っていないと判定した場合には(ステップS11において「No」)、Mapビュー表示処理を行い(ステップS15)、AR表示可能範囲に自分の車が入っていないと判定した場合には(ステップS16において「No」)、ステップS15に戻るが、AR表示可能範囲に自分の車が入ったと判定した場合には(ステップS16において「Yes」)、MapビューからARビューへの切替アニメーション表示処理を行って(ステップS17)、ステップS12に進む。
ステップS12に進むと、表示制御部314は、ARビュー表示処理を行い(ステップS12)、AR表示可能範囲から自分の車が出ていないと判定した場合には(ステップS13において「No」)、ステップS12に戻る。一方、表示制御部314は、AR表示可能範囲から自分の車が出たと判定した場合には(ステップS13において「Yes」)、ARビューからMapビューへの切替アニメーション表示処理を行って(ステップS14)、ステップS15に戻る。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、複数のオブジェクトが水平方向および垂直方向を軸とする2次元上に配列された画面を表示させるモード(以下、「2次元メニュービュー」を表示させるモードとも言う。)と複数のオブジェクトが1次元上に配列された画面を表示させるモード(以下、「1次元メニュービュー」を表示させるモードとも言う。)との組み合わせを適用する場合を例として説明する。図34は、2次元メニュービューを表示させるモードと1次元メニュービューを表示させるモードとの間でモード切り替えを行う例を説明するための図である。例えば、各オブジェクトは、コンテンツやアプリケーションを選択するためのアイコンであってよい。
図34に示したように、まず、2次元メニュービューV6−1を表示させるモードにおいては、表示制御部314は、第1行目のオブジェクト群(a、b、c、d、e、f)、第2行目のオブジェクト群(A、B、C、D、E、F)、第3行目のオブジェクト群(1、2、3、4、5、6)を視野V6−1に表示させる。表示制御部314は、オブジェクト群を選択すると1次元メニュービューV6−2を表示させるモードへの切り替えを行う。1次元メニュービューV6−2を表示させるモードでは、そのオブジェクト群が拡大して表示される。一方、表示制御部314は、オブジェクト群の選択が解除されると2次元メニュービューV6−1を表示させるモードへの切り替えを行う。
図34には、第2行目のオブジェクト群(A、B、C、D、E、F)が選択された例が示されており、1次元メニュービューV6−1を表示させるモードへの切り替えがなされた後は、第2行目のオブジェクト群(A、B、C、D、E、F)が拡大表示され、表示制御部314によって第2行目のオブジェクト群(A、B、C、D、E、F)からオブジェクトが選択される。表示制御部314によるオブジェクト群およびオブジェクトの選択は、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。
ここで、表示制御部314は、2次元メニュービューV6−2を表示させるモードと1次元メニュービューV6−1を表示させるモードとの切り替え時に、2次元メニュービューV6−2に含まれるオブジェクトA、B、C、D、E、Fと1次元メニュービューV6−1に含まれるオブジェクトA、B、C、D、E、Fとが対応すると判断する。したがって、例えば、表示制御部314は、1次元メニュービューV6−1の内部または外部に存在するオブジェクトA、B、C、D、E、Fと2次元メニュービューV6−2に含まれるオブジェクトA、B、C、D、E、Fとの間の遷移をシームレスに行ってよい。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、2次元メニュービューと1次元メニュービューとの組み合わせを適用する場合を例として説明する。図35は、2次元メニュービューを表示させるモードと1次元メニュービューを表示させるモードとの間でヘッドトラッキングによりモード切り替えを行う例を説明するための図である。例えば、各オブジェクトは、コンテンツやアプリケーションを選択するためのアイコンであってよい。
図35に示したように、まず、2次元メニュービューV7−1〜V7―3を表示させるモードにおいては、表示制御部314は、表示部10の向きに応じて表示されるオブジェクト群を切り替えることが可能である。表示制御部314は、表示されているオブジェクト群を選択すると1次元メニュービューV7−4を表示させるモードへの切り替えを行う。1次元メニュービューV7−4を表示させるモードでは、そのオブジェクト群の中心を含んだ行が拡大して表示される。一方、表示制御部314は、オブジェクト群の選択が解除されると2次元メニュービューV7−2を表示させるモードへの切り替えを行う。
図35には、オブジェクト群(b、c、d、B、C、D、2、3、4)が選択された例が示されており、1次元メニュービューV7−4を表示させるモードへの切り替えがなされた後は、オブジェクト群の中心オブジェクトCを含む行(B、C、D)が拡大表示され、表示制御部314によって行(B、C、D)からオブジェクトが選択される。表示制御部314によるオブジェクト群およびオブジェクトの選択は、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。
ここで、表示制御部314は、2次元メニュービューV7−2を表示させるモードと1次元メニュービューV7−4を表示させるモードとの切り替え時に、2次元メニュービューV7−2に含まれるオブジェクト群(b、c、d、B、C、D、2、3、4)と1次元メニュービューV7−4の内部または外部に存在するオブジェクト群(b、c、d、B、C、D、2、3、4)とが対応すると判断する。したがって、例えば、表示制御部314は、2次元メニュービューV7−2に含まれるオブジェクト群(b、c、d、B、C、D、2、3、4)と1次元メニュービューV7−4の内部または外部に存在するオブジェクト群(b、c、d、B、C、D、2、3、4)との間の遷移をシームレスに行ってよい。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、2次元メニュービューと複数のオブジェクトが水平方向および奥行き方向を軸とする2次元上に配列された画面を表示させるモード(以下、「奥行きメニュービュー」を表示させるモードとも言う。)との組み合わせを適用する場合を例として説明する。図36は、2次元メニュービューを表示させるモードと奥行きメニュービューを表示させるモードとの間でモード切り替えを行う例を説明するための図である。例えば、各オブジェクトは、コンテンツやアプリケーションを選択するためのアイコン(例えば、奥に行くほど古いコンテンツやアプリケーションを選択するためのアイコン)であってよい。
図36に示したように、2次元メニュービューV8−1を表示させるモードにおいては、表示制御部314は、第1行目のオブジェクト群(a、b、c、d)、第2行目のオブジェクト群(A、B、C、D)、第3行目のオブジェクト群(1、2、3、4)を視野V8−1に表示させる。表示制御部314は、オブジェクト群を選択すると奥行きメニュービューV8−2を表示させるモードへの切り替えを行う。奥行きメニュービューV8−2を表示させるモードでは、そのオブジェクト群が最も手前に拡大して表示される。一方、表示制御部314は、オブジェクト群の選択が解除されると2次元メニュービューV8−1を表示させるモードへの切り替えを行う。
図36には、第2行目のオブジェクト群(A、B、C、D)が選択された例が示されており、奥行きメニュービューV8−2を表示させるモードへの切り替えがなされた後は、第2行目のオブジェクト群(A、B、C)が最も手前に拡大表示され、第1行目のオブジェクト群(a、b、c、d)が奥に配置され、第3行目のオブジェクト群(1、2、3、4)が拡大しながらフェードアウトされる。表示制御部314によって最も手前のオブジェクト群(A、B、C)からオブジェクトが選択される。表示制御部314によるオブジェクト群およびオブジェクトの選択は、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。
また、奥行き方向にオブジェクト群を切り替えることも可能である。例えば、表示制御部314は、1次元タッチパネルTpに対するドラッグ操作(またはダイヤルを回転させる操作)に応じて、奥行き方向にオブジェクト群を切り替えることも可能である。図36に示された例では、表示制御部314は、最も手前に拡大表示されていたオブジェクト群(A、B、C)よりも手前に第3行目のオブジェクト群(1、2、3、4)が配置されるように奥行き方向にオブジェクト群を切り替えている(奥行きメニュービューV8−3)。
ここで、1次元タッチパネルTpに対するドラッグの向きとオブジェクト群が切り替えられる向きとの対応関係は特に限定されない。例えば、1次元タッチパネルTpに対するドラッグの向きとオブジェクト群が切り替えられる向きとの対応関係はあらかじめ決められていてもよいし、ユーザによって設定変更可能であってもよい。また、図35に示された例では、奥行き方向がオブジェクト同士の重なりによって示されているが、表示部10が両眼HMDなどによって構成されていれば、両眼の間で視差を生じさせることによって3D表現によって奥行き方向を示してもよい。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、複数のオブジェクトそれぞれに関連付けられている時刻に従って複数のオブジェクトが時間軸上に配列された画面を表示するモード(以下、「タイムラインビュー」を表示させるモードとも言う。)とARビューを表示させるモード(またはMapビューを表示させるモード)との組み合わせを適用する場合を例として説明する。図37は、タイムラインビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。例えば、タイムラインビューV9−1における各オブジェクトは、ユーザからの距離が所定の距離以内(例えば、1km以内)で過去に行ったことのある店の画像であってもよいし、町内の史跡の画像であってもよいし、自分の撮った写真であってもよい。その場合、オブジェクトに関連付けられる時刻は、ユーザが店を訪れた時刻、史跡が存在した年月日、写真の撮影時刻などであってよい。
図37に示したように、まず、タイムラインビューV9−1を表示させるモードにおいては、表示制御部314は、オブジェクト群(A、B、C、D)を視野V9−1に表示させる。そして、表示制御部314は、MapビューV9−2を表示させるモードまたはARビューV9−3を表示させるモードとの間で切り替えを行う。モード切り替えは、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。ただし、タイムラインビューV9−1を表示させるモードとARビューV9−3を表示させるモードとの間のモード切り替えは、Mapビューを表示させるモードとARビューを表示させるモードとの間のモード切り替えと同様に自動的に行われてもよい。
ここで、表示制御部314は、タイムラインビューV9−1を表示させるモードとARビューV9−3を表示させるモード(またはMapビューV9−2を表示させるモード)との間との切り替え時に、タイムラインビューV9−1に含まれるオブジェクトA、B、C、DとARビューV9−3の内部または外部に存在するオブジェクトA、B、C、D(またはMapビューV9−2に含まれるオブジェクトA、B、C、D)とが対応すると判断する。したがって、例えば、表示制御部314は、タイムラインビューV9−1に含まれるオブジェクトA、B、C、DとARビューV9−3の内部または外部に存在するオブジェクトA、B、C、D(またはMapビューV9−2に含まれるオブジェクトA、B、C、D)との間の遷移をシームレスに行ってよい。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、オブジェクトとオブジェクトに関連付けられたお店に関連する情報とが対応付けられて配置された画面を表示するモード(以下、「お店リストビュー」を表示させるモードとも言う。)とARビューを表示させるモード(またはMapビューを表示させるモード)との組み合わせを適用する場合を例として説明する。図38は、お店リストビューV10−1を表示させるモードとARビューV10−3を表示させるモード(またはMapビューV10−2を表示させるモード)との間でモード切り替えを行う例を説明するための図である。例えば、タイムラインビューV10−1における各オブジェクトは、ユーザからの距離が所定の距離以内(例えば、1km以内)にあるお勧め店の画像であってもよい。その場合、オブジェクトに関連付けられたお店に関連する情報は、お店を案内する情報などであってよい。
図38に示したように、まず、お店リストビューV10−1を表示させるモードにおいては、表示制御部314は、オブジェクト(A、B、C、D)とオブジェクトに関連付けられたお店に関連する情報De1〜De4を視野V10−1に表示させる。そして、表示制御部314は、MapビューV10−2を表示させるモードまたはARビューV10−3を表示させるモードとの間で切り替えを行う。モード切り替えは、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。ただし、お店リストビューV10−1を表示させるモードとARビューV10−3を表示させるモードとの間のモード切り替えは、Mapビューを表示させるモードとARビューを表示させるモードとの間のモード切り替えと同様に自動的に行われてもよい。
ここで、表示制御部314は、お店リストビューV10−1を表示させるモードとARビューV10−3を表示させるモード(またはMapビューV10−2を表示させるモード)との間との切り替え時に、お店リストビューV10−1に含まれるオブジェクトA、B、C、DとARビューV10−3の内部または外部に存在するオブジェクトA、B、C、D(またはMapビューV10−2に含まれるオブジェクトA、B、C、D)とが対応すると判断する。したがって、例えば、表示制御部314は、お店リストビューV10−1に含まれるオブジェクトA、B、C、DとARビューV10−3の内部または外部に存在するオブジェクトA、B、C、D(またはMapビューV10−2に含まれるオブジェクトA、B、C、D)との間の遷移をシームレスに行ってよい。
上記したタイムラインビューV9−1では、時間軸が水平方向に設定されていたが、時間軸は垂直方向に設定されてもよいし、奥行き方向に設定されてもよい。図39は、時間軸が奥行き方向に設定されたタイムラインビューを表示させるモードとARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。表示制御部314は、タイムラインビューV11−1が表示されているモードにおいて、奥行き方向にオブジェクトを切り替えることが可能である。例えば、表示制御部314は、1次元タッチパネルTpに対するドラッグ操作(またはダイヤルを回転させる操作)に応じて、奥行き方向にオブジェクトを切り替えることも可能である。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、オブジェクトとオブジェクトに関連付けられた書き込みデータとが対応付けられて配置された画面を表示するモード(以下、「チャットビュー」を表示させるモードとも言う。)とARビューを表示させるモード(またはMapビューを表示させるモード)との組み合わせを適用する場合を例として説明する。図40は、チャットビューV12−1を表示させるモードとARビューV12−3を表示させるモード(またはMapビューV10−2を表示させるモード)との間でモード切り替えを行う例を説明するための図である。例えば、チャットビューV12−1における各オブジェクトは、チャットにログインしているユーザ(スポーツ観戦者、コンサートやイベントへの参加者など)の画像であってもよい。その場合、オブジェクトに関連付けられた書き込みデータは、そのユーザによって書き込まれたデータであってよい。
図40に示したように、まず、チャットビューV12−1を表示させるモードにおいては、表示制御部314は、オブジェクト(A、B、C、A)とオブジェクトに関連付けられた書き込みデータCh1〜Ch4とを対応付けて時間軸に沿って視野V12−1に表示させる。そして、表示制御部314は、MapビューV12−2を表示させるモードまたはARビューV12−3を表示させるモードとの間で切り替えを行う。モード切り替え操作は、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。ただし、チャットビューV12−1を表示させるモードとARビューV12−3を表示させるモードとの間のモード切り替えは、Mapビューを表示させるモードとARビューを表示させるモードとの間のモード切り替えと同様に自動的に行われてもよい
ここで、表示制御部314は、チャットビューV12−1を表示させるモードとARビューV12−3を表示させるモード(またはMapビューV12−2を表示させるモード)との間との切り替え時に、チャットビューV12−1に含まれるオブジェクトA、B、CとARビューV12−3の内部または外部に存在するオブジェクトA、B、C(またはMapビューV12−2に含まれるオブジェクトA、B、C)とが対応すると判断する。したがって、例えば、表示制御部314は、チャットビューV12−1に含まれるオブジェクトA、B、CとARビューV12−3の内部または外部に存在するオブジェクトA、B、C(またはMapビューV12−2に含まれるオブジェクトA、B、C)との間の遷移をシームレスに行ってよい。このとき、オブジェクトAは、ユーザ自身のオブジェクトに相当するため、チャットビューV12−1の下端に拡大させながらフェードアウトさせてもよい(チャットビューV12−1の下端から縮小させながらフェードインさせてもよい)。
なお、チャットビューV12−1には、オブジェクトAが複数含まれている。この例のように、チャットビューV12−1にオブジェクトAが複数含まれている場合には、例えば、表示制御部314は、チャットビューV12−1に含まれる複数のオブジェクトAからARビューV12−3の外部に存在するオブジェクト(またはMapビューV12−2に含まれるオブジェクトA)への遷移を複数のオブジェクトAが統合されるようにシームレスに行ってよい。逆に、例えば、表示制御部314は、ARビューV12−3の外部に存在するオブジェクト(またはMapビューV12−2に含まれるオブジェクトA)からチャットビューV12−1に含まれる複数のオブジェクトAへの遷移をオブジェクトAが分離されるようにシームレスに行ってよい。
上記したARビューV12−3には、オブジェクトCとオブジェクトCに関連付けられた書き込みデータとが対応付けられて表示されていたが、ARビューV12−3には、チャットビュー12−1を含んでいてもよい。図41は、チャットビューとチャットビューを含んだARビューを表示させるモード(またはMapビューを表示させるモード)との間でモード切り替えを行う例を説明するための図である。図41には、表示制御部314が、チャットビューV13−3を表示させるモードにおいて、チャットビューV12−1と同一のビューを含んだチャットビューV13−3を表示させる例が示されている。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、表示部10から(オブジェクトDに関連する)対象物までの距離の表示領域がオブジェクトとして配置された画面を表示するモード(以下、「Infoビュー」を表示させるモードとも言う。)とARビューを表示させるモード(またはMapビューを表示させるモード)との組み合わせを適用する場合を例として説明する。図42は、InfoビューV14−3を表示させるモードとARビューV14−2を表示させるモード(またはMapビューV14−1を表示させるモード)との間でモード切り替えを行う例を説明するための図である。例えば、InfoビューV14−3におけるオブジェクトRoは、表示部10から対象物までの距離の表示領域であってよい。対象物は、静止している物体であってもよいし、動きのある物体(他のランナー、過去に同一のコースを走ったときのユーザ自身など)であってもよいもよい。
図42に示したように、まず、InfoビューV14−3を表示させるモードにおいては、表示制御部314は、オブジェクトRoを表示させる。そして、表示制御部314は、MapビューV14−1を表示させるモードまたはARビューV14−2を表示させるモードとの間で切り替えを行う。モード切り替えは、ユーザの操作に基づいてなされてよいが、ユーザの操作は特に限定されず、タッチパネル入力、キー入力、ダイヤル入力、視線入力、音声入力、ジェスチャ入力、姿勢変化などであってよい。ただし、InfoビューV14−3を表示させるモードとARビューV14−2を表示させるモードとの間のモード切り替えは、Mapビューを表示させるモードとARビューを表示させるモードとの間のモード切り替えと同様に自動的に行われてもよい
ここで、表示制御部314は、InfoビューV14−3を表示させるモードとARビューV14−2を表示させるモード(またはMapビューV14−1を表示させるモード)との間との切り替え時に、InfoビューV14−3に含まれるオブジェクトRoとARビューV14−2に含まれるオブジェクトD(またはMapビューV14−1に含まれるオブジェクトD)とが対応すると判断する。したがって、例えば、表示制御部314は、InfoビューV14−3に含まれるオブジェクトRoとARビューV14−2に含まれるオブジェクトD(またはMapビューV14−1に含まれるオブジェクトD)との間の遷移をシームレスに行ってよい。このとき、オブジェクトNpは、ユーザ自身のオブジェクトに相当するため、InfoビューV14−1の下方に拡大させながらフェードアウトさせてもよい(InfoビューV14−1の下方から縮小させながらフェードインさせてもよい)。
続いて、上記の第1の表示モードと第2の表示モードとの組み合わせに対して、Mapビューを表示させるモードとARビューを表示させるモードとの組み合わせを適用する場合の他の例を説明する。図43は、Mapビューを表示させるモードとARビューを表示させるモードとの間でモード切り替えを行う他の例を説明するための図である。例えば、MapビューV15−1およびARビューV15−2におけるオブジェクトは、表示部10から目的地GLに到達するまでの経路における曲がり角であってよい。
図43に示したように、まず、MapビューV15−3を表示させるモードにおいては、表示制御部314は、表示部10から目的地GLに到達するまでの経路における曲がり角を示す矢印をオブジェクトとして表示させる。そして、表示制御部314は、ARビューV15−2を表示させるモードへの切り替えを行う。モード切り替えが行われるタイミングは、上記したMapビューを表示させるモードとARビューを表示させるモードとの間のモード切り替えと同様であってよい。
ここで、表示制御部314は、MapビューV15−3を表示させるモードとARビューV15−2を表示させるモードとの間との切り替え時に、MapビューV15−3に含まれる最初の曲がり角を示す矢印とARビューV15−2に含まれる曲がり角を示す矢印とが対応すると判断する。したがって、例えば、表示制御部314は、MapビューV15−3に含まれる最初の曲がり角を示す矢印とARビューV15−2に含まれる曲がり角を示す矢印との間の遷移をシームレスに行ってよい。
<第2の実施形態>
続いて、本技術の第2の実施形態について説明する。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。
本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部とを備える。
上記表示制御部は、上記方位が第1の所定角度以上変化したときは、上記方位の変化に応じて上記画像を前記視野内で移動させる。上記表示制御部は、上記方位の変化が上記第1の所定角度未満のときは、上記視野における上記画像の表示位置を固定する。
上記表示部および検出部は、第1の実施形態で説明した表示部10および検出部20にそれぞれ相当する。上記表示制御部は、第1の実施形態で説明したオブジェクト表示固定機能((1)ノンストリクト属性の導入)を有する表示制御部314に相当する。
すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても第1の実施形態と同様な作用効果を得ることができる。すなわち、視野にオブジェクトが入った状態を容易に維持することができるため、ユーザの不用意な姿勢変化に起因するオブジェクトの移動を規制し、オブジェクトの視認性を高めることができる。
なお本実施形態においても、第1の実施形態と同様に、領域制限機能および画像管理機能の少なくとも1つを備えていてもよい。
<第3の実施形態>
続いて、本技術の第3の実施形態について説明する。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。
本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部とを備える。
上記表示制御部は、上記検出部の出力変化が所定時間にわたって所定以下のときは、上記画像を前記視野の所定位置に移動させる。または、上記表示制御部は、ユーザの操作により生成される所定信号の入力を検出したときは、上記画像を上記視野の所定位置に移動させる。
上記表示部および検出部は、第1の実施形態で説明した表示部10および検出部20にそれぞれ相当する。上記表示制御部は、第1の実施形態で説明したオブジェクト表示固定機能((2)第1のグラブ機能、または、(3)第2のグラブ機能)を有する表示制御部314に相当する。
すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても第1の実施形態と同様な作用効果を得ることができる。すなわち、視野にオブジェクトが入った状態を容易に維持することができるため、ユーザの不用意な姿勢変化に起因するオブジェクトの移動を規制し、オブジェクトの視認性を高めることができる。
なお本実施形態においても、第1の実施形態と同様に、領域制限機能および画像管理機能の少なくとも1つを備えていてもよい。
<第4の実施形態>
続いて、本技術の第4の実施形態について説明する。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。
本実施形態に係るヘッドマウントディスプレイは、ユーザの頭部に装着可能に構成されユーザに実空間の視野を提供可能な表示部と、上記表示部の方位を検出する検出部と、上記検出部の出力に基づいて画像を上記視野に表示する表示制御部を備える。
上記表示制御部は上記視野の所定位置に上記画像が表示されている状態において、上記検出部の出力変化が所定周波数以上のときは、上記検出部の出力のうち上記所定周波数以上の周波数成分を無効とする。
上記表示部および検出部は、第1の実施形態で説明した表示部10および検出部20にそれぞれ相当する。上記表示制御部は、第1の実施形態で説明したオブジェクト表示固定機能((4)顔ぶれ補正機能)を有する表示制御部314に相当する。
すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても、上述の第1の実施形態と同様の作用効果を得ることができる。すなわち、ユーザの細かい顔ぶれの影響を受けることなく、画像の視認性を確保することができる。
なお本実施形態においても、第1の実施形態と同様に、領域制限機能および画像管理機能の少なくとも1つを備えていてもよい。
<第5の実施形態>
続いて、本技術の第5の実施形態について説明する。以下、第1の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成についてはその説明を省略または簡略化する。
本実施形態に係るヘッドマウントディスプレイは、表示部と、検出部と、制御ユニットとを備える。上記表示部は、ユーザの頭部に装着可能であり、ユーザに実空間の視野を提供可能に構成される。上記検出部は、上記表示部の少なくとも一軸周りの方位を検出する。上記第1の制御ユニットは、記憶部と、表示制御部とを有する。上記記憶部は、上記視野に存在する所定の対象物に関連する情報を含む画像を、上記表示部を包囲する3次元座標に対応付けて記憶する。上記表示制御部は、上記検出部の出力に基づいて上記方位に対応する上記3次元座標上の画像を上記視野に表示するように構成される。
上記表示部および検出部は、第1の実施形態で説明した表示部10および検出部20にそれぞれ相当する。上記記憶部は、第1の実施形態で説明したメモリ302に相当する。上記表示制御部は、第1の実施形態で説明した表示制御部314に相当する。
すなわち本実施形態のヘッドマウントディスプレイは、ワールド座標が円筒座標に限定されない他の任意の座標系に適用可能である。本実施形態においても、上述の第1の実施形態と同様の作用効果を得ることができる。
本実施形態において表示制御部は、上記記憶部に記憶された所定の画像を、上記視野の上記一軸方向に沿った表示範囲に収まる座標値に変換して、上記視野に表示するように構成されてもよい。これにより視野Vの高さに追従したオブジェクトの描画制御が可能となり、第1の実施形態で説明した領域制限機能と同様の作用効果を得ることができる。
例えば領域制限機能が無効とされた表示モードにおいては、図44に示すように円筒座標におけるオブジェクトB11,B12の高さ座標が視野Vの表示範囲を越えている場合、ユーザUは水平面内における姿勢変化ではオブジェクトB11,B12を視野Vに表示させることができない。
一方、視野Vの高さに追従したオブジェクトの画像制御の場合は、視野Vの高さ方向の領域制限に追従してオブジェクトB11,B12の高さ座標も制限されることになる。その結果、図45Aに示すように、オブジェクトB11,B12は視野Vの表示領域内に入るように高さ座標が変更され、ユーザUの水平面内における姿勢変化のみで各方位に対応するオブジェクトB11,B12を視野Vに表示させることが可能となる。
また、図45Bおよび図45Cに示すように、視野Vが高さ方向に変化したときもオブジェクトB11,B12の高さ座標も視野Vの高さ座標に追従して変更されることになり、ユーザが上方あるいは下方を見ながら周囲を見渡したときも、オブジェクトB11,B12の視認が可能となる。
以上のように視野Vの高さに追従するオブジェクトは、円筒座標C0上のすべてのオブジェクトであってもよいし、その一部のオブジェクトであってもよい。例えば、このようなオブジェクトの選定は、ユーザによって行われてもよいし、重要情報を表示するオブジェクトが優先的に選択されてもよい。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
例えば以上の実施形態では、HMDに本技術を適用した例を説明したが、HMD以外の画像表示装置として、例えば、車両の運転席や航空機等のコックピットに搭載されるヘッドアップディスプレイ(HUD)にも本技術は適用可能である。あるいは、コンタクトレンズ型表示装置にも本技術は適用可能であり、片目仕様のアイウェアにも本技術は適用可能であり、スマートフォンなどの端末にも本技術は適用可能である。
また以上の実施形態では、シースルー型(透過型)のHMDへの適用例を説明したが、非透過型のHMDにも本技術は適用可能である。この場合、表示部に装着したカメラで撮像された外界視野に、本技術に係る所定のオブジェクトを表示すればよい。
さらに以上の実施形態では、HMD100は、実空間に存在する所定の対象物に関連する情報を含むオブジェクトを視野Vに表示するように構成されたが、これに限られず、ユーザUの現在位置や進行方向に基づいて行先案内表示等が視野Vに表示されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)
第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、
前記表示制御部は、前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、
表示制御装置。
(2)
前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへの位置の遷移をシームレスに行う、
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへのサイズの遷移をシームレスに行う、
前記(1)に記載の表示制御装置。
(4)
前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへの色の遷移をシームレスに行う、
前記(1)に記載の表示制御装置。
(5)
前記表示制御部は、所定の条件が満たされた場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行う、
前記(1)〜(4)のいずれか一項に記載の表示制御装置。
(6)
所定の対象物に関連するオブジェクトが3次元座標に対応付けられており、
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、表示部の少なくとも一軸周りの方位に対応するオブジェクトをユーザの実空間の視野に表示させるモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(7)
前記表示制御部は、前記表示部と前記対象物との間の相対距離が所定の距離よりも小さい場合、かつ、ユーザの実空間の視野に前記対象物が収まった場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行う、
前記(6)に記載の表示制御装置。
(8)
前記表示制御部は、前記表示部と前記対象物との間の相対距離が所定の距離よりも大きい場合、または、ユーザの実空間の視野から前記対象物が外れた場合に、前記第2の表示モードから前記第1の表示モードへの切り替えを行う、
前記(7)に記載の表示制御装置。
(9)
前記第1の表示モードおよび前記第2の表示モードのうち前記一方とは異なる表示モードは、地図データを表示させるモードである、
前記(6)〜(8)のいずれか一項に記載の表示制御装置。
(10)
前記表示制御部は、前記地図データにおける前記表示部の位置を示すオブジェクトをフェードインさせる、
前記(9)に記載の表示制御装置。
(11)
前記表示制御部は、前記地図データにおける道路を示すオブジェクトをフェードインさせる、
前記(9)に記載の表示制御装置。
(12)
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、複数のオブジェクトが水平方向および垂直方向を軸とする2次元上に配列された画面を表示させるモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(13)
前記一方とは異なる表示モードは、複数のオブジェクトが1次元上に配列された画面を表示させるモードである、
前記(12)に記載の表示制御装置。
(14)
前記一方とは異なる表示モードは、複数のオブジェクトが水平方向および奥行き方向を軸とする2次元上に配列された画面を表示するモードである、
前記(12)に記載の表示制御装置。
(15)
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、複数のオブジェクトそれぞれに関連付けられている時刻に従って前記複数のオブジェクトが時間軸上に配列された画面を表示するモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(16)
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、オブジェクトと当該オブジェクトに関連付けられたお店に関連する情報とが対応付けられて配置された画面を表示するモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(17)
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、オブジェクトと当該オブジェクトに関連付けられた書き込みデータとが対応付けられて配置された画面を表示するモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(18)
前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、表示部から対象物までの距離の表示領域がオブジェクトとして配置された画面を表示するモードである、
前記(1)〜(5)のいずれか一項に記載の表示制御装置。
(19)
第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させることを含み、
前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行うことを含む、
表示制御方法。
(20)
コンピュータを、
第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、
前記表示制御部は、前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、
表示制御装置として機能させるためのプログラム。
10…表示部
11R,11L…表示面
12R,12L…画像生成部
20…検出部
30…制御ユニット
100…ヘッドマウントディスプレイ(HMD)
200…携帯情報端末
311…座標設定部
312…画像管理部
313…座標判定部
314…表示制御部
A1〜A4…対象物
B、B1〜B4…オブジェクト
C0,C1…円筒座標(ワールド座標)
V…視野
U…ユーザ

Claims (16)

  1. 第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、
    前記表示制御部は、
    所定の対象物に関連するオブジェクトをユーザの実空間の視野に表示する表示部と前記対象物との間の相対距離が所定の距離よりも小さい場合、かつ、ユーザの実空間の視野に前記対象物が収まった場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行い、
    前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、
    表示制御装置。
  2. 前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへの位置の遷移をシームレスに行う、
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへのサイズの遷移をシームレスに行う、
    請求項1に記載の表示制御装置。
  4. 前記表示制御部は、前記第1のオブジェクトから前記第2のオブジェクトへの色の遷移をシームレスに行う、
    請求項1に記載の表示制御装置。
  5. 前記表示制御部は、所定の条件が満たされた場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行う、
    請求項1〜4のいずれか一項に記載の表示制御装置。
  6. 前記表示制御部は、前記表示部と前記対象物との間の相対距離が所定の距離よりも大きい場合、または、ユーザの実空間の視野から前記対象物が外れた場合に、前記第2の表示モードから前記第1の表示モードへの切り替えを行う、
    請求項1〜5のいずれか一項に記載の表示制御装置。
  7. 前記所定の対象物に関連するオブジェクトが3次元座標に対応付けられており、
    前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、前記表示部の少なくとも一軸周りの方位に対応するオブジェクトをユーザの実空間の視野に表示させるモードである、
    請求項1〜のいずれか一項に記載の表示制御装置。
  8. 前記第1の表示モードおよび前記第2の表示モードのうち前記一方とは異なる表示モードは、地図データを表示させるモードである、
    請求項に記載の表示制御装置。
  9. 前記表示制御部は、前記地図データにおける前記表示部の位置を示すオブジェクトをフェードインさせる、
    請求項に記載の表示制御装置。
  10. 前記表示制御部は、前記地図データにおける道路を示すオブジェクトをフェードインさせる、
    請求項に記載の表示制御装置。
  11. 前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、複数のオブジェクトそれぞれに関連付けられている時刻に従って前記複数のオブジェクトが時間軸上に配列された画面を表示するモードである、
    請求項1〜のいずれか一項に記載の表示制御装置。
  12. 前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、オブジェクトと当該オブジェクトに関連付けられたお店に関連する情報とが対応付けられて配置された画面を表示するモードである、
    請求項1〜のいずれか一項に記載の表示制御装置。
  13. 前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、オブジェクトと当該オブジェクトに関連付けられた書き込みデータとが対応付けられて配置された画面を表示するモードである、
    請求項1〜のいずれか一項に記載の表示制御装置。
  14. 前記第1の表示モードおよび前記第2の表示モードのうち何れか一方の表示モードは、前記表示部から対象物までの距離の表示領域がオブジェクトとして配置された画面を表示するモードである、
    請求項1〜のいずれか一項に記載の表示制御装置。
  15. 第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させることを含み、
    所定の対象物に関連するオブジェクトをユーザの実空間の視野に表示する表示部と前記対象物との間の相対距離が所定の距離よりも小さい場合、かつ、ユーザの実空間の視野に前記対象物が収まった場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行い、
    前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行うことを含む、
    表示制御方法。
  16. コンピュータを、
    第1の表示モードにおいて第1の画面を表示させ、第2の表示モードにおいて第2の画面を表示させる表示制御部を備え、
    前記表示制御部は、
    所定の対象物に関連するオブジェクトをユーザの実空間の視野に表示する表示部と前記対象物との間の相対距離が所定の距離よりも小さい場合、かつ、ユーザの実空間の視野に前記対象物が収まった場合に、前記第1の表示モードから前記第2の表示モードへの切り替えを行い、
    前記第1の表示モードから前記第2の表示モードへの切り替え時に、前記第1の画面に含まれる第1のオブジェクトと前記第2の画面に含まれる第2のオブジェクトとが対応する場合には、前記第1のオブジェクトから前記第2のオブジェクトへの遷移をシームレスに行う、
    表示制御装置として機能させるためのプログラム。
JP2016545012A 2014-08-27 2015-06-16 表示制御装置、表示制御方法およびプログラム Expired - Fee Related JP6669067B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014172892 2014-08-27
JP2014172892 2014-08-27
PCT/JP2015/067353 WO2016031358A1 (ja) 2014-08-27 2015-06-16 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016031358A1 JPWO2016031358A1 (ja) 2017-06-08
JP6669067B2 true JP6669067B2 (ja) 2020-03-18

Family

ID=55399263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016545012A Expired - Fee Related JP6669067B2 (ja) 2014-08-27 2015-06-16 表示制御装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (1) US10796669B2 (ja)
EP (1) EP3188132B1 (ja)
JP (1) JP6669067B2 (ja)
CN (1) CN106662988B (ja)
WO (1) WO2016031358A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482595B1 (ko) * 2015-12-17 2022-12-30 삼성전자주식회사 지도 정보 제공 방법 및 이를 지원하는 전자 장치
KR102666960B1 (ko) * 2016-04-21 2024-05-17 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
JP6702785B2 (ja) * 2016-04-25 2020-06-03 株式会社ゼンリンデータコム ウェアラブル端末、プログラム及び情報処理方法
WO2017201568A1 (en) 2016-05-23 2017-11-30 tagSpace Pty Ltd Media tags location-anchored digital media for augmented reality and virtual reality environments
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US11238610B2 (en) * 2016-08-10 2022-02-01 Disney Enterprises, Inc. Placing large objects and objects separated by large distances in augmented reality
WO2018051422A1 (ja) * 2016-09-14 2018-03-22 株式会社朝日ネット 情報表示システム、情報処理装置、及びプログラム
TWI617931B (zh) * 2016-09-23 2018-03-11 李雨暹 適地性空間物件遠距管理方法與系統
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
TWI661351B (zh) * 2017-11-15 2019-06-01 湛天創新科技股份有限公司 結合地圖服務的數位內容系統與數位內容產生方法
JP6965704B2 (ja) * 2017-11-27 2021-11-10 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
CN109002162B (zh) * 2018-06-21 2021-06-22 北京字节跳动网络技术有限公司 场景切换方法、装置、终端和计算机存储介质
GB2576213A (en) * 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
JP7052786B2 (ja) * 2018-12-14 2022-04-12 株式会社デンソー 表示制御装置および表示制御プログラム
US11972037B2 (en) * 2019-03-18 2024-04-30 Maxell, Ltd. Head mounted information processing apparatus and head mounted display system
US11206505B2 (en) * 2019-05-06 2021-12-21 Universal City Studios Llc Systems and methods for dynamically loading area-based augmented reality content
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11430198B1 (en) * 2020-01-10 2022-08-30 Apple Inc. Method and device for orientation-based view switching
CN114981847A (zh) * 2020-03-06 2022-08-30 索尼集团公司 信息处理装置、信息处理方法和信息处理程序
JP7424121B2 (ja) * 2020-03-10 2024-01-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
WO2022215258A1 (ja) * 2021-04-09 2022-10-13 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
CN115599206A (zh) * 2022-09-29 2023-01-13 歌尔科技有限公司(Cn) 显示控制方法、装置、头戴显示设备及介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394029A (en) * 1993-02-17 1995-02-28 Gay; John C. Geomagnetic orientation sensor, means, and system
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JPH09292830A (ja) * 1996-04-25 1997-11-11 Hitachi Ltd 電子地図表示方法及び電子地図表示装置
JP2000194726A (ja) 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
JP2001195609A (ja) * 2000-01-14 2001-07-19 Artdink:Kk Cgの表示変化方法
DE102008016527B4 (de) * 2007-04-03 2018-12-13 Denso Corporation Fahrzeug-Messgeräte-Einheit und Anzeigevorrichtung
JP5347279B2 (ja) * 2008-02-13 2013-11-20 ソニー株式会社 画像表示装置
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
US8566020B2 (en) * 2009-12-01 2013-10-22 Nokia Corporation Method and apparatus for transforming three-dimensional map objects to present navigation information
JP5401387B2 (ja) 2010-03-31 2014-01-29 株式会社ゼンリンデータコム 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム
CN103197891B (zh) * 2010-04-16 2015-11-25 联想(北京)有限公司 对象显示方法和对象显示装置
WO2012048252A1 (en) * 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5755915B2 (ja) * 2011-03-18 2015-07-29 新日鉄住金ソリューションズ株式会社 情報処理装置、拡張現実感提供方法、及びプログラム
WO2012127605A1 (ja) * 2011-03-22 2012-09-27 株式会社うぶすな 情報処理装置、及び情報処理方法
JP5765070B2 (ja) * 2011-06-13 2015-08-19 ソニー株式会社 表示切換装置、表示切換方法、表示切換プログラム
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US9052197B2 (en) * 2012-06-05 2015-06-09 Apple Inc. Providing navigation instructions while device is in locked mode
JP6047992B2 (ja) * 2012-08-14 2016-12-21 富士ゼロックス株式会社 表示制御装置、画像形成装置及びプログラム
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US10591998B2 (en) * 2012-10-03 2020-03-17 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
US9389765B2 (en) * 2013-03-12 2016-07-12 Google Inc. Generating an image stream
JP6107276B2 (ja) * 2013-03-22 2017-04-05 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2014184417A1 (en) * 2013-05-13 2014-11-20 Nokia Corporation Method, apparatus and computer program product to represent motion in composite images
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
CN109643021B (zh) * 2016-08-29 2024-05-07 麦克赛尔株式会社 平视显示装置
JP2019164420A (ja) * 2018-03-19 2019-09-26 セイコーエプソン株式会社 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム

Also Published As

Publication number Publication date
CN106662988A (zh) 2017-05-10
CN106662988B (zh) 2020-10-27
US10796669B2 (en) 2020-10-06
EP3188132A1 (en) 2017-07-05
EP3188132B1 (en) 2021-05-05
US20170278486A1 (en) 2017-09-28
WO2016031358A1 (ja) 2016-03-03
EP3188132A4 (en) 2018-04-04
JPWO2016031358A1 (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
JP6669067B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP7268692B2 (ja) 情報処理装置、制御方法及びプログラム
US20170329480A1 (en) Display control apparatus, display control method, and program
US9222779B2 (en) Method, apparatus and computer program product for collaborative presentation of travel route information
JP6344311B2 (ja) 表示装置、情報処理システム及び制御方法
US20090319178A1 (en) Overlay of information associated with points of interest of direction based data services
CN108351736B (zh) 可穿戴显示器、图像显示装置和图像显示***
US20140152562A1 (en) Display controller, display system, storage medium and method
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R151 Written notification of patent or utility model registration

Ref document number: 6669067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees