JP2012194492A - ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラム - Google Patents

Abstract

【課題】ユーザに対してオブジェクトを好適に表示することができる、ヘッドマウントディスプレイ（ＨＭＤ）及びＨＭＤのためのコンピュータプログラムを提供することを目的とする。
【解決手段】シースルー型のＨＭＤである。ＨＭＤが有する表示部は、オブジェクトを表示する。検知部は、ＨＭＤの向きを検知する。設定部は、ユーザが視認する視認対象の距離を設定する。取得手段は、ＨＭＤの向きに従い、ＨＭＤを基準とした位置を示す位置情報に関連付けられたオブジェクトを取得する。表示制御手段は、位置情報に対応した位置に配置された状態で、取得されたオブジェクトを表示する。抽出手段は、設定された距離に対応するオブジェクトを抽出する。強調処理手段は、抽出されたオブジェクトを強調する（Ｓ１１４）。表示制御手段は、オブジェクトを表示する場合、オブジェクトを強調された状態とする。
【選択図】図３

Description

本発明は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムに関する。

従来から、頭部装着型映像表示システムに関する提案がなされている（例えば、特許文献１参照）。特許文献１の頭部装着型映像表示システムは、観察者の頭部が変位した際に、観察者変位状態出力装置にその変位方向及び変位量を検知し信号を出力させ、虚像位置移動手段により虚像を変位方向とは逆向きに所定の範囲内で移動させるようにしたものである。特許文献１の頭部装着型映像表示システムによれば、虚像が空中に浮かんだままほぼ固定されている感覚で観察できる。

この他、セカイカメラ（登録商標）と称されるカメラ機能付き携帯端末機のためのアプリケーションプログラム（コンピュータプログラム）も実用化されている（例えば、非特許文献１）

特開平８−２１９７５号公報

頓智ドット株式会社、"Ｓｅｋａｉ Ｃａｍｅｒａ ＢＥＹＯＮＤ ＲＥＡＬＩＴＹ"、［online］、［平成２３年２月１０日検索］、インターネット< http://sekaicamera.com/ >

ところで、所定の情報を含むオブジェクトを、オブジェクトに関連した適切な位置に配置させて表示することが要求される場合がある。ここで、ヘッドマウントディスプレイは、携帯性に優れ、所望する場所で、所望のオブジェクトを表示することができる。ヘッドマウントディスプレイが携帯されると、ヘッドマウントディスプレイの地理的位置は、変化する。このような場合、ヘッドマウントディスプレイが存在している地理的位置を基準として、オブジェクトの配置を行うと、適切な位置にオブジェクトを配置することができなくなる。ユーザは、適切な位置に配置されたオブジェクトを視認することができない。

また、一度に複数のオブジェクトが表示されると、複数のオブジェクトをそれぞれ適切に識別することが困難となる場合がある。このような状態では、オブジェクトを見誤り、間違った理解をしてしまうこともある。

なお、特許文献１に開示されている技術は、複合現実や拡張現実における表示技術に関連したものであって、上述した問題に対応するものではない。

本発明は、ユーザに対してオブジェクトを好適に表示することができる、ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムを提供することを目的とする。

上記従来の課題に鑑みなされた本発明の一側面は、ユーザの頭部に装着され、前記ユーザに対してオブジェクトを表示し、オブジェクトを視認している前記ユーザが、前記ユーザが存する外界をオブジェクトと重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、オブジェクトを表示する表示部と、前記ヘッドマウントディスプレイの向きを検知する検知部と、前記ユーザが視認する視認対象の距離を設定する設定部と、前記検知部で検知された前記ヘッドマウントディスプレイの向きに従い、前記ヘッドマウントディスプレイを基準とした位置を示す位置情報に関連付けられたオブジェクトを取得する取得手段と、オブジェクトに関連付けられた位置情報に対応した位置に配置された状態で、前記取得手段で取得されたオブジェクトを、前記表示部に表示するための表示制御手段と、前記取得手段で取得されたオブジェクトのうち、前記設定部で設定された距離に対応するオブジェクトを抽出する抽出手段と、前記抽出手段で抽出されたオブジェクトを、前記抽出手段で抽出されていないオブジェクトに対して強調するための強調処理手段と、を有し、前記表示制御手段は、位置情報に対応した位置に配置された状態でオブジェクトを、前記表示部に表示する場合、前記抽出手段で抽出されたオブジェクトを、前記強調処理手段で強調された状態とする、ヘッドマウントディスプレイである。

これによれば、ヘッドマウントディスプレイを基準とした位置に、オブジェクトを配置して表示することができる。その際、設定部で設定された距離に対応するオブジェクトを、他のオブジェクトより強調された状態で表示することができる。従って、ユーザは、ヘッドマウントディスプレイと共に自身が存する地理的位置が変化しても、所望のオブジェクトを好適に視認することができる。

このヘッドマウントディスプレイは、次のような構成とすることもできる。前記表示制御手段によって前記表示部に表示されているオブジェクトのうち、特定のオブジェクトを、前記ヘッドマウントディスプレイに入力される指令に従った干渉状態とするための干渉処理手段を有する、ようにしてもよい。

これによれば、特定のオブジェクトに干渉することができる。ここで、干渉状態とは、オブジェクトに対して何らかの操作／処理が可能となる状態である。具体的な例としては、オブジェクトに関連付けられた位置情報が変更されることを含む。また、表示部における表示位置が変更された状態となることを含む。さらに、表示部に表示されているオブジェクトが、上下及び／又は左右が反転された状態で表示されることを含む。

また、前記干渉処理手段は、前記設定部で設定された距離に対応する位置情報に関連付けられたオブジェクトを、特定のオブジェクトとして、前記ヘッドマウントディスプレイに入力される指令に従った干渉状態とする、ようにしてもよい。

これによれば、設定部で設定された距離に対応するオブジェクトに干渉することができる。

また、前記表示部で表示されるオブジェクトのピントを調整するための調整部を有し、前記表示制御部は、前記設定部で設定された距離に前記ピントが合うように、前記調整部を調整する、ようにしてもよい。

これによれば、ユーザにとって、視認しているオブジェクトが、設定部で設定された距離に存在しているような状態で、オブジェクトを表示することができる。

また、複数のオブジェクトを対象として、オブジェクトに関連付けられた位置情報によって示される位置を特定するための角度を、一定角度だけオフセットさせるオフセット手段を有する、ようにしてもよい。

これによれば、複数のオブジェクトについて、位置情報によって示される位置を特定する角度を、一定角度だけオフセット（回転）させようとする場合、一括してオフセットさせることができる。ユーザは、個々のオブジェクトについて、その角度をオフセットさせるといった操作を行う必要がない。従って、角度を変更させる際の操作性を向上させることができる。

本発明の他の側面は、ユーザの頭部に装着され、前記ユーザに対してオブジェクトを表示し、オブジェクトを視認している前記ユーザが、前記ユーザが存する外界をオブジェクトと重ねて視認することができ、オブジェクトを表示する表示部と、前記ヘッドマウントディスプレイの向きを検知する検知部と、前記ユーザが視認する視認対象の距離を設定する設定部と、を有するシースルー型のヘッドマウントディスプレイを制御するコンピュータが読み取り可能なコンピュータプログラムであって、前記コンピュータを、前記検知部で検知された前記ヘッドマウントディスプレイの向きに従い、前記ヘッドマウントディスプレイを基準とした位置を示す位置情報に関連付けられたオブジェクトを取得する取得手段と、オブジェクトに関連付けられた位置情報に対応した位置に配置された状態で、前記取得手段で取得されたオブジェクトを、前記表示部に表示するための表示制御手段と、前記取得手段で取得されたオブジェクトのうち、前記設定部で設定された距離に対応するオブジェクトを抽出する抽出手段と、前記抽出手段で抽出されたオブジェクトを、前記抽出手段で抽出されていないオブジェクトに対して強調するための強調処理手段と、して機能させ、前記表示制御手段は、位置情報に対応した位置に配置された状態でオブジェクトを、前記表示部に表示する場合、前記抽出手段で抽出されたオブジェクトを、前記強調処理手段で強調された状態とする、機能を含む、コンピュータプログラムである。

これによれば、上述した優れた機能を有するヘッドマウントディスプレイを実現することができる。なお、このコンピュータプログラムは、上述した他の構成を有するヘッドマウントディスプレイのためのコンピュータプログラムとして特定することもできる。

本発明によれば、ユーザに対してオブジェクトを好適に表示することができる、ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムを得ることができる。

ヘッドマウントディスプレイの外観図であって、ヘッドマウントディスプレイ本体がユーザに装着された状態を示す図である。 ヘッドマウントディスプレイのハードウェア構成の一例を示すブロック図である。 ヘッドマウントディスプレイで実行される処理のフローチャートである。 オブジェクト配置データの一例を説明する図である。 図４に示すオブジェクト配置データに基づき、図３に示すフローチャートの処理を説明するための図である。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。

＜ヘッドマウントディスプレイ＞
ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）１は、図１に示すように、ＨＭＤ本体１０と、システムボックス２０とで構成されている。ＨＭＤ本体１０とシステムボックス２０とは、所定の信号ケーブル４０によって通信可能に接続されている。

ＨＭＤ本体１０は、通常の眼鏡と同様のフレーム構造１２を有する。ＨＭＤ本体１０は、フレーム構造１２によって、ユーザの顔に支持される。フレーム構造１２の所定の位置には、表示ボックス１４が取り付けられている。表示ボックス１４は、フレーム構造１２に取り付けられた状態において、ＨＭＤ本体１０を装着したユーザの左眼と同様の高さとなる位置に配置されている。表示ボックス１４には、ハーフミラー１６が固定されている。

ＨＭＤ１は、シースルー型のＨＭＤである。ユーザは、ＨＭＤ本体１０を頭部に装着した状態において、ＨＭＤ１で表示されているオブジェクトを視認しつつ、ユーザが存する外界（外界の像）を、表示されるオブジェクトと重ねて視認することができる。図１に示すＨＭＤ１では、ユーザは、左眼において、外界を、ハーフミラー１６を通して視認する。

表示ボックス１４には、カメラ３０が設けられている。カメラ３０は、ＨＭＤ本体１０を装着しているユーザの前方を撮像する。例えば、ユーザが、腕を前方に伸ばしたとき、カメラ３０では、ユーザの手が撮像される。カメラ３０は、例えば、ＣＣＤイメージセンサによって構成される。また、表示ボックス１４には、物体距離調整ダイヤル７０が設けられている。物体距離調整ダイヤル７０については、後述する。

ＨＭＤ１は、図２に示すように、ＣＰＵ５０と、プログラムＲＯＭ５２と、ＲＡＭ５４と、フラッシュＲＯＭ５６と、通信インターフェース（通信Ｉ／Ｆ）５８と、メモリスロット６０と、外部インターフェース（外部Ｉ／Ｆ）６２と、操作部６３とを有する。ＨＭＤ１において、これら各部は、システムボックス２０に収容されている。

ＣＰＵ５０は、演算処理を実行し、ＨＭＤ１の全体を制御する。プログラムＲＯＭ５２は、ＨＭＤ１で実行される各種の処理のためのコンピュータプログラムを記憶する。ＲＡＭ５４は、ＣＰＵ５０が演算処理を実行する場合等に用いられる記憶領域である。フラッシュＲＯＭ５６は、所定のデータを記憶する。通信Ｉ／Ｆ５８は、信号ケーブル４０に接続され、ＨＭＤ本体１０の側との間でデータ通信を行う。

メモリスロット６０は、所定のメモリカードを装着するためのカードスロットである。外部Ｉ／Ｆ６２は、パーソナルコンピュータ等の外部装置との接続を行うためのインターフェースである。外部装置から入力されたデータは、例えば、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードに記憶される。外部装置から入力されるデータには、オブジェクトを示すオブジェクトデータが含まれる。ＨＭＤ１では、例えば、外部Ｉ／Ｆ６２から入力され、フラッシュＲＯＭ５６又はメモリカードに記憶されたオブジェクトデータに従い、オブジェクトが表示される。なお、メモリカードへのデータの記憶は、例えば、外部装置が有するメモリスロットにメモリカードを装着して行うようにしてもよい。操作部６３は、ＨＭＤ１への各種の指令を入力するための構成である。操作部６３は、例えば、複数のボタン等で構成される。

ＨＭＤ１は、図２に示すように、通信Ｉ／Ｆ６４と、表示部６６と、６軸センサ６８と、物体距離調整ダイヤル７０と、カメラインターフェース（カメラＩ／Ｆ）７２とを有する。これら各部は、ＨＭＤ本体１０を構成する表示ボックス１４に収容されている。

通信Ｉ／Ｆ６４は、信号ケーブル４０に接続され、システムボックス２０の側との間でデータ通信を行う。表示部６６は、オブジェクトを表示する。ユーザは、表示部６６で表示されたオブジェクトを視認する。図１に基づくＨＭＤ本体１０によれば、ユーザは、左眼で、オブジェクトを視認する。表示部６６は、表示部６６のための電気回路を含む。表示部６６は、何れの形式の表示部であってもよい。表示部６６は、例えば、網膜走査型ディスプレイ、液晶ディスプレイ、有機ＥＬ（Organic Electroluminescence）ディスプレイ等によって構成される。表示部６６によるオブジェクトの表示について、例えば、液晶ディスプレイを含む表示部６６である場合を例に説明する。液晶ディスプレイでは、通信Ｉ／Ｆ６４で受信された信号に応じて、液晶ディスプレイの各画素が制御される。液晶ディスプレイから射出した画像光は、ハーフミラー１６で反射して、ユーザの眼（図１では、左眼）に導かれ、網膜上に画像（オブジェクト）を形成する。

６軸センサ６８は、ＨＭＤ本体１０の向き、回転等を検出する。６軸センサ６８は、従来から使用されているセンサであって、例えば、３軸のジャイロセンサと、３軸の加速度センサとによって構成される。物体距離調整ダイヤル７０は、ユーザが視認する視認対象の距離を設定する構成である。また、物体距離調整ダイヤル７０は、表示部６６に含まれ、表示部６６で表示されるオブジェクトのピントを調整するための機能も有する。すなわち、表示部６６を構成する光学レンズ間の距離は、物体距離調整ダイヤル７０を回転させて設定された距離に応じて、物理的に変化する。例えば、液晶ディスプレイが表示部６６に含まれる場合、液晶ディスプレイと、液晶ディスプレイとユーザの網膜とを共役関係にするための接眼光学系とが設けられる。そして、物体距離調整ダイヤル７０の回転位置は、ロータリーエンコーダーや物体距離調整ダイヤル７０の回転軸に接続された可変抵抗の値を読み取る等の方法により、オブジェクトのピント位置を示す信号として、システムボックス２０に送信される。すなわち、ＣＰＵ５０は、この信号を受信することで、表示部６６のピント位置を取得する。

接眼光学系と液晶ディスプレイとの間隔は、接眼光学系に設けられたラックと、モータの回転軸に設けられたピニオンギアとの噛合によって、変更可能に構成されている。このモータが、ＣＰＵ５０からの指示によって一の方向に回転されると、接眼光学系と液晶ディスプレイとの間隔が近くなる。この場合、ユーザの瞳に入射する画像光はより拡散（波面曲率が大きい）し、ピント位置は近くなる。一方、モータがＣＰＵ５０からの指示によって他の方向に回転することで、接眼光学系と液晶ディスプレイとの間隔は遠くなる。この場合、ユーザの瞳に入射する画像光はより平行光に近く（波面曲率が小さく）なり、ピント位置は遠くなる。従って、ユーザは、表示されているオブジェクトを視認したとき、物体距離調整ダイヤル７０によって調整された距離にオブジェクトが存在しているような印象で、表示されているオブジェクトを認識する。物体距離調整ダイヤル７０を回転させることで、視度調整が行われる。なお、物体距離調整ダイヤル７０の回転軸に設けられたピニオンギアが、接眼光学系に設けられたラックと噛合することで、接眼光学系と液晶ディスプレイとの間隔が変更されてもよい。この場合、モータは不要となり、ユーザが手動で物体距離調整ダイヤル７０を回転させることにより、接眼光学系と液晶ディスプレイとの間隔が変更される。

カメラＩ／Ｆ７２は、カメラ３０を接続するためのインターフェースである。カメラ３０で撮像された画像は、カメラＩ／Ｆ７２から通信Ｉ／Ｆ６４を介してシステムボックス２０の側に送信される。

上述した各部を有するＨＭＤ１において、ＣＰＵ５０は、プログラムＲＯＭ５２に記憶された、図３に示す処理のためのコンピュータプログラムを含む各種のコンピュータプログラムを、ＲＡＭ５４上で実行する。その際、例えば、フラッシュＲＯＭ５６及び／又はメモリスロット６０に装着されたメモリカードに記憶されたデータ、６軸センサ６８で検知された情報、物体距離調整ダイヤル７０で設定された距離、カメラ３０によって撮像された画像等が用いられる。これによって、各種の機能手段が構成される。

＜ヘッドマウントディスプレイで実行される処理＞
ＨＭＤ１で実行される処理について、図３等を参照して説明する。ユーザは、ＨＭＤ１の電源をオンし、この処理の開始を、操作部６３を操作し入力する。この状態において、ＣＰＵ５０は、上述した通り、プログラムＲＯＭ５２から、この処理のためのコンピュータプログラムを読み出し、この処理を開始する。この処理を開始したＣＰＵ５０は、オブジェクト配置データが記憶されているかについて判断する（Ｓ１００）。オブジェクト配置データは、前回、この処理が実行された際、後述するＳ１２２で、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードに記憶される。オブジェクト配置データは、例えば、図４に示すようなテーブル構造を有するデータである。オブジェクト配置データには、オブジェクトと、位置情報としての角度及び距離とが、それぞれ、関連付けられて登録されている。オブジェクトとしては、所定の情報を示すアイコン画像、及び／又は、所定の情報を含むタグ画像が例示される。以下では、位置情報としての角度を、「角度（位置情報）」といい、位置情報としての距離を、「距離（位置情報）」ともいう。

ＨＭＤ１が、図１に示すように、ＨＭＤ本体１０とシステムボックス２０とで構成される場合、角度（位置情報）は、ＨＭＤ本体１０を基準とし、ＨＭＤ本体１０の向きを示す。角度（位置情報）は、ＨＭＤ本体１０の向きについて、後述するＳ１０６で、正面と特定された方向に対する角度を示す。図５に示す例に基づけば、正面は、角度が０°と定義され、左側の方向の角度がプラス、右側の方向の角度がマイナスと定義される。ＨＭＤ本体１０の向きは、６軸センサ６８によって検知される。同じく、距離（位置情報）は、ＨＭＤ本体１０を基準とし、ＨＭＤ本体１０からの距離を示すものである。距離（位置情報）は、ＨＭＤ本体１０を中心とした円の半径に等しくなる。

図４に示すようなオブジェクト配置データによれば、オブジェクトＡ〜オブジェクトＥは、ＨＭＤ本体１０に対して、図５のような配置となる。なお、ＨＭＤ本体１０を基準とした角度（位置情報）に関し、ＨＭＤ本体１０の向き（ＨＭＤ本体１０の向いている方向）は、ユーザの向きとみなすこともできる。また、ＨＭＤ本体１０を基準とした距離（位置情報）に関し、ＨＭＤ本体１０からの距離は、ユーザからの距離とみなすこともできる。なお、図４に示すようなオブジェクト配置データにおいて、位置情報は、角度及び距離による二次元極座標である。そのため、図４に示すようなオブジェクト配置データによれば、オブジェクトは、二次元的に配置される。この他、位置情報として、さらに仰角・俯角（上下方向）を含ませ、三次元極座標のオブジェクト配置データとしてもよい。

Ｓ１００で、オブジェクト配置データが記憶されていないと判断された場合（Ｓ１００：Ｎｏ）、ＣＰＵ５０は、オブジェクト配置データ作成処理を実行する（Ｓ１０２）。このオブジェクト配置データ作成処理の詳細は、省略するが、オブジェクト配置データ作成処理において、ユーザは、操作部６３、又は、外部Ｉ／Ｆ６２に接続された外部装置を操作し、所定のオブジェクトを配置する。ＣＰＵ５０は、配置されたオブジェクトに従い、オブジェクト配置データを作成する。作成されたオブジェクト配置データは、ＲＡＭ５４上に記憶される。Ｓ１０２の処理を実行した後、ＣＰＵ５０は、処理をＳ１２２に移行する。なお、Ｓ１０２を実行した後、処理をＳ１０４に移行し、Ｓ１００の判断が肯定された場合（Ｓ１００：Ｙｅｓ）と同様、Ｓ１０４以降の処理が実行されるようにしてもよい。

Ｓ１００で、オブジェクト配置データが記憶されていると判断された場合（Ｓ１００：Ｙｅｓ）、ＣＰＵ５０は、オブジェクト配置データを、ＲＡＭ５４上に読み出し、その後、処理をＳ１０４に移行する。Ｓ１０４でＣＰＵ５０は、通信Ｉ／Ｆ５８からカメラＩ／Ｆ７２にカメラ３０による撮像開始の指令を送信する。これによって、カメラ３０による撮像が開始される。ＣＰＵ５０は、カメラＩ／Ｆ７２から通信Ｉ／Ｆ６４を介して送信されてくるカメラ３０で撮像された画像を、通信Ｉ／Ｆ５８を介して、ＲＡＭ５４上に取得する。ＣＰＵ５０は、ＲＡＭ５４上の画像を解析し、ユーザの手の位置を認識する処理を開始する。

次に、ＣＰＵ５０は、現在、６軸センサ６８で検知されている向きを、オブジェクト配置データに対応する角度０°（正面）として特定する（Ｓ１０６）。ＣＰＵ５０は、角度０°と、オブジェクトそれぞれに関連付けられた角度（位置情報）とに従い、表示部６６の画角範囲Ｇ（図５において、符号「Ｇ」を付した四角形領域参照）に含まれるオブジェクトを取得する。図４及び図５に基づけば、ＣＰＵ５０は、表示部６６の画角範囲Ｇに含まれる、角度が＋１０°のオブジェクトＡと、角度が−１０°のオブジェクトＢとを取得する。ＣＰＵ５０は、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードにアクセスし、オブジェクトＡを示すオブジェクトデータ及びオブジェクトＢを示すオブジェクトデータを、ＲＡＭ５４上に記憶する。なお、表示部６６の画角範囲Ｇと、カメラ３０の画角範囲との関係について、カメラ３０の画角範囲は表示部６６の画角範囲Ｇ以上である。

ＣＰＵ５０は、ＲＡＭ５４上に記憶されたオブジェクトＡを示すオブジェクトデータ及びオブジェクトＢを示すオブジェクトデータに従い、取得されたオブジェクトＡ及びオブジェクトＢが、表示部６６で表示されるように制御する。このとき、オブジェクトＡは、角度が０°とされた正面の方向に対して＋１０°の位置に配置された状態とされる。オブジェクトＢは、角度が０°とされた正面の方向に対して−１０°の位置に配置された状態とされる。すなわち、ＣＰＵ５０は、オブジェクトＡ及びオブジェクトＢが、前述の位置に配置された画像を作成し、この画像を表示部６６で表示するための制御を行う。ユーザは、図５に示す画角範囲Ｇを示す四角形領域内に図示されたような状態の画像（オブジェクトＡ及びオブジェクトＢ）を視認する。なお、図５に示す画角範囲Ｇに図示されたユーザの手は、ハーフミラー１６を介してユーザが視認している、自身の手（外界の像）を示すものである。

ＣＰＵ５０は、この図３に示す処理において、オブジェクトを表示する場合、表示部６６を構成する光学レンズ間の距離を、物体距離調整ダイヤル７０で設定された距離にピントが合う位置に対応した距離に調整する。従って、表示部６６で表示されるオブジェクトは、この距離にピントが合うようにされる。また、表示部６６で表示されたオブジェクトを視認するユーザは、角度（位置情報）に対応した位置に配置されたオブジェクトが、物体距離調整ダイヤル７０で設定された距離に対応した位置に存在しているような印象を受ける。

Ｓ１０６を実行した後、ＣＰＵ５０は、６軸センサ６８で検知された情報に従い、ＨＭＤ本体１０の向きが変化したかについて判断する（Ｓ１０８）。例えば、ＨＭＤ本体１０を装着しているユーザの向きが変化し、これに伴い、ＨＭＤ本体１０の向きが変化したとき、Ｓ１０８の判断は肯定される（Ｓ１０８：Ｙｅｓ）。ＨＭＤ本体１０を装着しているユーザの向きが、継続して同一の方向であるとき、Ｓ１０８の判断は否定される（Ｓ１０８：Ｎｏ）。

Ｓ１０８の判断が肯定された場合（Ｓ１０８：Ｙｅｓ）、ＣＰＵ５０は、表示されているオブジェクトに替えて、変化後の向きに応じたオブジェクトを表示する（Ｓ１１０）。図４及び図５に基づき説明する。先に実行されたＳ１０６の処理によって、上述したようにオブジェクトＡとオブジェクトＢとが取得され、これらが表示部６６で表示されていたとする。また、この状態から、ユーザの向きが、左側の方向に９０°変化したとする。このとき、６軸センサ６８で検知されている向きは、＋９０°となる。ＣＰＵ５０は、上述したＳ１０６と同様、角度＋９０°と、オブジェクトそれぞれに関連付けられた角度（位置情報）とに従い、表示部６６の画角範囲Ｇに含まれるオブジェクトとして、オブジェクトＣ及びオブジェクトＤを取得する。ＣＰＵ５０は、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードにアクセスし、オブジェクトＣを示すオブジェクトデータ及びオブジェクトＤを示すオブジェクトデータを、ＲＡＭ５４上に記憶する。

ＣＰＵ５０は、ＲＡＭ５４上に記憶されたオブジェクトＣを示すオブジェクトデータ及びオブジェクトＤを示すオブジェクトデータに従い、取得されたオブジェクトＣ及びオブジェクトＤが、表示部６６で表示されるように制御する。この時点において、ＨＭＤ本体１０は、図５に示す角度＋９０°の方向を向いている。そのため、角度（位置情報）が＋９０°であるオブジェクトＣは、現時点における正面の方向に配置された状態とされる。角度（位置情報）が＋１１０°であるオブジェクトＤは、正面に配置されるオブジェクトＣを基準として、それより角度が２０°だけ左側（＋１１０°−９０°＝＋２０°）に配置された状態とされる。すなわち、ＣＰＵ５０は、オブジェクトＣ及びオブジェクトＤが、前述の位置に配置された画像を作成し、この画像を表示部６６で表示するための制御を行う。なお、表示するに際し、表示部６６を構成する光学レンズ間の距離は、上述したように、物体距離調整ダイヤル７０で設定された距離に対応した距離に保たれている。

Ｓ１０８の判断が否定された場合（Ｓ１０８：Ｎｏ）、又は、Ｓ１１０が実行された場合、ＣＰＵ５０は、表示部６６のピント位置を取得する（Ｓ１１２）。表示部６６のピント位置は、上述した通り、物体距離調整ダイヤル７０によって設定される。従って、ＣＰＵ５０は、物体距離調整ダイヤル７０によって設定された距離を取得する。例えば、物体距離調整ダイヤル７０が０．３ｍに設定されていた場合、ＣＰＵ５０は、距離０．３ｍを取得する。

続けて、ＣＰＵ５０は、上述したＳ１０６及びＳ１１０に関連して取得されたオブジェクトのうち、Ｓ１１２で取得した距離に対応する距離（位置情報）に関連付けられたオブジェクトを抽出する（Ｓ１１４）。また、Ｓ１１４でＣＰＵ５０は、抽出したオブジェクトを、未抽出のオブジェクトに対して強調するための処理を実行する。オブジェクトの強調としては、抽出されたオブジェクトが未抽出のオブジェクトより強調される態様であれば、各種の手法を採用することができる。例えば、抽出されたオブジェクトが枠等で囲まれる一方、未抽出のオブジェクトは枠等で囲まないといった手法を採用することができる。また、抽出されたオブジェクトを明確に表示する一方、未抽出のオブジェクトをぼかした状態で表示する、又は、未抽出のオブジェクトを表示しないといった手法を採用することもできる。この他、抽出されたオブジェクトの輝度を、未抽出のオブジェクトの輝度より高めた状態とするといった手法を採用することもできる。

図５に示す画角範囲Ｇのように、オブジェクトＡ及びオブジェクトＢが取得され、物体距離調整ダイヤル７０が０．３ｍに設定されていたとする。この場合、Ｓ１１４では、０．３ｍであるオブジェクトＡが、オブジェクトＢに対して、前述したように強調される。表示部６６では、オブジェクトＡが強調された状態でオブジェクトＡ及びオブジェクトＢが表示され、又は、オブジェクトＡのみが表示される。

次に、ＣＰＵ５０は、表示部６６で表示されているオブジェクトへの干渉について判断する（Ｓ１１６）。オブジェクトへの干渉は、Ｓ１０４で開始されたユーザの手の位置を認識する処理に従って判断される。例えば、図５に示すように表示されているオブジェクトＡに対して、ユーザの手が重なり、又は、ユーザの手がオブジェクトＡを掴むような状態が認識され、且つ、オブジェクトＡの位置を移動させ、又は、オブジェクトＡを回転させるようなユーザの手の動きが認識されたとする。このような場合、ＣＰＵ５０は、ユーザによるオブジェクトＡへの干渉を検出し、Ｓ１１６の判断を肯定する（Ｓ１１６：Ｙｅｓ）。一方、何れのオブジェクトに対しても、前述のような状態が認識されない場合、ＣＰＵ５０は、干渉は検出されないとして、Ｓ１１６の判断を否定する（Ｓ１１６：Ｎｏ）。

Ｓ１１６の判断が肯定された場合（Ｓ１１６：Ｙｅｓ）、ＣＰＵ５０は、物体距離調整ダイヤル７０で設定された距離と、干渉が検出されたオブジェクトに関連付けられた距離（位置情報）とが一致するかについて判断する（Ｓ１１７）。両距離が一致しない場合（Ｓ１１７：Ｎｏ）、ＣＰＵ５０は、処理をＳ１２０に移行する。一方、両距離が一致する場合（Ｓ１１7：Ｙｅｓ）、ＣＰＵ５０は、干渉が検出されたオブジェクトに対して干渉処理を実行する（Ｓ１１８）。すなわち、干渉処理は、物体距離調整ダイヤル７０で設定された距離に対応する距離（位置情報）に関連付けられたオブジェクトに対して行われる。換言すれば、物体距離調整ダイヤル７０で設定された距離とは異なる距離（位置情報）に関連付けられたオブジェクトに対しては、干渉処理は実行されない。

例えば、物体距離調整ダイヤル７０が０．３ｍに設定され、Ｓ１１２で距離０．３ｍが取得されている状態で、図５に示すように表示されているオブジェクトＡに対する干渉がＳ１１６で検出されたとする。このような場合、Ｓ１１８でＣＰＵ５０は、距離（位置情報）が０．３ｍであるオブジェクトＡに対して干渉処理を実行する。例えば、Ｓ１１６で検出された干渉が、図５に示すように表示されているオブジェクトＡを掴み、オブジェクトＡを、矢印Ｍの方向に遠ざけるような動作であったとする。このような場合、ＣＰＵ５０は、ＲＡＭ５４上のオブジェクト配置データにおいて、オブジェクトＡに関連付けられた距離（位置情報）を、矢印Ｍの方向に遠ざけた手の動きに対応させた値に更新する。なお、図３に示すこの処理では、表示されるオブジェクトの大きさに関し、距離（位置情報）に対応した大きさとなるようにしてもよい。

また、Ｓ１１６で検出された干渉が、図５に示すように表示されているオブジェクトＡを掴み、オブジェクトＡを右側に移動させるような動作であったとする。このような場合、ＣＰＵ５０は、オブジェクトＡが表示されている位置を、右側に移動させた手の動きに対応させ、右側に移動させる。また、ＣＰＵ５０は、ＲＡＭ５４上のオブジェクト配置データにおいて、オブジェクトＡに関連付けられた角度（位置情報）は、右側に移動させた手の動きに対応させた値に更新する。

この他、例えば、物体距離調整ダイヤル７０が０．３ｍに設定され、Ｓ１１２で距離０．３ｍが取得されている状態で、表示されているオブジェクトＢに対する干渉がＳ１１６で検出されたとする。オブジェクトＢは、距離（位置情報）が１．０ｍ（図４参照）である。従って、このような場合、Ｓ１１８でＣＰＵ５０は、オブジェクトＢに対して干渉処理を実行することなく、処理をＳ１２０に移行する。なお、物体距離調整ダイヤル７０の設定に関わりなく、表示部６６で表示されている全てのオブジェクトを、干渉処理の対象としてもよい。また、オブジェクトへの干渉は、上述したようなものの他、オブジェクトを上下及び／左右に反転させるようなものであってもよい。この場合、オブジェクトを示すオブジェクトデータが、反転後のオブジェクトを示すように変更される。

Ｓ１１６の判断が否定された場合（Ｓ１１６：Ｎｏ）、又は、Ｓ１１８が実行された場合、ＣＰＵ５０は、この処理を終了するための終了指令が、入力されているかについて判断する（Ｓ１２０）。終了指令は、ユーザが操作部６３を操作する等して、入力される。終了指令が入力されておらず、処理を終了しない場合（Ｓ１２０：Ｎｏ）、ＣＰＵ５０は、処理をＳ１０６に戻す。その後、ＣＰＵ５０は、上述した処理を繰り返して実行する。

Ｓ１０２が実行された場合、又は、終了指令が入力され、処理を終了する場合（Ｓ１２０：Ｙｅｓ）、ＣＰＵ５０は、ＲＡＭ５４上に記憶されているオブジェクト配置データを、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードに記憶する。これによって、Ｓ１０２で作成されたオブジェクト配置データが、新たに、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードに記憶される。また、終了指令が入力され、処理を終了する場合（Ｓ１２０：Ｙｅｓ）、図３に示すこの処理の開始時にフラッシュＲＯＭ５６又はメモリカードに記憶されていたオブジェクト配置データは、Ｓ１１８で新たに設定された角度（位置情報）及び距離（位置情報）を含む、新たなオブジェクト配置データに更新される。

以上説明した本実施形態では、表示対象となるオブジェクトは、地理的な位置に関連付けられていない。従って、ＨＭＤ１の地理的位置が変化したとしても、変化前と同じ状態でオブジェクトを配置し、このように配置されたオブジェクトを、ユーザに表示することができる（Ｓ１０６参照）。

また、物体距離調整ダイヤル７０で設定された距離に対応する距離（位置情報）に関連付けられたオブジェクトを、これ以外のオブジェクトより強調された状態で表示することができる（Ｓ１１４参照）。ユーザは、特定の距離（位置情報）に関連付けられたオブジェクトを、容易に認識することができる。

さらに、表示部６６で表示されているオブジェクトへの干渉を検出し、干渉されたオブジェクトを、干渉のためのユーザの手の動きに合わせた状態で表示することができる（Ｓ１１８参照）。その際、干渉の対象となるオブジェクトを、物体距離調整ダイヤル７０で設定された距離に対応する距離（位置情報）に関連付けられたオブジェクトに限定することもできる。この他、干渉後の状態で、オブジェクト配置データを更新することができる（Ｓ１２２参照）。ユーザは、ＨＭＤ１の利用を停止させる際、次回の利用のために、別途、オブジェクト配置データを更新する操作を行わなくてもよい。

＜変形例＞
上述した本実施形態は、次のようにすることもできる。上記では、ＨＭＤ本体１０とシステムボックス２０とが信号ケーブル４０で接続されたＨＭＤ１を例に説明した。この他、ＨＭＤ本体１０とシステムボックス２０とが一体とされたＨＭＤ１としてもよい。この場合、上記のシステムボックス２０が有する各部は、例えば、表示ボックス１４の内部に設けられる。角度（位置情報）及び距離（位置情報）の基準は、ユーザの頭部に装着される一体型のＨＭＤ１とされる。

また、上記のＨＭＤ１においては、次のような機能が実行されるようにしてもよい。すなわち、オブジェクトに関連付けられた角度（位置情報）が、まとめて、一定角度だけオフセットされるようにしてもよい。このとき、ユーザは、操作部６３又は外部Ｉ／Ｆ６２に接続された外部装置を操作し、オフセットさせる角度を入力する。ＣＰＵ５０は、入力された角度を、既に登録されている角度（位置情報）に加減算する。

例えば、オブジェクト配置データが図４に示す状態である場合において、オフセットする角度として、＋９０°が入力されたとする。このとき、ＣＰＵ５０は、オブジェクトＡに関連付けられた角度（位置情報）の＋１０°に、入力された９０°を加算し、角度（位置情報）を＋１００°に更新する。同様に、オブジェクトＢについて、角度（位置情報）の−１０°に、９０°を加算し、角度（位置情報）を＋８０°に更新する。オブジェクトＣについて、角度（位置情報）の＋９０°に、９０°を加算し、角度（位置情報）を１８０°に更新する。オブジェクトＤについて、角度（位置情報）の＋１１０°に、９０°を加算し、角度（位置情報）を＋２００°（−１６０°）に更新する。最後に、オブジェクトＥについて、角度（位置情報）の−１７０°に、９０°を加算し、角度（位置情報）を−８０°に更新する。

このような構成によれば、複数のオブジェクトについて、角度（位置情報）を所定の角度だけオフセット（回転）させる場合、ユーザは、個々のオブジェクトに干渉し、オフセットさせたい角度だけ移動させるといった操作をする必要がない。オフセットさせたい角度を入力すれば、全てのオブジェクトを対象として、角度（位置情報）を、一括してオフセットさせることができる。このような処理が行われた場合、フラッシュＲＯＭ５６又はメモリスロット６０に装着されたメモリカードに記憶されているオブジェクト配置データは、オフセット後の角度（位置情報）を含む状態に更新される。なお、角度（位置情報）がオフセットされたとしても、距離（位置情報）は、更新されない。

１ ヘッドマウントディスプレイ（ＨＭＤ）
１０ ヘッドマウントディスプレイ本体（ＨＭＤ本体）
１２ フレーム構造
１４ 表示ボックス
１６ ハーフミラー
２０ システムボックス
３０ カメラ
４０ 信号ケーブル
５０ ＣＰＵ
５２ プログラムＲＯＭ
５４ ＲＡＭ
５６ フラッシュＲＯＭ
５８，６４ 通信インターフェース（通信Ｉ／Ｆ）
６０ メモリスロット
６２ 外部インターフェース（外部Ｉ／Ｆ）
６３ 操作部
６６ 表示部
６８ ６軸センサ
７０ 物体距離調整ダイヤル
７２ カメラインターフェース（カメラＩ／Ｆ）

Claims (6)

1. ユーザの頭部に装着され、前記ユーザに対してオブジェクトを表示し、オブジェクトを視認している前記ユーザが、前記ユーザが存する外界をオブジェクトと重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、
   オブジェクトを表示する表示部と、
   前記ヘッドマウントディスプレイの向きを検知する検知部と、
   前記ユーザが視認する視認対象の距離を設定する設定部と、
   前記検知部で検知された前記ヘッドマウントディスプレイの向きに従い、前記ヘッドマウントディスプレイを基準とした位置を示す位置情報に関連付けられたオブジェクトを取得する取得手段と、
   オブジェクトに関連付けられた位置情報に対応した位置に配置された状態で、前記取得手段で取得されたオブジェクトを、前記表示部に表示するための表示制御手段と、
   前記取得手段で取得されたオブジェクトのうち、前記設定部で設定された距離に対応するオブジェクトを抽出する抽出手段と、
   前記抽出手段で抽出されたオブジェクトを、前記抽出手段で抽出されていないオブジェクトに対して強調するための強調処理手段と、を有し、
   前記表示制御手段は、位置情報に対応した位置に配置された状態でオブジェクトを、前記表示部に表示する場合、前記抽出手段で抽出されたオブジェクトを、前記強調処理手段で強調された状態とする、ヘッドマウントディスプレイ。
2. 前記表示制御手段によって前記表示部に表示されているオブジェクトのうち、特定のオブジェクトを、前記ヘッドマウントディスプレイに入力される指令に従った干渉状態とするための干渉処理手段を有する、請求項１に記載のヘッドマウントディスプレイ。
3. 前記干渉処理手段は、前記設定部で設定された距離に対応する位置情報に関連付けられたオブジェクトを、特定のオブジェクトとして、前記ヘッドマウントディスプレイに入力される指令に従った干渉状態とする、請求項２に記載のヘッドマウントディスプレイ。
4. 前記表示部で表示されるオブジェクトのピントを調整するための調整部を有し、
   前記表示制御部は、前記設定部で設定された距離に前記ピントが合うように、前記調整部を調整する、請求項１から請求項３の何れか１項に記載のヘッドマウントディスプレイ。
5. 複数のオブジェクトを対象として、オブジェクトに関連付けられた位置情報によって示される位置を特定するための角度を、一定角度だけオフセットさせるオフセット手段を有する、請求項１から請求項４の何れか１項に記載のヘッドマウントディスプレイ。
6. ユーザの頭部に装着され、前記ユーザに対してオブジェクトを表示し、オブジェクトを視認している前記ユーザが、前記ユーザが存する外界をオブジェクトと重ねて視認することができ、オブジェクトを表示する表示部と、前記ヘッドマウントディスプレイの向きを検知する検知部と、前記ユーザが視認する視認対象の距離を設定する設定部と、を有するシースルー型のヘッドマウントディスプレイを制御するコンピュータが読み取り可能なコンピュータプログラムであって、
   前記コンピュータを、
   前記検知部で検知された前記ヘッドマウントディスプレイの向きに従い、前記ヘッドマウントディスプレイを基準とした位置を示す位置情報に関連付けられたオブジェクトを取得する取得手段と、
   オブジェクトに関連付けられた位置情報に対応した位置に配置された状態で、前記取得手段で取得されたオブジェクトを、前記表示部に表示するための表示制御手段と、
   前記取得手段で取得されたオブジェクトのうち、前記設定部で設定された距離に対応するオブジェクトを抽出する抽出手段と、
   前記抽出手段で抽出されたオブジェクトを、前記抽出手段で抽出されていないオブジェクトに対して強調するための強調処理手段と、して機能させ、
   前記表示制御手段は、位置情報に対応した位置に配置された状態でオブジェクトを、前記表示部に表示する場合、前記抽出手段で抽出されたオブジェクトを、前記強調処理手段で強調された状態とする、機能を含む、コンピュータプログラム。

Images