JP6111659B2 - 表示装置、および、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、および、表示装置の制御方法に関する。

従来、表示装置によってユーザーに仮想の入力エリアを認識させ、この仮想の入力エリアに対する入力操作を可能とした装置が知られている（例えば、特許文献１参照）。特許文献１の装置は、ユーザーの頭部に装着されるＨＭＤ（ヘッドマウントディスプレイ）によって、ユーザーの前方の風景と、仮想入力デバイスとなるキーボードの画像とを重畳して表示する。ユーザーがキーボードに合わせて手指を動かすと、この手指の位置がキーボードに対する入力操作として検出される。

特開２００２−３１８６５２号公報

特許文献１記載の装置は、カメラによりユーザーの前方に存在する面を検出し、この面に合わせて仮想入力デバイスの画像を生成し、カメラの撮影画像に仮想入力デバイスを重畳して表示する。この仮想入力デバイスは固定的なものであるため、ユーザーは、表示されている仮想入力デバイスに合わせて操作を行う必要があった。つまり、ユーザーは、装置が検出した面で操作を行わなくてはならないという制限があった。
本発明は、上述した事情に鑑みてなされたものであり、画像として表示される仮想的な指標に基づいて操作を行う際の操作性の向上を図ることを目的とする。

上記目的を達成するために、本発明は、外光に画像光を重ねて出力し、画像を視認させる表示手段と、前記画像に操作エリアを配置して前記表示手段に表示させる表示制御手段と、前記操作エリアに対応する位置指示操作を受け付ける入力手段と、を備え、前記表示制御手段は前記画像における前記操作エリアの態様を変更すること、を特徴とする。
本発明によれば、外光に重ねて出力される画像光により画像を表示するため、ユーザーは画像光により表示される操作エリアとともに、外光により外景を見ることができ、この外景の任意の場所を見て操作を行うことができる。そして、表示される操作エリアの態様を変更することにより、操作の状況に応じて操作エリアの表示態様を変更して、快適な操作性を実現することができ、操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記表示制御手段は、前記位置指示操作が行われる仮想入力面までの距離に応じて、前記操作エリアの態様を変更することを特徴とする。
本発明によれば、ユーザーが操作を行う位置に対応した態様で操作エリアを表示し、より快適な操作性を実現できる。

また、本発明は、上記表示装置であって、前記仮想入力面までの距離を検出する距離検出手段を備え、前記表示制御手段は、前記距離検出手段により検出された距離に応じて、前記操作エリアの態様を変更することを特徴とする。
本発明によれば、ユーザーが操作を行う仮想入力面までの距離を検出するので、仮想入力面までの距離を入力または設定する操作を省略することができ、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記距離検出手段は、前記外光により視認される面を検出し、この面までの距離を検出することを特徴とする。
本発明によれば、ユーザーが操作に利用する可能性がある面を検出するので、より正確に仮想入力面までの距離を検出できる。

また、本発明は、上記表示装置であって、前記表示制御手段は、前記位置指示操作をガイドする入力補助画像を含む前記操作エリアを配置し、前記入力補助画像のサイズを変更することを特徴とする。
本発明によれば、ユーザーの操作の指標となる入力補助画像のサイズを変更することにより、文字入力等の細かい入力操作を容易に、正確に行うことが可能となる。

また、本発明は、上記表示装置であって、前記表示手段は、マトリクス状に配置された複数の画素により前記画像を形成し、前記表示制御手段は、前記入力補助画像のサイズを変更する場合、前記入力補助画像を構成する画素数を変更することを特徴とする。
本発明によれば、入力補助画像を構成する画素数を変更することにより、入力補助画像のサイズを変更した場合に、サイズの拡大に伴う解像度の低下や、サイズの縮小に伴う視認性の低下等を防止できる。

また、本発明は、上記表示装置であって、前記表示制御手段は、前記入力補助画像として複数の補助線を含む画像を前記表示手段により表示させ、前記補助線の間隔を変更することを特徴とする。
本発明によれば、入力補助画像の補助線の間隔を変更することにより、文字入力等の細かい入力操作をより容易に、正確に行うことが可能となる。

また、本発明は、上記表示装置であって、前記表示制御手段は、前記入力補助画像として、前記位置指示操作により文字入力を行うための仮想キーボードの画像を前記表示手段により表示させ、前記仮想キーボードの表示サイズ、表示色、表示領域の少なくともいずれかを変更することを特徴とする。
本発明によれば、仮想キーボードを表示することにより、容易に文字入力を行うことが可能になる。そして、この仮想キーボードの表示サイズ、表示色あるいは表示領域を変更することで、ユーザーがより快適に入力操作を行うことができる。

また、本発明は、上記表示装置であって、前記表示制御手段は、前記入力手段により受け付けた操作位置に対応する位置で前記操作エリアの表示態様を変化させることを特徴とする。
本発明によれば、操作エリアの表示態様の変化によって、表示装置が検出した操作位置をユーザーに示すことができる。また、操作エリアの表示態様を変えることで、この操作に続く操作を行い易くし、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示装置であって、前記表示装置は、使用者に画像を視認させる頭部装着型表示装置であり、前記表示手段は、表示用画像データを用いて画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を前記使用者の眼に導く光学部材と、を含み、前記外光は前記光学部材を透過して前記画像光とともに前記使用者の眼に入射することを特徴とする。
本発明によれば、光学部材により使用者の眼に画像光を導くとともに、この光学部材を透過して外光を使用者の眼に導くシースルー型の表示装置によって、より簡単に入力操作を行うことが可能となる。

また、上記目的を達成するため、本発明は、外光に画像光を重ねて出力し、画像を視認させるシースルー型の表示装置の制御方法であって、前記画像に操作エリアを配置し、前記操作エリアに対応する位置における位置指示操作を受け付け、前記画像における前記操作エリアの態様を可変としたこと、を特徴とする。
本発明によれば、外光に重ねて出力される画像光により画像を表示するため、ユーザーは画像光により表示される操作エリアとともに外景を見ることができ、この外景の任意の場所を見て操作を行うことができる。そして、表示される操作エリアの態様を変更するため、操作の状況に応じて操作エリアの表示態様を変更し、快適な操作性を実現することができ、操作性の向上を図ることができる。

本発明によれば、操作の状況に応じて操作エリアの表示態様を変更して、快適な操作性を実現することができ、操作性の向上を図ることができる。

本発明の実施形態に係る頭部装着型表示装置の外観図である。 頭部装着型表示装置の光学系の概略構成を示す図である。 頭部装着型表示装置の制御系の機能ブロック図である。 頭部装着型表示装置により表示される入力補助画像および入力操作の例を示す説明図であり、（Ａ）は仮想キーボードを利用する例を示し、（Ｂ）および（Ｃ）は入力補助線を含む仮想入力ボードを利用する例を示す。 入力補助画像の表示例を示す説明図であり、（Ａ）はユーザーが遠方を注視する場合の例を示し、（Ｂ）はユーザーが近くを注視する場合の例を示す。 頭部装着型表示装置ＨＭの動作を示すフローチャートである。 入力補助画像の表示例を示す説明図であり、（Ａ）は入力操作中の状態を示し、（Ｂ）は入力内容が確定された状態を示す。 入力補助画像の別の表示例を示す説明図である。図８（Ａ）は入力操作中の指示位置を強調表示する例を示し、（Ｂ）は表示用の領域と入力補助画像とを並べて表示する例を示す。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る頭部装着型表示装置の外観図である。
頭部装着型表示装置ＨＭは、ユーザーの頭部に装着される頭部装着型表示装置であり、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）と呼ばれる。本実施形態の頭部装着型表示装置ＨＭは、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

図１に示すように、頭部装着型表示装置ＨＭは、ユーザーの頭部に装着される画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。画像表示部２０は、右保持部２１、右表示駆動部２２、左保持部２３、左表示駆動部２４および右光学像表示部２６を備えている。
右光学像表示部２６および左光学像表示部２８は、それぞれユーザーの右眼および左眼の眼前に位置し、ユーザーの眉間に対応する位置で相互に接続されて一体となっている。右光学像表示部２６の端部ＥＲからは右保持部２１が延伸し、左光学像表示部２８の端部ＥＬからは左保持部２３が延伸している。

右保持部２１は、ユーザーの右側頭部の側方に位置し、その先端はユーザーの右耳に係合する。また、左保持部２３はユーザー左側頭部の側方に位置し、その先端はユーザーの左耳に係合する。これら右保持部２１および左保持部２３の先端と、右光学像表示部２６および左光学像表示部２８の接合部の下端に設けられた鼻当て部（図示略）とによって頭部装着型表示装置ＨＭが支持される。
右保持部２１の基端部には右表示駆動部２２が内蔵され、左保持部２３の基端部には左表示駆動部２４が内蔵される。これら右表示駆動部２２および左表示駆動部２４により、頭部装着型表示装置ＨＭはユーザーの右眼と左眼の各々に画像を視認させる。

右光学像表示部２６および左光学像表示部２８の前面側すなわち表面側には、調光板２０Ａが設けられている。調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能であり、複数種類の調光板２０Ａを交換して装着できる。調光板２０Ａは薄板状の光学素子であり、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができ、調光板２０Ａの光学特性を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光の光量を調整できる。本実施形態では、少なくとも、頭部装着型表示装置ＨＭを装着したユーザーが外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、後述する右導光板２６１、左導光板２６２を損傷や、汚れの付着等から保護する機能も有する。
また、頭部装着型表示装置ＨＭの前面において右光学像表示部２６と左光学像表示部２８の境目部分には、カメラ６１が配置されている。カメラ６１の位置は頭部装着型表示装置ＨＭの前面のほぼ中央であり、ユーザーの左右の眼の中間位置となっている。

カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置ＨＭの表側方向、換言すれば、頭部装着型表示装置ＨＭを装着した状態におけるユーザーの視界方向の少なくとも一部の外景を撮像する方向となっており、好ましくは面２６２Ａを通してユーザーが視認する範囲の外景を撮影する方向であり、より好ましくは、面２６２Ａを通して視認される範囲を含み、この範囲より広い範囲を撮影する。カメラ６１は、静止画像の間欠撮影または動画像を撮影して撮影画像データを出力する。なお、本実施形態においてカメラ６１は、１つのデジタルカメラとして例示するが、複数のデジタルカメラからなるステレオビデオカメラを採用してもよい。

図２は、画像表示部２０における光学系の概略構成を示す図である。この図２には、ユーザーの左眼ＬＥに虚像を視認させる左表示駆動部２４および左導光板２６２の構成を平面図により示す。ユーザーの左眼と右眼に虚像を視認させる各構成は左右対称であるため、ここでは左表示駆動部２４および左導光板２６２についてのみ説明する。
画像表示部２０の左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備えている。
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズによって構成される。左投写光学系２５２を経た画像光Ｌは左導光板２６２に入射する。左導光板２６２は画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。そして、左眼ＬＥの眼前に位置する面２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて右光学像表示部２６から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、ユーザーに画像を視認させる。
なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

面２６２Ａはハーフミラーで構成される。このため、ユーザーの左眼ＬＥには、面２６２Ａで反射した画像光Ｌだけでなく、調光板２０Ａを透過した外光ＯＬが入射する。つまり、頭部装着型表示装置ＨＭは、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねてユーザーの眼に入射させ、ユーザーにとっては、頭部装着型表示装置ＨＭの調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このため、頭部装着型表示装置ＨＭは、シースルー型の表示装置であるということができる。

頭部装着型表示装置ＨＭのユーザーの両眼に導かれた画像光Ｌがユーザーの網膜に結像することにより、ユーザーは虚像を視認する。ここで、ユーザーにとっての外景と虚像の視認性は外光ＯＬと画像光Ｌの光量のバランスに影響され、外光ＯＬの光量が画像光Ｌよりも大きい場合には外景がよく見える一方で頭部装着型表示装置ＨＭが処理（表示）する虚像の視認性は低い。反対に、画像光Ｌの光量が外光ＯＬに比べて大きい場合は、頭部装着型表示装置ＨＭが処理（表示）する虚像の視認性が高いのに対し、外景の視認性は低い。

図１に戻り、頭部装着型表示装置ＨＭは、画像表示部２０を制御装置１０に接続する接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、本体コード４８から連結部材４６を介して分岐する２本の右コード４２および左コード４４とを有する。右コード４２は、右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。左コード４４は、左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行う。右コード４２、左コード４４、および本体コード４８には、例えば、金属ケーブルや、光ファイバーを採用することができる。

制御装置１０は、頭部装着型表示装置ＨＭを操作するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。
点灯部１２は、ＬＥＤ等からなるインジケーターを備え、頭部装着型表示装置ＨＭの動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光状態によって通知する。タッチパッド１４は、ユーザーの指による接触操作を検出して、検出内容に応じた信号を出力する。十字キー１６は、上下左右方向に対応するキーであり、押下操作に応じた信号を出力する。電源スイッチ１８は、頭部装着型表示装置ＨＭの電源状態を切り替えるスイッチである。

図３は、頭部装着型表示装置ＨＭの制御系の構成を示す機能ブロック図である。
制御装置１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、制御部１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２と、を備える。前述の各部はバス（図示省略）により相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４、十字キー１６、電源スイッチ１８等による入力に応じた信号を取得する。記憶部１２０は、半導体メモリー素子や磁気的記憶装置等によりプログラムやデータを記憶する。電源１３０は、例えば２次電池を備え、頭部装着型表示装置ＨＭの各部に電力を供給する。

制御部１４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭまたは記憶部１２０に記憶されたプログラムを実行することにより、頭部装着型表示装置ＨＭの各部を制御する。制御部１４０は、上記プログラムを実行することにより、入力検出部１４２(入力手段)、距離検出部１４４（距離検出手段）、入力補助画像処理部１４６（表示制御手段）、画像処理部１６０、音声処理部１７０、表示制御部１９０としても機能する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツ等に基づいて画像表示部２０に供給する信号を生成し、画像表示部２０へ送信する。画像処理部１６０は、インターフェイス１８０を介してアナログ信号が入力された場合には、Ａ／Ｄ変換処理を行ってデジタル画像データ（Ｄａｔａ）を生成し、クロック信号（ＰＣＬＫ）と、垂直同期信号（ＶＳｙｎｃ）と、水平同期信号（ＨＳｙｎｃ）とともに出力する。また、画像処理部１６０は、デジタル画像データがインターフェイス１８０に入力された場合、フレームレートの変換や解像度変換等の各種処理を行って、処理後のデジタル画像データをクロック信号、垂直同期信号および水平同期信号を出力する。

画像処理部１６０が出力する信号は送信部５１を介して画像表示部２０の右表示駆動部２２に入力され、送信部５２を介して左表示駆動部２４に入力される。
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦ、などを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部２０の右イヤホン３２および左イヤホン３４に対し、接続部４０を介して供給する。
インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０は、頭部装着型表示装置ＨＭの外部の機器ＯＡに有線接続される各種コネクターおよびインターフェイス回路、および／又は、外部の機器ＯＡと無線信号を送受信する無線通信部およびインターフェイス回路を備えている。インターフェイス１８０は、例えば、ＵＳＢ規格に準拠したインターフェイス、メモリーカード用インターフェイス、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した無線通信インターフェイス、その他の近距離無線通信インターフェイス等を備えることができる。機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。また、インターフェイス１８０にアナログ信号を入力するコネクター等を設けてもよい。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、右イヤホン３２と、左イヤホン３４とを備えている。
右表示駆動部２２は、受信部（Ｒｘ）５３と、右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備える。
受信部５３は、送信部５１から入力される信号を受信する。右バックライト制御部２０１は、受信部５３に入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３に入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用の画像データとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右ＬＣＤ制御部２１１により駆動されて各種画像を描画する。

同様に、左表示駆動部２４は、受信部（Ｒｘ）５４と、左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ２４２および左ＬＣＤ２４２と、左投写光学系２５２とを備える。
なお、右バックライト制御部２０１、右ＬＣＤ制御部２１１、右バックライト２２１、および右ＬＣＤ２４１を総称して右側の「画像光生成部」と呼び、左バックライト制御部２０２、左ＬＣＤ制御部２１２、左バックライト２２２、および左ＬＣＤ２４２を総称して、左側の「画像光生成部」と呼ぶ。また、右保持部２１および左保持部２３を総称して単に「保持部」と、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」と、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
そして、これら表示駆動部と、画像光生成部とによって本発明の表示手段が構成される。表示手段には、光学像表示部を含んでもよいし、導光部を含んでもよい。

受信部５４は、送信部５２から入力される信号を受信する。左バックライト制御部２０２は、受信部５４に入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４に入力されたクロック信号と、垂直同期信号と、水平同期信号と、左眼用の画像データとに基づいて、左ＬＣＤ２４２を駆動する。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左ＬＣＤ制御部２１２により駆動されて各種画像を描画する。
以下の説明では、頭部装着型表示装置ＨＭによりユーザーが視認する虚像を「画像」と呼ぶ。この画像は、右ＬＣＤ２４１、左ＬＣＤ２４２に形成される画像がユーザーの網膜に結像して認識されるものである。また、頭部装着型表示装置ＨＭがユーザーに虚像を視認させることを、「表示」と呼ぶ。

本実施形態の頭部装着型表示装置ＨＭでは、文字や図形を入力するための入力補助画像を表示した状態で、カメラ６１の撮影範囲において入力補助画像に基づく操作を行うことにより、文字や図形を入力することができる。
この操作は、カメラ６１の撮影範囲内において、ユーザーの手指、ペン型や棒形状の操作デバイス、或いはレーザーポインターやＬＥＤ等の光源等の指示体を動かすことにより行われる。
入力補助画像は、指示体により文字や図形を入力するために画像表示部２０が表示する画像であり、例えば文字が配列された仮想キーボードや手書き文字入力を行うための罫線等である。入力補助画像については後に詳述する。

制御部１４０は、入力検出部１４２を備えている。入力検出部１４２は、カメラ６１の撮影画像データを取得し、この撮影画像データを解析して指示体の位置、および／又は動きを検出する。記憶部１２０には、指示体の形状や色の特徴を含む操作検出用データ１２２が記憶されている。入力検出部１４２は、操作検出用データ１２２に基づいて撮影画像データから指示体の画像を抽出し、指示体の指示位置を検出する。指示体の指示位置は、例えば、ユーザーの指の先端、操作デバイスの先端、光源の発光位置等である。さらに、入力検出部１４２は、連続して撮影された複数の静止画像の撮影画像データ、または、動画像データを構成する複数のフレームから指示体の指示位置を検出し、これら複数の指示位置を比較することによって、指示位置の計時的変化、換言すれば指示位置の動きまたは軌跡を検出する。
操作検出用データ１２２には、指示位置の動きまたは軌跡の条件を示すデータが含まれている。このデータは、例えば、指示位置の動きの方向、動きの大きさ、動きの速度、一続きの動きの時間、軌跡の形状を示すデータ等である。入力検出部１４２は、撮影画像データから検出した指示位置の動きまたは軌跡が操作検出用データ１２２に含まれる条件に該当する場合には、特定の操作が行われたものとして検出する。入力検出部１４２は、操作検出用データ１２２に含まれる複数の異なる条件を用いて、複数種類の操作を検出するものであってもよい。

また、制御部１４０は、画像表示部２０の前方すなわちカメラ６１の撮影方向に位置する対象物までの距離を検出する距離検出部１４４を備える。距離検出部１４４は、例えば、カメラ６１の焦点（フォーカス）調整を行うための距離測定機能を利用して、前方の物体（対象物）までの距離を検出する。なお、距離検出部１４４は、赤外線センサーや超音波センサーを備え、これらのセンサーにより距離を検出する構成としてもよい。
本実施形態では、距離検出部１４４は、画像表示部２０の前方に位置する面までの距離を検出する。検出される面は、固定的な面であっても移動可能な物体の面であってもよく、例えば、壁面、家具什器類の側面や上面、床面、地面、本や紙またはユーザーの掌を含む物体の面等が挙げられる。
距離検出部１４４が検出する面は平面に限定されず、曲面であってもよい。例えば、距離検出部１４４は、画像表示部２０の前方において複数の方向の距離検出を行い、検出された距離から一つの面が存在することが明らかな場合に、この面までの距離を検出する。この場合、距離検出部１４４が一つの面であることを認識可能であることが望ましく、例えば極端に曲率の高い曲面でないことが好ましい。また、距離検出部１４４は、画像表示部２０の前方における距離検出結果と合わせて、カメラ６１により撮影された撮影画像データから面を抽出することにより、画像表示部２０の前方の面を認識してもよい。

さらに、制御部１４０は、入力補助画像処理部１４６を備えている。入力補助画像処理部１４６は、上記指示体による入力操作を行う場合に、入力補助画像を表示するためのデータを生成して表示制御部１９０に出力し、右表示駆動部２２および左表示駆動部２４によって表示させる。
記憶部１２０には、例えば上記の仮想キーボードや罫線を表示するための画像データやベクトルデータを含む入力補助画像データ１２４が記憶されている。入力補助画像データ１２４には、複数種類の入力補助画像を表示するためのデータが含まれていてもよく、この場合、入力補助画像処理部１４６は入力補助画像データ１２４からデータを選択して使用する。

図４は、頭部装着型表示装置ＨＭにより表示される入力補助画像および入力操作の例を示す説明図である。図４（Ａ）は仮想キーボードを利用した例を示し、（Ｂ）および（Ｃ）は入力補助線を利用した例を示す。これら図４（Ａ）〜（Ｃ）はユーザーが視認する像として示したものである。
図４（Ａ）に示す例では、入力補助画像処理部１４６の制御により仮想キーボード３０１が表示されている。仮想キーボード３０１は、一般的なＱＷＥＲＴＹキーボードと同様に文字が配列され、各文字を選択するための枠が表示されている。
ユーザーには、仮想キーボード３０１と外景とが重ねて視認されるため、図４（Ａ）の例のように手指Ｆを指示体として用いる場合、自分の手指Ｆが仮想キーボード３０１上の所望の文字に重なるように操作を行う。図４（Ａ）の例では手指Ｆの先端が文字「Ｏ」に重なる位置にある。ここで、例えば、手指Ｆを所定時間静止させる、手指Ｆの先（例えば第１関節）を曲げる、手指Ｆの先を特定の方向に動かす等の動作を行うと、手指Ｆの先に重なる文字（図の例では「Ｏ」）が選択され、入力される。
頭部装着型表示装置ＨＭにおいては、入力検出部１４２が、カメラ６１の撮影画像データに基づき手指Ｆによる操作を検出し、ユーザーの視界における仮想キーボード３０１の表示位置（ユーザーが視認する位置）と、検出された手指Ｆの先端の位置とを対照することにより、手指Ｆの操作により選択された文字を特定する。

図４（Ｂ）に示す例では、入力補助画像処理部１４６の制御により、縦方向および横方向にそれぞれ等間隔に罫線が配置された仮想入力ボード３０２が表示されている。仮想入力ボード３０２は指示体の動きにより文字や図形を描いて入力する場合に利用される。例えば図４（Ｂ）に示すように、仮想入力ボード３０２の罫線が形成するマスに文字が１文字ずつ入力される。仮想入力ボード３０２が表示された場合、ユーザーは、仮想入力ボード３０２に重ねて視認される指示体（この例では手指Ｆ）をマスの中で移動させて文字や図形を描く。入力検出部１４２は、手指Ｆの先端の位置を検出し、仮想入力ボード３０２の表示位置と照合し、１つのマスの中における手指Ｆの軌跡が特定の文字を示していると判定した場合には、その文字を入力された文字として判定する。図４（Ｂ）の例では仮想入力ボード３０２の左上隅のマスに文字「Ｗ」が入力され、その隣のマスに文字「Ｏ」が描かれている。

また、入力補助画像処理部１４６は、図４（Ｃ）に示すように、より多くのマスを有する仮想入力ボード３０３を表示させることもできる。仮想入力ボード３０３は、同図（Ｂ）の仮想入力ボード３０２に比べて罫線の数が多く、罫線の間隔が狭い。このため各マスが小さく、マスの数が多い。入力操作の態様は仮想入力ボード３０２と同様であり、マス内で手指Ｆの先端で文字や図形を描くと、そのマスに対する入力として文字や図形が入力される。
仮想キーボード３０１および仮想入力ボード３０２、３０３を表示するための画像データまたはベクトルデータは入力補助画像データ１２４として記憶部１２０に記憶されている。

また、入力補助画像である仮想キーボード３０１、仮想入力ボード３０２、３０３が表示された領域は、ユーザーが操作可能な領域、すなわち操作エリアに相当する。入力補助画像は、右表示駆動部２２および左表示駆動部２４が右ＬＣＤ２４１および左ＬＣＤ２４２に画像を形成可能な最大範囲、すなわち表示可能領域いっぱいに配置されてもよく、この場合は表示可能領域全体が操作エリアに相当する。また、入力補助画像が表示可能領域の一部に配置されるようにしてもよい。

ところで、頭部装着型表示装置ＨＭを装着するユーザーは右表示駆動部２２および左表示駆動部２４が視認させる虚像と外景とを重ねて見るので、虚像の見え方が外景に影響されることがある。具体的には、ユーザーが視認する外景までの距離の遠近により、虚像の大きさが異なって見える。
図５は入力補助画像の表示例を示す説明図であり、（Ａ）はユーザーが遠方を注視する場合の例を示し、（Ｂ）はユーザーが近くを注視する場合の例を示す。図５（Ａ）、（Ｂ）の例は画像表示部２０の表示可能領域全体に仮想入力ボード３０２、３０３を表示した例である。また、図中の符号ＶＡはユーザーの視野を示している。

図２に示した面２６２Ａのように、右導光板２６１および左導光板２６２においてユーザーの眼に向けて画像光Ｌを反射するハーフミラー面のサイズは変化せず、右ＬＣＤ２４１、左ＬＣＤ２４２の大きさも変化しない。従って、ユーザーの視界全体に対して画像光Ｌにより形成される像の相対的な大きさも変化しない。これに対し、ユーザーが遠方に注視している場合、ユーザーの視界に広い範囲が収まり、ユーザーが近くを注視する場合には、視界の大半が小さい範囲で占められる。
例えば図５（Ａ）に示すように、ユーザーが遠方の風景等を注視している場合には、仮想入力ボード３０２に重なる外景は、非常に広い範囲の景色である。このため、ユーザーには仮想入力ボード３０２そのものが大きなもののように感じられる。
図５（Ｂ）は、ユーザーが、ユーザーの近くに位置する机Ｄを注視している例であり、視野ＶＡのほぼ全体に机Ｄの天面が見えている。この場合、仮想入力ボード３０３に重なる外景はほぼ机Ｄの大きさとなっており、図５（Ａ）の例に比べて小さい。このため、ユーザーには仮想入力ボード３０３が机Ｄと同じ大きさであるように見える。
このような見え方の差に関しては、ユーザーに見える外景においてユーザーが注視する場所までの距離が、支配的な要因となっている。

そこで、頭部装着型表示装置ＨＭは、ユーザーが注視している外景までの距離に応じて、入力補助画像の表示態様を変更する。
具体的には、図５（Ａ）に示すように、ユーザーが注視する外景が遠方の場合には、入力補助画像として、罫線の間隔が広い仮想入力ボード３０２を表示し、図５（Ｂ）に示すようにユーザーが近景を注視している場合には、入力補助画像として、罫線の間隔が狭い仮想入力ボード３０３を表示する。

この場合、入力補助画像処理部１４６は、入力補助画像データ１２４に基づき表示可能な入力補助画像の中から、距離検出部１４４が検出した距離に適合する入力補助画像を選択して、表示制御部１９０により表示させる。入力補助画像の数は任意であり、例えば、距離検出部１４４が検出した距離を複数段階に分け、各段階に対応する複数の入力補助画像を表示してもよい。
距離検出部１４４は、上述した距離検出機能によってユーザーの視界方向の物体までの距離を検出する。距離検出部１４４は、例えばユーザーの視線を検出する機構を備え、ユーザーの視線方向に位置する物体までの距離を検出してもよい。

この構成によれば、ユーザーにとって感じられる入力補助画像の大きさに対応して入力補助画像の態様を変化させることで、ユーザーが違和感なく入力操作を行うことができ、操作性の向上を図ることができる。

さらに、距離検出部１４４は仮想入力面までの距離を検出する。図５（Ｂ）の例ではユーザーの視界に机Ｄの天面があり、距離検出部１４４は机Ｄまでの距離を検出する。この場合、ユーザーは机Ｄの天面に手指を置いて文字や図形を描く操作を行うことが考えられる。ユーザーの視界に壁面や床面がある場合も同様である。従って、距離検出部１４４が面までの距離を検出することで、ユーザーが入力操作のために注視している対象までの距離を適切に検出し、入力補助画像の態様を、より適切に変化させることができる。このため、距離検出部１４４が距離を検出する面を、ユーザーが入力操作を行う面として、仮想入力面と呼ぶ。

また、距離検出部１４４によって指示体までの距離を検出し、この指示体までの距離に基づいて入力補助画像処理部１４６が入力補助画像の表示態様を決定してもよい。上述した仮想入力面は指示体が操作される面であるから、指示体までの距離を仮想入力面までの距離とみなすこともできる。すなわち、距離検出部１４４が仮想入力面となり得る面そのものを検出せず、指示体までの距離を検出することで仮想入力面までの距離を間接的に検出する。入力検出部１４２がカメラ６１の撮影画像データから指示体を検出する構成であるため、距離検出部１４４が指示体を検出することは容易である。従って、距離検出部１４４が面までの距離を検出しにくい場合に、有用である。また、指示体に限らず、距離検出部１４４によってユーザーの視界に存在する物体（特定の面を持つか持たないかは限定されない）までの距離を検出し、この距離を、仮想入力面までの距離としてもよい。

図６は、頭部装着型表示装置ＨＭの動作を示すフローチャートであり、特に、入力補助画像を用いた入力操作に関する動作を示す。
頭部装着型表示装置ＨＭの電源がオンの状態で、制御装置１０のタッチパッド１４や十字キー１６に対する操作により、入力開始が指示されると（ステップＳ１１）、制御部１４０は図６の動作を開始する。
まず、距離検出部１４４が仮想入力面までの距離を検出する（ステップＳ１２）。次いで、入力補助画像処理部１４６が、距離検出部１４４により検出された距離に基づいて入力補助画像の表示態様を決定して表示制御部１９０に画像データを出力する（ステップＳ１３）。これにより入力補助画像が右表示駆動部２２、左表示駆動部２４により表示される。ここで、入力検出部１４２は、カメラ６１の撮影画像データに基づく入力操作の検出を開始する。

その後、入力検出部１４２は、入力内容が確定されるまで入力操作の検出を行い（ステップＳ１５）、入力内容が確定されると（ステップＳ１５；Ｙｅｓ）、確定した内容に基づいて処理を実行する（ステップＳ１６）。例えば、制御部１４０は、制御装置１０がウェブブラウザーの機能を実行し、ウェブブラウザーによってウェブ検索エンジンへの検索キーワードの入力を行う状態に移行し、仮想入力ボード３０２を表示する。仮想入力ボード３０２を用いた操作によって複数の文字が入力されると、制御部１４０は、入力された文字からなる文字列を検索キーワードとして検索エンジンに送信し、検索結果をウェブブラウザーにより表示する処理を行う。

制御部１４０は、タッチパッド１４や十字キー１６の操作により入力操作の終了が指示されたか否かを判定し（ステップＳ１７）、入力操作の終了が指示されるまでは（ステップＳ１７；Ｎｏ）、ステップＳ１５に戻って入力補助画像の表示を継続する。そして、入力操作の終了が指示された場合は（ステップＳ１７；Ｙｅｓ）、入力補助画像処理部１４６が入力補助画像の表示を停止させて（ステップＳ１８）、本処理を終了する。

図７は入力補助画像の表示例を示す説明図であり、（Ａ）は入力操作中の状態を示し、（Ｂ）は入力内容が確定された状態を示す。
図７（Ａ）および（Ｂ）には、上述したように制御部１４０がウェブブラウザーを実行し、検索エンジンに入力する検索キーワードを入力する動作を例示する。
図７（Ａ）では表示可能領域の一部に仮想入力ボード３０２が表示され、仮想入力ボード３０２に並べて、検索文字列の入力ボックス３０５が表示され、仮想入力ボード３０２を用いて入力ボックス３０５への入力を行う状態である。この例では仮想入力ボード３０２のマスに合わせて、文字を描くように手指Ｆを動かすことで、制御部１４０が描かれた文字を認識し、認識された文字が仮想入力ボード３０２の各マスに表示される。

仮想入力ボード３０２に基づく入力内容が確定されると、入力補助画像処理部１４６は仮想入力ボード３０２の表示を終了する。図７（Ｂ）に示す例では、仮想入力ボード３０２に代わって、入力内容を表示する入力内容表示部３０６が切り替えて表示される。また、入力内容表示部３０６に表示された文字からなる文字列が入力ボックス３０５に入力された状態となっている。入力内容表示部３０６が表示された状態で、再び入力操作を行う旨の指示がタッチパッド１４や十字キー１６等により入力されると、再び仮想入力ボード３０２が切り替えて表示される。

図７の例では、仮想入力ボード３０２は、その背景全体が暗色（例えば、暗灰色）で表示されている。図２を参照して説明したように、ユーザーが外景を視認する視認性は、調光板２０Ａを透過してユーザーの眼に入射する外光ＯＬの光量と、右導光板２６１、左導光板２６２からユーザーの眼に入射する画像光Ｌ（図２）の光量とのバランスに影響される。このため、仮想入力ボード３０２を暗色で表示すれば、ユーザーが外景を視認しやすくなる。これにより、ユーザーが注視する物体までの距離に対応して仮想入力ボード３０２の表示態様を変更した効果がより顕著になり、より一層の操作性の向上が期待できる。なお、仮想入力ボード３０２の一部のみを暗色で表示してもよい。
また、仮想入力ボード３０２と入力内容表示部３０６とを切り替えた際の違和感を防ぐため、入力内容表示部３０６は仮想入力ボード３０２と同様に、暗色の背景を有する画像となっている。図７の例では、仮想入力ボード３０２および入力内容表示部３０６の罫線や枠線は、背景色よりもさらに暗色で表示され、入力された文字は、視認性を確保するため明度の高い色（例えば白色）で表示される。また、背景を黒にして罫線や枠線を灰色で表示するなど、罫線や枠線を背景より明度の高い色としてもよい。背景、罫線、枠線、文字等は無彩色に限らず、より彩度の高い色で表示してもよい。

制御部１４０は、入力補助画像処理部１４６が入力補助画像を表示して、入力検出部１４２により操作を検出している間に、距離検出部１４４による距離検出を間欠的に実行し、検出された距離に基づいて入力補助画像の表示態様を変更してもよい。この場合、指示体による操作中に、ユーザーが注視する対象が変わった場合に、この変化に入力補助画像の表示態様を適合させ、良好な操作性を保つことができる。
さらに、カメラ６１の撮像画像データの変化やユーザーの視線を検出する機構により、入力補助画像の表示中にユーザーの視線方向が動いたことを検出した場合に、移動後のユーザーの視線方向に位置する対象物までの距離を距離検出部１４４により検出し、入力補助画像の表示態様を変更してもよい。
そして、上記の例のように入力補助画像の表示中に入力補助画像の表示態様を変更する場合には、いったん入力補助画像の表示を停止して、入力補助画像が表示されない状態を所定時間保ち、その後に変更後の入力補助画像を表示してもよい。

また、カメラ６１の撮像画像データの変化やユーザーの視線を検出する機構により、入力補助画像の表示中にユーザーの視線方向が動いたことを検出した場合に、入力補助画像の表示を停止し、ユーザーの視線方向が元の位置または元の位置から所定範囲内に戻った場合に、再び、元の表示態様で入力補助画像を表示する構成としてもよい。
さらに、入力補助画像が表示可能領域の一部に表示される場合において、入力補助画像の表示中にユーザーの視線方向が動いたことを検出した場合に、この視線方向の移動が所定範囲内であれば、視線方向の移動を相殺する方向に、表示可能領域における入力補助画像の表示位置を変更することもできる。この場合、ユーザーの視線や頭の位置のゆらぎにより視線方向が移動した場合に、入力補助画像を安定して同じ位置に表示することで、ゆらぎの影響を感じさせず、より入力操作が容易になる。画像表示部２０がジャイロセンサー等を用いて姿勢を検出可能な場合に、検出した画像表示部２０の姿勢の変化に基づいて、上記のように入力補助画像の表示位置を移動させてもよい。

また、入力補助画像処理部１４６は、タッチパッド１４や十字キー１６の操作に応じて、入力補助画像の表示態様を変更してもよい。入力補助画像の表示態様は、距離検出部１４４が検出した仮想入力面までの距離に応じて入力補助画像処理部１４６が決定する。この入力補助画像を、ユーザーの意思により変更したい場合には、制御装置１０のタッチパッド１４や十字キー１６を操作することで、変更可能としてもよい。さらに、ユーザーがタッチパッド１４や十字キー１６または入力検出部１４２が検出する指示体の操作によって、仮想入力面までの距離を入力し、入力された距離に基づいて入力補助画像処理部１４６が入力補助画像の表示態様を決定・変更してもよい。

入力補助画像処理部１４６は、仮想入力ボード３０２、３０３の罫線の数を変更するだけでなく、入力補助画像としての仮想入力ボード３０２、３０３の表示サイズを、距離検出部１４４が検出した距離に応じて変更してもよい。
この場合、入力補助画像処理部１４６は、表示制御部１９０に出力する入力補助画像の画像データを変更することにより、マトリクス状に配置された複数の画素により画像を形成する右ＬＣＤ２４１および左ＬＣＤ２４２において、入力補助画像を構成する画素数を変更可能である。

入力補助画像処理部１４６は、カメラ６１が撮影した撮影画像データに基づいて指示体の種類を判別し、指示体の種類に対応して入力補助画像の表示態様を変更してもよい。例えば、指示体がユーザーの手指である場合には、入力補助画像として、罫線の間隔が広い仮想入力ボード３０２を表示し、指示体が棒状の操作デバイスである場合は仮想入力ボード３０３を表示してもよい。操作デバイスの先端はユーザーの手指より細い形状にすることが可能であるため、操作デバイスを用いる場合は細かい入力操作が可能となり、手指を用いる場合は罫線の間隔を広くすることで文字や図形の認識性を確保することができ、操作性の向上が期待できる。

入力補助画像の表示態様は、上記の例に限定されない。
図８は入力補助画像の別の表示例を示す説明図である。図８（Ａ）は入力操作中の指示位置を強調表示する例を示し、（Ｂ）は表示用の領域と入力補助画像とを並べて表示する例を示す。
図８（Ａ）の例では、図７（Ａ）と同様に表示可能領域の一部に仮想入力ボード３０２が表示され、仮想入力ボード３０２に並べて、検索文字列の入力ボックス３０５が表示され、仮想入力ボード３０２を用いて入力ボックス３０５への入力を行う状態である。この図８（Ａ）の例では、指示位置である手指Ｆの先端を含む指示領域３０２Ａが強調表示されている。例えば、仮想入力ボード３０２が暗色の背景で表示されている場合に、指示領域３０２Ａは背景色が無い、「透かし」の表示状態となっており、手指Ｆの先端がより視認しやすい状態とされている。この場合、入力補助画像処理部１４６は、入力検出部１４２が検出した指示位置を含む所定面積の範囲を指示領域３０２Ａに設定して、指示領域３０２Ａの表示状態を、仮想入力ボード３０２における他の部分とは異なる表示とする。指示領域３０２Ａは、図に示した透かし表示の他、仮想入力ボード３０２の背景色よりも外景を視認しやすい他の色としたり、指示領域３０２Ａの枠を視認しやすい高彩度の色としたりする方法も挙げられる。

上述した各表示例ではいずれも表示可能領域の中央に入力補助画像が表示されていたが、入力補助画像を表示可能領域の端に寄せて配置してもよく、他の画像とともに表示してもよい。
図８（Ｂ）の例では、アプリケーション画面３０７と、仮想入力ボード３０９とがともに表示されている。アプリケーション画面３０７は、制御部１４０が実行するアプリケーションプログラムの処理結果等を表示する画面である。例えば制御部１４０がウェブブラウザーを実行して検索エンジンへの入力を行う場合、アプリケーション画面３０７には検索キーワードを入力する入力ボックス３０８が配置され、その下方には検索結果が一覧表示される。この例ではアプリケーション画面３０７は外景に比べて視認性が高まるよう、明色の背景で表示される。
仮想入力ボード３０９は、アプリケーション画面３０７の表示を隠さないようにアプリケーション画面３０７の下方に並べて配置される。仮想入力ボード３０９は、アプリケーション画面３０７の横に並べて配置してもよいし、アプリケーション画面３０７の周囲に複数の仮想入力ボード３０９を配置してもよい。
仮想入力ボード３０９は、仮想入力ボード３０２（図８（Ａ））と同様に入力補助画像として表示され、外景の視認性を確保するように暗色の背景を有する。入力補助画像処理部１４６は、距離検出部１４４が検出した距離に応じて仮想入力ボード３０９の罫線の間隔や数を変化させることができる。これにより、ユーザーが外景を見ながら、ユーザーの手指や操作デバイス等による入力操作を容易に行うことができ、この入力操作の内容により実行されるアプリケーションプログラムの結果をアプリケーション画面３０７により視認できる。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置ＨＭによれば、外光に画像光Ｌを重ねて出力し、画像を視認させる表示駆動部および光学像表示部と、画像に入力補助画像を配置して表示駆動部および光学像表示部に表示させる入力補助画像処理部１４６と、入力補助画像に対応する位置指示操作を受け付ける入力検出部１４２と、を備え、入力補助画像処理部１４６は画像における入力補助画像の態様を変更可能である。この構成によれば、外光に重ねて出力される画像光Ｌにより画像を表示するため、ユーザーは画像光Ｌにより表示される入力補助画像とともに外景を見ることができ、この外景の任意の場所を見て操作を行うことができる。そして、表示される入力補助画像の態様を変更可能であるため、操作の状況に応じて入力補助画像の表示態様を変更し、快適な操作性を実現することができ、操作性の向上を図ることができる。
また、入力補助画像処理部１４６は、位置指示操作が行われる仮想入力面までの距離に応じて、入力補助画像の態様を変更可能であるため、ユーザーが操作を行う位置に対応した態様で入力補助画像を表示し、より快適な操作性を実現できる。

頭部装着型表示装置ＨＭは、仮想入力面までの距離を検出する距離検出部１４４を備え、入力補助画像処理部１４６は、距離検出部１４４により検出された距離に応じて、入力補助画像の態様を変更可能であるため、仮想入力面までの距離を入力または設定する操作を省略することができ、より一層の操作性の向上を図ることができる。

また、入力補助画像処理部１４６は、指示体の操作をガイドする仮想入力ボード３０２、３０３を含む入力補助画像を配置し、入力補助画像のサイズを変更可能であるため、ユーザーの操作の指標となる入力補助画像のサイズを変更することにより、文字入力等の細かい入力操作を容易に、正確に行うことが可能となる。
さらに、画像表示部２０の右ＬＣＤ２４１および左ＬＣＤ２４２は、マトリクス状に配置された複数の画素により画像を形成し、入力補助画像処理部１４６は、入力補助画像を構成する画素数を変更可能であるため、入力補助画像のサイズを変更した場合に、サイズの拡大に伴う解像度の低下や、サイズの縮小に伴う視認性の低下等を防止できる。

さらに、仮想入力ボード３０２、３０３、３０９等の入力補助画像は複数の補助線を含み、入力補助画像処理部１４６は、入力補助画像に含まれる補助線の間隔を変更可能であり、文字入力等の細かい入力操作をより容易に、正確に行うことが可能となる。
また、入力補助画像処理部１４６は、入力検出部１４２により受け付けた操作位置に対応する位置で入力補助画像の表示態様を変化させるので、検出した操作位置をユーザーに示すことができる。また、入力補助画像の表示態様を変えることで、この操作に続く操作を行い易くし、より一層の操作性の向上を図ることができる。

なお、上述した実施形態は本発明を適用した一例を示すものであって、本発明の構成および本発明の適用範囲は上記実施形態の構成に限定されない。例えば、入力補助画像としては、仮想入力ボード３０２、３０３、３０９に限定されず、ユーザーの入力操作の補助となる画像であればよく、罫線に限らず他の図形等により操作を案内するものであってもよい。
また、上記実施形態では、頭部装着型表示装置の一例として、ユーザーが眼鏡のように装着する画像表示部２０を備えた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、画像表示部２０に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等に組み込まれた画像表示部を備えた構成としてもよい。また、イヤホン３２、３４は耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、ユーザーの頭部に装着される構成とすることも可能である。さらに、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューターのディスプレイ、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器が有するディスプレイ等を用いてもよい。

また、上記実施形態では、例えば、画像光生成部が左右のバックライト２２１、２２２と、左右のバックライト制御部２０１、２０２と、左右のＬＣＤ２４１、２４２と、左右のＬＣＤ制御部２１１、２１２とを備えた構成として説明した。この実施形態の態様はあくまで一例であり、画像光生成部は、上記の構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）パネル等の自発光型のディスプレイと、その発光を制御する制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（登録商標）（Liquid crystal on silicon）や、デジタル・マイクロミラー・デバイス（ＤＭＤ）等を用いることもできる。この場合、画像生成部はＬＥＤ等の光源を備え、この光源が発する光をＬＣＯＳやＤＭＤにより変調して画像光を生成する。

また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源をユーザーの眼に導く光学系とを備え、レーザー光をユーザーの眼に入射させて網膜上を走査し、網膜に結像させることにより、ユーザーに画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

ヘッドマウントディスプレイにおいて画像生成部が生成した画像光をユーザーの眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともにユーザーの眼に入射させる構成を採用できる。また、ユーザーの眼の前方に位置してユーザーの視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、ユーザーの眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。
上記実施形態の頭部装着型表示装置ＨＭは、左右のバックライト２２１、２２２と、左右のバックライト制御部２０１、２０２と、左右のＬＣＤ２４１、２４２と、左右のＬＣＤ制御部２１１、２１２とを備える画像光生成部を用い、画像光生成部が生成した光を右導光板２６１及び左導光板２６２によりユーザーの眼に導く構成とした。
これに対し、ＭＥＭＳミラーを用いた走査光学系を採用してもよい。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像をユーザーが眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、虚像形成面は、面２６２Ａのようにハーフミラー面となっていてもよい。

また、画像光による画像を視認させる光学部材は、導光板２６１、２６２のように半透過の面を有する導光体による構成の他、ホログラム反射系の導光体を用いることもできる。この場合、画像光を発する光源として、干渉性の高いレーザーダイオードや有機ＥＬ素子を備えた構成が挙げられる。さらに、ユーザーの視界に位置する内部に導光する機能を持たない光学部材の面に、半透過反射膜やホログラム反射系を設け、この面により画像光をユーザーの眼に向けて反射する構成とすることも可能である。

また、例えば、指示体はユーザーの手指や操作デバイス等の他、ユーザーの指に装着されるデバイスを用い、このデバイスの位置を入力検出部１４２が検出する構成としてもよい。具体的には、ユーザーが指輪型の器具を指に装着し、頭部装着型表示装置ＨＭがカメラ６１により撮影を行って、指輪型の器具の位置と傾きを検出する構成としてもよい。この場合、カメラ６１の撮影画像データから、指輪型器具の画像を抽出し、指輪型器具の画像の形状（楕円か円か）やサイズに基づいて、指輪型の器具の位置と傾きを検出できる。また、ユーザーの手に手袋状の検出用デバイスを装着して、この検出用デバイスの位置や傾きなどを頭部装着型表示装置ＨＭが検出する構成としてもよい。
また、本発明の表示装置は、上述した頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。
さらに、制御部１４０が実行するプログラムを記憶部１２０に記憶する構成に限定されず、例えば上記プログラムを、コンピューター読み取り可能な可搬型の記録媒体や制御装置１０に外部接続される記憶装置、或いは、制御装置１０に有線または無線通信回線を介して接続される装置に記憶させ、必要に応じて制御装置１０がプログラムを読み込んで実行するようにしてもよい。その他の頭部装着型表示装置ＨＭの細部構成についても任意に変更可能であることは勿論である。

１０…制御装置、１４…タッチパッド、１６…十字キー、２０…画像表示部、２０Ａ…調光板、２２…右表示駆動部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ、１２０…記憶部、１２２…操作検出用データ、１２４…入力補助画像データ、１４０…制御部、１４２…入力検出部（入力手段）、１４４…距離検出部（距離検出手段）、１４６…入力補助画像処理部（表示制御手段）、１６０…画像処理部、１９０…表示制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板（光学部材）、２６２…左導光板（光学部材）、２６２Ａ…面、３０１…仮想キーボード、３０２、３０３、３０９…仮想入力ボード、３０２Ａ…指示領域、３０５、３０８…入力ボックス、３０６…入力内容表示部、３０７…アプリケーション画面、Ｍ…頭部装着型表示装置（表示装置）、Ｌ…画像光、ＯＬ…外光。

Claims (11)

1. 使用者に画像を視認させる頭部装着型の表示装置であり、
   外光に画像光を重ねて出力し、前記画像を視認させる表示手段と、
   前記画像に操作エリアを配置して前記表示手段により表示させる表示制御手段と、
   前記操作エリアに対応する位置指示操作を受け付ける入力手段と、
   カメラと、を備え、
   前記表示手段は、
   表示用画像データを用いて前記画像を表す前記画像光を生成し射出させる画像光生成部と、
   射出された前記画像光を前記使用者の眼に導く光学部材と、
   を含み、前記光学部材を透過した前記外光を前記画像光とともに前記使用者の眼に入射させ、
   前記表示制御手段は、前記位置指示操作をガイドする入力補助画像を含む前記操作エリアと、表示用の領域とを含む画像を前記表示手段により表示させ、
   前記表示制御手段は、前記画像における前記操作エリアの態様を変更可能であり、前記入力手段が受け付けた前記位置指示操作に応じて前記表示用の領域の表示を変更し、
   前記表示用の領域及び前記入力補助画像は、予め設定された背景色に重ねて表示され、前記表示用の領域の背景色は、前記入力補助画像の背景色よりも明色であり、
   前記表示制御手段は、前記カメラの撮像画像に基づき、前記使用者の視線方向を判定し、前記撮像画像に基づき前記使用者の視線方向の移動が検出された場合に、前記視線方向の移動が所定範囲内の移動であるか否かを判定し、前記所定範囲内の移動である場合に、検出された前記視線方向の移動を相殺する方向に、前記入力補助画像の表示位置を変更することを特徴とする表示装置。
2. 請求項１記載の表示装置であって、
   前記表示制御手段は、前記位置指示操作が行われる仮想入力面までの距離に応じて、前記操作エリアの態様を変更することを特徴とする表示装置。
3. 請求項２記載の表示装置であって、
   前記仮想入力面までの距離を検出する距離検出手段を備え、
   前記表示制御手段は、前記距離検出手段により検出された距離に応じて、前記操作エリアの態様を変更することを特徴とする表示装置。
4. 請求項３記載の表示装置であって、
   前記距離検出手段は、前記外光により視認される面を前記仮想入力面として検出し、この面までの距離を検出することを特徴とする表示装置。
5. 請求項１ないし４のいずれか一項記載の表示装置であって、
   前記表示制御手段は、前記入力補助画像のサイズ、表示色、表示領域の少なくともいずれかを変更することを特徴とする表示装置。
6. 請求項１ないし５のいずれか一項記載の表示装置であって、
   前記表示手段は、マトリクス状に配置された複数の画素により前記画像を形成し、
   前記表示制御手段は、前記入力補助画像のサイズを変更する場合、前記入力補助画像を構成する画素数を変更することを特徴とする表示装置。
7. 請求項６記載の表示装置であって、
   前記表示制御手段は、前記入力補助画像として複数の補助線を含む画像を前記表示手段により表示させ、前記補助線の間隔を変更することを特徴とする表示装置。
8. 請求項１ないし７のいずれか一項記載の表示装置であって、
   前記表示制御手段は、前記入力補助画像として、前記位置指示操作により文字入力を行うための仮想キーボードの画像を前記表示手段により表示させ、前記仮想キーボードの表示サイズ、表示色、表示領域の少なくともいずれかを変更することを特徴とする表示装置。
9. 請求項１ないし８のいずれか一項記載の表示装置であって、
   少なくとも指示体の形状を示すデータを記憶する記憶部を備え、
   前記入力手段は、前記カメラの撮像画像と、前記記憶部の記憶する前記データとに基づき、前記指示体と、前記指示体の種類とを検出して、前記位置指示操作を受け付け、
   前記表示制御手段は、前記入力手段により受け付けた前記位置指示操作に対応する位置で前記操作エリアの表示態様を変化させ、前記位置指示操作において検出された前記指示体の種類に対応して前記入力補助画像の表示態様を変更することを特徴とする表示装置。
10. 請求項１ないし９のいずれか一項に記載の表示装置であって、
    アプリケーションプログラムを実行する処理部を備え、
    前記処理部は、操作エリアに対応する前記位置指示操作が前記入力手段により受け付けられると、前記位置指示操作に応じて前記アプリケーションプログラムを実行し、実行される前記アプリケーションプログラムの結果を前記表示用の領域に表示させることを特徴とする表示装置。
11. 外光に画像光を重ねて出力し、画像を視認させる表示手段と、前記画像に操作エリアを配置して前記表示手段に表示させる表示制御手段と、前記操作エリアに対応する位置指示操作を受け付ける入力手段と、カメラとを備え、前記表示制御手段は、前記画像における前記操作エリアの態様を変更可能であり、前記表示手段は、表示用画像データを用いて前記画像を表す前記画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く光学部材と、を備える頭部装着型の表示装置の制御方法であって、
    前記位置指示操作をガイドする入力補助画像を含む前記操作エリアと、表示用の領域とを含む画像を前記表示手段により表示させ、
    前記操作エリアに対応する位置における前記位置指示操作を前記入力手段により受け付け、
    受け付けた前記位置指示操作に応じて前記表示用の領域の表示を変更し、
    前記表示用の領域及び前記入力補助画像は、予め設定された背景色に重ねて表示され、前記表示用の領域の背景色は、前記入力補助画像の背景色よりも明色であり、
    前記カメラの撮像画像に基づき、前記使用者の視線方向を判定し、前記撮像画像に基づき前記使用者の視線方向の移動が検出された場合に、前記視線方向の移動が所定範囲内の移動であるか否かを判定し、前記所定範囲内の移動である場合に、検出された前記視線方向の移動を相殺する方向に、前記入力補助画像の表示位置を変更することを特徴とする表示装置の制御方法。

Images