JP6550734B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、表示装置に表示している画像を見ている使用者の眼の網膜の状態を検出し、検出した網膜の状態に基づいて使用者が表示画像の内の見ている領域を特定し、使用者が見ている領域以外の領域をぼやかす技術が開示されている。特許文献２には、左眼用の表示画像と右眼用と表示画像とを異ならせることで２次元画像を使用者に立体的に視認させる画像処理装置において、立体的な画像を視認させているときの使用者の輻輳角と、立体的な画像とは異なる２次元の画像の表示面を視認したときの使用者の輻輳角と、の差である視差角が一定以上にならないように制御する技術が開示されている。また、特許文献３には、右眼用の表示画像と左眼用の表示画像を表示できる表示装置において、使用者が視認している表示画像の輻輳角に合わせた輻輳角を形成するように字幕等の文字画像を表示させる技術が開示されている。

特開２００６−１９５０８４号公報 特開２０１１−２０５１９５号公報 特開２０１２−１３９４０号公報

特許文献２に記載されているように、使用者の輻輳角を大きく変化させると、使用者に疲労感を感じさせてしまうという課題があった。しかし、特許文献１から特許文献３に記載された技術では、表示画像を視認する使用者が視線方向等の変更に伴う表示画像の表示態様については考慮されておらず、立体的に表示画像を使用者に視認させる方法について改善の余地があった。そのほか、従来の表示装置の技術分野においては、その小型化や、製造の容易化、使い勝手の向上等が望まれていた。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
［形態１］
透過型の頭部装着型表示装置であって、
外景における特定の地点までの距離を測定する距離測定部と、
前記外景を透過可能であり、画像を表示する画像表示部と、
測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像として設定する画像設定部と、を備え、
前記距離測定部は、前記外景を撮像する外景撮像部を有し、
前記画像設定部は、
前記外景撮像部が撮像した撮像画像の中心までの距離の変化が所定の値未満の場合に、前記画像表示部に画像を立体的に表示させる距離を変更することなく、
測定された距離の変化が前記所定の値以上変化した場合に、変化するまでの時間が第１の閾値以上だった場合において、
前記測定された距離の変化が前記所定の値以上変化してから第２の閾値以上の時間が経過していない場合には、前記画像表示部に立体的に表示させる画像の距離を、変化前に測定された距離に固定し、
前記測定された距離の変化が前記所定の値以上変化してから前記第２の閾値以上の時間が経過した場合には、前記画像表示部に立体的に表示させる画像の距離を、変化後の測定された距離に設定する、頭部装着型表示装置。
この形態の頭部装着型表示装置によれば、使用者が視認している外景の中の特定の位置まで距離が変化しても、瞬時に、変化後の距離に応じて画像が立体的に表示されることがなく、使用者が視線を変化させた場合の使用者の疲労感を抑制できる。また、使用者の視線の変化前後で使用者が視認する立体的な画像の変化の違和感を軽減できる。また形態の頭部装着型表示装置によれば、使用者が視認している外景の中の特定の位置までの距離の変化量が少ない場合には、立体的な画像を表示する使用者からの距離を変化させないため、立体的な画像が細かく変化することで生じる画像のちらつき等を軽減できる。またこの形態の頭部装着型表示装置によれば、第１の閾値以上の時間、使用者が瞬間的に見ている位置を変えた場合などに、追従して立体的に表示される画像の位置までの距離が変更されないため、使用者の疲労感や違和感を軽減できる。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は；外景における特定の地点までの距離を測定する距離測定部と；前記外景を透過可能であり、画像を表示する画像表示部と；測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像として設定する画像設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者が視認している外景の中の特定の位置まで距離が変化しても、瞬時に、変化後の距離に応じて画像が立体的に表示されることがなく、使用者が視線を変化させた場合の使用者の疲労感を抑制できる。また、使用者の視線の変化前後で使用者が視認する立体的な画像の変化の違和感を軽減できる。

（２）上記形態の頭部装着型表示装置において、前記距離測定部は、前記外景を撮像する外景撮像部を有し、撮像した撮像画像の中心を前記特定の地点として設定してもよい。この形態の頭部装着型表示装置によれば、使用者の眼球の状態等の複雑なデータ処理を行なわなくても、使用者の視認している特定の位置が簡便に推定できる。

（３）上記形態の頭部装着型表示装置において、前記画像設定部は、前記撮像画像の中心までの距離の変化が所定の距離未満の場合に、前記画像表示部に画像を立体的に表示させる距離を変更しなくてもよい。この形態の頭部装着型表示装置によれば、使用者が視認している外景の中の特定の位置までの距離の変化量が少ない場合には、立体的な画像を表示する使用者からの距離を変化させないため、立体的な画像が細かく変化することで生じる画像のちらつき等を軽減できる。

（４）上記形態の頭部装着型表示装置において、前記画像設定部は、測定された距離が前記所定の距離以上変化した場合に、変化するまでの時間が第１の閾値以上だった場合には、前記画像表示部に立体的に表示させる画像の距離を、変化前に測定された距離に固定し、測定された距離が前記所定の距離以上変化してから第２の閾値以上の時間が経過した場合には、前記画像表示部に立体的に表示させる画像の距離を、変化後の測定された距離に設定してもよい。この形態の頭部装着型表示装置によれば、第１の閾値以上の時間、使用者が瞬間的に見ている位置を変えた場合などに、追従して立体的に表示される画像の位置までの距離が変更されないため、使用者の疲労感や違和感を軽減できる。

（５）上記形態の頭部装着型表示装置において、前記距離測定部は、前記外景の撮像画像の中から特定の対象の画像を抽出し、抽出した前記特定の対象までの距離を前記特定の地点までの距離として特定し；前記画像設定部は、抽出された前記特定の対象の画像に応じて、前記画像表示部に立体的に表示させる画像を設定してもよい。この形態の頭部装着型表示装置によれば、撮像画像における特定の対象の移動に応じて、画像表示部に立体的に表示させる画像が設定されるため、特定の対象と表示画像とをより強く対応付けて使用者に認識させることができ、使用者の利便性が向上する。

（６）上記形態の頭部装着型表示装置において、前記距離測定部は、使用者の眼を撮像する眼撮像部を有し、撮像した眼の撮像画像に基づいて、前記特定の地点までの距離を測定してもよい。この形態の頭部装着型表示装置によれば、特定の地点までの距離に加えて、使用者の視線方向も特定されるため、画像を立体的に表示させる位置などの自由度が広がり、使用者の使い勝手が向上する。

（７）上記形態の頭部装着型表示装置において、前記画像設定部は、前記画像表示部に立体的に表示させる画像の距離を変化させる場合に、単位時間当たりの距離の変化の速さを単調増加となるように設定してもよい。この形態の頭部装着型表示装置によれば、表示される位置までの距離が変化する立体的な画像を視認する使用者の疲労感や違和感をより軽減できる。

（８）上記形態の頭部装着型表示装置において、前記画像設定部は、前記画像表示部に立体的に表示させる画像に対して、右眼用画像と前記右眼用画像と異なる左眼用画像とに輻輳角を設定することで、前記画像表示部に表示させる画像を測定された距離の位置に立体的に表示させてもよい。この形態の頭部装着型表示装置によれば、所定の輻輳角を形成するように右光学像表示部２６，２８に表示される画像のそれぞれの画素の位置を変えることで、簡便に画像を使用者に立体的に視認させることができる。

（９）上記形態の頭部装着型表示装置において、前記画像設定部は、測定された距離が変化した場合の前記輻輳角が所定の角度以上の場合に、前記画像表示部に立体的に表示させる画像の距離を変更してもよい。この形態の頭部装着型表示装置によれば、使用者が視認している外景の中の特定の位置までの距離の変化量が少ない場合には、立体的な画像を表示する使用者からの距離を変化させないため、立体的な画像が細かく変化することで生じる画像のちらつき等を軽減できる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、距離測定部と、画像表示部と、画像設定部と、３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、距離測定部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、画像設定部を有していてもよく、有していなくてもよい。距離測定部は、例えば、外景における特定の地点までの距離を測定してもよい。画像表示部は、例えば、前記外景を透過可能であり、画像を表示してもよい。表示設定部は、例えば、測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像まで変更させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 変化前の輻輳角から変化後の輻輳角に変化するまでの時間と輻輳角との関係を示す説明図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 関連対象に対応付けて３Ｄ画像を表示する表示画像設定処理のフローチャートである。 関連対象に対応付けて３Ｄ画像を表示する表示画像設定処理のフローチャートである。 関連対象に対応付けられた３Ｄ画像が表示されたときに使用者が視認する視野を示す説明図である。 関連対象に対応付けられた３Ｄ画像が変化した後に使用者が視認する視野を示す説明図である。 変形例におけるＨＭＤの構成を機能的に示すブロック図である。 変形例における変化前の輻輳角から変化後の輻輳角に変化するまでの時間と輻輳角との関係を示す説明図である。 変形例における変化前の輻輳角から変化後の輻輳角に変化するまでの時間と輻輳角との関係を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、右光学像表示部２６の端部ＥＲと、左光学像表示部２８のＥＬと、のそれぞれに配置されたステレオカメラである。詳細は後述するが、それぞれのカメラ６１によって撮像された２つの撮像画像に基づいて、画像表示部２０から撮像画像の中に含まれる対象物までの距離が測定される。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、距離特定部１６８、および、画像設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

距離特定部１６８は、ステレオカメラであるカメラ６１によって、異なる位置から同時に撮像された２つの撮像画像に基づいて、画像表示部２０から撮像画像に写っている対象までの距離を特定する。カメラ６１が画像表示部２０に取り付けられている位置と、カメラ６１の画角とは、予め設定されている。そのため、距離特定部１６８は、撮像された２つの画像に含まれる対象について、パターンマッチングや統計的識別法を用いて認識し、認識した対象までの距離を三角法によって算出する。本実施形態では、距離特定部１６８は、撮像画像の中心に撮像されている対象までの距離を特定する。なお、本実施形態における距離特定部１６８は、請求項における距離測定部に相当し、カメラ６１は、請求項における外景撮像部に相当する。また、撮像画像の中心に撮像された対象は、請求項における特定の地点に相当する。

画像設定部１６５は、測定された撮像画像の中心に、使用者に立体的な画像を視認させるように画像表示部２０に表示させる制御する。画像設定部１６５は、測定された撮像画像の中心までの距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離から変化後に測定された距離に、使用者に立体的な画像を視認させるように画像表示部２０を制御する。具体的には、画像設定部１６５は、以降に記載する処理を行なう。なお、使用者に立体的に認識させる画像としては、本実施形態で後述するように、使用者の右眼ＲＥに視認させる画像と、使用者の左眼ＬＥに視認させる画像と、を異ならせることで、輻輳角を形成する画像がある。その他の画像として、表示画像の輝きの反射を変化させた画像、複数の物体の重なりを表現した画像、複数の物体間の大小関係を表現した画像、物体の影を加えた画像、鏡面反射を表現した画像など、種々の画像が本発明に適用できる。

画像設定部１６５は、画像表示部２０に送信する画像信号の内、画像表示部２０に立体的に表示させる三次元画像（３Ｄ画像）の表示位置を設定する信号を画像表示部２０に送信する。画像設定部１６５は、３Ｄ表示する画像について、右表示駆動部２２に送信する右眼用画像データと、左表示駆動部２４に送信する左眼用画像データと、が輻輳角を形成するような異なるデータとして送信することで、使用者に３Ｄ画像として認識させる。画像設定部１６５は、コンテンツに含まれる３Ｄ画像が撮像画像の中から検出された特定の対象である関連対象に対応付けられている場合に、特定された画像表示部２０から関連対象までの距離に３Ｄ画像を、輻輳角を形成することで立体的に表示させる。画像設定部１６５は、右ＬＣＤ２４１および左ＬＣＤ２４２の画素に入力する３Ｄ画像のＲＧＢデータを動かすことで、輻輳角を形成して立体的な３Ｄ画像を使用者に視認させる。

画像表示部２０を頭部に装着している使用者の位置や向きが変わることでカメラ６１の撮像画像が変化し、撮像画像の中心に撮像されている対象が変化する場合がある。その場合に、画像設定部１６５は、変化後の撮像画像の中心に撮像されている関連対象に対応付けられている３Ｄ画像がある場合には、関連対象までの距離に応じて画像表示部２０に当該３Ｄ画像を表示させる。本実施形態では、撮像画像が変化した場合に、画像設定部１６５は、変化前後における撮像画像の中心までの距離が所定の閾値である１０％以上変化した場合に、変化後の関連対象までの距離に応じて形成する輻輳角を変化させる。具体的には、例えば、画像設定部１６５は、変化前の関連対象までの距離が１０メートル（ｍ）だった場合に、変化後の関連対象までの距離が９ｍ未満または１１ｍ以上のときに、変化後の関連対象までの距離に応じて３Ｄ画像を画像表示部２０に表示させる。画像設定部１６５は、変化後の関連対象までの距離が９ｍ以上１１ｍ未満の場合には、変化前の関連対象までの距離に、変化後の関連対象に対応付けられた３Ｄ画像を画像表示部２０に表示させる。換言すると、画像設定部１６５は、変化前後の関連対象までの距離を輻輳角として算出した場合に、算出した輻輳角の変化量が所定量以上のときには、変化前の輻輳角から変化後の輻輳角に変化させて３Ｄ画像を画像表示部２０に表示させる。逆に、画像設定部１６５は、算出した輻輳角の変化量が所定量未満のときには、変化前の輻輳角のままで３Ｄ画像を画像表示部２０に表示させる。なお、撮像画像の中心の変化とは、微小時間Δｔの間における変化であり、微小時間Δｔについては、人間の視線の変化に対応して、適時設定される。例えば、微小時間Δｔは、０．１秒であってもよいし、それ以外の長さであってもよい。

撮像画像が変化する場合としては、具体的に、変化前後で以下の態様が挙げられる。
（１）撮像画像の中心までの距離が閾値未満の変化であり、関連対象が変わらない場合
（２）撮像画像の中心までの距離が閾値未満の変化であり、関連対象が変わる場合
（３）撮像画像の中心までの距離が閾値以上の変化であり、関連対象が変わらない場合
（４）撮像画像の中心までの距離が閾値以上の変化であり、関連対象が変わる場合
なお、撮像画像が変化する場合については、上述した４通りに場合に限られず、種々変形可能である。例えば、（２）および（４）の場合において、変化前の関連対象が変化後の撮像画像の中の中心以外に検出されている場合に、画像設定部１６５は、変化前の関連対象に対応付けられている３Ｄ画像を、距離特定部１６８によって測定された変化後の距離に合わせて画像表示部２０に表示させてもよいし、表示させなくてもよい。

（１）の場合に、画像設定部１６５は、変化後に関連対象が移動していたときには、移動後の関連対象に応じて３Ｄ画像を画像表示部２０に表示させる。なお、画像設定部１６５は、変化前後の距離が閾値未満であるため、輻輳角を変化させない。（２）の場合に、画像設定部１６５は、変化後の関連対象に対応付けられた３Ｄ画像を新たに画像表示部２０に表示させる。

（３）、（４）のように変化前後で撮像画像の中心までの距離が閾値以上に変化する場合に、変化前後で経過した時間が時間ｔ１のとき、画像設定部１６５は、時間ｔ１よりも長い時間ｔ２をかけて、変化前に形成された輻輳角から変化後に形成される輻輳角に変化させる。図３は、変化前の輻輳角θ１から変化後の輻輳角θ２に変化するまでの時間と輻輳角との関係を示す説明図である。図３には、変化前の輻輳角θ１が変化後の輻輳角θ２よりも小さい場合において、時間の経過に伴い、変化前の輻輳角θ１から変化後の輻輳角θ２へと変化する曲線Ｃ１が示されている。なお、変化前の輻輳角θ１が変化後の輻輳角θ２よりも小さい場合とは、換言すると、変化後の撮像画像の中心に位置する関連対象は、変化前と比べて近い距離に存在する。本実施形態では、画像設定部１６５は、時間の経過に伴い、変化前の輻輳角θ１から変化後の輻輳角θ２までの輻輳角が単調に増加するように制御する。また、画像設定部１６５は、曲線Ｃ１に示すように、単位時間当たりの輻輳角の変化量が徐々に大きくなるように制御する。なお、本実施形態では、図３に示す例と逆の変化後の輻輳角θ２から変化前の輻輳角θ１へと変化する場合、画像設定部１６５は、時間の経過に伴い、単位時間当たりの輻輳角の変化量が徐々に大きくなるような時間と輻輳角との関係が単調減少の曲線となるように制御する。なお、画像設定部１６５が時間ｔ１よりも長い時間ｔ２をかけて変化前に形成された輻輳角から変化後に形成された輻輳角に変化させる画像は、変化前の画像の一部であってもよい。例えば、画像設定部１６５は、画像に含まれる物体の輪郭のみを変化させてもよいし、画像の色のみを変化させてもよい。また、立体的に表示させる画像が、例えば、表示画像の輝きの反射を変化させた画像である場合には、反射の変化のみを画像として変化させてもよい。

（３）の場合に、画像設定部１６５は、変化前後で経過した時間ｔ１よりも長い時間ｔ２の間に、変化前および変化後の関連対象に対応付けられた３Ｄ画像の輻輳角を徐々に変化させ、時間ｔ２の経過後に、変化後の関連対象の距離に対応する輻輳角に合わせた３Ｄ画像を画像表示部２０に表示させる。（４）の場合に、画像設定部１６５は、変化前の撮像画像から変化後の撮像画像までに経過した時間ｔ１よりも長い時間ｔ２が経過した後に、変化後の関連対象に対応付けられた３Ｄ画像を画像表示部２０に表示させる。そのため、（４）の場合には、画像設定部１６５は、撮像画像が変化した瞬間には、画像表示部２０に変化後の関連対象に対応付けられた３Ｄ画像を新たに表示させていない。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図４は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．表示画像設定処理：
図５および図６は、関連対象に対応付けて３Ｄ画像を表示する表示画像設定処理のフローチャートである。表示画像設定処理は、ＣＰＵ１４０が撮像画像の中心に位置する関連対象までの距離に合わせて輻輳角を形成して３Ｄ画像を使用者に立体的に認識させる処理である。表示画像処理では、操作部１３５が操作を受け付けることで、カメラ６１が外景の撮像を開始する（ステップＳ１１）。距離特定部１６８は、画像表示部２０から、ステレオカメラであるカメラ６１が撮像した２つの異なる撮像画像の中心に位置する対象までの距離を特定する（ステップＳ１３）。画像設定部１６５は、特定された撮像画像の中心に写る対象にパターンマッチングを行なうことで対象を特定し、特定した対象がコンテンツ等に含まれる３Ｄ画像に対応付けられた関連対象であるか否かを判定する（ステップＳ１５）。関連対象でないと判定された場合には（ステップＳ１５：ＮＯ）、ＣＰＵ１４０は、ステップＳ１１以降の処理を繰り返す。

ステップＳ１５の処理において、画像設定部１６５は、撮像画像の中心に写る対象が関連対象であると判定した場合には（ステップＳ１５：ＹＥＳ）、輻輳角を形成するように右目画像用データと左目画像用データとを設定することで、関連対象に対応付けられた３Ｄ画像を関連対象と同じ距離に立体的に画像表示部２０に表示させる（ステップＳ１７）。

図７は、関連対象に対応付けられた３Ｄ画像が表示されたときに使用者が視認する視野ＶＲを示す説明図である。図７に示すように、視野ＶＲには、光学像表示部２６，２８を透過する外景ＳＣと、３Ｄ画像ＡＲ１としてのうろこ取りの画像と、が含まれている。外景ＳＣには、まな板ＢＣと、板ＢＣの上に置かれた関連対象である魚ＦＳと、が含まれている。３Ｄ画像ＡＲ１は、外景ＳＣの魚ＦＳに対応付けられた画像である。なお、本実施形態では、予め、カメラ６１の画角が画像表示部２０を装着した使用者の視野に対応するように設定されている。図７には、便宜上、画像表示部２０が画像を表示できる最大領域である画像表示最大領域ＰＮの外枠が破線で示されており、撮像画像の中心がポインタＯＯで示されている。画像表示最大領域ＰＮおよびポインタＯＯは、表示されていないため、使用者には視認されない。

図５のステップＳ１７の処理において、画像表示部２０の画像表示最大領域ＰＮ内に３Ｄ画像である３Ｄ画像ＡＲ１が表示されると、操作部１３５は、表示画像設定処理を終了する操作の受付を監視する（ステップＳ１９）。表示画像設定処理を終了する操作が受け付けられた場合には（ステップＳ１９：ＹＥＳ）、ＣＰＵ１４０は、表示画像設定処理を終了する。

ステップＳ１９の処理において、表示画像設定処理を終了する操作が受け付けられなかった場合には（ステップＳ１９：ＮＯ）、画像設定部１６５は、距離特定部１６８によって特定された画像表示部２０から撮像画像の中心に対象までの距離が閾値以上に変化したか否かを判定する（ステップＳ２１）。画像設定部１６５は、画像表示部２０から撮像画像の中心までの距離の変化が閾値未満であると判定した場合には（ステップＳ２１：ＮＯ）、カメラ６１の撮像画像の中心に写っている関連対象が同じであるか否かを判定する（ステップＳ２３）。画像設定部１６５は、関連対象が同じであると判定した場合には（ステップＳ２３：ＹＥＳ）、引き続き、関連対象である魚ＦＳに対応付けられた３Ｄ画像ＡＲ１を画像表示最大領域ＰＮ内に表示させる（ステップＳ１７）。ステップＳ２３の処理において、画像設定部１６５は、関連対象が同じではないと判定した場合には（ステップＳ２３：ＮＯ）、カメラ６１の撮像画像の中心に位置する対象が３Ｄ画像に対応付けられた関連対象であるか否かを判定する（ステップＳ１５）。

ステップＳ２１の処理において、画像設定部１６５は、画像表示部２０から撮像画像の中心までの距離の変化が閾値以上であると判定した場合には（ステップＳ２１：ＹＥＳ）、変化後の撮像画像の中心に写っている対象が変化前の関連対象と同じであるか否かを判定する（ステップＳ２５）。画像設定部１６５は、変化前後で撮像画像の中心に写っている対象が同じ関連対象が同じであると判定した場合（ステップＳ２５：ＹＥＳ）、変化後の画像表示部２０から関連対象までの距離に合わせるための輻輳角の角度を算出し、距離の変化後に合わせた輻輳角に変化させるまでの変化時間とおよび単位時間当たりの変化速度を設定する（ステップＳ２７）。画像設定部１６５は、設定した変化時間および変化速度に基づいて、関連対象の魚ＦＳに対応付けられた３Ｄ画像ＡＲ１を画像表示部２０内において徐々に変化させながら表示させる（ステップＳ２９）。

図８は、関連対象に対応付けられた３Ｄ画像が変化した後に使用者が視認する視野ＶＲを示す説明図である。図８には、図７と同じように外景ＳＣと３Ｄ画像ＡＲ２とが示されている。図８では、図７と比較して、画像表示部２０と関連対象である魚ＦＳとの距離が近くなっている。図８に示すように、撮像画像のポインタＯＯには、関連対象である魚ＦＳが撮像されている。そのため、画像設定部１６５は、魚ＦＳに対応付けられている３Ｄ画像ＡＲ２を画像表示最大領域ＰＮ内に表示させる。なお、３Ｄ画像ＡＲ２は、撮像された魚ＦＳの大きさと比例して表示するように設定されているため、図７の３Ｄ画像ＡＲ１よりも大きく表示されている。画像設定部１６５は、図７の３Ｄ画像ＡＲ１から図８の３Ｄ画像ＡＲ１までの時間的な変化として、図３に示したように、徐々に輻輳角を大きくしながら画像表示最大領域ＰＮ内に表示させる。

図５のステップＳ２５の処理において、画像設定部１６５は、変化前後で撮像画像の中心に写っている対象が同じ関連対象ではないと判定した場合（ステップＳ２５：ＮＯ）、撮像画像の中心に写っている対象が関連対象であるか否かを判定する（ステップＳ３１）。撮像画像の中心に写っている対象が何らかの３Ｄ画像に対応付けられた関連対象ではないと判定された場合（ステップＳ２５：ＮＯ）、ＣＰＵ１４０は、図５のステップＳ１１以降の処理を繰り返す。

図６のステップＳ２５の処理において、画像設定部１６５は、撮像画像の中心に写っている対象が何らかの関連対象であると判定した場合には（ステップＳ２５：ＹＥＳ）、新たな関連対象に対応付けられた３Ｄ画像を画像表示最大領域ＰＮ内に表示させるまでの時間ｔ２を算出する（ステップＳ３１）。この場合に、画像設定部１６５は、変化前の関連対象である魚ＦＳに対応付けられた３Ｄ画像ＡＲ１を画像表示最大領域ＰＮ内から非表示にさせる。なお、他の実施形態では、画像設定部１６５は、撮像画像の中に魚ＦＳが検出され続けている場合には、３Ｄ画像ＡＲ１を検出された魚ＦＳの位置に応じて画像表示最大領域ＰＮ内に表示させてもよい。

画像設定部１６５は、新たな関連対象に対応付けられた３Ｄ画像を画像表示最大領域ＰＮ内に表示させるまでの時間ｔ２が経過すると、画像表示最大領域ＰＮ内に当該３Ｄ画像を表示させる（ステップＳ３３）。その後、ＣＰＵ１４０は、図５のステップＳ１９以降の処理を繰り返す。

以上説明したように、本実施形態のＨＭＤ１００では、距離特定部１６８がカメラ６１によって撮像された撮像画像に基づいて関連対象までの距離を特定し、画像設定部１６５は、特定された距離に使用者が立体的に３Ｄ画像を視認するように輻輳角を形成する。画像設定部１６５は、特定された距離が変化した場合に、距離が変化するのに要した時間ｔ１よりも長い時間ｔ１をかけて輻輳角を変化前の輻輳角θ１から変化後の輻輳角θ２へと変化させる。そのため、本実施形態のＨＭＤ１００では、使用者が視認している外景ＳＣの中の対象まで距離が変化しても、瞬時に、変化後の距離に応じて３Ｄ画像が表示されることがなく、使用者が視線を変化させた場合の使用者の疲労感を抑制できる。また、使用者の視線の変化前後で使用者が視認する３Ｄ画像の変化の違和感を軽減できる。

また、本実施形態のＨＭＤ１００では、カメラ６１が撮像した撮像画像の中心に写る対象を使用者が視認している外景ＳＣの外景として特定するため、使用者の眼球の状態を検出しなくても、使用者の視認している位置が簡便に推定できる。

また、本実施形態のＨＭＤ１００では、特定された関連対象までの距離が変化した場合に、変化前後での画像表示部２０と関連対象との距離の変化が閾値未満のときには、画像設定部１６５は、関連対象に対応付けられた３Ｄ画像を立体的に表示させる距離を変化させない。換言すると、画像設定部１６５は、特定された関連対象までの距離が所定量以上変化した場合に、３Ｄ画像の輻輳角を変化させて３Ｄ画像を画像表示部２０に立体的に表示させる。そのため、本実施形態のＨＭＤ１００では、使用者が視認している外景ＳＣの中の対象までの距離の変化量が少ない場合には、３Ｄ画像を表示する使用者からの距離を変化させないため、３Ｄ画像が細かく変化することで生じる画像のちらつき等を軽減できる。

また、本実施形態のＨＭＤ１００では、図３に示すように、特定された関連対象までの距離が変化した場合に、画像設定部１６５は、３Ｄ画像を表示するときに形成される輻輳角を、変化前の輻輳角θ１から変化後の輻輳角θ２へと変化させる場合の単位時間当たりの輻輳角の変化量が徐々に大きくなるように制御する。そのため、本実施形態のＨＭＤ１００では、輻輳角が変化する３Ｄ画像を視認する使用者の疲労感や違和感をより軽減できる。

また、本実施形態のＨＭＤ１００では、画像設定部１６５は、右眼画像用データと左目画像用データとを輻輳角を形成するように画像表示部２０に表示させることで、関連対象までの距離に３Ｄ画像が立体的に使用者に視認されるように表示させる。そのため、本実施形態のＨＭＤ１００では、所定の輻輳角を形成するように右光学像表示部２６，２８に表示される３Ｄ画像の画素の位置を変えることで、簡便に３Ｄ画像を使用者に立体的に視認させることができる。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ−１．変形例１：
図９は、変形例におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。この変形例では、外景ＳＣにおける特定の位置に存在する対象までの距離の測定方法が上記実施形態と異なり、他の構成については、上記実施形態と同じである。図９に示すように、変形例の画像表示部２０ａには、右眼撮像カメラ６７と、左眼撮像カメラ６９と、が備えられている。右眼撮像カメラ６７は、画像表示部２０を装着した使用者の右眼ＲＥを撮像し、左眼撮像カメラ６９は、使用者の左眼ＬＥを撮像する。距離特定部１６８ａは、上記実施形態と異なり、右眼撮像カメラ６７と左眼撮像カメラ６９とのそれぞれが撮像した使用者の右眼ＲＥと左眼ＬＥとの画像に基づいて、使用者が視認している位置を特定し、当該位置までの距離を特定する。距離特定部１６８ａは、使用者の右眼ＲＥおよび左眼ＬＥの撮像画像に対してパターンマッチング等を行なうことで、使用者の視線方向を特定する。距離特定部１６８ａは、特定した視線方向に基づいて、使用者が見ている位置を特定して、当該位置までの距離を特定する。画像設定部１６５ａは、距離特定部１６８ａによって特定されたカメラ６１の撮像画像に写っている対象に対応付けられた３Ｄ画像を画像表示部２０ａに表示させる。そのため、画像設定部１６５ａは、上記実施形態と異なり、使用者の視線方向に基づいて３Ｄ画像を画像表示部２０ａに表示させるため、画像表示最大領域ＰＮの中のポインタＯＯの位置以外にも３Ｄ画像を表示させることができる。なお、この変形例では、カメラ６１の撮像画像によって関連対象までの距離が特定されないため、カメラ６１は、ステレオカメラでなくてもよい。この変形例のＨＭＤ１００ａでは、右眼撮像カメラ６７と左眼撮像カメラ６９とによって関連対象までの距離に加えて、使用者の視線方向も特定されるため、３Ｄ画像を表示させる位置などの自由度が広がり、使用者の使い勝手が向上する。右眼撮像カメラ６７および左眼撮像カメラ６９は、請求項における眼撮像部に相当する。

Ｂ−２．変形例２：
上記実施形態では、特定された関連対象までの距離と閾値との比較によって、特定された関連対象までの距離が変化した場合に、３Ｄ画像の輻輳角を変化させるか否かが判定されたが、３Ｄ画像の輻輳角の設定については、種々変形可能である。例えば、画像設定部１６５は、特定された関連対象までの距離を使用者が視認し続けたと推定される時間との関係に対応させて、３Ｄ画像の輻輳角を設定してもよい。具体的には、画像設定部１６５は、特定された関連対象までの距離が閾値以上変化した場合に、変化前の距離の状態で第１の閾値の時間以上経過しているときには、直ちに変化後の距離に対応する輻輳角に変更しない。画像設定部１６５は、変化後の距離の状態で第２の閾値の時間以上経過した場合に、変化後の距離に対応する輻輳角に変更する。この変形例では、第１の閾値以上の時間、使用者がほぼ一定の距離を見ていて、一瞬よそ見をしたときなどに、よそ見に追従して３Ｄ画像の輻輳角が変更されないため、使用者の疲労感や違和感を軽減できる。

Ｂ−３．変形例３：
上記実施形態では、カメラ６１の撮像画像の中心であるポインタＯＯに位置する対象までの距離が特定されたが、必ずしもカメラ６１の撮像画像の中心の対象までの距離に基づいて、３Ｄ画像の輻輳角が設定される必要はない。例えば、工場などにおいて、画像表示部２０と特定の危険物との位置関係が固定されている場合には、カメラ６１の撮像画像の中心以外に位置する対象に基づいて、３Ｄ画像の輻輳角が設定されてもよい。

上記実施形態では、カメラ６１の撮像画像の中心に写っている関連対象の距離が変化した場合に、変化前後の関連対象までの距離の閾値として１０％を例に挙げて説明したが、閾値はこの値に限られず、種々変形可能である。例えば、閾値は、５％や２０％であってもよいし、設定されなくてもよい。閾値が設定されない場合には、画像設定部１６５は、関連対象までの距離の変化の大小に関わらず、３Ｄ画像の輻輳角をその都度変更してもよい。

Ｂ−４．変形例４：
上記実施形態では、カメラ６１の撮像画像の中心に写っている関連対象までの距離が偏した場合における時間に伴う輻輳角の変化として、図３に示す例について説明したが、時間に伴う輻輳角の変化は、これに限られず種々変形可能である。図１０および図１１は、変形例における変化前の輻輳角θ１から変化後の輻輳角θ２に変化するまでの時間と輻輳角との関係を示す説明図である。図１０に示すように、画像設定部１６５は、特定され距離の変化前の輻輳角θ１から変化後の輻輳角θ２までの時間に伴う輻輳角の変化を、直線Ｌ１のような単調増加のリニアな変化として設定してもよい。また、図１１に示すように、画像設定部１６５は、変化前の輻輳角θ１から変化後の輻輳角θ２までの時間に伴う輻輳角の変化を、曲線Ｃ２のように輻輳角の変化開始直後と変化終了間際とで、輻輳角の単位時間当たりの変化量が小さくなるように設定してもよい。

また、上記実施形態では、輻輳角θ１から、輻輳角θ１よりも角度が大きい輻輳角θ２までの変化について説明したが、請求項における単位あたりの距離の変化の速さとは、変化速度の絶対値も含む。そのため、輻輳角θ２から、輻輳角θ２よりも角度が小さい輻輳角θ１間での変化として、輻輳角が単調減少する変化も、請求項における距離の変化の速さが単調増加することに含まれる。

上記実施形態では、特定の位置としての対象までの距離を測定する方法として、ステレオカメラの撮像画像や使用者の眼を撮像する右眼撮像カメラ６７および左眼撮像カメラ６９の撮像画像が用いられたが、距離の測定方法については、種々変形可能である。例えば、ＴＯＦ（Time-of-Flight）法を用いて、特定の地点までの距離を測定してもよい。また、外景ＳＣが赤外線カメラによって撮像され、物体の表面で反射した赤外線反射光の無数の点のデータが処理されることで、特定の地点までの距離が測定されてもよい。

上記実施形態では、３Ｄ画像ＡＲ１，ＡＲ２として、実際に物体として存在するうろこ取りの画像が画像表示部２０に表示されたが、３Ｄ画像として表示される画像の種類については、種々変形可能である。例えば、３Ｄ画像として文字を表現したテキスト画像が画像表示部２０に表示されてもよい。この場合に、テキスト画像は、輻輳角ではなく、陰影を付けて画像表示部２０に表示されることで、頭部装着型表示装置１００は、使用者に立体的な画像として視認さてもよい。

Ｂ−５．変形例５：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｂ−６．変形例６：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図１２は、変形例におけるＨＭＤの外観構成を示す説明図である。図１２（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１２（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（外景撮像部）
６７…右眼撮像カメラ（眼撮像部）
６９…左眼撮像カメラ（眼撮像部）
１００…ＨＭＤ
１２０…記憶部
１３０…電源
１３２…無線通信部
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…画像設定部
１６８…距離特定部（距離測定部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
Δｔ…微小時間
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ｔ１，ｔ２…時間
Ｃ１，Ｃ２…曲線
Ｌ１…直線
ＯＡ…外部機器
ＳＣ…外景
ＢＣ…まな板
ＲＥ…右眼
ＬＥ…左眼
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…画像表示最大領域
ＯＯ…ポインタ
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＦＳ…魚
ＡＲ１，ＡＲ２…３Ｄ画像
θ１…輻輳角
θ２…輻輳角

Claims (8)

1. 透過型の頭部装着型表示装置であって、
   外景における特定の地点までの距離を測定する距離測定部と、
   前記外景を透過可能であり、画像を表示する画像表示部と、
   測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像として設定する画像設定部と、を備え、
   前記距離測定部は、前記外景を撮像する外景撮像部を有し、
   前記画像設定部は、
   前記外景撮像部が撮像した撮像画像の中心までの距離の変化が所定の値未満の場合に、前記画像表示部に画像を立体的に表示させる距離を変更することなく、
   測定された距離の変化が前記所定の値以上変化した場合に、変化するまでの時間が第１の閾値以上だった場合において、
   測定された距離の変化が前記所定の値以上変化してから第２の閾値以上の時間が経過していない場合には、前記画像表示部に立体的に表示させる画像の距離を、変化前に測定された距離に固定し、
   測定された距離の変化が前記所定の値以上変化してから前記第２の閾値以上の時間が経過した場合には、前記画像表示部に立体的に表示させる画像の距離を、変化後の測定された距離に設定する、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記距離測定部は、前記撮像画像の中心を前記特定の地点として設定する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記距離測定部は、使用者の眼を撮像する眼撮像部を有し、撮像した眼の撮像画像に基づいて、前記特定の地点までの距離を測定する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像設定部は、前記画像表示部に立体的に表示させる画像の距離を変化させる場合に、時間の経過に伴い輻輳角を単調増加させるように、または、単調減少させるように設定する、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像設定部は、前記画像表示部に立体的に表示させる画像に対して、右眼用画像と前記右眼用画像と異なる左眼用画像とに輻輳角を設定することで、前記画像表示部に表示させる画像を測定された距離の位置に立体的に表示させる、頭部装着型表示装置。
6. 請求項５に記載の頭部装着型表示装置であって、
   前記画像設定部は、測定された距離が変化した場合の前記輻輳角の変化量が所定の量以上の場合に、前記画像表示部に立体的に表示させる画像の距離を変更する、頭部装着型表示装置。
7. 外景を透過可能であり、画像を表示する画像表示部を有する頭部装着型表示装置の制御方法であって、
   外景における特定の地点までの距離を測定する距離測定工程と、
   測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像として設定する画像設定工程と、を備え、
   前記距離測定工程は、前記外景を撮像する工程を含み、
   前記画像設定工程は、
   前記外景を撮像する工程によって撮像された撮像画像の中心までの距離の変化が所定の値未満の場合に、前記画像表示部に画像を立体的に表示させる距離を変更することなく、
   前記距離測定工程によって測定された距離の変化が前記所定の値以上変化した場合に、変化するまでの時間が第１の閾値以上だった場合において、
   測定された距離の変化が前記所定の値以上変化してから第２の閾値以上の時間が経過していない場合には、前記画像表示部に立体的に表示させる画像の距離を、変化前に測定された距離に固定し、
   測定された距離の変化が前記所定の値以上変化してから前記第２の閾値以上の時間が経過した場合には、前記画像表示部に立体的に表示させる画像の距離を、変化後の測定された距離に設定する工程を含む、制御方法。
8. 外景を透過可能であり、画像を表示する画像表示部を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
   外景における特定の地点までの距離を測定する距離測定機能と、
   測定された距離に立体的に画像が表示されるように前記画像表示部を制御し、測定された距離が変化した場合に、測定された距離が変化するのに要した時間よりも長い時間をかけて、変化前に測定された距離に立体的に表示させた画像を、変化後に測定された距離に立体的に表示させる画像として設定する画像設定機能と、をコンピューターに実現させ、
   前記距離測定機能は、前記外景を撮像する機能を含み、
   前記画像設定機能は、
   前記外景を撮像する機能によって撮像された撮像画像の中心までの距離の変化が所定の値未満の場合に、前記画像表示部に画像を立体的に表示させる距離を変更することなく、
   前記距離測定機能によって測定された距離の変化が前記所定の値以上変化した場合に、変化するまでの時間が第１の閾値以上だった場合において、
   測定された距離の変化が前記所定の値以上変化してから第２の閾値以上の時間が経過していない場合には、前記画像表示部に立体的に表示させる画像の距離を、変化前に測定された距離に固定し、
   測定された距離の変化が前記所定の値以上変化してから前記第２の閾値以上の時間が経過した場合には、前記画像表示部に立体的に表示させる画像の距離を、変化後の測定された距離に設定する機能を含む、コンピュータープログラム。

Images