JP2016181864A - 表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】撮像する機能を備えた頭部装着型の表示装置において、撮像範囲を変更できるようにする。【解決手段】頭部装着型表示装置１００は、使用者の頭部に装着されるフレーム２を有し、フレーム２に設けられ、外景を透過する画像表示部２０と、フレーム２に設けられるカメラ６１とを備える。また、画像表示部２０を透過して視認可能な視界領域における、カメラ６１の撮像範囲に含まれない領域の有無を判定する制御部を備える。そして、カメラ６１と画像表示部２０との少なくとも一方は、フレーム２に対して変位可能に設けられる。【選択図】図１

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、頭部に装着する表示装置が知られている（例えば、特許文献１参照）。特許文献１記載のディスプレイは、眼鏡型のフレームにシースルーの導光手段を設けたディスプレイであり、フレームに撮像装置が取り付けられる。このディスプレイは、撮像装置によって撮像した画像と、導光手段を通してユーザーが視認する対象物の像とを一致させることで、補正データを生成し、その補正データに基づいて撮像データをユーザーの視野と一致させる。これにより、対象物の像に対して対象物に関する各種のデータを重ねて表示するＡＲ（Augmented Reality）技術を実現する。

特開２０１１−２７５３号公報

特許文献１記載のディスプレイが備える撮像装置は、フレームに固定的に設けられるため、撮像装置の撮像範囲を変化させるためには、ユーザーが頭部を動かす必要があった。
本発明は上記事情に鑑みてなされたものであり、撮像する機能を備えた頭部装着型の表示装置において、撮像範囲を変更できるようにすることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される本体を有し、前記本体に設けられ、外景を透過する表示部と、前記本体に設けられる撮像部と、前記表示部を透過して視認可能な視界領域における、前記撮像部の撮像範囲に含まれない領域の有無を判定する制御部と、を備え、前記撮像部と前記表示部との少なくとも一方は、前記本体に対して変位可能に設けられること、を特徴とする。
本発明によれば、表示部と撮像部とが相対的に変位可能な構成で、変位に伴う視界領域と撮像範囲との位置関係の変化に対応できる。これにより、撮像範囲の変更による不具合を防止し、撮像範囲を変更できる構成を容易に実現できる。

また、本発明は、上記表示装置において、前記撮像部は前記本体に対し変位可能に連結され、前記制御部は、前記本体に対する前記撮像部の相対位置を検出する検出部に接続され、前記検出部による検出結果に基づき、前記表示部を透過して視認可能な視界領域における前記撮像部の撮像範囲に含まれない領域の有無を判定すること、を特徴とする。
本発明によれば、撮像部を可動とし、視界領域と撮像範囲との対応を検出可能な構成を、容易に実現できる。

また、本発明は、上記表示装置において、前記制御部は、前記視界領域で前記撮像部の撮像範囲に含まれない領域があると判定した場合に、前記撮像部が変位可能な範囲を求めること、を特徴とする。
本発明によれば、撮像部の変位について適切な範囲を求めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記視界領域で前記撮像部の撮像範囲に含まれない領域があると判定した場合に、前記表示部に、前記撮像部の撮像範囲を示す表示をさせること、を特徴とする。
本発明によれば、撮像範囲を表示により使用者に知らせることができ、操作性の向上が期待できる。

また、本発明は、上記表示装置において、前記制御部は、前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示させ、前記コンテンツの表示位置を、前記視界領域で前記撮像部の撮像範囲に含まれない領域に関する判定結果に基づいて調整すること、を特徴とする。
本発明によれば、コンテンツの表示位置を視界領域と撮像範囲の対応に基づき調整できる。これにより、例えば、撮像部と表示部の相対位置の変化に対応してコンテンツの表示位置を調整できるので、表示部を透過する外景に対応する位置にコンテンツを表示する場合など、適切な位置に表示することができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部に仮想オブジェクトを表示させ、前記仮想オブジェクトの表示中に前記撮像部により撮像された撮像画像に基づき、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、を特徴とする。
本発明によれば、仮想オブジェクトを表示することにより使用者に的確に操作を行わせて、表示領域と撮像範囲との対応を正確に求めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部に表示される仮想オブジェクトの表示位置に対応して操作された指示体を含む外景を前記撮像部により撮像した撮像画像に基づき、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、を特徴とする。
本発明によれば、仮想オブジェクトを表示した場合に操作される指示体を撮像した撮像画像を用いることにより、表示領域と撮像範囲との対応を正確に求めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めることで、予め設定された前記表示部の表示領域と前記撮像部の撮像範囲との相対位置に対するズレ量を求めること、を特徴とする。
本発明によれば、撮像部の変位により表示領域と撮像範囲との相対位置にズレが発生した場合に、ズレ量を正確に求めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記撮像部の撮像画像における前記表示部の表示領域の中心軸の位置を推定し、推定した前記表示部の表示領域の中心軸と前記撮像部の撮像範囲の中心軸とのズレ量から、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、を特徴とする。
本発明によれば、撮像画像を利用して、表示領域と撮像範囲との対応を正確に求めることができる。

また、上記課題を解決するため、本発明は、使用者の頭部に装着される本体に、外景を透過する表示部と撮像部とを備え、前記撮像部と前記表示部との少なくとも一方は、前記本体に対して変位可能に設けられる表示装置において、前記表示部を透過して視認可能な視界領域における、前記撮像部の撮像範囲に含まれない領域の有無を判定すること、を特徴とする。
本発明によれば、表示部と撮像部とが相対的に変位可能な構成で、変位に伴う視界領域と撮像範囲との位置関係の変化に対応できる。これにより、撮像範囲の変更による不具合を防止し、撮像範囲を変更できる構成を容易に実現できる。

頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 第１実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置の装着状態を示す側面図。 第１実施形態の頭部装着型表示装置の動作を示すフローチャート。 第１実施形態の頭部装着型表示装置の動作を示すフローチャート。 第１実施形態の頭部装着型表示装置の動作を示すフローチャート。 第２実施形態の頭部装着型表示装置の装着状態を示す図。

［第１実施形態］
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（本体）を有する。フレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。

フレーム２には、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、マイク６３とが設けられる。
眼鏡型のフレーム２は、使用者の右眼の前に位置する右部２Ａ、及び、左眼の前に位置する左部２Ｂを有し、右部２Ａと左部２Ｂとがブリッジ部２Ｃで連結された形状である。ブリッジ部２Ｃは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、右部２Ａと左部２Ｂとを互いに連結する。
右部２Ａ及び左部２Ｂは、それぞれテンプル部２Ｄ、２Ｅに連結される。テンプル部２Ｄ、２Ｅは眼鏡のテンプルのようにして、フレーム２を使用者の頭部に支持する。本実施形態のテンプル部２Ｄは右保持部２１で構成され、テンプル部２Ｅは左保持部２３で構成される。
右光学像表示部２６は右部２Ａに配置され、左光学像表示部２８は左部２Ｂに配置される、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図３を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部２０を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、光学素子である右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

また、フレーム２には、カメラユニット３が設けられる。カメラユニット３は、カメラ６１が配置されるカメラ台座部３Ｃと、カメラ台座部３Ｃを支持するアーム部３Ａ、２Ｂとを有する。アーム部３Ａは、右保持部２１の先端部ＡＰに設けられたヒンジ２１Ａ（連結部）により、回動可能に右保持部２１に連結される。アーム部３Ｂは、左保持部２３の先端部ＡＰに設けられたヒンジ２３Ａ（連結部）により、回動可能に左保持部２３に連結される。このため、カメラユニット３は全体として、図中矢印Ｋで示す方向、すなわち装着状態において上下に回動可能である。カメラユニット３は、回動範囲の下端でフレーム２に接する。また、カメラユニット３の回動範囲の上端はヒンジ２１Ａ、２３Ａの仕様等で決定される。

カメラ台座部３Ｃは、右部２Ａ、左部２Ｂ及びブリッジ部２Ｃの上部に跨がって位置する板状または棒状部材であり、ブリッジ部２Ｃの上に相当する位置に、カメラ６１が埋込設置される。カメラ６１（撮像部）は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、画像表示部２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の撮像範囲（画角）の広さは適宜設定可能であるが、例えばカメラユニット３の回動範囲の下端において、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認できる外界の範囲（視界）を含むことが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像処理部１８１（図３）の制御に従って撮像を実行し、撮像画像データを撮像処理部１８１に出力する。

画像表示部２０は、カメラユニット３とフレーム２との相対位置を検出する検出部を有する。検出部の具体的構成は任意であり、例えば、ヒンジ２１Ａ、２３Ａの少なくともいずれか、或いは両方に、回動角を検出するセンサーを設けてもよい。この場合、センサーにより、テンプル部２Ｄに対するアーム部３Ａの角度、及び／又はテンプル部２Ｅに対するアーム部３Ｂの角度を検出できる。この場合、各センサーはヒンジ２１Ａ、２３Ａに装着されるロータリーエンコーダーであってもよい。また、例えば、フレーム２のテンプル部２Ｄと、アーム部３Ａとの間の距離を検出する光波測距儀等の距離センサーを設け、この距離センサーの検出値に基づき回動角を検出してもよい。

本実施形態では、画像表示部２０のフレーム２にフレーム側センサー７６を設け、カメラユニット３にカメラユニットセンサー７８を設けた構成である。フレーム側センサー７６及びカメラユニットセンサー７８は、動きセンサー（モーションセンサー）であり、例えば、加速度センサーや角速度（ジャイロ）センサーである。また、フレーム側センサー７６及びカメラユニットセンサー７８は、３軸の加速度センサーと、３軸のジャイロセンサーとを有する構成など、複合的なセンサーとしてもよい。また、磁気センサー等を合わせて備えてもよい。

フレーム側センサー７６は、フレーム２に設けられ、フレーム２の動きを検出して検出値を出力する。フレーム側センサー７６はフレーム２に固定されればよく、フレーム２におけるフレーム側センサー７６の位置は制限されない。フレーム側センサー７６は、フレーム２に対する位置が固定されていればよい。図１には、フレーム側センサー７６を右光学像表示部２６の端部ＥＲに内蔵する例を示す。

カメラユニットセンサー７８は、カメラユニット３に設けられ、カメラユニット３の動きを検出して検出値を出力する。カメラユニットセンサー７８は、後述するようにカメラ６１の撮像範囲の変化等を検出する目的で使用されるので、カメラユニットセンサー７８はカメラ６１に対する位置が固定されていればよい。図１には、カメラユニットセンサー７８を、アーム部３Ａの前端部すなわちカメラ台座部３Ｃとの連結部の近傍に配置した例を示す。

画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。左バックライト２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２４２は、左バックライト２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系２５２は、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備える。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。右バックライト２２１はＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ２４１は、右バックライト２２１の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備える。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１１１から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が実行する各種処理に係る設定値を含む。例えば、画像処理部１６０及び表示制御部１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データ１２１が含む設定値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

記憶部１２０は、コンテンツデータ１２３を記憶する。コンテンツデータ１２３は、ＡＲ表示制御部１８６がＡＲ表示するコンテンツの画像（静止画像、或いは動画像）データ、及び／又は音声データを含む。

制御部１４０には、センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。センサー１１３は、加速度センサーや角速度センサー等の慣性センサーを有し、制御部１４０はセンサー１１３の検出値を取得する。センサー１１３は、例えば３軸の加速度センサーや、３軸の加速度センサーと３軸の角速度センサーと３軸の磁気センサーとを有する９軸センサーとして構成してもよい。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１００の各部を制御する。また、制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１４０の各種機能を実現する。すなわち、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、位置検出部１８４、ＡＲ表示制御部１８６（表示処理部）、及び、音声処理部１８７として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。

画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

撮像処理部１８１は、カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８に接続して、フレーム２の動きの検出値、及び、カメラユニット３の動きの検出値を取得する。位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値に基づき、フレーム２に対するカメラユニット３の相対位置を算出する。例えば、位置検出部１８４は、ヒンジ２１Ａにおけるテンプル部２Ｄとアーム部３Ａとの角度、及び、ヒンジ２３Ａにおけるテンプル部２Ｅとアーム部３Ｂとの角度を算出する。

ＡＲ表示制御部１８６は、記憶部１２０が記憶するコンテンツデータ１２３を読み出し、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。また、ＡＲ表示制御部１８６は、コンテンツデータ１２３が音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。

ＡＲ表示制御部１８６は、位置検出部１８４が算出するフレーム２とカメラユニット３の相対位置に基づき、ＡＲコンテンツの表示を制御する。
ＡＲ表示制御部１８６は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８６は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８６は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８６は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。

ＡＲコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、ＡＲ表示制御部１８６は、撮像処理部１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ６１の撮像範囲における対象物の位置を特定する。ＡＲ表示制御部１８６は、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。

図４は、頭部装着型表示装置１００の装着状態を示す側面図であり、（Ａ）はカメラユニット３を回動させない状態を示し、（Ｂ）はカメラユニット３をフレーム２に対して上向きに回動させた状態を示す。
図４（Ａ）において、一点鎖線Ｌ１は使用者がハーフミラー２６１Ａ、２６２Ａの中心を通して見る視線方向を示す。この場合の使用者の視野を符号Ｗ１で示す。また、破線Ｌ２はカメラ６１の撮像方向、すなわち、カメラ６１が備える撮像光学系（図示略）の光軸を示す。また、図ではカメラ６１の撮像範囲を符号Ｗ２で示す。

図４（Ａ）に示すように、カメラ６１の撮像範囲Ｗ２は、視界Ｗ１を含む範囲となっており、より具体的には、撮像範囲Ｗ２の中に視界Ｗ１が収まる。従って、使用者が画像表示部２０越しに見ることができる範囲（視界Ｗ１）の全体を、カメラ６１で撮像できる。頭部装着型表示装置１００は、ＡＲ表示の対象物をカメラ６１の撮像画像から検出する。図４（Ａ）に示す構成とすることで、使用者の視界Ｗ１にある対象物が、カメラ６１の撮像画像に確実に写る。このため、使用者が見ることが可能な対象物についてＡＲ表示を行うことができる。
図４（Ａ）の構成は、画像表示部２０が有する右光学像表示部２６、及び左光学像表示部２８のサイズ等に合わせて、カメラ６１の撮像光学系の画角を調整することで実現できる。視界Ｗ１の大きさは、厳密には、ハーフミラー２６１Ａ、２６２Ａと使用者の眼の視線方向における距離の影響を受ける。この距離は画像表示部２０の形状によりおよそ定まるので、ハーフミラー２６１Ａ、２６２Ａと使用者の眼の視線方向における距離は、標準的な値を初期値（デフォルト値）として定めることができる。

カメラユニット３をフレーム２に対して変位させる場合、カメラ６１の撮像範囲Ｗ２は、使用者の視界Ｗ１に対して変位する。図４（Ｂ）には、撮像範囲Ｗ２が変位した状態を示し、カメラユニット３を上方に回動した例を示す。

図４（Ｂ）の状態では撮像範囲Ｗ２の下端が視界Ｗ１の下端に達している。撮像範囲Ｗ２が視界Ｗ１を含むことから、視界Ｗ１内の対象物に対するＡＲ表示が可能である。図４（Ｂ）の状態よりも、さらにカメラユニット３を上方に回動すると、視界Ｗ１が撮像範囲Ｗ２に収まらなくなる。その結果、視界Ｗ１の下端にある対象物を、カメラ６１が撮像できなくなる。つまり、図４（Ｂ）に示す位置が、ＡＲ表示を行う場合のカメラユニット３の限界位置に相当する。

また、図４（Ｂ）では視線方向Ｌ１とカメラ６１の撮像方向Ｌ２との間にズレが生じている。従って、使用者の正面、すなわち視線方向Ｌ１にある対象物は、カメラ６１の撮像画像の中央からずれた位置に写る。コンテンツをＡＲ表示するためには、コンテンツの表示位置を、使用者に対象物が見える位置に合わせる必要がある。このため、図４（Ｂ）の状態では、視線方向Ｌ１とカメラ６１の撮像方向Ｌ２のズレに合わせて、コンテンツの表示位置を調整する必要がある。

そこで、頭部装着型表示装置１００は、位置検出部１８４及びＡＲ表示制御部１８６の制御により、カメラユニット３の位置に関するキャリブレーションを行う。このキャリブレーションは、図４（Ｂ）に符号Ｈで示すように、使用者が、手指等の目標物を視線方向Ｌ１上に位置させる操作を行う。頭部装着型表示装置１００が使用者の視界Ｗ１を直接測定することは容易ではない。これに対し、使用者が目標物を視線方向Ｌ１に合わせる操作と、この操作時に目標物をカメラ６１の撮像画像で検出する処理は容易に実行できる。撮像画像から検出される目標物の位置は、視線方向Ｌ１に対応する位置と見なすことができるので、撮像画像と視線方向Ｌ１とを対応付けることができ、カメラ６１の光軸Ｌ２と視線方向Ｌ１とを対応付けることができる。

カメラ６１の光軸Ｌ２と視線方向Ｌ１との相対位置は、フレーム２とカメラユニット３との相対位置を反映し、フレーム側センサー７６及びカメラユニットセンサー７８の検出値に対応する。キャリブレーションにより、カメラ６１の光軸Ｌ２と視線方向Ｌ１との相対位置と、フレーム側センサー７６及びカメラユニットセンサー７８の検出値とを対応付けることができれば、その後は逆の演算が可能になる。すなわち、フレーム側センサー７６及びカメラユニットセンサー７８の検出値から、カメラ６１の光軸Ｌ２と視線方向Ｌ１との相対位置を求めることができる。
これにより、使用者の視界Ｗ１にある対象物に対し、コンテンツをＡＲ表示することができ、フレーム２とカメラユニット３の相対位置が変化した場合に、コンテンツの表示位置を適宜調整できる。

カメラユニット３とフレーム２の相対位置の変化は、カメラユニット３をフレーム２に対し上向きに動かす場合だけでなく、フレーム２を下向きに動かす場合も同様に生じる。この場合は、使用者の視界Ｗ１が下方に移動するが、上述したキャリブレーションでカメラ６１の光軸Ｌ２と視線方向Ｌ１との相対位置と、フレーム側センサー７６及びカメラユニットセンサー７８の検出値とを対応付けることで、同様の処理が可能となる。

また、カメラ６１がズーム機能を有する場合、図４（Ａ）及び（Ｂ）に示す撮像範囲Ｗ２は、カメラ６１のズーム倍率により変化する。この場合、位置検出部１８４は、カメラ６１のズーム倍率に対応して撮像範囲Ｗ２の大きさに関するデータを変更すればよい。すなわち、位置検出部１８４は、カメラ６１の光軸Ｌ１の位置に対する撮像範囲Ｗ２の大きさに関するデータを、ズーム倍率に対応して変更する。この変更後のデータに基づき後述する図５〜図７の処理を行うことで、ズーム倍率を加味した処理を実行できる。

音声処理部１８７は、ＡＲ表示制御部１８６の制御によりコンテンツの音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。

画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２とを備える。また、画像表示部２０は、上述したカメラ６１、フレーム側センサー７６、及びカメラユニットセンサー７８を備える。カメラ６１はフレーム２（図１）とは別体のカメラユニット３に設けられるが、インターフェイス２５に接続される。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
インターフェイス２５は、カメラ６１、フレーム側センサー７６、及びカメラユニットセンサー７８を接続するインターフェイスである。カメラ６１の撮像画像データや撮像信号、フレーム側センサー７６及びカメラユニットセンサー７８の検出結果等は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。

受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

図５は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、制御部１４０の制御により実行されるキャリブレーションを示す。
位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を取得し（ステップＳ１１）、取得した検出値が、いずれも正常範囲内の値であるか否かを判定する（ステップＳ１２）。ここで、位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を、設定データ１２１に含まれるしきい値と比較して判定する。また、位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値から比較用の値を算出し、算出した値を、設定データ１２１に含まれるしきい値と比較して判定してもよい。ステップＳ１２で、位置検出部１８４は、カメラユニット３またはフレーム２が、ヒンジ２１Ａ、２３Ａの可動範囲を超えて回動した状態でないかを判定する。ヒンジ２１Ａ、２３Ａが可動範囲を逸脱した状態であれば、故障を防止するため、速やかに動作を停止させるためである。

位置検出部１８４は、ステップＳ１１で取得した検出値が正常範囲から外れている場合（ステップＳ１２；ＮＯ）、異常を報知する動作を行い（ステップＳ１３）、動作を終了する。ステップＳ１３の異常の報知は、例えば、画像表示部２０によりメッセージを表示させる、点灯部１２を点灯、または点滅させる、右イヤホン３２、左イヤホン３４から警報音や報知メッセージの音声を出力する等の方法で行えばよい。

ステップＳ１１で取得した検出値が正常範囲の値である場合（ステップＳ１２；ＹＥＳ）、位置検出部１８４は、キャリブレーションを開始する（ステップＳ１４）。
キャリブレーションを開始すると、ＡＲ表示制御部１８６が、画像処理部１６０及び表示制御部１７０を制御して、キャリブレーション用の画像を、画像表示部２０により表示させる（ステップＳ１５）。キャリブレーション用の画像は、使用者が目安とする画像や文字、或いは記号であり、ここでは仮想のオブジェクトとする。ＡＲ表示制御部１８６は、仮想のオブジェクトを画像表示部２０の表示領域の中心に表示する。なお、画像表示部２０の表示領域の中心とは、ハーフミラー２６１Ａ、２６２Ａの中心を指すが、本実施形態では右ＬＣＤ２４１及び左ＬＣＤ２４２の中心が、ハーフミラー２６１Ａ、２６２Ａの中心に対応する。また、仮想オブジェクトは、ハーフミラー２６１Ａ、２６２Ａのいずれか一方に表示してもよい。

続いて、ＡＲ表示制御部１８６は、仮想オブジェクトに指を重ねるように、使用者への案内を行う（ステップＳ１６）。この案内は、例えば、右ＬＣＤ２４１及び／又は左ＬＣＤ２４２に画像や文字を表示する方法、音声処理部１８７が右イヤホン３２及び／又は左イヤホン３４で音声を出力する方法で行われる。この場合、使用者には、図４（Ｂ）に示す視線方向Ｌ１上に仮想オブジェクトが見えるので、案内に従って、手指を仮想オブジェクトに重なって見える位置にする。

ここで、撮像処理部１８１がカメラ６１を制御して撮像を実行させ、位置検出部１８４が撮像画像データを取得する（ステップＳ１７）。
位置検出部１８４は、撮像画像データに対する画像処理を実行し、撮像画像から手指の画像を検出して、撮像画像における指先の座標を算出する（ステップＳ１８）。位置検出部１８４が撮像画像から手指の画像を検出する処理は、例えば、予め記憶部１２０に記憶した画像の特徴量等を利用すればよい。位置検出部１８４は、例えば、手指の画像の中心の座標を算出する。なお、このステップＳ１６〜Ｓ１８の処理では、手指の代わりにペン型や棒状の指示体等を用いることができる。この場合、指示体の画像を検出するための特徴量等、必要なデータが、予め、記憶部１２０に記憶されていればよく、位置検出部１８４は、撮像画像における、指示体の先端または指示体の中心の座標を算出する。

位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を取得する（ステップＳ１９）。位置検出部１８４は、取得した各センサーの値に基づいて、フレーム２に対するカメラユニット３の相対位置を算出する（ステップＳ２０）。

さらに、位置検出部１８４は、各センサーの値から求めた相対位置に基づき、カメラ６１の撮像空間における画像表示部２０（フレーム２）の中心の位置を推定する（ステップＳ２１）。ここで、カメラ６１の撮像空間とは、カメラ６１で撮像される範囲の空間を指し、例えば図４に示した撮像範囲Ｗ２に相当する。撮像空間における位置は、カメラ６１に対して固定的な箇所を原点または基準点とする座標で表すことができる。この場合の原点または基準点は、例えば、撮像範囲Ｗ２の始点すなわちカメラ６１の撮像面またはレンズ面とすることができる。ステップＳ２１で、位置検出部１８４は、フレーム２とカメラユニット３との相対位置から、撮像空間（撮像空間の原点または基準点）に対するフレーム２の中心の位置および方向を推定する。例えば、カメラ６１の撮像面またはレンズ面に対するフレーム２の中心の空間的な座標を推定する。

位置検出部１８４は、ステップＳ１８で求めた指先の画像の座標と、ステップＳ２１で推定した画像表示部２０の中心の位置とに基づいて、画像表示部２０の中心から指先へのベクトルを推定する（ステップＳ２２）。ここで、指先の位置は、使用者が表示領域の中心（図４の視線方向Ｌ１）に指を重ねているため、撮像空間における指先の位置は、表示領域の中心軸の位置と見なすことができる。また、カメラ６１の原点または基準点とカメラ６１の撮像画像における位置との関係は、カメラ６１の仕様により予め定まっている。従って、撮像画像における指先の画像の座標を、カメラ６１の原点または基準点に対する空間的な位置に変換し、ステップＳ２１で推定したフレーム２の位置との間のベクトルを推定できる。

位置検出部１８４は、ステップＳ２２で求めたベクトルと、ステップＳ２０で求めた相対位置とに基づいて、表示領域の中心軸と、カメラ６１の光軸とのズレ量を推定する（ステップＳ２３）。
そして、位置検出部１８４は、カメラ６１の光軸と表示領域の中心とのズレ量を補正するための補正用のデータを生成し、記憶部１２０に記憶し（ステップＳ２４）、本処理を終了する。

なお、図４に示すように表示領域の中心軸に相当する視線方向Ｌ１と、カメラ６１の光軸である撮像方向Ｌ２とが、ほぼ平行であると見なすことができる場合を想定する。この場合、撮像画像を、カメラ６１の光軸に対して垂直な仮想面として見ることができ、この仮想面は表示領域の中心軸に対してもほぼ垂直である。
例えば後述する第２実施形態（図８）のようにフレキシブルアームを用いた構成や、より多くの可動部を有する構成など、カメラ６１がフレーム２に対して、よりフレキシブルな可動域を有する構成では、カメラ６１の光軸とフレーム２との相対的な位置や方向を求めてもよい。具体的には、ステップＳ２０、または、その他のステップＳ２３より前の処理において、ステップＳ１９で取得したフレーム側センサー７６及びカメラユニットセンサー７８の検出値に基づき、カメラ６１の光軸とフレーム２との相対的な位置や角度を推定または算出してもよい。そして、ステップＳ２３では、カメラ６１の光軸とフレーム２との相対的な位置や角度を加味して、表示領域の中心軸と、カメラ６１の光軸とのズレ量を推定すればよい。この場合、カメラ６１とフレーム２との相対位置、及び傾き等によらず、より高精度で、カメラ６１の光軸と表示領域の中心とのズレ量を補正するための補正用のデータを得ることができる。

さらに、ステップＳ２３の処理を実行する前に、カメラ６１の光軸とフレーム２との相対的な位置、角度を加味した処理が必要か否かを判定してもよい。この判定は、例えば、カメラユニットセンサー７８の検出値に基づいてカメラ６１が閾値を超えて動いたか否かに基づき、行ってもよい。或いは、フレーム側センサー７６の検出値とカメラユニットセンサー７８の検出値との差を求め、この差が閾値を超えたか否かに基づき行ってもよい。

ステップＳ１８で検出される撮像画像における指先の座標は、表示領域の中心に対応する位置である。従って、撮像画像における指先の座標と中心の座標との差は、カメラ６１の光軸と、表示領域の中心を通る視線方向との差に相当するといえるので、この座標の差に基づいてカメラ６１の光軸と表示領域の中心との相対位置を求めることができる。

ステップＳ２０で、位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値からフレーム２に対するカメラユニット３の相対位置を求める。さらに、ステップＳ２１では、カメラ６１とフレーム２との相対位置から、カメラ６１の撮像空間における画像表示部２０の中心を推定する。そして、ステップＳ２２では、ステップＳ１８でカメラ６１の撮像画像から検出した座標と、ステップＳ２１で求めた画像表示部２０の中心とに基づく処理を行う。このように、図５のキャリブレーションでは、センサーと撮像画像のそれぞれに基づき相対位置を検出して、その対応付けを行うので、キャリブレーション実行後は、センサーの検出値から、ズレ量とズレ方向とを求めて補正を行うことができる。
ステップＳ２３で記憶される補正用のデータは、フレーム側センサー７６及びカメラユニットセンサー７８の検出値から、カメラ６１の光軸と表示領域の中心との相対位置を求める処理を可能とするデータである。言い換えれば、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を、カメラ６１の光軸と表示領域の中心との相対位置、または位置のズレに対応付けるデータである。具体的には、フレーム側センサー７６及びカメラユニットセンサー７８の検出値から、カメラ６１の光軸と表示領域の中心との相対位置（位置のズレ）を求めるための演算式、テーブル、パラメーター等である。

図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、カメラユニット３の撮像範囲を、使用者の視界に対して適切な位置に調整する動作を示す。
位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を取得し（ステップＳ３１）、図５のステップＳ２１で生成されるデータを利用して、カメラ６１の光軸と表示領域の中心との相対位置、すなわちズレ量を算出する（ステップＳ３２）。位置検出部１８４は、使用者が画像表示部２０越しに見る視界と、カメラ６１の撮像範囲との対応を推定する（ステップＳ３３）。そして、位置検出部１８４は、使用者の視界がカメラ６１の撮像範囲内であるか否かを判定する（ステップＳ３４）。

ステップＳ３３、Ｓ３４で、位置検出部１８４は、ステップＳ３２で算出した距離またはズレ量をもとに、使用者の視界の一部がカメラ６１の撮像範囲から出ていないか否かを判定する。

使用者の視界がカメラ６１の撮像範囲内である場合（ステップＳ３４；ＹＥＳ）、位置検出部１８４は本処理を終了する。また、使用者の視界一部でもカメラ６１の撮像範囲の外にある場合（ステップＳ３４；ＮＯ）、ＡＲ表示制御部１８６が、撮像範囲の移動を案内する表示を行い（ステップＳ３５）、ステップＳ３１に戻る。

ステップＳ３５では、ＡＲ表示制御部１８６が画像処理部１６０及び表示制御部１７０を制御して、カメラ６１を動かす方向を示す画像、記号、テキスト等を表示させる。また、画像表示部２０の表示領域でカメラ６１の光軸に対応する位置を示す表示を、合わせて行ってもよい。さらに、カメラ６１の撮像範囲の外縁が、画像表示部２０の表示領域に重なって見える場合、カメラ６１の撮像範囲の外縁を示す表示を行ってもよい。

図７は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、制御部１４０が、ＡＲコンテンツＯＢ´を表示する動作を示す。
制御部１４０は、操作部１３５等により入力される指示に従ってＡＲコンテンツの表示を開始し（ステップＳ４１）、位置検出部１８４がフレーム側センサー７６及びカメラユニットセンサー７８の検出値を取得する（ステップＳ１１）。位置検出部１８４は、取得した検出値が正常範囲内の値であるか否かを判定し（ステップＳ１２）、検出値が正常範囲から外れている場合（ステップＳ１２；ＮＯ）、異常を報知する動作を行い（ステップＳ１３）、動作を終了する。

位置検出部１８４が、フレーム側センサー７６及びカメラユニットセンサー７８の検出値が正常範囲内の値であると判定した場合（ステップＳ１２；ＹＥＳ）、ＡＲ表示制御部１８６は、記憶部１２０からコンテンツデータ１２３を取得する（ステップＳ４２）。次いで、撮像処理部１８１がカメラ６１に撮像を実行させ、位置検出部１８４が撮像画像データから対象物を検出する（ステップＳ４３）。位置検出部１８４は、対象物の位置に基づいてＡＲコンテンツの表示位置を決定し（ステップＳ４４）、ＡＲコンテンツの表示を開始する（ステップＳ４５）。

ＡＲコンテンツの表示開始後、位置検出部１８４がフレーム側センサー７６及びカメラユニットセンサー７８の検出値を取得し（ステップＳ４６）、取得した検出値に基づいて表示位置のズレ量を算出する（ステップＳ４７）。ステップＳ４７で、位置検出部１８４は、カメラ６１の光軸と表示領域の中心との差をもとに、ＡＲ表示の対象物の位置と、表示中のコンテンツの表示位置とのズレを算出する。位置検出部１８４は、ステップＳ４４において、撮像画像における対象物の位置に対応するように、コンテンツの表示位置を決定する。ステップＳ４４で決定される表示位置は、カメラ６１の光軸Ｌ２と表示領域の中心を通る視線方向Ｌ１とが一致し、或いは、規定の位置（デフォルト位置）であることを前提とした位置である。ステップＳ４７で、位置検出部１８４は、カメラ６１の光軸Ｌ２と表示領域の中心を通る視線方向Ｌ１の相対位置が規定の位置からずれている場合に、ズレ量を求める。

ＡＲ表示制御部１８６は、位置検出部１８４が検出したズレ量に基づき、ＡＲコンテンツの表示位置の補正が必要か否かを判定する（ステップＳ４８）。例えば、位置検出部１８４が検出したズレ量が、設定データ１２１に含まれるしきい値を超える場合に、表示位置の補正が必要と判定する。

表示位置の補正が必要と判定した場合（ステップＳ４８；ＹＥＳ）、ＡＲ表示制御部１８６は、表示位置の補正を行う旨の報知を行う（ステップＳ４９）。ステップＳ４９では、例えば、画像表示部２０により報知用のメッセージや画像を表示する。このメッセージや画像は、ＡＲコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のＡＲコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。

ＡＲ表示制御部１８６は、ステップＳ４７で算出したズレ量、または、このズレ量から算出される補正量に従って、ＡＲコンテンツの表示位置を補正し（ステップＳ５０）、終了条件の正否を判定する（ステップＳ５１）。また、表示位置を補正しないと判定した場合（ステップＳ４８；ＮＯ）、制御部１４０はステップＳ５１に移行して終了条件の正否を判定する。

制御部１４０は、終了条件が成立している場合（ステップＳ５１；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ５１；ＮＯ）、ステップＳ１９に戻る。終了条件は、例えば、ＡＲコンテンツを最後まで表示し、表示が完了すること、操作部１３５の操作によりＡＲコンテンツの表示の終了が指示されたこと、インターフェイス１２５を介して外部機器より動作終了が指示されたこと、等である。

以上説明したように、使用者の頭部に装着される頭部装着型の頭部装着型表示装置１００は、使用者の頭部に装着されるフレーム２を有し、フレーム２に設けられ、外景を透過する画像表示部２０と、フレーム２に設けられるカメラ６１とを備える。また、画像表示部２０を透過して視認可能な視界領域における、カメラ６１の撮像範囲に含まれない領域の有無を判定する制御部１４０を備える。例えば、制御部１４０は、画像表示部２０を透過して視認可能な視界領域にカメラ６１の撮像範囲に含まれない領域があることを検出または判定する。或いは、制御部１４０は、視界領域におけるカメラ６１の撮像範囲の境界を検出してもよい。そして、カメラ６１と画像表示部２０との少なくとも一方は、フレーム２に対して変位可能に設けられる。これにより、画像表示部２０とカメラ６１とが相対的に変位可能な構成で、変位に伴う視界と撮像範囲との位置関係の変化に対応できる。これにより、撮像範囲の変更による不具合を防止し、撮像範囲を変更できる構成を容易に実現できる。

また、カメラ６１は、フレーム２に対し変位可能に連結されたカメラユニット３に設けられる。制御部１４０は、フレーム２に対するカメラ６１の相対位置を検出するフレーム側センサー７６及びカメラユニットセンサー７８に接続される。制御部１４０は、フレーム側センサー７６及びカメラユニットセンサー７８の検出結果に基づき、使用者の視界におけるカメラ６１の撮像範囲に含まれない領域を検出する。このため、カメラ６１をフレーム２に対して可動とした構成を、容易に実現できる。また、使用者の視界のうち、カメラ６１の撮像範囲に含まれない領域がある場合には、使用者に案内を行うことで、例えばコンテンツをＡＲ表示する場合に、ＡＲ表示の対象物を確実に撮像し検出できる。

また、制御部１４０は、視界領域でカメラ６１の撮像範囲に含まれない領域の判定（検出）結果に基づいて、カメラ６１の適切な変位の範囲を求めることができる。
また、制御部１４０は、上記検出結果に基づいて、画像表示部２０に、カメラ６１の撮像範囲を示す表示をさせるので、撮像範囲を表示により使用者に知らせることができ、操作性の向上が期待できる。

また、制御部１４０は、カメラ６１の撮像画像に基づき画像表示部２０にコンテンツを表示させ、コンテンツの表示位置を、視界領域でカメラ６１の撮像範囲に含まれない領域の検出結果に基づいて調整する。このため、コンテンツの表示位置を視界領域と撮像範囲の対応に基づき調整できる。これにより、例えば、カメラ６１と画像表示部２０の相対位置の変化に対応してコンテンツの表示位置を調整できる。従って、画像表示部２０を透過する外景に対応する位置にコンテンツを表示する場合など、適切な位置に表示することができる。

また、制御部１４０は、画像表示部２０に仮想オブジェクトを表示させ、仮想オブジェクトの表示中にカメラ６１により撮像された撮像画像に基づき、画像表示部２０の表示領域とカメラ６１の撮像範囲との対応を求める。このため、仮想オブジェクトを表示することにより使用者に的確に操作を行わせて、表示領域と撮像範囲との対応を正確に求めることができる。ここで、制御部１４０は、仮想オブジェクトの表示位置に対応して操作される指等の指示体を含む撮像画像に基づき、画像表示部２０の表示領域とカメラ６１の撮像範囲との対応を、より正確に求めることができる。

また、制御部１４０は、画像表示部２０の表示領域とカメラ６１の撮像範囲との対応を求めることで、予め設定された画像表示部２０の表示領域とカメラ６１の撮像範囲との相対位置に対するズレ量を求める。このため、カメラ６１の変位により表示領域と撮像範囲との相対位置にズレが発生した場合に、ズレ量を正確に求めることができる。
すなわち、制御部１４０は、撮像画像における画像表示部２０の表示領域の中心軸の位置を推定し、推定した表示領域の中心軸と撮像範囲の中心とのズレ量から、画像表示部２０の表示領域とカメラ６１の撮像範囲との対応を求める。これにより、撮像画像を利用して、表示領域と撮像範囲との対応をより正確に求めることができる。

［第２実施形態］
図８は、第３実施形態の頭部装着型表示装置１００Ｂの装着状態を示す図であり、（Ａ）、（Ｃ）は側面図、（Ｂ）及び（Ｄ）は平面図である。頭部装着型表示装置１００Ｂは、上記第１実施形態の画像表示部２０に代えて、画像表示部２０Ｂを備える他は、頭部装着型表示装置１００と共通の構成を有する。
画像表示部２０Ｂは、フレーム２を有する画像表示部２０に対し、カメラ６２を、フレキシブルアーム３６（連結部）により連結した構成である。フレキシブルアーム３６は、自在に屈曲させることが可能な、金属製または合成樹脂製のアームであり、フレキシブルアーム３６の基端部はテンプル部２Ｅに固定される。また、フレキシブルアーム３６の先端部には、カメラ６２を収容したカメラケース３５が取り付けられる。

例えば図８（Ａ）及び（Ｂ）に示すように、カメラ６２を、フレーム２に近い位置に配置し、カメラ６２の撮像範囲と画像表示部２０Ｂを装着した使用者の視界とが近い範囲となるように使用できる。また、図８（Ｃ）に示すように、画像表示部２０Ｂは、カメラケース３５を上方に移動させて使用することもできる。この場合、例えば図８（Ｄ）に示すように、カメラケース３５を、使用者に対し左右方向に移動させてもよい。図８（Ｄ）の例では、カメラケース３５がテンプル部２Ｄ及びテンプル部２Ｅの内側にある。この位置では、カメラ６２の撮像範囲は、使用者の右眼の視野及び左眼の視野の両方に跨がるようになる。

この頭部装着型表示装置１００Ｂは、画像表示部２０Ｂにおいてフレーム側センサー７６、及びカメラユニットセンサー７８を備える。フレーム側センサー７６及びカメラユニットセンサー７８の構成は上記第１実施形態と同様である。従って、頭部装着型表示装置１００Ｂの構成は、図３に示したブロック図と同様である。

フレーム側センサー７６は、フレーム２に設けられる。また、カメラユニットセンサー７８は、カメラケース３５に設けられ、カメラ６２の動きに関して検出値を出力する。カメラユニットセンサー７８は、カメラ６２に対して相対位置が固定されるように、カメラケース３５に配置される。

この第２実施形態の頭部装着型表示装置１００Ｂは、上記第１実施形態の頭部装着型表示装置１００と同様に、図５〜図７で説明した動作を実行する。
また、第２実施形態では、位置検出部１８４は、フレーム側センサー７６及びカメラユニットセンサー７８の検出値を常時取得してもよい。位置検出部１８４が検出値の取得を開始する時点で、カメラケース３５は、図８（Ａ）及び（Ｂ）に示す基準位置、またはその他の基準位置にあることが望ましい。このため、頭部装着型表示装置１００Ｂは、位置検出部１８４が検出値の取得を開始する前に、カメラケース３５を基準位置に配置させるように、報知や案内を行ってもよい。

位置検出部１８４は、位置検出部１８４はフレーム側センサー７６及びカメラユニットセンサー７８の検出値を常時取得し、フレーム２に対するカメラケース３５の位置を求める。位置検出部１８４は、フレーム２に対するカメラケース３５の位置は正常範囲を逸脱したか否かを、常時判定できる。そして、正常範囲を逸脱した場合は、図５のステップＳ１３と同様に報知を行うことができる。

このように、カメラ６１を、フレーム２に対してフレキシブルアーム３６により自在に変位可能に連結した構成としても、フレーム２に対するカメラ６２の相対的な変位を検出し、検出した変位量や変位の方向に合わせて表示位置の補正等を行える。

なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記各実施形態においては、位置検出部１８４が、画像表示部２０の表示空間における表示領域の中心軸とカメラ６１の光軸とのズレ量を推定する構成（図５のステップＳ２３）を例に挙げて説明した。そして、位置検出部１８４が推定したズレ量を補正するための補正データの生成（図５のステップＳ２４）、視界と撮像範囲との対応の推定（図６のステップＳ３３）、コンテンツの表示位置の補正（図７のステップＳ５０）等が実行される例を説明した。これらの処理において、例えば、一般的な使用者が頭部装着型表示装置１００、１００Ｂを装着した場合のズレ量を「標準ズレ量」として記憶部１２０に記憶して利用してもよい。具体的には、位置検出部１８４がステップＳ２３で推定したズレ量と、記憶部１２０に記憶した標準ズレ量とを比較して、標準ズレ量との差異（差分）を個人データとして生成してもよい。この場合、標準ズレ量に基づく補正を行うためのデータを記憶部１２０に記憶し、標準ズレ量に基づくコンテンツの表示位置の補正が可能な構成としてもよく、必要に応じて、個人データを加味して補正等を行うようにしてもよい。

また、位置検出部１８４は、ズレ量を推定あるいは算出する処理（例えば、図６のステップＳ３２、図７のステップＳ５０）において、複数回の処理で求めたズレ量の差異（差分）を用いて処理を行ってもよい。

また、上記各実施形態では、眼鏡型の外形を有するフレーム２を備えた画像表示部２０、２０Ｂについて説明したが、フレーム２を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。すなわち、右表示駆動部２２及び左表示駆動部２４を含む光学系及びフレーム側センサー７６を支持する部分が眼鏡型であれば、外形は制限されない。また、カメラユニット３を、フレーム２に一体に設ける構成としてもよい。また、カメラユニット３は、フレーム２に対して、ヒンジ２１Ａ、２３Ａ以外の部材で連結して、より高い自由度で可動な構成にしてもよい。

また、例えば、上記第１、第２実施形態では、検出部として、２つの動きセンサーであるフレーム側センサー７６及びカメラユニットセンサー７８を用いて撮像部の相対位置、或いは、相対位置の変化を検出する例を示した。本発明はこれに限定されず、３以上のセンサーを用いることも勿論可能である。また、撮像部として一つのカメラ６１を備えた構成を例示したが、複数の撮像部を設けてもよい。この場合、複数の撮像部は互いの相対位置が固定されていてもよいし、それぞれの撮像部が、フレーム２に対して独立して変位可能な構成であってもよい。この場合、位置検出部１８４は、事前の設定に従って、いずれか一方、または両方の撮像部について変位または変位量を検出すればよい。ＡＲ表示制御部１８６は、事前に選択された一方の撮像部の位置に対応して表示位置を補正してもよく、両方の撮像部の位置を平均或いは合成した結果に基づき、表示位置を補正しても良い。

さらに、上記実施形態では、頭部装着型表示装置１００、１００Ｂは、画像表示部２０、２０Ｂと制御装置１０とが分離され、接続部４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置１０を、画像表示部２０、２０Ｂと一体に構成してもよい。また、頭部装着型表示装置１００、１００Ｂは、少なくとも、表示を行う画像表示部２０、２０Ｂが、使用者（作業者、指令者、ユーザー）の頭部に装着される装置であればよい。制御装置１０の装着状態は限定されない。このため、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２０Ｂと分離して構成され、制御装置１０と画像表示部２０、２０Ｂとの間で無線通信により各種信号を送受信する構成としてもよい。

また、例えば、画像表示部２０が画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学素子は、右導光板２６１、左導光板２６２に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。

また、図３に示した機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、ハードウェア資源の配置はブロック図の構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０、２０Ｂに形成されていてもよい。例えば、図４、図６に示す制御部１４０が、画像表示部２０、２０Ｂに設けられた構成としてもよく、この場合、制御部１４０と画像表示部２０、２０Ｂの制御部とが機能を分担してもよい。

２…フレーム（本体）、２Ｄ…テンプル部、２Ｅ…テンプル部、３…カメラユニット、３Ａ…アーム部、３Ｂ…アーム部、３Ｃ…カメラ台座部、１０…制御装置、２０、２０Ｂ…画像表示部（表示部）、２１…右保持部、２１Ａ、２３Ａ…ヒンジ、２３…左保持部、３５…カメラケース、３６…フレキシブルアーム、４０…接続部、６１…カメラ（撮像部）、６３…マイク、７６…フレーム側センサー（検出部）、７８…カメラユニットセンサー（検出部）、１００、１００Ｂ…頭部装着型表示装置（表示装置）、１２０…記憶部、１２１…設定データ、１２３…コンテンツデータ、１３５…操作部、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８４…位置検出部、１８６…ＡＲ表示制御部、１８７…音声処理部。

Claims (10)

1. 使用者の頭部に装着される本体を有し、
   前記本体に設けられ、外景を透過する表示部と、
   前記本体に設けられる撮像部と、
   前記表示部を透過して視認可能な視界領域における、前記撮像部の撮像範囲に含まれない領域の有無を判定する制御部と、を備え、
   前記撮像部と前記表示部との少なくとも一方は、前記本体に対して変位可能に設けられること、
   を特徴とする表示装置。
2. 前記撮像部は前記本体に対し変位可能に連結され、
   前記制御部は、前記本体に対する前記撮像部の相対位置を検出する検出部に接続され、前記検出部による検出結果に基づき、前記表示部を透過して視認可能な視界領域における前記撮像部の撮像範囲に含まれない領域の有無を判定すること、
   を特徴とする請求項１記載の表示装置。
3. 前記制御部は、前記視界領域で前記撮像部の撮像範囲に含まれない領域があると判定した場合に、前記撮像部が変位可能な範囲を求めること、
   を特徴とする請求項２記載の表示装置。
4. 前記制御部は、前記視界領域で前記撮像部の撮像範囲に含まれない領域があると判定した場合に、前記表示部に、前記撮像部の撮像範囲を示す表示をさせること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記制御部は、前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示させ、前記コンテンツの表示位置を、前記視界領域で前記撮像部の撮像範囲に含まれない領域に関する判定結果に基づいて調整すること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記制御部は、前記表示部に仮想オブジェクトを表示させ、前記仮想オブジェクトの表示中に前記撮像部により撮像された撮像画像に基づき、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記制御部は、前記表示部に表示される仮想オブジェクトの表示位置に対応して操作された指示体を含む外景を前記撮像部により撮像した撮像画像に基づき、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、
   を特徴とする請求項６記載の表示装置。
8. 前記制御部は、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めることで、予め設定された前記表示部の表示領域と前記撮像部の撮像範囲との相対位置に対するズレ量を求めること、
   を特徴とする請求項６または７記載の表示装置。
9. 前記制御部は、前記撮像部の撮像画像における前記表示部の表示領域の中心軸の位置を推定し、推定した前記表示部の表示領域の中心軸と前記撮像部の撮像範囲の中心とのズレ量から、前記表示部の表示領域と前記撮像部の撮像範囲との対応を求めること、
   を特徴とする請求項６から８のいずれかに記載の表示装置。
10. 使用者の頭部に装着される本体に、外景を透過する表示部と撮像部とを備え、前記撮像部と前記表示部との少なくとも一方は、前記本体に対して変位可能に設けられる表示装置において、
    前記表示部を透過して視認可能な視界領域における、前記撮像部の撮像範囲に含まれない領域の有無を判定すること、
    を特徴とする表示装置の制御方法。

Images