JP2017142294A - 表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】人間の視野角よりも広い範囲を見えるようにする表示装置、及び、表示装置の制御方法を提供する。【解決手段】使用者により装着される画像表示部２０であって、装着状態において使用者の眼前に位置する構成を有し、使用者が画像表示部２０を透過して外景を視認可能な画像表示部２０と、画像表示部２０を透過して使用者が外景を視認する透過視野の外部を含む範囲を撮像する複数の右撮像部８１、左撮像部８５と、右撮像部８１、左撮像部８５の撮像画像に基づき、透過視野の外の画像を画像表示部２０により表示させる制御部と、を備えることを特徴とするＨＭＤ１００。【選択図】図１

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、カメラ等の撮像手段を利用して、人間の視野の外や、人間の視野よりも広い範囲を撮像する装置及びシステムが提案されている（例えば、特許文献１、２参照）。特許文献１記載の装置は、車両の運転者のヘルメットに、ヘルメットマウントディスプレイと、車両の後方を撮像するＣＣＤカメラを設ける構成を有する。この装置は、画像を表示し、ＣＣＤカメラが撮像する後方の画像や車両情報を運転者に提供する。また、特許文献２記載のシステムは、複数対のステレオカメラを利用して、全３６０度のシーンを対象範囲とする画像データを補足する。

特開２０００−２８４２１４号公報 特開２０１１−１６０４４２号公報

特許文献１記載の装置は、車両の運転者に対し、後方に関する情報を提供する目的で、車両の後方を撮像する。このため、車両前方を見て運転を行う運転者の補助となり得るが、人間の視野角よりも広い範囲を見えるようにしたいというニーズに応えるものではない。また、特許文献２記載のように広い範囲を撮像することが可能であっても、この撮像画像を利用して、人間の視野角よりも広い範囲を見えるようにする手法が必要である。
本発明は上記事情に鑑みてなされたものであり、人間の視野角よりも広い範囲を見えるようにする表示装置、及び、表示装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明は、使用者により装着される表示部であって、装着状態において前記使用者の眼前に位置する構成を有し、前記使用者が前記表示部を透過して外景を視認可能な表示部と、前記表示部を透過して前記使用者が外景を視認する透過視野の外部を含む範囲を撮像する複数の撮像部と、複数の前記撮像部の撮像画像に基づき、前記透過視野の外の画像を前記表示部により表示させる制御部と、を備えることを特徴とする。
本発明によれば、使用者が眼前に位置する表示部を透過して外景を視認できる構成において、この表示部に、表示部を透過する視野外の画像を表示する。これにより、使用者は、眼前に位置する表示部により、表示部を透過する外景と、この外景の視野の外側とを視認できる。従って、使用者は、肉眼により視認する外景を含み、人間の視野角よりも広い範囲を見ることができる。

また、本発明は、上記表示装置において、複数の前記撮像部のそれぞれの撮像範囲は、互いに異なる範囲を含む、ことを特徴とする。
本発明によれば、複数の撮像部によって、より広い範囲を撮像することができるので、使用者は、より広い範囲を見ることができる。この場合、複数の撮像部が、例えば、互いに異なる範囲を含む撮像範囲を撮像するように設置される。

また、本発明は、上記表示装置において、前記撮像部は、前記撮像部が備える撮像レンズの光軸が前記透過視野の外を向くように設置される、ことを特徴とする。
本発明によれば、使用者が表示部を透過して視認する範囲とは異なる方向を撮像部が撮像する。これにより、使用者は、肉眼により視認する外景と撮像画像に基づき表示される画像を合わせて、より広い範囲を見ることができる。

また、本発明は、上記表示装置において、前記表示部の水平方向において左側に配置される少なくとも１の前記撮像部と、右側に配置される少なくとも１の前記撮像部とを備える、ことを特徴とする。
本発明によれば、使用者が、使用者を基準として水平方向に広い範囲を見ることができる。

また、本発明は、上記表示装置において、前記透過視野に含まれる範囲と前記撮像部の撮像範囲とを合わせた範囲は、少なくとも、前記使用者を中心として水平方向の全周囲を含む、ことを特徴とする。
本発明によれば、使用者が肉眼で視認する範囲と撮像部が撮像する範囲とを合わせて、使用者を中心とする周囲３６０度を視認可能とすることができる。これにより、使用者に対し、使用者の全周囲の外景の全部を見せたり、全周囲から選択される範囲を見せたりすることができる。

また、本発明は、上記表示装置において、少なくとも１の前記撮像部は魚眼レンズを備える、ことを特徴とする。
本発明によれば、魚眼レンズを用いて、使用者が肉眼で視認する視野の外を含む撮像範囲を撮像する。これにより、使用者に、より広い範囲の画像を見せることができる。

また、本発明は、上記表示装置において、前記透過視野の外を含む範囲を映す鏡面部を備え、少なくとも１の前記撮像部は、前記鏡面部に映る像を撮像する、ことを特徴とする。
本発明によれば、鏡面部に映る外景を撮像し、この撮像画像に基づく画像を表示するので、使用者に、より広い範囲の画像を見せることができる。

また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき、前記撮像画像に写る対象までの距離を求める距離検出部を備える、ことを特徴とする。
本発明によれば、使用者が表示部を透過して肉眼によって視認する視野の外にある対象について、表示装置からの距離を求めることができる。

また、本発明は、上記表示装置において、前記距離検出部により検出される前記対象までの距離、または、前記対象までの距離の変化が所定の条件に該当する場合に報知を行う報知部を備える、ことを特徴とする。
本発明によれば、使用者が表示部を透過して肉眼によって視認する視野の外にある対象に関し、使用者に対して報知できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者を基準とする水平方向において、前記透過視野の視認性を妨げない位置に、前記撮像部の撮像画像に基づく画像を表示させる、ことを特徴とする。
本発明によれば、使用者が肉眼によって視認する範囲を変化させずに、使用者が見ることができる範囲を拡張できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者を基準とする水平方向において、前記透過視野に重なる位置に、前記撮像部の撮像画像に基づく画像を表示させ、前記透過視野と前記撮像部の撮像画像に基づく画像とが重なる範囲に相当する画像を表示させる、ことを特徴とする。
本発明によれば、使用者が肉眼によって視認する範囲に重ねて画像を表示する場合に、撮像画像に基づく画像によって、重なりにより損なわれる視野を補うことができる。

また、上記目的を達成するために、本発明は、使用者により装着される表示部であって、装着状態において前記使用者の眼前に位置する構成を有し、前記使用者が前記表示部を透過して外景を視認可能な表示部を備える表示装置の制御方法であって、前記表示部を透過して前記使用者が外景を視認する透過視野の外部を含む範囲を撮像し、撮像した撮像画像に基づき、前記透過視野の外の画像を前記表示部により表示させること、を備えることを特徴とする。
本発明によれば、使用者が眼前に位置する表示部を透過して外景を視認できる構成において、この表示部に、表示部を透過する視野外の画像を表示する。これにより、使用者は、眼前に位置する表示部により、表示部を透過する外景と、この外景の視野の外側とを視認できる。従って、使用者は、肉眼により視認する外景を含み、人間の視野角よりも広い範囲を見ることができる。

本発明は、上述した表示装置の制御方法を実現するためのプログラムとして実現することも可能である。また、例えば、上記のプログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等、種々の形態で実現できる。

第１実施形態におけるＨＭＤの外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 画像表示部の構成及び表示領域を示す説明図。 右撮像部及び左撮像部の撮像範囲を示す説明図。 ＨＭＤのブロック図。 制御部及び記憶部の機能ブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤにより使用者が外景を視認する状態の説明図。 ＨＭＤの表示例を示す図。 ＨＭＤの表示例を示す図。 第２実施形態におけるＨＭＤの外観構成を示す説明図。 画像表示部の構成を示す要部斜視図。 右撮像部の構成をより詳細に示す要部拡大図。

［第１実施形態］
図１は、本発明を適用した第１実施形態に係るＨＭＤ１００の構成を示す図である。
ＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００は、後述するように使用者（ユーザー）が頭部に装着して使用する表示装置である。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０とを備える。

図１は、ＨＭＤ１００の外観構成を示す説明図である。
制御装置１０は、平たい箱形のケース１０Ａを備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者の操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者が操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を合わせて単に「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、右導光板２６及び左導光板２８を透過して使用者の眼に入射する外光を減衰させる機能、特定の波長成分のみを透過または反射させる機能、或いは、右導光板２６及び左導光板２８を保護する機能を持つものであってもよい。

ＨＭＤ１００は、右撮像部８１（撮像部）及び左撮像部８５（撮像部）を備える。右撮像部８１及び左撮像部８５は、使用者の頭部の側方から後方に跨がる範囲を撮像するカメラである。右撮像部８１、及び左撮像部８５は、ＣＣＤ（Charge Coupled Device）イメージセンサー、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子を備える。右撮像部８１及び左撮像部８５はステレオカメラで構成してもよいが、本実施形態の右撮像部８１及び左撮像部８５は単眼カメラである。
右撮像部８１及び左撮像部８５の構成や撮像範囲については後述する。

画像表示部２０の前部フレーム２７に、使用者の前方を撮像するカメラ（図示略）を設置してもよい。このカメラの位置及び方向は、例えば、使用者が画像表示部２０を装着した状態で視認する外景方向を撮像するように調整してもよい。例えば、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置、カメラを設置できる。このカメラは、図１に示す前部フレーム２７の端部ＥＲ側に設置してもよいし、端部ＥＬ側に設置してもよく、右導光板２６と左導光板２８との連結部に設置してもよい。このカメラは、例えば、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視野方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、このカメラは、使用者の視野と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えれば、画像表示部２０を透過する外光により使用者が外景を見る視線方向と重複する方向とすることができる。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。右表示ユニット２２は使用者の右眼ＲＥに画像を視認させる構成を有する。具体的には、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１、及び、右光学系２５１を備える。右光学系２５１は、ＯＬＥＤユニット２２１が発する画像光Ｌを導く光学部材を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成を有する。具体的には、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１、及び、ＯＬＥＤユニット２４１が発する画像光Ｌを導く光学部品を備えた左光学系２５２を備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを合わせて「左導光部」とも呼び、右光学系２５１と右導光板２６とを合わせて「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図１に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

制御装置１０は、使用者により操作される***作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの***作部はケース１０Ａの表面に配置される。

ボタン１１は、制御装置１０を操作するためのキーやスイッチを備え、これらのキーやスイッチは押圧操作により変位する。例えば、ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図６）等に関する操作を行うためのメニューキー、ホームキー、「戻る」キーを含む。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチである。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式或いは他の方式を採用できる。トラックパッド１４への接触（タッチ操作）は、後述するタッチセンサー１３（図５）により検出される。トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの光はトラックパッド１４を透過して、操作用のアイコン等を表示する。このアイコン等はソフトウェアボタンとして機能する。

図３は、画像表示部２０の構成及び表示領域を示す説明図であり、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。

図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。ＨＭＤ１００では、右導光板２６及び左導光板２８が使用者に画像を視認させる領域を表示領域と呼ぶことができる。表示領域は、図９に示すように実際に使用者が視覚で認識する領域を指してもよいが、ＨＭＤ１００の構造としてはハーフミラー２６１、２８１が表示領域を構成するということができる。

上述のように、右撮像部８１は右保持部２１の先端部に設置され、左撮像部８５は左保持部２３の先端部に設置される。右撮像部８１は、広角を撮像可能なカメラであり、本実施形態では、魚眼レンズ８２（撮像レンズ）を用いて超広角の画角を撮像する。左撮像部８５も同様に、広角を撮像可能なカメラであり、本実施形態では、魚眼レンズ８６（撮像レンズ）を用いて超広角の画角を撮像する。魚眼レンズ８２、８６の画角は特に制限されず、１８０度未満であってもよいが、例えば、１８０度、または１８０度を超える広角のレンズとすることが好ましい。魚眼レンズ８２、８６は、対角魚眼レンズ（Full-frame fisheye lens）であってもよいし、円周魚眼レンズ（Circular fisheye lens）（全周魚眼レンズともいう）であってもよい。右撮像部８１は、魚眼レンズ８２により集光された撮像素子により受光し、撮像素子の出力値から撮像画像データを生成する。右撮像部８１は、撮像画像データを、インターフェイス２１１（図５）を介して制御装置１０に出力する。左撮像部８５は、魚眼レンズ８６により集光された撮像素子により受光し、撮像素子の出力値から撮像画像データを生成する。左撮像部８５は、撮像画像データを、インターフェイス２１１（図５）を介して制御装置１０に出力する。
なお、右撮像部８１及び左撮像部８５は、使用者の後方を撮影できるように、右保持部２１、左保持部２３の先端部に設置することが好ましい。また、使用者の頭部や耳たぶ、髪の毛により撮像範囲が遮られないように、右保持部２１、左保持部２３の先端部から、右撮像部８１及び左撮像部８５がそれぞれ、使用者の後方に向けて突出する構成であってもよい。

図４は、右撮像部８１及び左撮像部８５の撮像範囲（画角）の説明図である。図４には、右撮像部８１及び左撮像部８５の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。また、図４には使用者の頭部の外縁を破線Ｈで示す。

図４では、右撮像部８１の画角をＶＣ１で示し、左撮像部８５の画角をＶＣ２で示す。なお、図４には水平方向の画角ＶＣ１、ＶＣ２を示すが、右撮像部８１及び左撮像部８５の実際の撮像範囲は一般的なデジタルカメラと同様に上下方向にも拡がる。
また、図４の視野角ＶＡは、画像表示部２０を透過して使用者が視認する外景の視野角を示す。ここで、外景とは、使用者の右眼ＲＥ及び左眼ＬＥが外光ＯＬ（図２）を受けて知覚する実空間の像であり、画像表示部２０の外側の景色である。

使用者は、肉眼すなわち右眼ＲＥと左眼ＬＥにより、視野角ＶＡの範囲内の外景を視認する。
一般に、人間の視野角（視野角ＶＡに相当）は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図４の対象ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。視野角ＶＡは、使用者が視認できる範囲を示しており、実視野に相当する。また、視野角ＶＡに含まれる範囲は、本発明の透過視野に相当する。

また、画像表示部２０の画像の表示領域を構成するハーフミラー２６１、２８１（図３）は、視野角ＶＡに含まれる。従って、使用者は、視野角ＶＡにおいて肉眼で外景と表示領域の画像とを視認する。
使用者が画像表示部２０を装着する装着状態において、右撮像部８１は、頭部Ｈに対して右側に位置する。右撮像部８１は、頭部Ｈを基準として右側方、及び、後方に跨がる画角ＶＣ１の範囲内を撮像する。画像表示部２０の装着状態において、左撮像部８５は、頭部Ｈに対して左側に位置する。左撮像部８５は、頭部Ｈを基準として左側方、及び、後方に跨がる画角ＶＣ２の範囲内を撮像する。

図４に示すように、視野角ＶＡ、画角ＶＣ１、ＶＣ２は、画像表示部２０から離れた位置で相互に重複する。従って、頭部Ｈに対し、水平方向における全周、言い換えれば３６０度の範囲が、視野角ＶＡ及び画角ＶＣ１、ＶＣ２を合わせた範囲に含まれる。従って、使用者は、水平方向における頭部Ｈの周囲の全てを、外景として肉眼で視認するか、或いは、右撮像部８１または左撮像部８５により撮像できる。

図４の例では、視野角ＶＡと画角ＶＣ１との交点Ｃ１、視野角ＶＡと画角ＶＣ２との交点Ｃ２、及び、画角ＶＣ１、ＶＣ２の交点Ｃ３は、いずれも、頭部Ｈから離れた位置にある。これら交点Ｃ１、Ｃ２、Ｃ３と頭部Ｈとの距離は、視野角ＶＡ、画角ＶＣ１、ＶＣ２の大きさにより定まり、例えば画角ＶＣ１、ＶＣ２が広角であるほど、頭部Ｈに近い位置となる。交点Ｃ１、Ｃ２、Ｃ３が頭部Ｈに近い方が、比較的好ましいといえる。

また、図４に明らかなように、右撮像部８１の光軸、即ち魚眼レンズ８２の光軸である光軸８１ＡＸは、視野角ＶＡの外にある。同様に、左撮像部８５の光軸、即ち魚眼レンズ８６の光軸である光軸８５ＡＸは、視野角ＶＡの外にある。従って、画角ＶＣ１と、画角ＶＣ２とは、それぞれ、視野角ＶＡの外側において広い範囲を撮像できる。

ＨＭＤ１００は、右撮像部８１、及び左撮像部８５の撮像画像に基づく画像を、画像表示部２０により表示する。このため、使用者は、視野角ＶＡを肉眼で視認し、視野角ＶＡの外の範囲を、画像表示部２０が表示する画像として視認できる。従って、使用者は、外光ＯＬにより肉眼で視認できる外景よりも広い範囲を見ることができる。また、右撮像部８１及び左撮像部８５の撮像画像に基づく画像を、使用者の眼前に位置する画像表示部２０の表示領域に表示する。このため、使用者は視野角ＶＡを肉眼で視認しながら、この視野角ＶＡ内に表示される画像を見るので、実視野である視野角ＶＡよりも広い範囲を光学的に知覚することができる。これにより、ＨＭＤ１００は、使用者の実視野を擬似的に拡大できる。

右撮像部８１、及び左撮像部８５は画像表示部２０に固定される。ここで、右撮像部８１及び左撮像部８５が、画角ＶＣ１、ＶＣ２の広さ、及び、光軸８１ＡＸ、８５ＡＸが変化しない構成であれば、右撮像部８１及び左撮像部８５がそれぞれ撮像する範囲及び方向は、画像表示部２０に対して固定される。
このため、右撮像部８１、及び、左撮像部８５の撮像画像における位置と、画像表示部２０における位置とを、予め対応付けておくことができる。また、画像表示部２０の表示領域における位置と、右撮像部８１及び左撮像部８５の撮像画像における位置とを対応付けることも可能である。ＨＭＤ１００は、これらの対応付けに関するデータを、例えば設定データ１２３に含めて記憶してもよい。

また、頭部Ｈに対する画像表示部２０の装着位置は、極端に変動することは考えにくく、通常は想定される装着状態に範囲内となるといえる。このため、視野角ＶＡと、右撮像部８１及び左撮像部８５の画角ＶＣ１、ＶＣ２のそれぞれとを、予め対応付けることも可能である。ＨＭＤ１００は、この対応付けに関するデータを、例えば設定データ１２３に含めて記憶してもよい。

図５は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。

メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）等の半導体記憶デバイス、或いはその他の不揮発性記憶デバイスで構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、及びＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０は、メインプロセッサー１４０に対して操作信号を出力する。
ＬＥＤ表示部１７は、ＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。

６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサーである。６軸センサー１１１は、上記のセンサーをモジュール化したＩＭＵ（Inertial Measurement Unit：慣性計測装置）であってもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格で無線通信を行う構成を具備してもよい。例えば、ＨＭＤ１００が、通信部１１７により、スマートフォンを含む携帯型電話機、パーソナルコンピューター、タブレット型コンピューター等とデータ通信を実行してもよい。

音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図１）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより、振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合、或いはその他の場合に、所定の振動パターンでバイブレーター１９により振動を発生する。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図１に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、右撮像部８１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータを記憶する。ＥＥＰＲＯＭ２１５は、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータ等を記憶する。これらのデータは、メインプロセッサー１４０がＨＭＤ１００を制御する場合に参照される。これらのデータの具体例として、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等が挙げられる。これらのデータは、例えば、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。

右撮像部８１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲに設置される。ＬＥＤインジケーター６７は、ＨＭＤ１００の動作状態に対応して点灯、消灯する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５に出力する。

左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、左撮像部８５、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。

左撮像部８５は、インターフェイス２３１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備える照度センサー６５、右撮像部８１、温度センサー２１７、及び、左表示ユニット２４が備える左撮像部８５、６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、ＬＥＤインジケーター６７を点灯または点滅させる。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

図６は、制御装置１０の制御系を構成する記憶部１２２、及び制御部１５０の機能ブロック図である。図６に示す記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。制御部１５０は、本発明の第２制御部、及び、判定部として機能する。

制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、表示設定データ１２４、報知設定データ１２５、及び撮像画像データベース１２６を記憶する。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。画像表示部２０における表示態様を指定する情報を、設定データ１２３に含めてもよく、例えば、表示制御部１４７の制御によって画像等を表示する表示領域における配置やサイズを定める情報を含んでもよい。

表示設定データ１２４は、右撮像部８１の撮像画像に基づく画像、及び、左撮像部８５の撮像画像に基づく画像を、画像表示部２０により表示する場合の設定に係る情報を含む。表示設定データ１２４は、右撮像部８１の撮像画像に基づく画像、及び、左撮像部８５の撮像画像に基づく画像のそれぞれの表示位置及びサイズを指定する情報を含む。
また、表示設定データ１２４は、右撮像部８１の撮像画像に基づく画像、及び、左撮像部８５の撮像画像に基づく画像を表示する場合の表示輝度を設定する情報を含む。画像表示部２０の表示領域は視野角ＶＡに重なるので、画像表示部２０が表示する画像は外景と重ねて視認される。ここで、外光ＯＬ（図２）の光量が少ない場合に、画像表示部２０の表示領域における輝度、すなわち画像光Ｌの光量が多いと、外景と表示画像とが重複する領域において、表示画像の視認性が高いが、外景を視認しにくい状態になる。反対に、例えば、外光ＯＬの光量が多い場合に、画像光Ｌの光量が少ないと、外景と表示画像とが重複する領域において、表示画像の視認性が低く、外景を視認しやすい状態になる。表示設定データ１２４は、例えば、照度センサー６５の検出値に対応して、右撮像部８１の撮像画像に基づく画像、及び、左撮像部８５の撮像画像に基づく画像を表示する場合の輝度を設定するための情報を含む。この情報は、具体的には、パラメーター、行列式、演算式、ＬＵＴ等であってもよく、具体的な態様は限定されない。

また、表示設定データ１２４は、画像表示部２０の表示領域に表示される画像の輻輳角を設定する情報を含んでもよい。
輻輳角は、図４に示す視線ＲＤ、ＬＤがなす角度であり、画像表示部２０（或いは使用者の眼ＲＥ、ＬＥ）から対象ＯＢまでの距離が長いほど、角度が小さくなる。画像表示部２０に表示される画像を使用者が視認する場合、画像表示部２０の表示領域における画像の表示位置によって、視線ＲＤ、ＬＤの角度が決まり、この角度によって使用者が画像を知覚する距離が変わる。例えば、視線ＲＤ、ＬＤがなす角度が大きくなるように、右導光板２６における画像の表示位置と左導光板２８の画像の表示位置とを設定すると、使用者には、画像が使用者から近い位置にあるように見える。使用者が肉眼で、外景（実空間）の物体である対象ＯＢを注視する場合、画像表示部２０から対象ＯＢまでの距離と、使用者が画像を知覚する距離とが大きく異なると、使用者に違和感を与える可能性がある。このため、ＨＭＤ１００は、右導光板２６及び左導光板２８で画像を表示する表示位置を、使用者が注視する対象ＯＢまでの距離に合わせて調整する処理を行ってもよい。この調整の処理に使用する情報を、表示設定データ１２４に含めて記憶してもよい。

報知設定データ１２５は、右撮像部８１の撮像画像、及び／または左撮像部８５の撮像画像に基づいて、使用者に対する報知を行う動作に係る情報を含む。
ＨＭＤ１００は、後述するように、右撮像部８１及び／または左撮像部８５の撮像画像に、所定の条件を満たす被写体が写っている場合に、警告の報知を行う機能を有する。報知設定データ１２５は、報知を行う条件として予め設定される所定の条件を示す情報を含む。また、報知設定データ１２５は報知方法を指定する情報や、報知の内容を示す情報を含んでも良い。具体的には、画像表示部２０における表示により報知を行うか、右イヤホン３２、左イヤホン３４から音声を出力して報知を行うかを示す情報を含んでもよい。報知を行う際に表示するテキストや画像のデータ、表示色や表示サイズ等の表示形態を指定する情報を含んでもよい。また、報知により出力する音声データを含んでもよい。

撮像画像データベース１２６は、右撮像部８１及び左撮像部８５の撮像画像データを格納するデータベースである。

制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７（制御部）、撮像制御部１４９、及び、検出制御部１５５の機能を有する。オペレーティングシステム１４３の機能は、記憶部１２２が記憶する制御プログラムの機能であり、その他の各部は、オペレーティングシステム１４３上で実行されるアプリケーションプログラムの機能である。

画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御やその他の処理を行う。

表示制御部１４７は、右撮像部８１及び左撮像部８５の撮像画像、または、これらの撮像画像から生成される画像を表示する。表示制御部１４７は、表示設定データ１２４に含まれる情報に従って、これらの画像の表示位置、表示サイズ、及びその他の表示態様を決定する。また、表示制御部１４７は表示設定データ１２４に含まれる情報に基づいて、上記画像を表示する場合の輝度を設定し、調整する。
表示制御部１４７は、検出制御部１５５が表示による報知を実行すると判定した場合に、報知を行うためのテキストや画像を表示する。表示制御部１４７は、報知設定データ１２５に含まれる情報に従って、右表示ユニット２２及び左表示ユニット２４により報知用のテキストや画像の表示態様を決定する。

撮像制御部１４９は、右撮像部８１及び左撮像部８５を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。右撮像部８１及び左撮像部８５が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データを右撮像部８１及び左撮像部８５から取得して、撮像画像データベース１２６に記憶する。

撮像制御部１４９は、右撮像部８１及び左撮像部８５の撮像画像データに対し、幾何的補正処理を実行して、補正処理後の撮像画像データを撮像画像データベース１２６に記憶させてもよい。
右撮像部８１及び左撮像部８５は、魚眼レンズ８２、８６により撮像を行うため、撮像画像には歪みを生じている。例えば、魚眼レンズ８２、８６が全周魚眼レンズである場合、撮像画像は円形となる。また、魚眼レンズ８２、８６が対角魚眼レンズである場合、右撮像部８１及び左撮像部８５の撮像画像の外形は矩形であるが、内部で歪みを含む。このため、この撮像画像、或いは、この撮像画像の一部を切り出した画像を画像表示部２０により表示すると、外景に比べて視認性に劣る可能性がある。そこで、撮像制御部１４９は、右撮像部８１及び左撮像部８５の撮像画像データの歪みを補うように、幾何補正処理を実行してもよい。

検出制御部１５５は、撮像制御部１４９が取得した右撮像部８１及び左撮像部８５の撮像画像データを解析して、右撮像部８１または左撮像部８５が撮像した撮像画像に、報知の条件に該当する被写体が含まれるかを判定する。検出制御部１５５は、該当する被写体がある場合に、表示制御部１４７により報知の表示を実行させ、或いは、右イヤホン３２及び左イヤホン３４から報知の音声を出力させる。例えば、検出制御部１５５は、使用者の後方に位置する物体について、右撮像部８１及び左撮像部８５の撮像画像データに基づき距離を検出する。検出制御部１５５は、検出した距離の変化から物体の速度を算出し、使用者に対して所定速度以上で接近する物体がある場合に、報知を実行する。この場合の報知の条件は、例えば、頭部Ｈまたは画像表示部２０に対する物体（被写体）の位置、方向、速度である。
検出制御部１５５は、右撮像部８１及び左撮像部８５の撮像画像データに基づき、撮像画像データに写る物体までの距離を算出する処理において、距離検出部として機能する。また、検出制御部１５５は、表示制御部１４７による表示を用いた報知、および／または、右イヤホン３２および左イヤホン３４から音声を出力することによる報知を実行させる場合に、報知部として機能する。

ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。

図７は、ＨＭＤ１００の動作を示すフローチャートである。
図７に示す動作に先立ち、制御部１５０は、右表示ユニット２２及び左表示ユニット２４はＯＬＥＤユニット２２１、２４１を点灯させて表示可能な状態に移行させ、右撮像部８１及び左撮像部８５に撮像を開始させる。

表示制御部１４７は、表示設定データ１２４を参照して、右撮像部８１及び左撮像部８５の撮像画像に基づく画像を表示する表示形態等を決定する（ステップＳ１１）。
撮像制御部１４９は、右撮像部８１及び左撮像部８５のそれぞれを制御して撮像を開始させ、表示制御部１４７は、右撮像部８１及び左撮像部８５の撮像画像に基づく画像の表示を開始させる（ステップＳ１２）。

検出制御部１５５は、右撮像部８１及び左撮像部８５の撮像画像データを取得し（ステップＳ１３）、撮像画像を解析する（ステップＳ１４）。ステップＳ１４では、例えば、撮像画像に写っている実空間の物体を検出する。検出制御部１５５は、右撮像部８１の撮像画像データ、及び、左撮像部８５の撮像画像データを利用して、撮像画像に写っている物体までの距離を求める（ステップＳ１５）。ステップＳ１４において複数の物体が検出された場合、ステップＳ１５において、検出制御部１５５は、検出された複数の物体について距離を求めても良い。

ステップＳ１５では、例えば、右撮像部８１の撮像画像と左撮像部８５の撮像画像との両方に写っている物体について、三角測量により距離を求めてもよい。

また、検出制御部１５５は、ステップＳ１５で距離を求めた実空間の物体について、時間の経過に伴う距離の変化から、速度を算出する（ステップＳ１６）。
検出制御部１５５は、報知設定データ１２５に含まれる報知の条件に該当する物体があるか否かを判定する（ステップＳ１７）。報知の条件に該当する物体がある場合（ステップＳ１７；Ｙｅｓ）、検出制御部１５５は、報知設定データ１２５に設定された報知方法で報知を実行し（ステップＳ１８）、ステップＳ１３に戻る。

また、報知の条件に該当する物体がない場合（ステップＳ１７；Ｎｏ）、制御部１５０、動作を終了するか否かを判定する（ステップＳ１９）。制御装置１０の操作により動作終了が指示された場合等には、制御部１５０は本処理を終了する（ステップＳ１９；Ｙｅｓ）。動作を終了しない場合（ステップＳ１９；Ｎｏ）、制御部１５０はステップＳ１３に戻る。

図８は、ＨＭＤ１００により使用者が外景を視認する状態の説明図である。
図８に示す状態は右撮像部８１及び左撮像部８５の撮像画像に基づく画像を表示していない状態であり、画像表示部２０が画像を表示する表示領域Ｖの全体で、実視野ＦＶの外景が視認される。なお、図８、及び後述する図９、図１０には、表示領域Ｖを示すが、使用者の視野（図４の視野角ＶＡに相当）は、表示領域Ｖの外側にもある。この表示領域Ｖの外側では、外景が視認される。

図９はＨＭＤ１００の表示例を示す図である。
図９に示す例では、表示領域Ｖの下部に、右撮像部８１の撮像画像Ｐ１を表示する画像表示領域ＰＡ１と、左撮像部８５の撮像画像Ｐ２を表示する画像表示領域ＰＡ２とが配置される。図９の表示例では、使用者を基準とする水平方向において、視野角ＶＡの視認性を妨げない位置に、右撮像部８１、左撮像部８５の撮像画像Ｐ１、Ｐ２を表示するので、使用者が肉眼によって視認する範囲を変化させずに、使用者が見ることができる範囲を拡張できる。また、通常、人間は視野の中央付近でものを視認するため、図９に示すように、表示領域Ｖの下部にある画像表示領域ＰＡ１、ＰＡ２を配置しても、使用者が実視野ＦＶを視認する妨げになりにくい。画像表示領域ＰＡ１、ＰＡ２は、図８において実視野ＦＶが視認されていた領域に重なる。従って、表示制御部１４７は、表示設定データ１２４に従って、画像表示領域ＰＡ１、ＰＡ２の表示の輝度を、例えば照度センサー６５が検出する照度に基づき調整してもよい。

図１０はＨＭＤ１００の別の表示例を示す図である。
図１０に示す例では、表示領域Ｖの右端部に、右撮像部８１の撮像画像Ｐ１１を表示する撮画像表示領域ＰＡ１が配置される。また、表示領域Ｖの左端部に、左撮像部８５の撮像画像Ｐ２１を表示する画像表示領域ＰＡ２が配置される。
画像表示領域ＰＡ１、ＰＡ２は、図８において実視野ＦＶが視認されていた領域に重なる。このため、使用者が実視野ＦＶを視認する範囲が、左右方向において狭められる。そこで、表示制御部１４７は、使用者が表示領域Ｖにおいて画像表示領域ＰＡ１に重なる位置で視認する外景の画像を、右撮像部８１の撮像画像において特定する。表示制御部１４７は、特定した画像を含む、右撮像部８１の撮像画像Ｐ１１を、画像表示領域ＰＡ１に表示する。図１０の例では、撮像画像Ｐ１２は、画像表示領域ＰＡ１に重なる部分で視認されていた外景の画像である。同様に、表示制御部１４７は、使用者が表示領域Ｖにおいて画像表示領域ＰＡ２に重なる位置で視認する外景の画像を、左撮像部８５の撮像画像において特定する。表示制御部１４７は、特定した画像を含む、左撮像部８５の撮像画像Ｐ２１を、画像表示領域ＰＡ１に表示する。図１０の例では、撮像画像Ｐ２２は、画像表示領域ＰＡ２に重なる部分で視認されていた外景の画像である。
これにより、表示領域Ｖに画像表示領域ＰＡ１、ＰＡ２を配置することで、使用者が視認できる外景の範囲が縮小しても、この縮小分を撮像画像Ｐ１１、Ｐ１２により補うことができる。

また、図１０の例では、画像表示領域ＰＡ１に表示される撮像画像Ｐ１１、及び、画像表示領域ＰＡ２に表示される撮像画像Ｐ２１は、いずれも横方向に縮小されている。このため、水平方向に広い範囲を、限られたサイズの表示領域Ｖに表示できる。従って、右撮像部８１及び左撮像部８５の撮像画像によって、使用者の視野を視野角ＶＡよりも拡大できる。

［第２実施形態］
図１１は、本発明を適用した第２実施形態のＨＭＤ１０１の外観構成を示す説明図である。
本第２実施形態のＨＭＤ１０１は、ＨＭＤ１００（図１）において、画像表示部２０に代えて画像表示部２０１を有する。画像表示部２０１は、画像表示部２０（図１）の右撮像部８１に代えて右撮像部９１（撮像部）を設置し、左撮像部８５に代えて左撮像部９５（撮像部）を設置した構成を有する。その他の構成部は上記第１実施形態と共通であるため、同符号を付して説明を省略する。

右撮像部９１は、右撮像部８１（図１）と同様に右保持部２１の先端部に配置される。右撮像部９１及び左撮像部９５はステレオカメラで構成してもよいが、本実施形態の右撮像部９１及び左撮像部９５は単眼カメラである。

右撮像部９１は右保持部２１の先端部に設置され、左撮像部９５は左保持部２３の先端部に設置される。右撮像部９１は、広角を撮像可能なカメラであり、本実施形態では、鏡面を有する球面鏡９３と、球面鏡９３に映る鏡像を撮像するカメラ９２とを備える。また、左撮像部９５は、後述するように、球面鏡９７と、球面鏡９７に映る鏡像を撮像するカメラ９６とを備える。

図１２は、画像表示部２０１の構成を示す要部斜視図である。
この図１２に示すように、球面鏡９３は、右保持部２１の上部に固定される突起であり、球面鏡９３の下面が鏡面９３Ａとなっている。右保持部２１の下部には、球面鏡９３に対向する位置にカメラ９２が設置される。カメラ９２は、鏡面９３Ａを向くように設置され、鏡面９３Ａを撮像する。

図１３は右撮像部９１の構成を詳細に示す、右保持部２１の側面の要部拡大図である。
球面鏡９３は球体の１／４の形状を有し、鏡面９３Ａ（鏡面部）は下向きの球面である。なお、球面鏡９３は完全な球体の面を有するものに限定されなく、楕円体の一部であってもよい。
カメラ９２は、上向きに撮像レンズ９２Ａが取り付けられ、この撮像レンズ９２Ａで集光する光を検出する撮像素子を内蔵する。撮像レンズ９２Ａは鏡面９３Ａを画角に含むように取り付けられるレンズであって、広角レンズや魚眼レンズでなくてもよい。

また、左撮像部９５は右撮像部９１と左右対称に構成され、左保持部２３の側面に固定される。左撮像部９５が備える球面鏡９７は球体の１／４の形状を有し、鏡面９７Ａ（鏡面部）は下向きの球面である。球面鏡９７は完全な球体の面を有するものに限定されなく、楕円体の一部であってもよい。カメラ９６は、上向きに撮像レンズ９６Ａが取り付けられ、この撮像レンズ９６Ａで集光する光を検出する撮像素子を内蔵する。撮像レンズ９６Ａは鏡面９７Ａを画角に含むように取り付けられるレンズであって、広角レンズや魚眼レンズでなくてもよい。

カメラ９２、及びカメラ９６は、右撮像部８１及び左撮像部８５と同様に、制御部１５０の制御によって撮像を実行し、撮像画像データを出力する。すなわち、カメラ９２は、インターフェイス２１１（図５）に接続され、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。また、カメラ９６は、インターフェイス２３１（図５）に接続され、インターフェイス２３１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。

また、カメラ９２、９６が撮像する撮像画像は、球面である鏡面９３Ａ、９７Ａに映る鏡像であるから、実空間の外景に比べて歪みや反転を含んでいる。撮像制御部１４９は、カメラ９２、９６が撮像する撮像画像に対し、歪みを補正する幾何補正処理、および、必要に応じて反転処理を施してもよい。

この第２実施形態の構成では、カメラ９２によって、使用者の頭部Ｈの右側及び後方を含む広い範囲を撮像することができる。また、カメラ９６によって、頭部Ｈの左側及び後方を含む広い範囲を撮像できる。
カメラ９２の撮像画像に写る範囲は、例えば、図４に示した右撮像部８１の画角ＶＣ１相当とすることができる。また、カメラ９６の撮像画像に写る範囲は、例えば、図４に示した左撮像部８５の画角ＶＣ２相当とすることができる。
この第２実施形態で説明したように、魚眼レンズ８２、８６を有する魚眼カメラである右撮像部８１、及び左撮像部８５を用いなくても、広角の撮像範囲を実現できるカメラを利用して、本発明の表示装置を構成できる。

以上説明したように、本発明の表示装置、及び、表示装置の制御方法を適用した各実施形態のＨＭＤ１００は、使用者により装着される画像表示部２０を備える。画像表示部２０は、装着状態において使用者の眼前に位置する構成を有し、使用者が画像表示部２０を透過して外景を視認可能である。ＨＭＤ１００は、画像表示部２０を透過して使用者が外景を視認する視野角ＶＡに相当する視野の外部を含む範囲を撮像する複数の撮像部を備える。複数の撮像部は、例えば、右撮像部８１、および左撮像部８５である。また、右撮像部８１および左撮像部８５の撮像画像に基づき、透過視野の外の画像を画像表示部２０により表示させる表示制御部１４７を備える。ＨＭＤ１０１も同様である。また、右撮像部９１、左撮像部９５を備える構成とすることもできる。この構成によれば、使用者が眼前に位置する画像表示部２０を透過して外景を視認できる構成において、画像表示部２０に、画像表示部２０を透過する視野外の画像を表示する。これにより、使用者は、眼前に位置する画像表示部２０により、画像表示部２０を透過する外景と、この外景の視野の外側とを視認できる。従って、使用者は、肉眼により視認する外景を含み、人間の視野角よりも広い範囲を見ることができる。例えば、使用者が歩行中に、後方から近づいてくる自動車などを、複数の撮像部の撮像画像に基づき表示される画像により、察知することができる。また、例えば警備業務等の任にあたる人が使用すれば、人の視野角ＶＡを越える範囲を監視でき、監視能力を拡張できる。

また、複数の撮像部である右撮像部８１および左撮像部８５のそれぞれの撮像範囲は、互いに異なる範囲を含む。また、右撮像部９１と左撮像部９５についても同様とすることができる。この構成によれば、右撮像部８１および左撮像部８５によって、より広い範囲を撮像することができるので、使用者は、より広い範囲を見ることができる。この場合、複数の右撮像部８１および左撮像部８５が、例えば、互いに異なる範囲を含む撮像範囲を撮像するように設置される。

また、右撮像部８１および左撮像部８５は、右撮像部８１が備える撮像レンズとしての魚眼レンズ８２、および左撮像部８５の撮像レンズとしての魚眼レンズ８６の光軸が、透過視野に相当する視野角ＶＡの外を向くように設置される。右撮像部９１のカメラ９２が備える撮像レンズ９２Ａ、および、左撮像部９５のカメラ９６が備える撮像レンズ９６Ａも同様である。この構成によれば、使用者が画像表示部２０を透過して視認する範囲とは異なる方向を右撮像部８１、９１、左撮像部８５、９５が撮像する。これにより、使用者は、肉眼により視認する外景と撮像画像に基づき表示される画像を合わせて、より広い範囲を見ることができる。

また、ＨＭＤ１００、１０１は、画像表示部２０の水平方向において左側に配置される少なくとも１の左撮像部８５、９５と、右側に配置される少なくとも１の右撮像部８１、９１とを備える。この構成によれば、使用者が、使用者を基準として水平方向に広い範囲を見ることができる。

また、透過視野に相当する視野角ＶＡに含まれる範囲と、右撮像部８１および左撮像部８５の撮像範囲とを合わせた範囲は、少なくとも、使用者を中心として水平方向の全周囲を含む。右撮像部９１、および左撮像部９５を備えるＨＭＤ１０１においても同様である。この構成によれば、使用者が肉眼で視認する範囲と右撮像部８１、９１および左撮像部８５、９５が撮像する範囲とを合わせて、使用者を中心とする周囲３６０度を視認可能とすることができる。これにより、使用者に対し、使用者の全周囲の外景の全部を見せたり、全周囲から選択される範囲を見せたりすることができる。

また、ＨＭＤ１００が有する右撮像部８１および左撮像部８５は魚眼レンズ８２、８６を備える。この構成によれば、魚眼レンズ８２、８６を用いて、使用者が肉眼で視認する視野の外を含む撮像範囲を撮像する。これにより、使用者に、より広い範囲の画像を見せることができる。

また、ＨＭＤ１０１が有する右撮像部９１および左撮像部９５は、視野角ＶＡの外を含む範囲を映す球面鏡９３、９７を備える。右撮像部９１は、球面鏡９３の鏡面９３Ａに映る鏡像をカメラ９２により撮像し、左撮像部９５は、球面鏡９７の鏡面９７Ａに映る鏡像をカメラ９６により撮像する。この構成によれば、使用者に、より広い範囲の画像を見せることができる。

第１実施形態で魚眼レンズ８２、８６を用いる構成、及び、第２実施形態の球面鏡９３、９７を用いる構成のいずれにおいても、右撮像部８１、９１、左撮像部８５、９５は、広い範囲を撮像可能な構成である。この構成によれば、より少ない数のカメラによって広い撮像範囲をカバーできる。従って、カメラを含む構成部品の数が少ないことから、軽量化に有利である。

上記各実施形態の構成では、複数の撮像部の配置は任意に変更可能である。特に、第１、第２実施形態で説明したように、使用者の頭部に装着される画像表示部２０、２０１において、複数の撮像部が左右対称に配置されることが好ましい。この構成では、画像表示部２０、２０１の左右の重量バランス、或いは形状のバランスが良好になるという利点がある。重量バランスが好ましいことから、画像表示部２０、２０１の全体の耐久性の向上を図ることができる。また、強度を高めるための構造を最小限とすることができ、より一層の軽量化を図ることができる。さらに、使用者がＨＭＤ１００、１０１を装着する場合の画像表示部２０、２０１の装着感が良好になる。

また、ＨＭＤ１００、１０１は、検出制御部１５５によって、右撮像部８１、９１および左撮像部８５、９５の撮像画像に基づき、撮像画像に写る対象までの距離を求める。この構成によれば、使用者が画像表示部２０を透過して肉眼によって視認する視野の外にある対象について、ＨＭＤ１００、１０１からの距離を求めることができる。

また、ＨＭＤ１０１は、検出制御部１５５により検出される対象までの距離、または、対象までの距離の変化が所定の条件に該当する場合に、報知を行う。この構成によれば、使用者が画像表示部２０を透過して肉眼によって視認する視野の外にある対象に関し、使用者に対して報知できる。

また、表示制御部１４７は、例えば図９に示すように、使用者を基準とする水平方向において、視野角ＶＡの視認性を妨げない位置に、右撮像部８１、９１および左撮像部８５、９５の撮像画像に基づく画像を表示させる。このため、使用者が肉眼によって視認する範囲を変化させずに、使用者が見ることができる範囲を拡張できる。

また、表示制御部１４７は、使用者を基準とする水平方向において、視野角ＶＡに重なる位置に、右撮像部８１、９１および左撮像部８５、９５の撮像画像に基づく画像を表示させてもよい。この場合、表示制御部１４７は、例えば図１０に示すように、視野角ＶＡと右撮像部８１、９１および左撮像部８５、９５の撮像画像に基づく画像とが重なる範囲に相当する画像を表示させる。この構成によれば、使用者が肉眼によって視認する範囲に重ねて画像を表示する場合に、撮像画像に基づく画像によって、重なりにより損なわれる視野を補うことができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、右撮像部８１、９１、左撮像部８５、９５は、可視光による撮像を実行する構成であってもよいが、赤外カメラとして構成し、赤外光による撮像を行う構成であってもよい。また、撮像画像としてモノクロ画像を出力する構成であってもよいし、カラー画像を出力する構成であってもよく、撮像素子の仕様等も任意に構成してよい。

また、例えば、上記第１実施形態において、右撮像部８１は右保持部２１の先端部に設置され、左撮像部８５は左保持部２３の先端部に設置される構成を説明したが、本発明はこれに限定されない。例えば、右撮像部８１を、右表示ユニット２２の側方に配置してもよく、左撮像部８５を左表示ユニット２４の側方に配置してもよい。また、右撮像部８１及び左撮像部８５の高さ方向の位置についても特に制限されない。

また、ＨＭＤ１００、１０１において、右撮像部８１、９１、左撮像部８５、９５を配置する位置は、上記各実施形態に限定されない。ＨＭＤ１００、１０１が備える複数の撮像部により、図４に示す画角ＶＣ１、ＶＣ２を含む範囲を撮像できればよい。このため、例えば、画角ＶＣ１を複数の撮像部により撮像し、画角ＶＣ２を複数の撮像部により撮像する構成であってもよい。つまり、ＨＭＤ１００、１０１が備える撮像部の数は２に限定されず、３以上の撮像部を備えてもよい。この場合、表示制御部１４７は、複数の撮像部の撮像画像を合成して、１または複数の画像を生成し、生成した画像を画像表示部２０により表示してもよい。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図５、図６等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置や記録媒体に記憶されたプログラムを通信部１１７、外部コネクター１８４、外部メモリーインターフェイス１８６等により取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１０…制御装置、１４…トラックパッド、２０、２０１…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、２６…右導光板、２８…左導光板、６１…カメラ（撮像部）、６３…マイク、８１…右撮像部（撮像部）、８２…魚眼レンズ（撮像レンズ）、８５…左撮像部（撮像部）、８６…魚眼レンズ（撮像レンズ）、９１…右撮像部（撮像部）、９２…カメラ、９２Ａ…撮像レンズ、９３…球面鏡、９３Ａ…鏡面（鏡面部）、９５…左撮像部（撮像部）、９６…カメラ、９６Ａ…撮像レンズ、９７…球面鏡、９７Ａ…鏡面（鏡面部）、１００、１０１…ＨＭＤ（表示装置）、１１０…操作部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部、１２３…設定データ、１２４…表示設定データ、１２５…報知設定データ、１２６…撮像画像データベース、１４０…メインプロセッサー、１４３…オペレーティングシステム、１４５…画像処理部、１４７…表示制御部（制御部）、１４９…撮像制御部、１５０…制御部、１５５…検出制御部、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、Ｌ…画像光、ＯＬ…外光、ＶＡ…視野角、ＶＣ１、ＶＣ２…画角。

Claims (12)

1. 使用者により装着される表示部であって、装着状態において前記使用者の眼前に位置する構成を有し、前記使用者が前記表示部を透過して外景を視認可能な表示部と、
   前記表示部を透過して前記使用者が外景を視認する透過視野の外部を含む範囲を撮像する複数の撮像部と、
   複数の前記撮像部の撮像画像に基づき、前記透過視野の外の画像を前記表示部により表示させる制御部と、
   を備えることを特徴とする表示装置。
2. 複数の前記撮像部のそれぞれの撮像範囲は互いに異なる範囲を含む、ことを特徴とする請求項１記載の表示装置。
3. 前記撮像部は、前記撮像部が備える撮像レンズの光軸が前記透過視野の外を向くように設置される、ことを特徴とする請求項１または２記載の表示装置。
4. 前記表示部の水平方向において左側に配置される少なくとも１の前記撮像部と、右側に配置される少なくとも１の前記撮像部とを備える、ことを特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記透過視野に含まれる範囲と前記撮像部の撮像範囲とを合わせた範囲は、少なくとも、前記使用者を中心として水平方向の全周囲を含む、ことを特徴とする請求項１から４のいずれかに記載の表示装置。
6. 少なくとも１の前記撮像部は魚眼レンズを備える、ことを特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記透過視野の外を含む範囲を映す鏡面部を備え、少なくとも１の前記撮像部は、前記鏡面部に映る像を撮像する、ことを特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記撮像部の撮像画像に基づき、前記撮像画像に写る対象までの距離を求める距離検出部を備える、ことを特徴とする請求項１から７のいずれかに記載の表示装置。
9. 前記距離検出部により検出される前記対象までの距離、または、前記対象までの距離の変化が所定の条件に該当する場合に報知を行う報知部を備える、ことを特徴とする請求項８記載の表示装置。
10. 前記制御部は、前記使用者を基準とする水平方向において、前記透過視野の視認性を妨げない位置に、前記撮像部の撮像画像に基づく画像を表示させる、ことを特徴とする請求項１から９のいずれかに記載の表示装置。
11. 前記制御部は、前記使用者を基準とする水平方向において、前記透過視野に重なる位置に、前記撮像部の撮像画像に基づく画像を表示させ、
    前記透過視野と前記撮像部の撮像画像に基づく画像とが重なる範囲に相当する画像を表示させる、ことを特徴とする請求項１から９のいずれかに記載の表示装置。
12. 使用者により装着される表示部であって、装着状態において前記使用者の眼前に位置する構成を有し、前記使用者が前記表示部を透過して外景を視認可能な表示部を備える表示装置の制御方法であって、
    前記表示部を透過して前記使用者が外景を視認する透過視野の外部を含む範囲を撮像し、
    撮像した撮像画像に基づき、前記透過視野の外の画像を前記表示部により表示させること、
    を備えることを特徴とする表示装置の制御方法。

Images