JP2016033764A - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】装置外部の、外的な要因に対応して情報を出力する表示装置、表示装置の制御方法、および、プログラムを提供する。【解決手段】頭部装着型表示装置１００は、使用者の身体に装着して使用され、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、頭部装着型表示装置１００は、音を出力する右ヘッドホン３２及び左ヘッドホン３４を備える。さらに、使用者の視線方向の対象物を検出する対象検出部１７１と、検出した対象物と使用者との距離を検出する距離検出部１７３と、検出した距離に応じて右ヘッドホン３２及び左ヘッドホン３４の音の出力を制御する情報出力制御部１７９と、を備える。【選択図】図２

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。

従来、ウェアラブル表示装置において文章を表示する機能を備えたものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、表示された文章データの内容をユーザーが把握できるように、文章データの一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更する。

特開２０１４−５６２１７号公報

例えば特許文献１記載の装置は、表示する情報の内容に対応して表示属性を変更する。このように、表示する情報に対応して出力を制御する手法は提案されていたが、装置あるいは装置を使用するユーザーの外的な状況に対応して情報の出力を制御する手法は従来無かった。
本発明は、上述した事情に鑑みてなされたものであり、装置外部の、外的な要因に対応して情報を出力する表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者の身体に装着して使用される表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部と、前記使用者の視線方向の対象物を検出する対象検出部と、前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、前記距離検出部が検出した距離に応じて前記音出力部の音の出力を制御する音制御部と、を備えることを特徴とする。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。

また、本発明は、上記表示装置において、前記対象物に関する音データを取得するデータ取得部を備え、前記音制御部は、前記距離検出部が検出した距離が予め設定された距離より長い場合に、前記データ取得部により取得した音を前記音出力部で出力すること、を特徴とする。
本発明によれば、表示装置と対象物との間の距離に対応して音の出力を制御できる。

また、本発明は、上記表示装置において、前記使用者の視線方向を撮像する撮像部を備え、前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物を、撮像画像に基づき検出できる。

また、本発明は、上記表示装置において、前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物の状態を検出し、前記音制御部は、前記データ取得部により取得した音を、前記対象検出部が検出した前記対象物の状態に合わせて前記音出力部で出力すること、を特徴とする。
本発明によれば、撮像画像から検出される対象物の状態に対応して、音を出力できる。

また、本発明は、上記表示装置において、前記音制御部は、前記音出力部で人間の声または人間の声を模した音声を出力すること、を特徴とする。
本発明によれば、使用者に、人間の声または人間の声を模した音声を聞かせることができる。

また、本発明は、上記表示装置において、前記音制御部は、前記データ取得部で取得する音データを、予め設定された周波数域の成分を含む音データに変換し、変換した音データに基づく音を前記音出力部で出力すること、を特徴とする。
本発明によれば、音データが含む周波数成分を変換できるので、例えば、使用者が聞き取りやすい周波数帯域の成分を増やす、ノイズよりも人間の声が大きく聞こえるようにする等の処理が可能になる。

また、本発明は、上記表示装置において、前記音出力部は前記使用者が装着するヘッドホンであること、を特徴とする。
本発明によれば、使用者に出力する音が周囲に漏れにくいという利点がある。

また、本発明は、上記表示装置において、音検出部を備え、前記データ取得部は、前記音検出部で集音された音のデータを取得すること、を特徴とする。
本発明によれば、環境音を取得して、取得した音を出力できる。

また、本発明は、上記表示装置において、前記音制御部は、前記音検出部により、前記対象検出部で検出した前記対象物が発する音を検出し、検出した音または検出した音と同じ内容の音を前記音出力部で出力すること、を特徴とする。
本発明によれば、検出した音または検出した音と同じ内容の音を出力できる。

また、本発明は、上記表示装置において、前記音出力部は、前記距離検出部が検出した距離に基づき、前記データ取得部で取得する音データの周波数成分を変化させること、を特徴とする。
本発明によれば、対象物からの距離に基づき、出力する音の周波数成分を変化させることができる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置の制御方法であって、前記使用者の視線方向の対象物を検出し、検出した前記対象物と前記使用者との距離を検出し、検出した距離に応じて音の出力を制御すること、を特徴とする。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記使用者の視線方向の対象物を検出する対象検出部と、前記使用者の視線方向の対象物を検出する対象検出部と、前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、前記距離検出部が検出した距離に応じて音出力部の音の出力を制御する音制御部と、して機能させるためのプログラムである。
本発明によれば、表示装置の外的な要因に対応して音を出力できる。

頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の機能的構成を示すブロック図である。 頭部装着型表示装置の動作を示すフローチャートである。 音声出力処理を詳細に示すフローチャートである。 頭部装着型表示装置の典型的な適用例を示す説明図であり、（Ａ）は頭部装着型表示装置が利用される劇場の構成を示す模式図であり、（Ｂ）及び（Ｃ）は使用者の視野の例を示す。

図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するためのコントローラーとしても機能する。画像表示部２０は、単に「表示部」とも呼ぶ。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界（外景）を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、ヘッドホンプラグ３０を接続するためのジャックを有している。ヘッドホンプラグ３０からは、音出力部としての右ヘッドホン３２および左ヘッドホン３４が延伸している。ヘッドホンプラグ３０の近傍にはマイク６３（音検出部）が設けられている。ヘッドホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右ヘッドホン３２と左ヘッドホン３４のそれぞれに繋がっている。図１に示された右ヘッドホン３２および左ヘッドホン３４は、使用者の耳介に嵌め込まれるインナーイヤーヘッドホンである。これは一例であり、右ヘッドホン３２および左ヘッドホン３４は音を出力可能であればよい。
右ヘッドホン３２及び左ヘッドホン３４が、後述する音声処理部１７０及び情報出力制御部１７９の制御により出力する音は、例えば人間の声または人間の声を模した音声であるが、本発明はこれに限定されない。右ヘッドホン３２及び左ヘッドホン３４が出力する音が、使用者が聴覚により認識できる可聴域の音であればよく、動物の鳴き声、機械的な音、その他のあらゆる音を含む。本実施形態では上記のように人間の声または人間の声を模した音声を出力する例を説明する。
また、使用者が音声を聞くことができ、使用者の周囲へ音声が聞こえにくいように音声を出力できる構成であれば、使用者の周囲の人に影響を与えることなく、頭部装着型表示装置１００の使用者にのみ音声を聞かせることができるので、好ましい。例えば、右ヘッドホン３２および左ヘッドホン３４は、インナーイヤー型の他、カナル型ヘッドホン、耳掛け式ヘッドホン、使用者の耳介に被さる密閉型ヘッドホンやオープンエア型ヘッドホンであってもよい。さらに、右ヘッドホン３２及び左ヘッドホン３４に代えて、或いは右ヘッドホン３２及び左ヘッドホン３４に追加して、骨伝導スピーカーを頭部装着型表示装置１００に設けてもよい。この場合、骨伝導スピーカーは、使用者の頭部に接触しやすい右保持部２１及び左保持部２３のいずれか、又は両方に設けることが好ましい。

マイク６３の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性（Cardioid）、狭指向性（Supercardioid）、鋭指向性（Hypercardioid）、超指向性（Ultra Cardioid）等が挙げられる。マイク６３が指向性を有する場合、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク６３の指向性を確保するため、マイク６３またはマイク６３を収容する部品に構造的な特徴を持たせてもよい。例えば図１の例において、使用者が右ヘッドホン３２及び左ヘッドホン３４を装着した状態で、マイク６３の集音部が、使用者の視線方向を向くように、マイク６３及び連結部材４６が設計されていればよい。或いは、マイク６３を、右保持部２１または左保持部２３に埋込設置してもよい。この場合、右保持部２１または左保持部２３の前面側、すなわち右光学像表示部２６、左光学像表示部２８に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部２６及び左光学像表示部２８が面する方向、使用者が右光学像表示部２６及び左光学像表示部２８越しに見る視界の中心を向く方向、カメラ６１の撮影方向等と言い換えることができる。なお、マイク６３の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク６３の視線方向を調整する構成としてもよい。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとを切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、実施形態に係る表示システム１を構成する各部の機能ブロック図である。
図２に示すように、表示システム１は、外部機器ＯＡと、頭部装着型表示装置１００とを備える。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。

頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。

制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部１４０は、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、対象検出部１７１、距離検出部１７３、情報出力制御部１７９、及び、表示制御部１９０、として機能する。
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡから、頭部装着型表示装置１００により表示するコンテンツデータを取得する。コンテンツデータは、画像データやテキストデータ等の種々のデータとすることができる。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

頭部装着型表示装置１００は、使用者が右光学像表示部２６及び左光学像表示部２８を透過して外景を見ている場合に、この外景に重なるように、コンテンツデータに基づき画像を表示する。
対象検出部１７１は、カメラ６１に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ６１から出力されるが、カメラ６１が画像信号を出力して、対象検出部１７１が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部１７１は、取得した撮像画像データを解析し、撮像画像データに写っている対象物を検出する。対象物とは、カメラ６１の撮像方向すなわち使用者の視線方向に存在する物体または人である。また、対象物は映像や画像が投射された物体（壁面等の面を含む）を含んでもよく、或いは、この物体に投射された映像や画像を対象物としてもよい。
また、対象検出部１７１は、カメラ６１の撮像画像から対象物を検出し、さらに、対象物の状態を検出してもよい。

距離検出部１７３は、対象検出部１７１が検出した対象物までの距離を求める。例えば、距離検出部１７３は、カメラ６１の撮像画像において対象検出部１７１が検出した対象物の画像のサイズに基づき、対象物までの距離を求める。対象物が音を発する人や物である場合、距離検出部１７３は、音源までの距離を検出する機能を有する。
また、頭部装着型表示装置１００は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部２０の右保持部２１または右表示駆動部２２に設けることが好ましく、例えば、調光板２０Ａと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ６１の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部１７３は、カメラ６１または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置１００の使用者から対象物までの距離と見なすことができる。

情報出力制御部１７９（音制御部）は、対象検出部１７１及び距離検出部１７３の処理結果に基づき、画像表示部２０によって、画像を表示させる。画像表示部２０が表示する画像は、データ取得部ＤＡが取得するコンテンツデータに基づく画像である。例えばコンテンツデータが動画像、静止画像、文字、記号等を含む場合、情報出力制御部１７９は、コンテンツデータ、または、コンテンツデータから抽出される一部のデータを表示制御部１９０に出力し、表示制御部１９０が画像を表示する。
また、情報出力制御部１７９は、対象検出部１７１が検出した対象物について距離検出部１７３が検出した対象物までの距離、或いは、対象検出部１７１が検出した対象物の状態等に基づき、画像や文字の表示属性を制御してもよい。表示属性とは、例えば、コンテンツデータに含まれるテキストデータを表示する場合、文字の表示サイズ、表示色、字体、太字やイタリック等の文字装飾の有無等である。また、テキストデータの背景として、矩形、楕円形、円形等の形状の画像を配置することも可能であり、この背景の有無、背景のサイズ、形状、及び背景の透明度を表示属性に含めてもよい。画像データを表示する場合、表示属性は、例えば画像の表示サイズ、表示色、透明度等である。

また、情報出力制御部１７９は、右ヘッドホン３２及び左ヘッドホン３４の音声の出力を制御する。情報出力制御部１７９は、データ取得部ＤＡが取得したコンテンツデータに音声データ（音データ）が含まれる場合は、この音声データに基づき音声信号を生成して音声処理部１７０に出力する。また、データ取得部ＤＡが取得したコンテンツデータが音声データを含まない場合、情報出力制御部１７９は、マイク６３により集音された音声信号に基づき音声データを取得して記憶部１２０に記憶する。情報出力制御部１７９は、記憶部１２０に記憶した音声データに基づき音声信号を生成して音声処理部１７０に出力する。
ここで、情報出力制御部１７９は、対象検出部１７１が検出した対象物に関連する音声を出力するようにしてもよい。さらに、情報出力制御部１７９は、対象検出部１７１が検出した対象物の状態に合わせて、音声を出力してもよい。
また、情報出力制御部１７９が処理し、右ヘッドホン３２及び左ヘッドホン３４で出力する音は、使用者が聴覚により認識できる可聴域の音であればよく、人間の声または人間の声を模した音声、動物の鳴き声、機械的な音、その他のあらゆる音を含む。本実施形態では人間の声または人間の声を模した音声を出力する例を説明する。
さらに、情報出力制御部１７９は、コンテンツデータが含む音声データを、人間の聴覚特性に合わせて変換、或いは調整してもよい。同様に、マイク６３が集音した音声の音声データを変換、或いは調整してもよい。人間の可聴域は概ね20Hz〜20,000Hzであることが知られているが、個人差が大きく、さらに、加齢の影響により高周波数域が聞き取りにくくなることが知られている。また、多くの人が聞き取りやすいと感じる周波数域の音は、音圧が低くても良好に知覚される。そこで、情報出力制御部１７９は、音声データを、1,000Hz〜8,000Hzの周波数帯域の音を最も多く含む音声のデータとなるよう調整する。この周波数帯域は、より好ましくは、1,000Hz〜4,000Hzであり、さらに好ましくは2,500Hz〜4,000Hzであり、3,000Hz付近の成分を最も多く含むことが好ましい。また、情報出力制御部１７９は、頭部装着型表示装置１００の使用者の年齢が設定または入力される場合に、使用者の年齢に合わせて、右ヘッドホン３２及び左ヘッドホン３４が出力する音声の周波数成分の比を変化させるように、音声データを変換、或いは調整してもよい。
さらに、情報出力制御部１７９は、マイク６３で集音した音声のデータに対し、ノイズ成分を低減するノイズリダクション処理、及び／又は、音声の尖鋭度を高めるシャープネス処理を実行してもよい。ノイズリダクション処理で、情報出力制御部１７９は、例えばノイズ成分に相当する周波数帯域の成分を除去または低減させる処理を行う。このノイズとは、ホワイトノイズや低周波音のほか、人間の声や動物の声であってもよい。例えば、頭部装着型表示装置１００の使用者が劇場で観劇中に、ステージ上の人の声を聞き取りやすくするため、マイク６３が集音した音声のデータから観客の歓声を除く処理を行うこともできる。

音声処理部１７０は、情報出力制御部１７９により入力される音声信号を取得し、増幅して、連結部材４６に接続された右ヘッドホン３２内のスピーカー（図示略）および左ヘッドホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右ヘッドホン３２および左ヘッドホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。

また、音声処理部１７０は、マイク６３により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。生成した音声データは情報出力制御部１７９に出力される。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。

図３は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、情報出力制御部１７９の機能を利用する処理を示す。なお、図３には、頭部装着型表示装置１００がコンテンツデータに基づくテキストや画像の表示と、音声の出力とを行う動作を例示する。
制御部１４０は、まず、データ取得部ＤＡによりコンテンツデータを取得し、取得したデータを記憶部１２０に記憶する（ステップＳ１１）。

続いて、対象検出部１７１が、カメラ６１に撮像を実行させて撮像画像を取得し（ステップＳ１２）、撮像画像から対象物の画像を検出する（ステップＳ１３）。対象検出部１７１が対象物を検出する処理は、例えば２通り挙げられる。第１の処理は、検出する対象物の画像の特徴を示すデータが予め記憶部１２０に記憶されていて、このデータを利用する処理である。具体的には、対象検出部１７１は記憶部１２０から画像の特徴を示すデータを取得し、この特徴に合致する部分を、撮像画像において検索する。この第１の処理で検出される対象物は、予め記憶部１２０に記憶されたデータにマッチする対象物である。第２の処理は、対象検出部１７１が撮像画像において輪郭を抽出することにより、撮像画像に写っている人または物体の画像を切り出し、所定以上の大きさの画像が切り出された場合に、切り出した画像を対象物の画像とする処理である。第１及び第２の処理で複数の対象物の画像が検出された場合、対象検出部１７１は、使用者の視線方向により近い１つの対象物を選択してもよい。例えば、カメラ６１の撮像画像において中心に近い対象物の画像を選択すればよい。

次に、距離検出部１７３が、対象検出部１７１により検出された対象物までの距離を検出する距離検出処理を実行する（ステップＳ１４）。
さらに、情報出力制御部１７９が表示処理を実行し、ステップＳ１１で取得したコンテンツデータの一部を抽出して、画像表示部２０に画像を表示する（ステップＳ１５）。

ここで、情報出力制御部１７９は、距離検出部１７３が検出した対象物までの距離が、設定値よりも長い距離であるか否かを判定する（ステップＳ１６）。そして、検出した距離が設定値よりも長い場合（ステップＳ１６；ＹＥＳ）、音声出力処理を実行して（ステップＳ１７）、右ヘッドホン３２及び左ヘッドホン３４から音声を出力し、ステップＳ１８に移行する。音声出力処理の詳細は図４を参照して後述する。設定値は、音声を出力する基準として予め設定され、記憶部１２０に記憶される値である。
また、距離検出部１７３が検出した距離が設定値以下の場合（ステップＳ１６；ＮＯ）、音声出力処理を実行せずステップＳ１８に移行する。

ステップＳ１８で、制御部１４０は、ステップＳ１で取得したコンテンツデータの全てについてステップＳ１２〜Ｓ１６で処理したか否かを判定する。未処理のデータがある場合（ステップＳ１８；ＮＯ）、制御部１４０はステップＳ１２に戻り、未処理のデータに対する処理を行う。また、全てのデータの処理が済んだ場合（ステップＳ１８；ＹＥＳ）、制御部１４０は表示を終了するか否かを判定する（ステップＳ１９）。表示を継続する場合（ステップＳ１９；ＮＯ）、制御部１４０はステップＳ１１に戻る。また、操作部１３５が検出した操作等に従って表示を終了する場合（ステップＳ１９；ＹＥＳ）、制御部１４０は画像表示部２０の表示を停止させて本処理を終了する。

図４は、音声出力処理を詳細に示すフローチャートである。
情報出力制御部１７９は、データ取得部ＤＡが取得したコンテンツデータが音声データを含むか否かを判定する（ステップＳ２１）。コンテンツデータが音声データを含む場合（ステップＳ２１；ＹＥＳ）、情報出力制御部１７９は、コンテンツデータから、対象検出部１７１が検出した対象物に関連する音声データを抽出する（ステップＳ２２）。情報出力制御部１７９は、ステップＳ２２で抽出した音声データに基づき音声信号を生成して音声処理部１７０に出力し、右ヘッドホン３２及び左ヘッドホン３４から音声を出力する（ステップＳ２３）。

一方、コンテンツデータが音声データを含まない場合（ステップＳ２１；ＮＯ）、情報出力制御部１７９は、マイク６３が集音した音声に基づき生成された音声データを取得する（ステップＳ２４）。情報出力制御部１７９は、ステップＳ２４で取得した音声データに基づき音声信号を生成して音声処理部１７０に出力し、右ヘッドホン３２及び左ヘッドホン３４から音声を出力する（ステップＳ２３）。
なお、ステップＳ２２で、コンテンツデータに含まれる音声データに、対象物に関連する音声データがない場合、ステップＳ２４に移行してもよい。また、頭部装着型表示装置１００の動作中、音声処理部１７０が、マイク６３が集音した音声に基づき音声データを生成して記憶部１２０に記憶するようにしてもよい。この場合、情報出力制御部１７９は、ステップＳ２４で、音声処理部１７０が生成した音声データを記憶部１２０から取得すればよい。

図５は、頭部装着型表示装置１００の典型的な適用例を示す説明図である。図５（Ａ）は頭部装着型表示装置１００が利用される劇場ＴＨの構成を示す模式図であり、図５（Ｂ）及び（Ｃ）は、劇場ＴＨで頭部装着型表示装置１００を使用する使用者の視野ＶＲの例を示す。視野ＶＲは、画像表示部２０の右光学像表示部２６及び左光学像表示部２８越しに、使用者が見る視野である。画像表示部２０は外景を透過して視認可能であるという特性を有するので、視野ＶＲには、ステージＳＴが見えている。視野ＶＲには、ステージＳＴの上方及び左右端に配置されたカーテンＣＴ、ステージＳＴの左右の側方にある舞台袖ＳＳが含まれる。ステージＳＴには出演者Ａの姿が見える。この例ではステージＳＴ上に出演者Ａが居り、使用者は出演者Ａを見ている。

図５（Ａ）に示す劇場ＴＨは、ステージＳＴを向くように、頭部装着型表示装置１００の使用者を含む観客用の座席ＳＨが多数配置された構成を有する。頭部装着型表示装置１００の使用者は、座席ＳＨに着席してステージＳＴを見るときに、頭部装着型表示装置１００を使用する。

例えば、ステージＳＴに近い座席ＳＨ１に使用者が着席する場合の使用者の視野ＶＲを図５（Ｂ）に示す。この視野ＶＲはステージＳＴの中央にいる出演者Ａの姿を中心として、比較的狭い範囲を含む。
この例では、データ取得部ＤＡが取得するコンテンツデータは、劇場ＴＨで上演される演劇プログラムに関するテキストデータを含む。より詳細には、出演者Ａが発話する台詞、及び、演劇プログラムに関する説明のテキストを含み、ステップＳ１１（図３）で演劇プログラム全体、または、一部についてテキストデータが取得される。
例えば、このテキストデータが複数の台詞、及び／又は複数の説明のテキストを含む場合、情報出力制御部１７９は、ステップＳ１１で取得されたコンテンツデータを、演劇プログラムの進行に合わせて複数回に分けて表示してもよい。この場合、コンテンツデータに、テキストデータとともに、テキストデータを表示するタイミングを示すデータを含めてもよい。図５（Ｂ）の例では、出演者Ａの台詞のテキストデータに基づき、テキスト３１１が表示される。
使用者が座席ＳＨ１に着席している場合、出演者Ａが発する音声を直接、使用者が聞くことが可能である。このため、頭部装着型表示装置１００は、観劇に影響しないように、音声の出力を行わない。

図５（Ｃ）は、例えば、ステージＳＴから離れた位置にある座席ＳＨ２に使用者が着席する場合の使用者の視野ＶＲを示す。この視野ＶＲはステージＳＴの中央にいる出演者Ａの姿を中心として、カーテンＣＴ及び舞台両側の舞台袖ＳＳを含む、広い範囲に及ぶ。図５（Ｃ）の例では、出演者Ａの台詞であるテキストデータに基づき、テキスト３１１が表示される。

使用者が座席ＳＨ２に着席している場合、頭部装着型表示装置１００から出演者Ａまでの距離は、設定値（図３のステップＳ１６）より長い。このため、情報出力制御部１７９は、データ取得部ＤＡが取得したコンテンツデータに含まれる音声データ、または、マイク６３により集音した音声の音声データに基づき、音声を出力する。

この例では、対象検出部１７１は、使用者の視線方向の対象物として出演者Ａを検出する。情報出力制御部１７９は、コンテンツデータに音声データが含まれる場合、出演者Ａに関連する音声データを抽出して音声を出力する。
マイク６３が上述したように指向性を有する場合、ステージＳＴから聞こえる音声を集音する。このため、マイク６３が集音する音声はステージＳＴに関係する音声であり、出演者Ａが声を発している場合は、この声が集音される。従って、情報出力制御部１７９は、マイク６３が集音した音声の音声データに基づく音声を出力する。
ステージＳＴから離れた座席ＳＨ２にいる使用者には、出演者Ａの声などは聞こえないか、聞こえにくい。このような状況で、頭部装着型表示装置１００は、使用者に対して出演者Ａの音声を出力できる。頭部装着型表示装置１００は右ヘッドホン３２、左ヘッドホン３４から音声を出力するので、出力する音声が劇場ＴＨ内の他の観客に聞こえることはなく、周囲の人に不快感を与えない。
この場合、情報出力制御部１７９は、ノイズリダクション処理を実行して、マイク６３で集音された音声のデータから、出演者Ａの声以外の音、例えば観客の声を低減させる処理を行ってもよい。

さらに、情報出力制御部１７９は、対象検出部１７１が検出した対象物の状態に合わせて、音声を出力することもできる。図５（Ｃ）の例では、対象検出部１７１は、撮像画像から対象物である出演者Ａを検出し、対象物の状態として、出演者Ａの口が開いている状態か否かを検出してもよい。この場合、情報出力制御部１７９は、出演者Ａの口が開いている状態か否かを示すデータを、対象検出部１７１から取得する。情報出力制御部１７９は、例えば、出演者Ａの口が開いている状態のときに、右ヘッドホン３２、左ヘッドホン３４から音声を出力する。この場合、頭部装着型表示装置１００の使用者に、出演者Ａが発する音声そのものを聞いている状態に近い、自然な音声を聞かせることができる。また、情報出力制御部１７９は、出演者Ａの口の形状や動きを解析して、音声を出力するタイミングを調整してもよい。
この場合、情報出力制御部１７９は、距離検出部１７３が検出した距離に対応して、右ヘッドホン３２及び左ヘッドホン３４から音声を出力するタイミングを調整してもよい。例えば、使用者がステージＳＴから離れた座席ＳＨに着席している場合、ステージＳＴ上の出演者Ａの声が使用者に届くまでには時間がかかる。このため、距離検出部１７３は、撮像画像データに基づき音声の出力タイミングを決定し、さらに、距離検出部１７３が検出する距離に基づき音声の出力タイミングを補正してもよい。

また、情報出力制御部１７９は、マイク６３により集音した音声から、特定の人（例えば、出演者Ａ）の音声を抽出して、抽出した音声を強調して右ヘッドホン３２及び左ヘッドホン３４で出力してもよい。マイク６３が指向性を有する場合は、集音した音声を解析して人ごとに音声を分離し、最も音量の大きい人の音声を抽出すればよく、カメラ６１の撮像画像に基づき特定の音声を抽出してもよい。
また、情報出力制御部１７９は、マイク６３により集音した音声に基づき、音声の内容を解析し、集音した音声のデータを音声の内容に基づき調整、或いは変更してもよい。例えば、情報出力制御部１７９は、マイク６３で集音した音声が人間の声（例えば、オペラ歌手の歌唱など）である場合に、人間の声が聞きやすくなるように、特定の周波数帯域の音量を強調する等の処理を行う。また、集音した音声の内容が、ダイナミックレンジが広い楽曲である場合、高音及び低音を強調するよう音声データを処理してもよい。さらに、右ヘッドホン３２及び左ヘッドホン３４が、骨伝導スピーカーやサブウーファーを有する構成である場合、これらの骨伝導スピーカーやサブウーファーに適した周波数帯域の音量を増幅してもよい。

また、頭部装着型表示装置１００を使用する環境（例えば、劇場ＴＨ）で音声がスピーカー等により出力されている場合や、楽器の演奏音など使用者が聞いている音声が頭部装着型表示装置１００の環境で集音可能な場合に、これらの環境中の音声と協調させて情報出力制御部１７９が音声を出力してもよい。例えば、情報出力制御部１７９は、距離検出部１７３により検出される音源までの距離に対応して、残響時間等を反映して、音声データの変換、調整、及び／又は右ヘッドホン３２、左ヘッドホン３４の音の出力タイミングの調整を行ってもよい。この場合、使用者は、音源から離れた位置にいても、臨場感のある高音質の音声を聞くことができる。
さらに、情報出力制御部１７９は、データ取得部ＤＡにより取得した音声データを、マイク６３で集音する環境音と強調させて出力してもよい。
或いは、情報出力制御部１７９は、使用者個人に心地よいバランスを分析し、マイク６３で集音した音声の音声データと、データ取得部ＤＡにより取得した音声データを、使用者に適した音となるよう調整または変換してもよい。また、マイク６３で集音した音声の音声データとデータ取得部ＤＡにより取得した音声データとを合成する際に、周波数成分ごとの音量の比等を、使用者に適した音声となるよう調整してもよい。この合成時の配分は、自動的に解析して決定してもよいし、予め設定されてもよいし、使用者が制御装置１０を操作して設定してもよい。

頭部装着型表示装置１００は、図１に示すように,右ヘッドホン３２及び左ヘッドホン３４が、右保持部２１及び左保持部２３と分離された構成である。このため、使用者は、右ヘッドホン３２または左ヘッドホン３４のいずれか一方を装着し、他方の耳で環境音を聞く使用方法も可能である。この場合、情報出力制御部１７９は、使用者が装着する側のヘッドホンに、モノラル音声を出力してもよく、使用者が右ヘッドホン３２と左ヘッドホン３４の両方を装着する場合にステレオ音声に切り替えて出力してもよい。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置１００は、使用者の身体に装着して使用され、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、頭部装着型表示装置１００は、音声を出力する右ヘッドホン３２及び左ヘッドホン３４を備える。さらに、使用者の視線方向の対象物を検出する対象検出部１７１と、検出した対象物と使用者との距離を検出する距離検出部１７３と、検出した距離に応じて右ヘッドホン３２及び左ヘッドホン３４の音声の出力を制御する情報出力制御部１７９と、を備える。これにより、頭部装着型表示装置１００の外的な要因に対応して音声を出力できる。

また、頭部装着型表示装置１００は、対象物に関する音声データを取得するデータ取得部ＤＡを備える。情報出力制御部１７９は、距離検出部１７３が検出した距離が予め設定された距離より長い場合に、データ取得部ＤＡにより取得した音声を右ヘッドホン３２及び左ヘッドホン３４で出力する。このため、頭部装着型表示装置１００と対象物との間の距離に対応して音声の出力を制御できる。
また、頭部装着型表示装置１００は、使用者の視線方向を撮像するカメラ６１を備え、対象検出部１７１は、カメラ６１の撮像画像に基づき、使用者が画像表示部２０を透過して視認する対象物を検出する。このため、使用者の視線方向の対象物を、撮像画像に基づき検出できる。

また、対象検出部１７１は、カメラ６１の撮像画像に基づき、使用者が画像表示部２０を透過して視認する対象物の状態を検出し、情報出力制御部１７９は、データ取得部ＤＡにより取得した音声を、対象検出部１７１が検出した対象物の状態に合わせて右ヘッドホン３２及び左ヘッドホン３４で出力する。このため、撮像画像から検出される対象物の状態に対応して、音声を出力できる。
また、音声出力部として、使用者が装着する右ヘッドホン３２及び左ヘッドホン３４を用いることで、使用者に出力する音声が周囲に漏れにくいという利点がある。
また、頭部装着型表示装置１００は、音声を検出するマイク６３を備える。情報出力制御部１７９は、マイク６３により、対象検出部１７１で検出した対象物が発する音声を検出し、検出した音声または検出した音声と同じ内容の音声を右ヘッドホン３２及び左ヘッドホン３４で出力する。これにより、頭部装着型表示装置１００は、検出した音声または検出した音声と同じ内容の音声を出力できる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、情報出力制御部１７９が、距離検出部１７３が検出した距離に基づいて音声の出力の可否を判定したが、本発明はこれに限定されず、使用者の操作、或いは事前に設定された条件に従って、音声の出力の可否を判定してもよい。図５（Ａ）の例で、頭部装着型表示装置１００の使用者がステージＳＴに近い位置に着席している場合に、使用者の操作により音声を出力してもよい。
また、情報出力制御部１７９は、コンテンツデータに含まれるテキストデータを、テキスト読み上げ処理によって音声データに変換して、この音声データに基づき音声を出力してもよい。さらに、情報出力制御部１７９は、音声を出力する間に画像表示部２０に表示されるテキストや画像等が、出力する音声に関連するテキストや画像等である場合、音声の出力に合わせて表示態様を変えてもよい。具体的には、図５（Ｃ）に示すテキスト３１１が出演者Ａの台詞であり、出演者Ａの台詞の音声を出力する場合、音声出力中にテキスト３１１の表示属性を変化させてもよい。この場合、音声の出力状態に合わせてテキストや画像の表示に演出効果を持たせることができ、出力中の音声に関する情報を提供できる。

また、上記実施形態では、頭部装着型表示装置１００が制御装置１０と画像表示部２０とを備え、本体コード４８で接続する構成を例示した。本発明はこれに限定されず、制御装置１０が有する機能部を画像表示部２０に一体に収容してもよい。例えば、画像表示部２０が電源１３０（図２）の二次電池を収容する。この場合、頭部装着型表示装置１００は、外見的に、使用者の頭部に装着される画像表示部２０のみとなるが、その機能は本発明の適用に十分である。
この頭部装着型表示装置１００に対し、パーソナルコンピューター、スマートフォン、タブレット型コンピューター、腕時計型コンピューター等の、処理機能を備えた情報処理装置が表示用のデータを送信し、画像表示部２０が表示用のデータを受信して表示する構成としてもよい。この場合、頭部装着型表示装置１００は、上記の情報処理装置のディスプレイとして機能する。或いは、頭部装着型表示装置１００を、処理機能を備えた情報処理装置として使用する態様も可能である。この場合、頭部装着型表示装置１００は、制御部１４０のＣＰＵがプログラムを実行することにより、各種の機能を実現できる。或いはまた、制御装置１０と画像表示部２０の機能を、図２の例とは異なる配置とすることも可能であり、例えば、決定キー１１、表示切替キー１３、トラックパッド１４、及び操作部１３５を、制御装置１０と画像表示部２０のそれぞれに設けてもよい。

また、画像表示部として、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１…表示システム、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、３２…右ヘッドホン（音出力部）、３４…左ヘッドホン（音出力部）、６１…カメラ（撮像部）、６３…マイク（音検出部）、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…音声処理部、１７１…対象検出部、１７３…距離検出部、１７９…情報出力制御部（音制御部）、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、３１１…テキスト、ＤＡ…データ取得部。

Claims (12)

1. 使用者の身体に装着して使用される表示装置であって、
   外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
   音を出力する音出力部と、
   前記使用者の視線方向の対象物を検出する対象検出部と、
   前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、
   前記距離検出部が検出した距離に応じて前記音出力部の音の出力を制御する音制御部と、
   を備えることを特徴とする表示装置。
2. 前記対象物に関する音データを取得するデータ取得部を備え、
   前記音制御部は、前記距離検出部が検出した距離が予め設定された距離より長い場合に、前記データ取得部により取得した音データに基づく音を前記音出力部で出力すること、
   を特徴とする請求項１記載の表示装置。
3. 前記使用者の視線方向を撮像する撮像部を備え、
   前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、
   を特徴とする請求項２記載の表示装置。
4. 前記対象検出部は、前記撮像部の撮像画像に基づき、前記使用者が前記表示部を透過して視認する前記対象物の状態を検出し、
   前記音制御部は、前記データ取得部により取得した音データに基づく音を、前記対象検出部が検出した前記対象物の状態に合わせて前記音出力部で出力すること、
   を特徴とする請求項３記載の表示装置。
5. 前記音制御部は、前記音出力部で人間の声または人間の声を模した音声を出力すること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記音制御部は、前記データ取得部で取得する音データを、予め設定された周波数域の成分を含む音データに変換し、変換した音データに基づく音を前記音出力部で出力すること、を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記音出力部は前記使用者が装着するヘッドホンであること、を特徴とする請求項１から６のいずれかに記載の表示装置。
8. 音検出部を備え、
   前記データ取得部は、前記音検出部で集音された音のデータを取得すること、
   を特徴とする請求項１から７のいずれかに記載の表示装置。
9. 前記音制御部は、前記音検出部により、前記対象検出部で検出した前記対象物が発する音を検出し、検出した音または検出した音と同じ内容の音を前記音出力部で出力すること、を特徴とする請求項８記載の表示装置。
10. 前記音出力部は、前記距離検出部が検出した距離に基づき、前記データ取得部で取得する音データの周波数成分を変化させること、を特徴とする請求項１から９のいずれかに記載の表示装置。
11. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置の制御方法であって、
    前記使用者の視線方向の対象物を検出し、
    検出した前記対象物と前記使用者との距離を検出し、
    検出した距離に応じて音の出力を制御すること、
    を特徴とする表示装置の制御方法。
12. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音を出力する音出力部とを備え、使用者の身体に装着して使用される表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    前記使用者の視線方向の対象物を検出する対象検出部と、
    前記使用者の視線方向の対象物を検出する対象検出部と、
    前記対象検出部により検出した前記対象物と前記使用者との距離を検出する距離検出部と、
    前記距離検出部が検出した距離に応じて音出力部の音の出力を制御する音制御部と、
    して機能させるためのプログラム。

Images