JP6079614B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本明細書で開示する技術は、頭部や顔部に装着して画像の視聴に利用される画像表示装置及び画像表示方法に関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、１人が１台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。

ヘッド・マウント・ディスプレイは、左右の眼の表示部として、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを装備する。また、ヘッド・マウント・ディスプレイを、遮光性のタイプと透過性のタイプに分類することもできる。遮光性のヘッド・マウント・ディスプレイは、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる（例えば、特許文献１を参照のこと）。一方、透過性のヘッド・マウント・ディスプレイの場合、ユーザーが頭部に装着して画像を表示している間も、画像越しに外景を眺める（すなわち、シースルー）ことができる（例えば、特許文献２を参照のこと）。

遮光性並びに透過性のいずれのタイプにせよ、ヘッド・マウント・ディスプレイは、装着したユーザーを仮想世界に引き込む。このため、ユーザーの視覚や聴覚は外界に対する反応が遅くなることが懸念される。

例えば、リモコンに備えてある緊急用釦が押されると映像を停止する機能を備えた、頭部に装着できる構造の視覚装置について提案がなされている（例えば、特許文献３を参照のこと）。しかしながら、このような視覚装置のユーザーは、自ら緊急用釦を押して映像を停止すべきかどうかを判断しなければならない。すなわち、ユーザーは、映像を視聴中も、外界で何が起きているかを気にしなければならず、現実世界からの干渉を受けて、視覚装置が表示する仮想世界に没入する度合いが低くなってしまう。また、緊急用釦を押して映像を停止して、外界を観察しても、たいして重要な用事ではないこともあり、視聴の妨げになる。

また、自動車の乗員が顔面に装着して使用し、自動車の緊急状態を検出する手段であり、自動車の移動中に急ブレーキが踏まれたり、急ハンドルが切られたり、自動車が追突或いは衝突等して乗員の姿勢が不安定或いは危険となる状態を緊急状態として検出して、外界が見えるようにする装着型表示装置について提案がなされている（例えば、特許文献４を参照のこと）。

また、使用者の顔面に装着して使用され、所定のセンサーを装備させ、急激な動き又は外的要因による衝撃若しくは音によって瞬時に遮蔽部を開にして外界が見えるようにする映像表示装置について提案がなされている（例えば、特許文献５を参照のこと）。

本明細書で開示する技術の目的は、頭部や顔部に装着して画像の視聴に利用される、優れた画像表示装置及び画像表示方法を提供することにある。

本明細書で開示する技術のさらなる目的は、装着したユーザーが表示画像を視聴して仮想世界に没入できるとともに、視聴中も現実世界で起きた事象に適切に対応することができる、優れた画像表示装置及び画像表示方法を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
画像を表示する画像表示部と、
現実世界で発生する事象を認識する事象認識部と、
事象の重要度を判定する重要度判定部と、
重要度に対応した処理を実行する対応処理部と、
を具備する、頭部又は顔部に装着される画像表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置は、現実世界における事象を検出するセンサー部をさらに備えている。そして、前記事象認識部は、前記センサー部の検出結果に基づいて事象を認識するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像表示装置は、現実世界を撮影する撮影部をさらに備えている。そして、前記事象認識部は、前記撮影部による撮影画像に基づいて事象を認識するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記事象認識部は、撮影画像を顔認識して、近付いてくる人物を事象として認識するように構成されている。

本願の請求項５に記載の技術によれば、請求項１に記載の画像表示装置は、現実世界の音声を入力する音声入力部をさらに備えている。そして、前記事象認識部は、前記音声入力部から入力された音声に基づいて事象を認識するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像表示装置の前記事象認識部は、入力された音声を音声認識して、近隣にいる人物を事象として認識するように構成されている。

本願の請求項７に記載の技術によれば、請求項１に記載の画像表示装置は、周囲環境の情報を取得する環境情報取得部をさらに備えている。そして、前記事象認識部は、周囲環境の情報に基づいて事象を認識するように構成されている。

本願の請求項８に記載の技術によれば、請求項１に記載の画像表示装置の前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された事象との関係に基づいて、事象の重要度を判定するように構成されている。

本願の請求項９に記載の技術によれば、請求項４又は６のいずれかに記載の画像表示装置の前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された人物との人間関係に基づいて、事象の重要度を判定するように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の画像表示装置の前記重要度判定部は、認識された事象の性質に基づいて重要度を判定するように構成されている。

本願の請求項１１に記載の技術によれば、請求項１に記載の画像表示装置の前記重要度判定部は、所定のデータベースを参照して、認識された事象の重要度を判定するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１に記載の画像表示装置の前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーが決めた基準に基づいて、認識された事象の重要度を判定するように構成されている。

本願の請求項１３に記載の技術によれば、請求項１に記載の画像表示装置の前記重要度判定部は、事象として移動する物体が認識されたときに、物体の移動に基づいて、認識された事象の重要度を判定するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１に記載の画像表示装置の前記対応処理部は、事象の重要度に基づいて、前記画像表示部の再生コンテンツの画像の表示を制御するように構成されている。

本願の請求項１５に記載の技術によれば、請求項１４に記載の画像表示装置は、現実世界を撮影する撮影部をさらに備えている。そして、前記対応処理部は、事象の重要度に基づいて、前記画像表示部で再生コンテンツの画像と前記撮影部の撮影画像の表示を制御するように構成されている。

本願の請求項１６に記載の技術によれば、請求項１５に記載の画像表示装置の前記対応処理部は、事象の重要度に基づいて、再生コンテンツの画像の表示を停止して撮影画像の表示に切り替え、再生コンテンツの画像と撮影画像を所定の割合で混合し、又は、再生コンテンツの画像を表示し続けるように構成されている。

本願の請求項１７に記載の技術によれば、請求項１に記載の画像表示装置は、再生コンテンツの音声を出力する音声出力部をさらに備えている。そして、前記対応処理部は、事象の重要度に基づいて、前記音声出力部からの音声出力を制御するように構成されている。

本願の請求項１８に記載の技術によれば、請求項１に記載の画像表示装置は、前記画像表示装置を頭部又は顔部に装着するユーザーの前記画像表示部で表示する再生コンテンツに対する没入度を判定する没入度判定部をさらに備えている。そして、前記重要度判定部は、没入度を考慮して事象の重要度を判定するように構成されている。

本願の請求項１９に記載の技術によれば、請求項１８に記載の画像表示装置の前記重要度判定部は、没入度が高いときには事象の重要度を抑制し、没入度が低いときには事象の重要度をエンハンスするように構成されている。

また、本願の請求項２０に記載の技術は、
現実世界で発生する事象を認識する事象認識ステップと、
事象の重要度を判定する重要度判定ステップと、
重要度に対応して、頭部又は顔部に装着された画像表示部の画像の表示を制御する対応処理ステップと、
を有する画像表示方法である。

本明細書で開示する技術によれば、装着したユーザーが表示画像を視聴して仮想世界に没入できるとともに、視聴中も現実世界で起きた事象に適切に対応することができる、優れた画像表示装置及び画像表示方法を提供することができる。

本明細書で開示する技術を適用した画像表示装置は、各種のセンサーなどを用いて現実世界で起きている事象をモニターし、事象の重要度に応じてユーザーに通知することができる。したがって、ユーザーは、表示画像を視聴中も、重要度の高い事象には迅速に対応することができるとともに、重要度の低い事象のために視聴が遮られることはなく、表示画像が提供する仮想世界に没入して十分楽しむことができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図２は、図１に示したヘッド・マウント・ディスプレイ１００を装着したユーザーを上方から眺めた様子を示した図である。 図３は、ヘッド・マウント・ディスプレイ１００の内部構成例を示した図である。 図４は、ヘッド・マウント・ディスプレイ１００を装着したユーザーが現実世界に適切に対応できるようにするための機能的構成（第１の実施例）を模式的に示した図である。 図５は、ヘッド・マウント・ディスプレイ１００がユーザーに対して現実世界で発生している事象を通知するための処理手順（第１の実施例）を示したフローチャートである。 図６は、ヘッド・マウント・ディスプレイ１００を装着したユーザーが現実世界に適切に対応できるようにするための機能的構成（第２の実施例）を模式的に示した図である。 図７は、ヘッド・マウント・ディスプレイ１００がユーザーに対して現実世界で発生している事象を通知するための処理手順（第２の実施例）を示したフローチャートである 図８は、仮想世界の画像８０２を表示する親画面に、現実世界（街角）のビデオ・シースルー画像８０１を子画面として表示している様子を示した図である。 図９は、現実世界（街角）のビデオ・シースルー画像９０１を表示する親画面に、仮想世界の画像９０２を子画面として表示している様子を示した図である。 図１０は、現実世界（街角）のビデオ・シースルー画像１００１を画面右半分に表示するとともに、仮想世界の画像１００２を画面左半分に表示した様子を示した図である。 図１１は、両眼式のヘッド・マウント・ディスプレイ１００の左眼に現実世界（街角）の画像１１０１をビデオ・シースルー表示するとともに、右眼に仮想世界の画像１１０２を表示した様子を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示している。

ヘッド・マウント・ディスプレイ１００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１００を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ３１２を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。勿論、ビデオ・シースルー画像に対し、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）画像などの仮想的な表示画像を重ね合わせて見せることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。

図１に示すヘッド・マウント・ディスプレイ１００は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ１００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ３１２が設置されている。また、ヘッド・マウント・ディスプレイ１００本体の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ１００本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネル３１５が配設されている。図示の例では、左右一対のタッチパネル３１５を備えているが、単一又は３以上のタッチパネル３１５を備えていてもよい。

図２には、図１に示したヘッド・マウント・ディスプレイ１００を装着したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル１０４Ｌ、１０４Ｒを持つ。表示パネル１０４Ｌ、１０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネル１０４Ｌ、１０４Ｒの表示画像は、虚像光学部１０１Ｌ、１０１Ｒを通過すると拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図２に示す例では、右眼用の表示パネル１０４Ｒと左眼用の表示パネル１０４Ｌの間に眼幅調整機構１０５を装備している。

図３には、ヘッド・マウント・ディスプレイ１００の内部構成例を示している。以下、各部について説明する。

制御部３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０１Ｂを備えている。ＲＯＭ３０１Ａ内には、制御部３０１で実行するプログラム・コードや各種データを格納している。制御部３０１は、ＲＡＭ３０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。ＲＯＭ３０１Ａに格納するプログラムやデータとして、動画像コンテンツの再生など画像の表示制御プログラムや、表示画像を視聴中のユーザーに現実世界とのコミュニケーションを可能にするコミュニケーション制御プログラム、当該ヘッド・マウント・ディスプレイ１００に固有の識別情報、当該ヘッド・マウント・ディスプレイ１００を使用するユーザーのユーザー属性情報などを挙げることができる。

入力操作部３０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子（いずれも図示しない）を備え、操作子を介したユーザーの指示を受け付けて、制御部３０１に出力する。また、入力操作部３０２は、リモコン受信部３０３で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部３０１に出力する。また、入力操作部３０２は、ヘッド・マウント・ディスプレイ１００本体の外側に配設されているタッチパネル３１５に対してユーザーが指先でタッチ操作を行なうと、タッチされた指先位置の座標データなどの入力情報を制御部３０１に出力する。

状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部３０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して状態情報を取得するようにしてもよい。

状態情報取得部３０４は、例えばユーザーの頭部の位置や姿勢や姿勢の情報を取得する。位置姿勢情報の取得のため、状態情報取得部３０４は、ジャイロ・センサー、加速度センサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、地磁気センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ、又は、各センサーの長所及び短所を考慮して２以上のセンサーの組み合わせを備えていてもよい。また、状態情報取得部３０４は、位置姿勢情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報を組み合わせて用いるようにしてもよい。

また、状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（ヘッド・マウント・ディスプレイ１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小）、精神状態（ユーザーが表示画像を観察中に没入しているかなど）、さらには生理状態を取得する。また、状態情報取得部３０４は、これらの状態情報をユーザーから取得するために、外側カメラ３１２や、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。

環境情報取得部３１６は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気（煙、濃霧や、当該ヘッド・マウント・ディスプレイ１００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物（ニコチン）、大気中を漂う窒素酸化物（ＮＯ_x）や炭化水素（揮発性有機化合物（ＶＯＣ：Ｖｏｌａｔｉｌｅ Ｏｒｇａｎｉｃ Ｃｏｍｐｏｕｎｄｓ）あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質）、その他の環境因子を挙げることができる。環境情報取得部３１６は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォン１０３Ｌ、１０３Ｒや外側カメラ３１２を環境センサーに含めることもできる。あるいは、環境情報取得部３１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して環境情報を取得するようにしてもよい。

外側カメラ３１２は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。ユーザーは、入力操作部３０２の操作、内側カメラや筋電位センサーなどで認識される瞳孔の大小や音声入力を通じて、外側カメラ３１２のズームを調整することができるものとする。また、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。外側カメラ３１２の撮影画像を、表示部３０９に表示出力することができ、また、撮影画像を通信部３０５から送信したり記憶部３０６に保存したりすることもできる。

外側カメラ３１２は、視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ３１２を複数台のカメラで構成することがより好ましい。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献６を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。

外側カメラ３１２は、３次元情報を取得できることから、距離センサーとしても利用することができる。あるいは、例えば物体からの反射信号を検出するＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）など安価なデバイスからなる距離センサーを外側カメラ３１２と併用するようにしてもよい。外側カメラ３１２や距離センサーは、ヘッド・マウント・ディスプレイ１００を装着するユーザーの身***置、姿勢、形状を検出するために使用することができる。

通信部３０５は、外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーがヘッド・マウント・ディスプレイ１００を使用する際の視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、ストリーミング・サーバーを挙げることができる。また、制御部３０１は、外部機器への送信データを通信部３０５から送出する。

通信部３０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部３０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部３０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記憶部３０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部３０６は、制御部３０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００で視聴するコンテンツを記憶部３０６に格納する。

画像処理部３０７は、制御部３０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部３０９の画面に合わせた解像度に変換する。そして、表示駆動部３０８は、表示部３０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部３０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネル１０４Ｌ、１０４Ｒ（前述）を有する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。なお、表示部３０９で出力する表示画像として、コンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）やストリーミング・サーバーから供給される商用コンテンツといった仮想世界の画像や、外側カメラ３１２で撮影する現実世界の画像を挙げることができる。

また、ヘッド・マウント・ディスプレイ１００の任意の構成要素として、外側表示部３１１を備えていてもよい。外側表示部３１１は、ヘッド・マウント・ディスプレイ１００を装着していない外部の者が観察できる外側画像を表示する。外側画像は、表示部３０９に表示する画像（すなわち、内側画像）と同じであっても、異なる画像であってもよい。画像処理部３０７は外側画像の画質補正などの信号補正も行なう。また、表示駆動部３０８は、外側表示部３１１の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

音声処理部３１３は、制御部３０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部３１４は、音声処理後の音声を外部出力、並びにマイクロフォン１０３Ｌ、１０３Ｒ（前述）からの音声入力を行なう。

図１〜図２に示したようなヘッド・マウント・ディスプレイ１００は、遮光性、すなわち、装着したユーザーの眼を覆う。そして、表示部３０９には、映画などの動画像コンテンツや、コンピューター・グラフィックスなどで表現された画像を表示する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させ、例えば映画館で視聴しているような臨場感を再現する。ユーザーは、表示部３０９に表示される仮想世界に没入体験することができる。

ヘッド・マウント・ディスプレイ１００を装着したユーザーは、再生されたコンテンツの画像及び音声を視聴している状態では、外界からの情報が遮断される。ユーザーが再生コンテンツに没入できるという意味では好ましい状態である。コンテンツを楽しんでいるユーザーは、現実世界からの干渉を受けたくない。ところが、ユーザーが現実世界とのコミュニケーションできなくなってしまうことが懸念される。ユーザーの身体は現実世界に存在するにも拘らず、視覚や聴覚などの知覚が仮想世界を体験することになると、現実世界とのコミュニケーションはかなり難しくなる。現実世界で特定の人物が近付いてきたときには、その状況を知りたくなるが、ヘッド・マウント・ディスプレイ１００を装着したままでは、ユーザーは対応することができない。また、ユーザーは、視覚や聴覚が仮想世界に向けられているので、没入時に現実世界の物体との接触や衝突などを感知して回避するのが難くなり、物理的損害を被る危険性がある。

勿論、図１、図２に示した遮光性のヘッド・マウント・ディスプレイ１００ではなく、透過性のヘッド・マウント・ディスプレイにおいても、ユーザーは仮想世界にある程度は引き込まれるので、没入時に現実世界とのコミュニケーションの困難や物理的損害の危険性の問題は同様にある。

そこで、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００は、表示部３０９で仮想世界の画像を表示している際に、現実世界で発生する事象をモニターし、発生した事象の重要度に応じて、ヘッド・マウント・ディスプレイ１００で再生するコンテンツを視聴中のユーザーと現実世界とのコミュニケーションを制御するようにしている。したがって、ユーザーは、現実世界からの干渉を受けることなく、仮想世界に没入することができるとともに、必要に応じて現実世界とのコミュニケーションを行ない、現実世界で発生した重要な事象に適切に対処したり、現実世界の物体との衝突などによる物理的損害を回避したりすることができる。

図４には、ヘッド・マウント・ディスプレイ１００を装着しコンテンツを視聴中すなわち仮想世界に没入しているユーザーが現実世界に適切に対応できるようにするための機能的構成を模式的に示している。図示のヘッド・マウント・ディスプレイ１００は、事象認識部４０１と、重要度判定部４０２と、対応処理部４０３を備えている。これらの機能モジュール４０１〜４０３は、例えば制御部３０１で実行するアプリケーション・プログラムにより実現される。

事象認識部４０１は、状態情報取得部３０４、環境情報取得部３１６、外側カメラ３１２、音声入出力部３１４などからなるセンサーから信号を入力して、現実世界で起きている事象をリアルタイムで認識する。例えば、事象認識部４０１は、外側カメラ３１２の撮影画像を画像認識又は顔認識して、ユーザーに近づいてくる人物や動物、移動体などを特定する。あるいは、事象認識部４０１は、音声入出力部３１４から入力される音声を音声認識して、誰の声であるかを特定する。また、事象認識部４０１は、物体だけでなく、環境情報取得部３１６から入力される環境情報（例えば、異常な高温、煙感知など）などに基づいて、火災や地震、津波などの災害、交通事故などの事象も認識することができる。

重要度判定部４０２は、事象認識部４０１が認識した事象の重要度を判定する。例えば、事象認識部４０１が外側カメラ３１２の撮影画像から人物やペット、移動体などを特定する場合には、特定された人物や動物、物体の重要度を判定する。人物が認識された場合、重要度判別部４０２は、続柄や、職場の上司と部下などの人間関係に基づいて、重要度を判定する。また、動物が認識された場合、重要度判別部４０２は、自分のペットや家畜など自分との関係、あるいは獰猛で危険かなど性質に基づいて重要度を判定する。また、物体が認識された場合、重要度判別部４０２は、物体が自転車や自動車などの移動体か、移動体の進行方向にユーザーがいるか、テーブルや椅子など静止した物体がユーザーの進行方向に置いてあるかなどに基づいて重要度を判定する。また、火災などの災害や交通事故などの事象が認識された場合には、重要度判別部４０２は、事象が発生した場所がユーザーの進行方向に存在しているかどうかに基づいて重要度を判別する。

重要度判定部４０２は、続柄などの人間関係などに基づいて事象毎の重要度をあらかじめ規定したデータベース４１０を参照して、認識された事象の重要度を判定するようにしてもよい。データベース４１０は、ヘッド・マウント・ディスプレイ１００内に配設してもよいし、インターネット上でクラウド技術を利用して提供されるサービスであってもよい。あるいは、ユーザーが人物毎の重要度をあらかじめ定義しておいてもよい（例えば、親又は子供なら重要度高、兄弟なら重要度中、他人なら重要度低、上司なら重要度高、部下なら重要度中）。

対応処理部４０３は、重要度判定部４０２が判定した重要度に対応する処理を実施して、再生コンテンツを視聴中のユーザーと現実世界とのコミュニケーションを行なわせる。対応処理部４０３は、重要度の高さに応じたコンテンツの再生制御を行なうことにより、コンテンツの視聴を適切に制限して、ユーザーが現実世界で発生している事象を視覚又は聴覚により知覚できるようにする。また、対応処理部４０３は、認識された事象の重要度が低いときには、コンテンツの視聴に制限を掛けないようにして、ユーザーが現実世界からの干渉を受けることなく仮想世界に没入できるようにする。

対応処理部４０３が実施する処理として、以下を挙げることができる。

（１）再生コンテンツの停止
（２）コンテンツの表示の制限
（３）コンテンツの音声の制限
（４）事象を無視

対応処理部４０３が再生コンテンツを完全に停止すると、ユーザーの視覚及び聴覚はともに仮想世界から現実世界に解放されて、ユーザーは現実世界と完全且つ迅速にコミュニケーションをとることができる。再生コンテンツを停止したときには、対応処理部４０３は、外側カメラ３１２で撮影される画像を表示部３０９に表示して、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができるようにする。また、対応処理部４０３は、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影する。対応処理部４０３は、認識された事象の重要度が最高レベルの場合には、再生コンテンツを完全に停止することが好ましい。

また、対応処理部４０３は、再生コンテンツの表示のみを制限することで、ユーザーの視覚の一部又は全部を仮想世界から現実世界に解放する。例えば、表示部３１２の表示画像を、コンテンツの再生画像から、外側カメラ３１２の撮影画像に切り替えて、ユーザーの視覚を仮想世界から現実世界に完全に解放する。あるいは、対応処理部４０３は、コンテンツの再生画像を外側カメラ３１２の撮影画像に完全に切り替えるのではなく、子画面として撮影画像を表示する、撮影画像を表示する画面の子画面としてコンテンツの再生画像を表示する、コンテンツの再生画像と外側カメラ３１２の撮影画像を混合して表示するなどして、ユーザーの視覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。

図８には、仮想世界の画像８０２を表示する親画面に、現実世界（街角）のビデオ・シースルー画像８０１を子画面として表示している様子を示している。対応処理部４０３は、事象の重要度に応じて、子画面８０１の大きさを調整するようにしてもよい。

また、図９には、現実世界（街角）のビデオ・シースルー画像９０１を表示する親画面に、仮想世界の画像９０２を子画面として表示している様子を示している。対応処理部４０３は、事象の重要度に応じて、子画面９０２の大きさを調整するようにしてもよい。

また、図１０には、画面を左右に分割して、現実世界（街角）のビデオ・シースルー画像１００１を画面右半分に表示するとともに、仮想世界の画像１００２を画面左半分に表示した様子を示している。対応処理部４０３は、事象の重要度に応じて、ビデオ・シースルー画像１００１と仮想世界の画像１００２の境界を左右に移動させるようにしてもよい。

また、図１１には、両眼式のヘッド・マウント・ディスプレイ１００の左眼に現実世界（街角）の画像１１０１をビデオ・シースルー表示するとともに、右眼に仮想世界の画像１１０２を表示した様子を示している。対応処理部４０３は、事象の重要度に応じて、右眼の表示画像にも、所定のフレーム間隔で現実世界（街角）の画像１１０１を挿入し、又は、現実世界（街角）の画像１１０１を挿入するフレーム間隔を調整するようにしてもよい。

対応処理部４０３は、認識された事象の重要度に応じて、撮影画像の子画面を大きくする、コンテンツ再生画像の子画面を縮退する、撮影画像の混合比を高くするなどして、ユーザーの視覚を現実世界に解放する度合いを制御することが好ましい。あるいは、対応処理部４０３は、現実世界の撮影画像を表示する代わりに、認識された事象を表すアバターやアイコンなどを仮想世界の画像上に出現させて、ユーザーに事象を通知するようにしてもよい。

また、対応処理部４０３は、再生コンテンツの音声のみを制限することで、ユーザーの聴覚の一部又は全部を仮想世界から現実世界に解放する。例えば、音声入出力部３１４からの再生コンテンツの音声出力を停止したり、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声に切り替えたりして、ユーザーの聴覚を仮想世界から現実世界に完全に解放する。あるいは、対応処理部４０３は、再生コンテンツの音声を完全に停止したり現実世界の音声と切り替えたりするのではなく、再生コンテンツの出力音声の音量を低下する、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声の音量を増大するなどして、ユーザーの聴覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。対応処理部４０３は、認識された事象の重要度に応じて、ユーザーの聴覚を現実世界に解放する度合いを制御することが好ましい。あるいは、対応処理部４０３は、現実世界の音声を出力する代わりに、認識された事象を通知する音声メッセージを出力するようにしてもよい。

なお、対応処理部４０３が再生コンテンツの画像又は音声のいずれを制限するかは、発生した事象の種別によって切り替えてもよいし、ユーザーがいずれにするかを選択できるようにしてもよい。

また、対応処理部４０３は、認識された事象の重要度が最低レベルの場合には、ユーザーの視覚及び聴覚を現実世界に解放することなく、コンテンツの再生を継続する。これによって、ユーザーは、つまらない用事のために現実世界からの干渉を受けることなく、再生コンテンツに没入して楽しむことができる。

図５には、ヘッド・マウント・ディスプレイ１００が、コンテンツを視聴中のユーザーに対して現実世界で発生している事象を通知するための処理手順をフローチャートの形式で示している。

ヘッド・マウント・ディスプレイ１００においてコンテンツの再生を開始するとともに（ステップＳ５０１）、事象認識部４０１は、状態情報取得部３０４、環境情報取得部３１６、外側カメラ３１２、音声入出力部３１４などからなるセンサーから信号を入力して、現実世界をモニターし続ける（ステップＳ５０２）。

事象認識部４０１が、誰かが近づいてきたなど、現実世界で事象が発生したことを認識すると（ステップＳ５０３のＹｅｓ）、認識結果を重要度判定部４０２に出力する。

重要度判定部４０２は、認識された事象の重要度を判定する（ステップＳ５０４）。重要度判定部４０２は、判定に際し、データベース４１０を活用してもよい。そして、対応処理部４０３は、判定された重要度に応じた対応処理を実行する。

ここで、事象の重要度が高いと判定された場合には、対応処理部４０３は、高重要度対応処理を実行する（ステップＳ５０５）。例えば、対応処理部４０３は、再生中のコンテンツを完全に停止して、ユーザーの視覚及び聴覚をともに仮想世界から現実世界に解放する。これによって、ユーザーは、現実世界と完全且つ迅速にコミュニケーションをとることが可能になる。

対応処理部４０３は、高重要度対応処理として、外側カメラ３１２で撮影される画像を表示部３０９に表示して、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができるようにする。また、対応処理部４０３は、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影する。

また、事象の重要度が中程度と判定された場合には、対応処理部４０３は、中重要度対応処理を実行する（ステップＳ５０６）。

対応処理部４０３は、中重要度対応処理として、再生コンテンツの表示のみを制限して、ユーザーの視覚の一部又は全部を仮想世界から現実世界に解放する。例えば、表示部３１２の表示画像を、コンテンツの再生画像から、外側カメラ３１２の撮影画像に切り替えて、ユーザーの視覚を仮想世界から現実世界に完全に解放する。また、対応処理部４０３は、コンテンツの再生画像を外側カメラ３１２の撮影画像に完全に切り替えるのではなく、子画面として撮影画像を表示する、撮影画像を表示する画面の子画面としてコンテンツの再生画像を表示する、コンテンツの再生画像と外側カメラ３１２の撮影画像を混合して表示するなどして、ユーザーの視覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。また、対応処理部４０３は、中重要度処理を段階的に行なうようにしてもよい。すなわち、重要度判定部４０２が中重要度を細かくレベル判定し、対応処理部４０３は、そのレベルに応じて、撮影画像の子画面を大きくする、コンテンツ再生画像の子画面を縮退する、撮影画像の混合比を高くするなどして、ユーザーの視覚を現実世界に解放する度合いを制御する。また、対応処理部４０３は、現実世界の撮影画像を表示する代わりに、認識された事象を表すアバターやアイコンなどを仮想世界の画像上に出現させて、ユーザーに事象を通知するようにしてもよい。

あるいは、対応処理部４０３は、中重要度対応処理として、再生コンテンツの音声のみを制限して、ユーザーの聴覚の一部又は全部を仮想世界から現実世界に解放する。例えば、音声入出力部３１４からの再生コンテンツの音声出力を停止したり、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声に切り替えたりして、ユーザーの聴覚を仮想世界から現実世界に完全に解放する。また、対応処理部４０３は、中重要度処理を段階的に行なうようにしてもよい。すなわち、重要度判定部４０２が中重要度を細かくレベル判定し、対応処理部４０３は、そのレベルに応じて、また、対応処理部４０３は、再生コンテンツの出力音声の音量を低下する、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声の音量を増大するなどして、ユーザーの聴覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。また、対応処理部４０３は、現実世界の音声を出力する代わりに、認識された事象を通知する音声メッセージを出力するようにしてもよい。

また、事象の重要度が低いと判定された場合には、対応処理部４０３は、低重要度対応処理を実行する（ステップＳ５０７）。例えば、対応処理部４０３は、ユーザーの視覚及び聴覚を現実世界に解放することなく、コンテンツの再生を継続する。これによって、ユーザーは、つまらない用事のために現実世界からの干渉を受けることなく、再生コンテンツに没入して楽しむことができる。また、重要度が低いと判定された事象が人の場合、外部の者は、ヘッド・マウント・ディスプレイ１００を装着したユーザーが何故自分に気づかないのか、あるいは何故自分を相手にしないのか理由が不明で困惑することある。そこで、対応処理部４０３は、低重要度対応処理として、「今対応できない」などのメッセージを外側表示部３１１に表示したり、音声入出力部３１４から音声メッセージとして出力したりして、ヘッド・マウント・ディスプレイ１００を装着していない外部の者に、ユーザーの非対応に理解を促すようにしてもよい。

対応処理部４０３は、高重要度対応処理（ステップＳ５０５）や、中重要度対応処理（ステップＳ５０６）において、再生コンテンツの出力を制限した後、所定期間が経過したことや、ユーザーが入力操作部３０２などを介してコンテンツ再生の復帰指示を行なったこと、事象認識部４０１が事象を認識しなくなったこと（若しくは、事象が終了したこと）に応じて、通常のコンテンツ再生を再開するようにする。

そして、コンテンツの再生が終了するまで（コンテンツの最後まで再生し終わることと、ユーザーが再生を停止させることを含む）（ステップＳ５０８のＮｏ）、ステップＳ５０２に戻り、上記の処理を繰り返し実行する。

本実施例によれば、ヘッド・マウント・ディスプレイ１００は現実世界で発生した事象に応じてコンテンツの再生を制御するので、ユーザーは、仮想世界と現実世界の間で自然なコミュニケーションをとることができる。

また、重要度判定部４０２において事象の重要度を判定するための基準をユーザーが自分の好みに応じて適切に設定することにより、ヘッド・マウント・ディスプレイ１００でのコンテンツ再生の阻害を極力低減することができる。

また、重要度毎の対応処理において、ユーザーが現実世界とコミュニケーションをとる方法を、ユーザー自身が好みにより適切に設定することにより、快適にヘッド・マウント・ディスプレイ１００を利用することができる。例えば、中重要度対応処理として、再生コンテンツの表示又は音声出力のいずれを制限して現実世界とコミュニケーションをとるかをユーザーが設定することができる。また、事象の通知をアバターやアイコンの表示により通知するか、音声メッセージにより通知するかを、ユーザーが選択することができる。

上述した第１の実施例では、事象認識部４０１が認識した事象自体の重要度のみに基づいて対応処理を実行していた。これに対し、第２の実施例では、ユーザーの状態をさらに考慮して、事象の重要度を判定するようにしている。

ユーザーの状態として、再生コンテンツに対するユーザーの没入度を挙げることができる。ユーザーが視聴中のコンテンツに没入していると、現実世界からの干渉を受けたくない。同じ人物が近付いてきても、ユーザーはコミュニケーションをとりたくない、邪魔されずにコンテンツを視聴し続けたいと思うであろう。逆に、ユーザーが視聴中のコンテンツに没入していない、あるいはコンテンツに飽きているときには、現実世界から干渉を受けても不快ではなく、むしろ気分転換になる。コンテンツに没入したくない人物であっても、没入度が低いときには、コンテンツの再生を制限して、コミュニケーションをとることが好ましい場合もある。

図６には、第２の実施例において、ヘッド・マウント・ディスプレイ１００を装着したユーザーが現実世界に適切に対応できるようにするための機能的構成を模式的に示している。図示のヘッド・マウント・ディスプレイ１００は、事象認識部６０１と、没入度判定部６０２と、重要度判定部６０３と、対応処理部６０４を備えている。これらの機能モジュール６０１〜６０４は、例えば制御部３０１で実行するアプリケーション・プログラムにより実現される。

事象認識部６０１は、状態情報取得部３０４、環境情報取得部３１６、外側カメラ３１２、音声入出力部３１４などからなるセンサーから信号を入力して、現実世界で起きている事象をリアルタイムで認識する。例えば、事象認識部４０１は、外側カメラ３１２の撮影画像を画像認識又は顔認識して、ユーザーに近づいてくる人物や動物、移動体などを特定する。あるいは、事象認識部６０１は、音声入出力部３１４から入力される音声を音声認識して、誰の声であるかを特定する。また、事象認識部４０１は、物体だけでなく、環境情報取得部３１６から入力される環境情報などに基づいて、火災や地震、津波などの災害、交通事故などの事象も認識する。

没入度判定部６０２は、状態情報取得部３０４から、体温、発汗、脈拍、筋電位、眼電位、脳波などのユーザーの状態を示す情報を入力して、ユーザーが再生コンテンツすなわち仮想世界にどの程度没入しているかを判定する。

重要度判定部６０３は、事象認識部６０１が認識した事象の重要度を、ユーザーの現在の没入度を考慮しながら判定する。重要度判定部６０３は、ユーザーの没入度が高いときに、事象の重要度を抑制し、ユーザーの没入度が低いときには、事象の重要度をエンハンスする。

例えば、ユーザーの没入度が高いときには、現実世界からの干渉を受けたくないという欲求を尊重して、よほどの同じ人物が出現しない限り、あるいは火災や事故など緊急に避難しなければならないような事象でない限り、同じ事象であっても重要度判定部４０２（第１の実施例の場合）よりも重要度を低く判定する。逆に、ユーザーの没入度が低いときには、同じ事象であっても重要度判定部４０２（第１の実施例の場合）よりも重要度を高く判定する。ユーザーは、コンテンツの視聴に退屈しているときには、現実世界から干渉を受けても不快ではなく、むしろ気分転換になる。コンテンツに没入したくない人物であっても、没入度が低いときには、コンテンツの再生を制限して、コミュニケーションをとることが好ましい場合もある。重要度判定部６０３は、続柄などの人間関係に基づいて事象毎の重要度をあらかじめ規定したデータベース６１０を参照して、認識された重要度を判定するようにしてもよい。

対応処理部６０４は、重要度判定部６０３が判定した重要度に対応する処理を実施して、再生コンテンツを視聴中のユーザーと現実世界とのコミュニケーションを行なわせる。対応処理部６０４は、重要度の高さに応じたコンテンツの再生制御を行なうことにより、コンテンツの視聴を適切に制限して、ユーザーが現実世界で発生している事象を視覚又は聴覚により知覚できるようにする。また、対応処理部６０４は、認識された事象の重要度が低いときには、コンテンツの視聴に制限を掛けないようにして、ユーザーが現実世界からの干渉を受けることなく仮想世界に没入できるようにする。対応処理部６０４が実施する処理として、以下を挙げることができる（同上）。

（１）再生コンテンツの停止
（２）コンテンツの表示の制限
（３）コンテンツの音声の制限
（４）事象を無視

図７には、ヘッド・マウント・ディスプレイ１００が、コンテンツを視聴中のユーザーに対して現実世界で発生している事象を通知するための処理手順をフローチャートの形式で示している。

ヘッド・マウント・ディスプレイ１００においてコンテンツの再生を開始すると（ステップＳ７０１）、事象認識部６０１は、状態情報取得部３０４、環境情報取得部３１６、外側カメラ３１２、音声入出力部３１４などからなるセンサーから信号を入力して、現実世界をモニターし続ける（ステップＳ７０２）。また、没入度判定部６０２は、状態情報取得部３０４から、体温、発汗、脈拍、筋電位、眼電位、脳波などのユーザーの状態を示す情報を入力して、ユーザーが再生コンテンツすなわち仮想世界にどの程度没入しているかをモニターし続ける（ステップＳ７０３）。

事象認識部６０１が、誰かが近づいてきたなど、現実世界で事象が発生したことを認識すると（ステップＳ７０４のＹｅｓ）、重要度判定部６０３は、事象認識部６０１が認識した事象の重要度を、ユーザーの現在の没入度を考慮しながら判定する（ステップＳ７０５）。重要度判定部６０３は、判定に際し、データベース６１０を活用してもよい。そして、対応処理部６０４は、判定された重要度に応じた対応処理を実行する。

ここで、事象の重要度が高いと判定された場合には、対応処理部６０４は、高重要度対応処理を実行する（ステップＳ７０６）。例えば、対応処理部６０４は、再生中のコンテンツを完全に停止して、ユーザーの視覚及び聴覚をともに仮想世界から現実世界に解放する。これによって、ユーザーは、現実世界と完全且つ迅速にコミュニケーションをとることが可能になる。

対応処理部６０４は、高重要度対応処理として、外側カメラ３１２で撮影される画像を表示部３０９に表示して、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができるようにする。また、対応処理部６０４は、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影する。

また、事象の重要度が中程度と判定された場合には、対応処理部６０４は、中重要度対応処理を実行する（ステップＳ７０７）。

対応処理部６０４は、中重要度対応処理として、再生コンテンツの表示のみを制限して、ユーザーの視覚の一部又は全部を仮想世界から現実世界に解放する。例えば、表示部３１２の表示画像を、コンテンツの再生画像から、外側カメラ３１２の撮影画像に切り替えて、ユーザーの視覚を仮想世界から現実世界に完全に解放する。また、対応処理部６０４は、コンテンツの再生画像を外側カメラ３１２の撮影画像に完全に切り替えるのではなく、子画面として撮影画像を表示する、撮影画像を表示する画面の子画面としてコンテンツの再生画像を表示する、コンテンツの再生画像と外側カメラ３１２の撮影画像を混合して表示するなどして、ユーザーの視覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。また、対応処理部６０４は、中重要度処理を段階的に行なうようにしてもよい。すなわち、重要度判定部６０３が中重要度を細かくレベル判定し、対応処理部６０４は、そのレベルに応じて、撮影画像の子画面を大きくする、コンテンツ再生画像の子画面を縮退する、撮影画像の混合比を高くするなどして、ユーザーの視覚を現実世界に解放する度合いを制御する。また、対応処理部６０４は、現実世界の撮影画像を表示する代わりに、認識された事象を表すアバターやアイコンなどを仮想世界の画像上に出現させて、ユーザーに事象を通知するようにしてもよい。

あるいは、対応処理部６０４は、中重要度対応処理として、再生コンテンツの音声のみを制限して、ユーザーの聴覚の一部又は全部を仮想世界から現実世界に解放する。例えば、音声入出力部３１４からの再生コンテンツの音声出力を停止したり、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声に切り替えたりして、ユーザーの聴覚を仮想世界から現実世界に完全に解放する。また、対応処理部６０４は、中重要度処理を段階的に行なうようにしてもよい。すなわち、重要度判定部６０３が中重要度を細かくレベル判定し、対応処理部６０４は、そのレベルに応じて、また、対応処理部６０４は、再生コンテンツの出力音声の音量を低下する、マイクロフォン１０３Ｌ、１０３Ｒからの入力音声の音量を増大するなどして、ユーザーの聴覚を仮想世界から部分的に解放して、現実世界とコミュニケーションできるようにする。また、対応処理部６０４は、現実世界の音声を出力する代わりに、認識された事象を通知する音声メッセージを出力するようにしてもよい。

また、事象の重要度が低いと判定された場合には、対応処理部６０４は、低重要度対応処理を実行する（ステップＳ７０８）。例えば、対応処理部６０４は、ユーザーの視覚及び聴覚を現実世界に解放することなく、コンテンツの再生を継続する。これによって、ユーザーは、つまらない用事のために現実世界からの干渉を受けることなく、再生コンテンツに没入して楽しむことができる。また、対応処理部６０４は、低重要度対応処理として、低重要度対応処理として、「今対応できない」などのメッセージを外側表示部３１１に表示したり、音声入出力部３１４から音声メッセージとして出力したりしてもよい。ヘッド・マウント・ディスプレイ１００を装着していない外部の者は、画像又は音声のメッセージを通じて、ユーザーの非対応を理解することができる。

対応処理部６０４は、高重要度対応処理（ステップＳ７０６）や、中重要度対応処理（ステップＳ７０７）において、再生コンテンツの出力を制限した後、所定期間が経過したことや、ユーザーが入力操作部３０２などを介してコンテンツ再生の復帰指示を行なったこと、事象認識部４０１が事象を認識しなくなったこと（若しくは、事象が終了したこと）に応じて、通常のコンテンツ再生を再開するようにする。

そして、コンテンツの再生が終了するまで（コンテンツの最後まで再生し終わることと、ユーザーが再生を停止させることを含む）（ステップＳ７０９のＮｏ）、ステップＳ７０２に戻り、上記の処理を繰り返し実行する。

本実施例によれば、ヘッド・マウント・ディスプレイ１００は現実世界で発生した事象に応じてコンテンツの再生を制御するので、ユーザーは、仮想世界と現実世界の間で自然なコミュニケーションをとることができる。

また、重要度判定部６０４は、ユーザーの没入度の変化に対応して事象の重要度を判定するので、ユーザーは、仮想世界と現実世界の間で自然なコミュニケーションを適応的にとることができる。

特開２０１２−１４１４６１号公報 特開２０１２−４２６５４号公報 特開平６−７８２４８号公報 特開２０００−１１１８３０号公報 特開平５−３０４６４６号公報 特開２００８−３０４２６８号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を遮光性のヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。透過性のヘッド・マウント・ディスプレイや、ヘッド・アップ・ディスプレイ、カメラ付きのスマートフォン、多機能端末など、現実世界の画像と仮想世界の画像を表示する機能を備えたさまざまなタイプの画像表示装置に対して、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画像を表示する画像表示部と、
現実世界で発生する事象を認識する事象認識部と、
事象の重要度を判定する重要度判定部と、
重要度に対応した処理を実行する対応処理部と、
を具備する、頭部又は顔部に装着される画像表示装置。
（２）現実世界における事象を検出するセンサー部をさらに備え、
前記事象認識部は、前記センサー部の検出結果に基づいて事象を認識する、
上記（１）に記載の画像表示装置。
（３）現実世界を撮影する撮影部をさらに備え、
前記事象認識部は、前記撮影部による撮影画像に基づいて事象を認識する、
上記（１）に記載の画像表示装置。
（４）前記事象認識部は、撮影画像を顔認識して、近付いてくる人物を事象として認識する、
上記（３）に記載の画像表示装置。
（５）現実世界の音声を入力する音声入力部をさらに備え、
前記事象認識部は、前記音声入力部から入力された音声に基づいて事象を認識する、
上記（１）に記載の画像表示装置。
（６）前記事象認識部は、入力された音声を音声認識して、近隣にいる人物を事象として認識する、
上記（５）に記載の画像表示装置。
（７）周囲環境の情報を取得する環境情報取得部をさらに備え、
前記事象認識部は、周囲環境の情報に基づいて事象を認識する、
上記（１）に記載の画像表示装置。
（８）前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された事象との関係に基づいて、事象の重要度を判定する、
上記（１）又は（７）のいずれかに記載の画像表示装置。
（９）前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された人物との人間関係に基づいて、事象の重要度を判定する、
上記（４）又は（６）のいずれかに記載の画像表示装置。
（１０）前記重要度判定部は、認識された事象の性質に基づいて重要度を判定する、
上記（１）乃至（３）、（５）、（７）のいずれかに記載の画像表示装置。
（１１）前記重要度判定部は、所定のデータベースを参照して、認識された事象の重要度を判定する、
上記（１）乃至（３）、（５）、（７）のいずれかに記載の画像表示装置。
（１２）前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーが決めた基準に基づいて、認識された事象の重要度を判定する、
上記（１）乃至（３）、（５）、（７）のいずれかに記載の画像表示装置。
（１３）前記重要度判定部は、事象として移動する物体が認識されたときに、物体の移動に基づいて、認識された事象の重要度を判定する、
上記（１）乃至（３）、（５）、（７）のいずれかに記載の画像表示装置。
（１４）前記対応処理部は、事象の重要度に基づいて、前記画像表示部の再生コンテンツの画像の表示を制御する、
上記（１）乃至（１３）のいずれかに記載の画像表示装置。
（１４−１）前記画像表示装置を装着しない外部の者が観察できる外側画像を表示する外側表示部をさらに備え、
前記対応処理部は、事象の重要度に基づいて、前記外側表示部に表示する外側画像を制御する、
上記（１）に記載の画像表示装置。
（１５）現実世界を撮影する撮影部をさらに備え、
前記対応処理部は、事象の重要度に基づいて、前記画像表示部で再生コンテンツの画像と前記撮影部の撮影画像の表示を制御する、
上記（１４）に記載の画像表示装置。
（１６）前記対応処理部は、事象の重要度に基づいて、再生コンテンツの画像の表示を停止して撮影画像の表示に切り替え、再生コンテンツの画像と撮影画像を所定の割合で混合し、又は、再生コンテンツの画像を表示し続ける、
上記（１５）に記載の画像表示装置。
（１７）再生コンテンツの音声を出力する音声出力部をさらに備え、
前記対応処理部は、事象の重要度に基づいて、前記音声出力部からの音声出力を制御する、
上記（１）に記載の画像表示装置。
（１７−１）前記対応処理部は、事象の重要度に基づいて、再生コンテンツの音声出力を停止し、又は、再生コンテンツの音声の音量を調整する、
上記（１７）に記載の画像表示装置。
（１７−２）現実世界の音声を入力する音声入力部をさらに備え、
前記対応処理部は、事象の重要度に基づいて、再生コンテンツの音声と前記音声入力部に入力された音声を前記音声出力部から出力する割合を制御する、
上記（１７）に記載の画像表示装置。
（１８）前記画像表示装置を頭部又は顔部に装着するユーザーの前記画像表示部で表示する再生コンテンツに対する没入度を判定する没入度判定部をさらに備え、
前記重要度判定部は、没入度を考慮して事象の重要度を判定する、
上記（１）乃至（１３）のいずれかに記載の画像表示装置。
（１８−１）前記没入度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーの体温、発汗、脈拍、筋電位、眼電位、脳波などのユーザーの状態を示す情報に基づいて、ユーザーの没入度を判定する、
上記（１８）に記載の画像表示装置。
（１９）前記重要度判定部は、没入度が高いときには事象の重要度を抑制し、没入度が低いときには事象の重要度をエンハンスする、
上記（１８）に記載の画像表示装置。
（２０）現実世界で発生する事象を認識する事象認識ステップと、
事象の重要度を判定する重要度判定ステップと、
重要度に対応して、頭部又は顔部に装着された画像表示部の画像の表示を制御する対応処理ステップと、
を有する画像表示方法。

１００…ヘッド・マウント・ディスプレイ
１０１Ｌ、１０１Ｒ…虚像光学部
１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
１０５…眼幅調整機構
３０１…制御部、３０１Ａ…ＲＯＭ、３０１Ｂ…ＲＡＭ
３０２…入力操作部、３０３…リモコン受信部
３０４…状態情報取得部、３０５…通信部、３０６…記憶部
３０７…画像処理部、３０８…表示駆動部
３０９…表示部、３１０…虚像光学部、３１１…外側表示部
３１２…外側カメラ、３１３…音声処理部、３１４…音声入出力部
３１５…タッチパネル、３１６…環境情報取得部
４０１…事象認識部、４０２…重要度判定部、４０３…対応処理部
４１０…データベース
６０１…事象認識部、６０２…没入度判定部、６０３…重要度判定部
６０４…対応処理部、６１０…データベース

Claims (18)

1. 画像を表示する画像表示部と、
   現実世界を撮影する撮影部と、
   現実世界で発生する事象を認識する事象認識部と、
   事象の重要度を判定する重要度判定部と、
   前記画像表示部で表示する再生コンテンツの画像上に重畳する現実世界の撮影画像を事象の重要度に応じた大きさに制御する対応処理部と、
   を具備する、頭部又は顔部に装着される画像表示装置。
2. 現実世界における事象を検出するセンサー部をさらに備え、
   前記事象認識部は、前記センサー部の検出結果に基づいて事象を認識する、
   請求項１に記載の画像表示装置。
3. 前記事象認識部は、前記撮影部による撮影画像に基づいて事象を認識する、
   請求項１に記載の画像表示装置。
4. 前記事象認識部は、撮影画像を顔認識して、近付いてくる人物を事象として認識する、
   請求項１に記載の画像表示装置。
5. 現実世界の音声を入力する音声入力部をさらに備え、
   前記事象認識部は、前記音声入力部から入力された音声に基づいて事象を認識する、
   請求項１に記載の画像表示装置。
6. 前記事象認識部は、入力された音声を音声認識して、近隣にいる人物を事象として認識する、
   請求項５に記載の画像表示装置。
7. 周囲環境の情報を取得する環境情報取得部をさらに備え、
   前記事象認識部は、周囲環境の情報に基づいて事象を認識する、
   請求項１に記載の画像表示装置。
8. 前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された事象との関係に基づいて、事象の重要度を判定する、
   請求項１に記載の画像表示装置。
9. 前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーと認識された人物との人間関係に基づいて、事象の重要度を判定する、
   請求項４又は６のいずれかに記載の画像表示装置。
10. 前記重要度判定部は、認識された事象の性質に基づいて重要度を判定する、
    請求項１に記載の画像表示装置。
11. 前記重要度判定部は、所定のデータベースを参照して、認識された事象の重要度を判定する、
    請求項１に記載の画像表示装置。
12. 前記重要度判定部は、前記画像表示装置を頭部又は顔部に装着するユーザーが決めた基準に基づいて、認識された事象の重要度を判定する、
    請求項１に記載の画像表示装置。
13. 前記重要度判定部は、事象として移動する物体が認識されたときに、物体の移動に基づいて、認識された事象の重要度を判定する、
    請求項１に記載の画像表示装置。
14. 前記対応処理部は、事象の重要度に基づいて、前記画像表示部の再生コンテンツの画像の表示を制御する、
    請求項１に記載の画像表示装置。
15. 再生コンテンツの音声を出力する音声出力部をさらに備え、
    前記対応処理部は、事象の重要度に応じて、前記音声出力部から出力する再生コンテンツの音量を低下する、
    請求項１に記載の画像表示装置。
16. 前記画像表示装置を頭部又は顔部に装着するユーザーの前記画像表示部で表示する再生コンテンツに対する没入度を判定する没入度判定部をさらに備え、
    前記重要度判定部は、没入度を考慮して事象の重要度を判定する、
    請求項１に記載の画像表示装置。
17. 前記重要度判定部は、没入度が高いときには事象の重要度を抑制し、没入度が低いときには事象の重要度をエンハンスする、
    請求項１６に記載の画像表示装置。
18. 現実世界で発生する事象を認識する事象認識ステップと、
    事象の重要度を判定する重要度判定ステップと、
    頭部又は顔部に装着された画像表示部で表示する再生コンテンツの画像上に重畳する現実世界の撮影画像を事象の重要度に応じた大きさに制御する対応処理ステップと、
    を有する画像表示方法。

Images