JP6524917B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本明細書で開示する技術は、ユーザーの頭部や顔部に装着して画像の視聴に利用される画像表示装及び画像表示方法に関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、１人が１台のヘッド・マウント・ディスプレイを所持するようになるかもしれない。

ヘッド・マウント・ディスプレイは、頭部に装着した際に、ユーザーの眼を直接覆うように構成されている。言い換えれば、ヘッド・マウント・ディスプレイは、遮光性があり、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる（例えば、特許文献１を参照のこと）。一方、透過性のヘッド・マウント・ディスプレイも存在し、ユーザーが頭部に装着して画像を表示している間も、画像越しに外景を眺める（すなわち、シースルー）ことができる（例えば、特許文献２を参照のこと）。

遮光性並びに透過性のいずれのタイプにせよ、ヘッド・マウント・ディスプレイは、装着したユーザーの視覚や聴覚を制限する。このため、ユーザーは現実世界から閉ざされ、外界で起きている事象に対する反応が遅くなることが懸念される。

本明細書で開示する技術の目的は、ユーザーの頭部や顔部に装着して画像の視聴に利用される、優れた画像表示装置及び画像表示方法を提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
表示部と、
現実世界の画像を取得する現実世界画像取得部と、
現実世界の画像を表示する領域を指定する領域指定部と、
前記指定された領域に基づいて、仮想画像内に現実世界の画像を混合して、前記表示部に表示する画像を生成する画像生成部と、
を具備する、頭部又は顔部に装着する画像表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記表示部は、前記画像表示装置を頭部又は顔部に装着するユーザーの眼の位置に配設され、また、前記ユーザーの視線方向を撮影する撮影部をさらに備えている。そして、前記現実世界画像取得部は、前記撮影部が撮影する現実世界の画像を取得するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像表示装置は、仮想世界の画像を生成する仮想世界画像生成部と、前記領域指定部が指定した領域に対応する現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vを計算する領域画像生成部をさらに備えている。そして、前記画像生成部は、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて、前記表示部に表示する画像を生成するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記領域指定部は、ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の画像表示装置の前記画像生成部は、ユーザーが領域を指定する操作を行なってからの経過時間に基づいて現実世界の画像の混合率を制御するように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像表示装置の前記画像生成部は、ユーザーが領域を指定する操作を行なってから一定時間が経過すると、前記対応領域を現実世界の画像Ｒ_Iから仮想世界の画像Ｒ_Vに切り替え、又は、徐々に仮想世界の画像Ｒ_Vに戻すように構成されている。

本願の請求項７に記載の技術によれば、請求項４に記載の画像表示装置は、ユーザーが入力操作を行なう入力部をさらに備えている。そして、前記領域指定部は、前記入力部に対するユーザーの操作に基づいて、現実世界の画像を表示する領域を指定するように構成されている。

本願の請求項８に記載の技術によれば、請求項７に記載の画像表示装置の前記入力部はタッチパネルである。そして、前記領域指定部は、前記タッチパネルをユーザーが触れた場所に対応する領域を指定するように構成されている。

本願の請求項９に記載の技術によれば、請求項８に記載の画像表示装置の前記タッチパネルは、前記表示部の表示画面の背面に配設されている。

本願の請求項１０に記載の技術によれば、請求項４に記載の画像表示装置の前記領域指定部は、ユーザーのジェスチャー操作に基づいて、現実世界の画像を表示する領域を指定するように構成されている。

本願の請求項１１に記載の技術によれば、請求項４に記載の画像表示装置の前記領域指定部は、現実世界の画像と仮想世界の画像の境界に対するユーザーの操作に応じて、現実世界の画像を表示する領域を変更するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１に記載の画像表示装置は、現実世界のオブジェクトを検出するオブジェクト検出部と、前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する３次元モデル計算部をさらに備えている。そして、前記画像生成部は、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリング処理を行なうように構成されている。

本願の請求項１３に記載の技術によれば、請求項１２に記載の画像表示装置の前記オブジェクト検出部は、ユーザーの身体の一部、又は、あらかじめ決められた現実世界の物体を検出するように構成されている。

本願の請求項１４に記載の技術によれば、請求項１２に記載の画像表示装置の前記オブジェクト検出部は、前記画像表示装置から一定距離以内にある現実世界の物体を検出するように構成されている。

本願の請求項１５に記載の技術によれば、請求項１２に記載の画像表示装置の前記画像生成部は、前記オブジェクト検出部がオブジェクトを検出してからの経過時間に基づいて現実世界の画像の混合率を制御するように構成されている。

本願の請求項１６に記載の技術によれば、請求項１２に記載の画像表示装置の前記領域指定部は、オブジェクトの現在位置が現実世界の３次元モデルＭ_Iと仮想世界Ｖの境界に重なることを条件として、境界を操作するように構成されている。

また、本願の請求項１７に記載の技術は、
現実世界の画像を取得する現実世界画像取得ステップと、
現実世界の画像を表示する領域を指定する領域指定ステップと、
前記指定された領域に基づいて、仮想画像内に現実世界の画像を混合して画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
を有する画像表示方法である。

また、本願の請求項１８に記載の技術は、
現実世界の画像を取得する現実世界画像取得ステップと、
現実世界の画像を表示する領域を指定する領域指定ステップと、
仮想世界の画像を生成する仮想世界画像生成ステップと、
前記領域指定ステップにおいて指定された領域に対応する現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vを計算する領域画像生成ステップと、
仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
を有する画像表示方法である。

また、本願の請求項１９に記載の技術は、
現実世界の画像を取得する現実世界画像取得ステップと、
現実世界のオブジェクトを検出するオブジェクト検出ステップと、
検出したオブジェクトの仮想世界の３次元モデルＶの対応領域Ｒ_Vを指定する領域指定ステップと、
前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する３次元モデル計算ステップと、
仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリング処理を行なって画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、を有する画像表示方法である。

本明細書で開示する技術によれば、ユーザーの頭部や顔部に装着して画像の視聴に利用され、且つ、ユーザーが外界で起きている事象を観察することができる、優れた画像表示装置及び画像表示方法を提供することができる。

本明細書で開示する技術によれば、画像表示装置は、仮想世界の画像に、カメラなどで撮影された現実世界の画像を混合して表示するように構成されている。したがって、画像表示装置を頭部又は顔部に装着したユーザーは、画像が表示されている間も、外界すなわち現実世界を観察することができる。また、本明細書で開示する技術を適用した画像表示装置は、視聴中の画像すなわち仮想世界への没入感を損なうことなく、現実世界とのインタラクションが可能になる。また、画像表示装置を頭部又は顔部に装着したユーザーは、仮想世界へ没入した状態で現実世界の身体運動を行なっても、現実世界を観察することができるので、身体運動に起因する物理的損害などの危険性を低減することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図２は、図１に示したヘッド・マウント・ディスプレイ１００を装着したユーザーを上方から眺めた様子を示した図である。 図３は、ヘッド・マウント・ディスプレイ１００の内部構成例を示した図である。 図４は、ユーザーの脳内で融像される表示画像上で、視線の中心線とカーソルと操作する指が一直線上に並ぶようにカーソルを置く様子を示した図である。 図５は、ユーザーがタッチパネル３１５を用いて現実世界の画像を表示する領域を指定する様子を示した図である。 図６は、表示部３０９が表示する仮想世界の画像６０１のうち、ユーザーの操作により指定された領域６０２が現実世界の画像に差し替えられている様子を示した図である。 図７は、ヘッド・マウント・ディスプレイ１００が表示領域の一部の領域を現実世界の画像に差し替えて表示するための機能的構成を示した図である 図８は、仮想世界のレンダリング結果Ｖと、ユーサーが指定した領域に対応領域の画像Ｒ_Vを例示した図である。 図９は、外側カメラ３１２が撮影する現実世界の画像Ｉと、ユーザーが指定した領域に対応する領域の画像Ｒ_Iを例示した図である。 図１０は、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えた表示画像を例示した図である。 図１１は、ヘッド・マウント・ディスプレイ１００が表示領域の一部の領域を現実世界の画像に差し替えて表示するための処理手順を示したフローチャートである 図１２は、ユーザーが現実世界を表示したい領域１２０１の境界を指示した指先を動かして領域１２０２に拡大する様子を示した図である。 図１３は、ユーザーが現実世界を表示したい領域１３０１の境界を指示した指先を動かして領域１３０２に縮小する様子を示した図である。 図１４は、ヘッド・マウント・ディスプレイ１００が現実世界に存在するオブジェクトの３次元モデルを仮想世界に配置した画像を表示するための機能的構成を示した図である。 図１５は、現実世界で特定のオブジェクトを検出する様子を例示した図である。 図１６は、検出したオブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成するとともに、仮想空間Ｖの対応領域Ｒ_Vを計算する様子を例示した図である。 図１７は、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリングした結果を例示した図である。 図１８は、ヘッド・マウント・ディスプレイ１００が現実世界に存在するオブジェクトの３次元モデルを仮想世界に配置した画像を表示するための処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示している。

ヘッド・マウント・ディスプレイ１００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１００を装着したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ３１２を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。勿論、ビデオ・シースルー画像に対し、ＡＲ画像などの仮想的な表示画像を重ね合わせて見せることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。

図１に示すヘッド・マウント・ディスプレイ１００は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ１００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ３１２が設置されている。また、ヘッド・マウント・ディスプレイ１００本体の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ１００本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネル３１５が配設されている。図示の例では、左右一対のタッチパネル３１５を備えているが、単一又は３以上のタッチパネル３１５を備えていてもよい。

図２には、図１に示したヘッド・マウント・ディスプレイ１００を装着したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル１０４Ｌ、１０４Ｒを持つ。表示パネル１０４Ｌ、１０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。左右の表示パネル１０４Ｌ、１０４Ｒの前方には、虚像光学部１０１Ｌ、１０１Ｒがそれぞれ配設されている。虚像光学部１０１Ｌ、１０１Ｒは、表示パネル１０４Ｌ、１０４Ｒの表示画像の拡大虚像をそれぞれユーザーの左右の瞳に結像する。ユーザーは、左右の拡大虚像を脳内で融像して観察することになる。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図２に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構１０５を装備している。

図３には、ヘッド・マウント・ディスプレイ１００の内部構成例を示している。以下、各部について説明する。

制御部３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０１Ｂを備えている。ＲＯＭ３０１Ａ内には、制御部３０１で実行するプログラム・コードや各種データを格納している。制御部３０１は、ＲＯＭ３０１Ａや記憶部３０６（後述）からＲＡＭ３０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。ＲＯＭ３０１Ａに格納するプログラムやデータとして、動画像再生などの画像の表示制御プログラムや、表示画像を視聴中のユーザーに現実世界とのインタラクションを可能にするインタラクション制御プログラム、当該ヘッド・マウント・ディスプレイ１００に固有の識別情報、当該ヘッド・マウント・ディスプレイ１００を使用するユーザーのユーザー属性情報などを挙げることができる。

入力インターフェース（ＩＦ）部３０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子（いずれも図示しない）を備え、操作子を介したユーザーの指示を受け付けて、制御部３０１に出力する。また、入力インターフェース部３０２は、リモコン受信部３０３で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部３０１に出力する。

また、入力インターフェース部３０２は、ヘッド・マウント・ディスプレイ１００本体の外側に配設されているタッチパネル３１５に対してユーザーが指先でタッチ操作を行なうと、タッチされた指先位置の座標データなどの入力情報を制御部３０１に出力する。例えば、ヘッド・マウント・ディスプレイ１００本体の前面で、ちょうど表示部３０９の表示画像（虚像光学部３１０越しに観察される拡大虚像）の背面にタッチパネル３１５を配置すると、ユーザーは表示画像上を指先で触れるような感覚でタッチ操作を行なうことができる。

状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部３０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して状態情報を取得するようにしてもよい。

状態情報取得部３０４は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部３０４は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態情報取得部３０４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部３０４は、位置姿勢情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図３に示す例では、頭部動作追跡のための状態取得部３０４は、ヘッド・マウント・ディスプレイ１００に内蔵されるが、ヘッド・マウント・ディスプレイ１００に外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部３０４は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ１００本体に送信する。

また、状態情報取得部３０４は、上述したユーザーの頭部動作の追跡の他に、当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（ヘッド・マウント・ディスプレイ１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部３０４は、これらの状態情報をユーザーから取得するために、外側カメラ３１２や、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。

環境情報取得部３１６は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気（煙、濃霧や、当該ヘッド・マウント・ディスプレイ１００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物（ニコチン）、大気中を漂う窒素酸化物（ＮＯ_x）や炭化水素（揮発性有機化合物（ＶＯＣ：Ｖｏｌａｔｉｌｅ Ｏｒｇａｎｉｃ Ｃｏｍｐｏｕｎｄｓ）あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質）、その他の環境因子を挙げることができる。環境情報取得部３１６は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォンや外側カメラ３１２を環境センサーに含めることもできる。あるいは、環境情報取得部３１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して環境情報を取得するようにしてもよい。

外側カメラ３１２は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配置され（図１を参照のこと）、周囲画像を撮影することができる。ユーザーは、入力インターフェース部３０２を介した入力操作や、内側カメラや筋電位センサーなどで認識される瞳孔の大小や音声入力を通じて、外側カメラ３１２のズームを調整することができるものとする。また、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。外側カメラ３１２の撮影画像を、表示部３０９に表示出力することができ、また、撮影画像を通信部３０５から送信したり記憶部３０６に保存したりすることもできる。

外側カメラ３１２は、視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ３１２を複数台のカメラで構成することがより好ましい。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献３を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。

外側カメラ３１２は、３次元情報を取得できることから、距離センサーとしても利用することができる。あるいは、例えば物体からの反射信号を検出するＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）など安価なデバイスからなる距離センサーを外側カメラ３１２と併用するようにしてもよい。外側カメラ３１２や距離センサーは、ヘッド・マウント・ディスプレイ１００を装着するユーザーの身***置、姿勢、形状を検出するために使用することができる。

通信部３０５は、外部機器との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーがヘッド・マウント・ディスプレイ１００を使用する際の視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、スマートフォンなどの多機能端末、ゲーム機、ストリーミング・サーバーを挙げることができる。また、制御部３０１は、外部機器への送信データを通信部３０５から送出する。

通信部３０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部３０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部３０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記憶部３０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部３０６は、制御部３０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を使用して、視聴するコンテンツを記憶部３０６に格納する。

画像処理部３０７は、制御部３０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部３０９の画面に合わせた解像度に変換する。そして、表示駆動部３０８は、表示部３０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部３０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

なお、表示部３０９で出力する表示画像として、コンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）やスマートフォンなどの多機能端末、ゲーム機、ストリーミング・サーバーから供給される商用コンテンツ（仮想世界）、外側カメラ３１２の撮影画像（現実世界）などを挙げることができる。

音声処理部３１３は、制御部３０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部３１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。

図１〜図２に示したようなヘッド・マウント・ディスプレイ１００は、遮光性、すなわち、装着したユーザーの眼を覆う。そして、表示部３０９には、映画などの動画像コンテンツや、コンピューター・グラフィックスなどで表現された画像を表示する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させ、例えば映画館で視聴しているような臨場感を再現する。ユーザーは、表示部３０９に表示される仮想世界に没入体験することができる。

しかしながら、ユーザーは、仮想世界に没入する際に、現実世界とのインタラクションが失われてしまうことが懸念される。ユーザーの身体は現実世界に存在するにも拘らず、視覚や聴覚など一部の知覚だけが仮想世界を体験することになると、ユーザーは心理的抵抗感を受ける。また、ユーザーは、視覚や聴覚が仮想世界に向けられているので、現実世界の物体との接触や衝突などを感知し難くなり、物理的損害を被る危険性がある。勿論、遮光性ではなく、透過性のヘッド・マウント・ディスプレイにおいても、ユーザーは仮想世界にある程度は引き込まれるので、心理的抵抗感や物理的損害の危険性の問題は同様にある。

そこで、本実施形態では、ヘッド・マウント・ディスプレイ１００は、映画やコンピューター・グラフィックスなどの仮想世界の画像を表示部３０９で表示している際に、外側カメラ３１２で撮影する外界すなわち現実世界の画像を混合するようにしている。したがって、ユーザーは、仮想世界の画像に混合された現実世界の画像を眺めることで、現実世界を知覚し、現実世界と適切なインタラクションを行ない、心理的抵抗感を軽減するとともに、現実世界の物体との衝突などによる物理的損害を回避することができる。

第１の実施例では、ヘッド・マウント・ディスプレイ１００は、仮想世界の画像を表示している表示部３０９の表示領域のうち、ユーザーが指定した一部の領域を、外側カメラ３１２で撮影する現実世界の画像に差し替えて表示する。

表示部３０９で表示する画像（虚像光学部３１０を介してユーザーの瞳で観察される画像）は、商用コンテンツの再生画像などの仮想世界の情報と、外側カメラ３１２で撮影された現実世界の情報が組み合わされたものである。したがって、ユーザーは、コンテンツの表現する仮想世界に没入した状態を中断することなく、連続的に周囲環境（自分の近傍で現実に起きている事象）を把握することができる。表示される現実世界の画像は、基本的には外側カメラ３１２で撮影されるライブ画像であるが、記憶部３０６に一旦記憶された録画画像であってもよい。

なお、ユーザーが指定した領域に現実世界の画像が表示されるのは一時的である。例えばユーザーが領域の指定を解除する明示的な操作により、表示部３０９の表示領域全体を仮想世界の画像に戻すようにしてもよい。あるいは、ユーザーが領域を指定してから一定時間が経過すると現実世界の画像から仮想世界の画像に切り替えるようにしてもよいし、徐々に（例えば、現実世界の画像と仮想世界の画像の混合率を変化させながら）仮想世界の画像に戻すようにしてもよい。時間の経過により元の仮想世界の画像に戻すのは、ユーザーが操作を行なってから一定時間が経つと、もはやユーザーは現実世界の表示を必要としなくなると考えられるからである。

また、ユーザーが現実世界の画像を表示する領域を指定する方法は任意である。例えば、入力インターフェース部３０２に含まれるボタンをユーザーが操作して、現実世界に差し替える領域を指定するようにしてもよい。例えば、十字キーの操作に従って、現実世界に差し替える領域を上下左右に移動させるようにしてもよい。あるいは、タッチパネル３１５に対してユーザーが指先でタッチ操作した場所に対応する領域を現実世界に差し替えるようにしてもよい。あるいは、ユーザーが手などを使って行なうジェスチャーを外側カメラ３１２で撮影して、ジェスチャーで指示された領域を現実世界に差し替えるようにしてもよい。

例えば、ヘッド・マウント・ディスプレイ１００本体の前面で、ちょうど表示部３０９の表示画像（虚像光学部３１０越しに観察される拡大虚像）の背面にタッチパネル３１５を配置すると、ユーザーは表示画像上を指先で触れるような感覚でタッチ操作を行なうことができる。より具体的には、タッチパネル３１５を触れた場所に相当する位置にカーソルを表示する場合、図４に示すように、（ユーザーの脳内で融像される拡大虚像を観察する）視線の中心線４０１と指先でタッチする場所４０２が一直線上に並ぶようにカーソル４０３を置くようにすると、ユーザーは、表示画像を背面から直接触れるような感覚で、表示領域上の所望する場所を指示することができる（例えば、特許文献４を参照のこと）。

図５には、ユーザーがタッチパネル３１５を用いて現実世界の画像を表示する領域を指定する様子を示している。表示部３０９が仮想世界の画像のみを表示している状態で、ユーザーは、参照番号５０１、５０２で示すように、表示部３０９の背面にあるタッチパネル３１５上で指先を移動させ、現実世界を表示したい場所５０３を指定する。

図６には、表示部３０９が表示する仮想世界の画像６０１のうち、図５に示したユーザーの操作により指定された領域６０２内が外側カメラ３１２で撮影した現実世界の画像に差し替えられている様子を示している。表示部３０９で表示する画像は、仮想世界の情報と現実世界の情報が組み合わされたものである。したがって、ユーザーは、コンテンツの表現する仮想世界に没入した状態を中断することなく、連続的に周囲環境（自分の近傍で現実に起きている事象）を把握することができる。

図７には、ヘッド・マウント・ディスプレイ１００が表示領域の一部の領域を現実世界の画像に差し替えて表示するための機能的構成を示している。

仮想世界画像生成部７０１は、例えば記憶部３０６にあらかじめ記憶され、又は、通信部３０５で外部から受信する仮想世界の情報に基づいて、表示部３０９で表示する仮想世界のレンダリング結果Ｖを計算する。

現実世界画像取得部７０２は、外側カメラ３１２で撮影する画像などに基づいて、ユーザーの周囲の現実世界の画像Ｉを取得する。

領域指定部７０３は、ユーザーによるタッチパネル３１５の操作や（図５を参照のこと）、入力インターフェース部３０２の操作、ジェスチャー入力などに基づいて、表示部３０９の表示画面のうち、現実世界の画像情報を表示すべき領域を指定する。

領域画像生成部７０４は、領域指定部７０３で指定された領域に対応する現実世界の画像Ｒ_Iと、仮想世界の画像Ｒ_Vを計算する。そして、画像差し替え部７０５は、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えた画像を合成する。合成された画像は、表示部３０９に表示される。

なお、上記の各機能ブロック７０１〜７０５は、例えば制御部３０１が実行するプログラムにより実現されるが、専用のハードウェアとして構成することもできる。

図８には、仮想世界のレンダリング結果Ｖと、ユーサーが指定した領域に対応領域の画像Ｒ_Vを例示している。また、図９には、外側カメラ３１２が撮影する現実世界の画像Ｉと、ユーザーが指定した領域に対応する領域の画像Ｒ_Iを例示している。また、図１０には、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えた表示画像を例示している。

図１１には、ヘッド・マウント・ディスプレイ１００が表示領域の一部の領域を現実世界の画像に差し替えて表示するための処理手順をフローチャートの形式で示している。

仮想世界画像生成部７０１は、仮想世界のレンダリング結果Ｖを計算する（ステップＳ１１０１）。仮想世界の情報は、例えば記憶部３０６にあらかじめ記憶され、又は、通信部３０５で外部から受信することによって用意される。

また、仮想世界のレンダリング処理と並行して、領域指定部７０３は、ユーザーからの操作に基づいて現実世界の表示領域を指定する（ステップＳ１１０２）。上述したように、ユーザーは、タッチパネル３１５の操作や（図５を参照のこと）、入力インターフェース部３０２の操作、ジェスチャー入力などによって、現実世界の表示領域を指定することができる。

また、仮想世界のレンダリング処理やユーザーから現実世界の表示領域が指定されている間、現実世界画像取得部７０２は、外側カメラ３１２で撮影する画像などから、ユーザーの周囲すなわち現実世界の画像Ｉを取得する（ステップＳ１１０３）。

次いで、領域画像生成部７０４は、ステップＳ１１０２で指定された領域に対応する現実世界の撮影画像Ｒ_Iと、仮想世界の画像Ｒ_Vを計算する（ステップＳ１１０４）。

そして、画像差し替え部７０５は、ステップＳ１１０１で計算した仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて、仮想世界の画像に現実世界の画像を混合した画像を生成する（ステップＳ１１０５）。生成された画像は、表示部３０９で表示される（ステップＳ１１０６）。

ユーザーが指定した領域に現実世界の画像Ｒ_Iが表示されるのは一時的である。例えばユーザーが領域の指定を解除する明示的な操作により、表示部３０９の表示領域全体を仮想世界の画像に戻すようにしてもよい。あるいは、ユーザーが領域を指定してから一定時間が経過すると仮想世界の画像Ｒ_Vに切り替えるようにしてもよいし、徐々に（例えば、現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vの混合率を変化させながら）仮想世界の画像Ｒ_Vに戻すようにしてもよい。時間の経過により元の仮想世界の画像に戻すのは、ユーザーが操作を行なってから一定時間が経つと、もはやユーザーは現実世界の表示を必要としなくなると考えられるからである。

そして、表示部３０９で仮想世界の画像の表示を継続するときには（ステップＳ１１０７のＮｏ）、ステップＳ１１０１に戻り、上述した処理を繰り返し実行する。

なお、現実世界の画像Ｒ_Iを表示している期間中は、ステップＳ１１０２で、現実世界の表示領域が随時更新される。例えば、ユーザーが現実世界を表示したい領域６０２の境界を指示した指先を動かすと、ステップＳ１１０２ではタッチパネル３１５が指先を移動した位置を読み取り、図１２に示すように領域１２０１から領域１２０２に拡大したり、逆に、図１３に示すように領域１３０１から領域１３０２に縮小したりすることができる。ユーザーは、現実世界の状況をより知りたくなると、図１２に示すような操作により現実世界の画像を表示する領域を拡大すればよく、現実世界の状況が重要でなくなると、図１３に示すような操作により現実世界の画像を表示する領域を縮退させて、仮想世界を表示する領域をより広くすることかできる。

上述したように、第１の実施例に係るヘッド・マウント・ディスプレイ１００によれば、ユーザーは、仮想世界への没入感を損なうことなく、現実世界とのインタラクションが可能になる。このようなヘッド・マウント・ディスプレイ１００を装着したユーザーは、仮想世界へ没入することに対する心理的抵抗感を減らすことができる。また、ユーザーは、仮想世界へ没入した状態であっても、現実世界の身体運動に起因する物理的損害などの危険性を減らすことができる。

第２の実施例では、ヘッド・マウント・ディスプレイ１００は、３次元的な仮想世界の中に、現実世界に存在する特定のオブジェクトの３次元モデルを配置させた画像を表示する。第１の実施例では、仮想世界の表示画像の一部に（子画面のように）現実世界の画像が重畳されるのに対し、第２の実施例では、表示画像全体が仮想世界の画像であるという点で相違する。第２の実施例では、現実世界のオブジェクトに対応する３次元モデルが、仮想世界の画像内のオブジェクトとして表示される。３次元モデルは、現実世界の情報であるが、オブジェクトが３次元モデル化されたものであり、仮想世界の表示画像と親和性が高い。

ここで言う現実世界のオブジェクトは、例えば右手など、ヘッド・マウント・ディスプレイ１００を装着しているユーザーの身体の一部である。あるいは、ユーザーの知人など特定の人物、ペットなどの特定の動物、移動体、静止物など、現実世界のさまざまなオブジェクトの３次元モデルを仮想世界の中に配置して表示するようにしてもよい。仮想世界に配置するオブジェクトは、固定であってもよいし、逐次ユーザーが選択できるようにしてもよい。ヘッド・マウント・ディスプレイ１００は、現実世界のオブジェクトを、外側カメラ３１２や距離センサーを用いて検出すると、追跡して、その３次元モデルを仮想世界の中に配置してレンダリング処理を行なう。

また、ヘッド・マウント・ディスプレイ１００から一定距離以内にある現実世界のすべての物体を自動的にオブジェクトとして検出して、その３次元モデルＭ_Iを仮想世界の中に配置して表示するようにしてもよい。例えば、ユーザーがコップなどの物体を持つ手をヘッド・マウント・ディスプレイ１００に近づけると、オブジェクトとして自動的に検出され、その手がヘッド・マウント・ディスプレイ１００から一定距離以内にある間は追跡して、その３次元モデルＭ_Iを仮想世界の中に配置して表示し続ける。手が一定距離から外れると、検出されなくなり、その３次元モデルＭ_Iの表示も消滅する。３次元モデルＭ_Iの表示を瞬時に消滅させるのではなく、距離に応じて透明度を少しずつ高め、自動的に元の仮想世界のみの表示にするようにしてもよい。一定距離から外れたオブジェクトの表示をユーザーは必要としなくなると考えられるからである。

第２の実施例では、表示部３０９で表示する画像（虚像光学部３１０を介してユーザーの瞳で観察される画像）は、商用コンテンツの再生画像などの仮想世界の情報と、外側カメラ３１２で撮影された現実世界の情報を３次元モデル化したものが組み合わされたものである。したがって、ユーザーは、コンテンツの表現する仮想世界に没入した状態を中断することなく、連続的に周囲環境（自分の近傍で現実に起きている事象）を把握することができる。３次元モデルは、基本的には外側カメラ３１２で撮影されるライブ画像に映っている現時差世界のオブジェクト基づいて生成されるが、記憶部３０６に一旦記憶された録画画像に映っている現時差世界のオブジェクト基づいて生成されるものであってもよい。

第１の実施例では、２次元的な画像処理で仮想世界の情報と現実世界の情報を組み合わせるのに対し、第２の実施例では、３次元的なレンダリング処理で仮想世界の情報と現実世界の情報を組み合わせるという相違がある。勿論、第２の実施例でも、現実世界の２次元的な表示と３次元的な表示の機能を組み合わせるようにしてもよい。

なお、オブジェクトを検出した場所に対応する領域に現実世界の画像が表示されるのは一時的である。例えば、現実世界でオブジェクトを検出しなくなると（オブジェクトが視界から消える、又は、見失う）、仮想世界の表示画像からオブジェクトに対応する３次元モデルを消滅させるようにしてもよいし、現実世界のオブジェクトに対応する３次元モデルを徐々に（例えば、現実世界の画像と仮想世界の画像の混合率を変化させながら）透明にしていき、元の仮想世界だけの画像に戻すようにしてもよい。オブジェクトが見えなくなると、もはやユーザーは現実世界の表示を必要としなくなると考えられるからである。あるいはユーザーが領域の指定を解除する明示的な操作により、表示部３０９の表示領域全体を仮想世界の画像に戻すようにしてもよい。

図１４には、ヘッド・マウント・ディスプレイ１００が現実世界に存在するオブジェクトを３次元モデル化して仮想世界に配置した画像を表示するための機能的構成を示している。

オブジェクト検出部１４０１は、外側カメラ３１２の撮影画像の認識処理や距離センサーの検出信号などに基づいて、ユーザーの身体の一部など特定のオブジェクトを現実世界で検出する。また、ヘッド・マウント・ディスプレイ１００から一定距離以内にある現実世界のすべての物体を自動的にオブジェクトとして検出してもよい。

現実世界画像取得部１４０２は、外側カメラ３１２で撮影する画像などに基づいて、オブジェクト検出部１４０１が検出するオブジェクトを含む現実世界の画像を取得する。

３次元モデル計算部１４０３は、オブジェクト検出部１４０１による検出結果と、現実世界画像取得部１４０２が取得した現実世界の画像に基づいて、検出したオブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成する。また、３次元モデル計算部１４０３は、オブジェクト検出部１４０１がオブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する。

仮想世界画像生成部１４０４は、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリング処理を行なう。そして、レンダリングされた画像は表示部３０９に表示される。

なお、上記の各機能ブロック１４０１〜１４０４は、例えば制御部３０１が実行するプログラムにより実現されるが、専用のハードウェアとして構成することもできる。

図１５には、参照番号１５０１で示すように、オブジェクト検出部１４０１がユーザーの身体の一部など特定のオブジェクトを現実世界で検出する様子を例示している。外側カメラ３１２は、オブジェクト検出部１４０１が検出するオブジェクトを含む現実世界の画像を撮影している。図１５に示す例では、現実世界において、テーブル上に置かれた、ユーザーが右手で掴んだペットボトルが、オブジェクト検出部１４０１により検出される。

図１６には、参照番号１６０１で示すように、３次元モデル計算部１４０３が、オブジェクト検出部１４０１が検出したオブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成する様子を例示している。図示の例では、ユーザーの右手と右手で掴んだペットボトルが３次元モデル化された画像Ｍ_Iが生成される。また、図１６には、参照番号１６０２で示すように、３次元モデル計算部１４０３が、オブジェクト検出部１４０１がオブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する様子を例示している。

図１７には、仮想世界画像生成部１４０４が、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリングした結果を例示している。図示の例では、仮想空間Ｖの３次元モデル画像に、ユーザーの右手と右手で掴んだペットボトルが３次元モデル化された画像Ｍ_Iが重畳されている。

なお、図１５〜図１７に示した例では、オブジェクトの３次元モデルＭ_Iの仮想空間Ｖ内の対応領域Ｒ_Vの手前には仮想オブジェクトは存在しないので、図１７に示したように３次元モデルＭ_Iはすべて表示されるが、現実世界のオブジェクト（図１５〜図１７に示した例では、ペットボトル）よりも手前に仮想オブジェクトが存在する場合には３次元モデルＭ_Iはその仮想オブジェクトに隠れて表示されることになる。

図１８には、ヘッド・マウント・ディスプレイ１００が現実世界に存在するオブジェクトの３次元モデルを仮想世界に配置した画像を表示するための処理手順をフローチャートの形式で示している。

オブジェクト検出部１４０１は、外側カメラ３１２の撮影画像の認識処理や距離センサーの検出信号などに基づいて、ユーザーの身体の一部など特定のオブジェクトを現実世界で検出する（ステップＳ１８０１）。

ステップＳ１８０１では、オブジェクト検出部１４０１は、ヘッド・マウント・ディスプレイ１００から一定距離以内にある現実世界のすべての物体を自動的に検出するようにしてもよい。例えば、ユーザーがコップなどの物体を持つ手をヘッド・マウント・ディスプレイ１００に近づけると、オブジェクトとして自動的に検出し、一定距離以内にある間は追跡する。また、手が一定距離から外れると、オブジェクト検出部１４０１は検出しなくなり、追跡を止める。

また、オブジェクト検出部１４０１によるオブジェクトの検出処理と並行して、現実世界画像取得部１４０２は、外側カメラ３１２で撮影する画像などに基づいて、オブジェクト検出部１４０１が検出するオブジェクトを含む現実世界の画像を取得する（ステップＳ１８０２）。

そして、３次元モデル計算部１４０３は、オブジェクト検出部１４０１による検出結果と、現実世界画像取得部１４０２が取得した現実世界の画像に基づいて、検出したオブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成する（ステップＳ１８０３）。

また、３次元モデル計算部１４０３は、オブジェクト検出部１４０１がオブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する（ステップＳ１８０４）。

次いで、仮想世界画像生成部１４０４は、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトを含む所定範囲の３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して（ステップＳ１８０５）、３次元も出るＭ_Mのレンダリング処理を行なう（ステップＳ１８０６）。そして、レンダリングされた画像は表示部３０９に表示される（ステップＳ１８０７）。

そして、表示部３０９で仮想世界の画像の表示を継続するときには（ステップＳ１８０８のＮｏ）、ステップＳ１８０１に戻り、上述した処理を繰り返し実行する。

なお、現実世界のオブジェクトの３次元モデルＭ_Iを表示している期間中は、ステップＳ１８０１で、現実世界でオブジェクトが移動するのに伴って、仮想空間Ｖに３次元モデルＭ_Iを配置する対応領域Ｒ_Vが随時更新される。また、オブジェクトの現在位置が、表示部３０９に表示されている現実世界の３次元モデルＭ_Iと仮想世界Ｖの境界に重なることを条件として、境界を操作するようにしてもよい。あるいは、ユーザーの特定のジェスチャーを認識することで、境界を操作できる状態へ移行してもよい。

上述したように、第２の実施例に係るヘッド・マウント・ディスプレイ１００によれば、ユーザーは、仮想世界への没入感を損なうことなく、現実世界とのインタラクションが可能になる。このようなヘッド・マウント・ディスプレイ１００を装着したユーザーは、仮想世界へ没入することに対する心理的抵抗感を減らすことができる。また、ユーザーは、仮想世界へ没入した状態であっても、現実世界の身体運動に起因する物理的損害などの危険性を減らすことができる。

特開２０１２−１４１４６１号公報 特開２０１２−４２６５４号公報 特開２００８−３０４２６８号公報 特開２０１３−２５８５７３号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を遮光性のヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。透過性のヘッド・マウント・ディスプレイや、ヘッド・アップ・ディスプレイ、カメラ付きのスマートフォン、多機能端末など、現実世界の画像と仮想世界の画像を表示する機能を備えたさまざまなタイプの画像表示装置に対して、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）表示部と、
現実世界の画像を取得する現実世界画像取得部と、
現実世界の画像を表示する領域を指定する領域指定部と、
前記指定された領域に基づいて、仮想画像内に現実世界の画像を混合して、前記表示部に表示する画像を生成する画像生成部と、
を具備する、頭部又は顔部に装着する画像表示装置。
（２）前記表示部は、前記画像表示装置を頭部又は顔部に装着するユーザーの眼の位置に配設され、
前記ユーザーの視線方向を撮影する撮影部をさらに備え、
前記現実世界画像取得部は、前記撮影部が撮影する現実世界の画像を取得する、
上記（１）に記載の画像表示装置。
（３）仮想世界の画像を生成する仮想世界画像生成部と、
前記領域指定部が指定した領域に対応する現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vを計算する領域画像生成部をさらに備え、
前記画像生成部は、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて、前記表示部に表示する画像を生成する、
上記（１）又は（２）のいずれかに記載の画像表示装置。
（４）前記領域指定部は、ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する、
上記（３）に記載の画像表示装置。
（５）前記画像生成部は、ユーザーが領域を指定する操作を行なってからの経過時間に基づいて現実世界の画像の混合率を制御する、
上記（４）に記載の画像表示装置。
（６）前記画像生成部は、ユーザーが領域を指定する操作を行なってから一定時間が経過すると、前記対応領域を現実世界の画像Ｒ_Iから仮想世界の画像Ｒ_Vに切り替え、又は、徐々に仮想世界の画像Ｒ_Vに戻す、
上記（５）に記載の画像表示装置。
（７）ユーザーが入力操作を行なう入力部をさらに備え、
前記領域指定部は、前記入力部に対するユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する、
上記（４）乃至（６）のいずれかに記載の画像表示装置。
（８）前記入力部はタッチパネルであり、
前記領域指定部は、前記タッチパネルをユーザーが触れた場所に対応する領域を指定する、
上記（７）に記載の画像表示装置。
（９）前記タッチパネルは、前記表示部の表示画面の背面に配設される、
上記（８）に記載の画像表示装置。
（１０）前記領域指定部は、ユーザーのジェスチャー操作に基づいて、現実世界の画像を表示する領域を指定する、
上記（４）乃至（６）のいずれかに記載の画像表示装置。
（１１）前記領域指定部は、現実世界の画像と仮想世界の画像の境界に対するユーザーの操作に応じて、現実世界の画像を表示する領域を変更する、
上記（４）乃至（６）のいずれかに記載の画像表示装置。
（１２）現実世界のオブジェクトを検出するオブジェクト検出部と、
前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する３次元モデル計算部と、
をさらに備え、
前記画像生成部は、仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリング処理を行なう、
上記（１）又は（２）のいずれかに記載の画像表示装置。
（１３）前記オブジェクト検出部は、ユーザーの身体の一部、又は、あらかじめ決められた現実世界の物体を検出する、
上記（１２）に記載の画像表示装置。
（１４）前記オブジェクト検出部は、前記画像表示装置から一定距離以内にある現実世界の物体を検出する、
上記（１２）に記載の画像表示装置。
（１５）前記画像生成部は、前記オブジェクト検出部がオブジェクトを検出してからの経過時間に基づいて現実世界の画像の混合率を制御する、
上記（１２）乃至（１４）のいずれかに記載の画像表示装置。
（１６）前記領域指定部は、オブジェクトの現在位置が現実世界の３次元モデルＭ_Iと仮想世界Ｖの境界に重なることを条件として、境界を操作する、
上記（１２）乃至（１５）のいずれかに記載の画像表示装置。
（１７）現実世界の画像を取得する現実世界画像取得ステップと、
現実世界の画像を表示する領域を指定する領域指定ステップと、
前記指定された領域に基づいて、仮想画像内に現実世界の画像を混合して画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
を有する画像表示方法。
（１８）現実世界の画像を取得する現実世界画像取得ステップと、
現実世界の画像を表示する領域を指定する領域指定ステップと、
仮想世界の画像を生成する仮想世界画像生成ステップと、
前記領域指定ステップにおいて指定された領域に対応する現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vを計算する領域画像生成ステップと、
仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
を有する画像表示方法。
（１９）現実世界の画像を取得する現実世界画像取得ステップと、
現実世界のオブジェクトを検出するオブジェクト検出ステップと、
検出したオブジェクトの仮想世界の３次元モデルＶの対応領域Ｒ_Vを指定する領域指定ステップと、
前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ_Iを生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ_Vを計算する３次元モデル計算ステップと、
仮想世界の３次元モデルＶの対応領域Ｒ_Vに、オブジェクトの３次元モデルＭ_Iを配置した３次元モデルＭ_Mを計算して、レンダリング処理を行なって画像を生成する画像生成ステップと、
生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、を有する画像表示方法。

１００…ヘッド・マウント・ディスプレイ
１０１Ｌ、１０１Ｒ…虚像光学部
１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
１０５…眼幅調整機構
３０１…制御部、３０１Ａ…ＲＯＭ、３０１Ｂ…ＲＡＭ
３０２…入力インターフェース部、３０３…リモコン受信部
３０４…状態情報取得部、３０５…通信部、３０６…記憶部
３０７…画像処理部、３０８…表示駆動部
３０９…表示部、３１０…虚像光学部、３１２…外側カメラ
３１３…音声処理部、３１４…音声入出力部、
３１５…タッチパネル、３１６…環境情報取得部
７０１…仮想世界画像生成部、７０２…現実世界画像取得部
７０３…領域指定部、７０４…領域画像生成部、７０５…画像差し替え部
１４０１…オブジェクト検出部、１４０２…現実世界画像取得部
１４０３…３次元モデル計算部、１４０４…仮想世界画像生成部

Claims (17)

1. 表示部と、
   現実世界の画像を取得する現実世界画像取得部と、
   ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定部と、
   仮想画像内に前記領域指定部が指定した領域に対応する現実世界の画像を混合して、前記表示部に表示する画像を生成する画像生成部と、
   仮想世界の画像を生成する仮想世界画像生成部と、
   前記領域指定部が指定した領域に対応する現実世界の画像Ｒ _I と仮想世界の画像Ｒ _V を計算する領域画像生成部をさらに備え、
   を具備し、
   前記画像生成部は、仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ _V を現実世界の対応領域の画像Ｒ _I に差し替えて、前記表示部に表示する画像を生成する、
   頭部又は顔部に装着する画像表示装置。
2. 表示部と、
   現実世界の画像を取得する現実世界画像取得部と、
   ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定部と、
   仮想画像内に前記領域指定部が指定した領域に対応する現実世界の画像を混合して、前記表示部に表示する画像を生成する画像生成部と、
   を具備し、
   前記画像生成部は、ユーザーが領域を指定する操作を行なってからの経過時間に基づいて現実世界の画像の混合率を制御する、
   頭部又は顔部に装着する画像表示装置。
3. 前記表示部は、前記画像表示装置を頭部又は顔部に装着するユーザーの眼の位置に配設され、
   前記ユーザーの視線方向を撮影する撮影部をさらに備え、
   前記現実世界画像取得部は、前記撮影部が撮影する現実世界の画像を取得する、
   請求項１又は２のいずれかに記載の画像表示装置。
4. 前記画像生成部は、ユーザーが領域を指定する操作を行なってから一定時間が経過すると、前記対応領域を現実世界の画像Ｒ _I から仮想世界の画像Ｒ _V に切り替え、又は、徐々に仮想世界の画像Ｒ _V に戻す、
   請求項２に記載の画像表示装置。
5. ユーザーが入力操作を行なう入力部をさらに備え、
   前記領域指定部は、前記入力部に対するユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する、
   請求項１乃至４のいずれかに記載の画像表示装置。
6. 前記入力部はタッチパネルであり、
   前記領域指定部は、前記タッチパネルをユーザーが触れた場所に対応する領域を指定する、
   請求項５に記載の画像表示装置。
7. 前記タッチパネルは、前記表示部の表示画面の背面に配設される、
   請求項６に記載の画像表示装置。
8. 前記領域指定部は、ユーザーのジェスチャー操作に基づいて、現実世界の画像を表示する領域を指定する、
   請求項１乃至４のいずれかに記載の画像表示装置。
9. 前記領域指定部は、現実世界の画像と仮想世界の画像の境界に対するユーザーの操作に応じて、現実世界の画像を表示する領域を変更する、
   請求項１乃至４のいずれかに記載の画像表示装置。
10. 表示部と、
    現実世界の画像を取得する現実世界画像取得部と、
    ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定部と、
    仮想画像内に前記領域指定部が指定した領域に対応する現実世界の画像を混合して、前記表示部に表示する画像を生成する画像生成部と、
    現実世界のオブジェクトを検出するオブジェクト検出部と、
    前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ _I を生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ _V を計算する３次元モデル計算部と、
    を具備し、
    前記画像生成部は、仮想世界の３次元モデルＶの対応領域Ｒ _V に、オブジェクトの３次元モデルＭ _I を配置した３次元モデルＭ _M を計算して、レンダリング処理を行なう、
    頭部又は顔部に装着する画像表示装置。
11. 前記オブジェクト検出部は、ユーザーの身体の一部、又は、あらかじめ決められた現実世界の物体を検出する、
    請求項１０に記載の画像表示装置。
12. 前記オブジェクト検出部は、前記画像表示装置から一定距離以内にある現実世界の物体を検出する、
    請求項１０に記載の画像表示装置。
13. 前記画像生成部は、前記オブジェクト検出部がオブジェクトを検出してからの経過時間に基づいて現実世界の画像の混合率を制御する、
    請求項１０乃至１２のいずれかに記載の画像表示装置。
14. 前記領域指定部は、オブジェクトの現在位置が現実世界の３次元モデルＭ _I と仮想世界Ｖの境界に重なることを条件として、境界を操作する、
    請求項１０乃至１３のいずれかに記載の画像表示装置。
15. 現実世界の画像を取得する現実世界画像取得ステップと、
    ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定ステップと、
    仮想画像内に前記領域指定ステップにおいて指定した領域に対応する現実世界の画像を混合して画像を生成する画像生成ステップと、
    生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
    を有し、
    前記画像生成ステップでは、ユーザーが領域を指定する操作を行なってからの経過時間に基づいて現実世界の画像の混合率を制御する、
    画像表示方法。
16. 現実世界の画像を取得する現実世界画像取得ステップと、
    ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定ステップと、
    仮想画像内に前記領域指定ステップにおいて指定した領域に対応する現実世界の画像を混合して画像を生成する画像生成ステップと、
    生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
    現実世界のオブジェクトを検出するオブジェクト検出ステップと、
    前記現実世界画像取得部が取得した現実世界の画像に基づいて前記オブジェクトを含む所定の範囲の３次元モデルＭ _I を生成するとともに、前記オブジェクトを検出した場所に対応する仮想空間Ｖの領域Ｒ _V を計算する３次元モデル計算ステップと、
    を有し、
    前記画像生成ステップでは、仮想世界の３次元モデルＶの対応領域Ｒ _V に、オブジェクトの３次元モデルＭ _I を配置した３次元モデルＭ _M を計算して、レンダリング処理を行なう、
    画像表示方法。
17. 現実世界の画像を取得する現実世界画像取得ステップと、
    ユーザーの操作に基づいて、現実世界の画像を表示する領域を指定する領域指定ステップと、
    仮想世界の画像を生成する仮想世界画像生成ステップと、
    前記領域指定ステップにおいて指定された領域に対応する現実世界の画像Ｒ_Iと仮想世界の画像Ｒ_Vを計算する領域画像生成ステップと、
    仮想世界のレンダリング結果Ｖの対応領域の画像Ｒ_Vを現実世界の対応領域の画像Ｒ_Iに差し替えて画像を生成する画像生成ステップと、
    生成した画像をユーザーの眼の位置に配設された表示部で表示する表示ステップと、
    を有する画像表示方法。