JP6113337B1 - 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想空間における非制作領域の視認を制限可能な表示制御方法を提供する。【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）を備えたシステムにおける表示制御方法であって、当該方法は、画像取得部３０１を備える仮想カメラ３００と、非制作領域ＮＲを有する少なくとも一つの対象物Ｆと、を含む仮想空間を定義する仮想空間データを生成するステップと、仮想カメラ３００の視野および仮想空間データに基づいて、ＨＭＤに視野画像を表示させるステップと、ＨＭＤの向きに応じて画像取得部３０１の向きを調整するステップと、仮想カメラ３００に対する移動入力に応じて仮想カメラ３００を移動させるステップと、画像取得部３０１が非制作領域ＮＲ内に進入したと判定された場合には、非制作領域ＮＲが視認されないようなマスク画像ＢをＨＭＤに表示させるステップと、を含む。【選択図】図９

Description

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。

ユーザの頭部に装着され、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間等の仮想空間として仮想空間画像を表示可能なヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ‐Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている。特許文献１は、仮想空間を利用して建築物等の物件の設計支援を行うための視点情報表示機能付き設計支援システムを開示している。特許文献１には、リアルタイムで視点位置を変更する手段として、操作ボタン群を操作してユーザが仮想空間内で前後左右にウォークスルーする従来手段の他に、平面図表示部で視点位置を入力することにより瞬時に視点位置を移動させたり、視野角を変更することによって現実空間におけるユーザの移動量を仮想空間における移動量に変換する際の倍率（スケール）を変更させたりする手段が記載されている。

特開２０００−１７２７４０号公報

三次元の仮想空間内に背景画像や建造物オブジェクトなどの静的オブジェクトを配置してゲーム空間を生成する場合には、レンダリング処理等の負荷を軽減するため、通常は視認されることが想定されていないゲーム空間の裏側（例えば、背景画像の裏面や静的オブジェクトの内側）は作り込まない、すなわちゲーム画面としてレンダリングされることが想定されていない。しかしながら、このようなゲーム空間において、特許文献１に記載のように仮想空間内におけるユーザの移動や視野角の変更に応じて視点位置を変更すると、レンダリングされることが想定されていないゲーム空間の裏側（以下、これらを「非制作領域」と称する）までもがユーザに視認されてしまう場合がある。

本開示は、仮想空間における非制作領域の視認を制限可能な表示制御方法を提供することを目的とする。また、本開示は、当該表示制御方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）画像取得部を備える仮想カメラと、非制作領域を有する少なくとも一つの対象物と、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの向きに応じて前記画像取得部の向きを調整するステップと、
（ｄ）前記仮想カメラに対する移動入力に応じて前記仮想カメラを移動させるステップと、
（ｅ）前記画像取得部が前記非制作領域内に進入したと判定された場合には、前記非制作領域が視認されないようなマスク画像を前記ヘッドマウントディスプレイに表示させるステップと、
を含む。

本開示によれば、仮想空間における非制作領域の視認を制限可能な表示制御方法を提供することができる。

本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図４に示す仮想空間のｙｘ平面図であり、（ｂ）は、図４に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示される視野画像の一例を示す図である。 仮想カメラの画像取得部が対象物の非制作領域に進入した場合の処理を説明するためのフローチャートである。 （ａ）は、仮想カメラの画像取得部が対象物の非制作領域に進入した状態を示す図であり、（ｂ）は、（ａ）の場合の視野画像を示す図である。 （ａ）は、仮想カメラの画像取得部の一部が対象物の非制作領域に進入した状態を示す図であり、（ｂ）は、（ａ）の場合の視野画像を示す図である。 （ａ）は、仮想空間内に配置された左眼用仮想カメラと右眼用仮想カメラのうち左眼用仮想カメラの画像取得部の一部が対象物の非制作領域に進入した状態を示す図であり、（ｂ）は、（ａ）の場合の左眼用視野画像および右眼用視野画像を示す図である。 図１１に示す状態において、一方の仮想カメラの画像取得部が対象物の非制作領域に進入した場合の処理を説明するためのフローチャートである。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
（ａ）画像取得部を備える仮想カメラと、非制作領域を有する少なくとも一つの対象物と、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｃ）前記ヘッドマウントディスプレイの向きに応じて前記画像取得部の向きを調整するステップと、
（ｄ）前記仮想カメラに対する移動入力に応じて前記仮想カメラを移動させるステップと、
（ｅ）前記画像取得部が前記非制作領域内に進入したと判定された場合には、前記非制作領域が視認されないようなマスク画像を前記ヘッドマウントディスプレイに表示させるステップと、
を含む。

上記方法によれば、非制作領域内に仮想カメラの画像取得部が進入した場合には視野画像を覆うようにマスク画像が表示されるため、仮想カメラが対象物内に入り込んだ状態でも非制作領域が視認されてしまうことがない。

（２）前記マスク画像は、暗転画像、白紙画像、および前記対象物の表面画像の少なくとも一つから構成されても良い。

マスク画像の表示として上記のような画像処理を行うことで、非制作領域の視認を容易に制限することができる。

（３）前記ステップ（ｄ）では、前記非制作領域内に進入したと判定された前記画像取得部の面積割合に応じて、前記視野画像内における前記マスク画像の表示割合を決定しても良い。

上記方法によれば、仮想カメラの画像取得部が対象物に入り込んだ部分だけ視野画像を覆うようにマスク画像が表示されるため、ユーザ主導の自然な画像表示を行うことができる。

（４）前記仮想カメラは、左眼用仮想カメラと右眼用仮想カメラとを含み、
前記ステップ（ｄ）では、前記左眼用仮想カメラと前記右眼用仮想カメラのいずれか一方の画像取得部が前記非制作領域内に進入したと判定された場合には、左眼用視野画像および右眼用視野画像の両方を覆うように前記マスク画像を表示させても良い。

上記方法によれば、片方の仮想カメラの画像取得部のみが対象物に入り込んだ場合にも、左眼用視野画像へのマスク画像の表示と右眼用視野画像へのマスク画像の表示を連動させることで、非制作領域の視認を確実に制限することができる。

（５）前記ステップ（ｄ）は、
前記左眼用仮想カメラおよび前記右眼用仮想カメラのうち少なくとも一方の仮想カメラが前記対象物へ近接したときに、前記左眼用仮想カメラと前記右眼用仮想カメラとの視差情報を取得するステップと、
当該一方の仮想カメラの画像取得部が前記非制作領域へ進入したときに、前記非制作領域内に含まれる前記画像取得部の面積割合を判定するステップと、
前記視差情報および前記面積割合に基づいて、他方の仮想カメラにより生成された視野画像に対する前記マスク画像の表示割合を決定するステップと、を含んでいても良い。

上記方法によれば、左眼用視野画像へのマスク画像表示と右眼用視野画像へのマスク画像表示を適切に連動させることができる。

（６）一実施形態に係るプログラムは、（１）から（５）のうちいずれかに記載の表示制御方法をコンピュータに実行させるためのプログラムである。

この構成によれば、仮想空間における非制作領域の視認を制限可能なプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係るヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、位置センサ１３０と、制御装置１２０と、外部コントローラ３２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、ヘッドフォン１１６とを備えている。なお、ＨＭＤ１１０にヘッドフォン１１６を設けずに、ＨＭＤ１１０とは独立したスピーカやヘッドフォンを用いても良い。

表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部１１２は、ユーザＵの左眼に投影される左眼用の表示部とユーザＵの右眼に投影される右眼用の表示部とから構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。

次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交し表示部１１２の中心とユーザＵとを結ぶ方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。

次に、図３を参照することで、制御装置１２０のハードウェア構成について説明する。図３は、制御装置１２０のハードウェア構成を示す図である。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５とは、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０の内部に搭載されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーション（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を提供する。これにより、ユーザＵは、表示部１１２に提供された仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３には、表示制御プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。なお、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０のそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図４から図６を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像ＶをＨＭＤ１１０に表示するための処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図を示す。図６（ａ）は、図５に示す仮想空間２００のｙｘ平面図であって、図６（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。

図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００が配置された仮想空間２００を示す仮想空間データを生成する。図５および図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５および図６では、上半分の天球のみが図示されている）。また、仮想空間２００には、中心位置２１を原点とするｘｙｚ座標系が設定されている。ＨＭＤシステム１の初期状態では、仮想カメラ３００が仮想空間２００の中心位置２１に配置されている。
仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを決定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸に相当する基準視線Ｌを決定し、決定された基準視線Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域と一致する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に一致する）。また、視野ＣＶは、図６（ａ）に示すｘｙ平面において、基準視線Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図６（ｂ）に示すｘｚ平面において、基準視線Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを移動させることができる。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像を示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像を表示する。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

図７は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖの一例を示している。
図７に示す視野画像Ｖにおいて、部屋の壁部分は、仮想空間２００を形成する天球（図５および図６参照）に貼られた背景画像である壁画像Ｗ（対象物の一例）から構成されている。また、壁画像Ｗで囲まれた部屋の内部には、テーブルやソファ、ベッド等の家具オブジェクトＦ（対象物の一例）が配置されている。このような視野画像Ｖを作成するに際し、壁画像Ｗの裏面や家具オブジェクトＦの内側は、通常はユーザに視認されないため、ゲーム画面としてレンダリングされることが想定されていない。本実施形態では、このようなゲーム画面としてレンダリングされることが想定されていない領域を非制作領域ＮＲ（図９（ａ）参照）と称する。

次に、図８および図９（ａ）および（ｂ）を参照して、ＨＭＤ１１０の視野ＣＶの変化に伴い、仮想カメラ３００の画像取得部３０１が非制作領域を有する対象物（例えば、家具オブジェクトＦ）に進入した場合の処理を説明する。なお、画像取得部３０１は、仮想カメラ３００の位置または向きにより決定される視野を定義し得るものであればその構成が限定されるものではないが、本例では説明の簡略化のため、例えば図９（ａ）に示すような仮想カメラ３００のレンズを示すものとして説明する。

図８に示すように、ステップＳ１１において、制御部１２１は、ＨＭＤ１１０を装着したユーザＵが動いた否か、あるいは、コントローラ３２０から仮想カメラ３００を移動させるための操作が入力された否か、すなわち、仮想カメラ３００に対する移動入力の有無を判定する。そして、制御部１２１は、仮想カメラ３００に対する移動入力を受けた場合には（ステップＳ１１のＹｅｓ）、ステップＳ１２において、当該移動入力に基づいて仮想空間内で仮想カメラ３００を移動させる。

次に、ステップＳ１３において、制御部１２１は、仮想カメラ３００の画像取得部３０１が対象物の非制作領域内に進入したか否かを判定する。そして、図９（ａ）に示すように、画像取得部３０１が例えば家具オブジェクトＦの非制作領域ＮＲ内に進入した場合には（ステップＳ１３のＹｅｓ）、制御部１２１は、ステップＳ１４において、非制作領域ＮＲ内に進入した画像取得部３０１の面積割合を判定する。

次に、制御部１２１は、ステップＳ１５において、非制作領域ＮＲ内に進入した画像取得部３０１の面積割合に応じてＨＭＤ１１０の表示部１１２に表示されるマスク画像の表示割合を決定する。そして、制御部１２１は、ステップＳ１６において、決定した表示割合に応じてマスク画像データを生成し、生成したマスク画像データに応じてＨＭＤ１１０の表示部１１２にマスク画像を表示させる。例えば、仮想カメラ３００の画像取得部３０１が非制作領域ＮＲ内に完全に進入した場合には、図９（ｂ）に示すように、視野画像Ｖの全体がマスク画像である暗転画像（黒画像）Ｂで覆われる。一方、図１０（ａ）に示すように、仮想カメラ３００の画像取得部３０１の一部のみが非制作領域ＮＲ内に進入した場合には、非制作領域ＮＲ内に進入した画像取得部３０１の面積割合に応じて、図１０（ｂ）に示すように、視野画像Ｖの一部のみが暗転画像Ｂで覆われる。なお、マスク画像は、図９（ｂ）や図１０（ｂ）に示す暗転画像Ｂに限られず、白紙（ホワイトアウト）画像や家具オブジェクトＦの表面画像であってもよい。

このように、本実施形態によれば、画像取得部３０１が非制作領域ＮＲ内に進入した場合には、視野画像Ｖを覆うようにマスク画像がＨＭＤ１１０の表示部１１２に表示される。これにより、仮想カメラ３００に対する予期しない移動入力に応じて仮想カメラ３００が家具オブジェクトＦ内に進入して、非制作領域ＮＲが視認されてしまうことを制限することができる。そのため、想定されるゲーム空間の裏側まで作り込む必要がなくなり、レンダリング処理の負荷を軽減させることができる。なお、仮想カメラ３００が家具オブジェクトＦ内に進入した場合だけではなく、背景画像である壁画像Ｗをすり抜けた場合にも、上記と同様の処理を行っても良い。

また、非制作領域ＮＲ内に進入したと判定された画像取得部３０１の面積割合に応じて、視野画像Ｖ内におけるマスク画像の表示割合を決定している。これにより、画像取得部３０１が非制作領域ＮＲ内に入り込んだ部分だけ視野画像Ｖを覆うようにマスク画像が表示されるため、ユーザ主導の自然な画像表示を行うことができる。

また、制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３またはＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。

また、表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

上記の実施形態においては、図９（ｂ）に示すように、仮想空間内に配置される仮想カメラが１つであるとして説明を行っているが、例えば、図１１（ａ）に示すように、仮想カメラは、視点位置が互いに異なる左眼用仮想カメラ３００Ｌと右眼用仮想カメラ３００Ｒとを含んでも良い。この場合、制御部１２１は、仮想空間データと左眼用仮想カメラ３００Ｌの視野に基づいて、左眼用視野画像データを生成するとともに、仮想空間データと右眼用仮想カメラ３００Ｒの視野に基づいて、右眼用視野画像データを生成する。そして、制御部１２１は、左眼用視野画像データと右眼用視野画像データとに基づいて、図１１（ｂ）に示すように、ＨＭＤ１１０の表示部１１２に左眼用視野画像ＶＬおよび右眼用視野画像ＶＲを表示することで、ユーザＵは、視野画像を３次元画像として視認することができる。

次に、図１１（ａ），（ｂ）および図１２を参照して、左眼用仮想カメラ３００Ｌおよび右眼用仮想カメラ３００Ｒを用いた場合の本実施形態に係る視野画像の表示制御処理について説明する。
図１２に示すように、ステップＳ２１において、制御部１２１は、左眼用仮想カメラ３００Ｌおよび右眼用仮想カメラ３００Ｒに対する移動入力に基づいて左眼用仮想カメラ３００Ｌおよび右眼用仮想カメラ３００Ｒの少なくとも一方が非制作領域ＮＲを有する対象物（例えば、家具オブジェクトＦ）に対して所定の距離まで近接したか否かを判定する。そして、仮想カメラ３００Ｌ，３００Ｒの少なくとも一方が家具オブジェクトＦに対して所定の距離まで近接したと判定した場合には（ステップＳ２１のＹｅｓ）、制御部１２１は、ステップＳ２２において、その時点における左眼用仮想カメラ３００Ｌと右眼用仮想カメラ３００Ｒとの視差（視差情報）を特定する。左眼用仮想カメラ３００Ｌと右眼用仮想カメラ３００Ｒとの視差は、例えば、図１１（ａ）に示されるように、左眼用仮想カメラ３００Ｌの画像取得部３０１Ｌの中心と右眼用仮想カメラ３００Ｒの画像取得部３０１Ｒの中心との距離Ｌ１により特定される。

次に、ステップＳ２３において、制御部１２１は、左眼用仮想カメラ３００Ｌおよび右眼用仮想カメラ３００Ｒの少なくとも一方が家具オブジェクＦの非制作領域ＮＲ内に進入したか否かを判定する。そして、図１１（ａ）に示すように、例えば左眼用仮想カメラ３００Ｌの画像取得部３０１Ｌが家具オブジェクトＦの非制作領域ＮＲ内に進入した場合には（ステップＳ２２のＹｅｓ）、制御部１２１は、ステップＳ２４において、非制作領域ＮＲ内に進入した左眼用仮想カメラ３００Ｌの画像取得部３０１Ｌの面積割合を判定し、左眼用視野画像に対するマスク画像の表示割合を決定する。

次に、制御部１２１は、ステップＳ２２で特定した視差Ｌ１およびステップＳ２４で判定した左眼用仮想カメラ３００Ｌの画像取得部３０１Ｌの面積割合に基づいて、右眼用視野画像に対するマスク画像の表示割合を決定する。具体的には、制御部１２１は、ステップＳ２５において、左眼用視野画像に対するマスク画像の表示割合から視差Ｌ１を差し引くことで、右眼用視野画像に対するマスク画像の表示割合を決定する（ステップＳ２６）。そして、制御部１２１は、ステップＳ２６において、ステップＳ２４およびステップＳ２６においてそれぞれ決定した左眼用視野画像および右眼用視野画像に対するマスク画像の表示割合に応じてマスク画像データを生成し、生成したマスク画像データに応じてＨＭＤ１１０の表示部１１２に表示される左眼用視野画像および右眼用視野画像に対してマスク画像Ｂをそれぞれ表示させる。例えば、左眼用仮想カメラ３００Ｌの画像取得部３０１Ｌが家具オブジェクトＦに近接したと判定された時の視差がＬ１とすると、左眼用視野画像ＶＬについては非制作領域ＮＲに進入した画像取得部３０１Ｌの面積割合に応じてマスク画像Ｂを表示させる一方、右眼用視野画像ＶＲについては左眼用視野画像ＶＬに対するマスク画像Ｂの表示割合から視差Ｌ１に基づいて算出される所定の割合（例えば、図１１（ｂ）の右眼用視野画像ＶＲにおけるＬ２）を差し引いた状態の表示割合にてマスク画像Ｂを表示させる。

このように、仮想カメラが左眼用仮想カメラ３００Ｌおよび右眼用仮想カメラ３００Ｒを含んでいる場合には、仮想カメラ３００Ｌおよび３００Ｒの少なくとも一方が非制作領域ＮＲ内に進入したときに、当該一方の仮想カメラに対応する視野画像に対してマスク画像を表示させるだけではなく、他方の仮想カメラに対応する視野画像に対してもマスク画像を表示させる。このように、左眼用視野画像へのマスク画像表示と右眼用視野画像へのマスク画像表示を適切に連動させることで、非制作領域ＮＲに進入した部分のみ視界が奪われるように制御することができる。さらに、左眼用仮想カメラ３００Ｌと右眼用仮想カメラ３００Ｒとの視差情報を用いて他方の仮想カメラに対するマスク画像の表示割合を補正することで、良好な三次元画像表示を損なうことなく、非制作領域ＮＲの視認を制限することができる。

１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１０：ヘッドマウントディスプレイ（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドフォン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
２００：仮想空間
３００：仮想カメラ
３００Ｌ：左眼用仮想カメラ
３００Ｒ：右眼用仮想カメラ
３０１：画像取得部
Ｂ：マスク画像
Ｆ：家具オブジェクト
ＮＲ：非制作領域
Ｕ：ユーザ
Ｖ:視野画像
ＶＬ：左眼用視野画像
ＶＲ：右眼用視野画像
Ｗ：壁画像（対象物）

Claims (5)

1. ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
   （ａ）画像取得部を備える仮想カメラと、非制作領域を有する少なくとも一つの対象物と、を含む仮想空間を定義する仮想空間データを生成するステップと、
   （ｂ）前記仮想カメラの視野および前記仮想空間データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
   （ｃ）前記ヘッドマウントディスプレイの向きに応じて前記画像取得部の向きを調整するステップと、
   （ｄ）前記仮想カメラに対する移動入力に応じて前記仮想カメラを移動させるステップと、
   （ｅ）前記画像取得部が前記非制作領域内に進入したと判定された場合には、前記非制作領域が視認されないようなマスク画像を前記ヘッドマウントディスプレイに表示させるステップと、
   を含み、
   前記仮想カメラは、左眼用仮想カメラと右眼用仮想カメラとを含み、
   前記ステップ（ｅ）では、前記左眼用仮想カメラと前記右眼用仮想カメラのいずれか一方の画像取得部が前記非制作領域内に進入したと判定された場合には、左眼用視野画像および右眼用視野画像の両方を覆うように前記マスク画像を表示させる、表示制御方法。
2. 前記マスク画像は、暗転画像、白紙画像、および前記対象物の表面画像の少なくとも一つから構成される、請求項１に記載の表示制御方法。
3. 前記ステップ（ｅ）では、前記非制作領域内に進入したと判定された前記画像取得部の面積割合に応じて、前記視野画像内における前記マスク画像の表示割合を決定する、請求項１に記載の表示制御方法。
4. 前記ステップ（ｅ）は、
   前記左眼用仮想カメラおよび前記右眼用仮想カメラのうち少なくとも一方の仮想カメラが前記対象物へ近接したときに、前記左眼用仮想カメラと前記右眼用仮想カメラとの視差情報を取得するステップと、
   当該一方の仮想カメラの画像取得部が前記非制作領域へ進入したときに、前記非制作領域内に含まれる前記画像取得部の面積割合を判定するステップと、
   前記視差情報および前記面積割合に基づいて、他方の仮想カメラにより生成された視野画像に対する前記マスク画像の表示割合を決定するステップと、を含む、請求項１から３のいずれか一項に記載の表示制御方法。
5. 請求項１から４のいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

Images