JP6669783B2 - 端末装置、システム、プログラム及び方法 - Google Patents

Description

本開示は、たとえば実空間のプレイヤの指示入力に基づいて操作されるプレイヤオブジェクトと他の仮想オブジェクトを表示するための端末装置、システム、プログラム及び方法に関する。

従来より、そのプレイヤの指示入力に連動して、仮想空間内に配置された操作対象オブジェクトを操作するためのシステムが知られていた。その一例としては、例えば特許文献１のように、プレイヤがヘッドマウントディスプレイ（ＨＭＤ）を装着し、ヘッドマウントディスプレイのディスプレイに表示された仮想空間をプレイヤ自らの視点で仮想空間内を移動したり、操作対象オブジェクトを操作することで、プレイヤがその仮想空間内に存在するかのような仮想現実を体験することが可能なシステムがあった。

しかし、このような場合、プレイヤはヘッドマウントディスプレイを介して仮想空間を認識することができる一方で、プレイヤの操作を観覧・観戦している第三者にとっては、単にプレイヤの操作を見るだけで十分に趣向が高いものとは言えなかった。

特開２０１７−１７０１０６号公報

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、第三者にとってより趣向の高い仮想空間の表示が可能な端末装置、システム、プログラム、又は方法を提供する。

本開示の一態様によれば、「所定の指示命令が記憶されたメモリと、前記指示命令に基づいて、実空間のプレイヤの指示入力に基づいて操作可能な第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記第２の仮想オブジェクトが前記仮想カメラ及び前記第１の仮想オブジェクトの少なくともいずれか一方に対して所定の位置関係となる場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更するための処理をするように構成されるプロセッサと、を含む端末装置」が提供される。

本開示の一態様によれば、「上記端末装置と、実空間に配置され前記端末装置と通信可能に接続され、実空間のプレイヤを撮影するための実空間カメラと、前記端末装置と通信可能に接続され、前記プロセッサにより出力される前記第１の仮想オブジェクトと変更された表示態様の第２の仮想オブジェクトを含む仮想空間画像を表示するためのディスプレイと、を含むシステム」が提供される。

本開示の一態様によれば、「所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて処理をするように構成されたプロセッサを含むコンピュータに、実空間のプレイヤの指示入力に基づいて操作可能な第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記第２の仮想オブジェクトが前記仮想カメラ及び前記第１の仮想オブジェクトの少なくともいずれか一方に対して所定の位置関係となる場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更するための処理と、を実行させるためのプログラム」が提供される。

本開示の一態様によれば、「所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて所定の処理をするように構成されたプロセッサを含む端末装置において、前記プロセッサが前記所定の指示命令を処理することによりなされる方法であって、実空間のプレイヤの指示入力に基づいて操作可能な第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記第２の仮想オブジェクトが前記仮想カメラ及び前記第１の仮想オブジェクトの少なくともいずれか一方に対して所定の位置関係となる場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更する段階と、を含む方法」が提供される。

本開示の様々な実施形態によれば、第三者にとってより趣向の高い仮想空間の表示が可能な端末装置、システム、プログラム、又は方法を提供することができる。

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

図１ａは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。 図１ｂは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。 図１ｃは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。 図２は、本開示の一実施形態に係るシステム１の構成を示すブロック図である。 図３は、本開示の一実施形態に係る端末装置１００のメモリ１１２に記憶される仮想オブジェクト情報テーブルを示す図である。 図４は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。 図５は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。 図６は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。 図７ａは、本開示の一実施形態に係る仮想カメラ６００により撮影される仮想空間を概念的に説明するための図である。 図７ｂは、本開示の一実施形態に係る実空間カメラ２００により撮影される実空間を概念的に説明するための図である。 図８ａは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。 図８ｂは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。 図８ｃは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。 図８ｄは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。 図９は、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１０ａは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１０ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１１ａは、本開示の一実施形態に係る実空間カラー画像の例を示す図である。 図１１ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１１ｃは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１２ａは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。 図１２ｂは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。 図１２ｃは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。 図１３は本開示の他の実施形態に係る合成処理後の画像の例を示す図である。

添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

１．本開示の一実施形態に係るシステムの概要
図１ａは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。具体的には、図１ａは、実空間のプレイヤ１１が、ヘッドマウントディスプレイ４００を装着し、仮想空間においてゲームアプリケーションを実行している様子を示す。このとき、実行されているゲームアプリケーションを観戦している第三者１２ａ〜１２ｄは、単にプレイヤ１１の動きをみるだけで、仮想空間で行われている処理を認識することができず、非常に退屈なものとなる。そこで、本実施形態においては、実空間に配置される実空間カメラ２００によってプレイヤ１１を含む実空間画像を撮影する。また、その撮影に同期して、仮想空間に仮想的に配置された仮想カメラ６００によって仮想空間画像を撮影する。そして、それぞれ撮影された実空間画像中のプレイヤ１１の画像と、仮想空間画像の少なくとも一部を合成して、ディスプレイ３００に表示する。これによって、第三者１２ａ〜１２ｄは、実行されているゲームアプリケーションの仮想空間内で、プレイヤ１１がどのように仮想空間内を移動し、操作対象オブジェクトを操作しているのか、臨場感をもって視聴することが可能となる。

図１ｂ及び図１ｃは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。具体的には、図１ｂは、ディスプレイ３００にプレイヤ１１の画像（プレイヤオブジェクト）を仮想空間画像に単純に合成した場合の画面の例である。この場合、プレイヤ１１のプレイヤオブジェクトの配置位置よりも前面に建物オブジェクト２１ａが存在している。したがって、プレイヤ１１のプレイヤオブジェクトは、建物オブジェクト２１ａの陰に隠れてディスプレイ３００上で視認できなくなる。本実施形態においては、プレイヤ１１のプレイヤオブジェクトに対して他の仮想オブジェクトが重畳する位置関係になる場合であっても、他の仮想オブジェクトを一時的に非表示にさせる処理等を行い、プレイヤ１１のプレイヤオブジェクトを視認可能な状態でディスプレイ３００に表示させる。

また、図１ｃは、ディスプレイ３００にプレイヤ１１の画像（プレイヤオブジェクト）を仮想空間画像に単純に合成した場合の画面の他の例である。仮想カメラ６００の位置に極端に近い位置に仮想オブジェクトが配置された場合や、仮想カメラ６００と仮想オブジェクトがほぼ同じ位置に配置され仮想オブジェクトの中に仮想カメラ６００が埋まってしまった場合、仮想カメラ６００の画角の大部分が当該仮想オブジェクトによって覆われ、ディスプレイ３００に仮想カメラ６００で撮影された画像を表示したときに視認性を損なう。具体的には、図１ｂの木オブジェクト２１ｘは、仮想カメラ６００に近い位置に配置され、得られる仮想空間画像の大部分が木オブジェクト２１ｘで被覆される。そのため、木オブジェクト２１ｘの背後に存在する他の仮想オブジェクト（例えば、建物オブジェクト２１ａの一部、敵オブジェクト２１ｂ等）の存在を確認することが困難となる。また、当該木オブジェクト２１ｘが仮想カメラ６００の位置とほぼ同じ位置に配置され、仮想カメラ６００が木オブジェクト２１ｘの内部に埋まってしまう場合には、仮想カメラ６００の画角の全体を被覆することになり、著しく視認性を損なう。したがって、本実施形態においては、仮想カメラ６００から所定の距離以内（例えば、仮想カメラ６００の位置に極端に近い位置）に配置されうる仮想オブジェクトを、一時的に非表示にさせる処理等を行い、ディスプレイ３００に表示される画像の視認性を向上させる。

なお、本実施形態において、「第三者」とは、単にプレイヤ１１と区別して用いているに過ぎない。すなわち、第三者自身も、ゲームアプリケーションを実行するプレイヤの一人であってもよいし、単にプレイヤ１１がプレイする様子を視聴するだけであってもよい。

また、本実施形態において、プレイヤ１１のプレイヤオブジェクトは、実空間カメラ２００で撮像されたプレイヤ１１の画像を抽出したものであってもよいが、他のものであってもよい。たとえば、プレイヤ１１に対応付けて記憶された仮想キャラクタオブジェクトであってもよい。

また、本実施形態では、ゲームプリケーションを実行する場合について説明するが、特にゲームアプリケーションに限らず、仮想空間を利用したアプリケーションであればいずれでも好適に本実施形態に係るシステム１を適用することができる。例えば、医療シミュレーション、自動車、電車、飛行機等の運転シミュレーション、観光地への旅行シミュレーション、仮想店舗や仮想不動産などでの仮想ショッピング、映画や音楽ライブなどのエンターテイメント等のアプリケーションで利用することで、プレイヤとなるユーザが操作しているシーンを他のプレイヤ（第三者）と共有することが可能となる。

また、本実施形態において、実空間画像、実空間デプス画像、実空間カラー画像、仮想空間画像、仮想空間デプス画像、仮想空間カラー画像等が用いられる。これらは、各カメラによって撮影された直後の画像のみを意味するのではなく、様々な処理後の各画像も含めた意味である。

また、本実施形態において、実空間カメラ２００の撮影に同期して、つまり同じか実質的に同じタイミングで仮想カメラ６００により仮想空間画像が撮影されるが、この仮想カメラ６００による撮影は、一例としては、仮想オブジェクトが配置された仮想空間を仮想カメラ６００の位置からレンダリングを行い、仮想スクリーンに対して仮想空間内の仮想オブジェクトを投影して画像を得ることにより行われる。

２．本開示の第１実施形態に係るシステム１の全体構成
図２は、本開示の一実施形態に係るシステム１の構成を示すブロック図である。図２を参照すると、システム１は、画像の合成等の処理を実行する端末装置１００と、仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤ１１を含む実空間画像を撮影するための実空間カメラ２００と、仮想空間に配置された仮想カメラによって仮想的に撮影された仮想空間画像の少なくとも一部と実空間画像に含まれるプレイヤ画像が合成された画像を表示するためのディスプレイ３００と、プレイヤ１１に装着され、プレイヤ１１が実行するゲームアプリケーションの仮想空間を表示するヘッドマウントディスプレイ４００と、を含む。端末装置１００と、実空間カメラ２００と、ディスプレイ３００と、ヘッドマウントディスプレイ４００とは、互いに有線又は無線によって通信可能に接続されている。

なお、特に図示はしていないが、仮想空間において移動又は仮想オブジェクトの操作のためのプレイヤ１１による指示入力を検出する検出装置を有していてもよい。検出装置の一例としては、プレイヤ１１に装着し内蔵する加速度センサやジャイロセンサ等によってプレイヤ１１の動きを検出する装置や、プレイヤ１１から離れた位置に設置され赤外線センサやカメラを用いてプレイヤ１１の動きを画像認識する装置などが挙げられる。

また、システム１は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、図２の例では、実空間カメラ２００やディスプレイ３００を端末装置１００とは別々に設けたが、端末装置１００の構成要素の一つとして実空間カメラ２００やディスプレイ３００を設けることも可能である。

３．端末装置１００の構成
端末装置１００は、プロセッサ１１１、メモリ１１２、通信インターフェイス１１３、入力インターフェイス１１４及びＩ／Ｏポート１１５を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

プロセッサ１１１は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１２に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ１１１は、メモリ１１２に記憶された指示命令、すなわち本実施形態に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムを処理する。具体的には、プロセッサ１１１は、仮想空間を表示したゲームアプリケーションの実行に伴う様々な処理を、ヘッドマウントディスプレイ４００及びプレイヤ１１の指示入力を検出する検出装置（図示しない）等と共同して、実行する。また、プロセッサ１１１は、実空間カメラ２００を制御して実空間画像を生成する処理を実行する。また、プロセッサ１１１は、所定の仮想オブジェクトについて表示態様を変更する処理（たとえば、非表示にする処理）を実行する。また、プロセッサ１１１は、実空間カメラ２００により取得した実空間画像と仮想カメラ６００により仮想的に撮像された仮想空間画像とを合成する処理を実行する。また、プロセッサ１１１は、合成された画像をディスプレイ３００に出力する処理を実行する。

なお、プロセッサ１１１は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成しても良い。また、画像処理に特化したＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。また、プロセッサ１１１は、メモリ１１２に記憶された指示命令を処理することとする。しかし、例えば本実施形態に係るアプリケーションを実行するためのプログラムが記憶された光ディスクやカートリッジを読み取り可能なドライブ装置を端末装置１００が備え、プロセッサ１１１はそれらに記憶されたプログラムを実行するようにしてもよい。

メモリ１１２は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）を含み、記憶部として機能する。ＲＯＭは、本実施形態に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１１により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。メモリ１１２には、一例として、仮想空間を構成する仮想オブジェクトを管理するための仮想オブジェクト情報テーブル（図３）、ゲームアプリケーションを実行するプレイヤのプレイヤ情報、ゲームアプリケーションを実行した結果である得点等のゲーム情報、ゲームアプリケーションを実行するためのプログラム、実空間画像と仮想空間画像とを合成し出力する処理を実行するためのプログラム、実空間カメラ２００によって撮像された実空間画像の画像データ（例えば、各画素が有するカラー値やデプス値等のデータ）、仮想カメラ６００によって仮想的に撮像された仮想空間画像の画像データ等が適宜更新・記憶される。なお、特に図示しないが、例示した各種情報が記憶された光ディスクやカートリッジを外付けして、記憶部として利用することが可能である。

通信インターフェイス１１３は、無線通信処理回路、及び当該無線通信処理装置に接続されたアンテナを含み、通信部として機能する。通信インターフェイス１１３は、ネットワークを介して接続されたサーバー装置（図示しない）から本実施形態に係るゲームアプリケーションの実行に必要なプログラムや、ユーザ情報、ゲームアプリケーションの実行の結果情報などの送受信を行う。また、通信インターフェイス１１３は、ヘッドマウントディスプレイ４００と、ゲームアプリケーションの実行に必要なゲーム情報、制御情報、描画データ、プレイヤ情報等の送受信を行う。無線通信処理回路では、送受信する情報の変調や復調などの処理を行う。

通信インターフェイス１１３は、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。また、通信インターフェイス１１３は、無線通信に代えて、または加えて、有線通信を用いることも可能である。その場合には、無線通信処理回路に代えて、または加えて、有線通信のための通信処理回路を設ければよい。

入力インターフェイス１１４は、タッチパネルやハードキーを含み、使用者からの各種指示入力を受け付ける。例えば、入力インターフェイス１１４は、仮想空間画像と実空間画像を合成する際に必要な各種設定等を行う際に利用される。

Ｉ／Ｏポート１１５は、実空間カメラ２００及びディスプレイ３００にそれぞれ含まれるＩ／Ｏポートと接続され、実空間カメラ２００及びディスプレイ３００との間で情報の入出力をするための情報入出力部として機能する。具体的には、Ｉ／Ｏポート１１５は、実空間カメラ２００で撮像された実空間画像を受信したり、ディスプレイ３００に表示する画像データを出力するためのインターフェイスとして機能する。なお、Ｉ／Ｏポート１１５は、シリアルポート、パラレルポート、ＵＳＢ等、所望に応じて公知の接続形式を採用することが可能である。

端末装置１００の例としては、据え置き型ゲーム機、アーケードゲーム機、デスクトップパソコン、ラップトップパソコン、携帯型ゲーム機、スマートフォンなど、実空間カメラ２００、ディスプレイ３００及びヘッドマウントディスプレイ４００と通信可能であって、本実施形態に係るゲームアプリケーションを実行可能な端末装置であれば、いずれでもよい。

また、図２の例では、端末装置１００は１個しか記載されていないが、当然複数の端末装置に分散して各構成要素を配置させても良いし、各処理を分散して実行させてもよい。また、端末装置１００は、本実施形態に係るゲームアプリケーションの実行専用のものであってもよいが、当然それ以外の機能を実行可能なものであってもよい。

４．実空間カメラ２００の構成
実空間カメラ２００は、実空間カラー画像を撮影するための実空間カラーカメラ２１１、実空間デプス画像を撮影するための実空間デプスカメラ２１２、及びＩ／Ｏポート２１３を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

実空間カラーカメラ２１１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の公知のイメージセンサを備える。実空間カラーカメラ２１１は、構成する画素ごとに被写体からの光をフォトダイオード等で受信し、その光を電荷の量に光電変換し、それを順次読み出して画像信号に変換することで、複数の画素から構成された実空間カラー画像を生成する。実空間カラーカメラ２１１によって撮影された実空間カラー画像は、一例としては、各画素ごとに赤、青、緑のサブピクセルを含み、各サブピクセルの色の明るさや濃淡を、各画素ごとにカラー値として生成し、メモリ１１２に記憶される。

実空間デプスカメラ２１２は、赤外線センサ等の公知のデプス（深度）センサを備える。実空間デプスカメラ２１２は、構成する画素ごとに被写体となる撮像対象物までの距離に対応した値を測定する。測定されたデプス値は、各画素ごとにメモリ１１２に記憶される。

Ｉ／Ｏポート２１３は、端末装置１００のＩ／Ｏポート１１５と接続され、実空間カメラ２００で撮影された、実空間カラー画像及び実空間デプス画像を含む実空間画像の画像データを端末装置１００に送信したり、端末装置１００から実空間カメラ２００の制御情報を受信する。

なお、実空間カメラ２００は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。例えば、特に図示はしていないが、実空間カメラ２００は、端末装置１００からの制御情報に基づいて撮影を制御するためのプロセッサや、撮影した画像データを記憶するためのメモリ、端末装置１００を含む他の装置と通信するための通信インターフェイスを適宜備える。

また、本実施形態においては、実空間カメラ２００に実空間カラーカメラ２１１と実空間デプスカメラ２１２とが含まれる場合について説明したが、実空間カラー画像に加えて、各画素のデプス値が測定できればよく、必ずしも両カメラを備える必要はない。例えば、ステレオカラーカメラを利用してデプス値を測定するなど、実空間カラーカメラ２１１のみを用いて公知方法でデプス値を測定するようにしてもよい。また、実空間デプスカメラ２１２に代えて、モノクロステレオカメラを利用してデプス値を測定するようにしてもよい。

５．ディスプレイ３００の構成
ディスプレイ３００は、Ｉ／Ｏポート３１１及びディスプレイパネル３１２を含み、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。Ｉ／Ｏポート３１１は、端末装置１００のＩ／Ｏポート１１５及び実空間カメラ２００のＩ／Ｏポート２１３と接続され、端末装置１００で生成された画像や実空間カメラ２００で撮影された画像等を受信する。また、ディスプレイパネル３１２は、受信した画像の表示を行う表示部として機能する。一例としては、液晶ディスプレイパネルや有機ＥＬパネルから構成される。なお、特に図示はしていないが、適宜プロセッサやメモリを含む。

６．ヘッドマウントディスプレイ４００の構成
ヘッドマウントディスプレイ４００は、プロセッサ４１１、メモリ４１２、ディスプレイ４１３、及び通信インターフェイス４１４を含み、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。ヘッドマウントディスプレイ４００は、通信インターフェイス４１４を介して、ディスプレイ４１３に仮想空間を表示するための画像データを受信し、メモリ４１２に記憶するとともに、プロセッサ４１１で処理してディスプレイ４１３に表示する。

７．仮想オブジェクト情報テーブル
図３は、本開示の一実施形態に係る端末装置１００のメモリ１１２に記憶される仮想オブジェクト情報テーブルを示す図である。具体的には、図３は、仮想空間に配置される、建物オブジェクト２１ａ等の仮想オブジェクトのそれぞれについて、その配置位置や形状等を特定する情報が記憶されたテーブルを示す。図３を参照すると、仮想オブジェクト情報テーブルには、個々の仮想オブジェクトごとにオブジェクトＩＤと対応付けて、その配置座標情報、種別情報、形状情報、表示情報等の属性情報が記憶されている。

「配置座標情報」は、対応付けて記憶された仮想オブジェクトの仮想空間内における配置位置座標を示す情報である。プロセッサ１１１は、当該配置座標情報を参照して、プレイヤ１１のプレイヤオブジェクトと、表示される仮想オブジェクトとの位置関係を特定する。また、「種別情報」は、対応付けて記憶された仮想オブジェクトの種別を示す情報である。プロセッサ１１１は、当該種別情報を参照して、プレイヤ１１のプレイヤオブジェクトと重畳する位置関係になる時に、仮想オブジェクトの表示態様を変更させるか否か、具体的には非表示とするかを決定する。また、「形状情報」は、仮想空間内に配置される仮想オブジェクトの立体形状を特定するための情報である。プロセッサ１１１は、当該形状情報を参照して、プレイヤ１１のプレイヤオブジェクトと重畳する位置関係になる時に、プレイヤ１１のプレイヤオブジェクトが被覆される割合を判断する。「表示情報」は、たとえば、プレイヤ１１のプレイヤオブジェクトと重畳する位置関係になる場合に、その仮想オブジェクトを表示するか否かを示す情報である。プロセッサ１１１は、当該表示情報を参照して、仮想空間内にその仮想オブジェクトを配置するか否かを決定する。なお、表示情報が「オン」のとき、仮想カメラ６００でその仮想オブジェクトを撮影するとその仮想オブジェクトが画像中に表示されることを意味し、「オフ」のときは非表示となることを意味する。当該表示情報には、あらかじめ「オン」の情報が記憶されており、図５の処理によって非表示の判定がなされた場合のときだけ「オフ」に更新して記憶される。

なお、仮想オブジェクト情報テーブルは、本実施形態においては、メモリ１１２に記憶されるように説明したが、外部の記憶媒体に記憶し、必要に応じて適宜参照するようにしてもよい。また、描画に必要な仮想オブジェクトの属性情報のみを必要に応じてサーバー装置（図示しない）等からダウンロードして記憶してもよい。

８．システム１において実行される処理フロー
図４は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。具体的には、図４に記載の処理フローは、本実施形態に係るゲームアプリケーションを端末装置１００で起動したときに開始される処理フローである。当該処理フローは、プロセッサ１１１が、実空間カメラ２００、ディスプレイ３００、及びヘッドマウントディスプレイ４００と共同して、メモリ１１２に記憶された指示命令（プログラム）を読み出して実行することにより行われる。

図４によると、入力インターフェイス１１４又は検出装置（図示しない）において、プレイヤ１１によるゲームアプリケーションの起動の指示入力を検出することにより開始される（Ｓ１０１）。その後、ゲームアプリケーションの開始に伴いヘッドマウントディスプレイ４００およびディスプレイ３００に表示すべき仮想空間の描画にかかる処理を実行する。具体的には、まずプロセッサ１１１は、所定の仮想空間内に各仮想オブジェクトを配置させるか否かの判定を行う（Ｓ１０２）。そして、その判定の結果に応じて仮想空間内に仮想オブジェクトを配置したのち、プロセッサ１１１は、実空間カメラ２００を制御して、実空間カメラ２００により撮影されたプレイヤ１１を含む実空間画像を取得し、メモリ１１２に記憶するよう制御する（Ｓ１０３）。また、当該処理に同期して、プロセッサ１１１は、ヘッドマウントディスプレイ４００に表示される仮想空間を仮想カメラ６００によって仮想的に撮影し仮想空間画像を取得する（Ｓ１０３）。次に、プロセッサ１１１は、メモリ１１２に記憶された実空間画像からプレイヤ１１のプレイヤ画像を抽出して、抽出されたプレイヤ画像をプレイヤオブジェクトとして仮想空間画像と合成する（Ｓ１０４）。なお、プレイヤ１１のプレイヤ画像の抽出は、実空間デプス画像を構成する各画素ごとに測定されたデプス値と、実空間カラー画像のカラー値とに基づいて行われる。そして、プロセッサ１１１は、ディスプレイ３００に合成された画像を出力し、ディスプレイ３００を制御して、ディスプレイ３００に当該画像を表示させる（Ｓ１０５）。次いで、プロセッサ１１１は、プレイヤ１１によるゲームアプリケーションの終了の指示入力を検出したか否かを判断し、検出していない場合には、図３の表示情報を「オン」にリセットしたうえで、Ｓ１０２〜Ｓ１０５の処理を所定間隔（例えば、３０ｍ秒ごと）で繰り返す（Ｓ１０６）。一方、ゲームアプリケーションの終了の指示入力を検出した場合には、当該アプリケーションの実行を終了する。なお、Ｓ１０２〜Ｓ１０５については、図５および図６等においてさらに詳しく説明すする。

９．端末装置１００において実行される処理フロー
図５は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。具体的には、図５は、図４のＳ１０２における仮想オブジェクトを仮想空間に配置させるか否か、つまりは仮想カメラ６００で撮影した際に表示させるか否かの判定処理のフローを示す。当該処理フローは、プロセッサ１１１が、実空間カメラ２００、ディスプレイ３００、及びヘッドマウントディスプレイ４００と共同して、メモリ１１２に記憶された指示命令（プログラム）を読み出して実行することにより行われる。

図５によると、プロセッサ１１１は、まず、入力インターフェイス１１４または検出装置を介してプレイヤからの指示入力を受け付けるよう制御する（Ｓ２０１）。次に、プロセッサ１１１は、その指示入力に基づいて、ディスプレイ３００に表示すべき仮想空間であって、仮想カメラ６００の位置を原点とする座標空間からなる仮想空間を特定し、仮想オブジェクト情報テーブル（図３）の配置座標情報を参照して、当該仮想空間に配置される仮想オブジェクトを配置する（Ｓ２０２）。次に、プロセッサ１１１は、あらかじめ決められた仮想カメラ６００からの位置、すなわち仮想カメラ６００からの距離が、あらかじめ決められた所定距離よりも近い位置に配置される仮想オブジェクトが存在するか否かを判定する（Ｓ２０３）。

ここで、図７ａは、本開示の一実施形態に係る仮想カメラ６００により撮影される仮想空間を概念的に説明するための図である。具体的には、図７ａは、仮想カメラ６００の位置を原点とする仮想空間におけるプレイヤ配置領域２３と各仮想オブジェクトとの位置関係を示す。図７ａを参照すると、仮想カメラ６００からあらかじめ決められた所定距離ｄｘの間に、木オブジェクト２１ｘ、木オブジェクト２１ｙがそれぞれ存在する。なお、当該距離は、一例としては、仮想カメラ６００から木オブジェクト２１ｘが形成する平面までの距離として算出してもよいし、仮想カメラ６００と木オブジェクト２１ｘの任意の地点を結ぶ線分の長さとして算出してもよい。また、所定距離は、本実施形態においては距離ｄｘとしたが、適宜調整することが可能である。また、各処理ごとに、その距離を可変することも可能である。

次に、プロセッサ１１１は、Ｓ２０３において、仮想カメラ６００から所定距離ｄｘ以内に存在すると特定された仮想オブジェクト（木オブジェクト２１ｘ及び２１ｙ）が、仮想カメラ６００の画角内に含まれるか否かを判定する（Ｓ２０４）。図７ａを参照すると、木オブジェクト２１ｘは仮想カメラ６００の画角に含まれる位置に存在するが、木オブジェクト２１ｙは当該画角に含まれる位置に存在していない。そして、Ｓ２０４において、仮想カメラ６００の画角内に含まれる仮想オブジェクトがある場合には、プロセッサ１１１は当該仮想オブジェクトが非表示対象オブジェクトか否かを判定する（Ｓ２０５）。具体的には、図３の仮想オブジェクト情報テーブルのうち、種別情報を参照する。種別情報として、「敵」、「仲間」等のキャラクタ、「水」、「地面」、「扉」等の基本構造のように、常に表示する対象となる種別情報が記憶されている場合には、当該仮想オブジェクトは非表示にする必要はない。一方で、「建物」、「壁」、「箱」等の構造物、「草」、「木」、「森」等の背景を示す種別情報のように、プレイヤオブジェクトに重畳すると視認性を妨げる仮想オブジェクトは非表示にされる。したがって、プロセッサ１１１は、種別情報を参照して、プレイヤオブジェクトに重畳する際には非表示にされることが予め決められているか否かを判断する。次に、当該仮想オブジェクトが非表示対象の仮想オブジェクトであると判断された場合には、プロセッサ１１１は、当該仮想オブジェクトを非表示にすべく、図３の仮想オブジェクト情報テーブルの表示情報を「オフ」に更新して記憶する（Ｓ２０６）。

次に、プロセッサ１１１は、あらかじめ決められた仮想カメラ６００からの位置、すなわちあらかじめ決められた座標位置に設定されたプレイヤ配置領域２３と仮想カメラ６００との間に、仮想オブジェクトが配置されるか否かを判定する（Ｓ２０７）。なお、プレイヤ配置領域２３は、実空間でヘッドマウントディスプレイ４００を装着しているプレイヤ１１の指示入力によって操作されるプレイヤオブジェクトが配置される領域を示す。プレイヤ配置領域２３は、本実施形態に係る処理のために新たに設定することも可能であるし、プレイヤオブジェクトと仮想オブジェクトとの衝突の判定に用いられる衝突判定領域などを用いてもよい。

図７ａを参照すると、仮想カメラ６００から見て、プレイヤ配置領域２３の後方に敵オブジェクト２１ｂ、雲オブジェクト２１ｃ、および背景オブジェクト２１ｄが存在する。一方で、プレイヤ配置領域２３の前方に建物オブジェクト２１ａが存在する。ここで、建物オブジェクト２１ａは、プレイヤ１１のプレイヤオブジェクトが仮想空間に配置されると、そのプイレイヤオブジェクトの前面に位置することになる。つまり、仮想カメラ６００から撮影すると、プレイヤオブジェクトが建物オブジェクト２１ａによって被覆される。このように、プレイヤオブジェクトの視認性を妨げるのを防止するために、図５のＳ２０７においては、プレイヤ配置領域２３と仮想カメラ６００との間に、仮想オブジェクトが配置されるか否かが判定される。

再び図５に戻り、プレイヤ配置領域２３と仮想カメラ６００との間に、仮想オブジェクトが配置されると判断された場合には、プロセッサ１１１は、その仮想オブジェクトの形状情報（図３）を参照して、プレイヤ配置領域２３が被覆される割合や面積を算出する（Ｓ２０８）。そして、その算出された割合や面積が予め決められた割合や面積以上の場合には、Ｓ２０５と同様に、プロセッサ１１１は、当該仮想オブジェクト（木オブジェクト２１ｘ）が非表示対象オブジェクトか否かを判定する（Ｓ２０９）。なお、このとき、非表示対象オブジェクトか否かの判定は、Ｓ２０５と同じ基準で行ってもよいし、変更することも可能である。たとえば、Ｓ２０５は、「敵」、「仲間」等のキャラクタ、「水」、「地面」、「扉」等の基本構造を表示対象オブジェクトとし、それ以外を非表示対象オブジェクトとする。しかし、Ｓ２０９では、上記に加えて、「剣」、「盾」、「防具」等の武器オブジェクトも表示対象オブジェクトして設定し、それ以外を非表示対象オブジェクトに設定してもよい。

次に、当該仮想オブジェクトが非表示対象の仮想オブジェクトであると判断された場合には、プロセッサ１１１は、当該仮想オブジェクトを非表示にすべく、図３の仮想オブジェクト情報テーブルの表示情報を「オフ」に更新して記憶する（Ｓ２１０）。以上により、仮想オブジェクトを仮想空間に配置させるか否か、つまりは仮想カメラ６００で撮影した際に表示させるか否かの判定処理は終了する。

なお、Ｓ２０３〜Ｓ２０５のいずれかで「Ｎｏ］であり、かつＳ２０７〜Ｓ２０９のいずれかで「Ｎｏ」の場合には、仮想オブジェクトは表示されることになるので、表示情報の更新は行わない。

図７ａの仮想空間を例にすると、木オブジェクト２１ｘは、仮想カメラ６００から所定距離ｄｘ以内に位置し（Ｓ２０３）、仮想カメラの画角内に含まれ（Ｓ２０４）、その種別情報も非表示とすべき「木」である（Ｓ２０５）。したがって、木オブジェクト２１ｘの表示情報は、オフに更新され、プロセッサ１１１が仮想空間に仮想オブジェクトを配置する際に木オブジェクト２１ｘは配置されず、また仮想カメラ６００で仮想的に撮影した場合も表示されることはない。

また、建物オブジェクト２１ａは、プレイヤ配置領域２３と仮想カメラ６００との間に位置し（Ｓ２０７）、プレイヤ配置領域２３の全面が被覆され（Ｓ２０８）、その種別情報も非表示とすべき「建物」である（Ｓ２０９）。したがって、建物オブジェクト２１ａの表示情報は、オフに更新され、プロセッサ１１１が仮想空間に仮想オブジェクトを配置する際に建物オブジェクト２１ａは配置されず、また仮想カメラ６００で仮想的に撮影した場合も表示されることはない。

図６は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。具体的には、図６に記載の処理フローは、実空間画像と仮想空間画像の合成に係る処理フローである。当該処理フローは、プロセッサ１１１が、実空間カメラ２００、ディスプレイ３００、及びヘッドマウントディスプレイ４００と共同して、メモリ１１２に記憶された指示命令（プログラム）を読み出して実行することにより行われる。

図６によると、プロセッサ１１１は、まず、実空間デプスカメラ２１２によって撮影された実空間デプス画像、及び実空間カラーカメラ２１１によって撮影された実空間カラー画像を取得しメモリ１１２に記憶するとともに、仮想カメラ６００によって仮想的に撮影された仮想空間デプス画像と仮想空間カラー画像を生成しメモリ１１２に記憶する（Ｓ３０１）。なお、本実施形態においては、実空間デプス画像、実空間カラー画像、仮想空間デプス画像、及び仮想空間カラー画像は、それぞれ同期して、つまり同じか実質的に同じタイミングで実空間カメラ２００又は仮想カメラ６００によって撮影される。

図７ｂは、本開示の一実施形態に係る実空間カメラ２００により撮影される実空間を概念的に説明するための図である。具体的には、図７ｂは、実空間カラーカメラ２１１及び実空間デプスカメラ２１２でプレイヤ１１及びクロマキー合成に用いられる背景布５００が撮影される様子を説明するための図である。図７ｂによると、ヘッドマウントディスプレイ４００を装着しているプレイヤ１１が、ヘッドマウントディスプレイ４００に表示された仮想空間における移動や仮想空間に配置された仮想オブジェクトに対する指示入力を行っている。そして、プレイヤ１１の背後には、実空間カラーカメラ２１１で撮像した際の背景の一部となる背景布５００が配置されている。すなわち、実空間カメラ２００を基準にした場合、当該実空間カメラ２００から距離Ｄ１（例えば、２ｍ）の位置にプレイヤ１１が存在し、実空間カメラ２００から距離Ｄ１以上の距離Ｄ２（例えば、４ｍ）の位置に背景布５００が配置されている。実空間カメラ２００は、このような実空間を適宜のタイミング（例えば、３０ｍ秒ごと）で撮影する。

なお、背景布５００は、クロマキー合成をする際に用いられる背景布が好適には用いられる。一例としては、いわゆるグリーンバックやブルーバックと呼ばれるものであって、全面が緑色か青色をしたものが用いられる。また、特に布地状のものに限定されるものではなく、例えば板状の壁材等を用いることも可能である。また、本実施形態においては、詳しくは後述するが、撮影された実空間画像からのプレイヤ１１の抽出はデプス値を併用するため、プレイヤ１１の周囲のみ緑色や青色の背景となっていれば良い。したがって、従来のクロマキー合成で用いられるような広範な範囲が緑色や青色に覆われる必要はなく、プレイヤ１１の周囲のみの狭い範囲が緑色又は青色の背景となるだけで十分である。

また、図７ａには、上記のとおり、本開示の一実施形態に係る仮想カメラ６００により撮影される仮想空間を概念的に説明するための図が示されている。図７ａによると、実空間の実空間カメラ２００が配置された位置に対応付けて仮想空間内に仮想カメラ６００が配置されている。すなわち、実空間においては座標Ｃの位置にプレイヤ１１が存在しているが、実空間における距離Ｄ１に対応する距離ｄ１だけ離れた位置に仮想カメラ６００が配置されている。そして、仮想カメラ６００の位置を原点とした座標空間上に、図３の仮想オブジェクト情報テーブルに記憶された配置座標情報に基づいて、距離ｄ１以上の距離ｄ３だけ離れた座標位置に敵オブジェクト２１ｂが、距離ｄ４だけ離れた座標位置に雲オブジェクト２１ｃが、距離ｄ５だけ離れた座標位置に背景オブジェクト２１ｄが仮想的に配置されている。なお、建物オブジェクト２１ａ、及び木オブジェクト２１ｘは、図５の処理により非表示とされているため、当該仮想空間内には配置されない。仮想カメラ６００は、このような仮想空間を、実空間カメラの撮影のタイミングに同期して、つまりは同じか実質的に同じタイミングで仮想的に撮影する。

図８ａは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。具体的には、図８ａは、実空間カメラ２００のうち実空間カラーカメラ２１１で撮影された実空間カラー画像を示す。実空間カラー画像には、実空間のプレイヤ１１及び背景布５００を含む撮影対象物から反射した光の波長に対応するカラー値が各画素ごとに記憶されている。したがって、各画素ごとにプレイヤ１１及び背景布５００（本実施形態においてはグリーンバック）の有しているそれぞれの色が再現される。

図８ｂは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。具体的には、図８ｂは、実空間カメラ２００のうち実空間デプスカメラ２１２で撮影された実空間デプス画像を示す。実空間デプスカメラ２１２は、実空間カラーカメラ２１１の位置と実質的に同じ位置に配置され、その撮影に同期して撮影されるため、実空間カラーカメラ２１１と実質的に同じ画角で同じシーンが撮影される。したがって、実空間デプス画像は、プレイヤ１１と背景布５００を含む。

一方、実空間デプス画像には、実空間デプスカメラ２１２によって測定されたデプス値が、実空間デプス画像を構成する各画素ごとに記憶される。なお、図８ｂ等の実空間デプス画像、及び図８ｄ等の仮想空間デプス画像においては、説明の便宜のために、そのデプス値に応じた階調（例えば、デプス値がゼロのものを白、デプス値が最大のものを黒とした２階調）で描いている。すなわち、実空間デプスカメラ２１２から距離Ｄ１にあるプレイヤ１１の座標に存在する各画素には、距離Ｄ１に対応するデプス値が記憶され、そのデプス値に対応した階調でプレイヤ１１は描かれる。また、実空間デプスカメラ２１２から距離Ｄ２にある背景布５００の座標に存在する各画素には、距離Ｄ２に対応するデプス値が記憶され、そのデプス値に対応した階調で背景布５００は描かれる。なお、説明の便宜のため、プレイヤ１１を構成する画素のデプス値を一律に距離Ｄ１として説明した。しかし、実際はプレイヤ１１も奥行きを有する立体物であるため、プレイヤ１１を構成する各画素ごとに異なるデプス値を有する。

図８ｃは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。具体的には、仮想カメラ６００で仮想的に撮影された仮想空間カラー画像を示す。仮想カメラ６００は、実空間カメラ２００に対応する位置に配置され、実空間カメラ２００の撮影に同期して撮影されるため、実空間カラーカメラ２１１と実質的に同じ画角で仮想空間が撮影される。したがって、仮想空間カラー画像には、仮想空間とその仮想空間の所定の座標位置に配置された背景オブジェクト２１ｄ、雲オブジェクト２１ｃ、及び敵オブジェクト２１ｂがそれぞれ含まれる。また、仮想オブジェクト２１ｂ〜２１ｄを含むすべての仮想空間を構成する仮想オブジェクトには、図３に示す仮想オブジェクト情報テーブルに、図３に示す属性情報に加えて、色（仮想オブジェクトを構成する画素ごとのカラー値）等の情報が記憶されている。したがって、仮想空間カラー画像は、仮想カメラ６００で撮影したシーンを、構成される画素ごとに、仮想オブジェクトが有するカラー値に基づいて再現したものとなる。なお、建物オブジェクト２１ａ及び木オブジェクト２１ｘは、図５の処理により非表示とされているため表示されない。

図８ｄは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。具体的には、仮想カメラ６００で仮想的に撮影された仮想空間デプス画像を示す。仮想オブジェクト２１ｂ〜２１ｄを含むすべての仮想空間を構成する仮想オブジェクトは、図３に示す属性情報が記憶されていることに加えて、仮想オブジェクトを構成する画素ごとのデプス値が配置座標情報や形状情報に基づいて算出される。具体的には、仮想空間内の各仮想オブジェクトを、属性情報に基づいて仮想カメラ６００を原点とするカメラ座標系に変換することで、仮想カメラ６００の位置からの距離を算出する。そして、仮想カメラ６００の位置から仮想スクリーンに投影変換することで、仮想空間デプスが画像を構成する各画素ごとに、仮想カメラ６００からの距離を算出する。図８ｄは、各画素ごとに算出された仮想カメラ６００からの距離に対応するデプス値に基づいて再現したものとなる。なお、建物オブジェクト２１ａ及び木オブジェクト２１ｘは、図５の処理により非表示とされているため再現されない。

再び図６に戻り、図８ａ〜図８ｄに例示する各実空間画像及び各仮想空間画像がそれぞれ取得または生成され、メモリ１１２に記憶されると、プロセッサ１１１は、次に、実空間デプス画像が有するデプス値の変換処理を行う（Ｓ３０２）。

具体的には、実空間デプス画像を構成する各画素には、実空間デプスカメラ２１２からの距離に対応するデプス値が記憶されている。当該処理では、このデプス値が所定値よりも大きい場合には、無限遠を示すデプス値（つまり、理論上の最大のデプス値（たとえば、０ｍ〜１０ｍの範囲を、０〜６５５３５の１６ｂｉｔのデプス値で表す場合、１０ｍよりも後ろについては全て「６５５３５」のデプス値とする）））に変換して記憶する処理を行う。本実施形態においては、所定値として、プレイヤ１１及び背景布５００よりも遠い距離Ｄ３に対応する値が設定されている。したがって、距離Ｄ３に対応する所定値以上のデプス値が記憶されている全ての画素のデプス値は、無限遠を示すデプス値に変換して記憶される。一方、プレイヤ１１及び背景布５００を構成する画素は、距離Ｄ３に対応するデプス値未満のデプス値が記憶されているため、デプス値は変換されない。

図９は、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図９は、図８ｂで示された実空間デプス画像に対してＳ３０２のデプス値の変換処理を行った後の図である。上記のとおり、距離Ｄ３よりも遠い領域２２については、無限遠を示すデプス値に変換されているため、無限遠を示す黒で描画されている。一方、距離Ｄ３よりも近い領域（プレイヤ１１および背景布５００）については、測定されたデプス値から変換されることなく、もともとのデプス値に対応した階調で描画される。

再び図６に戻り、実空間デプス画像のデプス値の変換処理が行われたのちに、プロセッサ１１１は、実空間デプス画像の解像度の変換処理を行う（Ｓ３０３）。一般的に、実空間デプスカメラ２１２の解像度は、実空間カラーカメラ２１１の解像度よりも低い。つまり、図８ｂに示す実空間デプス画像は、実空間デプスカメラ２１２によって、相対的に低い解像度（第１の解像度）で撮影されたものであって、図８ａに示す実空間カラー画像は、実空間カラーカメラ２１１によって、第１の解像度よりも高い第２の解像度で撮影されたものとなる。そのため、撮影されたままの実空間デプス画像に基づいてプレイヤ１１の画像を抽出すると、実空間カラー画像では背景布５００が表示されている領域等の不要な領域がプレイヤ１１の画像として抽出されてしまう。したがって、このような不要な領域の切り出しを最小限にし、プレイヤ１１の画像をより鮮明に抽出するために、本実施形態のＳ３０３の実空間デプス画像の解像度の変換処理が必要となる。本実施形態においては、例えば、実空間デプスカメラ２１２の解像度に対して、実空間カラーカメラ２１１は４倍の解像度を有する。したがって、当該変換処理では、実空間デプス画像の解像度を、実空間カラーカメラ２１１の解像度に対応して、４倍の解像度に変換する。なお、本実施形態では説明の便宜のための４倍の解像度としたが、用いる実空間カラーカメラ２１１と実空間デプスカメラ２１２の解像度に応じて適宜設定することが可能である。

図１０ａは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図１０ａは、図８ｂの実空間デプス画像の領域Ａの部分を拡大した図であって、Ｓ３０３の解像度変換処理を実行する前の画像を示す。図１０ａによると、実空間デプス画像は、１画素がａ×ｂの大きさを有する画素によって構成されている。

図１０ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図１０ｂは、Ｓ３０３の解像度変換処理を実行した後の画像を示す。本実施形態においては、上記のとおり、実空間カラーカメラ２１１の解像度に対応して、４倍の解像度に変換する処理を実行する。したがって、図１０ｂによると、縦及び横ともに、２分の１の長さ（ａ’×ｂ’）に各画素が精細化される。なお、解像度変換処理後の各画素には、処理前の各画素が有していたデプス値がそのまま記憶される。

再び図６に戻り、実空間デプス画像の解像度の変換処理が行われたのちに、プロセッサ１１１は、実空間カラー画像のカラー値に基づくデプス値の変換処理を実行する（Ｓ３０４）。具体的には、実空間カラー画像において背景布５００の色（本実施形態においては緑色）のカラー値を有する画素と同じ座標位置にある実空間デプス画像の画素のデプス値を、無限遠を示すデプス値に変換する処理を実行する。

図１１ａは、本開示の一実施形態に係る実空間カラー画像の例を示す図である。具体的には、図１１ａは、図８ａの実空間カラー画像の領域Ａ’の部分を拡大した図である。図１１ａによると、図１０ｂに示す解像度変換処理後の実空間デプス画像と同じ解像度（１画素がａ’×ｂ’で構成）で、プレイヤ１１の画像及び背景布５００の画像を含む実空間カラー画像が描画されている。したがって、プレイヤ１１と背景布５００との境界線が、図１０ａに示す実空間デプス画像に比べてより精細に描画されている。

図１１ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図１１ｂは、図１０ｂに示す解像度変換処理後の実空間デプス画像と図１１ａにおける実空間カラー画像とにおいて、プレイヤ１１と背景布５００との境界線の違いを示す図である。図１１ｂによると、解像度の低いもともとの実空間デプス画像において、領域１１ａ〜１１ｄ等の右斜線で示す画素は、プレイヤ１１の他の画素と同じデプス値を有しており、プレイヤ１１として抽出される画素である。しかし、より解像度の高い実空間カラー画像（図１１ａ）において、領域１１ａ〜１１ｄ等の右斜線で示す画素は、プレイヤ１１として抽出される画素ではなく、背景布５００として切り取られるべき画素である。したがって、仮に解像度の低いもともとの実空間デプス画像のみに基づいてプレイヤ１１の画像を抽出すると、その輪郭の一部に背景布５００が混在し見栄えの劣る画像となる。そこで、本実施形態においては、実空間カラー画像において背景布５００である領域を抽出しないように、背景布５００の色（本実施形態においては緑色）のカラー値を有する画素と同じ座標位置にある実空間デプス画像の画素のデプス値を、すべて無限遠を示すデプス値に変換する処理を実行する。

図１１ｃは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図１１ｃは、Ｓ３０４のデプス値変換処理後の実空間デプス画像を示す図である。図１１ｃによると、図１１ｂにおいて右斜線で示された背景布５００として切り取られるべき画素は、すべて無限遠を示すデプス値に変換されたことにより、無限遠である黒の階調で描画されている。したがって、実空間デプス画像においても、実空間カラー画像と同様に、プレイヤ１１と背景布５００との境界線がより精細に描画されることが可能となる。

再び図６に戻り、実空間デプス画像のデプス値の変換処理が行われたのちに、プロセッサ１１１は、実空間カラー画像と仮想空間カラー画像との合成処理を実行する（Ｓ３０５）。具体的には、Ｓ３０４の処理後の実空間デプス画像と、当該実空間デプス画像の解像度と同じ解像度を有する仮想空間デプス画像との間で、各画素ごとに両者のデプス値を比較する。そして、よりデプス値が小さい方のカラー画像のカラー値をその画素のカラー値として選択するようにする。例えば、実空間デプス画像の座標位置（ｘ１，ｙ１）の画素のデプス値が「２．０」であり、仮想空間デプス画像の対応する座標位置（ｘ１，ｙ１）の画素のデプス値が「６．０」であった場合は、実空間カラー画像の対応する座標位置（ｘ１，ｙ１）の画素のカラー値を、合成画像の対応する座標位置（ｘ１，ｙ１）の画素のカラー値として採用する。一方、実空間デプス画像の座標位置（ｘ２，ｙ２）の画素のデプス値が「無限遠（理論上の最大値）」であり、仮想空間デプス画像の座標位置（ｘ２，ｙ２）の画素のデプス値が「１．０」であった場合は、仮想空間カラー画像の座標位置（ｘ２，ｙ２）の画素のカラー値を、合成画像の座標位置（ｘ２，ｙ２）の画素のカラー値として採用する。以上の処理を、すべての画素について繰り返すことにより、実空間カラー画像と仮想空間カラー画像との合成処理が実施される。

図１２ａは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。具体的には、図１２ａは、プロセッサ１１１によって実空間カラー画像と仮想空間カラー画像とが合成されたのちの画像を示す。図６のＳ３０２〜Ｓ３０４の処理によって、プレイヤ１１以外の領域はすべて無限遠を示すデプス値に変換される。つまり、図７ａに示す仮想空間において、距離ｄ３〜ｄ５にそれぞれ対応するデプス値を有する仮想オブジェクト２１ｂ〜２１ｄを含む全ての仮想オブジェクトは、プレイヤ１１以外の領域のデプス値（無限遠）よりも必ず小さい値となる。したがって、プレイヤ１１以外の領域には、仮想空間カラー画像のカラー値が採用されることにより、すべての仮想オブジェクト２１ｂ〜２１ｄを含む仮想オブジェクトが描画される。

一方、プレイヤ１１を構成する各画素には、デプス値として実空間デプスカメラ２１２からの距離が画素単位に記憶されている（なお、図７ｂ等においては、それらの代表値として距離Ｄ１に対応するデプス値が記憶されていることとして説明した）。そして、プレイヤ１１を構成する各画素に記憶されたデプス値よりも大きいデプス値を有する敵オブジェクト２１ｂ、雲オブジェクト２１ｃ、及び背景オブジェクト２１ｄのうち、プレイヤ１１と重なっている領域については、実空間カラー画像のカラー値が採用されることにより、プレイヤ１１のプレイヤオブジェクトが前面に描画される。なお、このとき、本来であればプレイヤ１１のプレイヤオブジェクトよりも前面に配置される建物オブジェクト２１ａ及び木オブジェクト２１ｘは、図５の処理により非表示とされているため描画されない。

図１２ｂは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。具体的には、図５のＳ２０９の処理において、仮想オブジェクトが非表示対象オブジェクトではなかった場合の画像の例を示す。図１２ｂによると、仮想空間においてプレイヤ１１のプレイヤオブジェクトと仮想カメラの間に「扉」オブジェクト２１ｅが配置されている。したがって、図５のＳ２０７は「Ｙｅｓ」の判断がなされるが、種別情報が「扉」は非表示対象ではないことが予め設定されているため、Ｓ２０９では「Ｎｏ」の判断がなされる。つまり、扉オブジェクトは、非表示とはされず、仮想空間にも通常通り配置され、仮想カメラ６００によって撮影される。したがって、図１２ｂによると、扉オブジェクト２１ｅの後方に位置するプレイヤ１１のプレイヤオブジェクトは視認できないようになっている。

図１２ｃは、本開示の一実施形態に係る合成処理後の画像の例を示す図である。具体的には、図５のＳ２０８の処理において、プレイヤ配置領域２３が被覆される割合や面積が所定の割合または面積よりも小さかった場合の画像の例を示す。図１２ｃによると、仮想空間においてプレイヤ１１のプレイヤオブジェクトと仮想カメラの間に建物オブジェクト２１ａが存在するものの、プレイヤオブジェクトを完全に被覆するのではなく、その一部を被覆している。この場合、図５のＳ２０７は「Ｙｅｓ」の判断がなされるが、Ｓ２０８では「Ｎｏ」の判断がなされる。つまり、建物オブジェクト２１ａは非表示とはされず、仮想空間にも通常通り配置され、仮想カメラ６００によって撮影される。したがって、図１２ｃによると、建物オブジェクト２１ａの後方に位置するプレイヤ１１のプレイヤオブジェクトの一部は視認可能に表示されているが、建物オブジェクト２１ａが重畳している残りの部分は視認できない。

以上、本実施形態においては、ヘッドマウントディスプレイ４００を装着して仮想空間においてゲームアプリケーションを実行しているプレイヤと、その仮想空間とを合成して表示するため、それを観覧する第三者にとってより趣向の高い表示が可能となる。また、プレイヤ１１のプレイヤオブジェクトと仮想カメラ６００との間に位置する仮想オブジェクトについては、非表示にする処理が行われる。したがって、プレイヤオブジェクトの視認の妨げになるような仮想オブジェクトの表示がなされないので、第三者がプレイヤオブジェクトの視認がより簡単になる。また、本実施形態においては、実空間デプス画像のデプス値と、実空間カラー画像のカラー値とを併用してプレイヤ１１の画像を抽出する。したがって、実空間デプス画像のデプス値のみによる抽出処理に比べて、より高精細なプレイヤ１１の抽出が可能となる。また、実空間カラー画像のカラー値のみによる抽出処理（クロマキー合成処理）に比べて、背景布５００を設置するエリアを最小限にとどめることが可能となる。

１０．他の実施形態
上記実施形態においては、プレイヤ１１のプレイヤオブジェクトと仮想カメラ６００との間にある仮想オブジェクトについては、所定の場合に非表示にする処理をした。しかし、「非表示」にするのではなく、当該仮想オブジェクトの透過率を制御して、仮想空間には配置させるものの、透過してその背面が視認できるようにしてもよい。このような場合は、図３の仮想オブジェクト情報テーブルに「透過情報」を記憶し、その透過情報を適宜更新するようにする。なお、透過情報は、仮想オブジェクトを構成する各画素ごとに記憶されたＲＧＢやＣＭＹＫ等のカラー値と異なり、仮想オブジェクトを構成する各画素ごとに色の透明度を示す情報である。典型的には、「アルファ値」と呼ばれる値によって特定され、０（完全に不透明）〜２５５（完全に透過）までの数値によってあらわされる。

図１３は本開示の他の実施形態に係る合成処理後の画像の例を示す図である。具体的には、図１３は、仮想空間においてプレイヤオブジェクトと仮想カメラ６００との間にある建物オブジェクトを「半透明」にした場合の画像の例を示す。この場合、建物オブジェクト２１ａが半透明に表示されることにより、その後方に位置するプレイヤ１１のプレイヤオブジェクトが視認可能に表示される。なお、図１３の例においては、建物オブジェクト２１ａを「半透明」にしたが、図３に記憶する透過情報を制御して、完全に透明にするなど、適宜調整してもよい。

また、上記実施形態においては、建物オブジェクト２１ａの全体を非表示にしたり、あるいは透過させるように処理した。しかし、各仮想オブジェクトはそれを構成する画素ごとに制御されるため、建物オブジェクト２１ａの全体を透過させる必要はなく、プレイヤオブジェクトの周囲のみを非表示にしたり、透過させることも可能である。さらに、建物オブジェクト２１ａの輪郭部分のみを残して、残りを非表示または透過させることも可能である。図１３は、仮想空間において仮想カメラ６００からの距離が所定距離以内にある木オブジェクト２１ｘの輪郭のみを表示させた場合の画像の例を示す。この場合、木オブジェクト２１ｘの内部は透明に（または透過）され、その輪郭は実線で描いて、木オブジェクト２１ｘの存在を視認できるようにする。なお、輪郭は、実線で描く必要はなく、いかなる線種であってもよい。また、輪郭全体を描く必要はなく、その一部のみを描いてもよい。

また、上記実施形態においては、プレイヤ配置領域が被覆される割合や面積の判定において、全体が被覆される場合にのみ仮想オブジェクトを非表示にした。しかし、これに限らず、たとえばプレイヤオブジェクトの５０％以上が被覆される場合にのみ仮想オブジェクトを非表示にするようにしてもよい。なお、その閾値となる割合や面積は、適宜調整することが可能である。

また、上記実施形態においては、仮想カメラ６００とプレイヤ１１のプレイヤオブジェクトの間に配置されることになる仮想オブジェクトはすべて非表示とするか否かの判断の対象とした。しかし、これに限らず、仮想カメラ６００の画角に含まれる仮想オブジェクトのみをその判断の対象としてもよい。

また、上記実施形態においては、図５のＳ２０４、Ｓ２０５、Ｓ２０８、及びＳ２０９等の処理を行った。しかし、仮想カメラ６００またはプレイヤ１１のプレイヤオブジェクトと、他の仮想オブジェクトとの位置関係が所定の位置関係になる場合には、一律に表示態様を変更する処理を行うようにしてもよい。

上記実施形態においては、ある程度の大きさを有するディスプレイ３００に合成画像を出力し、第三者全員によって観覧する場合について説明した。しかし、第三者がそれぞれヘッドマウントディスプレイを装着し、各ヘッドマウントディスプレイに合成画像を出力するようにしてもよい。

また、本実施形態においては、ゲームアプリケーションの実行にシステム１を用いる場合について説明したが、医療シミュレーション、自動車、電車、飛行機等の運転シミュレーション、観光地への旅行シミュレーション、仮想店舗や仮想不動産などでの仮想ショッピング、映画や音楽ライブなどのエンターテイメント等のアプリケーションにも好適に用いることが可能である。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバー装置を含む各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

１００ 端末装置
２００ 実空間カメラ
３００ ディスプレイ
４００ ヘッドマウントディスプレイ

Claims (14)

1. ヘッドマウントディスプレイが装着されたプレイヤの画像オブジェクトであって、実空間カメラで撮影された実空間画像からデプス値に基づいて抽出された前記プレイヤの画像オブジェクトである第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトとが配置される仮想空間を、前記プレイヤとは異なる第三者が視聴可能にディスプレイに出力するための端末装置であって、
   前記第２の仮想オブジェクトの前記仮想空間における座標情報と所定の指示命令が記憶されたメモリと、
   前記指示命令に基づいて、実空間のプレイヤの指示入力に基づいて操作可能な前記第１の仮想オブジェクトと、前記第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記実空間カメラで撮影することにより得られた前記画像オブジェクトの前記デプス値と前記メモリに記憶された前記第２の仮想オブジェクトの前記座標情報に応じて、前記第２の仮想オブジェクトが前記第１の仮想オブジェクトに対して所定の位置関係となると判断される場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更するための処理をするように構成されるプロセッサと、
   を含む端末装置。
2. 前記所定の位置関係は、前記第２の仮想オブジェクトが前記仮想カメラと前記第１の仮想オブジェクトの間に配置される位置関係である、請求項１に記載の端末装置。
3. 前記プレイヤは、前記仮想空間が表示されたヘッドマウントディスプレイが装着されたプレイヤである、請求項１または２に記載の端末装置。
4. 前記第１の仮想オブジェクトは、前記プレイヤに関連した画像オブジェクトである、請求項１〜３のいずれか一項に記載の端末装置。
5. 表示態様を変更する前記処理により、前記第２の仮想オブジェクトは非表示にされる、請求項１〜４のいずれか一項に記載の端末装置。
6. 表示態様を変更する前記処理により、前記第２の仮想オブジェクトは透過して表示される、請求項１〜４のいずれか一項に記載の端末装置。
7. 表示態様を変更する前記処理により、前記第２の仮想オブジェクトの少なくとも一部の輪郭のみが表示されるように変更する、請求項１〜４のいずれか一項に記載の端末装置。
8. 前記メモリは前記第２の仮想オブジェクトの属性情報を記憶し、
   前記プロセッサは、前記位置関係に加えて前記属性情報に基づいて、前記第２の仮想オブジェクトの表示態様を変更するか否かを決定する、請求項１〜７のいずれか一項に記載の端末装置。
9. 前記属性情報は、前記第２の仮想オブジェクトの種別情報又は形状情報を含む、請求項８に記載の端末装置。
10. 前記位置関係は、前記仮想カメラにより撮影される前記仮想空間画像において前記第１の仮想オブジェクトに対して前記第２の仮想オブジェクトの少なくとも一部が重畳する位置関係である、請求項１〜９のいずれか一項に記載の端末装置。
11. 前記位置関係は、前記仮想カメラにより撮影される前記仮想空間画像において、前記第１の仮想オブジェクトの全体に前記第２の仮想オブジェクトが重畳する位置関係である、請求項１〜９のいずれか一項に記載の端末装置。
12. 請求項１〜１１のいずれか一項に記載の端末装置と、
    実空間に配置され前記端末装置と通信可能に接続され、実空間のプレイヤを撮影するための実空間カメラと、
    前記端末装置と通信可能に接続され、前記プロセッサにより出力される前記第１の仮想オブジェクトと変更された表示態様の第２の仮想オブジェクトを含む仮想空間画像を、前記プレイヤとは異なる第三者が視聴可能に表示するためのディスプレイと、
    を含むシステム。
13. ヘッドマウントディスプレイが装着されたプレイヤの画像オブジェクトであって、実空間カメラで撮影された実空間画像からデプス値に基づいて抽出された前記プレイヤの画像オブジェクトである第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトとが配置される仮想空間を、前記プレイヤとは異なる第三者が視聴可能にディスプレイに出力するためのコンピュータであって、前記第２の仮想オブジェクトの前記仮想空間における座標情報と所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて処理をするように構成されたプロセッサを含むコンピュータに、
    実空間のプレイヤの指示入力に基づいて操作可能な前記第１の仮想オブジェクトと、前記第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記実空間カメラで撮影することにより得られた前記画像オブジェクトの前記デプス値と前記メモリに記憶された前記第２の仮想オブジェクトの前記座標情報に応じて、前記第２の仮想オブジェクトが前記第１の仮想オブジェクトに対して所定の位置関係となると判断される場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更するための処理と、
    を実行させるためのプログラム。
14. ヘッドマウントディスプレイが装着されたプレイヤの画像オブジェクトであって、実空間カメラで撮影された実空間画像からデプス値に基づいて抽出された前記プレイヤの画像オブジェクトである第１の仮想オブジェクトと、前記第１の仮想オブジェクトとは異なる第２の仮想オブジェクトとが配置される仮想空間を、前記プレイヤとは異なる第三者が視聴可能にディスプレイに出力するための端末装置であって、前記第２の仮想オブジェクトの前記仮想空間における座標情報と所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて所定の処理をするように構成されたプロセッサを含む端末装置において、前記プロセッサが前記所定の指示命令を処理することによりなされる方法であって、
    実空間のプレイヤの指示入力に基づいて操作可能な前記第１の仮想オブジェクトと、前記第２の仮想オブジェクトと、前記第１の仮想オブジェクトと前記第２の仮想オブジェクトを仮想的に撮影するための仮想カメラとが、それぞれ異なる位置に仮想的に配置される仮想空間において、前記実空間カメラで撮影することにより得られた前記画像オブジェクトの前記デプス値と前記メモリに記憶された前記第２の仮想オブジェクトの前記座標情報に応じて、前記第２の仮想オブジェクトが前記第１の仮想オブジェクトに対して所定の位置関係となると判断される場合には、前記仮想カメラにより撮影される仮想空間画像に含まれる前記第１の仮想オブジェクトと前記第２の仮想オブジェクトのうち前記第２の仮想オブジェクトの表示態様を変更する段階と、
    を含む方法。

Images