JP6799017B2 - 端末装置、システム、プログラム及び方法 - Google Patents

Description

本開示は、仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを撮像した画像に、当該仮想空間を合成して出力するための端末装置、システム、プログラム及び方法に関する。

従来より、そのプレイヤの指示入力に連動して、仮想空間内に配置された操作対象オブジェクトを操作するためのシステムが知られていた。その一例としては、例えば特許文献１のように、プレイヤがヘッドマウントディスプレイ（ＨＭＤ）を装着し、ヘッドマウントディスプレイのディスプレイに表示された仮想空間をプレイヤ自らの視点で仮想空間内を移動したり、操作対象オブジェクトを操作することで、プレイヤがその仮想空間内に存在するかのような仮想現実を体験することが可能なシステムがあった。

しかし、このような場合、プレイヤはヘッドマウントディスプレイを介して仮想空間を認識することができる一方で、プレイヤの操作を観覧・観戦している第三者にとっては、単にプレイヤの操作を見るだけで十分に趣向が高いものとは言えなかった。

特開２０１７−１７０１０６号公報

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、第三者にとってより趣向の高い仮想空間の表示が可能な端末装置、システム、プログラム、又は方法を提供する。

本開示の一態様によれば、「所定の指示命令が記憶されたメモリと、前記所定の指示命令に基づいて、仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成し、合成された画像を出力するための処理をするように構成されるプロセッサと、を含む端末装置」が提供される。

本開示の一態様によれば、「上記端末装置と、実空間に配置され前記端末装置と通信可能に接続された、仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像を撮影するための実空間カメラと、前記端末装置と通信可能に接続された、前記仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像の少なくとも一部と、前記実空間画像に含まれるプレイヤ画像とが合成された画像を表示するためのディスプレイと、を含むシステム」が提供される。

本開示の一態様によれば、「所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて処理をするように構成されたプロセッサを含むコンピュータに、仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成する処理と、合成された画像を出力する処理と、を実行させるためのプログラム」が提供される。

本開示の一態様によれば、「所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて所定の処理をするように構成されたプロセッサを含む端末装置において、前記プロセッサが前記所定の指示命令を処理することによりなされる方法であって、仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成する段階と、合成された画像を出力する段階と、を含む方法」が提供される。

本開示の様々な実施形態によれば、第三者にとってより趣向の高い仮想空間の表示が可能な端末装置、システム、プログラム、又は方法を提供することができる。

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

図１ａは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。 図１ｂは、本開示の一実施形態に係るシステム１においてディスプレイ３００に表示される画面の例を示す図である。 図２は、本開示の一実施形態に係るシステム１の構成を示すブロック図である。 図３は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。 図４は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。 図５ａは、本開示の一実施形態に係る実空間カメラ２００による実空間の撮影を概念的に説明するための図である。 図５ｂは、本開示の一実施形態に係る仮想カメラ６００による仮想空間の撮影を概念的に説明するための図である。 図６ａは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。 図６ｂは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。 図６ｃは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。 図６ｄは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。 図７は、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図８ａは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図８ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図９ａは、本開示の一実施形態に係る実空間カラー画像の例を示す図である。 図９ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図９ｃは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。 図１０は、本開示の一実施形態に係る合成画像の例を示す図である。

添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

１．本開示の一実施形態に係るシステムの概要
図１ａは、本開示の一実施形態に係るシステム１を概念的に説明するための図である。具体的には、図１ａは、実空間のプレイヤ１１が、ヘッドマウントディスプレイ４００を装着し、仮想空間においてゲームアプリケーションを実行している様子を示す。このとき、実行されているゲームアプリケーションを観戦している第三者１２ａ〜１２ｄは、単にプレイヤ１１の動きをみるだけで、仮想空間で行われている処理を認識することができず、非常に退屈なものとなる。そこで、本実施形態においては、実空間に配置され、実空間カメラ２００によってプレイヤ１１を含む実空間画像を撮影する。また、その撮影に同期して、仮想空間に仮想的に配置された仮想カメラ６００によって仮想空間画像を撮影する。そして、それぞれ撮影された実空間画像中のプレイヤ１１の画像と、仮想空間画像の少なくとも一部を合成して、ディスプレイ３００に表示する。これによって、第三者１２ａ〜１２ｄは、実行されているゲームアプリケーションの仮想空間内で、プレイヤ１１がどのように仮想空間内を移動し、操作対象オブジェクトを操作しているのか、臨場感をもって視聴することが可能となる。

図１ｂは、本開示の一実施形態に係るシステム１においてディスプレイ３００に表示される画面の例を示す図である。具体的には、図１ｂは、第三者１２ａ〜１２ｄがディスプレイ３００で視聴する画面の例を示す。図１ｂによると、ディスプレイ３００のディスプレイパネル３１２上に、実空間カメラ２００によって撮影されたプレイヤ１１の画像と、仮想カメラ６００によって撮影された仮想空間画像とが合成して表示される。したがって、第三者１２ａ〜１２ｄは、この合成後の画像を視聴することによって、プレイヤ１１が、仮想オブジェクト（背景オブジェクト２１ｅ、雲オブジェクト２１ｄ、敵オブジェクト２１ｃ、敵オブジェクト２１ｂ、及び木オブジェクト２１ａ）を含む仮想空間内で、ゲームアプリケーションを実行している様子を、臨場感をもって視聴することが可能となる。

なお、本実施形態において、「第三者」とは、単にプレイヤ１１と区別して用いているに過ぎない。すなわち、第三者自身も、ゲームアプリケーションを実行するプレイヤの一人であってもよいし、単にプレイヤ１１がプレイする様子を視聴するだけであってもよい。

また、本実施形態では、ゲームプリケーションを実行する場合について説明するが、特にゲームアプリケーションに限らず、仮想空間を利用したアプリケーションであればいずれでも好適に本実施形態に係るシステム１を適用することができる。例えば、医療シミュレーション、自動車、電車、飛行機等の運転シミュレーション、観光地への旅行シミュレーション、仮想店舗や仮想不動産などでの仮想ショッピング、映画や音楽ライブなどのエンターテイメント等のアプリケーションで利用することで、プレイヤとなるユーザが操作しているシーンを他のプレイヤ（第三者）と共有することが可能となる。

また、本実施形態において、実空間画像、実空間デプス画像、実空間カラー画像、仮想空間画像、仮想空間デプス画像、仮想空間カラー画像等が用いられる。これらは、各カメラによって撮影された直後の画像のみを意味するのではなく、様々な処理後の各画像も含めた意味である。

また、本実施形態において、実空間カメラ２００の撮影に同期して、つまり同じか実質的に同じタイミングで仮想カメラ６００により仮想空間画像が撮影されるが、この仮想カメラ６００による撮影は、一例としては、仮想オブジェクトが配置された仮想空間を仮想カメラ６００の位置からレンダリングを行い、仮想スクリーンに対して仮想空間内の仮想オブジェクトを投影して画像を得ることにより行われる。

２．本開示の第１実施形態に係るシステム１の全体構成
図２は、本開示の一実施形態に係るシステム１の構成を示すブロック図である。図２を参照すると、システム１は、画像の合成等の処理を実行する端末装置１００と、仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤ１１を含む実空間画像を撮影するための実空間カメラ２００と、仮想空間に配置された仮想カメラによって仮想的に撮影された仮想空間画像の少なくとも一部と実空間画像に含まれるプレイヤ画像が合成された画像を表示するためのディスプレイ３００と、プレイヤ１１に装着され、プレイヤ１１が実行するゲームアプリケーションの仮想空間を表示するヘッドマウントディスプレイ４００と、を含む。端末装置１００と、実空間カメラ２００と、ディスプレイ３００と、ヘッドマウントディスプレイ４００とは、互いに有線又は無線によって通信可能に接続されている。

なお、特に図示はしていないが、仮想空間において移動又は仮想オブジェクトの操作のためのプレイヤ１１による指示入力を検出する検出装置を有していてもよい。検出装置の一例としては、プレイヤ１１に装着し内蔵する加速度センサやジャイロセンサ等によってプレイヤ１１の動きを検出する装置や、プレイヤ１１から離れた位置に設置され赤外線センサやカメラを用いてプレイヤ１１の動きを画像認識する装置などが挙げられる。

また、システム１は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、図２の例では、実空間カメラ２００やディスプレイ３００を端末装置１００とは別々に設けたが、端末装置１００の構成要素の一つとして実空間カメラ２００やディスプレイ３００を設けることも可能である。

３．端末装置１００の構成
端末装置１００は、プロセッサ１１１、メモリ１１２、通信インターフェイス１１３、入力インターフェイス１１４及びＩ／Ｏポート１１５を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

プロセッサ１１１は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１２に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ１１１は、メモリ１１２に記憶された指示命令、すなわち本実施形態に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムを処理する。具体的には、プロセッサ１１１は、仮想空間を表示したゲームアプリケーションの実行に伴う様々な処理を、ヘッドマウントディスプレイ４００及びプレイヤ１１の指示入力を検出する検出装置（図示しない）等と共同して、実行する。また、プロセッサ１１１は、実空間カメラ２００を制御して実空間画像を生成する処理を実行する。また、プロセッサ１１１は、実空間カメラ２００により取得した実空間画像と仮想カメラ６００により仮想的に撮像された仮想空間画像とを合成する処理を実行する。また、プロセッサ１１１は、合成された画像をディスプレイ３００に出力する処理を実行する。

なお、プロセッサ１１１は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成しても良い。また、画像処理に特化したＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。また、プロセッサ１１１は、メモリ１１２に記憶された指示命令を処理することとした。しかし、例えば本実施形態に係るアプリケーションを実行するためのプログラムが記憶された光ディスクやカートリッジを読み取り可能なドライブ装置を端末装置１００が備え、プロセッサ１１１はそれらに記憶されたプログラムを実行するようにしてもよい。

メモリ１１２は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）を含み、記憶部として機能する。ＲＯＭは、本実施形態に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１１により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。メモリ１１２には、一例として、仮想空間を構成する仮想オブジェクト等の描画データ、ゲームアプリケーションを実行するプレイヤのプレイヤ情報、ゲームアプリケーションを実行した結果である得点等のゲーム情報、ゲームアプリケーションを実行するためのプログラム、実空間画像と仮想空間画像とを合成し出力する処理を実行するためのプログラム、実空間カメラ２００によって撮像された実空間画像の画像データ（例えば、各画素が有するカラー値やデプス値等のデータ）、仮想カメラ６００によって仮想的に撮像された仮想空間画像の画像データ等が適宜更新・記憶される。なお、特に図示しないが、例示した各種情報が記憶された光ディスクやカートリッジを外付けして、記憶部として利用することが可能である。

通信インターフェイス１１３は、無線通信処理回路、及び当該無線通信処理装置に接続されたアンテナを含み、通信部として機能する。通信インターフェイス１１３は、ネットワークを介して接続されたサーバ装置（図示しない）から本実施形態に係るゲームアプリケーションの実行に必要なプログラムや、ユーザ情報、ゲームアプリケーションの実行の結果情報などの送受信を行う。また、通信インターフェイス１１３は、ヘッドマウントディスプレイ４００と、ゲームアプリケーションの実行に必要なゲーム情報、制御情報、描画データ、プレイヤ情報等の送受信を行う。無線通信処理回路では、送受信する情報の変調や復調などの処理を行う。

通信インターフェイス１１３は、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。また、通信インターフェイス１１３は、無線通信に代えて、または加えて、有線通信を用いることも可能である。その場合には、無線通信処理回路に代えて、または加えて、有線通信のための通信処理回路を設ければよい。

入力インターフェイス１１４は、タッチパネルやハードキーを含み、使用者からの各種指示入力を受け付ける。例えば、入力インターフェイス１１４は、仮想空間画像と実空間画像を合成する際に必要な各種設定等を行う際に利用される。

Ｉ／Ｏポート１１５は、実空間カメラ２００及びディスプレイ３００にそれぞれ含まれるＩ／Ｏポートと接続され、実空間カメラ２００及びディスプレイ３００との間で情報の入出力をするための情報入出力部として機能する。具体的には、Ｉ／Ｏポート１１５は、実空間カメラ２００で撮像された実空間画像を受信したり、ディスプレイ３００に表示する画像データを出力するためのインターフェイスとして機能する。なお、Ｉ／Ｏポート１１５は、シリアルポート、パラレルポート、ＵＳＢ等、所望に応じて公知の接続形式を採用することが可能である。

端末装置１００の例としては、据え置き型ゲーム機、アーケードゲーム機、デスクトップパソコン、ラップトップパソコン、携帯型ゲーム機、スマートフォンなど、実空間カメラ２００、ディスプレイ３００及びヘッドマウントディスプレイ４００と通信可能であって、本実施形態に係るゲームアプリケーションを実行可能な端末装置であれば、いずれでもよい。

また、図２の例では、端末装置１００は１個しか記載されていないが、当然複数の端末装置に分散して各構成要素を配置させても良いし、各処理を分散して実行させてもよい。また、端末装置１００は、本実施形態に係るゲームアプリケーションの実行専用のものであってもよいが、当然それ以外の機能を実行可能なものであってもよい。

４．実空間カメラ２００の構成
実空間カメラ２００は、実空間カラー画像を撮影するための実空間カラーカメラ２１１、実空間デプス画像を撮影するための実空間デプスカメラ２１２、及びＩ／Ｏポート２１３を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

実空間カラーカメラ２１１は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の公知のイメージセンサを備える。実空間カラーカメラ２１１は、構成する画素ごとに被写体からの光をフォトダイオード等で受信し、その光を電荷の量に光電変換し、それを順次読み出して画像信号に変換することで、複数の画素から構成された実空間カラー画像を生成する。実空間カラーカメラ２１１によって撮影された実空間カラー画像は、一例としては、各画素ごとに赤、青、緑のサブピクセルを含み、各サブピクセルの色の明るさや濃淡を、各画素ごとにカラー値として生成し、メモリ１１２に記憶される。

実空間デプスカメラ２１２は、赤外線センサ等の公知のデプス（深度）センサを備える。実空間デプスカメラ２１２は、構成する画素ごとに被写体となる撮像対象物までの距離に対応した値を測定する。測定されたデプス値は、各画素ごとにメモリ１１２に記憶される。

Ｉ／Ｏポート２１３は、端末装置１００のＩ／Ｏポート１１５と接続され、実空間カメラ２００で撮影された、実空間カラー画像及び実空間デプス画像を含む実空間画像の画像データを端末装置１００に送信したり、端末装置１００から実空間カメラ２００の制御情報を受信する。

なお、実空間カメラ２００は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。例えば、特に図示はしていないが、実空間カメラ２００は、端末装置１００からの制御情報に基づいて撮影を制御するためのプロセッサや、撮影した画像データを記憶するためのメモリ、端末装置１００を含む他の装置と通信するための通信インターフェイスを適宜備える。

また、本実施形態においては、実空間カメラ２００に実空間カラーカメラ２１１と実空間デプスカメラ２１２とが含まれる場合について説明したが、実空間カラー画像に加えて、各画素のデプス値が測定できればよく、必ずしも両カメラを備える必要はない。例えば、ステレオカラーカメラを利用してデプス値を測定するなど、実空間カラーカメラ２１１のみを用いて公知方法でデプス値を測定するようにしてもよい。また、実空間デプスカメラ２１２に代えて、モノクロステレオカメラを利用してデプス値を測定するようにしてもよい。

５．ディスプレイ３００の構成
ディスプレイ３００は、Ｉ／Ｏポート３１１及びディスプレイパネル３１２を含み、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。Ｉ／Ｏポート３１１は、端末装置１００のＩ／Ｏポート１１５及び実空間カメラ２００のＩ／Ｏポート２１３と接続され、端末装置１００で生成された画像や実空間カメラ２００で撮影された画像等を受信する。また、ディスプレイパネル３１２は、受信した画像の表示を行う表示部として機能する。一例としては、液晶ディスプレイパネルや有機ＥＬパネルから構成される。なお、特に図示はしていないが、適宜プロセッサやメモリを含む。

６．ヘッドマウントディスプレイ４００の構成
ヘッドマウントディスプレイ４００は、プロセッサ４１１、メモリ４１２、ディスプレイ４１３、及び通信インターフェイス４１４を含み、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。ヘッドマウントディスプレイ４００は、通信インターフェイス４１４を介して、ディスプレイ４１３に仮想空間を表示するための画像データを受信し、メモリ４１２に記憶するとともに、プロセッサ４１１で処理してディスプレイ４１３に表示する。

７．システム１において実行される処理フロー
図３は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。具体的には、図３に記載の処理フローは、本実施形態に係るゲームアプリケーションを端末装置１００で起動したときに開始される処理フローである。当該処理フローは、プロセッサ１１１が、実空間カメラ２００、ディスプレイ３００、及びヘッドマウントディスプレイ４００と共同して、メモリ１１２に記憶された指示命令（プログラム）を読み出して実行することにより行われる。

図３によると、入力インターフェイス１１４又は検出装置（図示しない）において、プレイヤ１１によるゲームアプリケーションの起動の指示入力を検出することにより開始される（Ｓ１０１）。その後、プロセッサ１１１は、実空間カメラ２００を制御して、実空間カメラ２００により撮影されたプレイヤ１１を含む実空間画像を取得し、メモリ１１２に記憶するよう制御する（Ｓ１０２）。また、当該処理に同期して、プロセッサ１１１は、ヘッドマウントディスプレイ４００に表示される仮想空間を仮想カメラ６００によって仮想的に撮影し仮想空間画像を取得する（Ｓ１０２）。次に、プロセッサ１１１は、メモリ１１２に記憶された実空間画像からプレイヤ１１のプレイヤ画像を抽出して、仮想空間画像と抽出されたプレイヤ画像とを合成する（Ｓ１０３）。なお、実空間デプス画像を構成する各画素ごとに測定されたデプス値と、実空間カラー画像のカラー値とに基づいてプレイヤ１１の画像の抽出が行われる。そして、プロセッサ１１１は、ディスプレイ３００に合成された画像を出力し、ディスプレイ３００を制御して、ディスプレイ３００に当該画像を表示させる（Ｓ１０４）。次いで、プロセッサ１１１は、プレイヤ１１によるゲームアプリケーションの終了の指示入力を検出したか否かを判断し、検出していない場合には、Ｓ１０２〜Ｓ１０４の処理を所定間隔（例えば、３０ｍ秒ごと）で繰り返す（Ｓ１０５）。一方、ゲームアプリケーションの終了の指示入力を検出した場合には、当該アプリケーションの実行を終了する。なお、Ｓ１０２〜Ｓ１０４については、図４等においてさらに詳しく説明すする。

８．端末装置１００において実行される処理フロー
図４は、本開示の一実施形態に係る端末装置１００において実行される処理フローを示す図である。具体的には、図４に記載の処理フローは、実空間画像と仮想空間画像の合成に係る処理フローである。当該処理フローは、プロセッサ１１１が、実空間カメラ２００、ディスプレイ３００、及びヘッドマウントディスプレイ４００と共同して、メモリ１１２に記憶された指示命令（プログラム）を読み出して実行することにより行われる。

図４によると、プロセッサ１１１は、まず、実空間デプスカメラ２１２によって撮影された実空間デプス画像、及び実空間カラーカメラ２１１によって撮影された実空間カラー画像を取得しメモリ１１２に記憶するとともに、仮想カメラ６００によって仮想的に撮影された仮想空間デプス画像と仮想空間カラー画像を生成しメモリ１１２に記憶する（Ｓ２０１）。なお、本実施形態においては、実空間デプス画像、実空間カラー画像、仮想空間デプス画像、及び仮想空間カラー画像は、それぞれ同期して、つまり同じか実質的に同じタイミングで実空間カメラ２００又は仮想カメラ６００によって撮影される。

図５ａは、本開示の一実施形態に係る実空間カメラ２００による実空間の撮影を概念的に説明するための図である。具体的には、図５ａは、実空間カラーカメラ２１１及び実空間デプスカメラ２１２でプレイヤ１１及びクロマキー合成に用いられる背景布５００が撮影される様子を説明するための図である。図５ａによると、ヘッドマウントディスプレイ４００を装着しているプレイヤ１１が、ヘッドマウントディスプレイ４００に表示された仮想空間における移動や仮想空間に配置された仮想オブジェクトに対する指示入力を行っている。そして、プレイヤ１１の背後には、実空間カラーカメラ２１１で撮像した際の背景の一部となる背景布５００が配置されている。すなわち、実空間カメラ２００を基準にした場合、当該実空間カメラ２００から距離Ｄ１（例えば、２ｍ）の位置にプレイヤ１１が存在し、実空間カメラ２００から距離Ｄ１以上の距離Ｄ２（例えば、４ｍ）の位置に背景布５００が配置されている。実空間カメラ２００は、このような実空間を適宜のタイミング（例えば、３０ｍ秒ごと）で撮影する。

なお、背景布５００は、クロマキー合成をする際に用いられる背景布が好適には用いられる。一例としては、いわゆるグリーンバックやブルーバックと呼ばれるものであって、全面が緑色か青色をしたものが用いられる。また、特に布地状のものに限定されるものではなく、例えば板状の壁材等を用いることも可能である。また、本実施形態においては、詳しくは後述するが、撮影された実空間画像からのプレイヤ１１の抽出はデプス値を併用するため、プレイヤ１１の周囲のみ緑色や青色の背景となっていれば良い。したがって、従来のクロマキー合成で用いられるような広範な範囲が緑色や青色に覆われる必要はなく、プレイヤ１１の周囲のみの狭い範囲が緑色又は青色の背景となるだけで十分である。

図５ｂは、本開示の一実施形態に係る仮想カメラ６００による仮想空間の撮影を概念的に説明するための図である。具体的には、図５ｂは、仮想カメラ６００で仮想空間が撮影される様子を説明するための図である。図５ｂによると、実空間の実空間カメラ２００が配置された位置に対応付けて仮想空間内に仮想カメラ６００が配置されている。すなわち、実空間においては座標Ｃの位置にプレイヤ１１が存在しているが、実空間における距離Ｄ１に対応する距離ｄ１だけ離れた位置に仮想カメラ６００が配置されている。そして、仮想カメラ６００の位置を原点とした座標空間上に、仮想カメラ６００から距離ｄ１より手前の距離ｄ２だけ離れた座標位置に木オブジェクト２１ａ、距離ｄ１以上の距離ｄ３だけ離れた座標位置に敵オブジェクト２１ｂ、距離ｄ４だけ離れた座標位置に敵オブジェクト２１ｃ、距離ｄ５だけ離れた座標位置に雲オブジェクト２１ｄ、距離ｄ６だけ離れた座標位置に背景オブジェクト２１ｅが仮想的に配置されている。仮想カメラ６００は、このような仮想空間を、実空間カメラの撮影のタイミングに同期して、つまりは同じか実質的に同じタイミングで仮想的に撮影する。なお、図５ｂにおいては、説明の便宜のために仮想オブジェクト２１ａ等を薄い板状に描いているが、実際の各仮想オブジェクトは上下、及び前後方向に厚みを有する立体物として形成してもよい。また、各仮想オブジェクトまでの距離をそれぞれｄ２〜ｄ６として説明したが、後述のとおり、当該距離は各仮想オブジェクトを構成する各画素ごとに算出することも可能である。

図６ａは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。具体的には、図６ａは、実空間カメラ２００のうち実空間カラーカメラ２１１で撮影された実空間カラー画像を示す。実空間カラー画像は、実空間のプレイヤ１１及び背景布５００を含む撮影対象物から反射した光の波長に対応するカラー値が各画素ごとに記憶されている。したがって、各画素ごとにプレイヤ１１及び背景布５００（本実施形態においてはグリーンバック）の有しているそれぞれの色が再現される。

図６ｂは、本開示の一実施形態に係る実空間カメラ２００で撮影される実空間画像の例を示す図である。具体的には、図６ｂは、実空間カメラ２００のうち実空間デプスカメラ２１２で撮影された実空間デプス画像を示す。実空間デプスカメラ２１２は、実空間カラーカメラ２１１の位置と実質的に同じ位置に配置され、その撮影に同期して撮影されるため、実空間カラーカメラ２１１と実質的に同じ画角で同じシーンが撮影される。したがって、実空間デプス画像は、プレイヤ１１と背景布５００を含む。

一方、実空間デプス画像は、実空間デプスカメラ２１２によって測定されたデプス値を、実空間デプス画像を構成する各画素ごとに有する。なお、図６ｂ等の実空間デプス画像、及び図６ｄ等の仮想空間デプス画像においては、説明の便宜のために、そのデプス値に応じた階調（例えば、デプス値がゼロのものを白、デプス値が最大のものを黒とした２階調）で描いている。すなわち、実空間デプスカメラ２１２から距離Ｄ１にあるプレイヤ１１の座標に存在する各画素には、距離Ｄ１に対応するデプス値が記憶され、そのデプス値に対応した階調でプレイヤ１１は描かれる。また、実空間デプスカメラ２１２から距離Ｄ２にある背景布５００の座標に存在する各画素には、距離Ｄ２に対応するデプス値が記憶され、そのデプス値に対応した階調で背景布５００は描かれる。なお、説明の便宜のため、プレイヤ１１を構成する画素のデプス値を一律に距離Ｄ１として説明した。しかし、実際はプレイヤ１１も奥行きを有する立体物であるため、プレイヤ１１を構成する各画素ごとに異なるデプス値を有する。

図６ｃは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。具体的には、仮想カメラ６００で仮想的に撮影された仮想空間カラー画像を示す。仮想カメラ６００は、実空間カメラ２００に対応する位置に配置され、実空間カメラ２００の撮影に同期して撮影されるため、実空間カラーカメラ２１１と実質的に同じ画角で仮想空間が撮影される。したがって、仮想空間カラー画像には、仮想空間とその仮想空間の所定の座標位置に配置された背景オブジェクト２１ｅ、雲オブジェクト２１ｄ、敵オブジェクト２１ｃ、敵オブジェクト２１ｂ、及び木オブジェクト２１ａがそれぞれ含まれる。また、仮想オブジェクト２１ａ〜２１ｅを含むすべての仮想空間を構成する仮想オブジェクトには、予めオブジェクト情報として色、大きさ、仮想空間内の位置、仮想空間における向き等の各種属性情報が記憶されている。したがって、仮想空間カラー画像は、仮想カメラ６００で撮影したシーンを、構成される画素ごとに、仮想オブジェクトが有するカラー値に基づいて再現したものとなる。

図６ｄは、本開示の一実施形態に係る仮想カメラ６００で撮影される仮想空間画像の例を示す図である。具体的には、仮想カメラ６００で仮想的に撮影された仮想空間デプス画像を示す。上記のとおり、仮想オブジェクト２１ａ〜２１ｅを含むすべての仮想空間を構成する仮想オブジェクトには、予めオブジェクト情報として色、大きさ、仮想空間内の位置、仮想空間における向き等の各種属性情報が記憶されている。したがって、仮想空間内の各仮想オブジェクトを、属性情報に基づいて仮想カメラ６００を原点とするカメラ座標系に変換することで、仮想カメラ６００の位置からの距離を算出する。そして、仮想カメラ６００の位置から仮想スクリーンに投影変換することで、仮想空間デプス画像を構成する各画素ごとに、仮想カメラ６００からの距離を算出する。図６ｄは、各画素ごとに算出された仮想カメラ６００からの距離に対応するデプス値に基づいて再現したものとなる。

再び図４に戻り、図６ａ〜図６ｄに例示する各実空間画像及び各仮想空間画像がそれぞれ取得または生成され、メモリ１１２に記憶されると、プロセッサ１１１は、次に、実空間デプス画像が有するデプス値の変換処理を行う（Ｓ２０２）。

具体的には、実空間デプス画像を構成する各画素には、実空間デプスカメラ２１２からの距離に対応するデプス値が記憶されている。当該処理では、このデプス値が所定値よりも大きい場合には、無限遠を示すデプス値（つまり、理論上の最大のデプス値（たとえば、０ｍ〜１０ｍの範囲を、０〜６５５３５の１６ｂｉｔのデプス値で表す場合、１０ｍよりも後ろについては全て「６５５３５」のデプス値とする））に変換して記憶する処理を行う。本実施形態においては、所定値として、プレイヤ１１及び背景布５００よりも遠い距離Ｄ３に対応する値が設定されている。したがって、距離Ｄ３に対応する所定値以上のデプス値が記憶されている全ての画素のデプス値は、無限遠を示すデプス値に変換して記憶される。一方、プレイヤ１１及び背景布５００を構成する画素は、距離Ｄ３に対応するデプス値未満のデプス値が記憶されているため、デプス値は変換されない。

図７は、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図７は、図６ｂで示された実空間デプス画像に対してＳ２０２のデプス値の変換処理を行った後の図である。上記のとおり、距離Ｄ３よりも遠い領域については、無限遠を示すデプス値に変換されているため、無限遠を示す黒で描画されている。一方、距離Ｄ３よりも近い領域については、測定されたデプス値から変換されることなく、もともとのデプス値に対応した階調で描画される。

再び図４に戻り、実空間デプス画像のデプス値の変換処理が行われたのちに、プロセッサ１１１は、実空間デプス画像の解像度の変換処理を行う（Ｓ２０３）。一般的に、実空間デプスカメラ２１２の解像度は、実空間カラーカメラ２１１の解像度よりも低い。つまり、図６ｂに示す実空間デプス画像は、実空間デプスカメラ２１２によって、相対的に低い解像度（第１の解像度）で撮影されたものであって、図６ａに示す実空間カラー画像は、実空間カラーカメラ２１１によって、第１の解像度よりも高い第２の解像度で撮影されたものとなる。そのため、撮影されたままの実空間デプス画像に基づいてプレイヤ１１の画像を抽出すると、実空間カラー画像では背景布５００が表示されている領域等の不要な領域がプレイヤ１１の画像として抽出されてしまう。したがって、このような不要な領域の切り出しを最小限にし、プレイヤ１１の画像をより鮮明に抽出するために、本実施形態のＳ２０３の実空間デプス画像の解像度の変換処理が必要となる。本実施形態においては、例えば、実空間デプスカメラ２１２の解像度に対して、実空間カラーカメラ２１１は４倍の解像度を有する。したがって、当該変換処理では、実空間デプス画像の解像度を、実空間カラーカメラ２１１の解像度に対応して、４倍の解像度に変換する。なお、本実施形態では説明の便宜のための４倍の解像度としたが、用いる実空間カラーカメラ２１１と実空間デプスカメラ２１２の解像度に応じて適宜設定することが可能である。

図８ａは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図８ａは、図６ｂの実空間デプス画像の領域Ａの部分を拡大した図であって、Ｓ２０３の解像度変換処理を実行する前の画像を示す。図８ａによると、実空間デプス画像は、１画素がａ×ｂの大きさを有する画素によって構成されている。

図８ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図８ｂは、Ｓ２０３の解像度変換処理を実行した後の画像を示す。本実施形態においては、上記のとおり、実空間カラーカメラ２１１の解像度に対応して、４倍の解像度に変換する処理を実行する。したがって、図８ｂによると、縦及び横ともに、２分の１の長さ（ａ’×ｂ’）に各画素が精細化される。なお、解像度変換処理後の各画素には、処理前の各画素が有していたデプス値がそのまま記憶される。

再び図４に戻り、実空間デプス画像の解像度の変換処理が行われたのちに、プロセッサ１１１は、実空間カラー画像のカラー値に基づくデプス値の変換処理を実行する（Ｓ２０４）。具体的には、実空間カラー画像において背景布５００の色（本実施形態においては緑色）のカラー値を有する画素と同じ座標位置にある実空間デプス画像の画素のデプス値を、無限遠を示すデプス値に変換する処理を実行する。

図９ａは、本開示の一実施形態に係る実空間カラー画像の例を示す図である。具体的には、図９ａは、図６ａの実空間カラー画像の領域Ａ’の部分を拡大した図である。図９ａによると、図８ｂに示す解像度変換処理後の実空間デプス画像と同じ解像度（１画素がａ’×ｂ’で構成）で、プレイヤ１１の画像及び背景布５００の画像を含む実空間カラー画像が描画されている。したがって、プレイヤ１１と背景布５００との境界線が、図８ｂに示す実空間デプス画像に比べてより精細に描画されている。

図９ｂは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図９ｂは、図８ｂに示す解像度変換処理後の実空間デプス画像と図９ａにおける実空間カラー画像とにおいて、プレイヤ１１と背景布５００との境界線の違いを示す図である。図９ｂによると、解像度の低いもともとの実空間デプス画像において、領域１１ａ〜１１ｄ等の右斜線で示す画素は、プレイヤ１１の他の画素と同じデプス値を有しており、プレイヤ１１として抽出される画素である。しかし、より解像度の高い実空間カラー画像（図９ａ）において、領域１１ａ〜１１ｄ等の右斜線で示す画素は、プレイヤ１１として抽出される画素ではなく、背景布５００として切り取られるべき画素である。したがって、仮に解像度の低いもともとの実空間デプス画像のみに基づいてプレイヤ１１の画像を抽出すると、その輪郭の一部に背景布５００が混在し見栄えの劣る画像となる。そこで、本実施形態においては、実空間カラー画像において背景布５００である領域を抽出しないように、背景布５００の色（本実施形態においては緑色）のカラー値を有する画素と同じ座標位置にある実空間デプス画像の画素のデプス値を、すべて無限遠を示すデプス値に変換する処理を実行する。

図９ｃは、本開示の一実施形態に係る実空間デプス画像の例を示す図である。具体的には、図９ｃは、Ｓ２０４のデプス値変換処理後の実空間デプス画像を示す図である。図９ｃによると、図９ｂにおいて右斜線で示された背景布５００として切り取られるべき画素は、すべて無限遠を示すデプス値に変換されたことにより、無限遠である黒の階調で描画されている。したがって、実空間デプス画像においても、実空間カラー画像と同様に、プレイヤ１１と背景布５００との境界線がより精細に描画されることが可能となる。

再び図４に戻り、実空間デプス画像のデプス値の変換処理が行われたのちに、プロセッサ１１１は、実空間カラー画像と仮想空間カラー画像との合成処理を実行する（Ｓ２０５）。具体的には、Ｓ２０４の処理後の実空間デプス画像と、当該実空間デプス画像の解像度と同じ解像度を有する仮想空間デプス画像との間で、各画素ごとに両者のデプス値を比較する。そして、よりデプス値が小さい方のカラー画像のカラー値をその画素のカラー値として選択するようにする。例えば、実空間デプス画像の座標位置（ｘ１，ｙ１）の画素のデプス値が「２．０」であり、仮想空間デプス画像の対応する座標位置（ｘ１，ｙ１）の画素のデプス値が「６．０」であった場合は、実空間カラー画像の対応する座標位置（ｘ１，ｙ１）の画素のカラー値を、合成画像の対応する座標位置（ｘ１，ｙ１）の画素のカラー値として採用する。一方、実空間デプス画像の座標位置（ｘ２，ｙ２）の画素のデプス値が「無限遠（理論上の最大値）」であり、仮想空間デプス画像の座標位置（ｘ２，ｙ２）の画素のデプス値が「１．０」であった場合は、仮想空間カラー画像の座標位置（ｘ２，ｙ２）の画素のカラー値を、合成画像の座標位置（ｘ２，ｙ２）の画素のカラー値として採用する。以上の処理を、すべての画素について繰り返すことにより、実空間カラー画像と仮想空間カラー画像との合成処理が実施される。

図１０は、本開示の一実施形態に係る合成画像の例を示す図である。具体的には、図１０は、プロセッサ１１１によって実空間カラー画像と仮想空間カラー画像とが合成されたのちの画像を示す。図４のＳ２０２〜Ｓ２０４の処理によって、プレイヤ１１以外の領域はすべて無限遠を示すデプス値に変換される。つまり、図５ｂに示す仮想空間において、距離ｄ２〜ｄ６にそれぞれ対応するデプス値を有する仮想オブジェクト２１ａ〜２１ｅを含む全ての仮想オブジェクトは、プレイヤ１１以外の領域のデプス値（無限遠）よりも必ず小さい値となる。したがって、プレイヤ１１以外の領域には、仮想空間カラー画像のカラー値が採用されることにより、すべての仮想オブジェクト２１ａ〜２１ｅを含む仮想オブジェクトが描画される。

一方、プレイヤ１１を構成する各画素には、デプス値として実空間デプスカメラ２１２からの距離が画素単位に記憶されている（なお、図５ａ等においては、それらの代表値として距離Ｄ１に対応するデプス値が記憶されていることとして説明した）。そして、プレイヤ１１を構成する各画素に記憶されたデプス値よりも大きいデプス値を有する敵オブジェクト２１ｂ、敵オブジェクト２１ｃ、雲オブジェクト２１ｄ、及び背景オブジェクト２１ｅのうち、プレイヤ１１と重なっている領域については、実空間カラー画像のカラー値が採用されることにより、プレイヤ１１の画像が前面に描画される。また、プレイヤ１１を構成する各画素に記憶されたデプス値よりも小さいデプス値を有する木オブジェクト２１ａのうち、プレイヤ１１と重なっている領域については、仮想空間カラー画像のカラー値が採用されることにより、木オブジェクト２１ａが前面に描画される。したがって、実空間画像に着目すると、最終的に合成される画像の中には、プレイヤ１１の画像のみが抽出されて描画されることとなる。

以上、本実施形態においては、ヘッドマウントディスプレイ４００を装着して仮想空間においてゲームアプリケーションを実行しているプレイヤと、その仮想空間とを合成して表示するため、それを観覧する第三者にとってより趣向の高い表示が可能となる。また、本実施形態においては、実空間デプス画像のデプス値と、実空間カラー画像のカラー値とを併用してプレイヤ１１の画像を抽出する。したがって、実空間デプス画像のデプス値のみによる抽出処理に比べて、より高精細なプレイヤ１１の抽出が可能となる。また、本実施形態においては、仮想空間内の仮想オブジェクトと実空間カメラ２００で撮影されたプレイヤ１１との前後関係を画素単位で再現することが可能である。したがって、プレイヤ１１のほかに、実空間カメラ２００で撮影された画像から抽出されるべきプレイヤが他にも複数いるような場合や、プレイヤ１１がコントローラを把持しているような場合など、プレイヤ１１以外の現実の物体が実空間カメラ２００の撮像範囲の中に存在していても、仮想空間内の仮想オブジェクトと正しい前後関係で判定を行うことが可能である。一例としては、プレイヤ１１と実空間カメラ２００の間で、かつ距離ｄ２よりも近い位置に実空間の物体が存在していた場合、その物体は木オブジェクト２１ａよりも手前に描画することが可能である。逆に、たとえばプレイヤ１１が後方に手を伸ばして仮想空間の敵オブジェクト２１ｂの後ろになった場合には、その手を敵オブジェクト２１ｂの後方に描画することが可能である。また、実空間カラー画像のカラー値のみによる抽出処理（クロマキー合成処理）に比べて、背景布５００を設置するエリアを最小限にとどめることが可能となる。

９．他の実施形態
上記実施形態においては、ある程度の大きさを有するディスプレイ３００に合成画像を出力し、第三者全員によって観覧する場合について説明した。しかし、第三者がそれぞれヘッドマウントディスプレイを装着し、各ヘッドマウントディスプレイに合成画像を出力するようにしてもよい。

また、本実施形態においては、ゲームアプリケーションの実行にシステム１を用いる場合について説明したが、医療シミュレーション、自動車、電車、飛行機等の運転シミュレーション、観光地への旅行シミュレーション、仮想店舗や仮想不動産などでの仮想ショッピング、映画や音楽ライブなどのエンターテイメント等のアプリケーションにも好適に用いることが可能である。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。

１００ 端末装置
２００ 実空間カメラ
３００ ディスプレイ
４００ ヘッドマウントディスプレイ

Claims (10)

1. 所定の指示命令が記憶されたメモリと、
   前記所定の指示命令に基づいて、仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成し、合成された画像を出力するための処理をするように構成されるプロセッサと、
   を含む処理装置であって、
   前記プレイヤとは異なる第三者が視聴可能に、前記合成された画像を表示するためのディスプレイに接続され、
   前記実空間画像は実空間デプス画像と実空間カラー画像とを含み、
   前記実空間デプス画像を構成する画素ごとにデプス値が測定されるとともに、前記実空間カラー画像を構成する画素ごとにカラー値が生成され、
   前記仮想空間画像は、構成する画素ごとに特定のカラー値が記憶された仮想空間カラー画像と、構成する画素ごとに特定のデプス値が記憶された仮想空間デプス画像とを含み、
   前記プレイヤ画像は前記実空間カラー画像を構成する画素ごとに測定された前記実空間カラー画像の前記カラー値と、前記実空間デプス画像を構成する画素ごとに測定された前記実空間デプス画像の前記デプス値とに基づいて前記実空間画像から抽出される、処理装置。
2. 前記デプス値は、前記実空間カメラから撮像対象物までの距離に対応した値である、請求項１に記載の処理装置。
3. 前記カラー値は、前記実空間カラー画像を構成する各画素の色の明るさ又は濃さを表す値である、請求項１又は２に記載の処理装置。
4. 前記実空間デプス画像は第１の解像度で前記実空間カメラにより撮影され、前記実空間カラー画像は前記第１の解像度よりも高い第２の解像度で前記実空間カメラにより撮影される、請求項１〜３のいずれか一項に記載の処理装置。
5. 前記プロセッサは、前記実空間デプス画像の解像度を前記第２の解像度に対応する解像度に変換するための処理をするように構成される、請求項４に記載の処理装置。
6. 前記プロセッサは、前記実空間カラー画像を構成する各画素のカラー値が所定のカラー値である場合には、解像度が変換された実空間デプス画像を構成する画素のうち、所定のカラー値である前記画素の座標位置に対応する画素のデプス値を無限遠を示す値に変換する、請求項５に記載の処理装置。
7. 前記プロセッサは、前記実空間デプス画像の各画素ごとに記憶されたデプス値と、仮想空間デプス画像のそれぞれ対応する画素のデプス値とを比較して、実空間デプス画像のデプス値の方が小さい場合には実空間カラー画像の対応する画素のカラー値を合成された画像の対応する画素のカラー値として選択し、仮想空間デプス画像のデプス値の方が小さい場合には仮想空間カラー画像の対応する画素のカラー値を合成された画像の対応する画素のカラー値として選択する、
   請求項１〜６に記載の処理装置。
8. 請求項１〜７のいずれか一項に記載の処理装置と、
   実空間に配置され前記処理装置と通信可能に接続された、仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像を撮影するための実空間カメラと、
   前記処理装置と通信可能に接続された、前記仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像の少なくとも一部と、前記実空間画像に含まれるプレイヤ画像とが合成された画像を、前記プレイヤとは異なる第三者が視聴可能に表示するためのディスプレイと、
   を含むシステム。
9. 所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて処理をするように構成されたプロセッサを含むコンピュータに、
   仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成する処理と、
   合成された画像を、前記プレイヤとは異なる第三者が視聴可能に、前記コンピュータに接続されたディスプレイに出力する処理と、
   を実行させるためのプログラムであって、
   前記実空間画像は実空間デプス画像と実空間カラー画像とを含み、
   前記実空間デプス画像を構成する画素ごとにデプス値が測定されるとともに、前記実空間カラー画像を構成する画素ごとにカラー値が生成され、
   前記仮想空間画像は、構成する画素ごとに特定のカラー値が記憶された仮想空間カラー画像と、構成する画素ごとに特定のデプス値が記憶された仮想空間デプス画像とを含み、
   前記プレイヤ画像は前記実空間カラー画像を構成する画素ごとに測定された前記実空間カラー画像の前記カラー値と、前記実空間デプス画像を構成する画素ごとに測定された前記実空間デプス画像の前記デプス値とに基づいて前記実空間画像から抽出される、プログラム。
10. 所定の指示命令を記憶するように構成されたメモリと、前記所定の指示命令に基づいて所定の処理をするように構成されたプロセッサを含む処理装置において、前記プロセッサが前記所定の指示命令を処理することによりなされる方法であって、
    仮想空間に配置された仮想カメラによって仮想的に撮像された仮想空間画像と、実空間に配置された実空間カメラによって撮影され、前記仮想空間に配置された仮想オブジェクトに対して指示入力を行う実空間のプレイヤを含む実空間画像とから、前記仮想空間画像の少なくとも一部と前記実空間画像に含まれるプレイヤ画像とを合成する段階と、
    合成された画像を、前記プレイヤとは異なる第三者が視聴可能に、前記処理装置に接続されたディスプレイに出力する段階と、
    を含み、
    前記実空間画像は実空間デプス画像と実空間カラー画像とを含み、
    前記実空間デプス画像を構成する画素ごとにデプス値が測定されるとともに、前記実空間カラー画像を構成する画素ごとにカラー値が生成され、
    前記仮想空間画像は、構成する画素ごとに特定のカラー値が記憶された仮想空間カラー画像と、構成する画素ごとに特定のデプス値が記憶された仮想空間デプス画像とを含み、
    前記プレイヤ画像は前記実空間カラー画像を構成する画素ごとに測定された前記実空間カラー画像の前記カラー値と、前記実空間デプス画像を構成する画素ごとに測定された前記実空間デプス画像の前記デプス値とに基づいて前記実空間画像から抽出される、方法。

Images