JP2022003498A - 情報処理装置、方法、プログラム及び情報処理システム - Google Patents

Abstract

【課題】ユーザに斬新な視聴体験を提供する。【解決手段】本発明の情報処理装置は、第１ユーザの周囲の第１空間１における物体の位置を示す空間情報を取得する取得部と、空間情報に基づいて、第１ユーザと第１空間１とは異なる第２空間２に存在する第２ユーザとによって共有される共有空間であって、第１空間１での物体の配置が反映された共有空間を構築する空間構築部と、第２ユーザについての共有空間での位置を決定する決定部と、を備える。【選択図】図２

Description

本発明は、情報処理装置、方法、プログラム及び情報処理システムに関する。

近年、体の動きや空間をリアルタイムで共有することにより、互いに離れた別の場所にいる複数のユーザがあたかも同じ場所にいるかのような体験をさせる技術が検討されている。例えば、テレイグジスタンス（Telexistence）と呼ばれる技術では、ヘッドマウントディスプレイ等を通して、遠隔地にある物又は人があたかも近くにあるかのようにユーザに感じさせながら、操作などをリアルタイムに行う環境が提供される。

上述した技術において、ユーザに斬新な視聴体験を提供することが求められている。

上記課題を鑑みて、本発明の１つの目的は、ユーザに斬新な視聴体験を提供することにある。

上記課題を解決するために、本発明のある態様の情報処理装置は、第１ユーザの周囲の第１空間における物体の位置を示す空間情報を取得する取得部と、前記空間情報に基づいて、前記第１ユーザと前記第１空間とは異なる第２空間に存在する第２ユーザとによって共有される共有空間であって、前記第１空間での前記物体の位置が反映された前記共有空間を構築する空間構築部と、前記第２ユーザについての前記共有空間での位置を決定する決定部と、を含む。

なお、以上の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザに斬新な視聴体験を提供できる。

情報処理システムの全体概要図である。 ユーザによる実施形態の利用例を示す。 情報処理システムの機能ブロック図である。 ユーザＡのＨＭＤによって表示されるＡＲ空間映像を例示する。 ユーザＡのＨＭＤによって表示されるＡＲ空間映像を例示する。 情報処理システムにおける処理の流れを示すシーケンス図である。 ユーザＡのＨＭＤによって表示されるＡＲ空間映像を例示する。 ユーザＡのＨＭＤによって表示されるＡＲ空間映像を例示する。 ユーザＢのＨＭＤによって表示されるＡＲ空間映像を例示する。 情報処理システムにおける処理の流れを示すシーケンス図である。 情報処理システムの全体概要図である。 情報処理システムの機能ブロック図である。 情報処理システムにおける処理の流れを示すシーケンス図である。

［第１実施形態］
図１は、本実施形態に係る情報処理システム１０の全体概要図である。図１の情報処理システム１０は、複数の情報処理端末１００を含む。複数の情報処理端末１００は、それぞれインターネット等の通信ネットワーク５を介してデータ通信可能に接続されている。本実施形態の情報処理システム１０は、ユーザＡが使用する情報処理端末１００ＡとユーザＢが使用する情報処理端末１００Ｂの２台の情報処理端末を含む。しかしながら、これに限らず、情報処理システム１０は、３台以上の情報処理端末１００を含んでもよい。

情報処理端末１００Ａ及び１００Ｂは、制御部１１と、記憶部１２と、通信部１３と、インタフェース部１４と、を含む。情報処理端末１００Ａ及び１００Ｂは、ヘッドマウントディスプレイ（ＨＭＤ）１５、ステレオカメラ１６、トラッカ１７及び入力装置１８に接続される。制御部１１はプロセッサを含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、通信ネットワーク５を介してデータ通信を行うための通信インタフェースである。本実施形態では、情報処理端末１００Ａ及び１００Ｂは、互いの通信部１３を介してＰ２Ｐ（ピアツーピア）接続によって通信する。このＰ２Ｐ接続は、後述のサーバ２００と情報処理端末１００との間の接続と比べて、低遅延、高画質、双方向の通信路を確立する。

インタフェース部１４は、ＨＭＤ１５、ステレオカメラ１６、トラッカ１７及び入力装置１８のそれぞれの間のデータ通信のためのインタフェースである。情報処理端末１００は、インタフェース部１４を介して有線又は無線でＨＭＤ１５、ステレオカメラ１６、トラッカ１７及び入力装置１８のそれぞれと接続される。具体的には、インタフェース部１４は、映像・音声をデジタル信号で伝送する通信インタフェースの標準規格であるＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のマルチメディアインタフェースを含む。また、インタフェース部１４は、ステレオカメラ１６から送信される映像信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含む。

ＨＭＤ１５は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための視聴装置である。ＨＭＤ１５には、ジャイロセンサや加速度センサが設けられる。ＨＭＤ１５は、これらのセンサを用いて、ＨＭＤ１５を装着したユーザの頭部の位置情報と頭部の回転角や傾きなどを計測する。ＨＭＤ１５には、カメラユニットが搭載される。ＨＭＤ１５は、カメラユニットを用いて、ユーザがＨＭＤを装着している間、外界を撮影することができる。

ステレオカメラ１６は、並んで配置された複数の撮像素子を含む。これらの撮像素子のそれぞれが撮像した画像を解析することによって、情報処理端末１００は、ステレオカメラ１６の視野範囲に存在する物体までの撮像位置からの距離を測定することができる。これにより、情報処理端末１００は、ステレオカメラ１６の周囲の空間に存在する物体の位置や形状を推定することができる。本実施形態では、ステレオカメラ１６は、ユーザ及びその周囲に存在する床や壁などの物体を視野範囲に含み、これらの位置を特定するために用いられる。

トラッカ１７は、慣性センサ、地磁気センサ、加速度センサ、モーションセンサなどのセンサを備え、ユーザの身体部位の位置や姿勢を検出することができる。入力装置１８は、複数の操作ボタンやアナログ量を入力できるアナログスティックなどの複数の入力装置を有する。入力装置１８は、入力装置を介してユーザによって入力された操作情報を制御部に供給する。入力装置１８は、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力装置を有する。

ＨＭＤ１５、ステレオカメラ１６、トラッカ１７の検出データに基づいて、ユーザＡ及びＢの全身の姿勢及び位置を推定することにより、ユーザＡ及びＢの姿勢情報がそれぞれ生成される。ユーザＡ及びＢの姿勢情報は、ユーザＡ及びユーザＢによって共有される後述の共有空間に反映される。

図２は、ユーザによる本実施形態の利用例を示す。図２に示すように、ユーザＡ及びＢは、現実世界の異なる空間に存在する。具体的には、ユーザＡは第１空間１に存在し、ユーザＢは第１空間１とは異なる第２空間２に存在する。ユーザＡ及びＢの頭部には、ＨＭＤ１５Ａ及び１５Ｂがそれぞれ装着される。本実施形態の第１空間１及び第２空間２は、それぞれ、ユーザＡ及びユーザＢの部屋である。

本実施形態では、ユーザＡのＨＭＤ１５Ａは、主に、搭載されたカメラユニットによって外界の映像を撮影してディスプレイパネルに表示することができるビデオ透過（ビデオシースルー）型ＨＭＤとして機能する。このビデオ透過型ＨＭＤは、外界の映像にコンピュータグラフィックス（ＣＧ）によって生成された仮想オブジェクトを重畳させることで拡張現実（ＡＲ(Augmented Reality)）の映像（ＡＲ空間映像）を生成して表示することができる。なお、本実施形態のＨＭＤ１５Ａは、後述するように、共有空間の床面からユーザＡのアバターが落下する場合などには、現実世界から切り離された仮想現実（ＶＲ(Virtual Reality)）の映像（ＶＲ空間映像）を表示可能な非透過型ＨＭＤとして機能することができる。

本実施形態では、ユーザＢのＨＭＤ１５Ｂは、ＶＲ空間映像をディスプレイパネルに表示することができる非透過型ＨＭＤである。この非透過型ＨＭＤは、ユーザＢが頭部を回転させると、３６０度見渡せる全周囲のＶＲ空間映像を表示する。

ステレオカメラ１６Ａ及び１６Ｂは、それぞれ、ユーザＡ及びＢの正面に配置される。ステレオカメラ１６Ａ及び１６Ｂは、それぞれ、前方のユーザＡ及びＢ、ユーザＡ及びＢが立っている床面、ユーザＡ及びＢがいる部屋の壁面などを視野範囲に含む。

ユーザＡの両手とユーザＢの両手及び両足には、トラッカ１７Ａ及び１７Ｂがそれぞれ装着される。ここでは、ユーザの両手や両足にトラッカを装着した例を説明するが、手と足の一方のみにトラッカ１７を装着してもよいし、胴体など他の身体部位にトラッカ１７を装着してもよい。入力装置１８Ａ及び１８Ｂは、それぞれ、ユーザＡ及びＢの両手に所持される。

本実施形態では、第１空間１と、第１空間１とは離れた場所の第２空間２との２つの空間を後述の共有空間によって結合して、ユーザＡ及びユーザＢの両者があたかも同じ場所（ユーザＡ側の第１空間１）にいるかのようにインタラクションができる体験が提供される。例えば、第１空間１にいないユーザＢのアバターがまさに第１空間１にいるような体験を提供することで、インタラクションやコミュニケーションを楽しむことが可能となる。

ユーザＡ側では、ＡＲ空間映像によるビデオシースルーの体験が提供される。例えば、ユーザＡは、身体を使ったインタラクションにより、ＡＲ空間映像においてリアルな壁を模した仮想オブジェクトを破壊することができる。また、ＡＲ空間映像においてユーザＢのアバターがその場にいるように見え、身振りなど体を使ったコミュニケーションができる。

ユーザＢ側では、ＶＲ空間映像による体験が提供される。例えば、ユーザＢは、ＶＲ空間映像においてユーザＡの部屋（第１空間１）にアバターの体で入ることができる。ユーザＢも同様に、身体を使ったインタラクションにより、ＶＲ空間映像においてリアルな壁を模した仮想オブジェクトを破壊することができる。また、ＶＲ空間映像において、ユーザＢのアバターの身体は、大きくも小さくも変化させることができる。

図３は、本実施形態に係る情報処理システム１０の機能ブロック図である。図３を含む各図の機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。情報処理端末１００Ａは、第１取得部５１と、空間構築部５２と、空間更新部５３と、第１描画部５４と、を含む。情報処理端末１００Ｂは、第２取得部５５と、提供部５６と、第２描画部５７と、を含む。

第１取得部５１は、ユーザＡの周囲の第１空間１における物体の位置、色及びテクスチャを示す空間情報を取得する。ここでの「物体」とは、ユーザがいる空間内の床、壁、天井、物品（テーブル等）の他に、そのユーザの身体自体を含むものとする。第１取得部５１は、取得部の一例である。第２取得部５５は、後述する共有空間情報、空間更新情報を取得する。

第１取得部５１及び第２取得部５５は、それぞれ、ユーザＡ及びＢの姿勢を示す姿勢情報を取得する。上述したように、姿勢情報は、ＨＭＤ１５、ステレオカメラ１６及びトラッカ１７の検出データに基づいて生成される。第１取得部５１及び第２取得部５５は、ユーザＡ及びＢの操作入力に応じてユーザの所望の操作を示す操作情報をそれぞれ取得する。操作情報は、入力装置１８を介した操作入力に基づいて生成される。

空間構築部５２は、空間情報に基づいて第１空間１での物体の位置が反映された共有空間を構築する。空間構築部５２は、構築した共有空間の位置座標系（以下、共有座標系という）を示す共有空間情報を生成する。

空間更新部５３は、空間情報、ユーザＡ及びＢの姿勢情報及び操作情報に基づいて、共有空間を更新する。その結果、ユーザＢについての共有空間での位置が決定される。空間更新部５３は、更新した共有空間の状態を示す空間更新情報を生成する。空間更新部５３は、決定部の一例である。

提供部５６は、第２取得部５５によって取得されたユーザＢの姿勢情報及び操作情報を第１取得部５１に提供する。第１描画部５４及び第２描画部５７は、空間更新情報を用いて生成した映像によって共有空間内の様子を描画し、ＨＭＤ１５に表示させる。このとき、第１描画部５４及び第２描画部５７は、共有座標系において、表示される共有空間画像を閲覧するユーザＡ及びＢの頭部の位置を特定し、その特定した位置に仮想カメラを配置する。そして、配置した仮想カメラから共有空間内を見た様子を描画する。これによりユーザＡ及びＢは、離れた場所にいる他のユーザと共有空間内の様子を一緒に閲覧できる。

図４Ａ及び図４Ｂは、ユーザＡのＨＭＤ１５Ａによって表示されるＡＲ空間映像を例示する。図４Ａの例では、ＡＲ空間映像において、ユーザＡの手には剣の仮想オブジェクトが重畳されている。また、ＡＲ空間映像においては、部屋の中央部分にユーザＢの人型のアバターの仮想オブジェクトが重畳されている。そのため、ユーザＡのＨＭＤ１５Ａには、ＡＲ空間映像を介して、ユーザＡがいる部屋（第１空間１）内で、図面手前で剣を持って図面中央のユーザＢの人型のアバターと戦っている様子が表示される。図４Ｂの例では、ユーザＡがユーザＢのアバターから攻撃を受けている。

図５のシーケンス図を用いて、本実施形態に係る情報処理端末１００Ａ及び１００Ｂにおける処理の流れを説明する。本実施形態では、ユーザＡの情報処理端末１００Ａが、サーバとして機能する。

まず、Ｓ１１で、情報処理端末１００Ａは、情報処理端末１００Ｂとの接続を確立する。本実施形態では、情報処理端末１００Ａは、通信ネットワーク５を介して情報処理端末１００ＢとＰ２Ｐ（ピアツーピア）接続する。本実施形態では、情報処理端末１００Ａは、ゲーム参加受付を通知し、情報処理端末１００Ｂからのゲームプレイ要求を承認した後、情報処理端末１００ＢとＰ２Ｐ接続する。

Ｓ１２で、第１取得部５１は、ユーザＡの周囲の第１空間１における物体の位置、色及びテクスチャを示す空間情報を取得する。本実施形態では、第１取得部５１は、ステレオカメラ１６Ａが撮像した画像を解析することによって、ステレオカメラ１６Ａの撮像範囲内に存在する物体の位置、色及びテクスチャを特定する。第１取得部５１は、この特定した物体の位置、色及びテクスチャに基づいて空間情報を取得する。

具体的には、第１取得部５１は、ステレオカメラ１６の撮像範囲を格子状に分割して得られる複数の単位領域のそれぞれについて、その単位領域に写っている被写体の一部分までの距離を算出する。これにより、第１取得部５１は、単位領域ごとにその単位領域に写っている物体までの距離の情報を含む距離画像（デプスマップ）を取得できる。以下では、現実空間に存在する物体のうち、距離画像内の各単位領域に写っている部分を単位部分という。

第１取得部５１は、各単位領域の距離画像内における位置（すなわち、ステレオカメラ１６の設置位置から見たその単位領域の方向）、及びその単位領域に写っている単位部分までの距離の数値を用いて、その単位部分の現実空間内における位置座標を算出する。この位置座標は、ステレオカメラ１６の設置位置を基準位置とした座標系における３次元の位置座標となる。このようにして得られる複数の単位部分の各々の位置座標を用いることによって、ユーザの身体やテーブルなどの複雑な構造を有する物体の位置や形状が特定される。また、このようにして得られる複数の単位部分の各々の位置座標について、撮像した画像に基づいて色及びテクスチャが特定される。

空間情報は、第１空間１における床面を指定する床面情報を含む。本実施形態では、第１取得部５１は、最も低い位置に存在する単位部分によって構成される平面を床面として、床面情報を生成する。

Ｓ１３で、空間構築部５２は、空間情報に基づいて共有空間を構築する。Ｓ１３では、空間構築部５２は、空間情報において特定された位置座標に基づいて、第１空間１における物体の位置を反映させるように共有座標系を構築する。また、共有座標系では、空間情報に含まれる床面情報に基づいて、第１空間１の床面に対応させるように共有空間の床面が設定される。なお、共有空間において第１空間１に対応する空間の外側の空間には、所定の仮想オブジェクト（例えば、宇宙空間を示すような仮想オブジェクト）が配置される。本実施形態では、ユーザＢの初期位置は、共有空間において第１空間１に対応する空間内の所定の位置に設定される。

Ｓ１４で、空間構築部５２は、構築した共有空間の共有座標系を示す共有空間情報を生成して情報処理端末１００Ｂに提供する。

Ｓ１５で、第２描画部５７は、共有空間情報に基づいて、構築された共有空間を反映するようにＶＲ空間映像を生成する。第２描画部５７は、共有座標系に基づいて、共有空間において設定された床面に第２空間２の床面を合わせ、この床面を基準に壁、天井及び物品を形成するようにＶＲ空間映像を生成して描画する。このようにＶＲ空間映像を表示することにより、ユーザＢは、共有空間における自身の状態をＶＲ空間映像によって確認することができる。ユーザＢは、この物体の位置のみが反映されたＶＲ空間映像に基づいて、操作入力を実行できる。

Ｓ１６で、第１取得部５１は、第１空間１の空間情報、ユーザＡの姿勢情報及び操作情報を取得するとともに、情報処理端末１００Ｂの提供部５６を介して提供されたユーザＢの姿勢情報及び操作情報を取得する。ここで、操作情報は、例えば、ユーザのアバターに特定の動作（例えば、弾丸を放つ、剣を出現させる等）を実行させるための動作情報を含むことができる。また、ユーザＢのＨＭＤ１５ＢのようなＶＲ空間映像用のＨＭＤが用いられる場合、操作情報は、共有空間内でユーザのアバターを所望の位置に移動させるための移動情報と、ユーザのアバターのスケールを設定するためのスケール情報とをさらに含む。スケール情報は、ユーザのアバターのスケールを調整するためのスケール値を含む。

Ｓ１７で、空間更新部５３は、Ｓ１６で取得した第１空間１の空間情報、ユーザＡ及びＢの姿勢情報及び操作情報に基づいて、共有空間を更新する。具体的には、空間更新部５３は、各単位部分について、共有空間における仮想オブジェクトの位置、形状（大きさを含む）、色及びテクスチャを決定する。本実施形態の仮想オブジェクトは、例えば、床、壁、天井及び物品、ユーザＡ及びＢのアバター、剣、弾丸等である。なお、共有空間における床、壁、天井及び物品の仮想オブジェクトは、これらを破壊できるように破片の集合体で構成される。

空間更新部５３は、空間情報及びユーザＡの姿勢情報に基づいて、第１空間１におけるユーザＡの現在の位置及び姿勢に対応させるように、共有空間内でのユーザＡの位置及び姿勢を決定する。空間更新部５３は、決定したユーザＡの位置及び姿勢に基づいて、共有空間でのユーザＡのアバターの仮想オブジェクトの位置及び姿勢を更新する。

空間更新部５３は、ユーザＢの姿勢情報に基づいてユーザＢの現在の姿勢に対応させるように共有空間内でのユーザＢの姿勢を決定するとともに、移動情報で指定された位置に共有空間内でのユーザＢの位置を決定する。また、本実施形態では、空間更新部５３は、ユーザＢのスケール情報に基づいて、共有空間でのユーザＢのアバターの仮想オブジェクトの大きさを決定する。例えば、空間更新部５３は、スケール情報のスケール値に基づいて、その指定されたスケールが現在のスケールとは異なる場合に共有空間でのユーザＢのアバターのスケールを増減するようにその大きさを変更する。空間更新部５３は、決定したユーザＢの位置、姿勢及びスケールに基づいて、共有空間でのユーザＢのアバターの仮想オブジェクトの位置、姿勢及びスケールを更新する。

空間更新部５３は、空間情報に基づいて現在の第１空間１における床、壁、天井、物品の位置、色及びテクスチャを反映させるように共有空間での床、壁、天井、物品の位置、色及びテクスチャを決定する。空間更新部５３は、決定された床、壁、天井、物品の位置、色及びテクスチャに基づいて、共有空間での床、壁、天井、物品の仮想オブジェクトの位置、色及びテクスチャを更新する。

本実施形態では、空間更新部５３は、空間情報、ユーザＡ及びＢの姿勢情報及び操作情報に基づいて、ユーザＡ及びＢの少なくとも一方のアバターに関する仮想オブジェクトが共有空間において第１空間１に対応する空間を形成する第１空間仮想オブジェクトに接触したかどうかを判定する。ここで、本実施形態のアバターに関する仮想オブジェクトは、アバターの所定の身体部位（腕等）、アバターが所持する剣、アバターが放った弾丸等のアバターによって操作される仮想オブジェクトである。また、本実施形態の第１空間仮想オブジェクトは、共有空間における第１空間１に対応する床、壁、天井、物品を形成する仮想オブジェクトである。ただし、これに限定されず、第１空間仮想オブジェクトは、共有空間における第１空間１に対応する床、壁、天井、物品の少なくとも１つを形成する仮想オブジェクトであってもよい。第１空間仮想オブジェクトは、その破片となる複数の仮想オブジェクトによって構成される。

アバターに関する仮想オブジェクトが第１空間仮想オブジェクトに接触したと判定された場合、空間更新部５３は、第１空間仮想オブジェクトにおけるその接触した箇所の状態を変化させる。この状態の変化は、例えば、第１空間仮想オブジェクトにおける接触箇所の破壊、炎上、凍結、又は着色を含む。この状態の変化が例えば第１空間仮想オブジェクトにおける接触箇所の破壊である場合、空間更新部５３は共有空間においてその接触した箇所の仮想オブジェクトを消失させるように接触箇所の仮想オブジェクトの状態を変化させる。

本実施形態では、共有空間の床面に対応する第１空間仮想オブジェクトが破壊された場合であって、ユーザＡ及びユーザＢのアバターの少なくとも一方がその破壊された床面の箇所に位置する場合、空間更新部５３は、その破壊された床面の箇所に位置するアバターをその破壊された床面の位置から落下させるように共有空間におけるそのアバターに関するユーザの位置を決定する。

また、空間更新部５３は、例えば、一方のユーザのアバターが所持する剣の仮想オブジェクトが他方のユーザから放出された弾丸の仮想オブジェクトと接触したと判定された場合、弾丸を弾き返す等の特定の動作を実行させるように仮想オブジェクトを生成する。このようなユーザＡ及びＢと共有空間内の仮想オブジェクトとのインタラクションの結果、後述のＳ１９Ａ及び１９Ｂにおいて仮想オブジェクトが増減されたり、見た目が変更される。

Ｓ１８で、空間更新部５３は、生成した空間更新情報を第１描画部５４に提供するとともに情報処理端末１００Ｂに提供する。

Ｓ１９Ａで、第１描画部５４は、空間更新情報に基づいて、更新された共有空間を反映するようにＡＲ空間映像を描画する。Ｓ１９Ａでは、第１描画部５４は、ＨＭＤ１５Ａを装着したユーザＡの視点位置・視点方向から更新された共有空間を見たときの仮想オブジェクトを描画する。本実施形態では、第１描画部５４は、ＨＭＤ１５Ａの視野内の第１空間１の床、壁、天井、物品の位置に合わせて、これらの破片の仮想オブジェクトを敷き詰めることにより、共有空間において第１空間１の床、壁、天井、物品を反映するように第１空間仮想オブジェクトを描画する。第１描画部５４は、生成した床、壁、天井、物品の第１空間仮想オブジェクトの表面上に、ポストプロセスでＨＭＤ１５によって撮影された床、壁、天井、物品の撮影画像（ビデオシースルー画像）を重畳する。ここで、「第１空間仮想オブジェクトの表面」とは、共有空間において第１空間１に対応する空間内から見たときの第１空間仮想オブジェクトの面である。第１描画部５４は、空間更新情報に基づいて、仮想オブジェクト上に重畳した撮影画像の上に、ユーザＢのアバターや剣等の仮想オブジェクトを重畳することにより、ＡＲ空間映像を描画する。

第１空間仮想オブジェクト（壁等）が破壊された場合には、その破壊部分の仮想オブジェクトにおいて敷き詰められた破片の仮想オブジェクトがバラバラに崩れ去って消失する。その結果、第１描画部５４は、その消失した部分についてユーザＡの視点方向奥側に存在する仮想オブジェクトを描画することが可能となる。また、バラバラになった破片の仮想オブジェクトの破壊断面には、壁等が破壊された時の断面を示すテクスチャ画像が貼り付けられている。加えて、上述したように、第１空間仮想オブジェクトの表面には、ポストプロセスでＨＭＤ１５の撮影画像（ビデオシースルー画像）が重畳されている。その結果、壁等の第１空間仮想オブジェクトが破壊されると、その破片の仮想オブジェクトによって示される画像は、ビデオシースルー画像からその破壊された状態を示す所定のテクスチャ画像に変化する。その結果、その接触箇所の壁等が実際に破壊されたような演出が可能となる。この場合、ビデオシースルー画像は、ＨＭＤ１５によって撮影された撮影画像から生成されるテクスチャ画像を用いても良いし、撮影画像そのままを用いても良い。

ユーザＡのアバターが共有空間において破壊された床面の箇所に位置する場合、ユーザＡのアバターをその破壊された床面の位置から落下させるように共有空間におけるユーザＡの位置が決定される。この場合、ユーザＡのＨＭＤ１５Ａは、共有空間における第１空間１に対応する空間からのユーザＡのアバターの落下に伴い、共有空間における第１空間１に対応する空間の外側の空間を反映するＶＲ空間映像を表示するようになる。

Ｓ１９Ｂで、第２描画部５７は、空間更新情報に基づいて、更新された共有空間を反映するようにＶＲ空間映像を描画する。Ｓ１９Ｂでは、第２描画部５７は、空間更新情報に基づいて、ＨＭＤ１５Ｂを装着したユーザＢの視点位置・視点方向から更新された共有空間を見たときの仮想オブジェクトを生成することにより、ＶＲ空間映像を描画する。具体的には、第２描画部５７は、共有空間において床、壁、天井、物品、ユーザＡのアバターや剣等を反映するように仮想オブジェクトを生成することにより、ＶＲ空間映像を描画する。例えば、第２描画部５７は、第１空間仮想オブジェクトの表面が第１空間１の床、壁、天井、物品の色及びテクスチャを反映する画像を示すように、ＶＲ空間映像を描画する。第２描画部５７は、上述のように接触箇所の破片の仮想オブジェクトが消失した場合、その消失した部分についてユーザＢの視点方向奥側に存在する仮想オブジェクトを描画する。

第１空間仮想オブジェクトが破壊されると、その破片の仮想オブジェクトによって示される画像は、その破壊部分の色及びテクスチャを反映する画像から破壊状態を示すテクスチャ画像に変化する。その結果、その接触箇所の壁等が実際に破壊されたような演出が可能となる。なお、Ｓ１９Ａ及びＳ１９Ｂは同時に実行される。

これ以降、情報処理システム１０は、このＳ１６からＳ１９Ａ及びＳ１９Ｂまでの処理を繰り返し実行する。具体的には、情報処理システム１０は、第１空間１の空間情報の取得、各ユーザＡ及びＢの姿勢情報及び操作情報の取得、及び取得したこれらの情報に応じた共有空間の更新及びその描画を繰り返し実行する。これにより、ユーザＡ及びＢの身体の動き等を反映したアバターが存在する共有空間の様子をユーザＡ及びＢに提示することができる。

以上により、情報処理端末１００Ａ及び１００Ｂにおける処理が終了する。

本実施形態によると、ユーザＡ及びＢはユーザＡの部屋内の物体が反映された共有空間を用いて互いに他の空間にいるユーザとインタラクションすることが可能となる。そのため、ユーザに斬新な体験を提供することができる。

本実施形態では、共有空間において第１空間１に対応する空間内にユーザＢの位置が決定される。その結果、ユーザＡにとっては自身の部屋にユーザＢのアバターが出現するようにＡＲ空間映像が描画され、ユーザＢにとってはユーザＡの部屋にあたかもいるようにＶＲ空間映像が描画される。そのため、より没入感及び臨場感のある体験をユーザＡ及びＢに提供することが可能となる。

本実施形態では、空間更新部５３は、スケール情報に基づいて、共有空間におけるユーザのアバターのスケールを決定する。本構成によると、共有空間内における各ユーザのアバターのスケールを変更できるようになる。そのため、ユーザＡ及びＢは、共有空間内で互いにスケールが異なるアバターとインタラクションができるため、より斬新な体験を提供可能となる。

本実施形態では、空間構築部５２は、第１空間１の床面に対応させるように共有空間の床面を設定する。これにより、ユーザＡの床面とユーザＢの床面とが一致するようになるため、ユーザＡ及びＢは同じ部屋で互いにインタラクションできるような感覚を得ることができる。

本実施形態では、空間情報は、物体の位置に加え、物体の色及びテクスチャを示す。この構成によると、実際のユーザＡの部屋（第１空間１）により近い映像が得られるため、より臨場感のある体験を提供することが可能となる。

本実施形態では、ユーザＡ及びユーザＢの少なくとも一方のアバターに関する仮想オブジェクトが第１空間仮想オブジェクトと接触した場合、第１空間仮想オブジェクトにおける接触箇所の状態を変化させる。本構成によると、実際のユーザＡの部屋の壁等に対して特定の演出がなされるため、より臨場感のある体験を提供することが可能となる。

本実施形態では、共有空間の床面に対応する第１空間仮想オブジェクトが破壊され、ユーザＡ及びユーザＢのアバターの少なくとも一方がその破壊された床面の箇所に位置する場合、その破壊された床面の箇所に位置するアバターをその破壊された床面の位置から落下させるように共有空間におけるそのアバターに関するユーザの位置が決定される。本構成によると、実際のユーザＡの部屋から誤って落下するような斬新な体験をユーザに提供することが可能となる。

本実施形態では、第１空間仮想オブジェクトの表面は、第１空間１での物体を示す画像（例えば、ビデオシースルー画像、物体の色及びテクスチャを反映する画像）を示し、第１空間仮想オブジェクトの破壊断面は、破壊された状態を示す所定のテクスチャ画像を示す。本構成によると、ユーザＡの部屋が実際に破壊されたような演出が可能となるため、より斬新な体験を提供可能となる。

以下、変形例を説明する。本実施形態では、ＨＭＤ１５Ａを主にビデオ透過型ＨＭＤとして機能させ、ＨＭＤ１５Ｂを非透過型ＨＭＤとして機能させたが、これに限定されず、ＨＭＤ１５Ａ及び１５Ｂはビデオ透過型ＨＭＤ及び非透過型ＨＭＤのいずれで機能してもよい。

本実施形態では、ユーザＡ側の第１空間１の床の位置とユーザＢ側の第２空間２の床の位置とを合わせたが、これに限定されない。例えば、一方のユーザ側の床、壁、天井のいずれかを他方のユーザ側の床、壁、天井に合わせてもよい。

本実施形態では、情報処理端末１００Ａをサーバとして機能させたが、これに限定されない。例えば、情報処理端末１００Ｂをサーバとして機能させてもよい。本実施形態では、空間情報は、第１空間１における物体の位置、色及びテクスチャを示したが、これに限定されず、少なくとも第１空間１における物体の位置が示せればよい。本実施形態では、空間情報は、物体の位置、色及びテクスチャを示すものとしたが、これに限定されず、少なくとも物体の位置を示すものであればよい。本実施形態では、入力装置１８を介して操作情報が入力されたが、これに限定されず、ユーザのジェスチャ等の任意の動作に応じて操作情報が入力されてもよい。

［第２実施形態］
以下、本発明の第２実施形態を説明する。第２実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

上記第１実施形態では、共有空間において第１空間１に対応する空間内にユーザＢのアバターを出現させるように共有空間を構築した。一方で、第２実施形態では、共有空間において第１空間１に対応する空間の外にユーザＢのアバターを出現させるように共有空間を構築する。具体的には、ユーザＢの第２空間２内にユーザＡの第１空間１を出現させるように共有空間を構築する。

図６Ａ及び図６Ｂは、ユーザＡのＨＭＤ１５Ａによって表示されるＡＲ空間映像を例示する。図６Ａの例では、ユーザＢが人型のアバターではなく、巨大なロボットのアバターとして表される。この例では、ユーザＢのロボットのアバターは、ＡＲ空間映像において１０メートル程度の身長となるようにスケーリングされている。また、ユーザＡの部屋の壁の一部は、破壊されたような態様の仮想オブジェクトによって示される。その結果、ユーザＡのＨＭＤには、ユーザＢのロボットアームがユーザＡの部屋の外から部屋の壁と接触することにより、部屋の壁を破壊してユーザＡの部屋に進入していく様子が表示される。図６Ｂの例では、ユーザＡの部屋の大半がユーザＢのロボットのアバターによって破壊された様子が表される。

本実施形態では、ユーザＢのＨＭＤ１５Ｂは、外界の映像に仮想オブジェクトを重畳させることでＡＲ空間映像を生成して表示することができるビデオ透過型ＨＭＤである。図７は、ユーザＢのＨＭＤ１５Ｂによって表示されるＡＲ空間映像を例示する。図７の例では、ユーザＢの両手が図面手前でロボットアームの仮想オブジェクトによって重畳されてＡＲ空間映像において表される。また、ユーザＡの部屋（第１空間）を示すメッシュの壁が部分的に破壊され、その破壊された部分からユーザＡのアバターが見える。ユーザＢのアバターのスケールが大きいため、ＡＲ空間映像においてユーザＡの部屋は小さく反映される。

本実施形態によると、ユーザＡは自身の部屋が部屋の外からやってきたユーザＢのアバターとインタラクションができ、ユーザＢは自身の部屋内でユーザＡの部屋内のユーザＡのアバターとインタラクションができる。そのため、より臨場感のある体験を提供することが可能となる。以下、図８を用いてその処理を説明する。

Ｓ２２で、第１取得部５１は、第１空間１の空間情報を取得するとともに、第２空間２における物体の位置を示す第２空間２の空間情報を取得する。第２空間２の空間情報は、情報処理端末１００Ｂの提供部５６を介して提供される。本実施形態では、情報処理端末１００Ｂの第２取得部５５は、ステレオカメラ１６Ｂを用いて第１空間１の空間情報の場合と同様の手法により第２空間２の空間情報を取得する。提供部５６は、取得した第２空間２の空間情報を情報処理端末１００Ａに提供する。第２空間２の空間情報は、第２空間２の床面を示す床面情報を含む。

Ｓ２３で、空間構築部５２は、第１空間１及び第２空間２の各空間情報に基づいて、共有空間を構築する。Ｓ２３では、空間構築部５２は、各空間情報において特定された第１空間１及び第２空間２の位置座標に基づいて、共有空間において第２空間２に対応する空間内の所定の位置に第１空間１に対応する空間を配置するように共有空間を構築する。本実施形態では、共有空間において、第２空間２に対応する空間は、第１空間１に対応する空間を収容可能な大きさになるようにそのスケールが設定される。この第１空間１に対応する空間では、第１空間１における物体の位置が反映されている。本実施形態の共有座標系は、各空間情報に含まれる床面情報に基づいて、第１空間１に対応する空間の床面と第２空間の対応する空間の床面とが水平になるように設定される。本実施形態では、ユーザＢの初期位置は、共有空間において第１空間１に対応する空間の外側の所定の位置に設定される。

Ｓ２４の後、Ｓ２５で、第２描画部５７は、共有空間情報に基づいて、共有空間を反映させるようにＡＲ空間映像を生成する。このＡＲ空間映像では、第２空間２の所定の位置に第１空間を表す箱状の仮想オブジェクトが重畳される。なお、第２ユーザの操作情報に基づいて、この第１空間を表す箱状の仮想オブジェクトの位置が変更されてもよい（例えばテーブルの上等）。Ｓ２６〜Ｓ２８の後、Ｓ２９Ｂで、第２描画部５７は、空間更新情報に基づいて、更新された共有空間を反映させるようにＡＲ空間映像を生成する。

その後、情報処理システム１０は、Ｓ２６からＳ２９Ａ及びＳ２９Ｂまでの処理を繰り返し実行する。具体的には、情報処理システム１０は、第１空間１の空間情報の取得、各ユーザＡ及びＢの姿勢情報及び操作情報の取得、及び取得したこれらの情報に応じた共有空間の更新及びその描画を繰り返し実行する。

以上により、情報処理端末１００Ａ及び１００Ｂにおける処理が終了する。

［第３実施形態］
以下、本発明の第３実施形態を説明する。第３実施形態の図面および説明では、第１実施形態と同一または同等の構成要素、部材には、同一の符号を付する。第１実施形態と重複する説明を適宜省略し、第１実施形態と相違する構成について重点的に説明する。

図９の情報処理システム１０は、サーバ２００と、複数の情報処理端末１００と、を含む。サーバ２００は、通信ネットワーク５を介して複数の情報処理端末１００とデータ通信可能に接続されている。サーバ２００は、制御部２１１と、記憶部２１２と、通信部２１３と、を含む。

制御部２１１はプロセッサを含み、記憶部２１２に記憶されているプログラムを実行して各種の情報処理を実行する。記憶部２１２は、ＲＡＭ等のメモリデバイスを含み、制御部２１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２１３は、通信ネットワーク５を介してデータ通信を行うための通信インタフェースである。本実施形態では、各情報処理端末１００とサーバ２００とは、通信部１３及び２１３を介してクライアント・サーバ型の接続によって通信する。

図１０は、本実施形態に係る情報処理システム１０の機能ブロック図である。図１０に示すように、サーバ２００は、第１取得部５１と、空間構築部５２と、空間更新部５３と、を含む。情報処理端末１００は、第２取得部５５と、提供部５６と、描画部５８と、を含む。なお、描画部５８は、第１描画部５４及び第２描画部５７と同様の機能を有する。本実施形態の第１取得部５１及び第２取得部５５は、それぞれ、サーバ側取得部及び端末側取得部の一例である。

図１１のシーケンス図を用いて、本実施形態に係る情報処理端末１００及びサーバ２００における処理の流れを説明する。Ｓ３１で、サーバ２００は、各情報処理端末１００との接続を確立する。本実施形態では、サーバ２００は、通信ネットワーク５を介して各情報処理端末１００とクライアント・サーバ型の接続を行う。

Ｓ３２で、第１取得部５１は、情報処理端末１００から空間情報を取得する。本実施形態では、第１取得部５１は、提供部５６を介して情報処理端末１００Ａ及び１００Ｂの少なくとも一方から空間情報を取得する。

Ｓ３３で、空間構築部５２は、取得した空間情報に基づいて共有空間を構築する。本実施形態では、事前に指定された情報処理端末１００（本実施形態では情報処理端末Ａとする）の空間情報を用いて、共有空間が構築される。Ｓ３４〜Ｓ３６の後、Ｓ３７で、空間更新部５３は、Ｓ３６で取得した情報処理端末１００Ａにおける第１空間１の空間情報、ユーザＡ及びＢの姿勢情報及び操作情報に基づいて、共有空間を更新する。Ｓ３８で、空間更新部５３は、空間更新情報を情報処理端末１００Ａ及び１００Ｂに提供する。Ｓ３９で、情報処理端末１００Ａ及び１００Ｂの描画部５８は、それぞれ、第２取得部５５を介して取得した空間更新情報に基づいて、更新された共有空間を反映するようにＡＲ空間映像又はＶＲ空間映像を描画する。

その後、情報処理システム１０は、Ｓ３６からＳ３９までの処理を繰り返し実行する。以上により、情報処理端末１００及びサーバ２００における処理が終了する。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 第１空間、 ２ 第２空間、 ５ 通信ネットワーク、 １０ 情報処理システム、 １１ 制御部、 １２ 記憶部、 １３ 通信部、 １４ インタフェース部、 １５ ＨＭＤ、 １６ ステレオカメラ、 １７ トラッカ、 １８ 入力装置、 ５１ 第１取得部、 ５２ 空間構築部、 ５３ 空間更新部、 ５４ 第１描画部、 ５５ 第２取得部、 ５６ 提供部、 ５７ 第２描画部、 ５８ 描画部、１００ 情報処理端末、２００ サーバ。

Claims (12)

1. 第１ユーザの周囲の第１空間における物体の位置を示す空間情報を取得する取得部と、
   前記空間情報に基づいて、前記第１ユーザと前記第１空間とは異なる第２空間に存在する第２ユーザとによって共有される共有空間であって、前記第１空間での前記物体の位置が反映された前記共有空間を構築する空間構築部と、
   前記第２ユーザについての前記共有空間での位置を決定する決定部と、
   を含む、情報処理装置。
2. 前記決定部は、前記共有空間において前記第１空間に対応する空間内に前記第２ユーザの位置を決定する、請求項１に記載の情報処理装置。
3. 前記取得部は、前記第２空間における物体の位置を示す他の空間情報をさらに取得し、
   前記空間構築部は、前記他の空間情報にさらに基づいて、前記共有空間において前記第１空間に対応する空間と前記第２空間に対応する空間とのうちの一方の空間が他方の空間内に位置するように、前記共有空間を構築する、請求項１又は２に記載の情報処理装置。
4. 前記取得部は、前記共有空間における前記第１ユーザ及び前記第２ユーザの少なくとも一方のアバターのスケールを設定するためのスケール情報を取得し、
   前記決定部は、前記スケール情報に基づいて、前記アバターのスケールを決定する、請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記空間情報は、前記第１空間における床面を指定する床面情報を含み、
   前記空間構築部は、前記床面情報に基づいて、前記第１空間の床面に対応させるように前記共有空間の床面を設定する、請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記空間情報は、前記第１空間における前記物体の色及びテクスチャをさらに示し、
   前記決定部は、前記第１空間での前記物体の色及びテクスチャをさらに反映させるように前記共有空間における物体の仮想オブジェクトの色及びテクスチャを決定する、請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１ユーザ及び前記第２ユーザの少なくとも一方のアバターに関する仮想オブジェクトが前記共有空間において前記第１空間に対応する空間を形成する第１空間仮想オブジェクトと接触した場合、前記第１空間仮想オブジェクトにおける前記接触した箇所の状態を変化させる、請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記状態の変化は、前記第１空間仮想オブジェクトにおける前記接触した箇所の破壊であり、
   前記共有空間の床面に対応する前記第１空間仮想オブジェクトが破壊された場合であって、前記第１ユーザ及び前記第２ユーザのアバターの少なくとも一方がその破壊された床面の箇所に位置する場合、前記決定部は、前記位置するアバターを前記破壊された床面の位置から落下させるように前記共有空間における前記位置するアバターに関するユーザの位置を決定する、請求項７に記載の情報処理装置。
9. 前記状態の変化は、前記第１空間仮想オブジェクトにおける前記接触した箇所の破壊であり、
   前記第１空間仮想オブジェクトは、その破片となる複数の仮想オブジェクトによって構成され、
   前記第１空間仮想オブジェクトの表面は、前記第１空間での前記物体を示す画像を示し、
   前記第１空間仮想オブジェクトの破壊断面は、破壊された状態を示す所定のテクスチャ画像を示す、請求項７又は８に記載の情報処理装置。
10. 第１ユーザの周囲の第１空間における物体の位置を示す空間情報を取得するステップと、
    前記空間情報に基づいて、前記第１ユーザと前記第１空間とは異なる第２空間に存在する第２ユーザとによって共有される共有空間であって、前記第１空間での前記物体の位置が反映された前記共有空間を構築するステップと、
    前記第２ユーザについての前記共有空間での位置を決定するステップと、
    を含む、方法。
11. コンピュータに、
    第１ユーザの周囲の第１空間における物体の位置を示す空間情報を取得するステップと、
    前記空間情報に基づいて、前記第１ユーザと前記第１空間とは異なる第２空間に存在する第２ユーザとによって共有される共有空間であって、前記第１空間での前記物体の位置が反映された前記共有空間を構築するステップと、
    前記第２ユーザについての前記共有空間での位置を決定するステップと、
    を実行させるためのプログラム。
12. サーバと、複数の情報処理端末と、を含む情報処理システムであって、
    前記複数の情報処理端末のうちの第１情報処理端末は、
    前記第１情報処理端末を利用する第１ユーザの周囲の第１空間における物体の位置を示す空間情報を取得する端末側取得部と、
    前記取得した空間情報を前記サーバに提供する提供部と、
    を含み、
    前記サーバは、
    前記第１情報処理端末から、前記空間情報を取得するサーバ側取得部と、
    前記空間情報に基づいて、前記第１ユーザと前記第１空間とは異なる第２空間に存在する第２ユーザとによって共有される共有空間であって、前記第１空間での前記物体の位置が反映された前記共有空間を構築する空間構築部と、
    前記第２ユーザについての前記共有空間での位置を決定する決定部と、
    を含む、情報処理システム。

Images