JP2021047720A

JP2021047720A - 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Info

Publication number: JP2021047720A
Application number: JP2019170720A
Authority: JP
Inventors: 良徳大橋; Yoshinori Ohashi
Original assignee: Sony Interactive Entertainment LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2021-03-25
Also published as: US20210090329A1; US11263813B2

Abstract

【課題】別の場所にいる複数のユーザーによって共有される仮想空間を好適に構築することのできる情報処理装置を提供する。【解決手段】第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得し、第１の空間に存在する平面と第２の空間に存在する平面の位置を一致させるように、第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定し、決定された変換パラメータに従って第１及び第２の空間のそれぞれに存在する物体の位置が仮想空間内の位置に変換される情報処理装置である。【選択図】図１

Description

本発明は、仮想空間に関する処理を実行する情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

近年、仮想現実や拡張現実などの技術において、現実世界でユーザーが体を動かした際に、その動きを仮想空間内のアバター等に反映させることが検討されている。このような技術によれば、ユーザーはヘッドマウントディスプレイなどの表示装置を装着して仮想空間内の様子を閲覧しながら、現実世界で体を動かすことによって、仮想空間内に存在する物体を触ったりすることができ、高い臨場感で仮想空間の体験を楽しむことができる。

上述した技術において、互いに離れた別の場所にいる複数のユーザーが同じ仮想空間を共有することがある。このような場合に、どのように仮想空間を構築すればよいかについて、いまだ十分な検討がされていない。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、別の場所にいる複数のユーザーによって共有される仮想空間を好適に構築することのできる情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得する取得部と、前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定する変換パラメータ決定部と、を含み、前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換されることを特徴とする。

本発明に係る情報処理システムは、複数のクライアント装置とサーバ装置とを含む情報処理システムであって、前記サーバ装置は、前記複数のクライアント装置のそれぞれから、当該クライアント装置のユーザーの周囲の空間に存在する平面の位置情報を取得する平面位置取得部と、前記複数のクライアント装置から取得した前記平面の位置が互いに一致するように、前記複数のクライアント装置のそれぞれを使用するユーザーの周囲の空間の位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定する変換パラメータ決定部と、を含み、前記複数のクライアント装置のそれぞれは、当該クライアント装置を使用するユーザーの周囲の空間に存在する物体の位置座標を取得する物***置取得部と、前記物体の位置座標を、前記座標変換パラメータに従って前記仮想空間内の位置に変換する座標変換部と、を含むことを特徴とする。

本発明に係る情報処理方法は、第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得するステップと、前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定するステップと、を含み、前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換されることを特徴とする。

本発明に係るプログラムは、第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得するステップと、前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定するステップと、をコンピュータに実行させるためのプログラムであって、前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換されることを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含む情報処理システムの全体概要図である。ユーザーがいる現実空間の様子の一例を示す図である。情報処理システムの機能を示す機能ブロック図である。仮想空間の様子の一例を示す図である。情報処理システムが実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置であるサーバ装置１０を含んだ情報処理システム１の全体概要図である。情報処理システム１は、図１に示すように、サーバ装置１０と、複数のクライアント装置２０と、を含んで構成されている。複数のクライアント装置２０は、それぞれインターネット等の通信ネットワークを介してサーバ装置１０とデータ通信可能に接続されている。ここでは具体例として、情報処理システム１は、ユーザーＡが使用するクライアント装置２０ａとユーザーＢが使用するクライアント装置２０ｂの２台のクライアント装置２０を含むこととする。しかしながらこれに限らず、情報処理システム１は３台以上のクライアント装置２０を含んでもよい。

サーバ装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される情報処理装置である。制御部１１は少なくとも一つのプロセッサを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、通信ネットワークを介して各クライアント装置２０との間でデータ通信を行うための通信インタフェースである。

各クライアント装置２０は、制御部２１と、記憶部２２と、通信部２３と、インタフェース部２４と、を含んで構成されている。また、表示装置２５、及びステレオカメラ２６と接続されている。制御部２１は少なくとも一つのプロセッサを含んで構成され、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部２１が実行する処理の具体例については、後述する。記憶部２２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、通信ネットワークを介してサーバ装置１０との間でデータ通信を行うための通信インタフェースである。

インタフェース部２４は、表示装置２５、及びステレオカメラ２６との間のデータ通信のためのインタフェースである。クライアント装置２０は、インタフェース部２４を介して有線又は無線で表示装置２５及びステレオカメラ２６のそれぞれと接続される。具体的にインタフェース部２４は、クライアント装置２０によって描画された動画像のデータを表示装置２６に送信するために、ＨＤＭＩ（登録商標）等のマルチメディアインタフェースを含むこととする。また、ステレオカメラ２６から送信される映像信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでいる。

表示装置２５は、ユーザーに提示する動画像を表示するデバイスである。本実施形態では、表示装置２５はユーザーが頭部に装着して使用する頭部装着型の表示装置であることとする。具体的に表示装置２５は、ユーザーの右目に右目用画像を、左目に左目用画像を、それぞれ提示することによって、視差を利用した立体映像を表示することができる。

ステレオカメラ２６は、並んで配置された複数の撮像素子を含んで構成される。これらの撮像素子のそれぞれが撮像した画像を解析することによって、クライアント装置２０は、ステレオカメラ２６の視野範囲に存在する物体までの撮像位置からの距離を測定できる。これによりクライアント装置２０は、ステレオカメラ２６の周囲の空間に存在する物体の位置や形状を推定することができる。

特に本実施形態では、ステレオカメラ２６はクライアント装置２０を利用するユーザー、及びその周囲に存在する壁や床などの物体の位置を特定するために用いられる。図２は、各ユーザーがクライアント装置２０を使用している様子の一例を示す図であって、図２（ａ）はユーザーＡの様子を、図２（ｂ）はユーザーＢの様子を、それぞれ示している。この図の例では、表示装置２５を装着したユーザーＡの正面にステレオカメラ２６が配置されており、ステレオカメラ２６は前方のユーザーＡや、ユーザーＡが立っている床面、やユーザーＡがいる部屋の壁面などを視野範囲に含んでいる。ユーザーＡと同様に、ユーザーＢも自身の部屋でクライアント装置２０ｂを使用しており、クライアント装置２０ｂに接続されるステレオカメラ２６は、ユーザーＢ、及びその周囲の床面や壁面などを視野範囲に含んでいる。

以下、情報処理システム１が実現する機能について、図３を用いて説明する。本実施形態において情報処理システム１は、複数のユーザーが一つの仮想空間内で互いにインタラクションすることが可能なサービスを提供する。図３に示すように、情報処理システム１は、機能的に、位置情報取得部５１と、基準面特定部５２と、空間結合部５３と、座標変換部５４と、空間更新部５５と、空間画像描画部５６と、を含んで構成されている。これらの機能のうち、位置情報取得部５１、基準面特定部５２、座標変換部５４、及び空間画像描画部５６は各クライアント装置２０の制御部２１が記憶部２２に格納されたプログラムを実行することによって実現される。また、空間結合部５３と空間更新部５５はサーバ装置１０の制御部１１が記憶部１２に格納されたプログラムを実行することによって実現される。これらのプログラムは、インターネット等の通信ネットワークを経由して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能で非一時的な記憶媒体に格納されて提供されてもよい。

位置情報取得部５１は、現実空間内においてユーザー、及びその周囲に存在する物体の位置を特定する情報を取得する。本実施形態では、位置情報取得部５１はステレオカメラ２６が撮像した画像を解析することによって、ステレオカメラ２６の撮像範囲内に存在する物体の位置を特定する。位置情報取得部５１が取得した位置情報は、後述する基準面特定部５２によって基準面の特定に利用される。また、後述する空間更新部５５による仮想空間の更新に利用される。

より具体的に、位置情報取得部５１は、ステレオカメラ２６の撮像範囲を格子状に分割して得られる複数の単位領域のそれぞれについて、その単位領域に写っている被写体の一部分までの距離を算出する。これにより位置情報取得部５１は、単位領域ごとにその単位領域に写っている物体までの距離の情報を含んだ距離画像（デプスマップ）を取得できる。以下では、現実空間に存在する物体のうち、距離画像内の各単位領域に写っている部分を単位部分という。

さらに位置情報取得部５１は、各単位領域の距離画像内における位置（すなわち、ステレオカメラ２６の設置位置から見たその単位領域の方向）、及びその単位領域に写っている単位部分までの距離の数値を用いて、その単位部分の現実空間内における位置座標を算出する。この位置座標は、ステレオカメラ２６の設置位置を基準位置とした座標系における３次元の位置座標となる。このようにして得られる複数の単位部分それぞれの位置座標を用いることによって、ユーザーの身体やテーブルなどの複雑な構造を有する物体の位置や形状を特定することができる。以下では、このステレオカメラ２６の位置を基準位置としてユーザーがいる現実空間内の位置を示す座標系を、ローカル座標系という。また、ユーザーＡの周囲の現実空間（第１の空間）の位置を示す座標系を第１ローカル座標系といい、ユーザーＢの周囲の現実空間（第２の空間）の位置を示す座標系を第２ローカル座標系という。

基準面特定部５２は、位置情報取得部５１が取得した物体の位置情報を用いて、現実空間内における基準面の位置を特定する。ここで基準面とは、後述する空間結合の際に基準となる平面である。基準面特定部５２は、位置情報取得部５１が取得した各単位部分の位置座標を用いて、複数の単位部分が同一平面に沿って連続的に配置されている領域を抽出し、このような単位部分によって構成される平面を基準面として特定する。

具体的に基準面特定部５２は、一つの水平な面を基準面として特定する。例えば基準面はユーザーが立っている床面であってよい。あるいは、ユーザーがいる場所にテーブルなどの上面が平らな物体が存在する場合、その上面を基準面として特定してもよい。

なお、複数のクライアント装置２０のそれぞれは、ユーザーに対する相対的な位置（高さ）が近い面を基準面として特定するものとする。例えばクライアント装置２０ａがユーザーＡのいる場所の床面を基準面とする場合、クライアント装置２０ｂもユーザーＢのいる場所の床面を基準面として特定する。逆に複数のユーザーが仮想空間内においてテーブルを共有する場合などは、各クライアント装置２０の基準面特定部５２は、ユーザーの近くにある実在のテーブルの上面を基準面として特定する。

このような制御を実現するため、各クライアント装置２０の基準面特定部５２は、予めサーバ装置１０からどのような高さの水平面を基準面とすべきかの条件の指定を受け付けて、その条件に合致する平面を基準面として特定することとしてもよい。例えば床面を基準面とすべき旨の指定を受けた場合、基準面特定部５２は最も低い位置に存在する単位部分によって構成される平面を基準面とする。また、テーブル面を基準面とすべき旨の指定を受けた場合、基準面特定部５２は単位部分の分布からまずユーザーの頭部の位置、及び床面の位置を特定し、ユーザーの頭部と床面の間の所定の高さの範囲内に存在する平面を基準面としてもよい。

さらに基準面特定部５２は、床面などの水平面に加えて、壁面などの鉛直面を基準面として特定してもよい。ここでは各ユーザーは室内でクライアント装置２０を使用することとし、基準面特定部５２はユーザーがいる部屋の四方の壁面のうち少なくとも一部の壁面を、基準面として特定するものとする。なお、以下では基準面として特定された水平面を水平基準面といい、基準面として特定された鉛直面を鉛直基準面という。基準面特定部５２は、水平基準面を一つ必ず特定することとし、さらに可能であれば鉛直基準面を１又は複数特定する。例えば図２に示した例において、クライアント装置２０ａの基準面特定部５２は床面Ｐ１ａ及び壁面Ｐ２ａを基準面として特定する。また、クライアント装置２０ｂの基準面特定部５２は床面Ｐ１ｂ及び壁面Ｐ２ｂを基準面として特定する。鉛直基準面は、水平基準面に隣接する基準面であってもよいし、ユーザーの位置に最も近い位置に存在する基準面であってもよい。

基準面特定部５２は、基準面の現実空間内における位置を特定すると、その位置情報をサーバ装置１０に対して送信する。この位置情報は、ローカル座標系における平面の位置を示す座標値によって表される。

空間結合部５３は、平面位置取得部として、各クライアント装置２０から送信された基準面の情報を利用して、仮想空間を構築する。より具体的に、空間結合部５３は、各クライアント装置２０のユーザーがいる現実空間を結合して仮想空間を構築するための座標変換パラメータを決定する。この座標変換パラメータは、各クライアント装置２０が取得する物体の位置情報を表すために利用されているローカル座標系を、仮想空間の位置を示す座標系（ここではワールド座標系という）に変換するためのパラメータである。この座標変換パラメータを用いて各クライアント装置２０が取得した物体の位置情報をワールド座標系の位置に変換することによって、複数のユーザーが一つの仮想空間を共有できるようになる。

ここで空間結合部５３は、少なくとも複数のユーザーのそれぞれがいる空間の水平基準面が互いに一致するように座標変換パラメータを決定する変換パラメータ決定部を構成している。各ローカル座標系における水平基準面の位置座標は、それぞれのクライアント装置２０に接続されるステレオカメラ２６の設置位置の違いなどによって、互いに相違している。空間結合部５３は、この相違を解消するように、各クライアント装置２０に送信すべき座標変換パラメータを決定する。この場合の座標変換パラメータは、水平基準面を一致させるための鉛直方向の平行移動のパラメータを少なくとも含むことになる。

さらに、各クライアント装置２０が鉛直基準面の位置情報を送信した場合、空間結合部５３はそれらの少なくとも一部が一致するように空間の結合を行ってもよい。一例として、各クライアント装置２０が床面と一つの壁面の位置情報を送信した場合、空間結合部５３は、床面に加えてそれぞれの壁面も一致させるように各ローカル座標系を平行移動、及び／又は回転させる座標変換パラメータを決定する。また、各クライアント装置２０が使用しているローカル座標系によっては、座標変換パラメータには鏡像反転などの変換を行うパラメータが含まれてもよい。

また、一つのコーナーを囲み互いに交差する３つの基準面（すなわち、一つの水平基準面と二つの鉛直基準面）の情報が各クライアント装置２０から送信された場合、空間結合部５３は、この３つの基準面が全て一致するように各座標系に対する座標変換パラメータを決定してもよい。なお、一般に複数のユーザーのそれぞれがいる部屋の広さや形状には相違があるため、各クライアント装置２０で特定された全ての基準面を一致させることができるとは限らない。そのため、空間結合部５３は少なくとも水平基準面を一致させることとし、さらに可能であれば１又は２の鉛直基準面を一致させるように各ローカル座標系に対する座標変換パラメータを決定する。

例えば前述の例において、クライアント装置２０ａから床面Ｐ１ａ及び壁面Ｐ２ａに加えて壁面Ｐ２ａに隣接する隣接壁面Ｐ３ａの位置情報が取得され、クライアント装置２０ｂから床面Ｐ１ｂ及び壁面Ｐ２ｂに加えて壁面Ｐ２ｂに隣接する隣接壁面Ｐ３ｂの位置情報が取得されたものとする。この場合空間結合部５３は、少なくとも床面Ｐ１ａと床面Ｐ１ｂ、また壁面Ｐ２ａと壁面Ｐ２ｂが一致するように座標変換パラメータを決定する。さらに、第１空間において壁面Ｐ２ａと隣接壁面Ｐ３ａがなす角度と第２空間において壁面Ｐ２ｂと隣接壁面Ｐ３ｂがなす角度が一致する場合、隣接壁面Ｐ３ａと隣接壁面Ｐ３ｂも一致するように座標変換パラメータを決定する。一方、両者のなす角度が一致しない場合、３つの基準面全てを一致させるような座標変換は不可能なので、空間結合部５３は、床面Ｐ１ａと床面Ｐ１ｂ、及び壁面Ｐ２ａと壁面Ｐ２ｂだけが一致するように座標変換パラメータを決定する。

空間結合部５３は、以上説明したようにして決定した各ローカル座標系に対する座標変換パラメータを、対応するクライアント装置２０に対して送信する。各クライアント装置２０の座標変換部５４は、サーバ装置１０の空間結合部５３から受信した座標変換パラメータを用いて、位置情報取得部５１が取得した物体の位置座標に対する座標変換を行う。これにより空間結合部５３は、現実空間内において特定された複数の単位部分それぞれのローカル座標系による位置座標を、ワールド座標系による仮想空間内の位置座標に変換することができる。

なお、座標変換部５４は位置情報取得部５１が取得した全ての単位部分の位置座標を変換する必要はない。例えば空間結合部５３は、基準面を構成する単位部分の位置座標の変換は省略してもよい。また、所与のアルゴリズムに従ってユーザーの身体を構成する単位部分を特定し、その位置座標を変換することとしてもよい。変換された位置座標の情報は、サーバ装置１０に送信される。

空間更新部５５は、仮想空間構築部として機能し、各クライアント装置２０から受信した物体の位置座標の情報を用いて、仮想空間の内容を更新する。具体的に空間更新部５５は、クライアント装置２０ａから受信したユーザーＡを構成する各単位部分の位置座標を用いて、仮想空間内にユーザーＡを表すアバターＡａを配置する。また、クライアント装置２０ｂから受信したユーザーＢを構成する各単位部分の位置座標を用いて、仮想空間内にユーザーＢのアバターＡｂを配置する。ここで、各クライアント装置２０から受信する位置座標は、空間結合部５３が決定した座標変換パラメータに従って変換された後のワールド座標系による位置座標になっている。そのため、受信した位置座標をそのまま利用して仮想空間内に配置するアバターの位置や姿勢を決定することができる。

このようにして配置された各ユーザーのアバターは、それぞれのユーザーの現実空間内における姿勢や動きを反映して更新される。ここで、空間結合部５３が決定した座標変換パラメータを用いて各ユーザーの位置が座標変換されることで、複数のユーザーのアバターは、同じ高さの水平基準面を共有することができる。例えば各ユーザーがいる部屋の床面が水平基準面として特定されている場合、各ユーザーのアバターは同じ高さの床面に立っている状態で仮想空間内に配置される。

また、テーブルの上面が水平基準面として特定されている場合、前述したように空間結合部５３は、各ローカル座標系における水平基準面が一致するように座標変換パラメータを決定する。この場合において空間更新部５５は、仮想空間内において水平基準面に対応する位置にその上面が一致するように、テーブルオブジェクトを配置する。これにより複数のユーザーは、仮想空間内で同じ高さのテーブルを共有することができる。すなわち、ユーザーＡが自分の部屋にあるテーブルの上面に手を触れると、ユーザーＡのアバターも仮想空間内に配置されたテーブルオブジェクトの上面に手を触れることになる。ユーザーＢも同様に、自分の部屋にあるテーブルの上面に手を触れれば、仮想空間内において同じテーブルオブジェクトの上面に手を触れることができる。ここで、各ユーザーがいる部屋に現実に存在するテーブルの高さが違ったとしても、各テーブルの上面が一致するような座標変換を行うことによって、仮想空間内では同じ一つのテーブルオブジェクトを共有することができる。このため二人のユーザーは、自分の部屋のテーブルがあたかも離れたユーザーとの間で共有されているような感覚で、仮想空間内のテーブルオブジェクトやその上に配置されている仮想オブジェクトを触ったりすることができる。

また、空間結合部５３が１個以上の鉛直基準面を共有するように座標変換パラメータを決定した場合、空間更新部５５はその鉛直基準面に対応する仮想空間内の位置に壁面オブジェクトを配置する。これにより複数のユーザーは、床面又はテーブルの上面と同様に、仮想空間内において一つの壁面を離れた位置にいるユーザーと共有することができる。

図４は、このようにして空間更新部５５が更新する仮想空間の様子を示す図である。この図の例では、一つの仮想空間内にユーザーＡを表すアバターＡａとユーザーＢを表すアバターＡｂとが配置されている。さらに、ユーザーＡが現実にいる空間の床面Ｐ１ａとユーザーＢが現実にいる空間の床面Ｐ１ｂとが一致するように、かつ、ユーザーＡがいる空間の壁面Ｐ２ａとユーザーＢがいる空間の壁面Ｐ２ｂとが一致するように、座標変換パラメータが決定されている。これにより仮想空間内の床面Ｐ１ｖは床面Ｐ１ａ及びＰ１ｂの双方と対応し、壁面Ｐ２ｖは壁面Ｐ２ａ及びＰ２ｂの双方と対応している。そのため、ユーザーＡが現実空間内において壁面Ｐ２ａに手を触れるとアバターＡａが壁面Ｐ２ｖに手を触れ、ユーザーＢが現実空間内において壁面Ｐ２ｂに手を触れるとアバターＡｂが壁面Ｐ２ｖに手を触れることになる。これによりユーザーＡ及びＢは、例えば自身の近くに存在する壁面を手でなぞるといった現実空間における動作を行うことによって、仮想空間内の壁面Ｐ２ｖに文字や絵を描いたりするなどの動作を実現できる。

なお、ここでは複数のユーザーを表すアバターは仮想空間内において鉛直基準面に対して同じ側に配置されることとしたが、一つの鉛直基準面に対して複数のアバターは逆側に配置されてもよい。例えばテニスなどを行う場合、二人の人物はネットを挟んで相対し、互いに相手側のコート内に進入することは想定されない。このようなシチュエーションを再現する場合、空間結合部５３は二つのクライアント装置２０によって特定された鉛直基準面が仮想空間内において表裏逆向きに一致するように（すなわち、各鉛直基準面のユーザー側に向けられた面が互いに逆向きになるように）各クライアント装置２０に対する座標変換パラメータを決定する。このような座標変換パラメータによって変換されたワールド座標系の位置座標に応じて各ユーザーのアバターを仮想空間内に配置することによって、ユーザーは自身がいる部屋の壁に向かって立ち、壁の向こう側にいる他のユーザーのアバターと仮想空間内で相対することができる。

空間更新部５５は、各ユーザーのアバターだけでなく、仮想空間内に配置するその他の仮想オブジェクトの位置や形状、大きさについても、各クライアント装置２０から受信した単位部分の位置座標の情報を用いて決定してもよい。例えばユーザーＡのいる部屋に箪笥が置いてある場合、その箪笥と近い形状の仮想オブジェクトを仮想空間内にも配置する。このような制御によれば、各ユーザーが現実空間において物体が存在する箇所に進入してしまわないようにすることができる。

また、空間結合部５３によって互いに共有される基準面として選択された面以外の壁面が存在する場合、空間更新部５５はその壁面に対応する壁面オブジェクトを仮想空間内に配置してもよい。具体的に、例えば一つの壁面が鉛直基準面として特定された場合、現実空間においてこの壁面と対向する壁面の位置は、各ユーザーがいる部屋の大きさによって相違することになる。この場合、基準面に対向する各ユーザーの部屋の壁面のうち、最も基準面に近い壁面と対応する仮想空間内の位置に、壁面オブジェクトを配置する。こうすれば、仮想空間内において各ユーザーが移動可能だと認識する範囲を、各ユーザーが現実にいる部屋のうちより狭い部屋の広さに合わせて制限することができる。これにより、複数のユーザーのうちのいずれかが進入できない空間には、誰も進入できないように演出することができる。

空間更新部５５は、各クライアント装置２０から受信した物体の情報に基づいて仮想空間内に配置した各仮想オブジェクトの情報を、各クライアント装置２０に対して配信する。各クライアント装置２０の空間画像描画部５６は、空間更新部５５から受信した情報を用いて仮想空間内の様子を示す空間画像を描画し、表示装置２５に表示させる。このとき空間更新部５５は、表示される空間画像を閲覧するユーザーの頭部の位置を特定し、その位置をワールド座標系に変換した位置に仮想カメラを配置する。そして、配置した仮想カメラから仮想空間内を見た様子を示す空間画像を描画する。これにより各ユーザーは、離れた場所にいる他のユーザーと共有する仮想空間内の様子を閲覧できる。この空間画像には、他のユーザーを表すアバターが含まれ得る。

以下、情報処理システム１が実行する処理の流れの一例について、図５のフロー図を用いて説明する。

まず初期処理として、各クライアント装置２０の位置情報取得部５１は、ユーザーの周囲の物体の位置情報を取得する（Ｓ１）。そして、取得した位置情報を用いてそれぞれのローカル座標系における基準面の位置を特定する（Ｓ２）。特定した基準面の位置情報はサーバ装置１０に対して送信される（Ｓ３）。

サーバ装置１０の空間結合部５３は、Ｓ３で各クライアント装置２０から送信された基準面の位置情報を用いて、各クライアント装置２０のローカル座標系をワールド座標系に変換するための座標変換パラメータを決定する（Ｓ４）。前述したように空間結合部５３は、各クライアント装置２０から送信された基準面の位置が仮想空間内において一致するように、それぞれのクライアント装置２０が使用する座標変換パラメータを決定する。空間結合部５３は、Ｓ４で決定した座標変換パラメータを各クライアント装置２０に送信する（Ｓ５）。これにより初期処理が完了する。

これ以降、情報処理システム１は、各ユーザーの位置情報の取得、及び取得した位置情報に応じた仮想空間の更新を繰り返すこととする。具体的に、各クライアント装置２０の位置情報取得部５１は、少なくともユーザーの身体を含む現在の物体の位置情報を取得する（Ｓ６）。座標変換部５４は、Ｓ６で取得した位置情報をＳ５で受信した座標変換パラメータを用いてワールド座標系の位置座標に変換し（Ｓ７）、変換後の位置座標の情報をサーバ装置１０に送信する（Ｓ８）。

サーバ装置１０の空間更新部５５は、Ｓ８で各クライアント装置２０から受信した位置座標を用いて、仮想空間内に配置される仮想オブジェクトの情報を更新する（Ｓ９）。具体的に空間更新部５５は、少なくとも各ユーザーに対応するアバターの位置及び姿勢をＳ８で受信したユーザーの位置情報を用いて更新する。その後、空間更新部５５は、更新された仮想空間内の各仮想オブジェクトの位置情報を各クライアント装置２０に対して送信する（Ｓ１０）。

各クライアント装置２０の空間画像描画部５６は、Ｓ１０で受信した仮想オブジェクトの位置情報を用いて仮想空間内の様子を示す空間画像を描画し、表示装置２５に表示させる（Ｓ１１）。このＳ６からＳ１１までの処理を繰り返し実行することによって、それぞれ対応するユーザーの身体の動きを反映したアバターが複数存在する仮想空間の様子を各ユーザーに提示することができる。

以上説明した本発明の実施の形態によれば、各ユーザーがいる場所で特定された基準面を一致させるように決定された座標変換パラメータに従って座標変換を行うことで、各ユーザーは一つの仮想空間内で自身がいる場所の基準面を離れた場所にいる他のユーザーと共有することができる。これにより各ユーザーは、離れた場所にいる他のユーザーと同じ仮想空間を共有しつつ、仮想空間内で同じ物に触れて操作するようなインタラクションを実現できる。このような技術は、例えばリモート会議システムなどのように、机や壁を利用した複数人によるルームスケールのコミュニケーションに利用することができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、ステレオカメラ２６の撮像画像を用いてユーザーやユーザーの周囲に存在する基準面の位置を特定することとしたが、これに限らずクライアント装置２０は例えばＴＯＦ形式のセンサーなどを用いて現実空間内に存在する物体の位置を検出してもよい。また、表示装置２５に搭載されたカメラによって撮像された画像の動きに応じて、ＳＬＡＭ技術等を利用してユーザーの動きやユーザーの周囲に存在する物体の位置を特定してもよい。また、Patterned Stereoや、Structured Lightなどの技術を利用して物体の位置を検出してもよい。さらにクライアント装置２０は、現実空間に配置された複数のセンサーデバイスの検出結果を組み合わせてユーザーの位置や基準面の位置を特定してもよい。

また、以上の説明ではステレオカメラ２６の撮像画像を用いて特定された単位部分ごとにローカル座標系からワールド座標系への座標変換を行うこととしたが、これ以外の単位で座標変換を行うこととしてもよい。例えばクライアント装置２０はステレオカメラ２６の撮像画像を用いてユーザーの身体の骨格モデルを推定し、推定した骨格モデルを構成する特徴点の位置座標に対して座標変換を行ってもよい。

また、以上の説明においてクライアント装置２０が実行することとした処理の少なくとも一部は、サーバ装置１０によって実行されてもよい。一例として、ローカル座標系の位置座標からワールド座標系への座標変換をサーバ装置１０が実行してもよい。この場合、サーバ装置１０は座標変換パラメータを各クライアント装置２０に送信する必要はなくなる。逆に、以上の説明においてサーバ装置１０が実行することとした処理の少なくとも一部を、クライアント装置２０が実行してもよい。また、複数のクライアント装置２０のいずれか一つが以上の説明においてサーバ装置１０としても機能することとしてもよい。

１情報処理システム、１０サーバ装置、１１制御部、１２記憶部、１３通信部、２０クライアント装置、２１制御部、２２記憶部、２３通信部、２４インタフェース部、２５表示装置、２６ステレオカメラ、５１位置情報取得部、５２基準面特定部、５３空間結合部、５４座標変換部、５５空間更新部、５６空間画像描画部。

Claims

第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得する取得部と、
前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定する変換パラメータ決定部と、
を含み、
前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換される
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記第１の空間に存在する平面、及び前記第２の空間に存在する平面はいずれも水平面である
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記取得部は、前記第１の空間に存在する複数の平面の位置情報、及び前記第２の空間に存在する複数の平面の位置情報を取得し、
前記変換パラメータ決定部は、前記第１の空間に存在する複数の平面のそれぞれと、前記第２の空間に存在する複数の平面のそれぞれとが一致するように、前記座標変換パラメータを決定する
ことを特徴とする情報処理装置。
請求項３に記載の情報処理装置において、
前記取得部は、前記第１の空間に存在する第１の水平面、及び第１の鉛直面の位置情報と、前記第２の空間に存在する第２の水平面、及び第２の鉛直面の位置情報を取得し、
前記変換パラメータ決定部は、前記第１の水平面が前記第２の水平面と、前記第１の鉛直面が前記第２の鉛直面と、それぞれ一致するように、前記座標変換パラメータを決定する
ことを特徴とする情報処理装置。
請求項４に記載の情報処理装置において、
前記取得部は、前記第１の空間において前記第１の鉛直面に隣接する第１の隣接鉛直面の位置情報と、前記第２の空間において前記第２の鉛直面に隣接する第２の隣接鉛直面の位置情報とをさらに取得し、
前記変換パラメータ決定部は、前記第１の隣接鉛直面と前記第２の隣接鉛直面とがさらに一致するように、前記変換パラメータを決定する
ことを特徴とする情報処理装置。
請求項５に記載の情報処理装置において、
前記変換パラメータ決定部は、前記第１の隣接鉛直面と前記第１の鉛直面がなす角度と前記第２の隣接鉛直面と前記第２の鉛直面がなす角度とが一致する場合に、前記第１の隣接鉛直面と前記第２の隣接鉛直面とが一致するように前記変換パラメータを決定し、角度が一致しない場合には、前記第１の水平面と前記第２の水平面、及び前記第１の鉛直面と前記第２の鉛直面だけが一致するように前記座標変換パラメータを決定する
ことを特徴とする情報処理装置。
請求項４から６のいずれか一項に記載の情報処理装置において、
前記変換パラメータ決定部は、前記第１の鉛直面の前記第１のユーザー側の面と前記第２の鉛直面の前記第２のユーザー側の面とが互いに逆向きになるように、前記変換パラメータを決定する
ことを特徴とする情報処理装置。
請求項１から７のいずれか一項に記載の情報処理装置において、
前記第１の空間に存在する平面、及び前記第２の空間に存在する平面の双方に対応する基準面を含む仮想空間を構築する仮想空間構築部をさらに含み、
前記仮想空間構築部は、前記仮想空間内においてユーザーが移動可能な範囲を、前記第１の空間、及び前記第２の空間のうち狭い方の空間に応じた範囲に制限する
ことを特徴とする情報処理装置。
複数のクライアント装置とサーバ装置とを含む情報処理システムであって、
前記サーバ装置は、
前記複数のクライアント装置のそれぞれから、当該クライアント装置のユーザーの周囲の空間に存在する平面の位置情報を取得する平面位置取得部と、
前記複数のクライアント装置から取得した前記平面の位置が互いに一致するように、前記複数のクライアント装置のそれぞれを使用するユーザーの周囲の空間の位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定する変換パラメータ決定部と、
を含み、
前記複数のクライアント装置のそれぞれは、
当該クライアント装置を使用するユーザーの周囲の空間に存在する物体の位置座標を取得する物***置取得部と、
前記物体の位置座標を、前記座標変換パラメータに従って前記仮想空間内の位置に変換する座標変換部と、
を含むことを特徴とする情報処理システム。
第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得するステップと、
前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定するステップと、
を含み、
前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換される
ことを特徴とする情報処理方法。
第１のユーザーの周囲の第１の空間に存在する平面の位置情報、及び第２のユーザーの周囲の第２の空間に存在する平面の位置情報を取得するステップと、
前記第１の空間に存在する平面と前記第２の空間に存在する平面の位置を一致させるように、前記第１及び第２の空間それぞれの位置座標を仮想空間の位置座標に変換する座標変換パラメータを決定するステップと、
をコンピュータに実行させるためのプログラムであって、
前記決定された変換パラメータに従って前記第１及び第２の空間のそれぞれに存在する物体の位置が前記仮想空間内の位置に変換される
ことを特徴とするプログラム。