JP2018113616A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】仮想空間における複数のオブジェクトの配置を、当該仮想空間に対応する映像の再生に適応的に変更することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。【解決手段】デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に関する技術が各種開発されている。ＶＲでは、コンピュータによって生成された映像を、ユーザは臨場感高く視聴することができる。

例えば、下記特許文献１には、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）により測定された現実の位置情報に基づいて、当該ＨＭＤを装着するユーザに対応するキャラクタを仮想空間内にマッピングする技術が記載されている。また、下記特許文献２には、３６０度のＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）コンテンツをＨＭＤに表示させる技術が記載されている。

特開２０１４−１７７７６号公報 特開２０１６−１０５５９３号公報

しかしながら、仮想空間に対応する映像が再生される場面に特許文献１および特許文献２に記載の技術を適用することを想定すると、特許文献１および特許文献２に記載の技術では、当該映像の再生タイミングが変化しても、当該仮想空間における複数のオブジェクトの配置は変化しない。

そこで、本開示では、仮想空間における複数のオブジェクトの配置を、当該仮想空間に対応する映像の再生に適応的に変更することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、を備える、情報処理装置が提供される。

また、本開示によれば、デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置にプロセッサが変更すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、仮想空間における複数のオブジェクトの配置を、当該仮想空間に対応する映像の再生に適応的に変更することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による情報処理システムの構成例を示した説明図である。 同実施形態による映像制作装置２０による映像の撮影例を示した説明図である。 同実施形態による映像制作装置２０の構成例を示した機能ブロック図である。 同実施形態による再生装置３０の構成例を示した機能ブロック図である。 同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。 ある再生タイミングにおいて生成された仮想空間の一例を示した図である。 ある再生タイミングにおける仮想空間内に複数のアバタ―が配置される例を示した図である。 ある再生タイミングにおける仮想空間内に複数のアバタ―が配置される例を示した図である。 再生対象の映像から認識された水平面上に複数のアバタ―が配置される例を示した図である。 ある再生タイミングにおける仮想空間内に配置されるアバタ―の数が変更される例を示した図である。 再生装置３０による再生対象の映像の表示例を概略的に示した図である。 再生装置３０による再生対象の映像の表示例を概略的に示した図である。 再生対象の映像に関連する関連情報の表示例を示した図である。 仮想空間における各ユーザの視界を示す表示の一例を示した図である。 同実施形態による全体的な処理の流れを示したフローチャートである。 同実施形態による「シーン変化判定処理」の流れを示したフローチャートである。 同実施形態の応用例による情報処理システムの構成例を示した説明図である。 同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて映像制作装置２０ａおよび映像制作装置２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、映像制作装置２０ａおよび映像制作装置２０ｂを特に区別する必要が無い場合には、単に映像制作装置２０と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例

＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成例について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、映像制作装置２０、再生装置３０、および、通信網３２を有する。

＜１−１．映像制作装置２０＞
映像制作装置２０は、実空間の映像（動画など）を記録するための装置である。映像制作装置２０は、据え置き型の装置であってもよいし、携帯型の装置であってもよいし、または、自律移動型の装置であってもよい。

図１に示したように、映像制作装置２０は、複数の撮影部２２２を含み得る。撮影部２２２は、例えばカメラ（ＲＧＢカメラ）を含む。例えば、映像制作装置２０は、複数の撮影部２２２による撮影に基づいて、映像制作装置２０の全周囲（３６０度）の映像（例えば全天球映像など）を撮影することが可能である。

なお、複数の撮影部２２２の各々により例えば同時に撮影された映像に対して、後述する情報処理装置１０により所定の画像処理が行われることにより、映像制作装置２０の周囲のデプス情報が特定され得る。あるいは、映像制作装置２０は、デプスセンサ、または、レンジファインダをさらに含んでもよい。この場合、映像制作装置２０は、例えば複数の撮影部２２２による撮影と同時に、映像制作装置２０の全周囲のデプス情報を逐次測定することが可能である。ここで、デプス情報は、当該デプス情報に対応する映像の記録タイミングごとの、当該映像の記録時の視点の周囲のデプス値を示す情報であり得る。

例えば、図２に示したように、映像制作装置２０の全周囲４に複数のオブジェクト４０が配置されているとする。この場合、映像制作装置２０に含まれる複数の撮影部２２２による撮影に基づいて、映像制作装置２０の全周囲の映像データと、全周囲のデプス値とがフレームごとに取得され得る。ここで、複数のオブジェクト４０は、基本的に、実オブジェクトであり得る。但し、かかる例に限定されず、複数のオブジェクト４０は、仮想オブジェクトを含んでもよい。この場合、実空間の位置情報と関連付けて仮想オブジェクトが予め登録され得る。そして、映像制作装置２０の全周囲４内の位置情報に関連付けられている個々の仮想オブジェクトに関して、当該仮想オブジェクトの色情報、および、映像制作装置２０からの当該仮想オブジェクトのデプス値が例えば映像制作装置２０により取得され得る。

ここで、図３を参照して、映像制作装置２０の機能構成例について説明する。図３に示したように、映像制作装置２０は、制御部２００、通信部２２０、撮影部２２２、および、入力部２２４を含む。

｛１−１−１．制御部２００｝
制御部２００は、映像制作装置２０に内蔵される例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを用いて、映像制作装置２０の動作を統括的に制御する。また、図３に示すように、制御部２００は、メタ情報生成部２０２を有する。

｛１−１−２．メタ情報生成部２０２｝
メタ情報生成部２０２は、後述する撮影部２２２により撮影される映像に関連付けてメタ情報を生成する。例えば、メタ情報生成部２０２は、撮影部２２２により撮影された映像に関して、ユーザ（制作者など）により指定された関連情報を含むようにメタ情報を生成する。なお、当該関連情報は、後述する入力部２２４を介してユーザにより入力されてもよいし、または、他の装置（図示省略）から通信網３２を介して受信されてもよい。

ここで、当該関連情報は、例えば、ユーザにより指定された、映像の再生タイミングごとの、映像制作装置２０の周囲の空き空間の情報（広さなど）を含み得る。詳細については後述するが、当該映像を視聴する各ユーザに対応するオブジェクト（アバタ―など）が当該空き空間内に配置され得る。

また、当該関連情報は、ユーザにより指定された、撮影された映像におけるシーン変化のタイミングの情報を含み得る。また、当該関連情報は、当該シーン変化のタイミングにおけるオブジェクトの配置に関する設定（例えば複数のオブジェクトの隊列に関する指定や、配置されるオブジェクトの数に関する指定など）をさらに含んでもよい。ここで、シーン変化のタイミングは、当該映像中のシーンが切り替わるタイミングであり得る。なお、制作者は、映像中の任意のタイミングをシーン変化のタイミングとして設定することができる。例えば、映像制作装置２０の周囲の空き空間が広い場合であっても、制作者は、所望のタイミングをシーン変化のタイミングとして設定することができる。一例として、当該空き空間が広いタイミングであっても、制作者は、当該映像を視聴するユーザが孤立している状況を演出したいタイミングをシーン変化のタイミングとして設定してもよい。

｛１−１−３．通信部２２０｝
通信部２２０は、他の装置との間で情報の送受信を行う。例えば、通信部２２０は、制御部２００の制御に従って、複数の撮影部２２２により撮影された映像、および、当該映像に関連付けられるメタ情報などを情報処理装置１０へ送信する。なお、複数の撮影部２２２により撮影される映像、および、メタ情報のフォーマットに関しては特に限定されず、任意のフォーマットが採用され得る。

｛１−１−４．撮影部２２２｝
撮影部２２２は、カメラ（ＲＧＢカメラ）を含んで構成され得る。撮影部２２２は、動画などの映像を撮影する。例えば、撮影部２２２は、当該カメラに含まれるレンズを介して、当該カメラに含まれる撮像素子に集光することにより、映像を撮影する。

｛１−１−５．入力部２２４｝
入力部２２４は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。入力部２２４は、ユーザの各種の入力を受け付ける。例えば、入力部２２４は、ユーザによる、前述した関連情報の入力を受け付ける。

＜１−２．情報処理装置１０＞
情報処理装置１０は、映像制作装置２０から受信される映像やメタ情報などを管理するための装置である。この情報処理装置１０は、例えばサーバである。但し、かかる例に限定されず、情報処理装置１０は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、例えばＨＭＤなどのウェアラブルデバイス、または、ロボットなどであってもよい。なお、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置１０の機能が実現されてもよい。

例えば、情報処理装置１０は、受信された映像、および、メタ情報を関連付けて管理する。また、情報処理装置１０は、受信された映像に対応するデプス情報をさらに関連付けて管理し得る。なお、前述したように、情報処理装置１０は、映像制作装置２０から受信される映像（例えば、複数の撮影部２２２の各々により同時に撮影された映像）に対して所定の画像処理を行うことにより、当該映像に対応するデプス情報を特定することも可能である。あるいは、当該デプス情報は、映像の撮影と同時に映像制作装置２０に含まれる所定のセンサによりセンシングされた情報であってもよい。

また、情報処理装置１０は、映像制作装置２０から受信された映像のうち再生対象の映像を、当該映像の視聴を希望する複数のユーザの各々が利用する再生装置３０に表示させることが可能である。これにより、複数のユーザは、当該映像を例えば同時に視聴することができる。ここで、複数のユーザは、実空間内で隣り合って位置していてもよいし、または、それぞれ遠隔して位置してもよい。

ここで、再生対象の映像は、例えば、後述する映像ＤＢ１２４に登録されている映像のうち、再生装置３０から受信される再生要求に対応する映像であり得る。

また、再生対象の映像は、例えば全天球映像であり得る。また、再生対象の映像は、自由視点映像であってもよい。ここで、自由視点映像は、映像制作装置２０に含まれる複数の撮影部２２２により撮影された映像に基づいて生成される三次元の仮想空間における、自由な視点からの映像を提示するデータであり得る。例えば、自由視点映像は、当該三次元の仮想空間において、視点を仮想的に自由に動かした際の当該視点からの当該仮想空間の映像を提示するデータであり得る。

＜１−３．再生装置３０＞
再生装置３０は、例えば、情報処理装置１０から受信される映像などを表示するための装置である。例えば、再生装置３０は、再生装置３０に対するユーザの入力に基づいて、映像の再生要求を情報処理装置１０へ送信する。そして、再生装置３０は、情報処理装置１０から受信される映像を表示する。

この再生装置３０は、図１に示したように、例えば、ＨＭＤなどの頭部装着型デバイスであり得る。例えば、再生装置３０は、遮蔽型のＨＭＤであってもよいし、透過型のＨＭＤであってもよい。あるいは、再生装置３０は、３Ｄプロジェクタであり、そして、当該３Ｄプロジェクタにより投影対象（例えば壁やスクリーンなど）に対して映像が投影されてもよい。なお、以下では、再生装置３０が頭部装着型デバイスである例を中心として説明を行う。

ここで、図４を参照して、再生装置３０の機能構成例について説明する。図４に示したように、再生装置３０は、制御部３００、通信部３２０、センサ部３２２、表示部３２４、および、入力部３２６を含む。

｛１−３−１．制御部３００｝
制御部３００は、再生装置３０に内蔵される例えばＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、および、ＲＡＭなどを用いて、再生装置３０の動作を統括的に制御する。例えば、制御部３００は、情報処理装置１０から受信される映像を表示部３２４に表示させる。一例として、情報処理装置１０から全天球映像が受信される場合には、制御部３００は、当該全天球映像のうち、後述するセンサ部３２２によりセンシングされた、再生装置３０（またはユーザなど）の位置および姿勢の情報に対応する部分の映像を表示部３２４に表示させる。

また、後述する表示部３２４が右目用表示部３２４ａおよび左目用表示部３２４ｂを有する場合には、制御部３００は、情報処理装置１０から受信される映像に基づいて右目用画像および左目用画像を生成し、そして、右目用画像を右目用表示部３２４ａに表示させ、かつ、左目用画像を左目用表示部３２４ｂに表示させてもよい。これにより、立体視映像をユーザに視聴させることができる。

また、制御部３００は、センサ部３２２によるセンシング結果に基づいて各種の認識処理を行うことが可能である。例えば、制御部３００は、再生装置３０を装着するユーザの行動（例えば、ユーザのジェスチャやユーザの移動など）を当該センシング結果に基づいて認識する。

｛１−３−２．通信部３２０｝
通信部３２０は、他の装置との間で情報の送受信を行う。例えば、通信部３２０は、制御部３００の制御に従って、映像の再生要求を情報処理装置１０へ送信する。また、通信部３２０は、再生対象の映像を情報処理装置１０から受信する。

｛１−３−３．センサ部３２２｝
センサ部３２２は、例えば、カメラ（イメージセンサ）、デプスセンサ、マイクロフォン、加速度センサ、ジャイロスコープ、地磁気センサ、および／または、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などを含み得る。例えば、センサ部３２２は、実空間における再生装置３０の位置（または、再生装置３０を使用するユーザの位置）、再生装置３０の姿勢、または、加速度などをセンシングする。また、センサ部３２２は、再生装置３０の周囲のデプス情報をセンシングすることも可能である。

｛１−３−４．表示部３２４｝
表示部３２４は、制御部３００の制御に従って、映像を表示する。例えば、表示部３２４は、右目用表示部３２４ａおよび左目用表示部３２４ｂを有し得る。この場合、右目用表示部３２４ａは、再生装置３０に含まれる右目用レンズの少なくとも一部の領域を投影面として映像を投影し、かつ、左目用表示部３２４ｂは、再生装置３０に含まれる左目用レンズの少なくとも一部の領域を投影面として映像を投影する。または、再生装置３０がゴーグル型レンズを有する場合には、表示部３２４は、当該ゴーグル型レンズの少なくとも一部の領域を投影面として映像を投影し得る。なお、左目用レンズおよび右目用レンズ（またはゴーグル型レンズ）は、例えば樹脂やガラスなどの透明材料により形成され得る。

または、表示部３２４は、非透過型の表示装置として構成され得る。例えば、表示部３２４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを含んで構成され得る。なお、この場合、センサ部３２２（カメラ）により撮影される、ユーザの前方の映像が表示部３２４に逐次表示されてもよい。これにより、ユーザは、当該表示部に表示される映像を介して、ユーザの前方の風景を見ることができる。

｛１−３−５．入力部３２６｝
入力部３２６は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。入力部３２６は、ユーザの各種の入力を受け付ける。詳細については後述するが、再生対象の映像に対応する仮想空間内に、再生装置３０を装着するユーザに対応するアバタ―が配置され得る。この場合、入力部３２６は、当該アバタ―の配置位置を変更させるためのユーザの入力を受け付け得る。

＜１−４．通信網３２＞
通信網３２は、通信網３２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜１−５．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、カメラの全方向（３６０度）を撮影した映像（例えば全天球映像など）を表示するための技術が各種開発されている。この技術によれば、ユーザは、全天球映像を視聴することにより、当該映像の撮影時のカメラの全周囲を見ることができる。

また、全天球映像を複数のユーザが同時に視聴可能とし、かつ、同時に視聴している複数のユーザの各々に対応するオブジェクト（例えばアバタ―など）を全天球映像に重畳して表示する技術も提案されている。この技術によれば、全天球映像の視聴時に、ユーザは周りを見回すことにより、他のユーザが当該映像を同時に視聴していることを知ることができる。

しかしながら、公知の技術では、視聴者のアバタ―が全天球映像内で不適切に表示され得る。例えば非常に狭い空間をユーザがすり抜けるようなシーンでは、各ユーザに対応するアバタ―を単に表示する（例えば横一列に表示するなど）と、これらのアバタ―が当該映像内の例えば壁などのオブジェクトにめり込んで表示されるなど、映像が破たんし得る。

そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。本実施形態による情報処理装置１０は、情報処理装置１０は、再生対象の映像に対応する仮想空間における、複数のユーザの各々に対応するアバタ―の配置を、当該映像の再生に応じて変更することが可能である。このため、映像を視聴する各ユーザに対応するアバタ―の配置を、映像の再生に応じて適切に変更することが可能である。ここで、アバタ―は、本開示におけるオブジェクトの一例である。また、アバタ―は、基本的には、三次元の仮想オブジェクトである。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
次に、本実施形態による構成について詳細に説明する。図５は、本実施形態による情報処理装置１０の構成例を示した機能ブロック図である。図５に示すように、情報処理装置１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。

｛２−１−１．制御部１００｝
制御部１００は、例えば、後述するＣＰＵ１５０やＧＰＵなどの処理回路を含んで構成され得る。制御部１００は、情報処理装置１０の動作を統括的に制御する。また、図５に示すように、制御部１００は、登録部１０２、特定部１０４、変更部１０６、および、表示制御部１０８を有する。

｛２−１−２．登録部１０２｝
登録部１０２は、映像制作装置２０から受信される映像およびメタ情報などを映像ＤＢ１２４に登録する。例えば、登録部１０２は、映像が映像制作装置２０から取得される度に、当該映像、および、当該映像に関連付けられるデプス情報を映像ＤＢ１２４に追加登録する。なお、映像ＤＢ１２４は、例えば映像、デプス情報、および、メタ情報が関連付けて格納されるデータベースである。

｛２−１−３．特定部１０４｝
（２−１−３−１．空き空間の情報の特定）
‐特定例１
特定部１０４は、例えば再生対象の映像の再生時に、当該映像の再生タイミングごとの、当該映像の記録時の視点の周囲の空き空間の情報（空き空間の広さや範囲など）を特定する。例えば、特定部１０４は、再生対象の映像の再生タイミングごとの当該空き空間の情報を、当該映像に関連付けられているデプス情報に基づいて特定する。

一例として、特定部１０４は、まず、再生対象の映像に関連付けて映像ＤＢ１２４に格納されているデプス情報を抽出する。そして、特定部１０４は、当該再生対象の映像の再生タイミングごとに、当該映像に対応する三次元の仮想空間を、抽出したデプス情報に基づいて生成し、そして、当該映像の記録時の視点の周囲の空き空間を当該三次元の仮想空間に基づいて特定する。

ここで、図６を参照して、上記の機能についてより詳細に説明する。図６は、再生対象の映像の、ある再生タイミングに対応する仮想空間の一例（仮想空間４２）を示した上面図である。図６に示したように、当該再生タイミングにおける、撮影時の映像制作装置２０の全周囲に位置する個々の実オブジェクトに対応する仮想オブジェクト４０が仮想空間４２内に配置され得る。なお、当該映像に関連付けられているデプス情報に基づいて、個々の実オブジェクトの位置は特定され得る。この場合、特定部１０４は、仮想空間４２内の個々の仮想オブジェクト４０と、仮想空間４２における当該映像の撮影時の映像制作装置２０の位置との距離を算出することにより、図６に示したように、当該撮影時の視点の周囲の空き空間５２を特定する。

‐特定例２
または、再生対象の映像に関連付けられているメタ情報内に、例えば再生タイミングごとの、当該映像の記録時の視点の周囲の空き空間の情報が（例えば制作者により）予め登録されている場合には、特定部１０４は、当該映像の再生タイミングごとの当該空き空間の情報を当該メタ情報に基づいて特定することも可能である。

（２−１−３−２．シーン変化のタイミングの特定）
‐特定例１
また、特定部１０４は、例えば映像の再生時に、再生対象の映像の再生タイミングごとに特定した空き空間の情報に基づいて、当該映像に関するシーン変化のタイミングを特定することが可能である。例えば、特定部１０４は、再生対象の映像を視聴している複数のユーザの各々に対応するアバタ―のサイズと、当該複数のアバタ―の現在の配置（例えば隊列など）と、再生タイミングごとの空き空間の情報とに基づいて、当該映像に関するシーン変化のタイミングを特定する。

例えば、特定部１０４は、映像の再生に応じて、当該空き空間の情報が示す空き空間内に当該複数のアバタ―の現在の隊列が収まるか否かを再生タイミングごとに判定する。そして、当該空き空間内に当該複数のアバタ―の現在の隊列が収まらないと判定する度に、特定部１０４は、当該タイミングをシーン変化のタイミングとして逐次特定する。

ここで、図７および図８を参照して、上記の機能についてより詳細に説明する。図７は、再生対象の映像の、ある再生タイミングにおける仮想空間の例（仮想空間４２）、および、当該再生タイミング以前の、複数のアバタ―５４の隊列の一例（隊列６０）を示した図である。なお、図７では、当該映像を視聴している２人のユーザの各々に対応するアバタ―５４の現在の隊列６０が、各アバタ―５４が横一列に並ぶ隊列である例を示している。図７に示した例では、特定部１０４は、複数のアバタ―５４の現在の隊列６０に対応するサイズと、（図７に示した再生タイミングにおける）空き空間５２ａのサイズとを比較することにより、現在の隊列６０が空き空間５２ａ内に収まると判定する。そして、特定部１０４は、図７に示した再生タイミングをシーン変化のタイミングではないと判定する。

また、図８は、図７に示した例とは異なる再生タイミングにおける仮想空間の例（仮想空間４２）、および、当該再生タイミング以前の、複数のアバタ―５４の隊列の一例（隊列６０）を示した図である。図８に示した例では、現在の隊列６０に対応する空間の一部が（図８に示した再生タイミングにおける）空き空間５２ｂからはみ出るので、特定部１０４は、現在の隊列６０が空き空間５２ｂ内に収まらないと判定する。そして、特定部１０４は、図８に示した再生タイミングをシーン変化のタイミングであると判定する。

‐特定例２
または、再生対象の映像に関連付けられているメタ情報内にシーン変化のタイミングの情報が（例えば制作者などにより）予め登録されている場合には、特定部１０４は、当該メタ情報が示すシーン変化のタイミングを、当該映像におけるシーン変化のタイミングとしてそのまま特定することも可能である。

｛２−１−４．変更部１０６｝
（２−１−４−１．アバタ―の配置）
変更部１０６は、再生対象の映像に対応する仮想空間内に、当該映像を視聴している複数のユーザの各々に対応するアバタ―を配置する。例えば、変更部１０６は、特定部１０４により特定される空き空間内に、当該複数のユーザの各々に対応するアバタ―を配置する。

ここで、空き空間は、水平面（例えば地面や床面など）上の空間であってもよい。例えば、特定部１０４は、再生対象の映像に対する所定の画像処理（または、当該映像に関連付けられているデプス情報）に基づいて水平面を認識し、そして、認識された水平面上の空間を空き空間として特定してもよい。この場合、変更部１０６は、例えば図９に示したように、特定部１０４により認識された水平面７４上に各ユーザに対応するアバタ―５４を配置してもよい。また、変更部１０６は、例えば各ユーザが位置する実空間内での各ユーザの行動（移動など）の認識結果に応じて、各ユーザに対応するアバタ―５４の、水平面７４上での配置位置を変更してもよい。これにより、アバタ―５４が水平面７４上を歩いているような映像表現を実現することができる。その結果、例えば、再生装置３０（の表示部３２４）に表示される全天球映像５０内で、ユーザ同士が臨場感高くコミュニケーションを行うことができる。

‐変形例
なお、変形例として、変更部１０６は、特定部１０４により特定される空き空間内の所定の空間にはアバタ―を配置しないことも可能である。ここで、所定の空間は、例えば床や地面における穴など、人間が位置するのが不自然な場所であり得る。

（２−１−４−２．アバタ―の隊列の変更）
また、変更部１０６は、再生対象の映像に対応する仮想空間内の、複数のユーザの各々に対応するアバタ―の表示に関する設定を、当該映像の再生に応じて動的に変更する。例えば、変更部１０６は、当該再生対象の映像の再生タイミングごとに、（当該再生タイミングにおける）空き空間の情報と、当該複数のユーザの各々に対応するアバタ―とに応じて、当該複数のユーザの各々に対応するアバタ―の現在の配置（隊列など）を別の配置（隊列など）に変更する。ここで、「現在の配置」は、本開示における第１の配置の一例である。また、「別の配置」は、本開示における第２の配置の一例である。

例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定された際には、変更部１０６は、現在の再生タイミングにおける空き空間の情報が示す空き空間内に、当該複数のユーザの各々に対応するアバタ―が収まるように、当該複数のアバタ―の現在の隊列を別の隊列に変更する。一例として、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定される度に、変更部１０６は、現在の再生タイミングにおける空き空間の情報が示す空き空間内に、当該複数のユーザの各々に対応するアバタ―が収まるように、当該複数のアバタ―の現在の隊列を別の隊列に逐次変更する。または、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定された際には、変更部１０６は、現在の再生タイミングにおける空き空間の情報が示す空き空間内に、当該複数のユーザの各々に対応するアバタ―が収まるように、当該複数のアバタ―のうちの少なくとも一つの向き（姿勢など）を変更することも可能である。

例えば、図７に示した例（つまり、現在の再生タイミングがシーン変化のタイミングではないと特定部１０４により判定される場合）では、変更部１０６は、（図７に示した）複数のアバタ―５４の現在の隊列６０を変更しない。なお、この場合、当該映像の再生時（表示時）の視点位置は、当該映像の撮影時の映像制作措置２０の位置と同一であってもよい。または、例えば当該映像が自由視点映像である場合などには、当該視点位置は、（当該映像を視聴する）ユーザごとに、仮想空間４２における、当該ユーザに対応するアバタ―５４の配置位置であってもよい。また、当該視点位置は、例えばユーザの指示などに基づいて仮想空間４２内の任意の位置に変更可能であってもよい。

また、図８に示した例（つまり、シーン変化のタイミングであると特定部１０４により判定される場合）では、変更部１０６は、複数のアバタ―５４の現在の隊列６０を、空き空間５２ｂ内に収まるように、例えば図８に示した縦方向の一列の隊列に変更する。なお、この場合、当該映像の再生時（表示時）の視点位置は、当該映像の撮影時の映像制作措置２０の位置であってもよいし、または、（当該映像を視聴する）ユーザごとに、仮想空間４２における、当該ユーザに対応するアバタ―５４の配置位置であってもよい。または、複数のユーザの当該視点位置が、（図８に示した）縦一列に配置されている複数のアバタ―５４のうちの先頭のアバタ―５４ａの配置位置となってもよい。これにより、先頭のアバタ―５４ａの後ろに配置されたアバタ―５４ｂに対応するユーザの視界がアバタ―５４ａにより遮られることを回避することができる。または、アバタ―５４ごとの身長が異なる場合、先頭からアバタ―５４の身長が低い順に自動的に各視点位置が設定されても良い。

なお、縦方向の一列の隊列を採用している間にも、仮想空間４２内においてユーザ間でコミュニケーションが行われる可能性がある。単一のアバタ―５４ａの配置位置に対し複数のユーザの視点位置が割り振られる場合は、このコミュニケーションを適切に成立させるためにユーザ間の音声方向及び動作方向（視線方向、顔の方向、体の方向等）を補正することが望ましい。この補正制御の具体例を、ユーザＡとユーザＢの二人が映像を視聴している際に縦方向の一列の隊列が採用されたとの仮定に基づいて以下に説明する。

上記仮定において、ユーザＡはユーザＢが後方に位置すると認識し得る。このため、ユーザＡがユーザＢに声を掛ける場合、実空間においてユーザＡは後方に振り返りつつ後方に向けて声を発すると考えられる。一方、ユーザＢから視た仮想空間４２においては、ユーザＡはユーザＢの後方に位置するため、実空間におけるユーザＡの音声方向及び動作方向をそのままユーザＢの仮想空間４２に反映すると、誰も居ない後方空間に向かってユーザＡが声を掛けているようにユーザＢに認識されてしまう。このコミュニケーションの破たんは、ユーザＢがユーザＡに声を掛ける場合にも同様に起こりうる。

上記仮想空間４２内における音声方向及び動作方向に関するコミュニケーションの破たんを回避あるいは抑制するために、以下のように各ユーザＡ、Ｂに対し提供される仮想空間４２が補正されることが望ましい。まず、ユーザＡがユーザＢに声を掛ける場合、ユーザＡの仮想空間４２においてはユーザＡの音声方向及び動作方向を補正することなく反映する。そして、ユーザＡの仮想空間４２におけるユーザＢの音声方向及び動作方向は、ユーザＢの実空間の音声方向及び動作方向の変化に関わらずユーザＡに向かう方向に実質的に固定する。他方、ユーザＢの仮想空間４２においても、ユーザＡの仮想空間４２における処理と同様の補正制御を行う。このような補正制御を採用することで、ユーザＡ、ユーザＢの双方が先頭の配置位置で映像の視聴を継続しつつ、コミュニケーションの破たんを回避あるいは抑制することができる。換言すれば、各ユーザの仮想空間４２において、後方のアバタ―５４ｂの音声方向及び動作方向を先頭のアバタ―５４ａに向けて固定すれば良い。

なお、上記仮定においては二人のユーザＡ、Ｂが視聴しているケースについて説明したが、ユーザが３名以上の場合においても同様の処理を適用できる。具体的には、各ユーザの仮想空間４２において、アバタ―５４ｂの音声方向及び動作方向を全て先頭のアバタ―５４ａに向けて固定すれば良い。

‐変形例
なお、変形例として、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定された際には、変更部１０６は、（図８に示したような、複数のアバタ―５４の隊列を水平面内で変更する代わりに）仮想空間４２における垂直方向（高さ方向）に各アバタ―５４が並ぶように現在の隊列を変更してもよい。または、変更部１０６は、例えば複数のアバタ―５４の並び方を変えずに、複数のアバタ―５４が互いに一部（または全部）重なるように現在の隊列を変更（圧縮）してもよい。

（２−１−４−３．アバタ―の数の変更）
また、変更部１０６は、再生対象の映像を視聴している複数のユーザの各々に対応するアバタ―のうち、当該映像に対応する仮想空間内に配置されるアバタ―の数を、当該映像の再生タイミングごとの空き空間の情報に応じて変更することも可能である。例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定された際には、変更部１０６は、当該仮想空間内に配置されるアバタ―の数を、当該タイミングにおける空き空間の情報に応じて変更する。

例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定された際には、変更部１０６は、当該映像を視聴している複数のユーザのうち所定の条件を満たすユーザに対応するアバタ―（または、所定の条件を満たすアバタ―）のみが当該仮想空間内に配置されるように、当該仮想空間内に配置されるアバタ―の数を変更してもよい。

ここで、所定の条件は、例えば変化後のシーンに応じた条件であってもよい。例えば、変更部１０６は、大人もしくは子どものユーザに対応するアバタ―のみを当該仮想空間内に配置してもよい。また、変更部１０６は、当該タイミングにおいて笑顔であるユーザに対応するアバタ―のみを当該仮想空間内に配置してもよい。また、変更部１０６は、服装の色が赤色であるユーザに対応するアバタ―のみを当該仮想空間内に配置してもよい。また、変更部１０６は、当該複数のユーザの各々に関して、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）上での当該ユーザとの親密度が所定の値以上である他のユーザ（および当該ユーザ）のみを当該仮想空間内に配置してもよい。すなわち、類似または同一の属性情報、または関連する属性情報を有するユーザ同士をグルーピングし、シーン変化のタイミングに応じてグルーピングされたユーザのみが表示されるようにアバターの配置が変更されても良い。これらの例によれば、配置対象のアバタ―がシーンに応じて適切に選択されるので、ユーザ間のコミュニケーションが広がったり、盛り上がることが期待できる。

ここで、図１０を参照して、上記の機能についてより詳細に説明する。図１０は、図８に示した例と同じ再生タイミングにおける仮想空間の例（仮想空間４２）を示した図である。つまり、（図８に示した例と同様に）特定部１０４は、図１０に示した再生タイミングはシーン変化のタイミングであると判定し得る。そこで、変更部１０６は、図１０に示したように、仮想空間４２内に配置されるアバタ―の数を、例えば現在の隊列６０のままで空き空間５２ｃ内に収まる最も多いアバタ―の数（つまり「１」）に変更してもよい。なお、この場合、再生対象の映像を視聴しているユーザごとに、当該ユーザ本人に対応するアバタ―のみが当該仮想空間内に継続して配置され得る。

なお、例えば当該空き空間の情報が示す空き空間内に一人のアバタ―も配置不可能である場合などには、変更部１０６は、全てのユーザに対応するアバタ―を配置対象外として決定してもよい。つまり、この場合、変更部１０６は、当該映像を視聴している各ユーザに関して、（他のユーザに対応するアバタ―だけでなく）当該ユーザ本人に対応するアバタ―も配置対象外として決定し得る。

‐変形例
または、当該シーン変化のタイミングと関連付けて制作者により設定された条件がメタ情報内に登録されている場合には、当該所定の条件は、当該メタ情報内に登録されている条件であってもよい。例えば、当該映像を視聴しているユーザが孤立している感覚を制作者が演出したい場合などには、ユーザ本人に対応するアバタ―のみを配置させることが当該メタ情報内に登録され得る。

（２−１−４−４．表示態様の変更）
‐アバタ―の変更例１
また、変更部１０６は、再生対象の映像に対応する仮想空間内に配置される一以上のアバタ―の表示態様を動的に変更することも可能である。例えば、変更部１０６は、当該仮想空間内に配置される複数のアバタ―の表示態様を、当該映像を視聴しているユーザの数に応じて変更してもよい。一例として、映像の再生時において、当該映像を視聴している各ユーザに対応するアバタ―の現在の配列が空き空間に収まらない場合などには、変更部１０６は、当該空き空間から例えば一時的にはみ出るアバタ―の表示態様を変更してもよい。例えば、変更部１０６は、当該空き空間からはみ出るアバタ―を半透過で表示させたり、ワイヤフレームで表示させるように設定を変更してもよい。これにより、例えばアバタ―の現在の隊列を変更しなくても、映像が大きく破たんすることを回避することができる。

‐アバタ―の変更例２
また、例えば、再生対象の映像を視聴している各ユーザに対応する全てのアバタ―のうちの一部が空き空間内に収まらない場合には、変更部１０６は、配置対象のアバタ―が当該空き空間内に収まるように当該配置対象のアバタ―の数を減らすとともに、当該配置対象のアバタ―の各々が、複数のユーザに対応していることをそれぞれ示すように、個々のアバタ―の表示態様を変更してもよい。例えば、この場合、変更部１０６は、まず、当該配置対象のアバタ―の各々と複数のユーザとをそれぞれ関連付ける。そして、変更部１０６は、個々のアバタ―に対応する複数のユーザのうち代表のユーザに対応するアバタ―を通常の表示サイズで表示させるとともに、当該代表のユーザ以外の他のユーザに対応するアバタ―が当該アバタ―の後ろに位置しているような表示態様（例えば、影など）で当該アバタ―を表示させる。なお、この場合、再生対象の映像の再生時の視点位置は、当該映像を視聴するユーザごとに、当該ユーザを含むグループの代表のユーザに対応するアバタ―の配置位置に設定されてもよい。

または、この場合、変更部１０６は、再生対象の映像を視聴している全てのユーザの各々に対応するアバタ―が全て当該空き空間内に収まるように各アバタ―のサイズを小さくしてもよい。または、この場合、変更部１０６は、当該映像を視聴している全てのユーザの各々に対応するアバタ―の全部または一部のアバタ―を三次元のオブジェクトから二次元のオブジェクト（平面など）へと変更してもよい。これにより、アバタ―のサイズを縮小することができる。

‐アバタ―の変更例３
また、例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部１０４により特定される度に、変更部１０６は、当該タイミングにおけるシーンに応じて、個々のアバタ―の表示態様を逐次変更してもよい。例えば、変更部１０６は、当該タイミングにおけるシーンに応じて、個々のアバタ―の衣装を変更したり、個々のアバタ―をデコレーションしたり、また、個々のアバタ―の表示サイズを変更してもよい。例えば、当該タイミングにおけるシーンが「海」の映像を含む場合には、変更部１０６は、個々のアバタ―の衣装を水着に変更してもよい。また、当該タイミングにおけるシーンが「人物がダンスをしている映像」を含む場合には、変更部１０６は、個々のアバタ―の衣装をダンス衣装に変更してもよい。また、当該タイミングにおけるシーンが「城の内部」の映像を含む場合には、変更部１０６は、個々のアバタ―の衣装をスーツやドレスに変更してもよい。

‐アバタ―に関連するオブジェクトの変更
また、変更部１０６は、各ユーザに対応するアバタ―に関連するオブジェクトの表示態様を、再生対象の映像の再生に応じて変更してもよい。例えば、図１１に示したように、各アバタ―５４が座っている椅子５６が当該アバタ―５４とともに表示される場合には、変更部１０６は、再生対象の映像の再生に応じて、椅子５６の表示態様を変更してもよい。例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであり、かつ、当該タイミングにおけるシーンが「森」の映像を含む場合には、変更部１０６は、椅子５６を切り株に変更してもよい。また、当該タイミングにおけるシーンが「洞窟」の映像を含む場合には、変更部１０６は、椅子５６を石に変更してもよい。

｛２−１−５．表示制御部１０８｝
（２−１−５−１．映像の表示制御）
表示制御部１０８は、再生装置３０に対して再生対象の映像の表示を制御する。例えば、表示制御部１０８は、変更部１０６により決定された、当該映像に対応する仮想空間内のアバタ―の配置（位置や姿勢など）に応じて、再生対象の映像に当該アバタ―を重畳させて表示させる。一例として、表示制御部１０８は、再生対象の映像を視聴する各ユーザに関して、再生タイミングごとに、所定の視点位置からの、当該映像に対応する仮想空間の映像を、当該ユーザが装着する再生装置３０に表示させる。ここで、所定の視点位置は、前述したように、当該ユーザに対応するアバタ―の、当該仮想空間における配置位置であってもよい。

図１１および図１２は、再生装置３０による再生対象の映像の表示例（映像５０）を概略的に示した図である。なお、図１１および図１２では、映像５０が全天球映像である例を示している。また、図１１および図１２では、映像５０を３人のユーザが視聴している場面の例を示している。また、図１１では、当該３人のユーザの各々に対応するアバタ―５４が横一列に並ぶような隊列６０で、（映像５０に対応する仮想空間内の）空き空間５２内に配置されることが変更部１０６により決定された例を示している。この場合、表示制御部１０８は、図１１に示したように、変更部１０６により配置された各アバタ―５４の映像を映像５０ｂに重畳させて、当該３人のユーザの各々が装着する再生装置３０に表示させる。

また、図１２では、当該３人のユーザの各々に対応するアバタ―５４が縦一列に並ぶような隊列６０で、（映像５０に対応する仮想空間内の）空き空間５２内に配置されることが変更部１０６により決定された例を示している。この場合、表示制御部１０８は、図１２に示したように、変更部１０６により配置された各アバタ―５４の映像を映像５０に重畳させて、当該３人のユーザの各々が装着する再生装置３０に表示させる。これにより、例えば狭い場所をユーザが通り抜けるようなシーンであっても、各ユーザに対応するアバタ―５４を映像５０に重畳させて表示させつつ、映像５０の破たんを回避することができる。なお、図１１および図１２では、個々のアバタ―５４とともに、個々のアバタ―５４が座っている椅子５６を表示させる例を示しているが、かかる例に限定されず、椅子５６は表示されなくてもよい。

‐変形例
なお、変形例として、表示制御部１０８は、各ユーザの指定に基づいて、各ユーザが装着する再生装置３０に対する表示を制御することも可能である。例えば、他のユーザ２ｂに対応するアバタ―（例えば隣に位置するアバタ―など）を非表示にするようにユーザ２ａが指定した場合には、表示制御部１０８は、ユーザ２ｂに対応するアバタ―を、当該ユーザ２ａが装着する再生装置３０には表示させないように制御してもよい。

（２−１−５−２．関連情報の表示制御）
‐空き空間の範囲の表示
また、表示制御部１０８は、再生対象の映像の表示時に、さらに、当該映像に関連する関連情報を、当該映像を視聴している複数のユーザの各々が装着している再生装置３０に表示させることも可能である。例えば、映像の再生時において、表示制御部１０８は、図１３に示したように、現在の再生タイミングにおける空き空間の範囲を示す表示７０を当該映像５０に重畳させて表示させる。また、図１３に示したように、表示制御部１０８は、当該空き空間の範囲内で映像を視聴することをユーザに促すメッセージ７２を当該映像５０にさらに重畳させて表示させてもよい。

‐コミュニケーションに応じた表示
また、表示制御部１０８は、再生対象の映像の表示時に、当該映像を視聴している複数のユーザ間のコミュニケーションの内容に応じて、少なくとも一人のユーザが装着する再生装置３０に表示されている映像を変更してもよい。例えば、当該映像を視聴しているユーザ２ａに対して、当該映像を視聴している他のユーザ２ｂが「こっちを見て」のように話しかけたことが検出された場合には、表示制御部１０８は、ユーザ２ｂの画角へのガイド表示やワイプ画像を、ユーザ２ａが装着する再生装置３０ａにさらに表示させてもよい。ここで、ガイド表示は、例えばユーザ２ｂの画角の方向を示す矢印であってもよいし、ユーザ２ｂが注視している物体を示す表示（当該物体を囲む線など）であってもよい。また、ワイプ画像は、再生装置３０ａに現在表示されている映像から、ユーザ２ｂが装着している再生装置３０ｂに現在表示されている映像へと徐々に切り替えるようなアニメーションであってもよい。

なお、この場合、ユーザ２ｂの指定通りにユーザ２ａの視界が変更されるまでの間は、表示制御部１０８は、ユーザ２ｂが装着する再生装置３０ｂに所定の仮想オブジェクトをさらに表示させてもよい。これにより、ユーザ２ｂの指定通りにユーザ２ａの視界が変更されているか否かをユーザ２ｂは知ることができる。

‐個々のユーザの視界の表示
または、この場合、表示制御部１０８は、図１４に示したような、当該映像に対応する仮想空間内での、個々のユーザの視界を示す俯瞰表示を、ユーザ２ａが装着する再生装置３０ａ（および、ユーザ２ｂが装着する再生装置３０ｂ）にさらに表示させてもよい。ここで、図１４を参照して俯瞰表示の表示例（俯瞰表示８０）について説明する。図１４では、二人のユーザ（ユーザ２ａおよびユーザ２ｂ）が再生対象の映像を同時に視聴している例を示している。また、図１４では、ユーザ２ａに対応するアバタ―５４ａと、ユーザ２ｂに対応するアバタ―５４ｂとが、（図１４に示した）横方向に並んで当該仮想空間内に配置されている例を示している。図１４に示したように、俯瞰表示８０は、当該仮想空間におけるユーザ２ａの視界の範囲を示す表示８２ａと、当該仮想空間におけるユーザ２ｂの視界の範囲を示す表示８２ｂとを含む。従って、俯瞰表示８０が再生装置３０ａに表示されることにより、ユーザ２ａは、自分（ユーザ２ａ）が現在見ている範囲と、ユーザ２ｂが現在見ている範囲との関係性を知ることができる。

なお、表示８２ａおよび表示８２ｂは、ユーザ２ａまたはユーザ２ｂの実際の視界の範囲とそれぞれ（完全に）一致させてもよい。また、図１４では、（各ユーザの視界の範囲を示す）表示８２が扇形である例を示したが、かかる例に限定されず、表示８２は、各ユーザの視界と一対一に対応する、図１４に示した円周の部分（円弧）であってもよい。また、俯瞰表示８０では、別のユーザ２ｂの視界内のオブジェクト４０の表示態様（例えば、表示色など）は、通常の表示態様と異ならせてもよい。

（２−１−５−３．実空間の情報の反映）
また、表示制御部１０８は、再生対象の映像の表示時に、当該映像を視聴しているユーザが位置する実空間におけるセンシング結果を示す表示を、当該映像に重畳して表示させてもよい。例えば、表示制御部１０８は、当該ユーザが位置する実空間における危険を示す情報を当該映像に重畳して表示させてもよい。ここで、危険を示す情報は、例えば「あなたの右側には椅子があります」や「右側へ行くと危険です」など、当該ユーザの近くに物体が存在することなどを示し得る。

｛２−１−６．通信部１２０｝
通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、映像、および、メタ情報を映像制作装置２０から受信する。また、通信部１２０は、映像の再生要求を再生装置３０から受信する。また、通信部１２０は、表示制御部１０８の制御に従って、（アバタ―の映像が重畳された）再生対象の映像を再生装置３０へ送信する。

｛２−１−７．記憶部１２２｝
記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図５に示したように、記憶部１２２は、映像ＤＢ１２４を記憶する。

なお、本実施形態による情報処理装置１０の構成は、前述した例に限定されない。例えば、映像ＤＢ１２４は、記憶部１２２に記憶される代わりに、通信網３２に接続された他の装置（図示省略）に記憶されてもよい。

＜２−２．処理の流れ＞
以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図１５および図１６を参照して説明する。なお、ここでは、情報処理装置１０（映像ＤＢ１２４）に登録されている所定の全天球映像を視聴することを複数のユーザが希望する場面における処理の流れの例について説明する。

｛２−２−１．全体の処理の流れ｝
図１５に示したように、まず、複数のユーザの各々は、所定の映像を再生させるための指示を、当該ユーザが装着する再生装置３０に対して入力する。そして、個々の再生装置３０は、入力された情報に基づいて、映像の再生要求を情報処理装置１０へ送信する（Ｓ１０１）。

その後、情報処理装置１０の制御部１００は、複数の再生装置３０から受信される映像の再生要求に基づいて、再生対象の映像を決定する。そして、制御部１００は、当該映像の再生タイミングＴを微小時間ΔＴに設定する（Ｓ１０３）。ここで、ΔＴは、１フレーム分の時間に相当し得る。

その後、再生タイミングＴが当該映像の終了時間に達しない限り（Ｓ１０５：Ｎｏ）、制御部１００は、以下のＳ１０７〜Ｓ１１１の処理を繰り返す。なお、Ｔが当該映像の終了時間に達した場合には（Ｓ１０５：Ｙｅｓ）、当該処理の流れは終了する。

具体的には、まず、制御部１００は、後述する「シーン変化判定処理」を行う（Ｓ１０７）。

続いて、表示制御部１０８は、当該複数のユーザの各々に対応するアバタ―の映像を、再生タイミングＴにおける当該映像（表示フレーム）に重畳させた映像を、Ｓ１０７の処理結果に応じて生成する。そして、表示制御部１０８は、生成した映像を、当該複数のユーザの各々が装着する再生装置３０へ通信部１２０に送信させる（Ｓ１０９）。

そして、表示制御部１０８は、ＴにΔＴを加算する（Ｓ１１１）。その後、制御部１００は、再びＳ１０５の処理を行う。

｛２−２−２．シーン変化判定処理｝
ここで、図１６を参照して、Ｓ１０７における「シーン変化判定処理」の流れについて説明する。図１６に示したように、まず、特定部１０４は、当該映像に関連付けられている、再生タイミングＴにおけるメタ情報を映像ＤＢ１２４から抽出する（Ｓ２０１）。

そして、特定部１０４は、Ｔがシーン変化のタイミングとして当該メタ情報内に設定されているか否かを確認する（Ｓ２０３）。Ｔがシーン変化のタイミングとして設定されている場合には（Ｓ２０３：Ｙｅｓ）、特定部１０４は、Ｔがシーン変化のタイミングであると判定する（Ｓ２０５）。その後、変更部１０６は、当該映像に対応する仮想空間における各アバタ―の配置を、Ｓ２０１で取得されたメタ情報に応じて変更する（Ｓ２０７）。そして、当該「シーン変化判定処理」は終了する。

一方、Ｔがシーン変化のタイミングとして設定されていない場合には（Ｓ２０３：Ｎｏ）、特定部１０４は、当該映像に関連付けられているデプス情報が示す、Ｔにおけるデプスマップを取得する（Ｓ２０９）。

続いて、特定部１０４は、Ｔにおける、当該映像の記録時のカメラ視点の周囲の空き空間の情報を、取得したデプスマップに基づいて特定する（Ｓ２１１）。

続いて、特定部１０４は、現在の各アバタ―の配置（隊列など）が、特定された空き空間内に収まるか否かを判定する（Ｓ２１３）。現在の各アバタ―の配置が、特定された空き空間内に収まると判定された場合には（Ｓ２１３：Ｙｅｓ）、特定部１０４は、Ｔがシーン変化のタイミングではないと判定する（Ｓ２１５）。そして、当該「シーン変化判定処理」は終了する。

一方、現在のアバタ―の配置が、特定された空き空間内に収まらないと判定された場合には（Ｓ２１３：Ｎｏ）、特定部１０４は、Ｔがシーン変化のタイミングであると判定する（Ｓ２１５）。その後、変更部１０６は、当該映像に対応する仮想空間における各アバタ―の配置を、Ｓ２１１で特定された空き空間に応じて変更する（Ｓ２１９）。そして、当該「シーン変化判定処理」は終了する。

＜２−３．効果＞
以上説明したように、本実施形態によれば、情報処理装置１０は、デプス情報を有する映像に対応する仮想空間における、複数のユーザの各々に対応するアバタ―の配置を、当該映像の再生に応じて変更する。このため、映像を視聴する各ユーザに対応するアバタ―の配置を、映像の再生に応じて適切に変更することが可能である。

例えば、情報処理装置１０は、映像の再生時に、現在の再生タイミングに対応する空き空間を当該デプス情報に基づいて特定し、そして、現在のアバタ―の配置が当該空き空間内に収まらないと判定した際には、当該空き空間内に収まるように、各ユーザに対応するアバタ―の配置を変更することが可能である。従って、他のユーザと一緒に仮想空間内で映像を視聴しているような体験をユーザに対して提供しつつ、かつ、当該映像の破たんを回避することができる。

＜２−４．応用例＞
前述した実施形態では、映像制作装置２０により予め撮影された映像を情報処理装置１０が再生装置３０に表示させる例を中心として説明した。次に、本実施形態の応用例について説明する。後述するように、本応用例によれば、情報処理装置１０は、映像制作装置２０により撮影される映像を再生装置３０にリアルタイムに表示させることが可能である。

｛２−４−１．情報処理システムの構成｝
図１７は、本応用例による情報処理システムの構成例を示した説明図である。図１７に示すように、本応用例では、撮影者６が、頭部装着型の映像制作装置９０を装着している場面を想定する。また、図１７に示したように、撮影者６は、再生装置３０ｃをさらに装着し得る。ここで、映像制作装置９０は、図１７に示したように複数の撮影部２２２を有し得る。例えば、映像制作装置９０は、撮影者６の頭部の全周囲の映像を撮影することが可能である。また、映像制作装置９０は、例えば複数の撮影部２２２またはデプスセンサ（図示省略）などにより、映像の撮影とともにデプス情報を取得し得る。なお、撮影者６は、映像制作装置９０による撮影中の映像と関連付けてシーン変化のタイミングをリアルタイムに指定することが可能である。

また、映像制作装置９０は、撮影された映像およびデプス情報をリアルタイムに情報処理装置１０へ送信することが可能である。なお、映像制作装置９０の具体的な機能構成に関しては、図３に示した映像制作装置２０と概略同様である。

また、本応用例による情報処理装置１０は、映像制作装置９０から受信された映像に基づいて配信用映像（例えば全天球映像など）をリアルタイムに生成し、そして、配信用映像を、撮影者６が位置する実空間から遠隔して位置する一以上のユーザ２が装着する再生装置３０へリアルタイムに送信する。これにより、一以上のユーザ２は、配信用映像を視聴することにより、あたかも撮影者６の中に入り込んだような感覚を得ることができる。

なお、このような撮影者６とユーザ２との間での全天球映像の伝送を実現するための具体的な方法として、例えば、国際公開第２０１５／１２２１０８号に記載されている技術が使用され得る。

｛２−４−２．構成｝
以上、本応用例による情報処理システムの構成について説明した。次に、本応用例による情報処理装置１０の構成について詳細に説明する。なお、以下では、前述した実施形態と同様の内容については説明を省略する。

（２−４−２−１．特定部１０４）
本応用例による特定部１０４は、映像制作装置９０により撮影された映像に対応するデプス情報に基づいて、撮影者６の周囲の空き空間の情報をリアルタイムに特定することが可能である。なお、デプス情報は、前述したように、（映像制作装置９０が有する）複数の撮影部２２２の各々により撮影された映像に対する所定の画像処理に基づいて特定されてもよいし、または、映像制作装置９０が有する例えばデプスセンサなどのセンサによりセンシングされた情報であってもよい。

さらに、特定部１０４は、特定した空き空間の情報が示す空き空間内に、配信用映像を視聴している一以上のユーザの各々に対応するアバタ―が収まるか否かを判定することが可能である。

（２−４−２−２．表示制御部１０８）
‐映像の表示
本応用例による表示制御部１０８は、映像制作装置９０によりリアルタイムに撮影された映像に応じた配信用映像を、当該映像を視聴する複数のユーザの各々に対応する再生装置３０に表示させる。ここで、配信用映像は、全天球映像であり得る。または、例えば映像制作装置９０の周囲に複数の他のカメラが設置されている場合などには、配信用映像は、映像制作装置９０および当該複数の他のカメラにより撮影された映像に基づいた自由視点映像であってもよい。

‐アバタ―の表示
また、表示制御部１０８は、当該映像を視聴している一以上のユーザの各々に対応するアバタ―を、撮影者６が装着する再生装置３０ｃに表示させることが可能である。例えば、撮影者６の周囲の空き空間内に当該一以上のアバタ―が収まると特定部１０４により判定されている間において、表示制御部１０８は、当該空き空間に対応する、表示部３２４の領域内に当該一以上のアバタ―を表示させる。これにより、配信用映像を視聴しているユーザを、撮影者６は知ることができる。その結果、当該ユーザと撮影者６との間で例えば通話などを行う際に、撮影者６は、当該ユーザとより円滑にコミュニケーションすることができる。

なお、撮影者６は、例えば所定の入力デバイス（図示省略）に対する操作や、音声コマンドなどにより、当該一以上のアバタ―を再生装置３０ｃに表示させるか否かをリアルタイムに指定することが可能である。例えば、配信用映像を視聴している一以上のユーザのうち、会話をしたいユーザが撮影者６により（リアルタイムに）選択された際には、表示制御部１０８は、選択された各ユーザに対応するアバタ―のみを再生装置３０ｃに表示させてもよい。

さらに、表示制御部１０８は、撮影者６に対応するアバタ―を配信用映像に重畳させて、当該一以上のユーザの各々が装着する再生装置３０に表示させることが可能である。例えば、配信用映像が自由視点映像である場合などには、表示制御部１０８は、配信用映像における映像制作装置９０の位置に、撮影者６に対応するアバタ―を重畳させる。

｛２−４−３．効果｝
以上説明したように、本応用例によれば、情報処理装置１０は、映像制作装置９０により撮影される映像に応じた配信用映像を、ユーザ２が装着する再生装置３０にリアルタイムに表示させることが可能である。また、情報処理装置１０は、当該配信用映像を視聴している一以上のユーザの各々に対応するアバタ―を、撮影者６が装着する再生装置３０ｃにリアルタイムに表示させることが可能である。このため、配信用映像を視聴しているユーザおよび撮影者６があたかも一緒に移動しているかのような体験を、当該ユーザおよび撮影者６に提供することができる。

＜＜３．ハードウェア構成＞＞
次に、本実施形態による情報処理装置１０のハードウェア構成について、図１８を参照して説明する。図１８に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。

ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。

バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。

インターフェース１５８は、ストレージ装置１６０、および、通信装置１６２を、バス１５６と接続する。

ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

通信装置１６２は、例えば通信網３２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。

＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜４−１．変形例１＞
例えば、前述した実施形態では、再生対象の映像を複数のユーザが同時に視聴する場面の例について説明したが、本開示はかかる例に限定されない。例えば、あるユーザ２ａが再生対象の映像を視聴する場面において、情報処理装置１０は、当該映像を過去に視聴していた他のユーザ２ｂのアバタ―を当該映像に重畳させて、ユーザ２ａが装着する再生装置３０に表示させてもよい。また、この場合、情報処理装置１０は、他のユーザ２ｂの視聴時におけるユーザ２ｂの行動認識の結果に応じて、ユーザ２ｂに対応するアバタ―の表示位置などを変更してもよい。この変形例によれば、再生対象の映像を過去に視聴していた他のユーザと、あたかも一緒に視聴しているかのような体験をユーザに提供することができる。

＜４−２．変形例２＞
また、別の変形例として、情報処理装置１０は、再生対象の映像を再生装置３０に表示させる前に、当該映像に関する各シーンを予め解析しておくことも可能である。これにより、映像の再生に係る処理を効率化させることができる。

＜４−３．変形例３＞
また、別の変形例として、例えばシーン変化のタイミングなどにおいて、少なくとも一つのアバタ―が配置対象外であると新たに判定される場合には、表示制御部１０８は、当該少なくとも一つのアバタ―をフェードアウト（例えば透過度を徐々に上げるなど）させた後に、当該少なくとも一つのアバタ―が非表示になるように表示を制御してもよい。また、例えばシーン変化のタイミングなどにおいて、再生対象の映像に対応する仮想空間内に少なくとも一つのアバタ―が新たに配置される場合には、表示制御部１０８は、当該少なくとも一つのアバタ―が配置される数フレーム前から、当該少なくとも一つのアバタ―をフェードイン（例えば透過度を徐々に下げるなど）させた後に、当該少なくとも一つのアバタ―を表示させてもよい。また、アバタ―の表示態様（例えばアバタ―の衣装など）が別の表示態様に切り替えられる場合には、表示制御部１０８は、当該切り替えのタイミングの数フレーム前から当該アバタ―の表示態様を徐々に変更してもよい。

＜４−４．変形例４＞
また、別の変形例として、映像の早送りが行われる場合には、表示制御部１０８は、シーン変化のタイミングに関わらず他のアバタ―が非表示になるように表示を制御してもよい。これにより、映像の早送りに伴うアバタ―の再配置処理の負荷の増大を抑制できる。また、映像の早送りが行われる場合には、表示部３２４に表示される映像の立体視表示が禁止されてもよい。具体的には、右目用画像及び左眼用画像の一方が、右目用表示部３２４ａと左目用表示部３２４ｂとに表示されるとよい。これにより、急速な立体視表示の切り替わりに伴う処理負荷を低減するとともに、ユーザの眼球に対する負担の増大を抑制することができる。また、映像の早送りが行われる場合には、仮想空間に配置された平面ウィンドウ（２次元ウィンドウ）に立体視映像全体を表示するように、モーフィング処理を伴って映像表示の切り替えが行われても良い。これにより、映像の早送りに伴うアバタ―の再配置処理の負荷の増大を抑制できるとともに、映像の早送り中もユーザ間のコミュニケーションを維持することが出来る。

＜４−５．変形例５＞
また、別の変形例として、再生対象の映像に対応する仮想空間内に少なくとも一つのアバタ―が新たに配置される場合には、情報処理装置１０は、当該少なくとも一つのアバタ―が配置されるよりも所定の時間前に、当該少なくとも一つのアバタ―の各々に対応するユーザが装着する再生装置３０に対して、当該ユーザに対応するアバタ―が表示されることを通知してもよい。

＜４−６．変形例６＞
また、別の変形例として、情報処理装置１０は、再生対象の映像を視聴する全てのユーザのうちの一部のユーザ（または全員）の各々に対応するアバタ―を再生装置３０に表示させる代わりに、これらのアバタ―の配置位置の方向を示す表示（例えば矢印など）のみを表示させてもよい。なお、この場合、当該一部のユーザのうちの少なくとも一人が発話したことが検出された場合には、情報処理装置１０は、当該発話を再生装置３０に（通常通りに）出力させてもよい。この変形例によれば、アバタ―の方向を示す表示と、発話の音声のみで、当該映像を視聴している他のユーザ２ｂの存在をユーザ２ａに知らせることができる。

＜４−７．変形例７＞
また、別の変形例として、前述した特定部１０４、変更部１０６、および、表示制御部１０８は、情報処理装置１０に含まれる代わりに、再生装置３０に含まれてもよい。この場合、本開示における情報処理装置は、再生装置３０であり得る。

＜４−８．変形例８＞
また、前述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、前述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、前述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、
を備える、情報処理装置。
（２）
前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を、前記映像の再生に応じた前記デプス情報の変化に応じて前記第１の配置から前記第２の配置に変更する、前記（１）に記載の情報処理装置。
（３）
前記デプス情報は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲のデプス値を示す、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を、前記映像の再生に応じた前記空き空間の情報の変化に応じて前記第１の配置から前記第２の配置に変更する、前記（３）に記載の情報処理装置。
（５）
前記第１のオブジェクトおよび前記第２のオブジェクトは三次元の仮想オブジェクトであり、
前記変更部は、さらに、前記第１のオブジェクトのサイズおよび前記第２のオブジェクトのサイズに応じて、前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、前記（４）に記載の情報処理装置。
（６）
前記第１の配置は、前記第１のオブジェクトと前記第２のオブジェクトとの第１の隊列に対応し、
前記第２の配置は、前記第１のオブジェクトと前記第２のオブジェクトとの第２の隊列に対応し、
前記特定部は、前記映像の再生タイミングごとに、当該再生タイミングに対応する前記空き空間の情報が示す空間内に前記第１の隊列が収まるか否かをさらに判定し、
前記空間内に前記第１の隊列が収まらないと判定された際には、前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、前記（５）に記載の情報処理装置。
（７）
前記第２の配置に対応する前記第１のオブジェクトと前記第２のオブジェクトとの配置方向と、前記第１の配置に対応する前記第１のオブジェクトと前記第２のオブジェクトとの配置方向とは異なる、前記（６）に記載の情報処理装置。
（８）
前記第２の配置に対応する前記第１のオブジェクトの向きと、前記第１の配置に対応する前記第１のオブジェクトの向きとは異なる、前記（６）または（７）に記載の情報処理装置。
（９）
現在の再生タイミングに対応する前記空き空間の情報が示す空間内に、現在の前記第１のオブジェクトと前記第２のオブジェクトとの隊列が収まらないと判定される度に、前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの隊列が前記空間内に収まるように、前記第１のオブジェクトと前記第２のオブジェクトとの隊列を逐次変更する、前記（６）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記第１のユーザおよび前記第２のユーザを含む複数のユーザは、前記映像を視聴するユーザであり、
前記変更部は、さらに、前記複数のユーザの各々に対応するオブジェクトのうち前記仮想空間内に配置されるオブジェクトの数を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、前記（３）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記複数のユーザの各々に対応するオブジェクトは、三次元の仮想オブジェクトであり、
前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
前記変更部は、前記複数のユーザの各々に対応するオブジェクトのサイズと、前記映像の再生に応じた前記空き空間の情報の変化とに応じて、前記仮想空間内に配置されるオブジェクトの数を変更する、前記（１０）に記載の情報処理装置。
（１２）
前記変更部は、さらに、前記仮想空間内に配置される複数のオブジェクトの表示態様を前記複数のユーザの数に応じて変更する、前記（１０）または（１１）に記載の情報処理装置。
（１３）
前記変更部は、さらに、前記第１のオブジェクトまたは前記第２のオブジェクトの表示態様を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、前記（３）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記変更部は、さらに、前記仮想空間における前記第１のオブジェクトの配置を、前記第１のユーザが位置する第１の実空間における前記第１のユーザの移動の認識結果に基づいて変更するとともに、前記仮想空間における前記第２のオブジェクトの配置を、前記第２のユーザが位置する第２の実空間における前記第２のユーザの移動の認識結果に基づいて変更する、前記（３）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記映像と、シーン変化のタイミングを示す情報とが関連付けられており、
前記情報処理装置は、前記シーン変化のタイミングを前記映像の再生に応じて特定する特定部をさらに備え、
前記シーン変化のタイミングが特定された場合には、前記変更部は、前記仮想空間における前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、前記（１）に記載の情報処理装置。
（１６）
前記第２の配置は、前記シーン変化のタイミングに関連付けられている設定情報が示す、前記第１のオブジェクトと前記第２のオブジェクトとの配置である、前記（１５）に記載の情報処理装置。
（１７）
前記映像は、第１の映像であり、
前記情報処理装置は、前記仮想空間における前記第１のオブジェクトおよび前記第２のオブジェクトの配置と前記第１の映像とに応じた第２の映像を第１の表示部および第２の表示部に表示させる表示制御部をさらに備える、前記（３）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記第１のオブジェクトおよび前記第２のオブジェクトの配置が前記変更部により変更される度に、前記表示制御部は、変更後の前記第１のオブジェクトおよび前記第２のオブジェクトの配置に応じた前記第２の映像を前記第１の表示部および前記第２の表示部に表示させる、前記（１７）に記載の情報処理装置。
（１９）
デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置にプロセッサが変更すること、
を含む、情報処理方法。
（２０）
コンピュータを、
デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、
として機能させるための、プログラム。

１０ 情報処理装置
２０、９０ 映像制作装置
３０ 再生装置
３２ 通信網
１００、２００、３００ 制御部
１０２ 登録部
１０４ 特定部
１０６ 変更部
１０８ 表示制御部
１２０、２２０、３２０ 通信部
１２２ 記憶部
１２４ 映像ＤＢ
２０２ メタ情報生成部
２２２ 撮影部
２２４、３２６ 入力部
３２２ センサ部
３２４ 表示部

Claims (20)

1. デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、
   を備える、情報処理装置。
2. 前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を、前記映像の再生に応じた前記デプス情報の変化に応じて前記第１の配置から前記第２の配置に変更する、請求項１に記載の情報処理装置。
3. 前記デプス情報は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲のデプス値を示す、請求項２に記載の情報処理装置。
4. 前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
   前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を、前記映像の再生に応じた前記空き空間の情報の変化に応じて前記第１の配置から前記第２の配置に変更する、請求項３に記載の情報処理装置。
5. 前記第１のオブジェクトおよび前記第２のオブジェクトは三次元の仮想オブジェクトであり、
   前記変更部は、さらに、前記第１のオブジェクトのサイズおよび前記第２のオブジェクトのサイズに応じて、前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、請求項４に記載の情報処理装置。
6. 前記第１の配置は、前記第１のオブジェクトと前記第２のオブジェクトとの第１の隊列に対応し、
   前記第２の配置は、前記第１のオブジェクトと前記第２のオブジェクトとの第２の隊列に対応し、
   前記特定部は、前記映像の再生タイミングごとに、当該再生タイミングに対応する前記空き空間の情報が示す空間内に前記第１の隊列が収まるか否かをさらに判定し、
   前記空間内に前記第１の隊列が収まらないと判定された際には、前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、請求項５に記載の情報処理装置。
7. 前記第２の配置に対応する前記第１のオブジェクトと前記第２のオブジェクトとの配置方向と、前記第１の配置に対応する前記第１のオブジェクトと前記第２のオブジェクトとの配置方向とは異なる、請求項６に記載の情報処理装置。
8. 前記第２の配置に対応する前記第１のオブジェクトの向きと、前記第１の配置に対応する前記第１のオブジェクトの向きとは異なる、請求項６に記載の情報処理装置。
9. 現在の再生タイミングに対応する前記空き空間の情報が示す空間内に、現在の前記第１のオブジェクトと前記第２のオブジェクトとの隊列が収まらないと判定される度に、前記変更部は、前記第１のオブジェクトと前記第２のオブジェクトとの隊列が前記空間内に収まるように、前記第１のオブジェクトと前記第２のオブジェクトとの隊列を逐次変更する、請求項６に記載の情報処理装置。
10. 前記第１のユーザおよび前記第２のユーザを含む複数のユーザは、前記映像を視聴するユーザであり、
    前記変更部は、さらに、前記複数のユーザの各々に対応するオブジェクトのうち前記仮想空間内に配置されるオブジェクトの数を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、請求項３に記載の情報処理装置。
11. 前記複数のユーザの各々に対応するオブジェクトは、三次元の仮想オブジェクトであり、
    前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
    前記変更部は、前記複数のユーザの各々に対応するオブジェクトのサイズと、前記映像の再生に応じた前記空き空間の情報の変化とに応じて、前記仮想空間内に配置されるオブジェクトの数を変更する、請求項１０に記載の情報処理装置。
12. 前記変更部は、さらに、前記仮想空間内に配置される複数のオブジェクトの表示態様を前記複数のユーザの数に応じて変更する、請求項１０に記載の情報処理装置。
13. 前記変更部は、さらに、前記第１のオブジェクトまたは前記第２のオブジェクトの表示態様を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、請求項３に記載の情報処理装置。
14. 前記変更部は、さらに、前記仮想空間における前記第１のオブジェクトの配置を、前記第１のユーザが位置する第１の実空間における前記第１のユーザの移動の認識結果に基づいて変更するとともに、前記仮想空間における前記第２のオブジェクトの配置を、前記第２のユーザが位置する第２の実空間における前記第２のユーザの移動の認識結果に基づいて変更する、請求項３に記載の情報処理装置。
15. 前記映像と、シーン変化のタイミングを示す情報とが関連付けられており、
    前記情報処理装置は、前記シーン変化のタイミングを前記映像の再生に応じて特定する特定部をさらに備え、
    前記シーン変化のタイミングが特定された場合には、前記変更部は、前記仮想空間における前記第１のオブジェクトと前記第２のオブジェクトとの配置を前記第１の配置から前記第２の配置に変更する、請求項１に記載の情報処理装置。
16. 前記第２の配置は、前記シーン変化のタイミングに関連付けられている設定情報が示す、前記第１のオブジェクトと前記第２のオブジェクトとの配置である、請求項１５に記載の情報処理装置。
17. 前記映像は、第１の映像であり、
    前記情報処理装置は、前記仮想空間における前記第１のオブジェクトおよび前記第２のオブジェクトの配置と前記第１の映像とに応じた第２の映像を第１の表示部および第２の表示部に表示させる表示制御部をさらに備える、請求項３に記載の情報処理装置。
18. 前記第１のオブジェクトおよび前記第２のオブジェクトの配置が前記変更部により変更される度に、前記表示制御部は、変更後の前記第１のオブジェクトおよび前記第２のオブジェクトの配置に応じた前記第２の映像を前記第１の表示部および前記第２の表示部に表示させる、請求項１７に記載の情報処理装置。
19. デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置にプロセッサが変更すること、
    を含む、情報処理方法。
20. コンピュータを、
    デプス情報を有する映像に対応する仮想空間における、第１のユーザに対応する第１のオブジェクトと第２のユーザに対応する第２のオブジェクトとの配置を、前記映像の再生に応じて第１の配置から第２の配置に変更する変更部、
    として機能させるための、プログラム。

Images