JP2023073038A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】特定のオブジェクトの選択的な描画を効率よく行うことが可能なボリュメトリックビデオのフォーマットを提供する。【解決手段】オブジェクトの形状データを含むフレームのシーケンスから成るボリュメトリックビデオデータ、および、前記形状データに対応するオブジェクトそれぞれのフレーム間における変化を示すトラッキング情報を取得する。そして、前記トラッキング情報に基づいて、前記オブジェクトそれぞれと各フレームにおける前記形状データとを関連付けるメタデータを生成し、前記メタデータを含む前記ボリュメトリックビデオデータを出力する。【選択図】図３

Description

本開示の技術は、ボリュメトリックビデオのファイルフォーマットに関する。

特許文献１は、スポーツのハイライトシーンの分析等を目的として、被写体（オブジェクト）の位置と時間を表すトラッキング情報を動画の各フレームにメタデータとして関連付ける方法を開示している。

特開２０００‐１０６６６１号公報

近年、撮像空間全体を３Ｄデータ化することで、コンピュータの中に作り上げられたバーチャル空間内の様々なアングルからの映像を生成できるボリュメトリックビデオ技術が注目されている。このボリュメトリックビデオでは、視聴する際の視点（仮想的なカメラの位置や姿勢、画角など。以下、「仮想視点」と呼ぶ。）を視聴者自身が制御することができる。ここで、例えばスタジアムなど広い空間で行われるサッカーの試合を対象としたボリュメトリックビデオにおいて好適な視聴を実現するためには、仮想視点を見たいシーンに応じて随時制御する必要がある。具体的には、注目する選手の動きを追いかけたり、ボールを画角内に維持したりするための細かな制御が必要になる。また、ボリュメトリックビデオでは特定のオブジェクトだけを視聴する場合は、仮想視点の制御に加え、当該特定のオブジェクトだけを選択的に描画する処理が必要になる。

ボリュメトリックビデオのデータにおいては、一般的に１フレームの中に、オブジェクトの三次元形状を表す形状データがそこに映っているオブジェクトの数だけ含まれている。そして、入力された仮想視点に応じて特定のオブジェクトを選択的に描画する際にはどの形状データをどのように処理するかを決める必要があるところ、上記特許文献１の方法でトラッキング情報を各フレームに関連付けるだけでは対処できない。

本開示の目的は、特定のオブジェクトの選択的な描画を簡易に行うことを可能とすることである。

本開示に係る情報処理装置は、オブジェクトの形状データを含むフレームのシーケンスから成るボリュメトリックビデオデータを取得する取得手段と、前記形状データに対応するオブジェクトそれぞれのフレーム間における変化を示すトラッキング情報を取得する取得手段と、前記トラッキング情報に基づいて、前記オブジェクトそれぞれと各フレームにおける前記形状データとを関連付けるメタデータを生成する生成手段と、前記メタデータを含む前記ボリュメトリックビデオデータを出力する出力手段と、を有することを特徴とする。

本開示の技術によれば、特定のオブジェクトの選択的な描画を簡易に行うことが可能となる。

情報処理装置のハードウェア構成の一例を示す図 情報処理装置のソフトウェア構成を示すブロック図 ボリュメトリックビデオに対しメタデータを付す処理の流れを示すフローチャート （ａ）及び（ｂ）は、オブジェクトトラッキングの様子を表す模式図 （ａ）はオブジェクトの一覧情報の一例を示す図、（ｂ）はメタデータの一例を示す図 情報処理装置のソフトウェア構成を示すブロック図 ボリュメトリックビデオに対しメタデータを付す処理の流れを示すフローチャート チャプタオブジェクトの同定を説明する図 メタデータの一例を示す図 並べ替え処理の結果の一例を示す図 メタデータの一例を示す図 メタデータの一例を示す図 （ａ）及び（ｂ）はオペレータが使用するＵＩ画面の一例を示す図、 情報処理装置のソフトウェア構成を示すブロック図 オブジェクトを選択的に再生する処理の流れを示すフローチャート

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

実施形態の説明に入る前に、「ボリュメトリックビデオ」の概念について確認しておく。本明細書においてボリュメトリックビデオとは、従来の二次元の映像データに対して、オブジェクト（被写体）の三次元形状を表す形状データ（「３Ｄモデル」とも呼ばれる。）が付加されたものを指し、更に音声データが付加されていてもよい。３Ｄモデルは、オブジェクトの形状をボクセルで表現したボリュームデータ、点の集合で表現した点群データ、ポリゴンの集合で表現したメッシュデータなど様々なデータ形式がある。本実施形態では、メッシュデータを用いて説明するが、３Ｄモデルのデータ形式はこれに限定されるものではない。また、３Ｄモデルはさらに色の情報を持つこともある。例えばボリュームデータであれば各ボクセルが色と透明度の情報を持ち、点群データであれば各点が色の情報を持ち、メッシュモデルであれば各メッシュがテクスチャの情報を持つのが一般的である。

ボリュメトリックビデオでは、１つ以上のオブジェクトの三次元形状を表現した１つ以上の３Ｄモデルが各フレームに対応付けられる。そして、そのようなフレームを時系列に並べたフレームシーケンスによって、そこに映っているオブジェクトの形状に関わる情報を保持する。このようなボリュメトリックビデオとしては、例えばマイクロソフト（登録商標）の“High-quality Streamable free-viewpoint video”がある。これは、MPEG-DASHプロトコルの映像トラックにテクスチャ画像を動画として保存し、拡張されたNAL（Network AbＳtraction Layer)ユニットにメッシュ形式の３Ｄモデルを格納している。

［実施形態１］
＜ハードウェア構成＞
図１は、本実施形態に係る、情報処理装置１００のハードウェア構成の一例を示す図である。図１において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各ブロックの動作を制御する。ＨＤＤＩ／Ｆ１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）などのインタフェースである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し及びＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開することができ、逆に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することもできる。そして、ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７を接続する、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインタフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、情報処理装置１００と、出力デバイスであるディスプレイとを接続する、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力インタフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介してディスプレイにデータを送り、ディスプレイに所定の映像を表示させることができる。ネットワークＩ／Ｆ１１０は、インターネットやＬＡＮといったネットワークと接続するインタフェースである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して、ＬＡＮ或いはインターネットに繋がる外部サーバ等との間で各種データをやり取りすることができる。

＜機能構成と処理の流れ＞
図２及び図６は、情報処理装置１００のソフトウェア構成、より詳細にはボリュメトリックビデオに対し特定オブジェクトの選択的描画に好適なメタデータを付すための機能構成を示すブロック図である。図２及び図６に示す各種機能はＣＰＵ１０１が専用のプログラムを実行することにより実現され、図２と図６では生成されるメタデータのタイプが異なる。また、図３及び図７は、ボリュメトリックビデオに対し上記メタデータを付す処理の流れを示すフローチャートであり、図２と図６にそれぞれ対応している。

≪タイプ１≫
まず、図２のブロック図に示す機能構成によって実現される、特定オブジェクトの選択的描画に好適なメタデータを付す処理について、図３のフローチャートを参照して説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ３０１では、映像読込部２０１が、処理対象となるボリュメトリックビデオのフレームシーケンスをＨＤＤ１０５などから読み込む。ここで読み込まれるフレームシーケンスを構成する各フレームには、特定時刻における２Ｄ画像のデータと当該２Ｄ画像に映っているオブジェクトの３Ｄモデルのデータとが含まれる。この場合において、２Ｄ画像内に複数のオブジェクトが映っている場合、各３Ｄモデルは原則としてオブジェクト単体の三次元形状を表す。ただし、複数のオブジェクトが接触等により近接している場合は当該複数のオブジェクトが合わさった三次元形状を表すことになる。

Ｓ３０２では、トラッキング情報取得部２０２が、Ｓ３０１にて読み込んだフレームシーケンスを構成する各フレームの２Ｄ画像に対し、オブジェクトの抽出及び各オブジェクトのトラッキングを行う。例えば、２Ｄ画像内に３人の選手とボールが映っている場合は、４つのオブジェクトが抽出し、各フレームの３Ｄモデルを解析して、４つのオブジェクトそれぞれについてフレーム間の対応関係を求める。この時、３Ｄモデルとオブジェクトとが１対１の関係にない場合もある。例えば選手がボールに触れている瞬間の３Ｄモデルは、当該選手とボールとが結合した１つの三次元形状を表すことになる。このように、１つの３Ｄモデルに対して複数のオブジェクトが割り当てられていることがあるため注意が必要である。図４の（ａ）及び（ｂ）は、オブジェクトトラッキングの様子を表す模式図である。図４（ａ）は、３人の選手とボールが映っている撮像シーンにおける６フレーム分のメッシュ形式の３Ｄモデル（以下、「メッシュモデル」と表記。）を示している。また、図４（ｂ）は、一人の選手（ヒト）とボールのトラッキング結果を、実線の矢印と破線の矢印でそれぞれ示している。ヒトについては、０番～５番の各フレームにおいて“００”、“００”、“００”、“０１”、“００”、“０２”の各モデルインデックスが各メッシュモデルに付与されている。また、ボールは、０番～５番の各フレームにおいて“０２”、“０１”、“００”、“０３”、“０１”、“０３”の各モデルインデックスが各メッシュモデルに付与されている。ここで、２フレーム目では、ヒトとボールが１つのメッシュモデルで表現されていることに注意が必要である。こうして得られたオブジェクトトラッキングの結果は、各オブジェクトのフレーム間の推移を示すトラッキング情報としてメタデータ生成部２０３に供される。

Ｓ３０３では、トラッキング情報取得部２０２が、Ｓ３０２で得られたトラッキング情報に基づき、フレームシーケンスの２Ｄ画像に映っているオブジェクトの一覧情報を生成する。図５（ａ）にオブジェクトの一覧情報の一例を示す。図５（ａ）に示す一覧情報では、図４（ａ）に示す４つのオブジェクトそれぞれを識別するオブジェクトインデックス（ここでは“００１”～“００４”）が付与され、各オブジェクトインデックスと各フレームにおけるモデルインデックスとが対応付けられている。なお、オブジェクトインデックス“００２”について、０番目のフレームのモデルインデックスが“－１”となっているが、これは０番目のフレームには該当する選手オブジェクトが存在しなかったことを表意味している。

Ｓ３０４では、Ｓ３０３にて生成された一覧情報がディスプレイ（出力デバイス１０９）に表示される。この際、各オブジェクトインデックスに対応する代表的なメッシュモデル（例えば表面積が最大のもの）も併せて表示される。

次のＳ３０５において、メタデータ生成部２０３は、一覧情報に記述された各オブジェクトに対して属性及びタグを設定して、フレームシーケンスに付加するメタデータを生成する。本実施形態では、オペレータが、ディスプレイに表示された一覧情報と代表的なメッシュモデルを参照し、「属性」として、“ヒト（人間）”か、ヒト以外の“モノ”かを、キーボード等を操作して入力する。また、「タグ」として、同じ属性を持つオブジェクト同士を区別するための識別情報を、キーボード等を操作して入力する。そして、入力結果に基づいて、「属性」と「タグ」の内容が、図５（ｂ）に示すように、オブジェクトインデックスが表すオブジェクト毎に設定される。図５（ｂ）の例では、オブジェクトインデックス“００１”～“００３”がそれぞれの選手に対応し、オブジェクトインデックス“００４”がボールに対応している。この場合、オペレータは、“００１”～“００３”の各オブジェクトインデックスに対しては、その「属性」として“ヒト”を指定し、さらに「タグ」として当該ヒト（選手）の氏名、所属するチーム名、背番号といった選手固有の情報を付記する。さらに“００４”のオブジェクトインデックスに対しては、その「属性」として“モノ”を指定し、さらに「タグ」としてそれが具体的に何であるかが分かる普通名詞（ここではボール）などの情報を付記する。これにより、「属性」や「タグ」の内容を指定するだけで該当するメッシュモデルを特定することが可能になる。こうして、オブジェクトインデックス毎に設定された「属性」と「タグ」の情報がメタデータとして得られる。なお、属性やタグの情報をオペレータが手動で入力するのに代えて、例えばフレーム内の２Ｄ画像やメッシュモデルを解析して自動で設定してもよい。具体的には、文字の検出、顔認識、メッシュモデルが表す形状の大きさや色の検出などを行って得られた結果に基づき「属性」や「タグ」の内容を自動設定する方法が考えられる。さらには、このような自動設定を行った結果をディスプレイに表示し、オペレータがそれを編集できるようにしてもよい。

Ｓ３０６では、映像出力部２０４が、Ｓ３０１にて読み込んだフレームシーケンスに対しＳ３０５にて得られたメタデータを付加して出力する。

以上のようにして、特定オブジェクトの選択的描画に好適なメタデータを付したボリュメトリックビデオを得ることができる。

≪タイプ２≫
次に、図６のブロック図に示す機能構成によって実現される、特定オブジェクトの選択的描画に好適なメタデータを付す処理について、図７のフローチャートを参照して説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。
Ｓ７０１では、図３のフローにおけるＳ３０１と同様、映像読込部２０１が、処理対象となるボリュメトリックビデオのフレームシーケンスをＨＤＤ１０５などから読み込む。

次のＳ７０２では、チャプタ分割部６０１が、Ｓ７０１で読み込まれたフレームシーケンスを複数のチャプタに分割する。チャプタ分割部６０１は、入力されたフレームシーケンスに対しシーン解析を行う等して、例えばプレーの区切り毎といった時間的に連続する一まとまりのフレーム群をチャプタ区間として決定してチャプタに分割する。例えば、実施形態１で説明した前述の図４（ａ）に示す６つのフレームが１つのチャプタとなる。チャプタ区間の決定方法はこれに限られない。例えばオペレータが処理対象のフレームシーケンスを再生しながらチャプタ区間をマウス等で指定してもよいし、シーン解析によって自動生成されたチャプタ区間を人が修正してもよいし、予め定めた一定時間毎にシーケンスフレームを区切ってもよい。

Ｓ７０３では、トラッキング情報取得部２０２’が、分割後のチャプタそれぞれを対象として、オブジェクトの抽出及び抽出された各オブジェクトのトラッキングを行う。こうして特定のチャプタ内で抽出・トラッキングされて特定されたオブジェクトを「チャプタオブジェクト」と呼ぶこととする。本ステップで得られたチャプタオブジェクト毎のトラッキングの結果は、トラッキング情報としてメタデータ生成部２０３’及びソーティング部６０２に供される。

Ｓ７０４では、トラッキング情報取得部２０２’が、Ｓ７０３で得られたトラッキング情報に基づき、前後のチャプタ間でチャプタオブジェクトの同定を行い、同定されたチャプタオブジェクトの一覧情報を生成する。具体的には、隣り合う２つのチャプタにおいて、前チャプタの最終フレームにおける各チャプタオブジェクトの位置と後チャプタの先頭フレームにおける各チャプタオブジェクトの位置を解析し、位置が近いもの同士を同一のオブジェクトとしてまず同定する。図８はチャプタオブジェクトの同定を説明する図である。図８に示すように、４つのチャプタに分割された場合は、チャプタ１と２の組、チャプタ２と３の組、チャプタ３と４の組について同定を行うことになる。図８の例では、チャプタオブジェクト１Ａ、チャプタオブジェクト２Ａ、チャプタオブジェクト３Ｂ、チャプタオブジェクト４Ｃが、同一のオブジェクトとして同定されている。同様に、チャプタオブジェクト１Ｂ、チャプタオブジェクト２Ｂ、チャプタオブジェクト３Ａ、チャプタオブジェクト４Ｂが、同一のオブジェクトとして同定されている。同様に、チャプタオブジェクト１Ｃ、チャプタオブジェクト２Ｃ、チャプタオブジェクト３Ｃ、チャプタオブジェクト４Ａが、同一のオブジェクトとして同定されている。同様に、チャプタオブジェクト１Ｄ、チャプタオブジェクト２Ｄが、同一のオブジェクトとして同定されている。こうして、複数のチャプタに亘って同一のオブジェクトとして同定されたチャプタオブジェクトを「グローバルオブジェクト」と呼ぶこととする。なお、チャプタ間でオブジェクトを同定する手法は上述した手法に限られるものではなく、例えばメッシュモデルの大きさ（表面積やポリゴン数）などを用いてもよい。そして、上記のようにして同定されたグローバルオブジェクトについて、前述の図５（ａ）に準じた一覧情報が生成される。すなわち、同定されたグローバルオブジェクトそれぞれを識別するオブジェクトインデックスが付与され、各オブジェクトインデックスと各フレームにおけるモデルインデックスとが対応付けられる。

Ｓ７０５では、図３のフローにおけるＳ３０４と同様、Ｓ７０４にて生成されたグローバルオブジェクト一覧情報がディスプレイ（出力デバイス１０９）に表示される。この際、各オブジェクトインデックスが示す代表的なメッシュモデル（例えば表面積が最大のもの）も併せて表示される。

Ｓ７０６では、メタデータ生成部２０３’が、グローバルオブジェクト一覧情報に記述された各グローバルオブジェクトに対して属性及びタグを設定して、フレームシーケンスに付加するメタデータを生成する。図３のフローにおけるＳ３０５と同様、オペレータがディスプレイに表示された一覧情報と代表的なメッシュモデルを参照し、「属性」としてヒトかモノか、「タグ」として名称や所属先などその詳細を示す情報を、キーボード等を操作して入力する。そして、入力結果に基づいて、「属性」と「タグ」の内容が、図９に示すように、オブジェクトインデックスによって識別されるグローバルオブジェクト毎に設定される。図９の例では、オブジェクトインデックス“００１”～“００４”がそれぞれの選手に対応し、オブジェクトインデックス“００５”がボールに対応している。この場合、オペレータは、“００１”～“００４”の各オブジェクトインデックスが示すグローバルオブジェクトに対しては、その「属性」として“ヒト”を指定する。さらに「タグ」として当該ヒト（選手）の氏名、所属するチーム名、背番号といった選手固有の情報を付記する。さらに“００５”のオブジェクトインデックスに対しては、その「属性」として“モノ”を指定し、さらに「タグ」としてそのオブジェクトが具体的に何であるかが分かる普通名詞（ここではボール）などの情報を付記する。これにより、「属性」や「タグ」の内容を指定するだけで該当するメッシュモデルを特定することが可能になる。こうして、グローバルオブジェクトのオブジェクトインデックス毎に設定された「属性」と「タグ」の情報がメタデータとして得られる。

Ｓ７０７では、ソーティング部６０２が、Ｓ７０３で得られたトラッキング情報に基づいて、各チャプタにおいて３Ｄモデルの順序を並べ替える処理を行う。本実施形態の並べ替え処理では、各チャプタオブジェクトに対応するメッシュモデルの表面積を推定し、表面積が大きいものから順に並ぶようにチャプタ内での順序を変更し、合わせてモデルインデックスも変更する。図１０は、前述の図４（ａ）に示す６つのフレームが１つのチャプタを形成すると仮定した場合において、並べ替え処理を行った結果を示している。ここで、複数のチャプタオブジェクトが互いに接触して１つのメッシュモデルで表現されている場合は、その表面積全体の中で最も割合が大きい方のチャプタオブジェクトに対応付ける。図１０の例においても、選手とボールが統合されているメッシュモデル１００１については、選手形状を表す部分の割合の方が大きいので、選手のチャプタオブジェクト側（モデルインデックス“００”）に対応付けられている。

Ｓ７０８では、チャプタメタデータ生成部６０３が、チャプタ単位での並べ替え処理が施された３Ｄモデルのメタデータを生成する。３Ｄモデルとしてメッシュモデルを採用する本実施形態の場合、以下のような処理を行う。まず、注目するチャプタを選択し、当該チャプタにおけるモデルインデックス毎に、ポリゴンの最大数、頂点の最大数、各フレームにおけるメッシュモデルの外接矩形を求め、各メッシュモデルに紐づくメタデータを生成する。図１１に、各メッシュモデルのメタデータとして生成される「チャプタメッシュモデルテーブル」のデータ構造を示す。図１１に示すチャプタメッシュモデルテーブルにおいて、“Ｂｂｏｘ”はメッシュモデルの外接矩形（バウンディングボックス）を意味し、モデルインデックスと対応付けられている。このようなチャプタメッシュモデルテーブルによって、メッシュモデルを効率的に描画することが可能になる。例えば、最大頂点数やポリゴン数によって、メッシュ処理のためのバッファサイズを把握することができる。また、フレーム毎の外接矩形によって、レンダリング時のカリング（あるオブジェクトが他のオブジェクトによって隠れていて仮想視点からは視認できないときに当該オブジェクトのレンダリングを無効にする技術）を効率的に行うことができる。さらに、チャプタメタデータ生成部６０３は、チャプタオブジェクトに対応するグローバルオブジェクトのインデックス、フレーム毎の三次元位置情報及びモデルインデックスを、各チャプタオブジェクトに紐づくメタデータとして生成する。この際、メッシュモデルが複数のオブジェクトに対応している場合はオブジェクトの統合状態を解析し、統合関係にあるオブジェクト同士の情報もメタデータに含ませる。図１２は、並べ替え処理後の注目チャプタ（前述の図１０を参照）の各チャプタオブジェクトに対するメタデータとして生成される「チャプタオブジェクトテーブル」のデータ構造を示す。図１２に示すように、チャプタオブジェクトからグローバルオブジェクトを把握するための付属情報“ＧＯ”や、統合関係になる場合における統合相手になる他のチャプタオブジェクトを把握するための付属情報“ＣＯＮＶ”が付加される。この場合において、“ＧＯ”にはグローバルオブジェクトのインデックスが記述され、“Ｃｏｎｖ”には統合される他のチャプタオブジェクトのインデックスが記述される。

Ｓ７０９では、映像出力部２０４が、Ｓ７０７にて並べ替え処理が施された各チャプタから成るフレームシーケンスに対しＳ７０６及びＳ７０８にて得られたメタデータを付加して出力する。

以上が、タイプ２のメタデータ付きボリュメトリックビデオを生成するための各部の動作と時系列の処理の流れである。

タイプ２のフォーマットを持つボリュメトリックビデオでは、チャプタ単位での分割管理が可能となり、また、チャプタ間でのオブジェクトの入れ替わりにも対処可能に３Ｄモデルを効率的に管理できる。さらには、各オブジェクトのトラッキング結果に基づいてメッシュモデルを整理し、各メッシュモデルにメタデータを付与することで、より効率的なレンダリングが可能となる。

＜オブジェクトの選択的再生＞
続いて、上述のパターン２の場合を例に、ボリュメトリックビデオに付加されたメタデータを利用して任意のオブジェクトを選択的に再生する方法について説明する。

図１３の（ａ）及び（ｂ）はオペレータが使用するＵＩ画面の一例を示す図、図１４は情報処理装置１００のソフトウェア構成（機能構成）を示すブロック図、図１５は選択的再生処理の流れを示すフローチャートである。図１４に示す各種機能はＣＰＵ１０１が専用のプログラムを実行することにより実現される。以下、ボリュメトリックビデオのメタデータを利用したオブジェクトの選択的再生について、図１４のブロック図と図１５のフローチャートを参照して説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ１５０１では、再生対象のボリュメトリックビデオのデータがＨＤＤ１０５等から読み込まれ、オペレータの指示に基づき、注目するチャプタの注目するフレームを映したユーザインタフェース画面（ＵＩ画面）がディスプレイに表示される。図１３（ａ）のＵＩ画面においてオペレータが、ボリュメトリックビデオを構成するチャプタの中から観たいチャプタを指定すると、指定チャプタ内の代表フレーム（例えば先頭フレーム）がＵＩ画面上に表示される。オペレータはマウス等を用いて、ＵＩ画面内に存在するオブジェクトの中から所望のオブジェクト（ここでは、属性が“ヒト”で、選手名が“後藤”、所属チームが“チームＡ”のオブジェクト１３０１）を選択する。

Ｓ１５０２では、入力デバイス１０７を介した任意のオブジェクトを選択するオペレータの操作情報が取得される。例えば、図１３（ａ）のＵＩ画面上に存在するオブジェクトの中から任意のオブジェクトに対しマウスオーバーした状態でクリック操作が行われることを検知すると、当該検知されたクリック操作の情報が取得される。

Ｓ１５０３では、選択モデル判定部１４０１が、Ｓ１５０２にて取得された操作情報に基づき、オペレータが選択したオブジェクトの３Ｄモデルを特定する。具体的には、操作情報が示す画素位置に対応するレイに衝突する最前面のメッシュモデルが、オペレータが選択したオブジェクトのメッシュモデルとして特定される。なお、予め選択条件を設定しておき、自動選択したオブジェクトのメッシュモデルを特定してもよい。

Ｓ１５０４では、描画モデル設定部１４０２が、Ｓ１５０３にて特定された３Ｄモデルのモデルインデックスに基づき、メインの描画対象となるグローバルオブジェクトを設定する。具体的には、メタデータとしての付属情報“ＧＯ”を参照して、Ｓ１５０３にて特定された３Ｄモデルのモデルインデックスのチャプタオブジェクトに対応するグローバルオブジェクトを、主たる描画対象のオブジェクトに設定する。

Ｓ１５０５では、描画モデル設定部１４０２が、注目チャプタ内の他のグローバルオブジェクトの中から、サブの描画対象となるグローバルオブジェクトを設定する。具体的には、メタデータとしての付属情報“Ｃｏｎｖ”を参照して、Ｓ１５０４にてメインの描画対象オブジェクトに設定されたグローバルオブジェクトと統合される関係にあるグローバルオブジェクトを、従たる描画対象のオブジェクトに設定する。

Ｓ１５０６では、カメラパス生成部１４０３が、オペレータが選択したオブジェクトを好適に視認可能な、注目チャプタ内での仮想視点の移動経路を示す情報（カメラパス）を生成する。カメラパスの生成においては、メインの描画対象に設定されたグローバルオブジェクトのメタデータ内の情報（オブジェクト位置、属性、メッシュモデルの外接矩形）を用いる。例えば、属性がヒトであれば、選択オブジェクトを正面から捉えたカメラパス、背後から捉えたカメラパス、当該ヒト（選手）の目線を再現するカメラパスなどをユーザ指示等に基づき選択して生成する。また、属性がボールであれば、例えば撮像空間の全体（例えばフィールド全面）を横から見るカメラパス、真上から見るカメラパス、ボールとゴールが常に画角内に収まるカメラパスなどをユーザ指示等に基づき生成する。或いは、不図示の仮想視点コントローラから仮想視点（仮想カメラ）の位置や姿勢を指定する操作情報をネットワークＩ／Ｆ１１０を介して受け取ってカメラパスを生成してもよい。

Ｓ１５０７では、描画部１４０４が、Ｓ１５０６にて生成されたカメラパスに従って、Ｓ１５０４及びＳ１５０５にて設定された描画対象のグローバルオブジェクトの３Ｄモデルを用いて描画処理を行う。図１３（ｂ）は、図１３（ａ）のＵＩ画面上で選手１３０１が選択された場合の描画結果の一例を示している。図１３（ｂ）の例では、注目チャプタにおいて相互に統合される瞬間が存在する選手のオブジェクト１３０１と１３０２及びボールのオブジェクト１３０３は描画・表示されている。しかしながら、他の選手やボールと統合される瞬間が存在しない選手のオブジェクト１３０４は、描画・表示されていない。ここでの統合とは、複数のオブジェクトが１つのメッシュモデルで表されることを意味している。そして、選択オブジェクトである選手のオブジェクト１３０１の属性とタグの情報がメタデータに基づき画面左上に表示されている。このように、注目チャプタにおいて、オペレータが選択したオブジェクトと統合される瞬間が存在する非選択オブジェクトについても描画・表示することで、違和感のある仮想視点画像となってしまうのを防ぐことができる。すなわち、選択オブジェクトとそれ以外のオブジェクトとが接触した瞬間のフレームだけ非選択オブジェクトが表示されると、その前のフレームでは存在しなかったオブジェクトが突然現れることになる。そのような映像は視聴者が大きな違和感を持つことから、これを防ぐため、上述のような描画・表示制御を行うことが望ましい。また、選択オブジェクトと統合される瞬間が存在する非選択オブジェクトについて、３Ｄモデルが統合されていない時間のフレームにおいては例えば半透明で描画・表示するなどして、選択オブジェクトが遮られないような工夫を行ってもよい。

以上が、パターン２のメタデータを付したボリュメトリックビデオを利用して任意のオブジェクトを選択的に再生する処理の流れである。

＜変形例＞
上述の実施形態では、メタデータ付きボリュメトリックビデオのデータが、オペレータのクライアント環境にあることを想定したシステム構成を説明したがこれに限定されない。例えば、データの実態がサーバ環境上にあり、オペレータの操作に応じてサーバ環境にて処理した結果を、オペレータ側のクライアントＰＣで受け取って視聴するようなシステム構成でもよい。また、任意のオブジェクトの選択的再生をクライアントＰＣで行うに当たってサーバからメッシュモデルを伝送する場合に、選択オブジェクトの３Ｄ形状データのみを伝送することで、通信負荷を低減することもできる。

以上のとおり本実施形態によれば、オブジェクトとメッシュモデルとを紐付けるメタデータを生成し、ボリュメトリックビデオのフレームシーケンスに付加して提供する。このようなフォーマットを持つボリュメトリックビデオデータでは、特定のオブジェクトの選択的な描画を仮想視点に応じて効率的に行うことができる。また、ある瞬間において複数のオブジェクトが１つの３Ｄモデルで表現されているようなケースにも柔軟に対応することが可能となる。

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２０１ 映像読込部
２０２ トラッキング情報取得部
２０３ メタデータ生成部
２０４ 映像出力部

Claims (20)

1. オブジェクトの形状データを含むフレームのシーケンスから成るボリュメトリックビデオデータを取得する取得手段と、
   前記形状データに対応するオブジェクトそれぞれのフレーム間における変化を示すトラッキング情報を取得する取得手段と、
   前記トラッキング情報に基づいて、前記オブジェクトそれぞれと各フレームにおける前記形状データとを関連付けるメタデータを生成する生成手段と、
   前記メタデータを含む前記ボリュメトリックビデオデータを出力する出力手段と、
   を有することを特徴とする情報処理装置。
2. 前記メタデータは、各フレームにおける前記形状データそれぞれを識別する第１のインデックスと前記オブジェクトそれぞれを識別する第２のインデックスとを、フレーム毎に対応付ける情報である、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記メタデータには、前記第２のインデックスで識別されるオブジェクトそれぞれの属性を示す情報がさらに含まれ、
   前記属性には、人物を表す属性と、人物以外の物体を表す属性とが含まれる、
   ことを特徴する請求項２に記載の情報処理装置。
4. 前記メタデータには、前記属性が同じであるオブジェクト同士を区別するための情報がさらに含まれる、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記シーケンスを、複数のフレームで構成されるチャプタに分割する分割手段をさらに有し、
   前記取得手段は、各チャプタについて、前記チャプタを構成する前記複数のフレームを対象に前記トラッキング情報を取得し、
   前記生成手段は、各チャプタについて取得された前記トラッキング情報に基づいて、前記チャプタを構成する複数のフレームにおける前記オブジェクトそれぞれを識別する第３のインデックスと前記第１のインデックスとを、前記チャプタを構成する各フレームに対応付ける情報を、前記メタデータとして生成する、
   ことを特徴とする請求項２乃至４のいずれか一項に記載の情報処理装置。
6. 前記生成手段は、
   前記チャプタ間で前記オブジェクトの同定を行い、
   前記チャプタ間で同定された前記オブジェクトそれぞれを識別する第４のインデックスと前記第３のインデックスとを紐付ける情報を、前記メタデータとして生成する、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記チャプタ間で同定された前記オブジェクトそれぞれに対応する前記形状データの前記チャプタ内での順序を並べ替えるソーティング手段をさらに有することを特徴とする請求項６に記載の情報処理装置。
8. 前記ソーティング手段は、前記形状データが表す三次元形状の表面積の大きさの順に並べ替えることを特徴とする請求項７に記載の情報処理装置。
9. 前記生成手段は、前記形状データが複数のオブジェクトが統合された状態の三次元形状を表している場合、統合関係にあるオブジェクト同士の情報を、前記メタデータとして生成することを特徴とする請求項６乃至８のいずれか一項に記載の情報処理装置。
10. 前記形状データは、前記オブジェクトの三次元形状をポリゴンの集合で表現したメッシュデータであり、
    前記生成手段は、メッシュを構成する頂点の最大数又はポリゴンの最大数の少なくとも一方の情報を前記メタデータとして生成することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。
11. 前記生成手段は、前記メッシュの各フレームにおける外接矩形の情報を前記メタデータとして生成することを特徴とする請求項１０に記載の情報処理装置。
12. 請求項１乃至１１のいずれか一項に記載の情報処理装置から提供された前記ボリュメトリックビデオデータに基づき、特定のオブジェクトを選択する選択手段と、
    前記ボリュメトリックビデオデータに付された前記メタデータに基づき、選択された前記特定のオブジェクトを少なくとも含む１または複数のオブジェクトを、描画対象に設定する設定手段と、
    前記ボリュメトリックビデオデータに付された前記メタデータに基づき、前記描画対象に設定された前記１または複数のオブジェクトに紐付く前記形状データを用いて描画する描画手段と、
    を有することを特徴とする情報処理装置。
13. 前記選択手段は、前記ボリュメトリックビデオデータを構成するフレームのシーケンスのうち任意のフレームの画像を表示したユーザインタフェース画面において、オペレータが指定した画素位置に対応するオブジェクトを選択する、ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記設定手段は、前記選択手段が選択した前記特定のオブジェクトが他のオブジェクトと統合関係にあることを示す情報が前記メタデータに含まれている場合、前記特定のオブジェクト及び当該他のオブジェクトを前記描画対象に設定することを特徴とする請求項１２又は１３に記載の情報処理装置。
15. 前記選択手段が選択した前記特定のオブジェクトを好適に視認可能な仮想視点の移動経路を示すカメラパスを生成するカメラパス生成手段をさらに有し、
    前記描画手段は、生成された前記カメラパスに基づき、前記描画を行う、
    ことを特徴とする請求項１２乃至１４のいずれか一項に記載の情報処理装置。
16. 前記カメラパス生成手段は、前記選択手段が選択した前記特定のオブジェクトに関する前記メタデータに含まれる当該オブジェクトの三次元位置、属性、前記形状データが示す三次元形状の外接矩形の情報うち少なくとも１つの情報に基づき、前記カメラパスを生成することを特徴とする請求項１５に記載の情報処理装置。
17. 前記カメラパス生成手段は、前記属性がヒトである場合、前記選択手段が選択した前記特定のオブジェクトを正面から捉えたカメラパス、背後から捉えたカメラパス、当該ヒトの目線を再現するカメラパスのいずれかを生成することを特徴とする請求項１６に記載の情報処理装置。
18. 前記カメラパス生成手段は、前記属性がモノである場合、撮像空間の全体を横から見るカメラパス、真上から見るカメラパス、当該モノと他の特定のモノとが常に画角内に収まるカメラパスのいずれかを生成することを特徴とする請求項１６に記載の情報処理装置。
19. オブジェクトの形状データを含むフレームのシーケンスから成るボリュメトリックビデオデータを読み込む読込ステップと、
    前記形状データに対応するオブジェクトそれぞれのフレーム間の推移を示すトラッキング情報を取得する取得ステップと、
    前記トラッキング情報に基づいて、前記オブジェクトそれぞれと各フレームにおける前記形状データとを紐づけるメタデータを生成する生成ステップと、
    前記メタデータを付した前記ボリュメトリックビデオデータを出力する出力ステップと、
    を有することを特徴とする情報処理方法。
20. コンピュータを、請求項１乃至１８のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Images