WO2023085139A1 - データ処理装置、データ処理方法、およびプログラム - Google Patents

Abstract

本開示は、ボリュメトリックコンテンツの視聴に付加価値を与えることができるようにするデータ処理装置、データ処理方法、およびプログラムに関する。 編集受付部は、ユーザの操作に応じてボリュメトリック画像の編集を受け付け、データ生成部は、編集されたボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する。本開示は、ボリュメトリックコンテンツを編集可能なアプリケーションに適用することができる。

Description

データ処理装置、データ処理方法、およびプログラム

　本開示は、データ処理装置、データ処理方法、およびプログラムに関し、特に、ボリュメトリックコンテンツの視聴に付加価値を与えるようにしたデータ処理装置、データ処理方法、およびプログラムに関する。

　複数のカメラにより撮影した映像に基づいて、実際にはカメラが置かれていない仮想視点からの映像視聴を可能とする自由視点映像技術が知られている。例えば、特許文献１には、自由視点映像のリプレイ映像を低負荷で構築・再生する技術が開示されている。

　近年、空間全体を三次元データ化するボリュメトリックビデオ技術は、スポーツや音楽、エンタテインメントなどの様々な分野に活用の幅が広げられている。

特開２０１９－１４５０１７号公報

　現状、ボリュメトリックビデオ技術により提供されるボリュメトリックコンテンツを視聴する場合において、視聴者の視点や見解を、そのコンテンツに反映させることはできなかった。

　本開示は、このような状況に鑑みてなされたものであり、ボリュメトリックコンテンツの視聴に付加価値を与えることできるようにするものである。

　本開示のデータ処理装置は、ユーザの操作に応じてボリュメトリック画像の編集を受け付ける編集受付部と、編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成するデータ生成部とを備えるデータ処理装置である。

　本開示のデータ処理方法は、データ処理装置が、ユーザの操作に応じてボリュメトリック画像の編集を受け付け、編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成するデータ処理方法である。

　本開示のプログラムは、コンピュータに、ユーザの操作に応じてボリュメトリック画像の編集を受け付け、編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する処理を実行させるためのプログラムである。

　本開示においては、ユーザの操作に応じてボリュメトリック画像の編集が受け付けられ、編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データが生成される。

本開示に係る技術を適用したコンテンツ提供サービスの概要を示す図である。 本開示の実施の形態に係るデータ処理システムの構成例を示す図である。 エディタの機能について説明する図である。 エディタの動作の流れについて説明するフローチャートである。 エディット画面の例を示す図である。 ＳＮＳ対応データのフォーマットの例を示す図である。 Ｗｅｂアプリケーションとしてのエディタの例を示す図である。 ＳＮＳ対応データの活用例について説明する図である。 視点位置の例を示す図である。 視点位置の指定手段の例を示す図である。 視点位置の指定手段の例を示す図である。 再生区間と再生速度の指定について説明する図である。 付与情報の例を示す図である。 付与情報の例を示す図である。 エフェクト画像の例を示す図である。 エフェクト画像の例を示す図である。 編集内容の制限の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

　１．コンテンツ提供サービスの概要
　２．データ処理システムの構成と動作
　３．編集情報の具体例
　４．コンピュータの構成例

＜１．コンテンツ提供サービスの概要＞
　図１は、本開示に係る技術を適用したコンテンツ提供サービスの概要を示す図である。

　図１に示されるコンテンツ提供サービスにおいては、ユーザＵ１が、ボリュメトリックコンテンツを所望のアングル（視点）から視聴するとともに、そのコンテンツにコメントなどを付与してＳＮＳ（Social Networking System）に投稿することができる。一方、ユーザＵ２は、ユーザＵ１独自の視点でのコンテンツを、そのＳＮＳを介して手軽に視聴することができる。

　ユーザＵ１は、例えば、特定のスポーツや音楽などに精通したコアなファンであり、ユーザＵ２は、それらスポーツや音楽などに興味のある一般的なファンである。

　図１に示されるコンテンツ提供サービスにおいて、例えば、ユーザＵ１が、自身のスマートフォンにインストールされているスポーツニュースアプリケーション（アプリ）により閲覧できるニュースコンテンツ内の画像Ｎ１０を選択（クリック）する。そうすると、ユーザＵ１のスマートフォンにおいて、ボリュメトリックコンテンツを編集するためのボリュメトリックエディタ（以下、単にエディタともいう）が起動する。

　画像Ｎ１０が、あるスポーツの試合の一場面を写したものである場合、画像Ｎ１０が選択されることで、そのスポーツの試合を複数台のカメラにより撮影することで生成されたボリュメトリックコンテンツが、所定のコンテンツサーバからダウンロードされる。ユーザＵ１は、エディタが起動することでスマートフォン上に表示されるエディット画面を操作することで、コンテンツサーバからダウンロードされたボリュメトリックコンテンツを編集することができる。具体的には、ユーザＵ１は、ボリュメトリックコンテンツの視点位置を指定したり、ボリュメトリックコンテンツに対してコメントを付与したりできる。

　ボリュメトリックコンテンツの編集が完了すると、エディタは、編集されたボリュメトリックコンテンツのフォーマットを、ＳＮＳに投稿可能なファイル形式に変換し、得られた変換データ（ＳＮＳ対応データ）を、ＳＮＳサーバに送信する。

　ユーザＵ２は、自身のスマートフォンにおいてＳＮＳにアクセスすることで、ユーザＵ１が編集したボリュメトリックコンテンツＰ２０を、ユーザＵ１が入力したテキストデータとともに閲覧することができる。

　このように、本開示に係る技術を適用したコンテンツ提供サービスにおいては、ユーザＵ１は、例えばあるスポーツに対する独自の視点や見解を発信することができ、ユーザＵ２は、そのスポーツに対する理解を深めることができる。すなわち、本開示に係る技術によれば、ボリュメトリックコンテンツの視聴に付加価値を与えることができる。

＜２．データ処理システムの構成と動作＞
　以下においては、図１のコンテンツ提供サービスを実現するデータ処理システムの構成と動作について説明する。

（データ処理システムの全体構成）
　図２は、本開示の実施の形態に係るデータ処理システムの構成例を示す図である。

　図２のデータ処理システム１０は、コンテンツサーバ１００、ユーザ端末２００、およびＳＮＳサーバ３００を含むように構成される。

　データ処理システム１０において、ユーザ端末２００は、インターネットなどのネットワークＮＷを介して、いわゆるクラウド上に構築されたコンテンツサーバ１００やＳＮＳサーバ３００と接続される。

　コンテンツサーバ１００は、ボリュメトリックコンテンツをユーザ端末２００に配信する配信サーバとして構成される。コンテンツサーバ１００は、コンテンツ管理部１１０とコンテンツ配信部１２０を備えている。

　コンテンツ管理部１１０は、スポーツや音楽、エンタテインメントなどの様々な分野において生成された自由視点映像であるボリュメトリックコンテンツを蓄積し、管理する。

　コンテンツ配信部１２０は、ユーザ端末２００からの要求に応じて、コンテンツ管理部１１０によって管理されているボリュメトリックコンテンツを、ユーザ端末２００に対して配信する。

　ユーザ端末２００は、ボリュメトリックコンテンツを視聴可能なスマートフォンなどの携帯端末として構成され、ボリュメトリックコンテンツを編集するためのエディタがインストールされている。ユーザ端末２００（エディタ）は、コンテンツ受信部２１０、レンダリング部２２０、編集受付部２３０、データ生成部２４０、データ送信部２５０、および蓄積制御部２６０を含むように構成される。

　コンテンツ受信部２１０は、ユーザ端末２００に対するユーザの所定の操作を起動トリガとして、コンテンツサーバ１００に対して、ボリュメトリックコンテンツを要求する。コンテンツ受信部２１０は、要求に応じてコンテンツサーバ１００から配信されてくるボリュメトリックコンテンツを受信し、レンダリング部２２０に供給する。

　レンダリング部２２０は、コンテンツ受信部２１０からのボリュメトリックコンテンツをレンダリングする。レンダリングされたボリュメトリックコンテンツとしての三次元画像データ（以下、ボリュメトリック画像という）は、編集受付部２３０に供給される。

　編集受付部２３０は、ユーザ端末２００に対するユーザの操作に応じて、レンダリング部２２０からのボリュメトリック画像の編集を受け付ける。ボリュメトリック画像の編集には、上述したような、ボリュメトリックコンテンツの視点位置の指定や、ボリュメトリックコンテンツに対するコメントの付与などが含まれる。編集されたボリュメトリック画像は、データ生成部２４０と蓄積制御部２６０に供給される。

　データ生成部２４０は、編集受付部２３０からの編集後のボリュメトリック画像を、他の装置において出力可能なフォーマットに変換した変換データを生成する。

　具体的には、変換データのフォーマットは、動画像、静止画像、および、独自に定義された所定のファイル形式などを含み、所定のＳＮＳに投稿可能なファイル形式とされる。すなわち、変換データは、ＳＮＳの対応フォーマットに変換されたＳＮＳ対応データともいえる。データ生成部２４０により生成されたＳＮＳ対応データは、データ送信部２５０に供給される。

　データ送信部２５０は、ユーザ端末２００に対するユーザの操作に応じて、データ生成部２４０からのＳＮＳ対応データを、ネットワークＮＷを介して、ＳＮＳサーバ３００に送信する。

　蓄積制御部２６０は、編集受付部２３０からの編集後のボリュメトリック画像を、図示せぬ記憶領域に蓄積する。当該記憶領域に蓄積された編集後のボリュメトリック画像は、ユーザ端末２００のユーザによって改めて視聴されたり、再編集されたりする。

　ＳＮＳサーバ３００は、ＳＮＳを提供するＳＮＳ運営会社により管理され、当該ＳＮＳ運営会社のＳＮＳを提供可能に構成される。ＳＮＳとしては、ユーザ端末２００を含む携帯端末に、ＳＮＳ運営会社が提供しているＳＮＳアプリがインストールされ、各携帯端末のユーザ同士が、個々にメッセージや画像などを送受できるものであればよい。ＳＮＳサーバ３００は、データ受信部３１０とＳＮＳ処理部３２０を備えている。

　データ受信部３１０は、ネットワークＮＷに接続された携帯端末から、ＳＮＳに投稿されるメッセージや画像などの投稿データを受信する。データ受信部３１０により取得される投稿データには、ユーザ端末２００からのＳＮＳ対応データ（フォーマット変換されたボリュメトリック画像）も含まれる。

　ＳＮＳ処理部３２０は、ネットワークＮＷに接続された携帯端末に対して、データ受信部３１０が受信した投稿データに基づいて、ＳＮＳサービスを提供する。

　ＳＮＳサービスのユーザに対しては、個人的な日記や写真を公開したり、掲示板を介して他の会員と交流したりする場が、ネットワークＮＷ上で提供される。また、ユーザ間で意思の疎通を図るためのツールとして、メッセージ交換サービスやチャットサービスなども提供される。

　以上のような構成により、ユーザ端末２００のユーザは、自身が編集したボリュメトリック画像をＳＮＳに投稿することができる。

　なお、ユーザ端末２００は、スマートフォンなどの携帯端末に限らず、ユーザの身体に装着されるＨＭＤ型やゴーグル型などのＶＲデバイスやＡＲデバイス、据え置き型のＰＣなど、操作手段を備える表示デバイスで構成されてもよい。

（エディタの機能）
　ここで、図３を参照して、ユーザ端末２００にインストールされるエディタの機能について説明する。

　Ａ図に示されるように、エディタは、ユーザ端末２００に対するユーザの操作に応じた編集を受け付けることで、ボリュメトリック画像に反映される編集内容を表す編集情報を生成する。

　エディタは、生成された編集情報に基づいて、ボリュメトリック画像に対する編集処理を実行する。

　エディタは、編集結果としての編集後のボリュメトリック画像のフォーマットを変換することで、ＳＮＳ対応データを生成する。

　ボリュメトリック画像に対する編集処理は、エディタがインストールされたユーザ端末２００上ではなく、ユーザ端末２００とネットワークＮＷを介して接続される外部サーバ上で実行されてもよい。

　この場合、Ｂ図に示されるように、エディタは、ユーザ端末２００に対するユーザの操作に応じた編集を受け付けることで生成した編集情報を、外部サーバに送信する。

　外部サーバは、エディタからの編集情報に基づいて、ボリュメトリック画像に対する編集処理を実行し、編集結果としての編集後のボリュメトリック画像を、エディタに送信する。

　エディタは、外部サーバからの編集結果（編集後のボリュメトリック画像）のフォーマットを変換することで、ＳＮＳ対応データを生成する。

　Ｂ図の構成によれば、ユーザ端末２００上でボリュメトリック画像に対する編集処理を実行する必要がなくなるので、ユーザ端末２００の処理負荷を低減させることができる。

（エディタの動作）
　次に、図４のフローチャートを参照して、ユーザ端末２００におけるエディタの動作の流れについて説明する。図４の処理は、例えば図１を参照して説明したような、Ｗｅｂサイトとしてのニュースコンテンツを閲覧可能な、ユーザ端末２００にインストールされているスポーツニュースアプリ（専用アプリケーション）や、Ｗｅｂブラウザが起動している状態で開始される。

　ステップＳ１において、ユーザ端末２００は、エディタの起動トリガが発生したか否かを判定する。エディタの起動トリガは、例えばユーザが閲覧するコンテンツに対する操作とされ、図１の例においては、スポーツニュースアプリにより閲覧できるニュースコンテンツ内の画像Ｎ１０のクリックなどとされる。

　すなわち、エディタは、ユーザ端末２００にインストールされているネイティブアプリケーションで構成され、ユーザが閲覧するコンテンツ（図１の例では、ニュースコンテンツ）に埋め込まれた指定情報に基づいて起動する。

　例えば、ユーザにより閲覧されているニュースコンテンツがＨＴＭＬ（HyperText Markup Language）で記述されている場合、<a href="エディタ"><img src="画像Ｎ１０のファイル名"></a>のようなタグが記述されるようにする。この場合、ニュースコンテンツ内の画像Ｎ１０がクリックされることで、エディタを起動させることができる。

　また、指定情報には、コンテンツサーバ１００において管理されているボリュメトリックコンテンツへのリンク情報も含まれるようにする。

　さて、ステップＳ１は、起動トリガが発生するまで繰り返され、起動トリガが発生するとステップＳ２に進む。

　ステップＳ２において、コンテンツ受信部２１０は、コンテンツサーバ１００に対して、起動トリガに対応したボリュメトリックコンテンツを要求することで、当該ボリュメトリックコンテンツを取得する。

　ステップＳ３において、レンダリング部２２０は、コンテンツサーバ１００から取得されたボリュメトリックコンテンツをレンダリングする。

　ステップＳ４において、編集受付部２３０は、ユーザ端末２００に対するユーザの操作に応じて、レンダリングされたボリュメトリック画像の編集を受け付ける。ボリュメトリック画像の編集は、エディタの起動に応じてユーザ端末２００上に表示されるエディット画面において受け付けられる。

　図５は、エディット画面の例を示す図である。

　図５のエディット画面ＥＳには、モデルＭＬを主な被写体（観察対象）としたボリュメトリック画像が表示されている。図５の例では、モデルＭＬは野球のピッチャーとされ、ユーザは、ボリュメトリック画像においてモデルＭＬが投球する様子を、様々な視点位置から視聴することができる。

　また、図５のエディット画面ＥＳには、ボリュメトリック画像を編集するためのＧＵＩ（Graphical User Interface）が表示されている。図５の例では、エディット画面ＥＳ上に、ボタンＢ３１，Ｂ３２，Ｂ３３と、タイムラインＴＬ３４が表示されている。これらのＧＵＩは、エディット画面ＥＳにおいてボリュメトリック画像に重畳されるようにして表示されているが、ボリュメトリック画像の表示領域と区別された領域に表示されてもよい。

　ボタンＢ３１は、ボリュメトリック画像の視点位置を、あらかじめ指定されたおすすめ視点位置に変更するためのＧＵＩである。

　ボタンＢ３２は、ボリュメトリック画像の視点位置を、ボリュメトリック画像で再現される三次元空間内に配列されたバルーンの位置に変更するためのＧＵＩである。詳細は後述するが、ボタンＢ３２が操作されることで、これらのバルーンが、ボリュメトリック画像で再現される三次元空間内で、例えば立方格子上に配列されるようにして表示される。

　ボタンＢ３３は、ボリュメトリック画像の再生速度を調整するためのＧＵＩである。例えば、ボタンＢ３３が操作される度に、ボリュメトリック画像の再生速度が、段階的に変化する。

　タイムラインＴＬ３４は、ボリュメトリック画像の総再生時間における、現時点での時間的な位置を示すためのＧＵＩである。タイムラインＴＬ３４においては、現時点での時間的な位置を示すカーソルＣ３４が、時間の経過とともに、タイムラインＴＬ３４上を移動するようにして表示される。

　ユーザは、エディット画面ＥＳにおいて、これらのＧＵＩを操作することで、ボリュメトリック画像の視点位置を指定したり、ボリュメトリック画像に対してコメントを付与したりすることができる。ボリュメトリック画像に対するコメントの付与は、例えば、再生が一時停止されたボリュメトリック画像上で、ユーザによって指定された位置に対して、所定のテキストエディタによりテキストが入力されたり、発話内容がテキスト変換されたりすることで行われる。

　図４のフローチャートに戻り、ステップＳ５において、編集受付部２３０は、ボリュメトリック画像の編集が完了したか否かを判定する。ボリュメトリック画像の編集の完了は、例えば図示せぬ編集完了ボタンが操作された否かによって判定される。

　ボリュメトリック画像の編集が完了したと判定されるまで、ステップＳ４，Ｓ５は繰り返され、ボリュメトリック画像の編集が完了したと判定されるとステップＳ６に進む。

　ステップＳ６において、データ生成部２４０は、編集されたボリュメトリック画像のフォーマットを変換することでＳＮＳ対応データを生成する。

　そして、ステップＳ７において、データ送信部２５０は、生成されたＳＮＳ対応データをＳＮＳサーバ３００に送信する。

　このようにして、ユーザ端末２００のユーザは、自身が編集したボリュメトリック画像をＳＮＳに投稿することができる。

　図６は、ＳＮＳに投稿されるＳＮＳ対応データのフォーマットの例を示す図である。

　図６左側に示されるＳＮＳ対応データＰ５０は、静止画像である。ＳＮＳ対応データＰ５０は、ボリュメトリック画像において指定された時間と視点位置の静止画像であって、ユーザによって指定された位置にポインタＰＴ５１とコメントＣＭ５２が付与された静止画像である。この例では、ボリュメトリック画像におけるモデルの手に対応する位置にポインタＰＴ５１が付与されるとともに、そのモデルの手に対するコメントＣＭ５２が付与されている。

　図６右側に示されるＳＮＳ対応データＰ６０は、動画像である。ＳＮＳ対応データＰ６０は、ボリュメトリック画像において指定された時間区間と、その間において指定された視点位置の動画像であって、ユーザによって指定された位置にポインタＰＴ６１とコメントＣＭ６２が付与された動画像である。この例では、ボリュメトリック画像におけるモデルの脚（膝）に対応する位置にポインタＰＴ６１が付与されるとともに、そのモデルの膝に対するコメントＣＭ６２が付与されている。また、ＳＮＳ対応データＰ６０には、動画像を再生するための再生ボタンＢ６３が重畳されている。

　なお、図６に示されるＳＮＳ対応データＰ５０やＳＮＳ対応データＰ６０には、ポインタやコメントに加えて、所定のエフェクト画像が合成されてもよい。

　また、上述したように、ＳＮＳ対応データのフォーマットは、独自に定義された所定のファイル形式であってもよい。このようなファイル形式のＳＮＳ対応データは、専用のアプリケーションを用いて表示されたり、再生されたりする。このようなＳＮＳ対応データにおいても、ボリュメトリック画像において時間と視点位置が指定されたり、ユーザに指定された位置にポインタやコメント、エフェクト画像が付与されたりすることができる。

　以上の処理によれば、ユーザ端末２００のユーザは、例えばあるスポーツに対する独自の視点や見解を、ＳＮＳを通じて発信することができ、そのＳＮＳのユーザは、そのスポーツに対する理解を深めることができる。すなわち、本開示に係る技術によれば、ボリュメトリックコンテンツの視聴に付加価値を与えることが可能となる。

　なお、以上においては、エディタは、ユーザ端末２００にインストールされているネイティブアプリで構成され、コンテンツに埋め込まれた指定情報に基づいて、ユーザ端末２００上で起動するものとした。

　これ以外にも、図７に示されるように、エディタは、Ｗｅｂアプリケーションで構成され、コンテンツに埋め込まれた状態で動作するようにしてもよい。図７の例では、例えば、ユーザ端末２００にインストールされているスポーツニュースアプリにより閲覧できるニュースコンテンツ内に、エディタがインラインで埋め込まれており、ニュースコンテンツ上にエディット画面ＥＳが表示されている。

　また、図８に示されるように、ＳＮＳに投稿されたボリュメトリックコンテンツＰ２０が、そのＳＮＳを閲覧する一般的なファンによって選択（クリック）されることで、ユーザ端末２００においてエディタの起動トリガとなったスポーツニュースアプリが起動したり、当該エディタが起動したりしてもよい。この場合、一般的なファンであるユーザの携帯端末にも、スポーツニュースアプリやエディタがインストールされていることが前提となる。

＜３．編集情報の具体例＞
　上述したように、エディタは、ボリュメトリック画像に反映される編集内容を表す編集情報を生成し、その編集情報に基づいて、ボリュメトリック画像に対する編集処理を実行する。以下においては、編集情報の具体例について説明する。

（視点情報）
　編集情報は、ボリュメトリック画像における１または複数に視点位置を指定する視点情報を含むことができる。

　視点情報は、ユーザが、自由視点映像であるボリュメトリック画像に対して、他のユーザにおすすめしたい視点位置（視点の方向とアングル）を指定することで生成される。

　図９は、視点位置の例を示す図である。

　図９には、ボリュメトリック画像における主な被写体（観察対象）であるモデルＭＬを臨む視点位置の例が示されている。

　視点位置１は、モデルＭＬの右側方からモデルＭＬを臨む視点位置である。視点位置１が指定されることで、モデルＭＬを右側方から画角内に収めた静止画像または動画像であるＳＮＳ対応データＰ７０－１が生成される。

　視点位置２は、モデルＭＬの右前方からモデルＭＬを臨む視点位置である。視点位置２が指定されることで、モデルＭＬを右前方から画角内に収めた静止画像または動画像であるＳＮＳ対応データＰ７０－２が生成される。

　視点位置３は、モデルＭＬの動作に追従する視点位置であって、ボリュメトリック画像におけるモデルＭＬやその部位の位置がトラッキング可能な場合に指定可能とされる。視点位置３が指定されることで、動きのあるモデルＭＬを追従しながら画角内に収めた動画像であるＳＮＳ対応データＰ７０－３が生成される。

　視点位置１や視点位置２のような視点位置は、ユーザ端末２００やエディット画面ＥＳに対するユーザの操作により、指定したり変更したりすることができる。

　例えば、図１０のＡ図に示されるように、ユーザ端末２００の画面上にｘｙ平面を定義したとする。この場合、ｘ軸まわりの回転（ピッチ）とｙ軸まわりの回転（ヨー）によるユーザ端末２００の傾きに合わせて、同Ｂ図に示されるように、ボリュメトリック画像における仮想カメラの位置（視点位置）を回転移動させるようにする。さらに、ユーザ端末２００の画面に対するスワイプやピンチイン・ピンチアウトなどのタッチ操作に応じて、ボリュメトリック画像における仮想カメラの位置（視点位置）を平行移動させるようにしてもよい。

　また、上述したエディット画面ＥＳのボタンＢ３２が操作されることで、図１１に示されるように、ボリュメトリック画像で再現される三次元空間内に、バルーンＢＬＮが配置されるようにする。バルーンＢＬＮは、例えば観察対象であるモデルＭＬの周囲に均等に配置される。この場合、ユーザによりタッチされたバルーンＢＬＮの位置に、ボリュメトリック画像における仮想カメラの位置（視点位置）を移動させるようにする。このとき、タッチされたバルーンＢＬＮの位置がいかなる位置であっても、視点の方向は、モデルＭＬに向かう方向とされる。

　以上のようにして、ユーザは、ボリュメトリック画像に対して視点位置を指定することができる。

　なお、ボリュメトリック画像（元のボリュメトリックコンテンツ）に、ユーザの属性と視点情報とを対応付ける対応情報が、メタ情報として付加されるようにしてもよい。この場合、ボリュメトリック画像を編集するユーザの属性に応じて、視点位置が指定されたり推薦されたりする。

（再生情報）
　編集情報は、ボリュメトリック画像における再生区間および再生速度の少なくともいずれかを指定する再生情報を含むことができる。

　再生情報は、ユーザが、ボリュメトリック画像（元のボリュメトリックコンテンツ）に対して、投稿したい再生区間を指定したり、指定された再生区間における再生速度（スロー再生、高速再生など）を指定することで生成される。

　図１２は、再生区間と再生速度の指定について説明する。

　図１２の例では、総再生時間が６０秒のボリュメトリック画像（元のボリュメトリックコンテンツ）に対して、再生開始１０秒から３０秒までの２０秒間が、ＳＮＳ投稿に用いる再生区間として指定されている。また、指定された再生区間のうち、序盤３分の１と終盤３分の１の再生速度が通常再生（×１．０倍）に指定され、中盤３分の１の再生速度がスロー再生（×０．２倍）に指定されている。

　以上のようにして、ユーザは、ボリュメトリック画像に対して再生区間や再生速度を指定することができる。

（付与情報）
　編集情報は、ボリュメトリック画像における物体に付与される付与情報を含むことができる。

　付与情報は、ユーザが、ボリュメトリック画像（元のボリュメトリックコンテンツ）において時間を指定したり、指定したその時間の物体において領域を指定したりすることで生成される。

　付与情報は、テキスト、静止画像や動画像、音声など、ユーザがコメントとしてボリュメトリック画像に付加したい情報であればよい。また、付与情報の付与対象となる物体は、例えば、ボリュメトリック画像において観察対象となる人物などの動物体であってもよいし、観察対象の周囲に存在する静止物体であってもよい。

　図１３は、付与情報の例を示す図である。

　図１３のエディット画面ＥＳ’には、バスケットボールのゲームの様子を撮影したボリュメトリック画像が表示されている。エディット画面ＥＳ’においては、ユーザにより指定された時間のボリュメトリック画像が表示されているものとする。

　図１３の例では、バスケットボールコートにおける１人の選手（人物）に対して、付与情報としてのコメントＣＭ９１が付与され、他の１人の選手（人物）に対して、付与情報としての静止画像ＰＩＣ９２が付与されている。また、バスケットボールコートに設置されているゴールに対して、付与情報としてのコメントＣＭ９３が付与されている。この例において、コメントＣＭ９１と静止画像ＰＩＣ９２は、動物体に付与された付与情報であり、コメントＣＭ９３は、静止物体に付与された付与情報である。

　また、付与情報は、動物体や静止物体などの物体全体に付与される以外にも、動物体や静止物体などの物体において指定された領域（特定部位）に付与されるようにもできる。しかしながら、付与対象となる動物体に動きがある場合、その動物体の特定部位に付与情報を付与することは容易ではない。

　この場合、ボリュメトリック画像において時間を指定した上で、その時間の動物体において領域（特定部位）を指定することで、その動物体の特定部位に付与情報を付与することができる。これにより、図６を参照して説明したＳＮＳ対応データＰ５０やＳＮＳ対応データＰ６０のように、動物体であるモデルの手や膝に対して、コメントなどの付与情報を付与することが可能となる。

　さらに、ボリュメトリック画像におけるモデルなどの動物体やその特定部位の位置がトラッキング可能な場合、その位置に追従するようにして、付与情報が付与されるようにしてもよい。

　図１４は、付与情報の他の例を示す図である。

　図１４のエディット画面ＥＳ’’には、ダンスをしているモデルＭＬを主な被写体（観察対象）としたボリュメトリック画像が表示されている。エディット画面ＥＳ’’においては、モデルＭＬの左右の手がトラッキングされており、トラッキングされていることを示す球状のアイコン画像ＩＣ１１１，ＩＣ１１２が、モデルＭＬの左右の手それぞれの位置に追従して表示されているものとする。

　さらに、図１４の例では、付与情報の付与対象としたいモデルＭＬの右手（アイコン画像ＩＣ１１１）がユーザにより選択されることで、その右手の位置に追従する付与情報として、旗画像ＦＬ１２１が付与されている。

　また、ボリュメトリック画像（元のボリュメトリックコンテンツ）に、トラッキング可能なモデルなどの動物体の特定部位（付与情報が付与可能な領域）を示す部位情報が、メタ情報として付加されるようにしてもよい。この場合、図１４のエディット画面ＥＳ’’の右上に示されるように、部位情報のリストが表示され、対応する部位に所望の付与情報を表す入力情報を入力することで、付与対象としたい部位の位置に追従するようにして、付与情報が付与されるようにもできる。

（エフェクト画像）
　編集情報は、ボリュメトリック画像に合成されるエフェクト画像を含むことができる。

　エフェクト画像は、上述したコメントなどの付与情報の内容を、より効果的に、かつ、直感的に表現する目的で生成される。

　例えば、図１５のエディット画面ＥＳに表示されているボリュメトリック画像においては、モデルＭＬの形状に対応したエフェクト画像ＥＰ１３１が、ボリュメトリック画像に重畳されている。図１５の例では、エフェクト画像ＥＰ１３１は、炎のエフェクト画像とされ、モデルＭＬである野球のピッチャーの気持ちの高まりを演出するような場合に利用することができる。

　また、図１６のエディット画面ＥＳに表示されているボリュメトリック画像においては、指定された特定の時間における特定の位置に対するエフェクト画像ＥＰ１３２が、ボリュメトリック画像に重畳されている。図１６の例では、エフェクト画像ＥＰ１３２は、モデルＭＬの手の動きに追従して弧を描く炎のエフェクト画像とされ、モデルＭＬである野球のピッチャーの投球フォームを豪快に見せるような演出する場合に利用することができる。

　なお、エフェクト画像としては、炎以外のエフェクト画像や、モデルＭＬの分身を表現した分身画像などが用意されていてもよい。

　上述した編集情報は、ＳＮＳに投稿されたＳＮＳ対応データの視聴者となるＳＮＳのユーザ（一般的なファン）の属性に応じたデータセットとして用意されてもよい。この場合、ユーザ端末２００のユーザが自身の視点や見解を発信したい一般的なファンに合わせて、ボリュメトリック画像に反映される編集内容が切り替わるようになる。これにより、ユーザ端末２００のユーザは、ＳＮＳを通じて、より的確に自身の視点や見解を発信することができる。

（編集内容の制限）
　以上においては、ボリュメトリック画像に反映される編集内容を表す編集情報の具体例について説明した。しかしながら、ボリュメトリック画像（ボリュメトリックコンテンツ）によっては、編集内容に制限を設けることが求められるケースも考えられる。

　そこで、上述したような各種の編集情報で表される編集内容の範囲を制限する制限情報に基づいて、ボリュメトリック画像に反映される編集内容の範囲が制限されるようにしてもよい。この場合、編集情報として、制限情報に基づいて制限された編集内容の範囲の編集情報が生成される。制限情報は、例えば、ボリュメトリック画像（元のボリュメトリックコンテンツ）の提供者によって、ボリュメトリックコンテンツのメタ情報に含まれるものとする。

・視点位置
　指定される視点位置として、観察対象となる人物に極端に接近した視点位置や、その人物を極端に下から見上げるような視点位置を制限したい場合がある。この場合、制限情報によって、ユーザが指定可能な視点位置が制限されるようにしてもよい。

・再生区間
　ボリュメトリック画像において、そのボリュメトリック画像の提供者にとって付与情報の付与やエフェクト画像の合成を避けてほしいシーンがある場合がある。この場合、制限情報によって、例えば図１７に示されるように、総再生時間が６０秒のボリュメトリック画像に対して、再生開始１０秒から３０秒までの２０秒間のみが、編集可能な再生区間となるよう制限されるようにしてもよい。

・付与情報が付与される位置（領域）
　ＳＮＳへのより健全な投稿が期待される中では、コメントなどの付与情報が付与される位置（領域）が限定されることが望ましい場合がある。この場合、制限情報によって、エディタにおいてユーザにより付与情報が付与される位置の指定が制限されるようにしてもよい。

・付与情報の内容
　付与情報（テキスト、静止画像、動画像、音声など）の内容として、ＳＮＳでの共有に適さない内容を制限したい場合がある。この場合、制限情報によって、エディタにおいてユーザにより付与される付与情報の内容（文章の内容、画像の添付など）が制限されるようにしてもよい。

・エフェクト画像
　ボリュメトリック画像に対するエフェクト画像の合成を制限したい場合がある。この場合、制限情報によって、エディタにおいてユーザにより合成されるエフェクト画像が制限されるようにしてもよい。

＜４．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　本開示に係る技術を適用し得るデータ処理装置としての、ユーザ端末２００は、図１８に示される構成を有するコンピュータ５００により実現される。

　ＣＰＵ５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５およびバス５０４を介してＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　ＣＰＵ５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本開示は以下のような構成をとることができる。
（１）
　ユーザの操作に応じてボリュメトリック画像の編集を受け付ける編集受付部と、
　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成するデータ生成部と
　を備えるデータ処理装置。
（２）
　前記フォーマットは、動画像、静止画像、および独自に定義されたファイル形式を含む
　（１）に記載のデータ処理装置。
（３）
　前記フォーマットは、所定のＳＮＳ（Social Networking Service）に投稿可能なファイル形式を含む
　（２）に記載のデータ処理装置。
（４）
　前記変換データをＳＮＳサーバに送信するデータ送信部をさらに備える
　（３）に記載のデータ処理装置。
（５）
　前記編集受付部と前記データ生成部は、前記ボリュメトリック画像を編集するためのエディタを構成し、
　前記エディタは、前記ユーザが閲覧するコンテンツに対する操作に応じて動作する
　（１）乃至（４）のいずれかに記載のデータ処理装置。
（６）
　前記エディタは、ネイティブアプリケーションで構成され、前記コンテンツに埋め込まれた指定情報に基づいて起動する
　（５）に記載のデータ処理装置。
（７）
　前記エディタは、Ｗｅｂアプリケーションで構成され、前記コンテンツに埋め込まれた状態で動作する
　（５）に記載のデータ処理装置。
（８）
　前記コンテンツは、専用アプリケーションまたはＷｅｂブラウザで閲覧可能なＷｅｂサイトを含む
　（５）に記載のデータ処理装置。
（９）
　前記編集受付部は、前記ボリュメトリック画像に反映される編集内容を表す編集情報を生成する
　（１）乃至（８）のいずれかに記載のデータ処理装置。
（１０）
　前記編集情報は、前記ボリュメトリック画像における１または複数の視点位置を指定する視点情報を含む
　（９）に記載のデータ処理装置。
（１１）
　前記編集情報は、前記ボリュメトリック画像における再生区間および再生速度の少なくともいずれかを指定する再生情報を含む
　（９）に記載のデータ処理装置。
（１２）
　前記編集情報は、前記ボリュメトリック画像における物体に付与される付与情報を含む
　（９）に記載のデータ処理装置。
（１３）
　前記付与情報は、前記ボリュメトリック画像において指定された時間の、前記物体において指定された領域に付与される
　（１２）に記載のデータ処理装置。
（１４）
　前記付与情報は、前記ボリュメトリック画像に含まれる、前記物体において前記付与情報が付与可能な領域を示すメタ情報に基づいて付与される
　（１２）に記載のデータ処理装置。
（１５）
　前記物体は、動物体または静止物体である
　（１２）に記載のデータ処理装置。
（１６）
　前記付与情報は、テキスト、静止画像、動画像、および音声の少なくともいずれかを含む
　（１２）に記載のデータ処理装置。
（１７）
　前記編集情報は、前記ボリュメトリック画像に合成されるエフェクト画像を含む
　（９）に記載のデータ処理装置。
（１８）
　前記ボリュメトリック画像は、前記編集情報で表される編集内容の範囲を制限する制限情報を含み、
　前記編集受付部は、前記制限情報に基づいて制限された編集内容の範囲の前記編集情報を生成する
　（９）に記載のデータ処理装置。
（１９）
　データ処理装置が、
　ユーザの操作に応じてボリュメトリック画像の編集を受け付け、
　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する
　データ処理方法。
（２０）
　コンピュータに、
　ユーザの操作に応じてボリュメトリック画像の編集を受け付け、
　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する
　処理を実行させるためのプログラム。

　１０　データ処理システム，　１００　コンテンツサーバ，　１１０　コンテンツ管理部，　１２０　コンテンツ配信部，　２００　ユーザ端末，　２１０　コンテンツ受信部，　２２０　レンダリング部，　２３０　編集受付部，　２４０　データ生成部，　２５０　データ送信部，　２６０　蓄積制御部，　３００　ＳＮＳサーバ，　３１０　データ受信部，　３２０　ＳＮＳ処理部

Claims (20)

1. 　ユーザの操作に応じてボリュメトリック画像の編集を受け付ける編集受付部と、
   　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成するデータ生成部と
   　を備えるデータ処理装置。
2. 　前記フォーマットは、動画像、静止画像、および独自に定義されたファイル形式を含む
   　請求項１に記載のデータ処理装置。
3. 　前記フォーマットは、所定のＳＮＳ（Social Networking Service）に投稿可能なファイル形式を含む
   　請求項２に記載のデータ処理装置。
4. 　前記変換データをＳＮＳサーバに送信するデータ送信部をさらに備える
   　請求項３に記載のデータ処理装置。
5. 　前記編集受付部と前記データ生成部は、前記ボリュメトリック画像を編集するためのエディタを構成し、
   　前記エディタは、前記ユーザが閲覧するコンテンツに対する操作に応じて動作する
   　請求項１に記載のデータ処理装置。
6. 　前記エディタは、ネイティブアプリケーションで構成され、前記コンテンツに埋め込まれた指定情報に基づいて起動する
   　請求項５に記載のデータ処理装置。
7. 　前記エディタは、Ｗｅｂアプリケーションで構成され、前記コンテンツに埋め込まれた状態で動作する
   　請求項５に記載のデータ処理装置。
8. 　前記コンテンツは、専用アプリケーションまたはＷｅｂブラウザで閲覧可能なＷｅｂサイトを含む
   　請求項５に記載のデータ処理装置。
9. 　前記編集受付部は、前記ボリュメトリック画像に反映される編集内容を表す編集情報を生成する
   　請求項１に記載のデータ処理装置。
10. 　前記編集情報は、前記ボリュメトリック画像における１または複数の視点位置を指定する視点情報を含む
    　請求項９に記載のデータ処理装置。
11. 　前記編集情報は、前記ボリュメトリック画像における再生区間および再生速度の少なくともいずれかを指定する再生情報を含む
    　請求項９に記載のデータ処理装置。
12. 　前記編集情報は、前記ボリュメトリック画像における物体に付与される付与情報を含む
    　請求項９に記載のデータ処理装置。
13. 　前記付与情報は、前記ボリュメトリック画像において指定された時間の、前記物体において指定された領域に付与される
    　請求項１２に記載のデータ処理装置。
14. 　前記付与情報は、前記ボリュメトリック画像に含まれる、前記物体において前記付与情報が付与可能な領域を示すメタ情報に基づいて付与される
    　請求項１２に記載のデータ処理装置。
15. 　前記物体は、動物体または静止物体である
    　請求項１２に記載のデータ処理装置。
16. 　前記付与情報は、テキスト、静止画像、動画像、および音声の少なくともいずれかを含む
    　請求項１２に記載のデータ処理装置。
17. 　前記編集情報は、前記ボリュメトリック画像に合成されるエフェクト画像を含む
    　請求項９に記載のデータ処理装置。
18. 　前記ボリュメトリック画像は、前記編集情報で表される編集内容の範囲を制限する制限情報を含み、
    　前記編集受付部は、前記制限情報に基づいて制限された編集内容の範囲の前記編集情報を生成する
    　請求項９に記載のデータ処理装置。
19. 　データ処理装置が、
    　ユーザの操作に応じてボリュメトリック画像の編集を受け付け、
    　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する
    　データ処理方法。
20. 　コンピュータに、
    　ユーザの操作に応じてボリュメトリック画像の編集を受け付け、
    　編集された前記ボリュメトリック画像が、他の装置において出力可能なフォーマットに変換された変換データを生成する
    　処理を実行させるためのプログラム。

Images