JP7054287B2 - 映像配信装置、映像配信システム、映像配信方法、及びプログラム - Google Patents

Description

本発明は、自由視点映像データ等を利用する技術に係り、特に自由視点映像データ等を編集し、オートパイロット用の教示ファイルを生成、配信等する技術に関する。

従来、自由視点映像データ等を利用する技術は多岐に亘る。そのような中で、複数のカメラで撮影された画像を利用する映像配信装置ついても種々の技術が提案されている。例えば、同一の被写体に対して視点が異なる複数台のカメラのうち、予めユーザ指定された一部のカメラの配置状態を基準として、被写体に対する視点を変える技術がある（例えば特許文献１等参照）。同技術では、一連の結合動画像の生成に用いる画像を撮影する１又は２以上の他のカメラを、ユーザ指定のカメラと共にグループ指定し、この指定したグループ内の各カメラの各撮影動画像を所定の切り換えタイミングで切り換え結合して一連の結合動画像を生成するために、その結合する順番を決定する。

一方、複数のカメラにより同時に撮像された複数の動画を編集して１本の動画を作成する技術がある（例えば特許文献２等参照）。同技術では、動画撮像可能な複数のカメラと無線又は有線により接続され、前記複数のカメラから１乃至複数のライブビュー画像を取得するライブビュー画像取得部と、前記ライブビュー画像取得部により取得した１乃至複数のライブビュー画像を表示する表示部と、前記表示部に表示させるライブビュー画像を手動操作により切り替える操作部と、前記操作部での操作履歴を示す操作履歴情報を記録する操作履歴記録部と、前記複数のカメラによる動画撮像の終了後、前記複数のカメラによりそれぞれ撮像された複数の動画と前記操作履歴記録部に記録された操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行う動画編集部とを備える。

特開２０１５－１７７３９４号公報 特許第６３０２５６４号公報

しかしながら、特許文献１は、複数のカメラで撮影された、それぞれ指定されたカメラの動画を、その都度結合処理する技術を開示するものであり、動画を編集し、オートパイロット用の教示ファイルを生成する点については開示されていない。

一方、特許文献２は、複数のカメラにより撮像された複数の動画と操作履歴情報とに基づいて一本の動画を自動的に作成する動画編集を行うことを開示しているにすぎず、文字や音声等のアノテーションを動画に付加することや、編集の結果をオートパイロット用の教示ファイルとして配信する点については開示されていない。

本発明は、このような課題に鑑みてなされたものであり、その目的とするところは、自由視点映像データ等を編集等して、オートパイロット用の教示ファイルを生成し、それを配信する技術を提供することにある。

上記課題を解決するために、本発明の第１の態様に係る映像配信システムは、映像配信装置と端末装置とからなる映像配信システムであって、前記映像配信装置は、自由視点映像データを配信する配信部と、前記端末装置からの教示データを取得する第１取得部と、前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部と、を有し、前記端末装置は、前記映像配信装置からの自由視点映像データを取得する第２取得部と、前記自由視点映像データに基づき映像を生成する映像生成部と、前記映像を表示する表示部と、前記自由視点映像データを編集し、前記教示データを送信する編集部と、を有し、前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む。

本発明の第２の態様に係る映像配信装置は、端末装置と通信自在な映像配信装置であって、自由視点映像データを配信する配信部と、前記端末装置からの教示データを取得する第１取得部と、前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部と、を有し、前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む。

本発明の第３の態様に係るプログラムは、端末装置と通信自在な映像配信装置により実行されるプログラムであって、映像配信装置を、自由視点映像データを配信する配信部、前記端末装置からの教示データを取得する第１取得部、及び前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部、として機能させ、前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む。

本発明の第４の態様に係る映像配信方法は、映像配信装置と端末装置とからなる映像配信システムによる方法であって、前記映像配信装置が、自由視点映像データを配信し、前記端末装置が、前記映像配信装置からの自由視点映像データを取得し、前記自由視点映像データに基づき映像を生成し、前記映像を表示し、前記自由視点映像データを編集して教示データを送信し、前記映像配信装置が、前記端末装置からの前記教示データを取得し、前記教示データに基づいて自動再生用の教示ファイルを生成し、前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む。

本発明によれば、自由視点映像データ等を編集等して、オートパイロット用の教示ファイルを生成し、それを配信する技術を提供することができる。

本発明の実施形態に係る映像配信システムの構成図である。 同システムにおける映像配信装置の構成図である。 同システムにおける端末装置の構成図である。 編集画面の一例を示す図である。 動画データ及び分割データについて示す図である。 分割データの切り換えについて示す図である。 スクリーン教示データの構造を示す図である。 コンテンツ教示データの構造を示す図である。 アノテーション教示データの構造を示す図である。 アノテーション教示データの構造を示す図である。 生成された静止画データの順番を示す図である。 同システムによる自由視点映像データ等の編集に係る処理手順を示すフローチャートである。 編集処理の詳細な処理手順を示すフローチャートである。 オートパイロット用の教示ファイルに基づく再生等の処理手順を示すフローチャートである。

以下、図面を参照しつつ本発明の一実施形態について説明する。

図１には、本発明の実施形態に係る映像配信システムの構成を示し説明する。

同図に示されるように、映像配信システムは、映像配信装置１と、編集者の端末装置２と、閲覧者の端末装置３とが、インターネット等の通信網４に無線又は有線で接続されている。映像配信装置１は、１又は２以上のサーバ装置やコンピュータ等により実現されてよい。編集者の端末装置２としては、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ、ヘッドマウントディスプレイ等、操作入力受付け等が可能で、情報表示を可能とする端末であれば、各種のものを採用することができる。これと同様に、閲覧者の端末装置３としては、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ、ヘッドマウントディスプレイ等、操作入力受付け等が可能で、情報表示を可能とする端末であれば、各種のものを採用することができる。

このような構成において、映像配信装置１は、編集者の端末装置２からの要求を受けると、複数のカメラで被写体を撮影した自由視点映像データ等を、当該編集者の端末装置２に送信する。編集者の端末装置２では、詳細は後述する所定の編集画面が表示され、自由視点映像データを閲覧しながら、映像の切り替え（視点の切り換え）、拡大、縮小、各種アノテーション（文字、図形、記号、及び音声等）の付加等を行い、編集結果である教示データを映像配信装置１に送信する。編集者が複数の場合には、各編集者の端末装置２より教示データが映像配信装置１に送信される。映像配信装置１は、教示データを受信すると、当該教示データに基づいて、オートパイロット用の教示ファイルを生成する。更に、映像配信装置１は、オートパイロット用の教示ファイルを、閲覧者の端末装置３に配信可能に提示する。この提示は、専用のＷｅｂサイト等により行ってもよく、或いは端末装置２でのアプリケーションプログラムの実行により表示される画面にて行ってもよい。

ここで、「オートパイロット」とは、自由視点映像データの表示等に関して、閲覧者が任意に操作せずとも、教示ファイルの構成内容に基づいて自動操作により視点の切替えや、再生時間位置の移動等を行い表示することをいう。「ライブオートパイロット」とは、任意に指定した所定時間経過後、または可能な限り即時に、オートパイロット用の教示ファイルを逐次生成、配信することをいい、自由視点映像データのライブ配信（生配信）、オンデマンド配信等の配信形態を問わず行うことができる。

閲覧者の端末装置３で、映像配信装置１の提供するＷｅｂサイト等で、オートパイロット用の教示ファイルが選択され、配信要求がなされると、映像配信装置１は、選択されたオートパイロット用の教示ファイルを閲覧者の端末装置３に配信する。このとき、閲覧者の有する権限に応じて、教示ファイルの配信の可否、及び教示ファイル有無の表示の可否について決定するようにしてもよい。従って、例えば、教示ファイル有無の表示は全員にできるが、教示ファイルの配信に関しては購入済権限を持つ人のみに可能としたり、購入済権限が無ければ教示ファイル自体表示されないようにしたりできる。

閲覧者の端末装置３は、オートパイロット用の教示ファイルを受信すると、当該教示ファイルに基づいて、自由視点映像を再生する。従来であれば、閲覧者の端末装置３で、所望とする視点等に切り換えながら自由視点映像の再生を行っていたが、本実施形態によれば、自動的に視点等を切り換えながらの有用な再生が実現される。なお、自由視点映像の再生に伴う、コンテンツの取得については、例えば、オンラインストリーミングでも、ダウンロードでもよく、複合的に行ってもよいことは勿論である。

すなわち、閲覧者の端末装置３は、一旦、教示ファイルと自由視点映像データをダウンロードすれば、通信環境下でなくても、いずれも自由に自由視点映像を再生することが可能となり、それらを編集して、教示ファイルの再生成が可能であることは勿論である。また、自由視点映像データのみをダウンロードした場合にも、それらを編集して、教示データの生成及び教示ファイルの生成が可能であることは勿論である。また、端末装置３で編集、生成ないしは再生成した教示ファイルを任意に映像配信装置１へ送信し、権限を付与し配信することが可能であることは勿論である。

図２には、映像配信システムにおける映像配信装置の詳細な構成を示し説明する。

同図に示されるように、サーバ装置等からなる映像配信装置１は、全体の制御を司る制御部１０と、メモリとしてのＲＡＭ（Random Access Memory）１１及びＲＯＭ（Read Only Memory）１２と、ＭＰＥＧデコードモジュール１３と、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等からなる記憶部１４と、Ｉ／Ｏポート１５とを有し、これらがバスラインに接続されている。Ｉ／Ｏポート１５には、ＨＵＢ１６を介してルータ１７が接続されている。尚、制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ（Microprocessor）、マルチプロセッサ（Multiprocessor）、ＡＳＩＣ、ＦＰＧＡ等で構成されてよい。

記憶部１４は、コンテンツ記憶部１４ａ、操作データ記憶部１４ｂ、及び教示ファイル記憶部１４ｃを有する。コンテンツ記憶部１４ａには、自由視点映像データや、それを分割した静止画データ等が記憶されている。操作データ記憶部１４ｂには、編集者の端末装置２から送られてきた操作データ等が記憶されている。そして、教示ファイル記憶部１４ｃには、生成したオートパイロット用の教示ファイルが記憶されている。

記憶部１４には、更にＯＳ１４ｄ、データ取得プログラム１４ｅ、データ生成プログラム１４ｆ、教示ファイル生成プログラム１４ｇ、選択プログラム１４ｈ、配信プログラム１４ｉ、及びコンテンツ生成プログラム１４ｊが記憶されている。したがって、制御部１０は、配信プログラム１４ｉを実行することで配信部１０ａとして機能し、データ取得プログラム１４ｅを実行することで取得部１０ｂとして機能し、データ生成プログラム１４ｆを実行することでデータ生成部１０ｃとして機能し、選択プログラム１４ｈを実行することで指定値受付部１０ｄ及び選択部１０ｅとして機能し、教示ファイル生成プログラム１４ｇを実行することで教示ファイル生成部１０ｆとして機能する。コンテンツ生成プログラム１４ｊを実行することで、コンテンツ生成部１０ｇとしても機能する。

取得部１０ａは、複数の動画データを自由視点動画データとしてＩ／Ｏポート１５を介して取得する。本実施形態では、取得部１０ａは、被写体をそれぞれ異なる方向から撮像した複数の動画データを取得する。取得した自由視点動画データはコンテンツ記憶部１４ａに記憶される。

データ生成部１０ｃは、取得部１０ｂが取得した自由視点動画データ、即ち複数の動画データそれぞれについて、所定の時間ごとのフレームを静止画として抽出して静止画データを生成する。より詳細には、データ生成部１０ｃは、コンテンツ記憶部１４ａに記憶された動画データをＭＰＥＧデコードモジュール１３で解凍し、静止画データの集合とした上で、コンテンツ記憶部１４ａに保存する。この際、各静止画データは、それぞれが撮像されたタイミングを示す時間データと関連付けて保存される。

指定値受付部１０ｄは、閲覧者の端末装置３より、閲覧したい静止画データにおける位置データを指定する方向指定値（操作データ）を受け付ける。選択部１０ｅは、指定値受付部１０ｄが受け付けた方向指定値に基づいて、時間データに沿って静止画データを選択し、通信網４を介して、閲覧者の端末装置３に送信する。本実施形態では、閲覧者の端末装置３が静止画データを受信して、映像を生成する。

教示ファイル生成部１０ｆは、編集者の端末装置２からの教示データに基づいて、オートパイロット用の教示ファイルを生成し、教示ファイル記憶部１４ｃに記憶する。教示ファイルのファイル構造については、後に詳述する。配信部１０ａは、閲覧者の端末装置３からの配信要求に従い、教示ファイル記憶部１４ｃから指定されたオートパイロット用の教示ファイルを読み出し、通信網４を介して閲覧者の端末装置３に送信する。この送信の際には、該当するコンテンツデータ（分割された静止画データを含む）を同時に送信しても、閲覧の過程で該当するコンテンツデータを都度送信してもよい。

コンテンツ生成部１０ｇは、自由視点映像データ及び教示ファイルに基づいて、自由視点映像データのコンテンツを生成、または動画のストリーミングデータ等のコンテンツを生成する。このコンテンツも、配信部１０ａにより閲覧者の端末装置３に送信される。

図３には、映像配信システムにおける編集者の端末装置２の構成を示し説明する。閲覧者の端末装置３も基本構成は同じである。

同図に示されるように、編集者の端末装置２（閲覧者の端末装置３も同様）は、制御部２１と、ＲＡＭ２２と、ＲＯＭ２３と、ＪＰＥＧデコードモジュール２４と、Ｉ／Ｏポート２５と、無線通信部２６と、描画部２７と、表示モニタ２８と、操作認識部２９と、操作部３０と、記憶部３１とを有する。各部は、バスラインを介して接続されている。制御部１０は、例えば、ＣＰＵ、マイクロプロセッサ、マルチプロセッサ、ＡＳＩＣ、ＦＰＧＡ等で構成されてよい。記憶部３１は、ＨＤＤやフラッシュメモリである。

記憶部３１は、コンテンツ記憶部３１ａ、操作データ記憶部３１ｂ、及び教示ファイル記憶部３１ｃを有する。コンテンツ記憶部３１ａは、映像配信装置１から送られてきた自由視点動画データや静止画データ等を記憶する。操作データ記憶部３１ｂは、画面操作に基づいて再生映像の視点等が変更されたときに、その操作データを記憶する。そして、教示ファイル記憶部３１ｃは、映像配信装置１から送られてきた教示ファイルや、編集時に生成された教示データを記憶する。

記憶部３１は、ＯＳ３１ｄ、ブラウザプログラム３１ｅ、編集プログラム３１ｆ、教示ファイル生成プログラム３１ｇを記憶している。したがって、制御部２１は、ＯＳ３１ｄに基づき要求部２１ａ、取得部２１ｄ、及び送信部２１ｆとして機能し、ブラウザプログラム３１ｅを実行することで映像生成部２１ｂとして機能し、編集プログラム３１ｆを実行することで編集部２１ｃとして機能する。閲覧者の端末装置３の表示モニタ２８がタッチパネルである場合には、記憶部３１は、タッチパネル制御ファームウェアを記憶する。制御部２１は、教示ファイル生成プログラム３１ｇを実行することで、教示ファイル生成部２１ｅとして機能する。

編集時においては、次のような処理を各部が行う。即ち、要求部２１ａは、映像配信装置１に対して、自由視点映像データ（分割された静止画データを含む）を要求する。この要求の送信は、Ｉ／Ｏポート２５を介して接続された無線通信部２６が行う。無線通信部２６に代えて、有線通信部を備えてもよい。取得部２１ｄは、映像配信装置１から送られてきた自由視点映像データ（分割された静止画データを含む）を取得する。映像生成部２１ｂは、自由視点映像データから端末装置３に表示可能なコンテンツを生成する。このとき描画部２７は、表示モニタ２８への表示を制御する。なお、取得した静止画データは、ＪＰＥＧデコードモジュール２４によりデコードされる。

編集部２１ｃは、詳細は後述する画面での編集者による操作に基づいて、自由視点映像データ（分割された静止画データを含む）の視点の変更、画面割、拡大／縮小、再生速度の変更、アノテーション（文字、図形、記号、及び音声等）の付加などを含む編集処理を実行し、教示データを生成し、教示ファイル記憶部３１ｃに保存する。教示データの一部を操作データとする場合には、操作認識部２９が、操作部３０の操作を認識して、方向指定値を含む操作データとして操作データ記憶部３１ｂに保存する。教示ファイル生成部２１ｅは、教示データに基づいて、オートパイロット用の教示ファイルを生成し、教示ファイル記憶部３１ｃに記憶する。送信部２１ｆは、コンテンツ記憶部３１ａのコンテンツデータ（例えば、動画のストリーミングデータ等）や、教示データ、教示ファイル等を、無線通信部２６を介して映像配信装置１に送信する。

一方、オートパイロット用の教示ファイルに基づく再生を行う場合には、次のような処理を各部が行う。即ち、要求部２１ａは、映像配信装置１に対して、オートパイロット用の教示ファイルを要求する。取得部２１ｄは、映像配信装置１から送られてきたオートパイロット用の教示ファイルを取得する。このとき、再生に必要な３次元点群データ、３次元ＣＧ、動画データや静止画データ等のコンテンツデータを取得してもよい。そして、映像生成部２１ｂが、教示ファイルに基づいて映像を生成し、描画部２７により表示モニタ２８にて動画の再生を行う。教示ファイルにアノテーションデータ等が含まれている場合、動画の再生と共に、音声、テキスト、図形等の再生も教示ファイルで定義されたタイミングで行う。

オートパイロット用の教示ファイルに基づく再生の過程で、閲覧者により操作部３０が操作され、視点の変更等が指示されると、操作認識部２９が、その操作を認識し、方向指定値に係る操作データを生成する。要求部２１ａは、方向指定値に係る操作データを映像配信装置１に送信し、視点の変更等を要求する。映像配信装置１から、視点の変更等がなされた自由視点映像データ（分割された静止画データを含む）を取得部２１ｄが取得すると教示ファイルに基づく再生を一旦中止して、視点を変えた再生が実行される。

図４には、編集者の端末装置２で表示される編集画面の一例を示し説明する。

同図に示されるように、編集画面１００の領域１００ａには、編集対象として選択可能な自由視点映像データのファイルが提示され、編集者が、編集対象の自由視点映像データ（この例では、分割された静止画データ）を選択できるようになっている。領域１００ｂはチャットを書き込むことができ、複数の編集者により編集作業が分業される場合等において、コミュニケーションを取りながら作業を進められるようになっている。なお、領域１００ｂには、チャットのほか、編集ログ等も表示可能であり、不要な編集を権限に応じて無効にしたり、無効にした編集を元に戻したりすることができる。音声通話、ビデオチャット等の為の表示領域や機能を別途設けてもよい。

領域１００ｃでは、選択している自由視点映像データに基づく再生表示がなされる。領域１００ｄでは、領域１００ａで編集対象として選択した自由視点映像データが、所定単位で分割され、分割単位ごとにサムネイル等と共に示される。この例では、選択された分割単位を破線で示している。編集作業においては、操作部３０の操作により、各分割単位に各種アノテーションを付加することができるようになっている。符号１００ｅは、テキストや図形などのアノテーションが付加されたことを示しており、符号１００ｆは、音声のアノテーションが付加されたことを示している。符号１００ｇは、ライブ配信を追いかけるように、編集を行う場合に、ライブの現在位置を示す。以上に加えて、現在のライブからどの程度遅れているか、ライブとして任意時間後に再生可能とした場合に当該任意時間までの残り時間等を表示するようにしてもよい。

ここで、図５（Ａ）乃至図５（Ｄ）を参照して、自由視点映像データに概念的に含まれる、動画データ及び分割データについて詳細に説明する。

図５（Ａ）に示されるように、動画データＤ１は、複数のフレームＦ１、Ｆ２、Ｆ３…から構成されている。映像配信装置１のデータ生成部１０ｃは、動画データを複数のフレーム毎に分割して、分割データの単位で動画データをコンテンツ記憶部１４ａに記憶してもよい。例えば、図５（Ｂ）に示されるように、３枚のフレーム毎に分割される場合、フレームＦ１～Ｆ３に分割された分割データＤ２、フレームＦ４～Ｆ６に分割された分割データＤ２のように、動画データの複数のフレームは、順次分割される。

また、データ生成部１０ｃは、動画データを、複数のフレームと、１のフレームとに分割して、分割データの単位でコンテンツ記憶部１４ａに記憶してもよい。この場合、例えば、図５（Ｃ）に示されるように、分割データは、複数のフレームで構成される複数枚分割データ（Ｄ２Ｍ）と、１枚のフレームで構成される単数枚分割データ（Ｄ２Ｓ）で構成される。

また、データ生成部１０ｃは、動画データを、１枚の複数枚分割データと、複数の単数枚分割データとが、時系列に交互に配されるように分割して、コンテンツ記憶部１４ａに記憶してもよい。この場合、図５（Ｄ）に示されるように、フレームＦ１～Ｆ３に分割された複数枚分割データ（Ｄ２Ｍ）、フレームＦ４に分割された単数枚分割データＤ２Ｓ、フレームＦ５に分割された単数枚分割データＤ２Ｓ、フレームＦ５に分割された単数枚分割データＤ２Ｓのように、１枚の複数枚分割データと、複数の単数枚分割データとが、時系列に交互となるように分割される。

次に、図６（Ａ）乃至図６（Ｃ）を参照して、分割データの切り替えについて説明する。

図６（Ａ）に示されるように、本実施形態では、動画データＡを分割して得られる分割データＤ２－Ａ１，Ｄ２－Ａ２，Ｄ２－Ａ３、Ｄ２－Ａ４…と、動画データＢを分割して得られる分割データＤ２－Ｂ１，Ｄ２－Ｂ２，Ｄ２－Ｂ３，Ｄ２－Ｂ４…とは、同じまたはほぼ同じ撮像時刻に撮像して得られるフレームから構成されてよい。但し、他の実施形態によっては、異なる撮像時刻に撮像されてものでもよい。

図６（Ｂ）に示されるように、配信部１０ａは、動画データＡに基づく分割データＤ２－Ａ１，Ｄ２－Ａ２を順次送信した後、閲覧者の端末装置３からの切換要求を受け付けると、時間的に分割データＤ２－Ａ２の直後となる、分割データＤ２－Ｂ３をコンテンツ記憶部１４ａから読み出し、続いて分割データＤ２－Ｂ３から時間的に後になる分割データＤ２－Ｄ４…をコンテンツ記憶部１４ａから読み出し、順次送信する。

また、図６（Ｃ）に示されるように、配信部１０ａは、動画データＡに基づく分割データＤ２－Ａ１，Ｄ２－Ａ２を順次送信した後、閲覧者の端末装置３からの切換要求を受け付けると、時間的に分割データＤ２－Ａ２と同じタイミングとなる、分割データＤ２－Ｂ２をコンテンツ記憶部１４ａから読み出し、続いて分割データＤ２－Ｂ２から時間的に後になる分割データＤ２－Ｄ３…をコンテンツ記憶部１４ａから読み出し、順次送信するようにしてもよい。

各動画データには撮像時刻の情報が付加されているので、配信部１０ａは、当該撮像時刻の情報に基づいて、分割データと他の分割データとの時間的に連続又はほぼ連続した読み出し、及び配信が可能となる。

次に、図７乃至図１０を参照して、教示ファイル生成部１０ｆが生成する、オートパイロット用の教示ファイルの構造について詳細に説明する。教示ファイルは、スクリーン教示データ、コンテンツ教示データ、アノテーション教示データを含む。

図７には、教示ファイルに含まれるスクリーン教示データの構造を示し説明する。

同図に示されるように、スクリーン教示データは、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、時間調整データ、画面割データを有する。オブジェクトタイプは、スクリーンとなる。オブジェクトＩＤ／ＵＲＬとは、教示データでのオブジェクトＩＤである。時間調整データとは、画面割データにタイムコードが含まれている場合に、調整時間を加味したタイムコードで動作させるためのデータである。そして、画面割データとは、基本的には後述するコンテンツ教示データの画面割データと同じになる。

図８には、教示ファイルに含まれるコンテンツ教示データの構造を示し説明する。

同図に示されるように、コンテンツ教示データは、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、視点関連データ、再生速度データ、ズーム関連データ、及び画面割データを有する。

パイロットタイムコードは、オートパイロット上での開始時間を規定する。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬとは、システム上でコンテンツを一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤとは、教示データでのオブジェクトＩＤである。そして、パイロットタイムコード到達時アクションとは当該コンテンツが持つタイムコードの開始位置、もしくは設定されたスタートタイムコードにパイロットタイムコードにおける時間が到達した際のアクションを規定できる。例えば、再生、停止、映像エフェクト等が規定される。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。ここで、通過時とは、例えばパイロットタイムコード上では１０秒経過時点で再生されるはずであった音声に関して、パイロットタイムコードがシークバー等で８秒目から一気に１５秒等へジャンプした際に当該音声の再生範囲内であれば適宜な音声位置から再生される様な挙動が例示される。また、この通過時の挙動が、タイムコードと関連する、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、後述するパイロットタイムコード終了時アクション等に関しても同様に適宜な状態で挙動する事は勿論である。

スタートタイムコードは、コンテンツ上での再生開始時間であり、エンドタイムコードとは、再生終了時間である。スタートタイムコードとエンドタイムコードを遡及的に指定した場合には逆再生となる。視点関連情報とは、自由視点映像の配信方式に応じて指定可能な情報であって、例えば、静止画送信方式の場合、及び動画送信方式の場合には、カメラＩＤとなり、マルチカメラ方式の場合には、マルチカメラＩＤとなり、３次元点群データや３次元ＣＧの場合には例えば４×４のビュー変換行列となる。ビュー変換行列以外であっても、カメラの位置、カメラの向いている方向（注視点）、カメラの姿勢が特定できる表現方法であれば、形式は問わないことは勿論である。再生速度は、停止から変速再生を０．１２５、０．２５、０．５、０、１、１．２５、１．５、２、４等の如く定義できる。

そして、画面割データとは、１つのスクリーンに複数のコンテンツを表示する際の割データである。画面割データでは、画面上部左、画面上部右、画面下部左、画面下部右、上部、下部など、基本位置を指定したり、ピクセル単位指定をしたり、画面全体に対する表示領域の割合等を設定することができる。表示領域は、矩形に限定されず、正円、ペジエ曲線、スプライン曲線、複数直線、ポリラインのような図形も指定可能である。ワイプのように、一のコンテンツの上に他のコンテンツを重ね合わせて表示することも可能であることは勿論である。また、１つ以上のタイムコードとその時点での対応した表示領域形態を指定することもできる。また、モーフィングを行う事を指定する事で、新たな表示領域形態へ移行する際に、滑らかに形態を変化させる指定行う事も可能であり、形態変化に掛かる時間を任意に指定する事も可能であることは勿論である。タイムコードは当該スクリーンオブジェクトの表示時間に到達した時間を０秒等として規定することができるし、オートパイロットタイムコードを基点とした規定も可能であることは勿論である。

以上がコンテンツ教示データの基本構成となるが、パイロットタイムコード、教示データオブジェクトＩＤ、及び視点関連データのみで構成し、コンテンツ表現時の最小構成とすることもできる。また、パイロットタイムコード、教示データオブジェクトＩＤ、スタートタイムコード、エンドタイムコード、及び視点関連データのみで構成し、視点関連データに１つ以上のタイムコードとその時点での対応した視点関連情報を入れた最小構成とすることもできる。

図９には、教示ファイルに含まれるアノテーション教示データ（音声）の構造を示し説明する。同図に示されるように、アノテーション教示データ（音声）は、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットアイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、再生速度、及びデータを有する。

パイロットタイムコードは、オートパイロット上での開始時間である。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬは、システム上でデータの位置を一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤは、教示データ上でのオブジェクトＩＤである。パイロットタイムコード到達時アクションとして、再生、停止、映像エフェクト等が規定できる。コンテンツ終了時アクションとして、当該コンテンツの再生が終了するタイムコードに到達した際に行うアクションを規定できる。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。スタートタイムコードとは、音声上での再生開始時間であり、エンドタイムコードとは、音声上での再生終了時間である。再生速度は、再生停止から変速再生を０．１２５、０．２５、０．５、０、１、１．２５、１．５、２、４等の如く定義できる。データとしては、参照ではなく、音声データ自体を埋め込むことも可能である。なお、教示データで指定された再生速度は相互に影響し合うことなく指定を行うことが可能であり、例えばコンテンツに指定された再生速度とは相互に影響せずに音声の再生速度を指定することが可能である。例えば、コンテンツは２倍速、音声は１倍速の如くである。

図１０には、教示ファイルに含まれるアノテーション教示データ（文字列、図形、画像など）の構造を示し説明する。

同図に示されるように、アノテーション教示データ（文字列、図形、画像など）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整データ、データ、及び画面割データを有する。

パイロットタイムコードは、オートパイロット上での開始時間である。エンドパイロットタイムコードは、オートパイロット上での終了時間である。オブジェクトタイプは、コンテンツとなる。オブジェクトＩＤ／ＵＲＬは、システム上でデータの位置を一意に示すＩＤ／ＵＲＬである。教示データオブジェクトＩＤは、教示データでのオブジェクトＩＤである。パイロットタイムコード到達時アクションとして、再生、停止、映像エフェクト等が規定できる。パイロットタイムコード終了時アクションとして映像エフェクト、音声の再生、動画のワイプ表示再生等を規定できる。指定タイムコード到達時アクションでは、規定するアクション毎にパイロットタイムコードもしくはコンテンツが持つタイムコードのどちらを基点とするか決定し、基点とするタイムコード到達時もしくは通過時に実行されるアクションを規定する。アノテーションアクションとしては、表示領域をクリック、タップ、マイクから所定の音声が入力された等したときに起こすアクションを規定できる。このアクションとしては、例えば、任意の音声出力、パイロットタイムコードの時間を戻すこと、コンテンツの再生を所定時間停止してその間に音声出力する、映像エフェクト、動画の再生等がある。また、前述のアクションを、アクションを規定可能な、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション等に関しても同様に適宜に規定可能な事は勿論である。

時間調整データとは、調整時間を加味したタイムコードで動作させるためのデータである。データでは、表示したい文字列、図形、画像などと、表示位置、表示スタイル等を規定することができる。画面割データについては、設定しない場合には、表示画面全体にコンテンツよりも上のレイヤーで重ねて表示される。

これらスクリーン教示データ、コンテンツ教示データ、アノテーション教示データを含む教示ファイルは、前述した図４の編集画面での操作に基づいて生成される教示データが編集者の端末装置２から送られると、映像配信装置１がそれを受信し、教示ファイル生成部１０ｆが当該教示データに基づいて生成し、教示ファイル記憶部１４ｃに保存する。

生成されたオートパイロット用の教示ファイルは、映像配信装置１が運営するｗｅｂサイト等で公表され、適宜提供されるので、閲覧者の端末装置３では、当該教示ファイルの中から閲覧を所望するものを受信する。閲覧者の端末装置３では、受信した教示ファイルを教示ファイル記憶部３１ｃに保存し、当該教示ファイルに基づいて、映像生成部２１ｂが端末装置３に表示可能なコンテンツを生成して、表示モニタ２８上で再生表示を行う。

このとき、オートパイロット用の教示ファイルでは、コンテンツ（例えば分割された静止画データ）の視点、再生速度、ズームの有無、画面割等を規定しているので、それら規定内容に従って再生が実行される。さらに、オートパイロット用の教示ファイルには、音声、文字等のアノテーション教示データも含まれているので、アノテーション教示データにしたがって、再生と同期して規定されたタイミングで文字や音声等の再生を併せて行うことができる。したがって、閲覧者は、自分の嗜好や目的に合致したオートパイロット用の教示ファイルを取得すれば、自ら視点等を変更させることなく、自動的に自身に好適なコンテンツ閲覧の機会を得ることが可能となる。

ここで、閲覧者の端末装置３において、オートパイロット用の教示ファイルに基づく再生を実行している途中で、ユーザ操作がなされると、オートパイロットの再生が一時中断されて、ユーザ操作に基づく画面の切り換え、再生が実行される。以下、この点を、図１１を参照しつつ詳細に説明する。尚、オートパイロットの再生中において、オートパイロットタイムコードにおける変速再生、巻き戻し、任意オートパイロットタイムコードへの移動等も可能であり、更に、視点切り替え等以外に関しては、オートパイロットを中断せずとも可能であることは勿論である。また、上述のユーザ操作には、オートパイロットを中断というボタン等のＵＩへの押下という操作も含まれる。

図１１は、縦軸が方向データとしての識別番号、横軸が時間データとなっており、縦軸及び横軸に対応する静止画データのファイル名が示されている。図１１の下に図示するようなユーザ操作に応じて、表示される静止画データは推移する。即ち、図中、実線で示す矢印が通過するセルに該当する静止画データが、閲覧者の端末装置３にて表示されることを意味している。

まず、オートパイロット用の教示ファイルに従って、Ｃ００１の静止画データを再生している状態において、時系列にそって、順次動画が再生される。そして、自動再生の実行中に、閲覧者のスワイプ操作により指定値受付部１０ｄが方向指定値を受付けると、オートパイロット用の教示ファイルに基づく自動再生は一時中断され、選択部１０ｅは、方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、スワイプ操作における方向指定値の変化量に基づいて、対応する静止画データ（Ｃ００５～Ｋ００５）を選択する。

すなわち、選択部１０ｅは、方向指定値を受付けた時刻（ｔ＝５ｐ）を基準とし、その瞬間において選択されている位置データ（方向データ）に対応する静止画データ（Ｃ００５）を最初に選択する。そして、方向指定値が変化していく過程において、選択部１０ｅは、同一の時間データに相当する静止画データを１フレームずつ、識別番号の順に選択していく。方向指定値がスワイプ操作により指定された静止画データ（Ｋ００５）を表示したとき、一度停止状態となる。そして、ユーザが再度再生開始ボタンを押すことで、その時の方向指定値に対応する静止画データが継続して再生される。なお、一度停止状態とせずに、連続してその時の方向指定値に対応する静止画データを継続再生してもよい。

また、ユーザが再度スワイプ操作を行うと（ｔ＝１００ｐ）、前述と同様に、方向指定値の変化に伴って、選択部１０ｅが、同一の時間データに相当する静止画データを１フレームずつ、識別番号の順に選択していく（Ｋ１００～Ｆ１００）。そして、スワイプ操作により指定された静止画データ（Ｆ１００）を表示した後は、一度停止状態としない場合、同じ方向指定値に対応する静止画データが引き続き継続して再生される。なお、前述の説明では、選択部１０ｅが方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、当該静止画データと同じ時間データを選択するという態様について説明しているがこのような態様に限られない。

すなわち、本発明の映像配信装置では、破線で示す矢印のように、選択部１０ｅが方向指定値を受付けた時に対応する静止画データの時間データ（ｔ＝５ｐ）を基準にして、既に選択されている時間データの次の時間データを順次選択してもよい。この場合には、スワイプ中も動画が停止されることなく、再生された状態を維持することができる。

また、選択部１０ｅは、指定値受付部１０ｄが方向指定値を受付けない場合で、単位時間当たりの方向指定値の変化量が閾値未満のときは、方向データが連続的につながるように、静止画データを選択する。一方、選択部１０ｅは、単位時間当たりの方向指定値の変化量が閾値以上の場合には、方向データが間欠的につながるように、静止画データを選択する。ここで、「間欠的に」とは、連続的に並ぶ方向データに対して、一部のデータのみを取得することを意味している。

すなわち、ユーザ４０が指を大きく、又は速く動かすことで、スワイプ操作による操作量が大きいと操作認識部２９が判断した場合には、隣り合う方向データに対応する静止画データを取得することなく、元の方向データから、離れた方向データに対応する静止画データを取得することができる。そして、端末装置３では、選択部１０ｅから受信する静止画データにより、方向指定操作中は、該方向指定操作に基づき変化する方向指定値における被写体の静止画データを表示する。一方、端末装置３では、方向指定操作がされていない時には、該方向指定操作の完了位置に対応する方向指定値の静止画データを、時系列順に順次受信し表示することで、完了位置に対応する方向からの疑似的動画を表示する。

なお、閲覧者操作に基づく視点方向を切り替えながらの上記再生から、オートパイロット用の教示ファイルに基づく自動再生に復帰する場合には、閲覧者の端末装置３の再生画面上に表示される所定のボタンをタップ等することで、中断したタイミングから、或いは切り換えのタイミングから、オートパイロット用の教示ファイルに基づく自動再生を再開するよう指示することができる。

以下、図１２のフローチャートを参照して、本発明の実施形態に係る映像配信システムによるオートパイロット用の教示フィルの生成に関わる処理手順を説明する。

この処理では、閲覧者の端末装置２において、制御部２１が編集プログラム３１ｆを実行し、表示モニタ２８に図４に示したような編集画面１００が表示されていることを前提としている。但し、表示態様は、図４には限定されない。

編集画面１００において、領域１００ａに示された選択可能な自由視点映像データが選択されると、要求部２１ａが、映像配信装置１に対して、自由視点映像データの配信要求をする（Ｓ１）。映像配信装置１では、取得部１０ｂが、配信要求を受付け（Ｓ２）、配信部１０ａが、当該配信要求に関わる自由視点映像データをコンテンツ記憶部１４ａから読み出し、閲覧者の端末装置２に向けて配信する（Ｓ３）。

閲覧者の端末装置２では、この自由視点映像データを受信し（Ｓ４）、映像生成部２１ｂが端末装置２に表示可能なコンテンツを生成し、表示モニタ２８に表示されている編集画面１００の領域１００ｃ、及び領域１００ｄに、選択された映像を表示する（Ｓ５）。領域１００ｄでは、分割された静止画データが、サムネイル等と共に、分割単位も閲覧者が把握できる態様で表示される。領域１００ｃでは、編集対象として選択された映像が再生される。

続いて、閲覧者の端末装置２では、編集部２１ｃが編集処理を実行する（Ｓ６）。編集処理の詳細は、後に詳述するが、例えば、分割された静止画データの選択（視点情報）、再生速度、各種アノテーションの付加等が実施されることになる。編集部２１ｃは、編集処理を完了すると、例えば、スクリーン教示データ、コンテンツ教示データ、アノテーション教示データを概念的に含む教示データを、教示ファイル記憶部３１ｃに保存すると共に、映像配信装置１へと送信する（Ｓ７）。

映像配信装置１は、取得部１０ｂが、この教示データを受信し、教示ファイル記憶部１４ｃに保存する（Ｓ８）、そして、全ての編集者の端末装置２から教示データを受信すると（Ｓ９をＹｅｓに分岐）、教示ファイル生成部１０ｆが、保存している教示データに基づいて教示ファイルを生成し（Ｓ１０）、上記ファイル記憶部１４ｃに記憶する（Ｓ１１）。こうしてオートパイロット用の教示ファイル生成に関わる一連の処理を終了する。教示ファイル記憶部１４ｃに保存されているオートパイロット用の教示ファイルは、所定のＷｅｂサイトなどにおいて、閲覧者に選択可能に公表される。

ここで、図１３のフローチャートを参照して、図１２のステップＳ７で実行される編集処理の処理手順について更に詳細に説明する。

編集処理に入ると、編集部２１ｃは、コンテンツの選択がなされたか否かを判断し（Ｓ６－１）、コンテンツの選択がなされると（Ｓ６－１をＹｅｓに分岐）、コンテンツ教示データを教示ファイル記憶部３１ｃに記憶する（Ｓ６－２）。コンテンツの選択がなされない場合には（Ｓ６－１をＮｏに分岐）、ステップＳ６－３に移行する。

ステップＳ６－２で教示ファイル記憶部３１ｃに記憶されるコンテンツ教示データは、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、視点関連情報、再生速度、ズーム関連情報、及び画面割情報を有する。これら詳細については、前述した通りである。

続いて、編集部２１ｃは、アノテーション（文字）の付加がなされたか否かを判断し（Ｓ６－３）、アノテーション（文字）の付加がなされると（Ｓ６－３をＹｅｓに分岐）、アノテーション教示データ（文字）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－４）。アノテーション（文字）の付加がなされない場合には（Ｓ６－３をＮｏに分岐）、ステップＳ６－５に移行する。

ステップＳ６－４で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（文字）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整、データ、及び画面割情報を有する。これら詳細については、前述した通りである。

続いて、編集部２１ｃは、アノテーション（図形、記号等）の付加がなされたか否かを判断し（Ｓ６－５）、アノテーション（図形、記号等）の付加がなされると（Ｓ６－５をＹｅｓに分岐）、アノテーション教示データ（図形、記号等）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－６）。アノテーション（図形、記号等）の付加がなされない場合には（Ｓ６－５をＮｏに分岐）、ステップＳ６－７に移行する。

ステップＳ６－６で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（図形、記号等）は、パイロットタイムコード、エンドパイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットタイムコード到達時アクション、パイロットタイムコード終了時アクション、指定タイムコード到達時アクション、アノテーションアクション、時間調整、データ、及び画面割情報を有する。これら詳細については、前述した通りである。

続いて、編集部２１ｃは、アノテーション（音声）の付加がなされたか否かを判断し（Ｓ６－７）、アノテーション（音声）の付加がなされると（Ｓ６－７をＹｅｓに分岐）、アノテーション教示データ（音声）を教示ファイル記憶部３１ｃに記憶する（Ｓ６－８）。アノテーション（音声）の付加がなされない場合には（Ｓ６－７をＮｏに分岐）、ステップＳ６－９に移行する。

ステップＳ６－８で教示ファイル記憶部３１ｃに記憶されるアノテーション教示データ（音声）は、パイロットタイムコード、オブジェクトタイプ、オブジェクトＩＤ／ＵＲＬ、教示データオブジェクトＩＤ、パイロットアイムコード到達時アクション、コンテンツ終了時アクション、指定タイムコード到達時アクション、スタートタイムコード、エンドタイムコード、再生速度、及びデータを有する。これら詳細については、前述した通りである。

こうして、編集部２１ｃは、全ての編集が完了したか否かを判断し（Ｓ６－９）、全ての編集を完了していない場合には（Ｓ６－９をＮｏに分岐）、ステップＳ６－１に戻り、上記処理を繰り返し、全ての編集を完了した場合には（Ｓ６－９をＹｅｓに分岐）、編集処理を完了し、図１２のステップＳ８以降の処理にリターンする。

次に、図１４のフローチャートを参照して、本発明の実施形態に係る映像配信システムによるオートパイロット用の教示ファイルの配信処理について説明する。

先ず、前提として、映像配信装置１は、Ｗｅｂサイトにおいて、オートパイロット用の教示ファイルを、複数、選択可能に提示している。閲覧者の端末装置３は、取得部２１ｄが、教示ファイルを取得し、当該教示ファイルに基づく再生を実行する（Ｓ２１）。このオートパイロットに係る再生開始に伴い、要求部２１ａは、映像配信装置１に対して、コンテンツ教示データにより教示された自由視点映像データ（分割された静止画データ等を含む）の配信要求をする（Ｓ２２）。

映像配信装置１は、配信要求を受付け（Ｓ２３）、配信部１０ａがコンテンツ記憶部１４ａより該当する自由視点映像データを読み出し、配信する（Ｓ２４）。閲覧者の端末装置３では、自由視点映像データを受信し（Ｓ２５）、映像生成部２１ｂが、自由視点映像データに基づく端末装置３に表示可能なコンテンツを生成し、表示モニタ２８で再生表示を行う（Ｓ２６）。このオートパイロットに係る再生の過程で、ユーザ操作（例えば、画面のスワイプ操作）等がなされたか否かを判断し（Ｓ２７）、操作がなければ（Ｓ２７をＮｏに分岐）、再生終了まで（Ｓ３４）、オートパイロット用の教示ファイルに基づく再生表示を継続する。

一方、オートパイロットに係る再生の過程で、ユーザ操作がなされると（Ｓ２７をＹｅｓに分岐）、制御部２１は、操作データ（方向指定値を含む）を映像配信装置に送信する（Ｓ２８）。映像配信装置１では、操作データを受付け、操作データ記憶部１４ｂに保存する（Ｓ２９）。そして、選択部１０ｅは、方向指定値を受付けた時刻を基準とし、方向指定値がユーザ操作により指定された自由視点映像データ（静止画データ）を選択し（Ｓ３０）、配信部１０ａが選択された自由視点映像データ（静止画データ）を閲覧者の端末装置３へと配信する（Ｓ３１）。

閲覧者の端末装置３では、取得部２１ｄが、この選択された自由視点映像データ（静止画データ）を受信し（Ｓ３２）、映像生成部２１ｂが、端末装置３に表示可能なコンテンツを生成し、表示モニタ２８の表示を切り替える（Ｓ３３）。続いて、制御部２１は、再生を終了するか否かを判断し（Ｓ３４）、再生を終了しない場合には、上記ステップＳ２２に戻り、上記処理を繰り返し、再生を終了する場合には、一連の処理を終了する。

なお、この再生の終了は、オートパイロット用の教示ファイルに基づく自動再生の終了と、ユーザ操作に基づいてオートパイロットが一時中断され、当該ユーザ操作に基づく再生が行われた場合の当該再生の終了を含む。

以上説明したように、本発明の実施形態に係る映像配信システム等によれば、以下の効果が奏される。

本発明の実施形態に係る映像配信システム等によれば、オートパイロット用の教示ファイルを生成することができるので、閲覧者の端末装置では、オートパイロット用の教示ファイルを取得すれば、当該教示ファイルに基づく自動再生が実行可能となる。このとき、教示ファイルには、音声、文字、画像、図形などの各種アノテーション教示データが含まれているので、再生と共に付加的な演出も自動的に再現される。従って、閲覧者は、自ら視点等を切り替えることなく、ニーズに合致した教示ファイルを取得し実行するだけで、所望とする視点等の切り換えを伴う再生を楽しむことが可能となる。

このようなオートパイロットは、自分で視点を変えながらの閲覧が煩雑である、どの時点が有用であるかが分からない、まとめて時間短縮して閲覧したい、などといったニーズに応えるものである。使用例として、ライブ映像等を、先ずは自由視点映像データ（分割された静止画データを含む）として公開し、編集者が編集した教示データに基づいて生成した教示ファイルを後で公開することも可能である。例えば、ライブに関する自由視点映像データを取り扱う場合には、特定のアーチストのみを追った再生を可能とする教示ファイル等も生成可能である。

また、編集者の端末装置２で、前述したように各種教示データを生成し、映像配信装置１側でオートパイロット用の教示ファイルを生成することを基本とするが、編集者又は閲覧者の端末装置２，３でのユーザ操作（例えば、スワイプ操作）を記録し、それを教示データの一部として用いることも可能である。

また、オートパイロット用の教示ファイルに基づく自動再生の過程で、ユーザ操作（例えばスワイプ操作）がなされた場合には、自動再生を一旦中断し、ユーザ操作に基づく視点の切り換えなどを行うことができる自由度もある。

このほか、オートパイロット用の教示ファイルは、フォーク（分岐及びコピー）、マージ（結合）、クローン（コピー）等により再編集することも可能であるので、公開された教示ファイルは、複数人で共有されることで、多様なものに発展していくことが期待できる。

ここで、本発明の実施形態には、以下の内容も含まれる。

オートパイロット用の教示ファイルを、ライブ配信（生配信）における自由視点映像データに基づいて生成してもよい。例えば、機械学習により自動生成したオートパイロット用の教示ファイルをライブ配信（生配信）しても良いし、人的に作成（共同編集作業も可能とする）し、ライブとしては任意時間（例えば５分遅延等）後に閲覧者側では任意時間の遅延にて、ライブ開始時点からのコンテンツ再生を可能としてもよい。また、複合的に機械学習により作成したオートパイロット用の教示ファイルを、編集者が閲覧、編集してライブ配信（生配信）するようにしてもよい。さらに、人的な作業が間に合わない場合には一定時間通常の自由視点映像データを配信し、作成された段階で再度オートパイロット用の教示ファイルをライブ配信（生配信）してもよい。オートパイロット用の教示ファイルの共同編集も、既に確立されている共同編集技術、自身のタイムラインにおける排他制御や、ＯＴ（Operational Transformation）法等を用いた編集マージを行う事で迅速にオートパイロットを作成するようにしてもよい。また、オンデマンドの自由視点映像データに対しても、機械学習によりオートパイロット用の教示ファイルを自動生成、機械学習による生成されたオートパイロット用の教示ファイルを、編集者が閲覧、編集可能、オートパイロット用の教示ファイルの共同編集作業が可能である事は勿論である。

上記の流れにおいて、オートパイロット用の教示ファイルの作成中に作業が完了したところまでの「動画ファイル」を生成してもよく、それを通常の動画ファイルとして配信するようにしてもよい。その場合、専用のＷｅｂサイト等に公開可能であり、権限によりストリーミングでの閲覧、ダウンロード可能とするとよい。また、動画ファイルに対してタイムコード毎に構成要素に含まれる自由視点映像コンテンツ等に関する情報をメタデータ（例えば、ＸＭＰ形式等）として動画に埋め込み、または別ファイルとして関連付けて取得可能な状態とし（XMP等に当該ファイルの場所を記述しても良いし、例えばHLS形式であればm3u8ファイル等に当該ファイルの場所や内容を記述しても良いし、所定のサーバに対して問合せを行う等して当該ファイルの内容や、配置場所を取得する等しても良い）、当該メタデータを参照することで、対応した動画プレイヤであれば、再生中等に動画ファイルから現在閲覧していた自由視点映像コンテンツに遷移して任意の視点に変更することも可能であり、動画ファイルの遷移時点の箇所に戻って再生を再開することも可能であることは勿論である。

さらに、各個人の自由視点映像の閲覧方法や近似属性の閲覧方法を学習して、送信されてきた自由視点映像を自動的に学習結果に基づいて切り替えるようにしてもよい。また、コンテンツオーナー側が人的に作成して（共同作業も可能、当該共同編集機能は一般ユーザ向けに権限に基づいて付与する事も可能と算段）、所定時間経過後にライブオートパイロット用の教示ファイルを配信するようにしてもよい。

また、先行して自由視点映像を閲覧しているユーザの閲覧統計データを基に、例えば最も良く見られている視点等から、ライブオートパイロット用の教示ファイルを生成し、配信するようにしてもよい。また、ライブオートパイロット用の教示ファイルから逐次、例えばＨＬＳ形式等の動画ストリーミングデータを生成してそれをライブ配信（生配信）してもよい。また、動画ストリーミングデータに対してタイムコード毎に構成要素に含まれる自由視点映像コンテンツ等に関する情報を、メタデータ（例えば、ＸＭＰ形式等）として動画に埋め込み、または別ファイルとして関連付けて取得可能な状態とし（XMP等に当該ファイルの場所を記述しても良いし、例えばHLS形式であればm3u8ファイル等に当該ファイルの場所や内容を記述しても良いし、所定のサーバに対して問合せを行う等して当該ファイルの内容や、配置場所を取得する等しても良い）、当該メタデータを参照することで、対応した動画プレイヤであれば再生中等に動画ファイルから現在閲覧していた自由視点映像コンテンツに遷移して任意の視点に変更することも可能とし、動画ファイルの遷移時点の箇所に戻って再生を再開することも可能としてもよいことは勿論である。

このほか、ユーザが好むターゲットやジャンルを属性情報として保持している場合、それら属性情報に基づいて、当該ユーザに好適な視点、拡大等を伴うコンテンツ再生を実現するオートパイロット用の教示ファイルを生成し、当該ユーザに提供するようにしてもよい。例えば、スポーツであれば「ボール」等を選択しておくと、ボールを物体認識して常に追従したようなオートパイロット用の教示ファイルを生成、配信してもよい。

以上、本発明の実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の更なる改良・変更が可能である。

１…映像配信装置、２…端末装置、３…端末装置、４…通信網、１０…制御部、１０ａ…配信部、１０ｂ…取得部、１０ｃ…データ生成部、１０ｄ…指定値受付部、１０ｅ…選択部、１０ｆ…教示ファイル生成部、１１…ＲＡＭ、１２…ＲＯＭ、１３…ＭＰＥＧデコードモジュール、１４…記憶部、１４ａ…コンテンツ記憶部、１４ｂ…操作データ記憶部、１４ｃ…教示ファイル記憶部、１４ｄ…ＯＳ、１４ｅ…データ所得プログラム、１４ｆ…データ生成プログラム、１４ｇ…教示ファイル生成プログラム、１４ｈ…選択プログラム、１４ｉ…配信プログラム、１５…Ｉ／Ｏポート、１６…ハブ、１７…ルータ、２１…制御部、２１ａ…要求部、２１ｂ…映像生成部、２１ｃ…編集部、２１ｄ…取得部、２２…ＲＡＭ、２３…ＲＯＭ、２４…ＪＰＥＧでコードモジュール、２５…Ｉ／Ｏポート、２６…無線通信部、２７…描画部、２８…表示モニタ、２９…操作認識部、３０…操作部、３１…記憶部、３１ａ…コンテンツ記憶部、３１ｂ…操作データ記憶部、３１ｃ…教示ファイル記憶部、３１ｄ…ＯＳ、３１ｅ…ブラウザプログラム、３１ｆ…編集プログラム。

Claims (9)

1. 映像配信装置と端末装置とからなる映像配信システムであって、
   前記映像配信装置は、
   自由視点映像データを配信する配信部と、
   前記端末装置からの教示データを取得する第１取得部と、
   前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部と、
   を有し、
   前記端末装置は、
   前記映像配信装置からの自由視点映像データを取得する第２取得部と、
   前記自由視点映像データに基づき映像を生成する映像生成部と、
   前記映像を表示する表示部と、
   前記自由視点映像データを編集し、前記教示データを送信する編集部と、
   を有し、
   前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む
   映像配信システム。
2. 前記端末装置は、前記教示データと前記自由視点映像データとに基づいて教示ファイルを生成する教示ファイル生成部を更に有する
   請求項１に記載の映像配信システム。
3. 前記映像配信装置は、前記教示ファイルと前記自由視点映像データとに基づいてコンテンツデータを生成するコンテンツ生成部を更に有する
   請求項１又は請求項２に記載の映像配信システム。
4. 前記教示データは、前記端末装置の操作データを含む
   請求項３に記載の映像配信システム。
5. 前記端末装置では、前記編集に際して、編集画面を前記表示部に表示し、
   前記編集画面は、
   選択可能なコンテンツを提示する第１領域と、
   選択した映像を再生する第２領域と、
   前記自由視点映像データを、選択可能な単位で示す第３領域と、を有する
   請求項１乃至請求項３のいずれか１項に記載の映像配信システム。
6. 端末装置と通信自在な映像配信装置であって、
   自由視点映像データを配信する配信部と、
   前記端末装置からの教示データを取得する第１取得部と、
   前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部と、
   を有し、
   前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む
   映像配信装置。
7. 前記教示ファイルと前記自由視点映像データとに基づいてコンテンツデータを生成するコンテンツ生成部を更に有する
   請求項６に記載の映像配信装置。
8. 端末装置と通信自在な映像配信装置により実行されるプログラムであって、
   映像配信装置を、
   自由視点映像データを配信する配信部、
   前記端末装置からの教示データを取得する第１取得部、及び
   前記教示データに基づいて自動再生用の教示ファイルを生成する教示ファイル生成部、
   として機能させ、
   前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む
   プログラム。
9. 映像配信装置と端末装置とからなる映像配信システムによる方法であって、
   前記映像配信装置が、自由視点映像データを配信し、
   前記端末装置が、前記映像配信装置からの自由視点映像データを取得し、前記自由視点映像データに基づき映像を生成し、前記映像を表示し、前記自由視点映像データを編集して教示データを送信し、
   前記映像配信装置が、前記端末装置からの前記教示データを取得し、前記教示データに基づいて自動再生用の教示ファイルを生成し、
   前記教示データは、スクリーンの態様を教示するスクリーン教示データ、前記自由視点映像データに係る前記自動再生時の開始時間を少なくとも教示するコンテンツ教示データ、及び、文字、図形、記号、及び音声の少なくともいずれかの付加を教示するアノテーション教示データを含む
   映像配信方法。

Images