JP6662063B2 - 収録データ処理方法 - Google Patents

Description

本発明は、動画を処理する技術に関する。

相異なる位置で収録された音響や動画を含む複数の収録データを処理する技術が従来から提案されている。例えば特許文献１には、相異なる端末装置から取得した複数の音響データを相互に同期させて、同期後の複数の音響データを混合することで新たな音響データを生成する技術が開示されている。

特開２０１５−１００１０３号公報

特許文献１の技術では、各端末装置から取得した複数の音響データを同期させるために、各音響データ間の時間的な関係を解析する処理をサーバで行っている。したがって、音響データの総数が膨大な場合は、サーバでの処理負荷が大きいという問題がある。なお、ここでは複数の音響データ間の時間的な関係を解析する処理に言及したが、動画を含む複数の収録データ間の時間的な関係を解析する場合にも同様の問題が発生する。以上の事情を考慮して、本発明は、複数の収録データを処理する編集装置の処理負荷（ひいてはコンテンツの生成に必要な時間）を低減することを目的とする。

以上の課題を解決するために、本発明の収録データ処理方法は、相互に同期する複数の動画を含むコンテンツを複数の素材データから生成する編集装置と通信可能な端末装置が、収録装置が収録した動画を含む収録データと当該収録データの時間軸上の基準となる参照信号とを対比することで、参照信号に対する当該収録データの時間軸上の関係を示す同期情報を生成し、収録データに対応した動画を含む素材データと生成した同期情報とを編集装置に送信する。以上の方法では、編集装置に対する素材データの送信元である端末装置において同期情報が生成される。したがって、複数の収録データを編集装置に集約してから各収録データ間の時間的な関係を解析して動画を相互に同期させる方法と比較して、例えば、収録データの総数が膨大な場合でも編集装置の処理負荷（ひいてはコンテンツの生成に必要な時間）を低減することが可能である。

本発明の好適な態様において、同期情報は、参照信号に対する収録データの時間軸上の位置を示すオフセット情報を含む。以上の方法では、オフセット情報を含む同期情報が生成される。したがって、オフセット情報を使用することで、コンテンツに含まれる複数の動画について時間軸上の位置を整合させることが可能である。

本発明の好適な態様において、参照信号は、音響を表す音響信号であり、収録データは、動画に並行して収録された音響を含み、参照信号が表す音響と収録データが含む音響との間の時間軸上の関係を示す同期情報を生成する。以上の方法では、音響信号を含む参照信号に対する収録データの時間軸上の関係を示す同期情報が生成される。編集装置が各収録データの音響を相互に対比することで複数の収録データを同期させる方法では、動画とともに音響を含む収録データを端末装置から編集装置に送信する必要がある。参照信号に対する収録データの音響の時間軸上の関係を示す同期情報を端末装置にて生成する前述の態様によれば、各収録データの音響を使用して複数の収録データを同期させる処理を編集装置にて実行する必要がないから、音響を含む収録データを端末装置から編集装置に送信する必要がない。したがって、各端末装置と編集装置との間の通信量を削減できるという利点がある。ただし、収録データの音響を含む素材データを端末装置から編集装置に送信することも可能である。

本発明の好適な態様において、同期情報は、収録データが示す音響と参照信号が示す音響との間のサンプリング周波数の誤差を示す誤差情報を含む。以上の方法では、誤差情報を含む同期情報が生成される。したがって、誤差情報を含まない同期情報を生成する方法と比較して、各収録データの音響におけるサンプリング周波数の誤差を補償して複数の素材データを正確に同期させることが可能である。

本発明の好適な態様において、収録データは、参照信号に応じて端末装置の放音装置から放音された再生音を収録装置により収音した音響を含む。以上の方法では、収録装置は、参照信号に応じて端末装置の放音装置から放音された再生音を収録装置により収音した音響を含む収録データを収録する。すなわち、収録データとして収音される再生音の生成と同期情報の生成とに共通の参照信号が利用される。したがって、参照信号に応じて端末装置とは別個の放音装置から放音された再生音を収録装置により収音した音響を含む収録データを収録装置が収録する方法と比較して、参照信号に応じた音響を放音する装置を別個に設ける必要がないという利点がある。

本発明の好適な態様に係る端末装置は、相互に同期する複数の動画を含むコンテンツを複数の素材データから生成する編集装置と通信可能な端末装置であって、収録装置が収録した動画を含む収録データと当該収録データの時間軸上の基準となる参照信号とを対比することで、参照信号に対する当該収録データの時間軸上の関係を示す同期情報を生成する情報生成部と、収録データに対応した動画を含む素材データと情報生成部が生成した同期情報とを編集装置に送信する通信部とを具備する。以上の構成では、編集装置に素材データを送信する送信元である端末装置において同期情報が生成される。したがって、複数の収録データを編集装置に集約してから各収録データ間の時間的な関係を解析して動画を相互に同期させる構成と比較して、例えば、収録データの総数が膨大な場合でも編集装置の処理負荷（ひいてはコンテンツの生成に必要な時間）を低減することが可能である。

本発明の好適な態様に係る編集装置は、収録装置が収録した動画を含む収録データと複数の端末装置にわたり共通する参照信号との時間的な関係を示す同期情報と、収録データに対応した動画を含む素材データとを、複数の端末装置から受信する通信部と、通信部が受信した複数の素材データから、相互に同期する複数の動画を含むコンテンツを生成するコンテンツ生成部とを具備する。以上の構成では、複数の端末装置から受信した素材データと同期情報とから相互に同期する複数の動画を含むコンテンツが生成される。したがって、複数の収録データを編集装置に集約してから各収録データ間の時間的な関係を解析して相互に同期する複数の動画を含むコンテンツを生成する構成と比較して、例えば、収録データの総数が膨大な場合でも編集装置の処理負荷（ひいてはコンテンツの生成に必要な時間）を低減することが可能である。

本発明の第１実施形態に係る収録データ処理システムの構成図である。 同期情報に含まれるオフセット情報の説明図である。 コンテンツ生成部が行う編集処理の説明図である。 コンテンツに含まれる動画の模式図である。 収録データ処理システム全体の処理のフローチャートである。

＜第１実施形態＞
図１は、本発明の第１実施態様に係る収録データ処理システム１００の構成図である。収録データ処理システム１００は、例えばダンス等の種々のイベントを大勢の観客が収録する際に利用されるコンピュータシステムであり、図１に例示される通り、編集装置１２と複数（Ｎ個）の端末装置１４［１］〜１４［Ｎ］と配信装置１６とを具備する。編集装置１２は、例えばウェブサーバ等のサーバ装置で実現される。また、編集装置１２は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現され得る。複数の端末装置１４［ｎ］の各々は、例えば移動通信網やインターネット等の通信網１８を介して編集装置１２と相互に通信する通信端末である。端末装置１４［ｎ］は、例えば携帯電話機やスマートフォン、タブレット端末、パーソナルコンピュータ等の可搬型の通信端末である。概略的には、端末装置１４［ｎ］にて収録された動画Ｖ［ｎ］および音響Ａ［ｎ］を含むデータ（以下「収録データ」という）Ｄ［ｎ］が各端末装置１４［ｎ］から編集装置１２に送信され、相異なる端末装置１４［ｎ］から受信したＮ個の収録データＤ［１］〜Ｄ［Ｎ］を編集装置１２が編集することで１個のコンテンツＣが生成される。

＜配信装置１６＞
配信装置１６は、各収録データＤ［ｎ］の時間軸上の基準となる信号（以下「参照信号」という）Ｒを記憶し、通信網１８を介してＮ個の端末装置１４［１］〜１４［Ｎ］に共通に配信する。第１実施形態における参照信号Ｒは、音響を表す音響信号である。第１実施形態では、ダンスのイベント会場に設置された放音装置（例えばスピーカー）からダンス用の楽曲の演奏音が再生される場合を想定する。楽曲の演奏音は、例えば事前に収録された音楽であり、ダンスの実演の際にＢＧＭとして使用される。第１実施形態の参照信号Ｒは、イベント会場で再生される演奏音を表す音響信号である。複数の端末装置１４［ｎ］の各々がダンスのイベント会場でダンスの実演を収録した場合、複数の収録データＤ［ｎ］の各々の音響Ａ［ｎ］には、参照信号Ｒと同様の音響が共通に含有される。

配信装置１６から各端末装置１４［ｎ］に参照信号Ｒを配信する方法は任意であり、例えばイベント毎に参照信号Ｒを配信する方法や、端末装置１４［ｎ］の利用者にＱＲコード（登録商標）を配布して参照信号Ｒのダウンロードを誘導することで配信する方法が採用され得る。また、配信装置１６がイベント会場の無線ＬＡＮを介して各端末装置１４［ｎ］に参照信号Ｒをブロードキャストしてもよい。

＜端末装置１４［ｎ］＞
任意の１個の端末装置１４［ｎ］は、図１に例示される通り、収録装置２１と記憶装置２３と制御装置２５と通信装置２７と再生装置２９とを具備する。

第１実施形態の収録装置２１は、収録データＤ［ｎ］を生成する機器であり、動画Ｖ［ｎ］を撮像する撮像装置２１２と音響Ａ［ｎ］を収音する収音装置２１４とを具備する。撮像装置２１２は、例えばデジタルカメラやデジタルカムコーダであり、収音装置２１４は、例えばマイクロホンである。なお、撮像装置２１２および収音装置２１４が端末装置１４［ｎ］に搭載された構成を図１では例示したが、端末装置１４［ｎ］とは別体の撮像装置２１２および収音装置２１４を端末装置１４［ｎ］に有線または無線で接続することも可能である。撮像装置２１２による動画Ｖ［ｎ］の撮像と収音装置２１４による音響Ａ［ｎ］とは相互に並列に実行され、動画Ｖ［ｎ］と音響Ａ［ｎ］とを含む収録データＤ［ｎ］が生成される。

各端末装置１４［ｎ］の利用者は、自身の端末装置１４［ｎ］の収録装置２１を利用して、例えば相異なる位置で共通の収録対象（例えばダンスのイベント）の動画Ｖ［ｎ］および音響Ａ［ｎ］を並列に収録する。すなわち、各端末装置１４［ｎ］の収録装置２１は、ダンス等のイベント会場の共通の音響空間の相異なる地点に配置され、各々が別個の角度から例えばダンスの実演の様子を並列に収録して収録データＤ［ｎ］を生成する。前述した通り、イベント会場では、参照信号Ｒと同様の音響成分が放音装置から再生されるから、複数の端末装置１４［ｎ］の各々が収録する音響Ａ［ｎ］は、参照信号Ｒと同様の音響成分（ただし音量等の音響特性は相違し得る）を共通に含有する。

収録装置２１は、利用者からの指示を契機として動画Ｖ［ｎ］および音響Ａ［ｎ］の収録を開始する。したがって、収録装置２１による収録の開始のタイミングは、端末装置１４［ｎ］毎に異なり得る。すなわち、動画Ｖ［ｎ］および音響Ａ［ｎ］の収録の開始点は複数の収録データＤ［ｎ］の間で相違し得る。したがって、Ｎ個の収録データＤ［１］〜Ｄ［ｎ］を単純に合成しただけでは、動画Ｖ［ｎ］や音響Ａ［ｎ］の時間軸上の位置が収録データＤ［ｎ］間でずれたコンテンツＣが生成される。

記憶装置２３は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、制御装置２５が実行するプログラムや制御装置２５が使用する各種のデータを記憶する。例えば、収録装置２１が収録した動画Ｖ［ｎ］や音響Ａ［ｎ］を含む収録データＤ［ｎ］、および、収録データＤ［ｎ］の時間軸上の基準となる参照信号Ｒが記憶装置２３に記憶される。なお、配信装置１６から配信された参照信号Ｒが記憶装置２３に記憶されるが、参照信号Ｒをあらかじめ記憶装置２３に記憶させておくことも可能である。

制御装置２５は、例えばＣＰＵ（Central Processing Unit）等の処理装置で構成され、端末装置１４［ｎ］の全体的な動作を制御する。制御装置２５は、具体的には、図１に例示される通り、記憶装置２３に記憶されたプログラムを実行することで、同期情報Ｓ［ｎ］を生成する情報生成部２５１として機能する。なお、制御装置２５の一部の機能を専用の電子回路で実現した構成や、制御装置４５の機能を複数の装置に分散した構成も採用され得る。

情報生成部２５１は、収録装置２１が収録した収録データＤ［ｎ］と当該収録データＤ［ｎ］の時間軸上の基準となる参照信号Ｒとを対比することで、参照信号Ｒに対する当該収録データＤ［ｎ］の時間軸上の関係を示す情報（以下「同期情報」という）Ｓ［ｎ］を生成する。前述の通り、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］には、参照信号Ｒと同様の音響成分が含有されている。したがって、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］と当該収録データＤ［ｎ］の時間軸上の基準となる参照信号Ｒが表す音響とを対比することで、参照信号Ｒに対する収録データＤ［ｎ］の時間軸上の位置を示すオフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］が生成される。オフセット情報Ｏ［ｎ］とは、図２に例示される通り、参照信号Ｒと収録データＤ［ｎ］とについて時間軸上で始点を一致させた場合に、時間軸上における参照信号Ｒの特定の時点と、収録データＤ［ｎ］のうち当該時点に対応する箇所（共通の音響が存在する箇所）との時間差を示す情報である。したがって、オフセット情報Ｏ［ｎ］が示す時間分だけ収録データＤ［ｎ］の時間軸上の位置を調整することで、参照信号Ｒと収録データＤ［ｎ］とを相互に同期させることが可能である。相互に同期するとは、各収録データＤ［ｎ］に含まれる動画Ｖ［ｎ］および音響Ａ［ｎ］の時間軸が複数の収録データＤ［ｎ］にわたり相互に合致する状態を意味する。以上の説明からも理解される通り、オフセット情報Ｏ［ｎ］は、参照信号Ｒと収録データＤ［ｎ］とを相互に同期させた場合における両者の始点間の時間差を示す情報とも換言され得る。

図１の通信装置２７は、通信網１８を介して編集装置１２と通信する通信機器である。通信装置２７は、具体的には、収録装置２１が生成した収録データＤ［ｎ］をコンテンツＣの素材となるデータ（以下「素材データ」という）Ｔ［ｎ］として編集装置１２に送信するとともに、情報生成部２５１が生成したオフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］を編集装置１２に送信する。

再生装置２９は、編集装置１２が生成したコンテンツＣを再生する装置であり、制御装置２５から指示された画像を表示する表示装置２９２と、制御装置２５から指示された音響を放音する放音装置２９４とを包含する。具体的には、コンテンツＣの動画が表示装置２９２に表示され、コンテンツＣの音響が放音装置２９４から再生される。

＜編集装置１２＞
編集装置１２は、図１に例示される通り、通信装置４１（通信部の一例）と記憶装置４３と制御装置４５とを具備する。通信装置４１は、通信網１８を介して複数の端末装置１４［ｎ］の各々と通信する通信機器である。通信装置４１は、具体的には、各端末装置１４［ｎ］から送信された素材データＴ［ｎ］および同期情報Ｓ［ｎ］を受信する。第１実施形態の各同期情報Ｓ［ｎ］は、前述の通り、オフセット情報Ｏ［ｎ］を含む。

記憶装置４３は、磁気記録媒体や半導体記録媒体等の公知の記録媒体であり、制御装置４５が実行するプログラムや制御装置４５が使用する各種のデータを記憶する。例えば、通信装置４１が端末装置１４［１］〜１４［Ｎ］から受信した同期情報Ｓ［１］〜Ｓ［Ｎ］と素材データＴ［１］〜Ｔ［Ｎ］とが記憶装置４３に記憶される。

制御装置４５は、例えばＣＰＵ（Central Processing Unit）等の処理装置で構成され、編集装置１２の全体的な動作を制御する。具体的には、図１に例示される通り、記憶装置４３に記憶されたプログラムを実行することで、コンテンツＣを生成するためのコンテンツ生成部４５１として機能する。コンテンツ生成部４５１は、通信装置４１が受信した複数の素材データＴ［ｎ］から、相互に同期する複数の動画Ｖ［ｎ］と音響Ａ［ｎ］とを含むコンテンツＣを生成する。なお、制御装置４５の一部の機能を専用の電子回路で実現した構成や、制御装置４５の機能を複数の装置に分散した構成も採用され得る。

コンテンツ生成部４５１は、通信装置４１が受信した複数の素材データＴ［ｎ］に対する処理（以下「編集処理」という）により、相互に同期する複数の動画Ｖ［ｎ］と音響Ａ［ｎ］とを含むコンテンツＣを生成する。図３は、コンテンツ生成部４５１が行う編集処理の説明図である。編集処理は、具体的には、オフセット情報Ｏ［ｎ］で指定される時間だけ素材データＴ［ｎ］の時間軸上の位置を変化させる処理を含む。各オフセット情報Ｏ［ｎ］は、共通の参照信号Ｒに対する音響Ａ［ｎ］の時間差であるから、各素材データＴ［ｎ］をオフセット情報Ｏ［ｎ］の時間分だけ時間軸上で前後させることで、複数の素材データＴ［１］〜Ｔ［Ｎ］について時間軸上の位置が相互に合致（すなわち同期）する。したがって、オフセット情報Ｏ［ｎ］を編集処理に利用することで、図３に例示される通り、コンテンツＣに含まれる複数の動画Ｖ［ｎ］および音響Ａ［ｎ］について時間軸上の位置を整合させることが可能である。つまり、収録装置２１による収録の開始のタイミングの誤差を補償したコンテンツＣを生成することができる。

なお、第１実施形態の編集処理は、複数の音響Ａ［ｎ］に対するミキシングやマスタリング等の合成処理を包含する。コンテンツ生成部４５１が生成するコンテンツＣは、以上に例示した編集処理後のＮ個の動画Ｖ［ｎ］を合成した動画ＣVと、Ｎ個の音響Ａ［ｎ］を合成した音響ＣAとを含む。動画ＣVは、図４に例示される通り、例えば複数の動画Ｖ［ｎ］を表示装置２９２上で同時に表示できるようした動画である。なお、コンテンツＣの内容は任意である。例えば、複数の素材データＴ［ｎ］の各々の動画Ｖ［ｎ］の一部を時間軸上で相互に連結した動画ＣVや、複数の素材データＴ［ｎ］の各々の音響Ａ［ｎ］の一部を時間軸上で相互に連結した音響ＣAをコンテンツＣに含めることも可能である。以上の説明では複数の素材データＴ［ｎ］の音響Ａ［ｎ］の合成で音響ＣAを生成したが、複数の素材データＴ［ｎ］の何れかに含まれる音響Ａ［ｎ］をコンテンツＣの音響ＣAとして利用することも可能である。

コンテンツ生成部４５１が生成したコンテンツＣは、端末装置１４［ｎ］の要求に応じて通信装置４１から端末装置１４［ｎ］に送信される。コンテンツＣに含まれる動画ＣVは表示装置２９２で再生され、コンテンツＣに含まれる音響ＣAは放音装置２９４で再生される。

図５は、収録データ処理システム１００全体の処理のフローチャートである。ダンスのイベント会場にはダンスの実演の様子を収録する各端末装置１４［ｎ］の利用者がいる。記憶装置２３に記憶されたプログラム（アプリケーションプログラム）を起動する指示が利用者から付与されることを契機として図５の処理が開始される。

まず、イベントにおけるダンスの実演の開始前に、配信装置１６は、音響を表す音響信号である参照信号Ｒを、通信網１８を介して複数の端末装置１４［ｎ］に共通に送信する（Ｓ1）。各端末装置１４［ｎ］の記憶装置２３は、通信装置２７が配信装置１６から受信した参照信号Ｒを記憶する（Ｓ2）。ダンスの実演が開始されると、利用者は収録データＤ［ｎ］の収録の指示を各々の任意のタイミングで収録装置２１に対して行う。収録が指示されると、収録装置２１は、ダンスのイベントの様子を撮像した動画Ｖ［ｎ］とイベント会場での再生音を収音した音響Ａ［ｎ］とを含む収録データＤ［ｎ］を生成する（Ｓ3）。収録装置２１による収録データＤ［ｎ］の生成とともに、各端末装置１４［ｎ］の記憶装置２３は、収録装置２１が収録した収録データＤ［ｎ］を記憶する（Ｓ4）。ダンスの実演（収録データＤ［ｎ］の収録）が終了すると、各端末装置１４［ｎ］の制御装置２５（情報生成部２５１）は、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］と参照信号Ｒが表す音響とを対比することで、参照信号Ｒが表す音響と収録データＤ［ｎ］に含まれる音響Ａ［ｎ］との間の時間軸上の位置を示すオフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］を生成する（Ｓ5）。

各端末装置１４［ｎ］の通信装置２７は、収録データＤ［ｎ］の動画Ｖ［ｎ］および音響Ａ［ｎ］を含む素材データＴ［ｎ］とオフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］とを編集装置１２に送信する（Ｓ6）。例えば、利用者からの収録動作の終了の指示を契機として、素材データＴ［ｎ］と同期情報Ｓ［ｎ］とが通信装置２７から編集装置１２に送信される。ただし、素材データＴ［ｎ］および同期情報Ｓ［ｎ］の送信の契機は、利用者からの指示に限定されない。例えば、参照信号Ｒの受信から所定の有効期間が経過した時点や所定の時刻（例えばイベントの終了時刻）が到来した時点で、各端末装置１４［ｎ］が収録動作を終了して素材データＴ［ｎ］と同期情報Ｓ［ｎ］とを編集装置１２に送信することも可能である。また、編集装置１２から送信された終了指示の受信を契機として素材データＴ［ｎ］と同期情報Ｓ［ｎ］との送信を開始することも可能である。

編集装置１２は、各端末装置１４［ｎ］から送信された素材データＴ［ｎ］と同期情報Ｓ［ｎ］とを記憶装置４３に記憶する（Ｓ7）。編集装置１２の制御装置４５（コンテンツ生成部４５１）は、通信装置４１が受信した複数の素材データＴ［ｎ］について同期情報Ｓ［ｎ］を利用した編集処理を実行することで、相互に同期する複数の動画Ｖ［ｎ］および音響Ａ［ｎ］を含むコンテンツＣを生成する（Ｓ8）。編集装置１２の通信装置４１は、コンテンツ生成部４５１が生成したコンテンツＣを各端末装置１４［ｎ］に送信する（Ｓ9）。例えば、コンテンツＣが生成された後における各端末装置１４［ｎ］の利用者からのコンテンツＣの要求を契機として、コンテンツＣが通信装置２７から編集装置１２に送信される。ただし、コンテンツＣの送信の契機は、端末装置１４［ｎ］からの要求に限定されない。例えば、コンテンツＣの生成が終了した時点で、自動的に各端末装置１４［ｎ］に対するコンテンツＣの送信を開始することも可能である。

各端末装置１４［ｎ］は、通信装置２７が受信したコンテンツＣを利用者からの指示に応じて再生装置２９（表示装置２９２と放音装置２９４）で再生する（Ｓ10）。また、コンテンツ生成部４５１が生成したコンテンツＣを例えば動画投稿サイトにアップロードし、任意の情報端末を利用して再生することも可能である。

以上の説明から理解される通り、編集装置１２に対する素材データＴ［ｎ］の送信元である端末装置１４［ｎ］において参照信号Ｒと収録データＤ［ｎ］との時間的な関係の解析により同期情報Ｓ［ｎ］が生成される。したがって、複数の収録データＤ［ｎ］を編集装置１２に集約してから各収録データＤ（ｎ）間の時間的な関係を解析して動画Ｖ［ｎ］および音響Ａ［ｎ］を相互に同期させる構成と比較して、例えば、収録データＤ［ｎ］の総数が膨大な場合でも編集装置１２の処理負荷（ひいてはコンテンツＣの生成に必要な時間）を低減することが可能である。つまり、各端末装置１４［ｎ］が素材データＴ［ｎ］と同期情報Ｓ［ｎ］とを編集装置１２に送信してから、コンテンツＣを受信するまでの時間が短縮される。

また、オフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］が生成されるので、当該オフセット情報Ｏ［ｎ］を使用することで生成されるコンテンツＣに含まれる複数の動画Ｖ［ｎ］および音響Ａ［ｎ］について時間軸上の位置を整合させることが可能である。つまり、収録装置２１による収録の開始のタイミングの誤差を補償したコンテンツＣを生成することができる。

＜第２実施形態＞
本発明の第２実施形態について説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態の情報生成部２５１は、オフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］を生成した。第２実施形態の情報生成部２５１は、オフセット情報Ｏ［ｎ］と誤差情報Ｅ［ｎ］とを含む同期情報Ｓ［ｎ］を生成する。誤差情報Ｅ［ｎ］は、収録データＤ［ｎ］が示す音響Ａ［ｎ］と参照信号Ｒが示す音響との間のサンプリング周波数の誤差を示す情報である。複数の端末装置１４［１］〜１４［Ｎ］の収音装置２１４においてサンプリング周波数が同一に設定されていたとしても、Ａ／Ｄ変換のタイミングを規定するクロック・ジェネレータのクロック周波数は完全には一致しないため、各端末装置１４［ｎ］間でサンプリング周波数には微細な誤差が生じる。したがって、収音装置２１４で収音した音響Ａ［１］〜Ａ［Ｎ］をオフセット情報Ｏ［ｎ］により相互に同期させて音響ＣAを生成しても、音響ＣAを再生した際に、音響ＣAに含まれる各音響Ａ［ｎ］の再生箇所が相違し得る（具体的には経時的にずれていく）という問題が発生する。第２実施形態の誤差情報Ｅ［ｎ］は、各端末装置１４［ｎ］におけるサンプリング周波数の誤差を補償するための情報である。

具体的には、第２実施形態における情報生成部２５１は、オフセット情報Ｏ［ｎ］を第１実施形態と同様に生成するとともに、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］と当該収録データＤ［ｎ］の時間軸上の基準となる参照信号Ｒが表す音響とのサンプリング周波数を対比することで、収録データＤ［ｎ］が示す音響Ａ［ｎ］と参照信号Ｒが示す音響との間のサンプリング周波数の誤差を示す誤差情報Ｅ［ｎ］を生成する。誤差情報Ｅ［ｎ］の算出には、公知の技術が任意に採用され得る。例えば、特開２０１５−１９７９４１号公報に開示されたサンプリング周波数推定装置が好適に利用される。

通信装置２７は、収録装置２１が生成した収録データＤ［ｎ］に含まれる動画Ｖ［ｎ］および音響Ａ［ｎ］をコンテンツＣの素材となる素材データＴ［ｎ］として編集装置１２に送信するとともに、情報生成部２５１が生成したオフセット情報Ｏ［ｎ］と誤差情報Ｅ［ｎ］とを含む同期情報Ｓ［ｎ］を編集装置１２に送信する。

編集装置１２のコンテンツ生成部４５１は、通信装置４１が受信した複数の素材データＴ［ｎ］に対する編集処理により、相互に同期する複数の動画Ｖ［ｎ］と音響Ａ［ｎ］とを含むコンテンツＣを生成する。コンテンツＣは、第１実施形態と同様に、編集処理後のＮ個の動画Ｖ［ｎ］を合成した動画ＣVと、Ｎ個の音響Ａ［ｎ］を合成した音響ＣAとを含む。第２実施形態における編集処理では、具体的には、オフセット情報Ｏ［ｎ］で指定される時間だけ素材データＴ［ｎ］の時間軸上の位置を第１実施形態と同様に変化させるとともに、誤差情報Ｅ［ｎ］で指定されるサンプリング周波数の誤差分だけ素材データＴ［ｎ］を時間軸上で伸縮する。素材データＴ［ｎ］の伸縮には、公知の技術が任意に採用され得る。各誤差情報Ｅ［ｎ］は、前述の通り、共通の参照信号Ｒを表す音響のサンプリング周波数に対する音響Ａ［ｎ］におけるサンプリング周波数の誤差である。したがって、各素材データＴ［ｎ］に含まれる音響Ａ［ｎ］を誤差情報Ｅ［ｎ］に応じた時間分だけ音響Ａ［ｎ］の時間軸を伸縮することで、各音響Ａ［ｎ］におけるサンプリング周波数を実質的に同一にすることが可能である。つまり、コンテンツＣに含まれる音響ＣAを再生した場合、音響ＣAに含まれる各音響Ａ［ｎ］の再生箇所を相互に合致させることができる。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では特に、オフセット情報Ｏ［ｎ］のほかに誤差情報Ｅ［ｎ］を含む同期情報Ｓ［ｎ］が生成されるので、コンテンツＣに含まれる複数の動画Ｖ［ｎ］および音響Ａ［ｎ］について時間軸上の位置を整合させるとともに、コンテンツＣに含まれる複数の音響Ａ［ｎ］におけるサンプリング周波数を実質的に同一にすることが可能である。したがって、各収録データＤ［ｎ］の音響Ａ［ｎ］におけるサンプリング周波数の誤差を補償して複数の素材データＴ［ｎ］を正確に同期させたコンテンツＣを生成することができる。

＜第３実施形態＞
第１実施形態におけるコンテンツＣは、編集処理後のＮ個の動画Ｖ［１］〜Ｖ［Ｎ］を合成した動画ＣVと、Ｎ個の音響Ａ［１］〜Ａ［Ｎ］を合成した音響ＣAとを含む。第３実施形態におけるコンテンツＣは、編集処理後のＮ個の動画Ｖ［１］〜Ｖ［Ｎ］を合成した動画ＣVと、特定の１つの端末装置１４［ｎ］の収音装置２１４が収音した音響Ａ［ｎ］に応じた音響ＣAとを含む。

第３実施形態における各端末装置１４［ｎ］の収録装置２１は、第１実施形態と同様に動画Ｖ［ｎ］および音響Ａ［ｎ］を含む収録データＤ［ｎ］を生成する。第３実施形態における情報生成部２５１は、第１実施形態と同様に、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］と参照信号Ｒが表す音響とを対比することで、参照信号Ｒに対する収録データＤ［ｎ］の時間軸上の位置を示すオフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］を生成する。

複数の端末装置１４［１］〜１４［Ｎ］のうち、特定の１つの端末装置１４［ｎ1］は、動画Ｖ［ｎ1］および音響Ａ［ｎ1］の双方を含む素材データＴ［ｎ1］を同期情報Ｓ［ｎ1］とともに編集装置１２に送信する。他方、残りの複数の端末装置１４［ｎ2］（ｎ2≠ｎ1）は、動画Ｖ［ｎ2］を含むが音響Ａ［ｎ2］は含まない素材データＴ［ｎ2］を編集装置１２に送信する。つまり、各端末装置１４［ｎ2］については、編集装置１２に対する音響Ａ［ｎ2］の送信が省略される。

第３実施形態における編集装置１２のコンテンツ生成部４５１は、通信装置４１が受信した複数の素材データＴ［ｎ］に対する編集処理によりコンテンツＣを生成する。コンテンツＣの動画ＣVは、第１実施形態と同様に、端末装置１４[ｎ]から送信された素材データＴ[ｎ]に含まれるＮ個の動画Ｖ［１］〜Ｖ［Ｎ］を相互に同期させたうえで合成した動画である。他方、コンテンツＣの音響ＣAは、１個の端末装置１４［ｎ1］が送信した素材データＴ［ｎ1］の音響Ａ［ｎ1］である。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、端末装置１４［ｎ2］から編集装置１２に対する音響Ａ［ｎ2］の送信が省略されるから、端末装置１４［ｎ2］と編集装置１２との間の通信量を低減するとともに編集装置１２の記憶装置４３に保存するデータ量を削減することが可能である。また、編集装置１２のコンテンツ生成部４５１では、音響ＣAを生成する際の合成処理が不要なので、編集装置１２全体の処理負荷が低減できる。さらには、コンテンツＣに含まれる音響ＣAは、特定の１つの端末装置１４［ｎ1］が送信した素材データＴ［ｎ1］の音響Ａ［ｎ1］なので、コンテンツＣのデータ量の削減が可能である。なお、編集装置１２の記憶装置４３があらかじめ記憶していた音響をコンテンツＣに含まれる音響ＣAとして使用することも可能である。この場合、複数の端末装置１４［ｎ］の全てにおいて編集装置１２への音響Ａ［ｎ］の送信が不要となる。

第１実施形態および第２実施形態では、動画Ｖ［ｎ］と音響Ａ［ｎ］とを含む収録データＤ［ｎ］を素材データＴ［ｎ］として端末装置１４［ｎ］から編集装置１２に送信し、第３実施形態では、収録データＤ［ｎ］から音響Ａ［ｎ］を省略した素材データＴ［ｎ］を端末装置１４［ｎ］から編集装置１２に送信した。以上の説明から理解される通り、素材データＴ［ｎ］は、収録データＤ［ｎ］に対応した動画Ｖ［ｎ］を含むデータとして表現され、素材データＴ［ｎ］における音響Ａ［ｎ］の有無は不問である。

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）前述の各形態では、参照信号Ｒを表す音響をイベント会場に設置された放音装置から放音したが、参照信号Ｒを表す音響を放音する装置は以上の例示に限定されない。例えば、参照信号Ｒに応じた音響を端末装置１４［ｎ］の放音装置２９４から放音することも可能である。この場合、収音装置２１４が収音した音響Ａ［ｎ］には、端末装置１４［ｎ］が放音した再生音（参照信号Ｒを表す音響）が含まれる。すなわち、収録データＤ［ｎ］として収音される再生音の生成と同期情報Ｓ［ｎ］の生成とに共通の参照信号Ｒが利用される。したがって、参照信号Ｒに応じて端末装置１４［ｎ］とは別個の放音装置から放音された再生音を収録装置２１により収音した音響Ａ［ｎ］を含む収録データＤ［ｎ］を収録装置２１が収録する前述の各形態と比較して、参照信号Ｒに応じた音響を放音する装置を別個に設ける必要がないという利点がある。

（２）前述の各形態では、音楽に対応した音響（つまり可聴帯域内の音響）を表す音響信号を参照信号Ｒとしたが、参照信号Ｒは、音楽に対応した音響を表す音響信号に限定されない。例えば、可聴帯域外の音響を表す音響信号を参照信号Ｒとすることも可能である。可聴帯域外の音響を表す音響信号を参照信号Ｒとした場合は、前述の各形態と同様に、イベント会場の放音装置から参照信号Ｒに応じて可聴帯域外の音響を放音する。すなわち、空気振動たる音波を伝送媒体とする音響通信により参照信号Ｒが送信される。なお、参照信号Ｒの送信には、以上に例示した音響通信のほか、電波や電磁波を伝送媒体とした近距離無線通信を利用してもよい。

（３）参照信号Ｒを表す音響であって事前に収録された音楽をイベント会場に設置された放音装置から放音したが、参照信号Ｒに応じた音響は事前に集録された音楽に限定されない。例えば、参照信号Ｒを表す音響であってダンスの実演に並行してバンドが生演奏する音楽を放音装置から放音することも可能である。すなわち、演奏予定の音楽を事前に収録した参照信号Ｒが利用される。以上の説明から理解される通り、参照信号Ｒが表す音響そのものを端末装置１４が収録する場合が好適であるが、参照信号Ｒが表す音響とは近似するものの厳密には一致しない音響を端末装置１４が収録する場合もあり得る。つまり、収録データＤ［ｎ］に含まれる音響Ａ［ｎ］には、参照信号Ｒと同様の音響成分が含有されているとは限らない。

（４）前述の各形態では、あらかじめ用意された参照信号Ｒを配信装置１６から各端末装置１４［ｎ］に配信したが、参照信号Ｒの配信元は以上の例示に限定されない。例えば、特定の１つの端末装置１４［ｎ1］が収音した音響Ａ［ｎ1］を参照信号Ｒとすることも可能である。この場合、収録データＤ［ｎ1］の収録が終了した時点で、端末装置１４［ｎ1］が、他の複数の端末装置１４［ｎ2］に音響Ａ［ｎ1］を参照信号Ｒとして送信する。各端末装置１４［ｎ2］は、端末装置１４［ｎ1］から受信した参照信号Ｒを収録済の収録データＤ［ｎ2］と比較することで同期情報Ｓ［ｎ2］を生成する。以上の構成によれば、参照信号Ｒをあらかじめ用意する必要がないため、配信装置１６が不要となるという利点がある。

（５）前述の各形態では、サーバ装置を編集装置１２としたが、編集装置１２はサーバ装置に限定されない。例えば、複数の端末装置１４［ｎ］のうち特定の１つの端末装置１４［ｎ1］を編集装置１２とすることも可能である。この場合、残りの複数の端末装置１４［ｎ2］は、素材データＴ［ｎ2］と同期情報Ｓ［ｎ2］とを端末装置１４［ｎ1］に送信する。以上の構成によれば、編集装置１２が不要となるので、収録データ処理システム１００を簡素化することができる。以上の説明から理解される通り、編集装置１２には、サーバ装置（単体のサーバのほか複数のサーバで構成されるサーバシステムも含む）と端末装置１４［ｎ］との双方が包含され得る。

（６）第１実施形態と第３実施形態においては、オフセット情報Ｏ［ｎ］を含む同期情報Ｓ［ｎ］を生成し、第２実施形態においては、オフセット情報Ｏ［ｎ］と誤差情報Ｅ［ｎ］とを含む同期情報Ｓ［ｎ］を生成したが、同期情報Ｓ［ｎ］に含める情報は以上の例示に限定されない。同期情報Ｓ［ｎ］は、参照信号Ｒに対する収録データＤ［ｎ］の時間軸上の関係を示す任意の情報として包括的に表現される。

（７）前述の各形態では、収録データ処理システム１００をイベント会場でのダンスの実演の収録に利用したが、収録データ処理システム１００を利用する場面は以上の例示に限定されない。例えば、講演会等の実演会や冠婚葬祭の式典で利用することも可能である。

（８）以上に例示した端末装置１４［ｎ］は、前述の通り制御装置２５とプログラムとの協働で実現される。また、編集装置１２は、前述の通り制御装置４５とプログラムとの協働で実現される。プログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、以上に例示したプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、前述の各形態に係る端末装置１４［ｎ］の動作方法（収録データ処理方法）や、編集装置１２の動作方法としても本発明は特定される。

１００……収録データ処理システム、１２……編集装置、１４……端末装置、１６……配信装置、１８……通信網、２１……収録装置、２１２……撮像装置、２１４……収音装置、２３……記憶装置、２５……制御装置、２５１……情報生成部、２７……通信装置、２９……再生装置、２９２……表示装置、２９４……放音装置、４１……通信装置、４３……記憶装置、４５……制御装置、４５１……コンテンツ生成部。

Claims (5)

1. 相互に同期する複数の動画を含むコンテンツを複数の素材データから生成する編集装置と通信可能な端末装置が、
   収録装置が収録した動画を含む収録データと当該収録データの時間軸上の基準となる参照信号とを対比することで、前記参照信号に対する当該収録データの時間軸上の関係を示す同期情報を生成し、
   前記収録データに対応した動画を含む素材データと前記生成した同期情報とを前記編集装置に送信する
   収録データ処理方法。
2. 前記同期情報は、前記参照信号に対する前記収録データの時間軸上の位置を示すオフセット情報を含む
   請求項１の収録データ処理方法。
3. 前記参照信号は、音響を表す音響信号であり、
   前記収録データは、前記動画に並行して収録された音響を含み、
   前記参照信号が表す音響と前記収録データが含む音響との間の時間軸上の関係を示す前記同期情報を生成する
   請求項１または請求項２の収録データ処理方法。
4. 前記同期情報は、前記収録データが示す音響と前記参照信号が示す音響との間のサンプリング周波数の誤差を示す誤差情報を含む
   請求項３の収録データ処理方法。
5. 前記収録データは、前記参照信号に応じて前記端末装置の放音装置から放音された再生音を前記収録装置により収音した音響を含む
   請求項３または請求項４の収録データ処理方法。
   
   

Images