JP2016111386A - 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】動画と音楽との好適な同期を行う映像編集装置を提供する。【解決手段】動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置１００の制御方法である。映像編集装置１００は、動画中の被写体の動きの変化に周期がある場合に、被写体の動きの周期と音楽のビート点の間隔とが同期するように動画データのフレームレートを変更する変更工程（Ｓ９７１）、動画中の被写体の動きの変化に周期がない場合に、被写体の動きの方向が変化する点であるピーク点とビート点との時間的な位置が同期するように動画データのフレームレートを変更する第２の変更工程（Ｓ９０８）、を行う。映像編集装置１００は、第１または第２の変更工程においてフレームレートが変更された動画データと音楽データとを合成して映像データを生成する（Ｓ９１０）。【選択図】図９

Description

本発明は、動画と音楽とを合成した編集映像を作成する映像編集装置に関する。

デジタルカメラ、スマートフォン、携帯電話、携帯型ゲーム機、タブレット型情報端末等の機器は、動画の撮影機能を備える。これらの機器には、撮影した動画を単に再生表示するだけでなく、音楽に合わせて複数の動画を繋げて再生表示する機能を有するものもある。このような機能は、パーソナルコンピュータ上で動作するアプリケーション、クラウド上でのサービスでも提供される。音楽と動画とを合成した編集映像は、音楽と動画とが調和することでお互いの相乗効果が生まれ、より印象的な映像となることが、映像編集者の間で知られている。音楽と動画との調和を簡単に或いは自動で行うための技術として、以下の技術がある。

特許文献１は、音楽の特徴点を基準として動画の特徴点の区切りを切り替えることで編集映像を作成する技術を開示する。音楽の特徴点は、「音量の極点」、「周波数分布の変曲点」等である。動画の特徴点は、「シーンの変化点」、「カメラワークの開始点、終了点」、「動く被写体の出現点、消失点」等である。
特許文献２は、音楽の遷移点と動画の遷移点とを整合して編集映像を作成する技術を開示する。遷移点の整合のために、動画の区間の切り出し又はスローダウン（フレームレート変更）等が行われる。
特許文献３は、音楽の特徴量と静止画の特徴量との対応付けを行い、音楽又は静止画の一方に対応する他方を選択して編集映像を作成する技術を開示する。音楽の特徴量は「テンポ」、「ビート白色性」、「ビート強度」等である。静止画の特徴量は「代表色」、「撮影場所」、「撮影季節」等である。

特開平１１−６９２９０号公報 特開２００３−２５９３０２号公報 特開２００５−２５７１５号公報

動画中の被写体の動きと音楽のビートとが同期した編集映像は、動画と音楽とが調和したものとなる。特許文献３の技術では、静止画や音楽を選択することで映像を作成することができるが、映像中の被写体の動きに音楽のビートを同期させることはできない。特許文献１、２の技術では、動画の特徴点、例えば被写体の動き変化のピーク点を、音楽のビート点に合わせる。従って、周期性のある被写体の動き変化のピーク点が、音楽のビート点の前方或いは後方に変化する箇所で周期性を保てなくなることがある。

本発明は、上記の問題を解決するために、動きに周期性のある被写体を含む動画に対しても、音楽との好適な同期を行う映像編集技術を提供することを主たる課題とする。

上記課題を解決する本発明の映像編集装置の制御方法は、動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置の制御方法であって、前記動画データのフレームレートを変更する変更手段により、前記動画中の被写体の動きの変化に周期がある場合に、前記被写体の動きの周期と前記音楽のビート点の間隔とが同期するように前記動画データのフレームレートを変更する変更工程と、前記動画中の被写体の動きの変化に周期がない場合に、前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同期するように前記動画データのフレームレートを変更する第２の変更工程と、合成手段により、前記第１または第２の変更工程においてフレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成工程と、を有することを特徴とする、映像編集装置の制御方法。

本発明によれば、動きに周期性のある被写体を含む動画に対しても、音楽との好適な同期を容易に行って編集映像を作成可能となる。

映像編集装置の構成図。 編集映像を作成するための機能ブロック図。 ディスプレイに表示する画像の例示図。 （ａ）〜（ｄ）は被写体の動きの周期性の説明図。 動画編集処理の説明図。 動きに周期性の有る被写体を含む動画と音楽のビート点とを合わせる処理の説明図。 動きに周期性の無い被写体を含む動画と音楽のビート点とを合わせる処理の説明図。 合成処理を表すフローチャート。 映像編集処理を表すフローチャート 周期性判定処理を表すフローチャート。 動き・ビート点同期処理を表すフローチャート。 動き・ビート間隔同期処理を表すフローチャート。 映像編集処理のフローチャート。 被写体の動きの周期性の判定処理を表すフローチャート。 動き・ビート間隔同期処理を表すフローチャート。

以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
図１は、本実施形態の映像編集装置の構成図である。映像編集装置１００は、入力装置であるキーボード１１０、マウス１２０、及び出力装置であるディスプレイ１３０が接続される情報処理装置である。

映像編集装置１００は、各種機能を実現するために、ＲＯＭ（Read Only Memory）１０１、ＣＰＵ（Central Processing Unit）１０２、及びＲＡＭ（Random Access Memory）１０３を備える。また、映像編集装置１００は、入力装置とのインタフェース制御を行う入力Ｉ／Ｆ１０４、出力装置とのインタフェース制御を行う表示Ｉ／Ｆ１０５、コンピュータプログラムや動画、音楽、編集映像等のコンテンツデータを記憶する記憶媒体１０６を備える。

ＣＰＵ１０２は、ＲＯＭ１０１に記憶される起動プログラムを読み込んで実行することで、映像編集装置１００の制御を開始する。ＣＰＵ１０２は、映像編集装置１００の制御を開始すると、コンピュータ読み取り可能な記憶媒体１０６からコンピュータプログラムを読み込んで実行することで、編集映像を作成するための機能を実現する。ＣＰＵ１０２は、プログラムを実行する際に、ＲＡＭ１０３を実行領域に用いる。

入力Ｉ／Ｆ１０４は、キーボード１１０及びマウス１２０の操作による入力信号を受け付ける。入力Ｉ／Ｆ１０４は、受け付けた入力信号をＣＰＵ１０２に送信する。出力Ｉ／Ｆ１０５は、ＣＰＵ１０２の指示により、ディスプレイ１３０に画像を表示させる。記憶媒体１０６は、ハードディスク、ＳＳＤ（Solid State Drive）等の大容量の記憶装置である。記憶媒体１０６は、動画や音楽のデータを、各々複数記憶する。なお、本実施形態では記憶媒体１０６が映像編集装置１００に内蔵されるが、これに限らず、外付けされてもよい。また、ＬＡＮ（Local Area Network）やインターネット等のネットワーク経由で記憶媒体１０６が設けられてもよい。

図２は、ＣＰＵ１０２が記憶媒体１０６からコンピュータプログラムを読み込んで実行することで映像編集装置１００内に実現する、編集映像を作成するための機能ブロック図である。

記憶媒体１０６には、動画データ群記憶部２２０、音楽データ群記憶部２３０、及び編集映像記憶部２４０が形成される。動画データ群記憶部２２０は、複数の動画の各々を表す複数の動画データを記憶する。音楽データ群記憶部２３０は、複数の音楽の各々を表す複数の音楽データを記憶する。編集映像記憶部２４０は、映像編集装置１００で作成した編集映像の編集映像データを記憶する。

映像編集装置１００は、記憶媒体１０６から動画データ及び音楽データを取得するために動画データ取得部２０１及び音楽データ取得部２０２を備える。映像編集装置１００は、動画データと音楽データとの同期のために動き変化算出部２０３、ビート点算出部２０４、動き周期算出部２０５、動き変化・ビート点同期部２０６、動き周期・ビート間隔同期部２０７、及び周期性判定部２０８を備える。映像編集装置１００は、動画データと音楽データとの合成のために同期方法切替部２０９、フレームレート変更部２１０、動画編集部２１１、及び合成部２１２を備える。

動画データ取得部２０１は、入力Ｉ／Ｆ１０４で受け付けた入力装置からの入力信号に応じて、動画データ群記憶部２２０から動画データを取得する。動き変化算出部２０３は、取得した動画データに基づいて、動画中の被写体の動きの変化として、フレーム画像間の被写体の動きベクトルの変化を算出する。
音楽データ取得部２０２は、入力Ｉ／Ｆ１０４で受け付けた入力装置からの入力信号に応じて、音楽データ群記憶部２３０から音楽データを取得する。ビート点算出部２０４は、取得した音楽データに基づいて、音量波形の時間変化からピーク点の検出や自己相関関数のピーク点の抽出等の公知の分析方法により、ビート点の算出を行う。ビート点算出部２０４は、算出したビート点により、ビート点の間隔（ビート間隔）を算出する。

周期性判定部２０８は、動き変化算出部２０３で算出された動画中の被写体の動きの変化に一定間隔のピークが存在するか否かにより、被写体の動きの周期性の有無を判定する。なお、周期性判定部２０８は、被写体の動きの周期性の有無を、自己相関関数を利用する方法等で判定してもよい。

動き周期算出部２０５は、動画中の被写体の動きの変化のピーク点（被写体の動きの方向が変化する点）の時間間隔を算出する。動き変化・ビート点同期部２０６は、被写体の動き変化のピーク点と近傍の音楽のビート点との時間的な位置が同じになるように動画データのフレームレートを制御するための、フレームレート制御値を生成する。動き周期・ビート間隔同期部２０７は、被写体の動き周期とビート間隔とが同じになるように動画データのフレームレートを制御するための、フレームレート制御値を生成する。

同期方法切替部２０９は、周期性判定部２０８による周期性の有無の判定結果に応じて、フレームレート変更部２１０を制御する。同期方法切替部２０９は、周期性判定部２０８が周期性有りと判定した場合、動き周期・ビート間隔同期部２０７で生成されたフレームレート制御値をフレームレート変更部２１０に入力する。同期方法切替部２０９は、周期性判定部２０８が周期性無しと判定した場合、動き変化・ビート点同期部２０６で生成されたフレームレート制御値をフレームレート変更部２１０に入力する。

フレームレート変更部２１０は、フレームレート制御値に応じて動画データのフレームレートを変更する。フレームレートの変更により動画の再生速度がスロー又は早送りされる。フレームレート変更部２１０は、動画の再生速度をスローにする場合、公知の技術によるフレーム画像の補間処理を行い、早送りにする場合、フレーム画像の間引きを行う。動画編集部２１１は、フレームレートが変更された動画データのカットや複数の動画データの接続等の編集を行う。合成部２１２は、編集された動画データと音楽データ取得部２０２で取得した音楽データとを合成して編集映像データを生成する。合成部２１２は、生成した編集映像データを編集映像記憶部２４０に記憶する。

図３は、ディスプレイに表示される画像の例示図である。この画像は、映像編集のためのメニュー画像３００であり、動画選択領域３０１、音楽選択領域３０２、再生領域３０３、編集開始ボタン３０４、及び再生ボタン３０５を含む。

動画選択領域３０１には、動画データ群記憶部２２０に記憶された動画データのサムネイル画像が表示される。ユーザは、入力装置によりサムネイル画像から編集対象となる１以上の動画データを選択することができる。図３の例では、太線で囲まれる複数の動画データが選択されている。音楽選択領域３０２には、音楽データ群記憶部２３０に記憶された音楽データのジャケット画像や曲名等のテキスト情報が表示される。ユーザは、入力装置により編集対象となる１以上の音楽データを選択することができる。図３の例では、太線で囲まれる１つの音楽データが選択されている。

編集開始ボタン３０４は、ユーザにより操作されることで、選択された動画データと音楽データとの編集を開始するための信号をＣＰＵ１０２に入力する。ＣＰＵ１０２は、この信号により、編集映像の作成処理を開始する。再生ボタン３０５は、ユーザに操作されることで、再生領域３０３に編集映像を再生表示するための信号をＣＰＵ１０２に入力する。ＣＰＵ１０２は、この信号により、編集映像記憶部２４０に記憶される編集映像データを読み出して、再生領域３０３に該編集映像を表示する。

図４は、周期性判定部２０８で判定される被写体の動きの周期性の説明図である。図４（ａ）は、被写体が一定間隔でターンするスキーの動画を表す。図４（ｂ）は、被写体が一定間隔でジャンプする動画を表す。図４（ｃ）は、被写体がブランコに乗っている動画を表す。図４（ｄ）は、被写体がテニスでラリーを行う動画を表す。これらの動画は、一定の動きを一定の間隔で繰り返し行う周期性のある動画である。周期性判定部２０８は、これらのように一定の動きを一定の間隔で繰り返し行う動画を、被写体が周期性の有る動きを行っている動画であると判定する。

図５は、フレームレート変更部２１０及び動画編集部２１１によるフレームレート変更を含む動画編集処理の説明図である。

動画データ５０１−１〜５０１−４は、動画データ取得部２０１が動画データ群記憶部２２０から取得したものであり、編集前の状態を表す。
動画データ５０３−１〜５０３−４は、フレームレート変更部２１０がフレームレート制御値に応じてデータ５０１−１〜５０１−４のフレームレートを変換することで生成される。なお、動画データ５０３−２、５０３−３は、後述する動き・ビート間隔同期処理により、ビート点５０２と被写体の動きのピーク点とが一致するように時間シフトされている。ビート点５０２は、音楽データ取得部２０２が音楽データ群記憶部２３０から取得した音楽データに基づいて、ビート点算出部２０４により算出される。
動画データ５０４−１〜５０４−４は、動画編集部２１１がビート点５０２に応じて動画データ５０３−１〜５０３−４のカット及び接続を行うことで生成される。

図６は、映像編集装置１００による、動きに周期性の有る被写体を含む動画と音楽のビート点とを合わせる処理の説明図である。

動画データ５０１−ｉは、動画データ取得部２０１が動画データ群記憶部２２０から取得したものであり、編集前の状態を表す。
波形６０１−ｉは、動き変化算出部２０３で算出され、動画データ５０１−ｉの被写体の動きを表す。波形６０１−ｉは、一定間隔でピーク点Ｔｖ１〜Ｔｖ５を有する。そのために周期性判定部２０８は、動画データ５０１−ｉの被写体に周期性のある動きが有ると判定する。動き周期算出部２０５は、波形６０１−ｉにより、ピーク点Ｔｖ１〜Ｔｖ５の間隔である動き周期６０２−ｉを算出する。
ビート点Ｔａ１〜Ｔａ５は、音楽データ取得部２０２が音楽データ群記憶部２３０から取得した音楽データから、ビート点算出部２０４により算出される。

動画データ５０１−ｉは、被写体の動きに周期性があると判定される。そのために動き周期・ビート間隔同期部２０７は、動き周期６０２−ｉとビート間隔６０３との比に基づくフレームレート制御値を算出する。同期方法切替部２０９は、周期性判定部２０８が被写体に周期性の動きが有ると判定するために、動き周期・ビート間隔同期部２０７で生成されたフレームレート制御値をフレームレート変更部２１０に入力する。

フレームレート変更部２１０は、フレームレート基準値に基づいて動画データ５０１−ｉのフレームレートを変換して動画データ６１０−ｉを生成する。波形６１１−ｉは、動画データ６１０−ｉの被写体の動きを表す。動き周期６１２−ｉは、波形６１１−ｉによるピーク点Ｔｖ１’〜Ｔｖ５’の間隔を表す。フレームレート変更部２１０が動画データ５０１−ｉのフレームレートを変換することで、ピーク点Ｔｖ１’〜Ｔｖ５’と、ビート点Ｔａ１〜Ｔａ５とが一致する。

なお、先頭のピーク点Ｔｖ１と先頭のビート点Ｔａ１とが異なる場合、フレームレート変更部２１０は、動画データ５０１−ｉを（Ｔａ１−Ｔｖ１）だけシフトして一致させて、ピーク点Ｔｖ１とビート点Ｔａ１とを一致させる。

図７は、映像編集装置１００による、動きに周期性の無い被写体を含む動画と音楽のビート点とを合わせる処理の説明図である。

動画データ５０１−ｊは、動画データ取得部２０１が動画データ群記憶部２２０から取得したものであり、編集前の状態を表す。
波形６０１−ｊは、動き変化算出部２０３で算出され、動画データ５０１−ｊの被写体の動きを表す。波形６０１−ｊは、一定間隔ではないピーク点Ｔｖ１、Ｔｖ２を有する。そのために周期性判定部２０８は、動画データ５０１−ｊの被写体に周期性のある動きが無いと判定する。動き変化・ビート点同期部２０６は、ピーク点Ｔｖ１が近傍のビート点Ｔａ３と同期し、ピーク点Ｔｖ２が近傍のビート点Ｔａ５と同期するように、フレームレート制御値を算出する。同期方法切替部２０９は、周期性判定部２０８が被写体に周期性の動きが無いと判定するために、動き変化・ビート点同期部２０６で生成されたフレームレート制御値をフレームレート変更部２１０に入力する。

フレームレート変更部２１０は、フレームレート基準値に基づいて動画データ５０１−ｊのフレームレートを変換して動画データ６１０−ｊを生成する。波形６１１−ｊは、動画データ５０１−ｊの被写体の動きを表す。フレームレート変更部２１０が、動画データ５０１−ｊのフレームレートを変換することで、ピーク点Ｔｖ１’、Ｔｖ２’と、ビート点Ｔａ３、Ｔａ５とが一致する。

図８は、このような映像編集装置１００により動画と音楽とを合成した映像を作成する合成処理を表すフローチャートである。

ＣＰＵ１０２は、ユーザが合成処理を行うための指示を入力するためのメニュー画像３００をディスプレイ１３０に表示する（Ｓ８０１）。ＣＰＵ１０２は、ユーザがメニュー画像３００により行った操作に応じて処理を行う。ユーザがメニュー画像３００の編集開始ボタン３０４を操作する場合（Ｓ８０２：Y）、ＣＰＵ１０２は、映像編集処理を行う（Ｓ８１１）。

ユーザがメニュー画像３００の再生ボタン３０５を操作する場合（Ｓ８０２：N、Ｓ８０３：Y）、ＣＰＵ１０２は、編集映像データを編集映像記憶部２４０から読み出して再生し、再生領域３０３に表示する（Ｓ８２１）。ユーザがメニュー画像３００の動画選択領域３０１及び音楽選択領域３０２の動画データ又は音楽データを選択する場合（Ｓ８０２：N、Ｓ８０３：N、Ｓ８０４：Y）、ＣＰＵ１０２は、選択された動画データ又は音楽データの表示を変更する（Ｓ８２３）。例えば、ＣＰＵ１０２は、選択された動画データ又は音楽データをハイライト表示する。

ユーザが映像編集装置１００のシャットダウン操作を行う場合（Ｓ８０２：N、Ｓ８０３：N、Ｓ８０４：N、Ｓ８０５：Y）、ＣＰＵ１０２は、処理を終了する。ＣＰＵ１０２は、シャットダウン操作が行われるまで、メニュー画像３００をディスプレイ１３０に表示して、ユーザの操作に応じた処理を行う。

図９は、ステップＳ８１１の映像編集処理を表すフローチャートである。映像編集処理を行う場合、ステップＳ８０４で事前に１以上の動画データ及び１以上の音楽データが選択されている必要がある。選択された動画データ及び音楽データは、メニュー画像３００の動画選択領域３０１及び音楽選択領域３０２でハイライト表示される。ここでは、複数の動画データ及び１つの音楽データによる映像編集処理について説明する。

動画データ取得部２０１は、選択されている動画データを動画データ群記憶部２２０から取得する（Ｓ９０１）。音楽データ取得部２０２は、選択されている音楽データを音楽データ群記憶部２３０から取得する（Ｓ９０２）。ビート点算出部２０４は、音楽データの音量の時間変化によりビート点を算出する（Ｓ９０３）。

動き変化算出部２０３は、ユーザが選択した順に、動画データ取得部２０１から動画データを取り込み（Ｓ９０４）、取り込んだ動画データのフレーム画像毎に動きベクトルの平均値を算出する（Ｓ９０５）。なお、動き変化算出部２０３は、動画データをユーザの選択順の他に、改めてユーザに設定された順序で動画データを取り込むようにしてもよい。動き変化算出部２０３は、動画撮影時のカメラの移動や手振れによる影響を除去するために、特徴点マッチングによる公知のスタビライズ処理を組み合わせて行ってもよい。また、被写体が小さいために動き変化が小さく算出される場合、動き変化算出部２０３は、被写体の領域内で平均値を算出する処理や、被写体の領域の大きさで平均値を正規化する処理を組み合わせて行ってもよい。

周期性判定部２０８は、動き変化算出部２０３による処理結果により、被写体の動きに周期性があるか否かを判定するための周期性判定処理を行う（Ｓ９０６）。被写体の動きに周期性が有る場合（Ｓ９０７：Y）、動き周期・ビート間隔同期部２０７及びフレームレート変更部２１０は、動き・ビート間隔同期処理を行う（Ｓ９７１）。被写体の動きに周期性が無い場合（Ｓ９０７：N）、動き変化・ビート点同期部２０６及びフレームレート変更部２１０は、動き・ビート点同期処理を行う（Ｓ９０８）。

同期処理が終了すると、ＣＰＵ１０２は、取得したすべての動画データに対して同期処理を行ったかを判定する（Ｓ９０９）。同期処理を行っていない動画データがあれば（Ｓ９０９：N）、動画編集部２１１は、同期処理の終了した動画データを編集する（Ｓ９９１）。動画編集部２１１は、動画データをビート点に合わせてカットし、直前に処理を行った画像データに接続することで編集する。その後、ＣＰＵ１０２は、ステップＳ９０４以降の処理を取得したすべての動画に対する処理が終了するまで繰り返し行う。すべての動画データの同期処理が終了すると（Ｓ９０９：Y）、合成部２１２は、動画編集部２１１で編集された画像データと音楽データとを合成して編集映像データを生成する（Ｓ９１０）。合成部２１２は、編集映像データを編集映像記憶部２４０に記憶する。

以上のような処理により、ＣＰＵ１０２は、動画データ及び音楽データを合成した編集映像データを生成する。

図１０は、ステップＳ９０６の周期性判定処理を表すフローチャートである。
周期性判定部２０８は、動き変化算出部２０３で算出された動きベクトルから、その変化量を算出する（Ｓ１００１）。周期性判定部２０８は、算出した動きベクトルの変化量が所定値を超えるピーク点を抽出する（Ｓ１００２）。

周期性判定部２０８は、ピーク点が一定間隔で出現する場合（Ｓ１００３：Y）、動画の被写体の動きに周期性が有ると判定する（Ｓ１０３１）。周期性判定部２０８は、動画の被写体の動きに周期性が有ると判定した場合、抽出したピーク点の間隔を被写体の動きの周期として導出して周期性判定処理を終了する（Ｓ１０３２）。周期性判定部２０８は、ピーク点が一定間隔で出現しない場合（Ｓ１００３：N）、動画の被写体の動きに周期性が無いと判定して周期性判定処理を終了する（Ｓ１００４）。

図１１は、被写体の動きに周期性が無い場合に行われる、ステップＳ９０８の動き・ビート点同期処理を表すフローチャートである。図７を参照して動き・ビート点同期処理を説明する。

動き変化・ビート点同期部２０６は、動画データの開始点Ｔｖ＿ｓを「０」に設定する（Ｓ１１０１）。図７の例では、動き変化・ビート点同期部２０６は、動画データ５０１−ｊの先頭部分を開始点Ｔｖ＿ｓとして「０」に設定する。ピーク点Ｔｖ１を終了点Ｔｖ＿ｅに設定する。動き変化・ビート点同期部２０６は、動き変化算出部２０３で算出された波形６０１−ｊの最初のピーク点を終了点Ｔｖ＿ｅに設定する（Ｓ１１０２）。図７の例では、動き変化・ビート点同期部２０６は、ピーク点Ｔｖ１を終了点Ｔｖ＿ｅに設定する。

動き変化・ビート点同期部２０６は、開始点Ｔｖ＿ｓの近傍のビート点Ｔａ＿ｓを選択する（Ｓ１１０３）。図７の例では、動き変化・ビート点同期部２０６は、ビート点Ｔａ１を選択する。動き変化・ビート点同期部２０６は、終了点Ｔｖ＿ｅの近傍のビート点Ｔａ＿ｅを選択する（Ｓ１１０４）。図７の例では、動き変化・ビート点同期部２０６は、ビート点Ｔａ３を選択する。

動き変化・ビート点同期部２０６は、開始点Ｔｖ＿ｓから終了点Ｔｖ＿ｅまでの区間に対するフレームレート制御値を算出する（Ｓ１１０５）。フレームレート制御値は、例えばビート点の間隔をピーク点の間隔で除算した値（Ｔａ＿ｅ−Ｔａ＿ｓ）／（Ｔｖ＿ｅ−Ｔｖ＿ｓ）で表される。フレームレート制御値は、動き変化・ビート点同期部２０６から同期方法切替部２０９を介してフレームレート変更部２１０に送られる。フレームレート変更部２１０は、動き変化・ビート点同期部２０６から入力されたフレームレート制御値に応じて、動画データの区間（Ｔｖ＿ｓ〜Ｔｖ＿ｅ）におけるフレームレートを変更する（Ｓ１１０６）。

動き変化・ビート点同期部２０６は、フレームレート制御値を生成後に、終了点Ｔｖ＿ｅの後に次のピーク点があるか否かを判定する（Ｓ１１０７）。ピーク点が無い場合（Ｓ１１０７：N）、動き変化・ビート点同期部２０６は、処理を終了する。ピーク点が有る場合（Ｓ１１０７：Y）、動き変化・ビート点同期部２０６は、現在の終了点Ｔｖ＿ｅを開始点Ｔｖ＿ｓに設定し、次のピーク点を終了点Ｔｖ＿ｅに設定する（Ｓ１１０８、Ｓ１１０９）。図７の例では、動き変化・ビート点同期部２０６は、終了点Ｔｖ＿ｅとして設定していたピーク点Ｔｖ１を開始点Ｔｖ＿ｓに設定し、次のピーク点Ｔｖ２を終了点Ｔｖ＿ｅに設定する。動き変化・ビート点同期部２０６は、新たに設定した開始点Ｔｖ＿ｓ及び終了点Ｔｖ＿ｅによりステップＳ１１３０〜Ｓ１１０７の処理を繰り返し行う。動き変化・ビート点同期部２０６は、ピーク点がなくなるまで処理を繰り返す。

図１２は、被写体の動きに周期性が有る場合に行われる、ステップＳ９７１の動き・ビート間隔同期処理を表すフローチャートである。図６を参照して動き・ビート間隔同期処理を説明する。

動き周期・ビート間隔同期部２０７は、動き周期算出部２０５の処理結果に応じて被写体の動き周期Ｓｖ（図６参照）を取得する（Ｓ１２０１）。動き周期・ビート間隔同期部２０７は、ビート点算出部２０４の処理結果に応じてビート点間隔Ｓａを算出する（Ｓ１２０２）。動き周期・ビート間隔同期部２０７は、動き周期Ｓｖとビート点間隔Ｓａとから、フレームレート制御値を算出する（Ｓ１２０３）。フレームレート制御値は、例えばビート点間隔Ｓａを動き周期Ｓｖで除算した値（Ｓａ／Ｓｖ）で表される。

動き周期・ビート間隔同期部２０７は、動き変化のピーク点Ｔｖ１〜Ｔｖ５（図６参照）とビート点Ｔａ１〜Ｔａ５（図６参照）とを一致させる。そのために動き周期・ビート間隔同期部２０７は、先頭のピーク点Ｔｖ１及び先頭のビート点Ｔａ１にフレームレート制御値を乗じた値との差分を動画データの時間シフト値として算出する（Ｓ１２０４）。
つまり、時間シフト値は、（時間シフト値）＝（Ｔａ＿１ − Ｔｖ＿１・フレームレート制御値）の式で表される。

フレームレート制御値及び時間シフト値は、動き周期・ビート間隔同期部２０７から同期方法切替部２０９を介してフレームレート変更部２１０に送られる。フレームレート変更部２１０は、動き周期・ビート間隔同期部２０７から入力されたフレームレート制御値及び時間シフト値に応じて動画のフレームレートを変更する（Ｓ１２０５）。

以上のような処理により、映像編集装置１００は、動きに周期性のある動画に対しても音楽との好適な同期を容易に実現することができる。

［第２実施形態］
第２実施形態では、動画の被写体が周期性の有る動きを行う期間を判定し、この期間のみ、被写体の動きの周期とビート間隔とを同期させる。第２実施形態の映像編集装置の構成及び機能は第１実施形態と同様であるので説明を省略する。また、第２実施形態においても図３のメニュー画像３００により、各種の指示が入力される。第２実施形態は、図８のステップＳ８１１の映像編集処理、図９のステップＳ９７１の動き・ビート間隔同期処理、及び図９のステップＳ９０６の周期性判定処理が第１実施形態と異なり、他の処理については同様である。他の処理についての説明は省略する。

図１３は、図８のステップＳ８１１の映像編集処理のフローチャートである。ステップＳ９０１〜Ｓ９０５の処理は、第１実施形態（図９参照）と同様であるので説明を省略する。

動き変化算出部２０３が動画データのフレーム画像毎に動きベクトルの平均値を算出した後に、周期性判定部２０８は、動き変化算出部２０３による処理結果により、所定の期間内における被写体の動きの周期性の有無を判定する（Ｓ１３０６）。周期性判定部２０８による判定の結果、所定期間内に被写体の動きに周期性が有る場合（Ｓ１３０７：Y）、動き周期・ビート間隔同期部２０７及びフレームレート変更部２１０は、動き・ビート間隔同期処理を行う（Ｓ１３７１）。所定期間内に被写体の動きに周期性が無い場合（Ｓ１３０７：N）、動き変化・ビート点同期部２０６及びフレームレート変更部２１０は、ステップＳ９０８以降の第１実施形態と同様の処理を行う。ステップＳ９０８以降の処理についての説明は省略する。

図１４は、ステップ１３０６の、所定期間内の被写体の動きの周期性の判定処理を表すフローチャートである。

周期性判定部２０８は、動き変化算出部２０３で算出された動きベクトルから、所定期間内における変化量を算出する（Ｓ１４０１）。周期性判定部２０８は、算出した動きベクトルの変化量が所定値を超えるピーク点を抽出する（Ｓ１４０２）。

周期性判定部２０８は、所定期間内でピーク点が一定間隔で出現する期間の有無を判定する（Ｓ１４０３）。ピーク点が一定間隔で出現する期間が有る場合（Ｓ１４０３：Y）、周期性判定部２０８は、周期性有りと判定し（Ｓ１４３１）、ピーク点が出現する間隔を周期として算出する（Ｓ１４３２）。ピーク点が一定間隔で出現する期間が無い場合（Ｓ１４０３：N）、周期性判定部２０８は、周期性無しと判定して処理を終了する（Ｓ１４０４）。

図１５は、被写体の動きに周期性が有る場合に行われる、ステップＳ１３７１の動き・ビート間隔同期処理を表すフローチャートである。

ＣＰＵ１０２は、動画データを周期性の有無で区間分割する（Ｓ１５０１）。ＣＰＵは、分割した動画データから、処理対象となる区間を順次選択する（Ｓ１５０２）。取得した区間が周期性有りの場合（Ｓ１５０３：Y）、ＣＰＵ１０２は、当該区間に対して図１２で説明する動き・ビート間隔同期処理を行う（Ｓ１５７１）。取得した区間が周期性無しの場合（Ｓ１５０３：N）、ＣＰＵ１０２は、当該区間に対して図１１で説明する動き・ビート点同期処理を行う（Ｓ１５０８）。

同期処理が終了すると、ＣＰＵ１０２は、分割したすべての区間について同期処理を行ったかを判定する（Ｓ１５０５）。同期処理を行っていない区間が残っている場合（Ｓ１５０５：N）、ＣＰＵ１０２は、次の区間の同期処理を行う（Ｓ１５０２）。すべての区間の同期処理を終了している場合（Ｓ１５０５：Y）、ＣＰＵ１０２は処理を終了する。

このように第２実施形態では、動画データを被写体の動きに周期性が有る区間と無い区間とに分割して、各々の区間について最適な同期処理を行う。そのために、第１実施形態よりも、複雑な動きの被写体を含む動画と音楽との好適な同期を容易に実現することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１…動画データ取得部、２０２…音楽データ取得部、２０３…動き変化算出部、２０４…ビート点算出部、２０５…動き周期算出部、２０６…動き変化・ビート点同期部、２０７…動き周期・ビート間隔同期部、２０８…周期性判定部、２０９…同期方法切替部、２１０…フレームレート変更部、２１１…動画編集部、２１２…合成部、２２０…動画データ群記憶部、２３０…音楽データ群記憶部、２４０…編集映像記憶部

Claims (13)

1. 動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置の制御方法であって、
   前記動画データのフレームレートを変更する変更手段により、
   前記動画中の被写体の動きの変化に周期がある場合に、前記被写体の動きの周期と前記音楽のビート点の間隔とが同期するように前記動画データのフレームレートを変更する変更工程と、
   前記動画中の被写体の動きの変化に周期がない場合に、前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同期するように前記動画データのフレームレートを変更する第２の変更工程と、
   合成手段により、前記第１または第２の変更工程においてフレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成工程と、を有することを特徴とする、映像編集装置の制御方法。
2. コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項１に記載された情報処理装置の制御方法を実行させるプログラム。
3. 請求項２に記載されたプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
4. 動画を表す動画データにより、当該動画中の被写体の動きの変化を算出する動き変化算出手段と、
   前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定する周期性判定手段と、
   音楽を表す音楽データにより、当該音楽のビート点を算出するビート点算出手段と、
   前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出する動き周期算出手段と、
   前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第１のフレームレート制御値を算出する第１の同期手段と、
   前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第２のフレームレート制御値を算出する第２の同期手段と、
   前記被写体の動きに周期性が有れば前記第１のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第２のフレームレート制御値に基づいて前記動画データのフレームレートを変更するフレームレート変更手段と、
   フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成手段と、を備えることを特徴とする、
   映像編集装置。
5. 前記周期性判定手段は、前記被写体が周期性の有る動きを行う期間を判定し、
   前記フレームレート変更手段は、前記被写体が周期性の有る動きを行う期間に前記第１のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体が周期性の無い動きを行う期間に前記第２のフレームレート制御値に基づいて前記動画データのフレームレートを変更することを特徴とする、
   請求項４記載の映像編集装置。
6. 前記周期性判定手段は、前記動き変化算出手段で算出された動画中の前記被写体の動きの変化に一定間隔のピークが存在するか否かにより、前記被写体の動きの周期性の有無を判定することを特徴とする、
   請求項４又は５記載の映像編集装置。
7. フレームレートが変更された動画データをカット及び接続することで編集する動画編集手段を備えており、
   前記合成手段は、編集された動画データと前記音楽データとを合成して前記映像データを生成することを特徴とする、
   請求項４〜６のいずれか１項記載の映像編集装置。
8. 前記第１の同期手段は、前記ビート点の間隔を前記被写体の動きの周期で除算して、前記第１のフレームレート制御値を算出することを特徴とする、
   請求項４〜７のいずれか１項記載の映像編集装置。
9. 前記第２の同期手段は、前記ビート点の間隔を前記ピーク点の間隔で除算して、前記第２のフレームレート制御値を算出することを特徴とする、
   請求項４〜８のいずれか１項記載の映像編集装置。
10. 前記周期性判定手段の判定結果に応じて、前記第１のフレームレート制御値及び前記第２のフレームレート制御値のいずれかを前記フレームレート変更手段に入力する切替手段を備えることを特徴とする、
    請求項４〜９のいずれか１項記載の映像編集装置。
11. 前記フレームレート変更手段は、前記第１のフレームレート制御値に基づいて、前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御し、前記第２のフレームレート制御値に基づいて、前記被写体の動き変化のピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御することを特徴とする、
    請求項４〜１０のいずれか１項記載の映像編集装置。
12. 動画を表す動画データ及び音楽を表す音楽データを記憶する記憶手段及び制御手段を備えた映像編集装置により実行される方法であって、
    前記制御手段が、
    前記動画データにより、当該動画中の被写体の動きの変化を算出し、
    前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定し、
    前記音楽データにより、当該音楽のビート点を算出し、
    前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出し、
    前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第１のフレームレート制御値を算出し、
    前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第２のフレームレート制御値を算出し、
    前記被写体の動きに周期性が有れば前記第１のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第２のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、
    フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成することを特徴とする、
    映像編集方法。
13. 動画を表す動画データ及び音楽を表す音楽データを記憶する記憶手段を備えたコンピュータを、
    前記動画データにより、当該動画中の被写体の動きの変化を算出する動き変化算出手段、
    前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定する周期性判定手段、
    前記音楽データにより、当該音楽のビート点を算出するビート点算出手段、
    前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出する動き周期算出手段、
    前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第１のフレームレート制御値を算出する第１の同期手段、
    前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第２のフレームレート制御値を算出する第２の同期手段、
    前記被写体の動きに周期性が有れば前記第１のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第２のフレームレート制御値に基づいて前記動画データのフレームレートを変更するフレームレート変更手段、
    フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成手段、
    として機能させるためのコンピュータプログラム。

Images