JP2016111386A - 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 - Google Patents
映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP2016111386A JP2016111386A JP2014243917A JP2014243917A JP2016111386A JP 2016111386 A JP2016111386 A JP 2016111386A JP 2014243917 A JP2014243917 A JP 2014243917A JP 2014243917 A JP2014243917 A JP 2014243917A JP 2016111386 A JP2016111386 A JP 2016111386A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- subject
- moving image
- movement
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】動画と音楽との好適な同期を行う映像編集装置を提供する。【解決手段】動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置100の制御方法である。映像編集装置100は、動画中の被写体の動きの変化に周期がある場合に、被写体の動きの周期と音楽のビート点の間隔とが同期するように動画データのフレームレートを変更する変更工程(S971)、動画中の被写体の動きの変化に周期がない場合に、被写体の動きの方向が変化する点であるピーク点とビート点との時間的な位置が同期するように動画データのフレームレートを変更する第2の変更工程(S908)、を行う。映像編集装置100は、第1または第2の変更工程においてフレームレートが変更された動画データと音楽データとを合成して映像データを生成する(S910)。【選択図】図9
Description
本発明は、動画と音楽とを合成した編集映像を作成する映像編集装置に関する。
デジタルカメラ、スマートフォン、携帯電話、携帯型ゲーム機、タブレット型情報端末等の機器は、動画の撮影機能を備える。これらの機器には、撮影した動画を単に再生表示するだけでなく、音楽に合わせて複数の動画を繋げて再生表示する機能を有するものもある。このような機能は、パーソナルコンピュータ上で動作するアプリケーション、クラウド上でのサービスでも提供される。音楽と動画とを合成した編集映像は、音楽と動画とが調和することでお互いの相乗効果が生まれ、より印象的な映像となることが、映像編集者の間で知られている。音楽と動画との調和を簡単に或いは自動で行うための技術として、以下の技術がある。
特許文献1は、音楽の特徴点を基準として動画の特徴点の区切りを切り替えることで編集映像を作成する技術を開示する。音楽の特徴点は、「音量の極点」、「周波数分布の変曲点」等である。動画の特徴点は、「シーンの変化点」、「カメラワークの開始点、終了点」、「動く被写体の出現点、消失点」等である。
特許文献2は、音楽の遷移点と動画の遷移点とを整合して編集映像を作成する技術を開示する。遷移点の整合のために、動画の区間の切り出し又はスローダウン(フレームレート変更)等が行われる。
特許文献3は、音楽の特徴量と静止画の特徴量との対応付けを行い、音楽又は静止画の一方に対応する他方を選択して編集映像を作成する技術を開示する。音楽の特徴量は「テンポ」、「ビート白色性」、「ビート強度」等である。静止画の特徴量は「代表色」、「撮影場所」、「撮影季節」等である。
特許文献2は、音楽の遷移点と動画の遷移点とを整合して編集映像を作成する技術を開示する。遷移点の整合のために、動画の区間の切り出し又はスローダウン(フレームレート変更)等が行われる。
特許文献3は、音楽の特徴量と静止画の特徴量との対応付けを行い、音楽又は静止画の一方に対応する他方を選択して編集映像を作成する技術を開示する。音楽の特徴量は「テンポ」、「ビート白色性」、「ビート強度」等である。静止画の特徴量は「代表色」、「撮影場所」、「撮影季節」等である。
動画中の被写体の動きと音楽のビートとが同期した編集映像は、動画と音楽とが調和したものとなる。特許文献3の技術では、静止画や音楽を選択することで映像を作成することができるが、映像中の被写体の動きに音楽のビートを同期させることはできない。特許文献1、2の技術では、動画の特徴点、例えば被写体の動き変化のピーク点を、音楽のビート点に合わせる。従って、周期性のある被写体の動き変化のピーク点が、音楽のビート点の前方或いは後方に変化する箇所で周期性を保てなくなることがある。
本発明は、上記の問題を解決するために、動きに周期性のある被写体を含む動画に対しても、音楽との好適な同期を行う映像編集技術を提供することを主たる課題とする。
上記課題を解決する本発明の映像編集装置の制御方法は、動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置の制御方法であって、前記動画データのフレームレートを変更する変更手段により、前記動画中の被写体の動きの変化に周期がある場合に、前記被写体の動きの周期と前記音楽のビート点の間隔とが同期するように前記動画データのフレームレートを変更する変更工程と、前記動画中の被写体の動きの変化に周期がない場合に、前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同期するように前記動画データのフレームレートを変更する第2の変更工程と、合成手段により、前記第1または第2の変更工程においてフレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成工程と、を有することを特徴とする、映像編集装置の制御方法。
本発明によれば、動きに周期性のある被写体を含む動画に対しても、音楽との好適な同期を容易に行って編集映像を作成可能となる。
以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
図1は、本実施形態の映像編集装置の構成図である。映像編集装置100は、入力装置であるキーボード110、マウス120、及び出力装置であるディスプレイ130が接続される情報処理装置である。
図1は、本実施形態の映像編集装置の構成図である。映像編集装置100は、入力装置であるキーボード110、マウス120、及び出力装置であるディスプレイ130が接続される情報処理装置である。
映像編集装置100は、各種機能を実現するために、ROM(Read Only Memory)101、CPU(Central Processing Unit)102、及びRAM(Random Access Memory)103を備える。また、映像編集装置100は、入力装置とのインタフェース制御を行う入力I/F104、出力装置とのインタフェース制御を行う表示I/F105、コンピュータプログラムや動画、音楽、編集映像等のコンテンツデータを記憶する記憶媒体106を備える。
CPU102は、ROM101に記憶される起動プログラムを読み込んで実行することで、映像編集装置100の制御を開始する。CPU102は、映像編集装置100の制御を開始すると、コンピュータ読み取り可能な記憶媒体106からコンピュータプログラムを読み込んで実行することで、編集映像を作成するための機能を実現する。CPU102は、プログラムを実行する際に、RAM103を実行領域に用いる。
入力I/F104は、キーボード110及びマウス120の操作による入力信号を受け付ける。入力I/F104は、受け付けた入力信号をCPU102に送信する。出力I/F105は、CPU102の指示により、ディスプレイ130に画像を表示させる。記憶媒体106は、ハードディスク、SSD(Solid State Drive)等の大容量の記憶装置である。記憶媒体106は、動画や音楽のデータを、各々複数記憶する。なお、本実施形態では記憶媒体106が映像編集装置100に内蔵されるが、これに限らず、外付けされてもよい。また、LAN(Local Area Network)やインターネット等のネットワーク経由で記憶媒体106が設けられてもよい。
図2は、CPU102が記憶媒体106からコンピュータプログラムを読み込んで実行することで映像編集装置100内に実現する、編集映像を作成するための機能ブロック図である。
記憶媒体106には、動画データ群記憶部220、音楽データ群記憶部230、及び編集映像記憶部240が形成される。動画データ群記憶部220は、複数の動画の各々を表す複数の動画データを記憶する。音楽データ群記憶部230は、複数の音楽の各々を表す複数の音楽データを記憶する。編集映像記憶部240は、映像編集装置100で作成した編集映像の編集映像データを記憶する。
映像編集装置100は、記憶媒体106から動画データ及び音楽データを取得するために動画データ取得部201及び音楽データ取得部202を備える。映像編集装置100は、動画データと音楽データとの同期のために動き変化算出部203、ビート点算出部204、動き周期算出部205、動き変化・ビート点同期部206、動き周期・ビート間隔同期部207、及び周期性判定部208を備える。映像編集装置100は、動画データと音楽データとの合成のために同期方法切替部209、フレームレート変更部210、動画編集部211、及び合成部212を備える。
動画データ取得部201は、入力I/F104で受け付けた入力装置からの入力信号に応じて、動画データ群記憶部220から動画データを取得する。動き変化算出部203は、取得した動画データに基づいて、動画中の被写体の動きの変化として、フレーム画像間の被写体の動きベクトルの変化を算出する。
音楽データ取得部202は、入力I/F104で受け付けた入力装置からの入力信号に応じて、音楽データ群記憶部230から音楽データを取得する。ビート点算出部204は、取得した音楽データに基づいて、音量波形の時間変化からピーク点の検出や自己相関関数のピーク点の抽出等の公知の分析方法により、ビート点の算出を行う。ビート点算出部204は、算出したビート点により、ビート点の間隔(ビート間隔)を算出する。
音楽データ取得部202は、入力I/F104で受け付けた入力装置からの入力信号に応じて、音楽データ群記憶部230から音楽データを取得する。ビート点算出部204は、取得した音楽データに基づいて、音量波形の時間変化からピーク点の検出や自己相関関数のピーク点の抽出等の公知の分析方法により、ビート点の算出を行う。ビート点算出部204は、算出したビート点により、ビート点の間隔(ビート間隔)を算出する。
周期性判定部208は、動き変化算出部203で算出された動画中の被写体の動きの変化に一定間隔のピークが存在するか否かにより、被写体の動きの周期性の有無を判定する。なお、周期性判定部208は、被写体の動きの周期性の有無を、自己相関関数を利用する方法等で判定してもよい。
動き周期算出部205は、動画中の被写体の動きの変化のピーク点(被写体の動きの方向が変化する点)の時間間隔を算出する。動き変化・ビート点同期部206は、被写体の動き変化のピーク点と近傍の音楽のビート点との時間的な位置が同じになるように動画データのフレームレートを制御するための、フレームレート制御値を生成する。動き周期・ビート間隔同期部207は、被写体の動き周期とビート間隔とが同じになるように動画データのフレームレートを制御するための、フレームレート制御値を生成する。
同期方法切替部209は、周期性判定部208による周期性の有無の判定結果に応じて、フレームレート変更部210を制御する。同期方法切替部209は、周期性判定部208が周期性有りと判定した場合、動き周期・ビート間隔同期部207で生成されたフレームレート制御値をフレームレート変更部210に入力する。同期方法切替部209は、周期性判定部208が周期性無しと判定した場合、動き変化・ビート点同期部206で生成されたフレームレート制御値をフレームレート変更部210に入力する。
フレームレート変更部210は、フレームレート制御値に応じて動画データのフレームレートを変更する。フレームレートの変更により動画の再生速度がスロー又は早送りされる。フレームレート変更部210は、動画の再生速度をスローにする場合、公知の技術によるフレーム画像の補間処理を行い、早送りにする場合、フレーム画像の間引きを行う。動画編集部211は、フレームレートが変更された動画データのカットや複数の動画データの接続等の編集を行う。合成部212は、編集された動画データと音楽データ取得部202で取得した音楽データとを合成して編集映像データを生成する。合成部212は、生成した編集映像データを編集映像記憶部240に記憶する。
図3は、ディスプレイに表示される画像の例示図である。この画像は、映像編集のためのメニュー画像300であり、動画選択領域301、音楽選択領域302、再生領域303、編集開始ボタン304、及び再生ボタン305を含む。
動画選択領域301には、動画データ群記憶部220に記憶された動画データのサムネイル画像が表示される。ユーザは、入力装置によりサムネイル画像から編集対象となる1以上の動画データを選択することができる。図3の例では、太線で囲まれる複数の動画データが選択されている。音楽選択領域302には、音楽データ群記憶部230に記憶された音楽データのジャケット画像や曲名等のテキスト情報が表示される。ユーザは、入力装置により編集対象となる1以上の音楽データを選択することができる。図3の例では、太線で囲まれる1つの音楽データが選択されている。
編集開始ボタン304は、ユーザにより操作されることで、選択された動画データと音楽データとの編集を開始するための信号をCPU102に入力する。CPU102は、この信号により、編集映像の作成処理を開始する。再生ボタン305は、ユーザに操作されることで、再生領域303に編集映像を再生表示するための信号をCPU102に入力する。CPU102は、この信号により、編集映像記憶部240に記憶される編集映像データを読み出して、再生領域303に該編集映像を表示する。
図4は、周期性判定部208で判定される被写体の動きの周期性の説明図である。図4(a)は、被写体が一定間隔でターンするスキーの動画を表す。図4(b)は、被写体が一定間隔でジャンプする動画を表す。図4(c)は、被写体がブランコに乗っている動画を表す。図4(d)は、被写体がテニスでラリーを行う動画を表す。これらの動画は、一定の動きを一定の間隔で繰り返し行う周期性のある動画である。周期性判定部208は、これらのように一定の動きを一定の間隔で繰り返し行う動画を、被写体が周期性の有る動きを行っている動画であると判定する。
図5は、フレームレート変更部210及び動画編集部211によるフレームレート変更を含む動画編集処理の説明図である。
動画データ501−1〜501−4は、動画データ取得部201が動画データ群記憶部220から取得したものであり、編集前の状態を表す。
動画データ503−1〜503−4は、フレームレート変更部210がフレームレート制御値に応じてデータ501−1〜501−4のフレームレートを変換することで生成される。なお、動画データ503−2、503−3は、後述する動き・ビート間隔同期処理により、ビート点502と被写体の動きのピーク点とが一致するように時間シフトされている。ビート点502は、音楽データ取得部202が音楽データ群記憶部230から取得した音楽データに基づいて、ビート点算出部204により算出される。
動画データ504−1〜504−4は、動画編集部211がビート点502に応じて動画データ503−1〜503−4のカット及び接続を行うことで生成される。
動画データ503−1〜503−4は、フレームレート変更部210がフレームレート制御値に応じてデータ501−1〜501−4のフレームレートを変換することで生成される。なお、動画データ503−2、503−3は、後述する動き・ビート間隔同期処理により、ビート点502と被写体の動きのピーク点とが一致するように時間シフトされている。ビート点502は、音楽データ取得部202が音楽データ群記憶部230から取得した音楽データに基づいて、ビート点算出部204により算出される。
動画データ504−1〜504−4は、動画編集部211がビート点502に応じて動画データ503−1〜503−4のカット及び接続を行うことで生成される。
図6は、映像編集装置100による、動きに周期性の有る被写体を含む動画と音楽のビート点とを合わせる処理の説明図である。
動画データ501−iは、動画データ取得部201が動画データ群記憶部220から取得したものであり、編集前の状態を表す。
波形601−iは、動き変化算出部203で算出され、動画データ501−iの被写体の動きを表す。波形601−iは、一定間隔でピーク点Tv1〜Tv5を有する。そのために周期性判定部208は、動画データ501−iの被写体に周期性のある動きが有ると判定する。動き周期算出部205は、波形601−iにより、ピーク点Tv1〜Tv5の間隔である動き周期602−iを算出する。
ビート点Ta1〜Ta5は、音楽データ取得部202が音楽データ群記憶部230から取得した音楽データから、ビート点算出部204により算出される。
波形601−iは、動き変化算出部203で算出され、動画データ501−iの被写体の動きを表す。波形601−iは、一定間隔でピーク点Tv1〜Tv5を有する。そのために周期性判定部208は、動画データ501−iの被写体に周期性のある動きが有ると判定する。動き周期算出部205は、波形601−iにより、ピーク点Tv1〜Tv5の間隔である動き周期602−iを算出する。
ビート点Ta1〜Ta5は、音楽データ取得部202が音楽データ群記憶部230から取得した音楽データから、ビート点算出部204により算出される。
動画データ501−iは、被写体の動きに周期性があると判定される。そのために動き周期・ビート間隔同期部207は、動き周期602−iとビート間隔603との比に基づくフレームレート制御値を算出する。同期方法切替部209は、周期性判定部208が被写体に周期性の動きが有ると判定するために、動き周期・ビート間隔同期部207で生成されたフレームレート制御値をフレームレート変更部210に入力する。
フレームレート変更部210は、フレームレート基準値に基づいて動画データ501−iのフレームレートを変換して動画データ610−iを生成する。波形611−iは、動画データ610−iの被写体の動きを表す。動き周期612−iは、波形611−iによるピーク点Tv1’〜Tv5’の間隔を表す。フレームレート変更部210が動画データ501−iのフレームレートを変換することで、ピーク点Tv1’〜Tv5’と、ビート点Ta1〜Ta5とが一致する。
なお、先頭のピーク点Tv1と先頭のビート点Ta1とが異なる場合、フレームレート変更部210は、動画データ501−iを(Ta1−Tv1)だけシフトして一致させて、ピーク点Tv1とビート点Ta1とを一致させる。
図7は、映像編集装置100による、動きに周期性の無い被写体を含む動画と音楽のビート点とを合わせる処理の説明図である。
動画データ501−jは、動画データ取得部201が動画データ群記憶部220から取得したものであり、編集前の状態を表す。
波形601−jは、動き変化算出部203で算出され、動画データ501−jの被写体の動きを表す。波形601−jは、一定間隔ではないピーク点Tv1、Tv2を有する。そのために周期性判定部208は、動画データ501−jの被写体に周期性のある動きが無いと判定する。動き変化・ビート点同期部206は、ピーク点Tv1が近傍のビート点Ta3と同期し、ピーク点Tv2が近傍のビート点Ta5と同期するように、フレームレート制御値を算出する。同期方法切替部209は、周期性判定部208が被写体に周期性の動きが無いと判定するために、動き変化・ビート点同期部206で生成されたフレームレート制御値をフレームレート変更部210に入力する。
波形601−jは、動き変化算出部203で算出され、動画データ501−jの被写体の動きを表す。波形601−jは、一定間隔ではないピーク点Tv1、Tv2を有する。そのために周期性判定部208は、動画データ501−jの被写体に周期性のある動きが無いと判定する。動き変化・ビート点同期部206は、ピーク点Tv1が近傍のビート点Ta3と同期し、ピーク点Tv2が近傍のビート点Ta5と同期するように、フレームレート制御値を算出する。同期方法切替部209は、周期性判定部208が被写体に周期性の動きが無いと判定するために、動き変化・ビート点同期部206で生成されたフレームレート制御値をフレームレート変更部210に入力する。
フレームレート変更部210は、フレームレート基準値に基づいて動画データ501−jのフレームレートを変換して動画データ610−jを生成する。波形611−jは、動画データ501−jの被写体の動きを表す。フレームレート変更部210が、動画データ501−jのフレームレートを変換することで、ピーク点Tv1’、Tv2’と、ビート点Ta3、Ta5とが一致する。
図8は、このような映像編集装置100により動画と音楽とを合成した映像を作成する合成処理を表すフローチャートである。
CPU102は、ユーザが合成処理を行うための指示を入力するためのメニュー画像300をディスプレイ130に表示する(S801)。CPU102は、ユーザがメニュー画像300により行った操作に応じて処理を行う。ユーザがメニュー画像300の編集開始ボタン304を操作する場合(S802:Y)、CPU102は、映像編集処理を行う(S811)。
ユーザがメニュー画像300の再生ボタン305を操作する場合(S802:N、S803:Y)、CPU102は、編集映像データを編集映像記憶部240から読み出して再生し、再生領域303に表示する(S821)。ユーザがメニュー画像300の動画選択領域301及び音楽選択領域302の動画データ又は音楽データを選択する場合(S802:N、S803:N、S804:Y)、CPU102は、選択された動画データ又は音楽データの表示を変更する(S823)。例えば、CPU102は、選択された動画データ又は音楽データをハイライト表示する。
ユーザが映像編集装置100のシャットダウン操作を行う場合(S802:N、S803:N、S804:N、S805:Y)、CPU102は、処理を終了する。CPU102は、シャットダウン操作が行われるまで、メニュー画像300をディスプレイ130に表示して、ユーザの操作に応じた処理を行う。
図9は、ステップS811の映像編集処理を表すフローチャートである。映像編集処理を行う場合、ステップS804で事前に1以上の動画データ及び1以上の音楽データが選択されている必要がある。選択された動画データ及び音楽データは、メニュー画像300の動画選択領域301及び音楽選択領域302でハイライト表示される。ここでは、複数の動画データ及び1つの音楽データによる映像編集処理について説明する。
動画データ取得部201は、選択されている動画データを動画データ群記憶部220から取得する(S901)。音楽データ取得部202は、選択されている音楽データを音楽データ群記憶部230から取得する(S902)。ビート点算出部204は、音楽データの音量の時間変化によりビート点を算出する(S903)。
動き変化算出部203は、ユーザが選択した順に、動画データ取得部201から動画データを取り込み(S904)、取り込んだ動画データのフレーム画像毎に動きベクトルの平均値を算出する(S905)。なお、動き変化算出部203は、動画データをユーザの選択順の他に、改めてユーザに設定された順序で動画データを取り込むようにしてもよい。動き変化算出部203は、動画撮影時のカメラの移動や手振れによる影響を除去するために、特徴点マッチングによる公知のスタビライズ処理を組み合わせて行ってもよい。また、被写体が小さいために動き変化が小さく算出される場合、動き変化算出部203は、被写体の領域内で平均値を算出する処理や、被写体の領域の大きさで平均値を正規化する処理を組み合わせて行ってもよい。
周期性判定部208は、動き変化算出部203による処理結果により、被写体の動きに周期性があるか否かを判定するための周期性判定処理を行う(S906)。被写体の動きに周期性が有る場合(S907:Y)、動き周期・ビート間隔同期部207及びフレームレート変更部210は、動き・ビート間隔同期処理を行う(S971)。被写体の動きに周期性が無い場合(S907:N)、動き変化・ビート点同期部206及びフレームレート変更部210は、動き・ビート点同期処理を行う(S908)。
同期処理が終了すると、CPU102は、取得したすべての動画データに対して同期処理を行ったかを判定する(S909)。同期処理を行っていない動画データがあれば(S909:N)、動画編集部211は、同期処理の終了した動画データを編集する(S991)。動画編集部211は、動画データをビート点に合わせてカットし、直前に処理を行った画像データに接続することで編集する。その後、CPU102は、ステップS904以降の処理を取得したすべての動画に対する処理が終了するまで繰り返し行う。すべての動画データの同期処理が終了すると(S909:Y)、合成部212は、動画編集部211で編集された画像データと音楽データとを合成して編集映像データを生成する(S910)。合成部212は、編集映像データを編集映像記憶部240に記憶する。
以上のような処理により、CPU102は、動画データ及び音楽データを合成した編集映像データを生成する。
図10は、ステップS906の周期性判定処理を表すフローチャートである。
周期性判定部208は、動き変化算出部203で算出された動きベクトルから、その変化量を算出する(S1001)。周期性判定部208は、算出した動きベクトルの変化量が所定値を超えるピーク点を抽出する(S1002)。
周期性判定部208は、動き変化算出部203で算出された動きベクトルから、その変化量を算出する(S1001)。周期性判定部208は、算出した動きベクトルの変化量が所定値を超えるピーク点を抽出する(S1002)。
周期性判定部208は、ピーク点が一定間隔で出現する場合(S1003:Y)、動画の被写体の動きに周期性が有ると判定する(S1031)。周期性判定部208は、動画の被写体の動きに周期性が有ると判定した場合、抽出したピーク点の間隔を被写体の動きの周期として導出して周期性判定処理を終了する(S1032)。周期性判定部208は、ピーク点が一定間隔で出現しない場合(S1003:N)、動画の被写体の動きに周期性が無いと判定して周期性判定処理を終了する(S1004)。
図11は、被写体の動きに周期性が無い場合に行われる、ステップS908の動き・ビート点同期処理を表すフローチャートである。図7を参照して動き・ビート点同期処理を説明する。
動き変化・ビート点同期部206は、動画データの開始点Tv_sを「0」に設定する(S1101)。図7の例では、動き変化・ビート点同期部206は、動画データ501−jの先頭部分を開始点Tv_sとして「0」に設定する。ピーク点Tv1を終了点Tv_eに設定する。動き変化・ビート点同期部206は、動き変化算出部203で算出された波形601−jの最初のピーク点を終了点Tv_eに設定する(S1102)。図7の例では、動き変化・ビート点同期部206は、ピーク点Tv1を終了点Tv_eに設定する。
動き変化・ビート点同期部206は、開始点Tv_sの近傍のビート点Ta_sを選択する(S1103)。図7の例では、動き変化・ビート点同期部206は、ビート点Ta1を選択する。動き変化・ビート点同期部206は、終了点Tv_eの近傍のビート点Ta_eを選択する(S1104)。図7の例では、動き変化・ビート点同期部206は、ビート点Ta3を選択する。
動き変化・ビート点同期部206は、開始点Tv_sから終了点Tv_eまでの区間に対するフレームレート制御値を算出する(S1105)。フレームレート制御値は、例えばビート点の間隔をピーク点の間隔で除算した値(Ta_e−Ta_s)/(Tv_e−Tv_s)で表される。フレームレート制御値は、動き変化・ビート点同期部206から同期方法切替部209を介してフレームレート変更部210に送られる。フレームレート変更部210は、動き変化・ビート点同期部206から入力されたフレームレート制御値に応じて、動画データの区間(Tv_s〜Tv_e)におけるフレームレートを変更する(S1106)。
動き変化・ビート点同期部206は、フレームレート制御値を生成後に、終了点Tv_eの後に次のピーク点があるか否かを判定する(S1107)。ピーク点が無い場合(S1107:N)、動き変化・ビート点同期部206は、処理を終了する。ピーク点が有る場合(S1107:Y)、動き変化・ビート点同期部206は、現在の終了点Tv_eを開始点Tv_sに設定し、次のピーク点を終了点Tv_eに設定する(S1108、S1109)。図7の例では、動き変化・ビート点同期部206は、終了点Tv_eとして設定していたピーク点Tv1を開始点Tv_sに設定し、次のピーク点Tv2を終了点Tv_eに設定する。動き変化・ビート点同期部206は、新たに設定した開始点Tv_s及び終了点Tv_eによりステップS1130〜S1107の処理を繰り返し行う。動き変化・ビート点同期部206は、ピーク点がなくなるまで処理を繰り返す。
図12は、被写体の動きに周期性が有る場合に行われる、ステップS971の動き・ビート間隔同期処理を表すフローチャートである。図6を参照して動き・ビート間隔同期処理を説明する。
動き周期・ビート間隔同期部207は、動き周期算出部205の処理結果に応じて被写体の動き周期Sv(図6参照)を取得する(S1201)。動き周期・ビート間隔同期部207は、ビート点算出部204の処理結果に応じてビート点間隔Saを算出する(S1202)。動き周期・ビート間隔同期部207は、動き周期Svとビート点間隔Saとから、フレームレート制御値を算出する(S1203)。フレームレート制御値は、例えばビート点間隔Saを動き周期Svで除算した値(Sa/Sv)で表される。
動き周期・ビート間隔同期部207は、動き変化のピーク点Tv1〜Tv5(図6参照)とビート点Ta1〜Ta5(図6参照)とを一致させる。そのために動き周期・ビート間隔同期部207は、先頭のピーク点Tv1及び先頭のビート点Ta1にフレームレート制御値を乗じた値との差分を動画データの時間シフト値として算出する(S1204)。
つまり、時間シフト値は、(時間シフト値)=(Ta_1 − Tv_1・フレームレート制御値)の式で表される。
つまり、時間シフト値は、(時間シフト値)=(Ta_1 − Tv_1・フレームレート制御値)の式で表される。
フレームレート制御値及び時間シフト値は、動き周期・ビート間隔同期部207から同期方法切替部209を介してフレームレート変更部210に送られる。フレームレート変更部210は、動き周期・ビート間隔同期部207から入力されたフレームレート制御値及び時間シフト値に応じて動画のフレームレートを変更する(S1205)。
以上のような処理により、映像編集装置100は、動きに周期性のある動画に対しても音楽との好適な同期を容易に実現することができる。
[第2実施形態]
第2実施形態では、動画の被写体が周期性の有る動きを行う期間を判定し、この期間のみ、被写体の動きの周期とビート間隔とを同期させる。第2実施形態の映像編集装置の構成及び機能は第1実施形態と同様であるので説明を省略する。また、第2実施形態においても図3のメニュー画像300により、各種の指示が入力される。第2実施形態は、図8のステップS811の映像編集処理、図9のステップS971の動き・ビート間隔同期処理、及び図9のステップS906の周期性判定処理が第1実施形態と異なり、他の処理については同様である。他の処理についての説明は省略する。
第2実施形態では、動画の被写体が周期性の有る動きを行う期間を判定し、この期間のみ、被写体の動きの周期とビート間隔とを同期させる。第2実施形態の映像編集装置の構成及び機能は第1実施形態と同様であるので説明を省略する。また、第2実施形態においても図3のメニュー画像300により、各種の指示が入力される。第2実施形態は、図8のステップS811の映像編集処理、図9のステップS971の動き・ビート間隔同期処理、及び図9のステップS906の周期性判定処理が第1実施形態と異なり、他の処理については同様である。他の処理についての説明は省略する。
図13は、図8のステップS811の映像編集処理のフローチャートである。ステップS901〜S905の処理は、第1実施形態(図9参照)と同様であるので説明を省略する。
動き変化算出部203が動画データのフレーム画像毎に動きベクトルの平均値を算出した後に、周期性判定部208は、動き変化算出部203による処理結果により、所定の期間内における被写体の動きの周期性の有無を判定する(S1306)。周期性判定部208による判定の結果、所定期間内に被写体の動きに周期性が有る場合(S1307:Y)、動き周期・ビート間隔同期部207及びフレームレート変更部210は、動き・ビート間隔同期処理を行う(S1371)。所定期間内に被写体の動きに周期性が無い場合(S1307:N)、動き変化・ビート点同期部206及びフレームレート変更部210は、ステップS908以降の第1実施形態と同様の処理を行う。ステップS908以降の処理についての説明は省略する。
図14は、ステップ1306の、所定期間内の被写体の動きの周期性の判定処理を表すフローチャートである。
周期性判定部208は、動き変化算出部203で算出された動きベクトルから、所定期間内における変化量を算出する(S1401)。周期性判定部208は、算出した動きベクトルの変化量が所定値を超えるピーク点を抽出する(S1402)。
周期性判定部208は、所定期間内でピーク点が一定間隔で出現する期間の有無を判定する(S1403)。ピーク点が一定間隔で出現する期間が有る場合(S1403:Y)、周期性判定部208は、周期性有りと判定し(S1431)、ピーク点が出現する間隔を周期として算出する(S1432)。ピーク点が一定間隔で出現する期間が無い場合(S1403:N)、周期性判定部208は、周期性無しと判定して処理を終了する(S1404)。
図15は、被写体の動きに周期性が有る場合に行われる、ステップS1371の動き・ビート間隔同期処理を表すフローチャートである。
CPU102は、動画データを周期性の有無で区間分割する(S1501)。CPUは、分割した動画データから、処理対象となる区間を順次選択する(S1502)。取得した区間が周期性有りの場合(S1503:Y)、CPU102は、当該区間に対して図12で説明する動き・ビート間隔同期処理を行う(S1571)。取得した区間が周期性無しの場合(S1503:N)、CPU102は、当該区間に対して図11で説明する動き・ビート点同期処理を行う(S1508)。
同期処理が終了すると、CPU102は、分割したすべての区間について同期処理を行ったかを判定する(S1505)。同期処理を行っていない区間が残っている場合(S1505:N)、CPU102は、次の区間の同期処理を行う(S1502)。すべての区間の同期処理を終了している場合(S1505:Y)、CPU102は処理を終了する。
このように第2実施形態では、動画データを被写体の動きに周期性が有る区間と無い区間とに分割して、各々の区間について最適な同期処理を行う。そのために、第1実施形態よりも、複雑な動きの被写体を含む動画と音楽との好適な同期を容易に実現することができる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
201…動画データ取得部、202…音楽データ取得部、203…動き変化算出部、204…ビート点算出部、205…動き周期算出部、206…動き変化・ビート点同期部、207…動き周期・ビート間隔同期部、208…周期性判定部、209…同期方法切替部、210…フレームレート変更部、211…動画編集部、212…合成部、220…動画データ群記憶部、230…音楽データ群記憶部、240…編集映像記憶部
Claims (13)
- 動画を表す動画データと、音楽を表す音楽データとを合成して映像データを生成する映像編集装置の制御方法であって、
前記動画データのフレームレートを変更する変更手段により、
前記動画中の被写体の動きの変化に周期がある場合に、前記被写体の動きの周期と前記音楽のビート点の間隔とが同期するように前記動画データのフレームレートを変更する変更工程と、
前記動画中の被写体の動きの変化に周期がない場合に、前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同期するように前記動画データのフレームレートを変更する第2の変更工程と、
合成手段により、前記第1または第2の変更工程においてフレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成工程と、を有することを特徴とする、映像編集装置の制御方法。 - コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項1に記載された情報処理装置の制御方法を実行させるプログラム。
- 請求項2に記載されたプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
- 動画を表す動画データにより、当該動画中の被写体の動きの変化を算出する動き変化算出手段と、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定する周期性判定手段と、
音楽を表す音楽データにより、当該音楽のビート点を算出するビート点算出手段と、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出する動き周期算出手段と、
前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第1のフレームレート制御値を算出する第1の同期手段と、
前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第2のフレームレート制御値を算出する第2の同期手段と、
前記被写体の動きに周期性が有れば前記第1のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第2のフレームレート制御値に基づいて前記動画データのフレームレートを変更するフレームレート変更手段と、
フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成手段と、を備えることを特徴とする、
映像編集装置。 - 前記周期性判定手段は、前記被写体が周期性の有る動きを行う期間を判定し、
前記フレームレート変更手段は、前記被写体が周期性の有る動きを行う期間に前記第1のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体が周期性の無い動きを行う期間に前記第2のフレームレート制御値に基づいて前記動画データのフレームレートを変更することを特徴とする、
請求項4記載の映像編集装置。 - 前記周期性判定手段は、前記動き変化算出手段で算出された動画中の前記被写体の動きの変化に一定間隔のピークが存在するか否かにより、前記被写体の動きの周期性の有無を判定することを特徴とする、
請求項4又は5記載の映像編集装置。 - フレームレートが変更された動画データをカット及び接続することで編集する動画編集手段を備えており、
前記合成手段は、編集された動画データと前記音楽データとを合成して前記映像データを生成することを特徴とする、
請求項4〜6のいずれか1項記載の映像編集装置。 - 前記第1の同期手段は、前記ビート点の間隔を前記被写体の動きの周期で除算して、前記第1のフレームレート制御値を算出することを特徴とする、
請求項4〜7のいずれか1項記載の映像編集装置。 - 前記第2の同期手段は、前記ビート点の間隔を前記ピーク点の間隔で除算して、前記第2のフレームレート制御値を算出することを特徴とする、
請求項4〜8のいずれか1項記載の映像編集装置。 - 前記周期性判定手段の判定結果に応じて、前記第1のフレームレート制御値及び前記第2のフレームレート制御値のいずれかを前記フレームレート変更手段に入力する切替手段を備えることを特徴とする、
請求項4〜9のいずれか1項記載の映像編集装置。 - 前記フレームレート変更手段は、前記第1のフレームレート制御値に基づいて、前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御し、前記第2のフレームレート制御値に基づいて、前記被写体の動き変化のピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御することを特徴とする、
請求項4〜10のいずれか1項記載の映像編集装置。 - 動画を表す動画データ及び音楽を表す音楽データを記憶する記憶手段及び制御手段を備えた映像編集装置により実行される方法であって、
前記制御手段が、
前記動画データにより、当該動画中の被写体の動きの変化を算出し、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定し、
前記音楽データにより、当該音楽のビート点を算出し、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出し、
前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第1のフレームレート制御値を算出し、
前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第2のフレームレート制御値を算出し、
前記被写体の動きに周期性が有れば前記第1のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第2のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、
フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成することを特徴とする、
映像編集方法。 - 動画を表す動画データ及び音楽を表す音楽データを記憶する記憶手段を備えたコンピュータを、
前記動画データにより、当該動画中の被写体の動きの変化を算出する動き変化算出手段、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期性の有無を判定する周期性判定手段、
前記音楽データにより、当該音楽のビート点を算出するビート点算出手段、
前記被写体の動きの変化に基づいて、前記被写体の動きの周期を算出する動き周期算出手段、
前記被写体の動きの周期と前記ビート点の間隔とが同じになるように前記動画データのフレームレートを制御するための、第1のフレームレート制御値を算出する第1の同期手段、
前記被写体の動きの方向が変化する点であるピーク点と前記ビート点との時間的な位置が同じになるように前記動画データのフレームレートを制御するための、第2のフレームレート制御値を算出する第2の同期手段、
前記被写体の動きに周期性が有れば前記第1のフレームレート制御値に基づいて前記動画データのフレームレートを変更し、前記被写体の動きに周期性が無ければ前記第2のフレームレート制御値に基づいて前記動画データのフレームレートを変更するフレームレート変更手段、
フレームレートが変更された前記動画データと前記音楽データとを合成して映像データを生成する合成手段、
として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014243917A JP2016111386A (ja) | 2014-12-02 | 2014-12-02 | 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014243917A JP2016111386A (ja) | 2014-12-02 | 2014-12-02 | 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016111386A true JP2016111386A (ja) | 2016-06-20 |
Family
ID=56124919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014243917A Pending JP2016111386A (ja) | 2014-12-02 | 2014-12-02 | 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016111386A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108322638A (zh) * | 2017-01-17 | 2018-07-24 | 中兴通讯股份有限公司 | 视频录制方法及装置 |
CN108712574A (zh) * | 2018-05-31 | 2018-10-26 | 维沃移动通信有限公司 | 一种基于图像播放音乐的方法及装置 |
CN110099300A (zh) * | 2019-03-21 | 2019-08-06 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、终端及计算机可读存储介质 |
CN110265057A (zh) * | 2019-07-10 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 生成多媒体的方法及装置、电子设备、存储介质 |
JP2020043454A (ja) * | 2018-09-10 | 2020-03-19 | 株式会社クロスフェーダー | 動画コンテンツ生成方法および生成プログラム |
CN113365147A (zh) * | 2021-08-11 | 2021-09-07 | 腾讯科技(深圳)有限公司 | 基于音乐卡点的视频剪辑方法、装置、设备及存储介质 |
CN113727038A (zh) * | 2021-07-28 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
CN114697749A (zh) * | 2020-12-28 | 2022-07-01 | 北京小米移动软件有限公司 | 视频剪辑方法、装置,存储介质及电子设备 |
-
2014
- 2014-12-02 JP JP2014243917A patent/JP2016111386A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108322638A (zh) * | 2017-01-17 | 2018-07-24 | 中兴通讯股份有限公司 | 视频录制方法及装置 |
CN108712574A (zh) * | 2018-05-31 | 2018-10-26 | 维沃移动通信有限公司 | 一种基于图像播放音乐的方法及装置 |
JP2020043454A (ja) * | 2018-09-10 | 2020-03-19 | 株式会社クロスフェーダー | 動画コンテンツ生成方法および生成プログラム |
JP7121988B2 (ja) | 2018-09-10 | 2022-08-19 | 株式会社クロスフェーダー | 動画コンテンツ生成方法および生成プログラム |
CN110099300A (zh) * | 2019-03-21 | 2019-08-06 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、终端及计算机可读存储介质 |
CN110099300B (zh) * | 2019-03-21 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、终端及计算机可读存储介质 |
CN110265057A (zh) * | 2019-07-10 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 生成多媒体的方法及装置、电子设备、存储介质 |
CN110265057B (zh) * | 2019-07-10 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 生成多媒体的方法及装置、电子设备、存储介质 |
CN114697749A (zh) * | 2020-12-28 | 2022-07-01 | 北京小米移动软件有限公司 | 视频剪辑方法、装置,存储介质及电子设备 |
CN113727038A (zh) * | 2021-07-28 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
CN113727038B (zh) * | 2021-07-28 | 2023-09-05 | 北京达佳互联信息技术有限公司 | 一种视频处理方法、装置、电子设备及存储介质 |
CN113365147B (zh) * | 2021-08-11 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 基于音乐卡点的视频剪辑方法、装置、设备及存储介质 |
CN113365147A (zh) * | 2021-08-11 | 2021-09-07 | 腾讯科技(深圳)有限公司 | 基于音乐卡点的视频剪辑方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016111386A (ja) | 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体 | |
CN108616696B (zh) | 一种视频拍摄方法、装置、终端设备及存储介质 | |
CN108900771B (zh) | 一种视频处理方法、装置、终端设备及存储介质 | |
CN111935504B (zh) | 视频制作方法、装置、设备及存储介质 | |
WO2020107297A1 (zh) | 视频剪辑控制方法、终端设备和*** | |
CN107018443B (zh) | 视频录制方法、装置和电子设备 | |
CN109275028B (zh) | 视频获取方法、装置、终端和介质 | |
KR20160013984A (ko) | 비디오 편집을 위한 터치 최적화 디자인 | |
US20140096002A1 (en) | Video clip editing system | |
JP2007281680A (ja) | 画像処理装置および画像表示方法 | |
TW201545120A (zh) | 自動產生編譯視訊 | |
JP2009116575A (ja) | 画像合成装置および画像合成方法 | |
JP2010191934A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2016119600A (ja) | 編集装置及び編集方法 | |
US20140359448A1 (en) | Adding captions and emphasis to video | |
JP6150320B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2010045765A (ja) | 再生装置 | |
JP2011182118A (ja) | 表示制御装置及びその制御方法 | |
JP2012105012A (ja) | 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体 | |
CN112218154A (zh) | 视频的获取方法和装置、存储介质及电子装置 | |
KR20160056889A (ko) | 스크롤링 동안 이미지에 대한 캡션 시차를 위한 방법 및 장치 | |
CN113822972A (zh) | 基于视频的处理方法、设备和可读介质 | |
JP2014209707A (ja) | 映像再生装置および映像再生方法 | |
KR101850285B1 (ko) | 영상 스크립트 생성 장치 및 방법, 영상 스크립트 기반 동영상 제작 시스템 및 방법, 컴퓨터프로그램 저장 매체 | |
JP2007208651A (ja) | コンテンツ視聴装置 |