JP5424930B2

JP5424930B2 - 画像編集装置およびその制御方法およびプログラム

Info

Publication number: JP5424930B2
Application number: JP2010035249A
Authority: JP
Inventors: 拓馬三河
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-02-19
Filing date: 2010-02-19
Publication date: 2014-02-26
Anticipated expiration: 2030-02-19
Also published as: CN103546713A; US20110206352A1; US8630527B2; CN103546713B; CN102164264B; CN102164264A; JP2011172110A

Description

本発明は、複数の動画像を編集するための画像編集装置およびその制御方法およびプログラムに関する。

従来、映像信号には複数の規格がある。例えば、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）やＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｏｎｂｙＬｉｎｅ）がそれぞれ策定したアナログＴＶ放送の標準方式や、フィルム映画の方式が存在する。

これらの方式では互いにフレームレートが異なるため、映像を、出力機器が使用可能なフレームレートに変換することが行われていた（特許文献１参照）。

一方、近年、パーソナルコンピュータ（ＰＣ）のような出力機器は、従来のテレビのように特定の方式の映像信号しか扱えないということはなく、複数の方式の動画を扱うことができる。また、ＰＣはさまざまな方式の動画データをインターネットを介してＷｅｂサーバからダウンロードすることもできる。

特開２０００−３２４４５３号公報

複数の方式の動画を扱うことのできる機器が、互いに異なる方式を持つ複数の動画を結合することによって、１つの動画を新たに生成する際に、ユーザは複数のフレームレートの中からどれを採用するかを選択しなければならず、手間がかかるという問題があった。また、不慣れなユーザにとっては、どのフレームレートが適当であるかを判断することも困難であり、誤った選択をしてしまい、滑らかな動画を得られない場合が生じるという問題があった。

本願に係る発明の１つは、複数の動画を編集する画像編集装置であって、編集対象の複数の動画を結合する結合手段と、前記編集対象の動画を前記動画のフレームレートに基づいてグループに分類し、同じグループに分類される動画は同じ値の整数倍のフレームレートを持つ分類手段と、前記グループに属する動画の量を前記グループ同士で比較する比較手段と、前記グループのうち１つを前記比較の結果に基づいて選択する選択手段と、前記選択されたグループに属する動画のフレームレートに基づいて変換用のフレームレートを決定する決定手段と、前記編集対象の動画を前記決定された変換用のフレームレートに変換する変換手段とを備え、前記結合手段は前記変換された動画を結合することを特徴とする。

本発明によれば、互いに異なる方式を持つ複数の動画を結合することによって、１つの動画を生成する場合に、ユーザに手間をかけることなく適切なフレームレートを設定できるという効果が得られる。

本発明の一実施例に係る画像編集装置の構成を示すブロック図である。本発明の一実施例に係る画像編集装置の動作を示すフローチャート図である。本発明の一実施例に係る動画選択画面を示す図である。本発明の一実施例に係る画像編集装置の動作を示すフローチャート図である。本発明の一実施例に係る編集対象の動画データを示す図である。本発明の一実施例に係る画像編集装置の動作を示すフローチャート図である。本発明の一実施例に係る画像編集装置の動作を示すフローチャート図である。本発明の一実施例に係る画像編集装置の動作を示すフローチャート図である。本発明の一実施例に係る編集対象の動画データを示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１の実施例）
本実施例では、画像編集装置が、互いに異なるフレームレートを持つ複数の動画データを結合して１つの動画データを新規に生成する場合について説明する。本実施例の画像編集装置はフレームレートが、３０ｆｐｓ（２９．９７ｆｐｓ）の整数倍のＮＴＳＣ系と、２５ｆｐｓの整数倍のＰＡＬ系と、２４ｆｐｓのフィルム系と、その他の系の動画データを混在して扱うものとして説明する。

まず、本実施例の画像編集装置の構成を図１のブロック図を参照して説明する。

図１において、画像編集装置１００はパーソナルコンピュータ等の情報処理装置によって実現される。制御部１０１は画像編集装置１００全体を制御し、例えばＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）である。ＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）１０２は変更を必要としないプログラムやパラメータを格納する。ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）１０３は外部装置などから供給されるプログラムやデータを一時記憶する。外部記憶装置１０４は画像編集装置１００に固定して設置されたハードディスクやメモリカード、あるいは画像編集装置１００から着脱可能なメモリカードなどを含む。本実施例の外部記憶装置１０４はＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ（ＯＳ）や各種プログラム、画像データなどのデジタルデータを記録する。そして、特に本実施例の外部記憶装置１０４には、後述する動画編集プログラムが制御部１０１に読み取り可能なプログラムコードとして記録されており、このプログラムコードを制御部１０１が実行する。入力デバイスとのインターフェース１０５は、ユーザの操作を受け、データを入力するポインティングデバイス（マウス）やキーボードなどの入力デバイス１０９と接続する。ディスプレイ１０６は画像編集装置１００の保持するデータや供給されたデータを表示し、インターフェース１１０はディスプレイ１０６と接続する。ネットワークインターフェース１０７はインターネットなどのネットワーク回線１１１に接続する。システムバス１０８は１０１〜１０７の各ユニットを通信可能に接続する。なお、本実施例では動画編集プログラムが外部記憶装置１０４に記録されている例を示すが、ＲＯＭ１０２やネットワーク上にある場合でも、本発明は適用される。

なお、本実施例では、画像編集装置はパーソナルコンピュータによって実現される例を説明するが、デジタルカメラ等の撮像装置でも同様に適用できる。

次に、本実施例の画像編集装置１００が実行する動作を図２のフローチャートを参照して説明する。以下は画像編集装置１００の制御部１０１が外部記憶装置１０４からＯＳや動画編集プログラムを読み出して起動することによって実現される。

まず、制御部１０１は初期状態の動画選択画面をディスプレイ１０６に表示する（Ｓ２０１）。その後、ユーザが入力デバイス１０９を操作するのに応じて、制御部１０１は、外部記憶装置１０４に記憶された動画データの中から編集対象の動画データを選択し（Ｓ２０２）、動画データの順序を設定する（Ｓ２０３）。例えば、動画選択画面３００には、編集対象の動画データと対応するサムネイル画像が左側を先頭に並べて表示される。ユーザが入力デバイス１０９を操作して、サムネイル画像３０１を移動すると、それに応じて図３（ｂ）に示すように、サムネイル画像３０１が動画選択画面３００に並べ替えて表示される。そして、サムネイル画像の並び順にしたがって、編集対象の動画データの順序がＲＡＭ１０３に記憶される。

次に、ユーザが入力デバイス１０９を操作するのに応じて、制御部１０１は編集対象の動画データの編集処理を開始し、フレームレートを自動的に選択するか否か判定する（Ｓ２０４）。ここで制御部１０１は予め、ユーザが入力デバイス１０９を操作するのに応じて、フレームレートを自動選択するか否かを示す情報や、自動選択しない場合は所定のフレームレートを動画編集ソフトウェアに関連付けて外部記憶装置１０４に記憶している。

ステップＳ２０４でフレームレートを自動選択すると判定されれば、制御部１０１は後述するフレームレートの選択処理を実行する（Ｓ２０５）。制御部１０１は、編集対象の動画データのフレームレートを、ステップＳ２０５で選択されたフレームレートに変換する（Ｓ２０６）。一方、ステップＳ２０４でフレームレートを自動選択しないと判定されれば、制御部１０１は外部記憶装置１０４から所定のフレームレートを読み出す（Ｓ２０７）。そして、編集対象の動画データのフレームレートを、ステップＳ２０８で読み出された所定のフレームレートに変換する（Ｓ２０８）。なお、ステップＳ２０６やＳ２０８では、変換後のフレームレートと同じ動画データについてはフレームレートの変換処理を実行しない。

そして、制御部１０１はフレームレート変換後の編集対象の動画データを結合することによって新規に動画データを生成し（Ｓ２０９）、外部記憶装置１０４に保存する（Ｓ２１０）。

次に、本実施例の画像編集装置１００がステップＳ２０５でフレームレートの選択処理を実行する動作を図４のフローチャートを参照して説明する。

まず、制御部１０１は編集対象の動画データを外部記憶装置１０４から読み出し（Ｓ４０１）、各動画データのフレームレートに基づいてその規格を識別し（Ｓ４０２）、規格毎の動画データの量を比較し、最多の規格を選択する（Ｓ４０３）。ここで、動画データの量は、動画データの個数または動画データの再生時間またはフレーム数である。なお、動画データの量が最多の規格が複数、存在する場合、制御部１０１は所定のルールにしたがって、いずれか１つの規格を選択する。例えば、ＰＡＬ系とＮＴＳＣ系が同数であれば、ＰＡＬ系を選択する等である。

制御部１０１は編集対象の動画データのうち、ステップＳ４０３で選択された規格の動画データを抽出し（Ｓ４０４）、抽出された動画データのフレームレートを識別し、フレームレート毎の動画データの量を比較し、最多のフレームレートを選択する（Ｓ４０５）。

本実施例の編集対象の動画データの一例を図５に示す。図５では、１１個の動画データが編集対象として選択され、順序が設定されている。１、３、４、９、１０番目は２５ｆｐｓのフレームレートを持つＰＡＬ系の動画データである。２、５〜７番目は３０ｆｐｓ、８、１１番目は６０ｆｐｓのフレームレートを持つＮＴＳＣ系の動画データである。ここで、動画データの量を動画データの個数とすると、１１個の動画データのうち、ＮＴＳＣ系は６個であり、ＰＡＬ系は５個なので、ステップＳ４０３で制御部１０１はＮＴＳＣ系を選択する。そして、ＮＴＳＣ系の動画データのうち、３０ｆｐｓのフレームレートは４個であり、６０ｆｐｓのフレームレートは２個なので、ステップＳ４０５で制御部１０１は３０ｆｐｓを選択する。

そして、ステップＳ２０８で制御部１０１は、２５ｆｐｓのフレームレートの動画データを５フレーム毎に１フレーム補間する処理を行ったり、６０ｆｐｓのフレームの動画データを半分に間引く処理を行い、それぞれ３０ｆｐｓのフレームレートに変換する。

なお、本実施例では、ＮＴＳＣ系とＰＡＬ系の２種類の規格の動画データについて説明したが、他の種類の規格の動画データについても、同様に本実施例を適用できる。

また、Ｓ４０５で制御部１０１はフレームレートを動画データの量に基づいて選択したが、他の基準に基づいて選択するようにしてもよい。例えば、動画データの量に関わらず、フレームレートが大きい方を選択するようにしてもよい。図５のように、ステップＳ４０３で取得された規格の動画データのフレームレートが３０ｆｐｓと６０ｆｐｓの場合、制御部１０１は６０ｆｐｓを選択する。また、ステップＳ４０５で制御部１０１は動画データが最多のフレームレートが複数、存在する場合には、フレームレートが大きい方を選択するようにしてもよい。

また、Ｓ４０２で制御部１０１は動画データのフレームレートに基づいて、その規格を識別するようにしたが、これに限らず、動画データに付与された、ファイルの種別など各種情報を示すメタデータに基づいて識別するようにしてもよい。

以上のように本実施例では、まず、編集対象の動画データのうち、規格毎の動画データの量に基づいて規格を選択し、さらに当該規格の動画データのフレームレート毎の量に基づいてフレームレートを選択するようにした。これによって、フレームレートが互いに異なる複数の動画データを結合しても、不連続な箇所が少なくなり、滑らかな動画データを生成できる。

例えば、仮に、図５に示す編集対象の動画データについて規格毎の動画データの個数を考慮せず、単にフレームレート毎の個数を比較し、動画データが最多のフレームレートを選択すると、２５ｆｐｓが選択されることとなる。ＮＴＳＣ系の３０ｆｐｓや６０ｆｐｓの動画データのフレームレートをＰＡＬ系の２５ｆｐｓに変換する場合、一般的にはフレームを間引く処理が行われる。例えば、３０ｆｐｓの場合は６フレーム毎に１フレーム間引く処理を行い、６０ｆｐｓの場合はフレームを半分に間引いた後でさらに６フレーム毎に１フレーム間引く処理を行う。このようにＮＴＳＣ系からＰＡＬ系へフレームレートを変換すると、フレームが等間隔でない箇所が発生するため、不連続になり、滑らかな映像にならない。また、ＰＡＬ系からＮＴＳＣ系でも同様にフレームが等間隔でない箇所が発生するので同様である。

（第２の実施例）
本実施例では、さらに動画データに関連付けられた属性情報に基づいて、フレームレートを選択する場合について説明する。なお、以下では、第１の実施例と同様の構成については説明を省略し、本実施例に特有の構成について詳細に説明する。また、本実施例では属性情報として、動画データの重要度を示すレーティング情報を例に挙げて説明するが、他に画像サイズや記録レート等でも同様に本実施例を適用できる。

本実施例の画像編集装置１００がステップＳ２０５でフレームレートの選択処理を実行する動作を図６のフローチャートを参照して説明する。

まず、制御部１０１は編集対象の動画データを外部記憶装置１０４から読み出し（Ｓ６０１）、後述する動画データの規格毎の第１の基準量の算出処理を実行する（Ｓ６０２）。そして、制御部１０１は、規格毎の第１の基準量を比較し、第１の基準量が最高の規格を選択し、選択された規格の動画データを示すリストを生成し、ＲＡＭ１０３に保存する（Ｓ６０３）。なお、第１の基準量が最高の規格が複数あった場合は、制御部１０１は所定のルールにしたがって、いずれか１つを識別する。例えば、ＮＴＳＣ系、ＰＡＬ系、フィルム系、その他の系の順に選択する等である。

次に、制御部１０１はリストに関連付けられた動画データに対して、後述する動画データの第２の基準量の算出処理を実行する（Ｓ６０４）。そして、制御部１０１は、フレームレート毎の第２の基準量を比較し、第２の基準量が最高のフレームレートを選択する（Ｓ６０５）。なお、第２の基準量が最高のフレームレートが複数あった場合は、大きい方のフレームレートを選択する。

次に、本実施例の画像編集装置１００がステップＳ６０２で第１の基準量の算出処理を実行する動作を図７のフローチャートを参照して説明する。

まず、制御部１０１は編集対象の動画データのうち１つを外部記憶装置１０４から読み出して解析し、そのフレームレートに基づいて、規格の種類を判別する（Ｓ７０１）。制御部１０１は動画データに関連付けられたレーティング情報を外部記憶装置１０４から読み込み、変数ｎとして保持し（Ｓ７０２）、ｍ＝ｎ／３の式に代入して重み係数ｍを算出する（Ｓ７０３）。なお、本実施例のレーティング情報は１乃至５の整数値とし、レーティング情報が動画データに関連付けられていない時、制御部１０１は初期値として“３”を変数ｎに保持する。また、重み係数ｍを算出する式は上記に限らない。そして、動画データに関連付けてその規格と重み係数ｍとをＲＡＭ１０３に保持する（Ｓ７０４）。制御部１０１は全ての動画データについて処理を行ったかどうか判定し（Ｓ７０５）、残りの動画データについて上述の処理を繰り返す。全ての動画データについて処理を行うと、制御部１０１は規格毎に、重み係数ｍの合計を第１の基準量として算出する（Ｓ７０６）。

次に、本実施例の画像編集装置１００がステップＳ６０４で動画データのフレームレート毎の重み係数の算出処理を実行する動作を図８のフローチャートを参照して説明する。

まず、制御部１０１はリストの動画データのうち１つを外部記憶装置１０４から読み出して解析し、動画データに関連付けられたレーティング情報を外部記憶装置１０４から読み込み、変数ｎとして保持する（Ｓ８０１）。変数ｎを、ｍ＝ｎ／３の式に代入して重み係数ｍを算出する（Ｓ８０２）。なお、重み係数ｍを算出する式は、これに限らない。そして、動画データに関連付けてそのフレームレートと重み係数ｍとをＲＡＭ１０３に保持する（Ｓ８０３）。制御部１０１はリストの全ての動画データについて処理を行ったかどうか判定し（Ｓ８０４）、リストの残りの動画データについて上述の処理を繰り返す。リストの全ての動画データについて処理を行うと、制御部１０１はフレームレート毎に、重み係数を合計を第２の基準量として算出する（Ｓ８０５）。

本実施例の編集対象の動画データの一例を図９に示す。図９では１４個の動画データが編集対象として選択され、順序が設定されている。１、４、９、１０、１２番目は２５ｆｐｓの整数倍のフレームレートを持つＰＡＬ系の動画データである。２、６、１３、１４番目は３０ｆｐｓの整数倍のフレームレートを持つＮＴＳＣ系の動画データである。３、５、７番目は２４ｆｐｓのフレームレートを持つフィルム系の動画データである。８、１１番目はその他の系の動画データである。したがって、１４個の動画データのうち、ＮＴＳＣ系は４個、ＰＡＬ系は５個、フィルム系は３個、その他の系は２個である。また、本実施形態の動画データはレーティング情報が関連付けられ、星マークの右側に示されており、例えば、１番目の動画は“２”、２番目の動画は“３”、３番目の動画は“５”である。よって、第１の基準量は、ＰＡＬ系は１４／３、ＮＴＳＣ系は１６／３、フィルム系は１３／３、その他の系は５／３となり、最高はＮＴＳＣ系である。そして、ＮＴＳＣ系の第２の基準量は、３０ｆｐｓは８／３、１２０ｆｐｓは８／３となり、同数であるので、制御部１０１は値が大きな１２０ｆｐｓを選択する。

なお、本実施例では、第１および第２の基準量の両方に重み係数を適用したが、いずれか一方のみに適用するようにしてもよい。

以上のように、本実施例ではさらに動画データに関連付けられた属性情報に基づいてフレームレートを選択する。したがって、例えば、ユーザにとって重要な動画データに合わせたフレームレートとなるので、重要な動画データと対応する箇所を滑らかに再生できるようになる。

（他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

複数の動画を編集する画像編集装置であって、
編集対象の複数の動画を結合する結合手段と、
前記編集対象の動画を前記動画のフレームレートに基づいてグループに分類し、同じグループに分類される動画は同じ値の整数倍のフレームレートを持つ分類手段と、
前記グループに属する動画の量を前記グループ同士で比較する比較手段と、
前記グループのうち１つを前記比較の結果に基づいて選択する選択手段と、
前記選択されたグループに属する動画のフレームレートに基づいて変換用のフレームレートを決定する決定手段と、
前記編集対象の動画を前記決定された変換用のフレームレートに変換する変換手段とを備え、
前記結合手段は前記変換された動画を結合することを特徴とする画像編集装置。
前記選択手段は、前記取得された動画の量が最多のグループを選択することを特徴とする請求項１に記載の画像編集装置。
前記動画の量は、前記動画の個数および前記動画の再生時間および前記動画のフレーム数のうち少なくとも１つであることを特徴とする請求項１または２に記載の画像編集装置。
前記決定手段は、前記選択されたグループに属する動画の前記フレームレートの大きさに基づいて前記変換用のフレームレートを決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像編集装置。
前記選択手段は、さらに前記動画の属性情報に基づく重み係数に基づいて前記選択を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像編集装置。
前記属性情報はレーティングおよび画像サイズおよび記録レートのうち少なくとも１つであることを特徴とする請求項５に記載の画像編集装置。
前記グループは、ＮＴＳＣ系およびＰＡＬ系およびフィルム系のうち少なくとも１つであることを特徴とする請求項１または２に記載の画像編集装置。
画像編集装置の制御方法であって、
編集対象の動画を前記動画のフレームレートに基づいて、同じグループに属する動画が同じ値の整数倍であるフレームレートを持つようにグループに分類するステップと、
前記グループに属する動画の量を前記グループ同士で比較するステップと、
前記グループのうち１つを前記比較の結果に基づいて選択するステップと、
前記選択されたグループに属する複数の動画のフレームレートに基づいて変換用のフレームレートを決定するステップと、
前記編集対象の動画を前記決定された変換用のフレームレートに変換するステップと、
前記変換された動画を結合するステップとを備えたことを特徴とする制御方法。
画像編集装置を実現するコンピュータに、
編集対象の動画を前記動画のフレームレートに基づいて、同じグループに属する動画が同じ値の整数倍であるフレームレートを持つようにグループに分類するステップと、
前記グループに属する動画の量を前記グループ同士で比較するステップと、
前記グループのうち１つを、前記比較の結果に基づいて選択するステップと、
前記選択されたグループに属する複数の動画のフレームレートに基づいて変換用のフレームレートを決定するステップと、
前記編集対象の動画を前記決定された変換用のフレームレートに変換するステップと、
前記変換された動画を結合するステップとを実行させることを特徴とするプログラム。