JP4639043B2 - 動画像編集装置及び動画像編集方法 - Google Patents

Description

本発明は、撮影済みの動画像データを編集する動画像編集装置及び動画像編集方法に関し、特に、撮影時のカメラ設定、カメラ操作のミスにより生じた撮影失敗区間を検出可能な動画像編集装置及び動画像編集方法に関する。

従来、ビデオカメラによる撮影時に、映像がメディアに記録される直前で、自動的に「手ぶれ」、「ピンボケ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」など設定または撮影ミスを検出し、カメラ内で機械的、光学的または電子的な設定変更または抑制措置を取り、見易く良好な映像をメディアに記録するよう図った技術が多く提案されている。

しかし、このような技術を利用しても、実際の撮影状態によっては上述の設定または撮影ミスがカバーしきれず、意図しない映像が記録されることが多い。また一方で、熟練者やプロのカメラマンはダイレクトに撮影意図をカメラに伝えられるよう上記技術を利用せず、マニュアル設定で撮影を行う傾向にあるが、熟練者やプロのカメラマンであっても設定または撮影ミスが発生して意図しない映像が記録される場合もある。従って、これら意図しない撮影区間は、撮影後にＰＣ（Personal Computer）やビデオ編集機による動画編集作業でカットまたは修正される。

ところで、撮影済みの映像データからユーザが所望の区間を検出し、組み合わせて編集する際に、それらの各区間が所定のシーンルールに従っているか否かを自動的に検出する動画像処理装置が下記特許文献１に記載されている。この特許文献１に記載の動画像処理装置は、撮影時のカメラの操作情報などを取得しておき、動画像の編集の際、パンで終了・開始するシーンは両方のパンの方向が揃っていること、チルトで終了・開始するシーンで両方のチルトの方向が揃っていることというシーンルールに照らし合わせ、これらのルールに合わないときは見づらい映像になることを通知する警告をユーザに対して表示するものである。

しかし、所定のシーンルールを自動検出するために、このように撮影と同時にカメラ操作情報を取得し動画像と共に記録しておくと、カメラ側にカメラ操作情報を取得するための機構を搭載する必要があり、これを撮影部に搭載していない場合、ユーザはその恩恵を得ることができない。また、上述のカメラの設定及び操作情報などのカメラ操作情報は動画像に多重化され記録されるものであるが、動画編集部側にもこのカメラ操作情報を読み出す機構が別途必要になり、操作部及び動画編集部共に装置が複雑になる。

また、このカメラ操作情報を取得する機構は、撮影部（カメラ）にて撮影時に働く必要があり、その為にリアルタイム性を要求されると共に、撮影部側の電力も含めたサイズ的な制約から、それ程強力な計算装置を搭載することは困難である為、十分な動画解析能力を持つことができないという問題点がある。

したがって、特許文献１においては、撮影時にカメラの操作情報を得る手段がない場合には、撮影した動画像から、先ずフレーム間類似度を使用してクリップの変わり目（カット点）を検出し、検出されたクリップ（フレーム群）からハフ変換などを用いてカメラ操作を判定し、これらのデータを用いて上述と同様、所定のルールに照らし合わせて動画像編集を行う方法が記載されている。

特開２００３−６９９４７号公報

しかしながら、上記特許文献１においては、撮影した動画像から、ハフ変換を用いて動きのベクトル消失点を求め、複数ある消失点のうち最大投票数を得た消失点を背景に対する消失点とし、カメラ操作情報に関する拘束式を解くことでカメラの操作を判定するものであり、「手ぶれ」、「ピンボケ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」など、操作ミス又は撮影ミスにより所定の再生基準を満たしていないものを検出することができない。

上述したように、映像データには、撮影者の意図しない不要な撮影区間が含まれる場合があり、特に長時間の動画像データを編集するような場合、操作ミス又は撮影ミスなどにより生じてしまって見えづらい又はユーザが意図しない撮影区間を探し出す作業は極めて時間がかかる作業となってしまう。

本発明は、このような従来の実情に鑑みて提案されたものであり、既に記録された動画像データに対して、編集時に削除または修正される可能性が高い区間を動画解析により検出し、編集時その情報を動画像データと共に表示することで高速かつ容易にその区間をカットまたは修正することを可能にした動画編集装置及び動画像編集方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る動画像編集装置は、撮影手段により撮影された動画像データを記憶する記憶手段と、上記動画像データを解析して、予め定められた再生基準を満たすか否かを判定する複数の判定項目について上記動画像データのフレーム又はフィールド毎の輝度分布、輝度微分値分布、及び動きベクトル分布の少なくとも１つに基づきフレーム又はフィールド単位で個別にその評価値を算出する画像解析手段と、上記画像解析手段によって算出された上記判定項目毎の上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム数又はフィールド数に基づき、上記動画像データから、上記再生基準を満たさないと判定された撮影失敗候補区間を上記判定項目毎に検出するとともに、上記判定項目毎の上記撮影失敗候補区間が少なくとも１つ検出された区間をカット推奨区間として検出する候補区間検出手段と、上記動画像の時間軸上に、上記判定項目毎の上記評価値を上記フレーム単位でグラフ表示するとともに、当該時間軸上に、上記判定項目毎の上記撮影失敗候補区間と、上記カット推奨区間とを上記動画像データと共に表示する表示手段と、上記動画像データを削除又は修正するための操作手段と、上記操作手段により削除又は修正された動画像データの上記評価値に基づき、撮影失敗候補区間を検出するための上記再生基準を再設定する学習手段とを有する。

本発明においては、予め定められた再生基準を満たさないと判定される撮影失敗候補区間を自動的に検出し、これを動画像データと共に表示するため、動画像を編集するユーザは、撮影失敗候補区間の映像を確認しつつ編集作業を進めることができる。

また、上記画像解析手段は、上記再生基準を満たすか否かを判定する複数の判定項目について個別にその評価値を算出し、上記候補区間検出手段は、各判定項目毎に上記評価値に基づき上記撮影失敗候補区間を検出することができ、複数の判定項目を設定し、各判定項目における評価値により個別に撮影失敗候補区間を検出することで、映像の種類やその編集目的に応じた区間を選択して削除または修正を行うことができる。

更に、上記表示手段は、上記動画像の時間軸上に上記撮影失敗候補区間を表示することができ、これにより、編集作業を更に高効率化させる。

更にまた、上記候補区間検出手段は、各判定項目毎に検出された各撮影失敗候補区間に基づきカット推奨区間を検出し、上記表示手段は、上記動画像データと共に上記カット推奨区間を表示することができ、複数の判定項目における撮影失敗候補区間を検出することで、削除するべき区間として確信度が高いカット推奨区間をユーザに認識させることができる。

また、上記画像解析手段は、上記動画像データのフレームまたはフィールド毎の輝度分布、輝度微分値分布、及び動きベクトル分布の少なくとも１つに基づきフレームまたはフィールド単位で上記評価値を算出することができ、「手ぶれ」、「ピンボケ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」などが生じているか否かを評価するための判定項目を設けてその評価値を算出することができる。

更に、上記候補区間検出手段は、上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレームまたはフィールドが所定区間以上連続する区間を上記撮影失敗候補区間として検出することができ、鮮明でなかったり、全体が大きく動いてしまっていたり、適切な明るさではなかったり、白飛び・黒潰れなどが生じることで撮影失敗フレームまたはフィールドと判定され、それが連続している区間を撮影失敗候補区間として検出することができる。

更にまた、上記候補区間検出手段は、上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレームまたはフィールドが出現する間隔が所定の間隔未満である区間が複数連続して所定の区間以上となった場合、当該区間を上記撮影失敗候補区間として検出することができ、手ぶれなどにより、所定間隔毎に評価値が下がり撮影失敗フレームまたはフィールドが出現するような区間を撮影失敗候補区間として検出することができる。

また、上記表示手段は、上記各判定項目毎に上記評価値を表示することができ、撮影失敗候補区間として検出されていないフレームにおいても、評価値を編集指標として参照し、編集作業を行うことができる。

更に、上記動画像データを削除又は修正するための操作手段を有し、上記操作手段により削除又は修正された動画像データの上記評価値に基づき、撮影失敗候補区間を検出するための上記再生基準を再設定する学習手段を有することができ、学習により撮影失敗候補区間検出の精度を向上させることができる。

本発明に係る動画像編集方法は、撮影手段により撮影された動画像データを記憶する記憶工程と、上記動画像データを解析して、予め定められた再生基準を満たすか否かを判定する複数の判定項目について上記動画像データのフレーム又はフィールド毎の輝度分布、輝度微分値分布、及び動きベクトル分布の少なくとも１つに基づきフレーム又はフィールド単位で個別にその評価値を算出する画像解析工程と、上記画像解析工程にて算出された上記判定項目毎の上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム数又はフィールド数に基づき、上記動画像データから、上記再生基準を満たさないと判定された撮影失敗候補区間を上記判定項目毎に検出するとともに、上記判定項目毎の上記撮影失敗候補区間が少なくとも１つ検出された区間をカット推奨区間として検出する候補区間検出工程と、上記動画像の時間軸上に、上記判定項目毎の上記評価値を上記フレーム単位でグラフ表示するとともに、当該時間軸上に、上記判定項目毎の上記撮影失敗候補区間と、上記カット推奨区間とを上記動画像データと共に表示する表示工程と、上記動画像データを削除又は修正するための操作工程と、上記操作工程にて削除又は修正された動画像データの上記評価値に基づき、撮影失敗候補区間を検出するための上記再生基準を再設定する学習工程とを有する。

本発明に係る動画像編集装置及び方法によれば、撮影手段により撮影された動画像データを記憶し、上記動画像データを解析し、その解析結果に基づき、上記動画像データから、予め定められた再生基準を満たさないと判定される撮影失敗候補区間を検出し、上記撮影失敗候補区間を上記動画像データと共に表示するので、動画像を編集するユーザは、予め定められた再生基準を満たさないと判定された撮影失敗候補区間の映像を確認しつつ編集作業を進めることができ、撮影失敗候補区間を検索する手間が省け、編集作業が高効率化すると共に、撮影失敗候補区間を自動的に検索することで見逃しを防止することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ビデオカメラなどにより撮影した動画像データから撮影時の設定ミスや操作ミスにより生じる「手ぶれ」、「ピンボケ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」などの撮影失敗区間を自動検出し、動画像編集作業を高効率化すると共に撮影失敗区間の見逃しを防止した動画像編集装置及び方法に適用したものである。

図１は、本発明の実施形態における動画像編集システムを示すブロック図である。図１に示すように、動画像編集システム１は、画像を撮影するためのビデオカメラ１０と、撮影した動画像データを記録し、動画像データを編集をするための例えばＰＣなどの情報処理装置２０とを有する。

ビデオカメラ１０は、映像を電気信号に変換するＣＣＤ（Charge Coupled Devise）と、ＣＣＤからの電気信号を所定の記録信号に変換する記録信号処理モジュール１２と、メディア入出力（Ｉ／Ｏ）モジュール１３を介した動画像データが記録される記録メディア１４とを有する。更に、メディアＩ／Ｏモジュールから記録メディア１４に記録された動画像データを読み出し、外部の機器に対して動画像データを出力するためのシリアルインターフェース入出力モジュール（ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４Ｉ／Ｏモジュール）１５を有する。記録メディア１４は、磁気テープ、光ディスク、光磁気ディスク、磁気ディスク、不揮発性メモリなどである。ビデオカメラ１０は例えばＩＥＥＥ１３９４などを介して情報処理装置２０と接続されることで、記録メディア１４に記録された動画像データを情報処理装置２０に出力することができる。

情報処理装置２０は、ビデオカメラ１０から出力された動画像データを受信するＩＥＥＥ１３９４Ｉ／ＦＣａｒｄ２１と、ＩＥＥＥ１３９４Ｉ／ＦＣａｒｄ２１により受信された動画像データを記録するハードディスクＨＤ（HardDisk）２２と、ＨＤ２２から読み出されたプログラムを格納するＲＡＭ（Random Access Memory）２３と、ＲＡＭ２３にロードされたプログラムに従って各種の処理を実行するＣＰＵ２４とを有し、ＩＥＥＥ１３９４Ｉ／ＦＣａｒｄ２１、ＨＤ２２、ＲＡＭ２３及びＣＰＵ２４はバス２５を介して接続されている。

バス２５にはまたビデオ入出力部（ＶｉｄｅｏＩ／Ｏ）２６が接続され、デジタルビデオインターフェース（Digital Video Interface（ＶＤＩ））２８を介してディスプレイ２９に接続されている。また、バス２５には、ＵＳＢ（Universal Serial Bus）Ｉ／Ｆ２７が接続され、ＵＳＢ２９を介してキーボード３１、マウス３２と接続されている。

ディスプレイ２９には、ＨＤ２２に記録された動画像データをブラウジングするためのＧＵＩ（Graphic User Interface）を表示することができる。また、後述するように、本動画像編集システム１においては、カメラ設定ミスや撮影ミスにより、例えば「手ぶれ」、「ピンボケ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」などが生じ、見え難い又は撮影者の意図しない撮影失敗区間（以下、ＮＧ候補区間という。）を自動的に検出し、これを動画像編集時にＧＵＩによって表示することができる。

ユーザはこのＧＵＩによって、記録された動画像データの再生や、本動画像編集システム１で検出された動画像データ内のＮＧ候補区間を修正または削除をする処理を行い動画像を編集することができる。このディスプレイ２９に表示されるＧＵＩは、ユーザからの入力デバイスであるキーボード３１及びマウス３２により操作することができる。

先ず、本実施の形態における動画像編集装置における動作の流れについて説明する。図２は、図１のシステムを用いて動画像編集装置１によりＮＧ候補区間を検出してＧＵＩに表示させ、編集作業を行わせるまののワークフローを示す図である。

先ず、ビデオカメラ１０のＣＣＤ１１により動画像（映像）が撮影され、動画像データがキャプチャされて、記録信号処理モジュール１２、メディアＩ／Ｏモジュール１３を介して記録メディア１４に記録される。そして、記録メディア１４に記録された動画像データが、メディアＩ／Ｏモジュール１３により読み出され、ＩＥＥＥ１３９４Ｉ／Ｏモジュールを介してＩＥＥ１３９４Ｉ／Ｆカード２１により受信され、ＨＤ２２に記録される（ステップＳ１）。

次に、ＨＤ２２に記録された動画像データの画像解析を行う。画像解析は、ＨＤ２２の動画像データをＲＡＭ２３に読み出しＣＰＵ２４にて後述の方法にて、フレーム毎に輝度分布、輝度微分値、動きベクトル分布などを計算する（ステップＳ２）。

次に、得られた画像解析結果に基づき、動画像データの見え易さを、「シャープで鮮明」か否か、「動きが少ない」か否か、「動きの変化が少ない」か否か、「明る過ぎたり暗過ぎたりしない」か否か、「白飛びや黒潰れが多くない」か否かなど、所定の再生基準を満たすか否かを判定する各判定項目について、所定の基準に照らし合わせて評価し、ある一定の撮影区間より長い区間、その基準を満たさない区間があった場合にこれをＮＧ候補区間として抽出し記憶する（ステップＳ３）。

そして、例えばユーザが動画像を編集する際またはステップＳ２及びステップＳ３の処理が終了した時点でＮＧ候補区間を動画像と共にＧＵＩの時間軸上に表示することで、ＮＧ候補区間を削除したり、修正したりするユーザの動画像編集作業の手助けとする（ステップＳ４）。

また、ステップＳ２及びステップＳ３の処理は、ＨＤ２２に動画像データを記録するステップＳ１の処理が終わった後で行われても構わないし、ステップＳ１の処理と平行して、パイプライン的に行われてもよい。

ここで、本実施の形態における動画像編集システムでは、ステップＳ２の動画像データの解析処理、ステップＳ３のＮＧ候補区間の検出処理、ステップＳ４のＮＧ候補区間の削除・修正処理により、動画像データの中から、ＮＧ候補区間及び各ＮＧ候補区間に基づき選択されるカット推奨区間など、見えづらいと思われる撮影区間をユーザに通知し、排除しやすくすることで、編集作業を高効率化させるものである。

先ず、ステップＳ２における動画像解析処理について詳細に説明する。ここでは、この動画像データの見え易さの評価として、Ａ：「シャープで鮮明（Ｄｉｓ）」か否か、Ｂ：「動きが少ない（Ｓｔｌ）」か否か、Ｃ：「動きの変化が少ない（Ｓｔｂ）」か否か、Ｄ：「明る過ぎたり暗すぎたりしない（Ｌｕｍ）」か否か、Ｅ：「白飛びや黒潰れが多くない（Ｓａｔ）」か否かという５つの見え易さ判定項目における評価を行う例について説明する。なお、全ての評価値は、その値が高いほど、動画像データが見やすいデータ、すなわち撮影に成功していると推定されることを示すものとする。

ここで、「動きが少ない」か否かの判定項目は、フレーム間で動きが少ないほど高い評価とされるが、これは例えば前方を撮影中に後方から物音が聞こえ、撮影者がカメラを前方から後方に移動させた場合などにおいて、移動中のフレーム間の動きは大きくなり、「動きが少ない」評価値が下がる。このような場合において、移動中の画像をカットし、移動後の画像を使用したいような場合に、この「動きが少ない」か否かの判定項目は有効となる。

また、「動きの変化が少ない」か否かの判定項目においては、動きの変化が少ないほど高い評価とするものであるが、これは主に手ぶれを検出するものであり、手ぶれが生じると動きの変化が多くなって評価値が下がるため、手ぶれ区間を検出することができる。

本実施の形態実施の形態においては、上記見え易さの各判定項目の評価を示す評価値を算出するパラメータとして、動画像データ内の各フレームについて、下記８つのパラメータを算出する。

（１）平均輝度
（２）輝度標準偏差
（３）白飛び率
（４）黒潰れ率
（５）平均輪郭階差
（６）パターンマッチング成功率Ｐ
（７）平均移動量Ａｖｇ_ｍ
（８）平均移動方向Ａｖｇ_ｄ

これらのパラメータは、以下の様に各見え易さ判定項目の評価を示す評価値の算出に利用される。

Ａ：「シャープで鮮明」か否かの評価
（２）輝度標準偏差
（５）平均輪郭階差
Ｂ：「動きが少ない」か否かの評価
（６）パターンマッチング成功率
（７）平均移動量
（８）平均移動方向
Ｃ：「動きの変化が少ない」
（７）平均移動量
（８）平均移動方向
Ｄ：「明る過ぎたり暗過ぎたりしない」か否かの評価
（１）平均輝度
Ｅ：「白飛びや黒潰れが多くない」か否かの評価
（３）白飛び率
（４）黒潰れ率

図３は、上述の（１）乃至（８）を算出する動画像データの解析処理方法を示すフローチャートである。図３に示すように、先ず、入力された動画像データを伸長し（ステップＳ１１）、１フレーム毎に輝度分布計算を行う（ステップＳ１２）。

このステップＳ１２における輝度分布計算で、動画像データ内のあるフレームについて輝度ヒストグラムを求め、（１）平均輝度、（２）輝度標準偏差、（３）白飛び率、（４）黒潰れ率を求める。図４は、横軸に明度をとり、縦軸に画素数をとって、１フレームにおける輝度ヒストグラムを示すグラフ図である。この輝度ヒストグラムから、輝度ヒストグラムの平均値を（１）平均輝度として算出し、輝度ヒストグラムの標準偏差を（２）輝度標準偏差として算出する。また、（３）白飛び率、及び（４）黒潰れ率は、明度の最大値を持つ画素数Ｙ_ｍａｘ及び明度の最小値を持つ画素数Ｙ_ｍｉｎから以下に示す式にて容易に算出することができる。

（１）平均輝度＝輝度ヒストグラムの平均値Ｙ_ａｖｇ
（２）輝度標準偏差＝輝度ヒストグラムの標準偏差
（３）白飛び率（％）＝（明度の最大値を持つ画素数Ｙ_ｍａｘ／全画素数）×１００
（４）黒潰れ率（％）＝（明度の最小値を持つ画素数Ｙ_ｍｉｎ／全画素数）×１００

図３に戻って、次に、輝度微分値分布計算をする（ステップＳ１３）。これにより、（５）平均輪郭階差を求める。図５は、横軸に輝度微分値をとり、縦軸に画素数をとって、輝度微分値分布計算の課程で用いられる微分値ヒストグラムを示すグラフ図である。図５に示す輝度微分値は、動画像データ内のあるフレームについて、各画素の水平方向、垂直方向における隣接画素についての差分を取り、水平方向及び垂直方向の隣接画素の差分のうち絶対値が大きい方を微分値としてヒストグラムを求めた例である。そして、ある閾値Ｔｈ以上の微分値を持つ画素、すなわち図５においては領域Ｐに含まれる画素について、その画素数が一定量以上に達した場合、領域Ｐに含まれる輝度微分値の平均値を求め、下記に示す（５）平均輪郭階差とする。ここで、一定量以上に達しない場合、最小値となる閾値Ｔｈを（５）平均輪郭階差とする。ここで、閾値Ｔｈは、閾値Ｔｈより輝度微分値が大きい画素は、フレームのうちシャープな部分を構成する画素、閾値Ｔｈより輝度微分値が小さい画素は、フレームのうちボケた部分を構成する画素と見なせるよう適宜設定される値である。

（５）平均輪郭階差＝閾値Ｔｈ以上の微分値を持つ画素の平均微分値

次に、図３のステップＳ１４に示すように、動きベクトル分布の計算をし、（６）パターンマッチング成功率、（７）平均移動量、（８）平均移動方向を求める。

図６及び図７に、動きベクトル計算課程で用いられるグラフを示す。あるフレーム（現フレーム）内の各ブロック（例えば１６×１６画素）について、前のフレームとのパターンマッチングを行い、その移動量（移動距離）および移動方向を求め、ヒストグラムにした例である。すなわち、図６は、横軸に移動量をとり、縦軸にブロック数をとって各ブロックの移動量のヒストグラムを示すグラフ図、図７は、横軸に移動方向をとり、縦軸にブロック数をとって各ブロックの移動方向のヒストグラムを示すグラフ図である。なお、この動画像データがインターレース画像である場合は、前フレームでなく奇数・偶数フィールド間でパターンマッチングを行ってもよい。ここで用いられるパターンマッチングでは単純に、現フレームの対象となるブロック（対象ブロック）と、前フレームにおいて、対象ブロックの座標近傍であって、対象ブロックと同サイズのブロックとの輝度微分の絶対値の和が最小となるブロックを検索し、この距離が閾値以下であったならそのブロックに対してパターンマッチング成功とする。これにより、（６）パターンマッチング成功率は容易に求まるが、この成功率は上記検索を行う範囲と関連する。ここで求めたい「動き」とは被写体の動きのことで、これは「動きが大きい」ブロックより、「動きが小さい」ブロックと定義するため、この検索範囲はそれ程広くなくてよい。すなわち、ある程度の検索範囲内にてマッチングが成功しないような大きい動きのあるブロックは「動きが少ない」判定項目における評価に使用しない。そして、図６に示す移動量ヒストグラム、図７に示す移動方向ヒストグラムのそれぞれの平均値ａｖｇ＿ｍ、ａｖｇ＿θは、それぞれ（７）平均移動量、（８）平均移動方向となる。

（６）パターンマッチング成功率（％）＝（マッチング成功ブロック数／全ブロック数）×１００
（７）平均移動量＝移動量の平均値ａｖｇ＿ｍ
（８）平均移動方向＝移動方向の平均値ａｖｇ＿θ

こうして動きベクトル分布を計算した後、最終フレームか否かを判断し（ステップＳ１５）、最終フレームであれば画像解析処理を終了する。一方、最終フレームでない場合には次のフレームを読出し（ステップＳ１６）、ステップＳ１１からステップＳ１５までの処理を繰り返す。このように、各フレーム毎に、各見え易さ判定項目の評価値算出に必要な上記（１）乃至（８）のパラメータを求めておく。

次に、図２に示すステップＳ３のＮＧ候補区間の検出処理について説明する。まず、図３に示すステップＳ１２からステップＳ１４にて求まった（１）〜（８）のパラメータを利用して、動画像データの見え易さを評価するために、Ａ：「シャープで鮮明（Ｄｉｓ）」か否か、Ｂ：「動きが少ない（Ｓｔｌ）」か否か、Ｃ：「動きの変化が少ない（Ｓｔｂ）」か否か、Ｄ：「明る過ぎたり暗すぎたりしない（Ｌｕｍ）」か否か、Ｅ：「白飛びや黒潰れが多くない（Ｓａｔ）」か否かの各判定項目における評価値を算出する。なお、以下の例では、全ての評価値は、説明の簡単のため、０〜１００の値として算出する。

あるフレームが「シャープで鮮明」か否かを示す判定項目Ａの評価値（Ｄｉｓ）は、図３のステップＳ１２にて求めた（２）輝度標準偏差（Ｄｅｆ）、ステップＳ１３で求めた（５）平均輪郭階差（Ｅｄｇ）を利用して算出することができる。先ず、予め「シャープで鮮明」な基準画像１と、「ボケて不鮮明」な基準画像２とを用意し、これらの基準画像１、２について、（２）輝度標準偏差、（５）平均輪郭階差を算出する。そして、基準画像１及び基準画像２の輝度標準偏差を輝度標準偏差のそれぞれ上限値及び下限値（Ｄｅｆ_ｍａｘ，Ｄｅｆ_ｍｉｎ）とし、基準画像１及び基準画像２の平均輪郭階差を平均輪郭階差のそれぞれ上限値及び下限値（Ｅｄｇ_ｍａｘ，Ｅｄｇ_ｍｉｎ）とする。そして、評価値算出対象のフレームにおける（２）輝度標準偏差、（５）平均輪郭階差と、基準画像１、２により予め得られている（Ｄｅｆ_ｍａｘ，Ｄｅｆ_ｍｉｎ）及び（Ｅｄｇ_ｍａｘ，Ｅｄｇ_ｍｉｎ）とから、下記式（１）に示すようにそれぞれの割合を算出し、さらに評価値（Ｄｉｓ）が０〜１００となるよう、適当な重み付け（Ｗ_ｄｅｆ，Ｗ_ｅｄｇ）を行った後、その和を取り、これを「シャープで鮮明」さを判定する判定項目Ａの評価値とする。すなわち、下記式（１）にて評価値（Ｄｉｓ）を算出する。評価値（Ｄｉｓ）が高いほどシャープで鮮明である画像であることを示す。

また、あるフレームが「動きが少ない」か否かを示す判定項目Ｂにおける評価値（Ｓｔｌ）は、図３のステップＳ１４にて求めた(６)パターンマッチング成功率（Ｐｍ）、(７)平均移動量（Ｄｉｓ_ａｖｇ）、及び(８)平均移動方向（Ｄｉｒ_ａｖｇ）を使用し算出することができる。ここで、(６)パターンマッチング成功率は、「被写体を捕らえているか」否かを示し、(７)及び(８)にて得られる平均移動量及び平均移動方向からなる平均移動ベクトルは「被写体がどれだけ動いているか」を示しているものと見なす。つまり、全くの静止画では、(６)パターンマッチング成功率は１００で、(７)及び(８)で得られる平均移動ベクトルは(０，０)である。ここでは、「動きの少なさ」を計算するが、その基準として、静止した被写体に対して静止して撮影をした場合を１００、全てパターンマッチング可能な限界の速度でカメラをパンさせた場合を５０、全てがパターンマッチングできない大きな動きである場合を０と定義する。これを基に、パターンマッチングに成功する最大距離Ｄｉｓ_ｍａｘを求め、この「動きの少なさ」、すなわち被写体をうまく捉えられているか否かの判定項目Ｂの評価値（Ｓｔｌ）を下記に示す式（２）により０〜１００で算出する。

また、この(７)及び(８)で得られる平均移動ベクトルにより、「手ぶれ」区間の検出のための「動きの変化が少ない」か否かを示す判定項目Ｃの評価値（Ｓｔｂ）を算出することができる。まず、(７)及び(８)で求められる、現フレームにおける平均移動ベクトルと、前フレームにおける平均移動ベクトルとの差を求め、このベクトル距離を元に速度変化量を求める。現フレームＩの平均移動ベクトルを（ｕＩ、ｖＩ）、前フレーム（Ｉ−１）の平均移動ベクトルを（ｕＩ−１、ｖＩ−１）としたとき、「動きの変化の少なさ」の判定項目Ｃにおける評価値（Ｓｔｂ）を下記に示す式（３）により０〜１００で算出する。

また、「明る過ぎたり暗すぎたりしない」か否かを示す判定項目Ｄの評価値（Ｌｕｍ）は、図３のステップＳ１１にて求めた（１）平均輝度（Ｌｕｍ_ａｖｇ）および輝度の最大値Ｌｕｍ_ｍａｘを用いていて、下記式（４）により、０〜１００の値として算出することができる。

次に、「白飛びや黒潰れが多くない」か否かを示す判定項目Ｅの評価値（Ｓａｔ）は、図３のステップＳ１２にて求めた(３)白飛び率（Ｓａｔ_ｍａｘ）、(４)黒潰れ率（Ｓａｔ_ｍｉｎ）を用いて、下記式（５）により、０〜１００の値として算出することができる。

以上で動画像データ中の各フレームにおける各５つの判定項目についての評価値が求まる。そして、これらを使用して、図２に示すステップＳ３のＮＧ候補区間の検出処理を行う。このＮＧ候補区間の検出処理は、各判定項目、すなわち、Ａ：「シャープで鮮明（Ｄｉｓ）」か否か、Ｂ：「動きが少ない（Ｓｔｌ）」か否か、Ｃ：「動きの変化が少ない（Ｓｔｂ）」か否か、Ｄ：「明る過ぎたり暗すぎたりしない（Ｌｕｍ）」か否か、Ｅ：「白飛びや黒潰れが多くない（Ｓａｔ）」か否かの５つの判定項目について、ＮＧ候補区間を個別に検出する。

先ず、「動きの変化の少なさ（Ｓｔｂ）」を示す判定項目Ｃ以外の判定項目についてのＮＧ候補区間の検出方法について説明する。これら検出には、各項目毎に、各フレームについて得られた評価値の閾値判定により、ＯＫフレームかＮＧフレームかに分別し、例えば例えばｎ＝１０〜２０程度の最低区間長ｎ以上、ＮＧフレームが連続する区間をＮＧ候補区間として検出する。

図８は、Ｅ：「動きの変化の少なさ（Ｓｔｂ）」以外の判定項目について、すなわち、上記判定項目Ａ、Ｂ、Ｄ、ＥにおけるＮＧ候補区間検出処理方法を示すフローチャートである。上述した如く各フレームの各評価値を算出したら、ＮＧ候補区間検出処理をスタートする。ここでは、判定項目Ａ：「シャープで鮮明（Ｄｉｓ）」において、評価値が小さい区間をＮＧ候補区間として検出する方法を例にとって説明する。先ず、図８に示すように、時系列に順に入力される現在のフレーム（フレームカウント）ｉが最後のフレームＩ以下か否かを判定し（ステップＳ２１）、最終フレームＩまでステップＳ２２に進む。そして、ステップＳ２２において、上記式（１）の評価値（Ｄｉｓ）が所定の閾値未満か否かにより、ＮＧフレームか否かを判定する。ＮＧフレームでないと判定された場合には、次のフレームの処理に移行し（ステップＳ２３）、ステップＳ２１からの処理を繰り返す。

また、ステップＳ２２にて、閾値判定によりシャープで鮮明でなく、ＮＧフレームであると判定された場合、当該判定されたフレームを仮ＮＧ候補区間仮開始・終了フレームに設定する（ステップＳ２４）。そして、次のフレームｉを読出し（ステップＳ２５）、これが最終フレームＩより大きいか否かを判定し（ステップＳ２６）、最終フレームＩまでステップＳ２７に進み、ステップＳ２２と同様に、上記式（１）の評価値（Ｄｉｓ）が所定の閾値未満か否かにより、ＮＧフレームか否かを判定する。そして、このフレームがＮＧフレームである場合、当該フレームを仮ＮＧ候補区間の仮終了フレームに設定する（ステップＳ２８）。そして、次のフレームを読み出すステップＳ２５からの処理を繰り返す。

一方、ステップＳ２６で次のフレームがないと判定された場合、及びステップＳ２７で現在のフレームｉがＮＧフレームではないと判定された場合、それまでにＮＧフレームと判定された連続区間である仮ＮＧ候補区間の長さ（フレーム数）が最低区間長ｎ以上であるか否かを判定する（ステップＳ２９）。そして、仮ＮＧ候補区間の長さがｎ未満である場合は、ＮＧ候補区間として検出するには短すぎるため、この仮ＮＧ候補区間をクリアし（ステップＳ３１）、ステップＳ２１からの処理を繰り返す。また、ステップＳ２９にて仮ＮＧ候補区間の長さがｎ以上であった場合、この仮ＮＧ候補区間をＮＧ候補区間としてＨＤ２２などに記憶し（ステップＳ３０）、ステップＳ３１に進んで記憶済みの仮ＮＧ候補区間をクリアし、ステップＳ２１からの処理を繰り返す。なお、ステップＳ３０でＮＧ候補区間を記憶する場所は、図１に示すＨＤ２２が適当であるが、別のランダムアクセス可能なメモリや、光ディスクに記憶することも可能である。

これにより、図９（ａ）に示すように、ＮＧフレームＦ_ＮＧがｎフレーム以上連続する区間がＮＧ候補区間Ｉ_ｃとして検出される。なお、図９においては、図面の都合上、ｎ＝５以上である場合にＮＧ候補区間Ｉ_ｃとして検出するものとする。

また、ＮＧ候補区間の連続判定について、連続している区間中、数フレームのＯＫフレームは見逃すことで判定に幅を持たせ、本来撮影に失敗などして見え難い画像となっている部分の検出漏れを防止することも可能である。具体的には、図９（ａ）においては、例えば左から３つめのフレームは、ＯＫフレームＦ_ＯＫ（１）であるが、これをＮＧフレームと見なし、ＮＧ候補区間Ｉ_ｃの開始フレームをＦ_ＮＧ（３）ではなく、Ｆ_ＮＧ（１）としたＮＧ候補区間Ｉ_ｃ’として検出するなどすることができる。

また、図８では、判定項目Ａ：「シャープで鮮明（Ｄｉｓ）」でない区間をＮＧ候補区間として検出する処理を例にとって説明したが、判定項目Ｂ：「動きが少ない（Ｓｔｌ）」と評価できない区間、判定項目Ｃ：「明る過ぎたり暗すぎたりしない（Ｌｕｍ）」と評価できない区間、及び判定項目Ｄ：「白飛びや黒潰れが多くない（Ｓａｔ）」と評価できない区間をＮＧ区間候補として検出する方法も同様に行うことができる。すなわち、ＮＧフレームであるか否かを判定するステップＳ２２、ステップＳ２７において、それぞれ上記式（２）、式（４）、式（５）に示す各評価値を用いて閾値判定すればよい。

次に、判定項目Ｅ：「動きの変化の少なさ（Ｓｔｂ）」についてのＮＧ候補区間の計算について説明する。この計算においても、やはり各フレームについて単純に閾値判定により、ＯＫフレームであるか、ＮＧフレームであるかを判定するが、この場合、ＮＧフレームが出現する最大間隔（最大フレーム数）がｍ（＜ｎ）以内の区間が、最低区間長ｎ以上連続する区間をＮＧ候補区間とする。すなわち、図９（ａ）と同様、ｎ＝５とした場合、図９（ｂ）に示すように、例えばＮＧフレームＦ_ＮＧ（２）とＮＧフレームＦ_ＮＧ（３）との間隔は４フレームであり、ｍ（＝４）＜ｎ＝５を満たす。また、ＮＧフレームＦ_ＮＧ（３）とＮＧフレームＦ_ＮＧ（４）との間隔は２フレームであり、同じくｍ（＝２）＜ｎ＝５を満たす。また、ＮＧフレームＦ_ＮＧ（５）以降のフレームは、５フレーム以上連続してＯＫフレームであるとする。この場合、「動きの変化の少なさ（Ｓｔｂ）」についてのＮＧ候補区間としてＮＧフレームＦ_ＮＧ（１）〜ＮＧフレームＦ_ＮＧ（５）の区間が検出され、この区間の長さは１１フレームとなり、最低区間長ｎ＝５以上であるので、これをＮＧ候補区間Ｉ_ｃとして検出する。

これは「動きの変化の少なさ（Ｓｔｂ）」以外の評価値は、連続的にＮＧとなる（評価が低くなる）性質にあるが、「動きの変化の少なさ（Ｓｔｂ）」については手ぶれによる発生が予想されるため、連続してＮＧとならず、ある間隔を置いてＮＧとなるためである。このようにＮＧ候補区間の検出は、ＮＧフレームの発生原因に基づき、適宜検出方法を設定するものとする。

そして、最後に、図２のステップＳ４に従って、図２のステップＳ１〜ステップＳ３の処理結果として、動画像データと、評価値に基づき得られる画像の見え難さ及びＮＧ候補区間と、これにより推定されるカット推奨区間とを、図１のディスプレイ２９のＧＵＩにてユーザに表示する。次に、このＧＵＩについて説明する。

図１０は、ユーザが動画像を編集する際にディスプレイに表示される典型的なＧＵＩを示す模式図である。ＧＵＩ５０は、動画像を表示するモニタ５１と、動画像データの各シーンのリストを表示するシーンリスト５２と、時間順に図２のステップＳ２により算出した画像の見え易さの各評価値、ＮＧ候補区間などを表示するタイムライン５３などを有する。

モニタ５１は、シーンリスト５２で選択された動画像データ・ファイルについて再生を行い、実際の映像を確認するための領域である。また、シーンリスト５２は、図１に示すＰＣ２０内のＨＤ２２に記録された動画像データ・ファイルをリスト表示し、ユーザに選択させるための領域である。このシステムでは図１に示すＨＤ２２に記録する動画像データを、例えばカメラ側での録画ボタンのＯＮ／ＯＦＦ情報や、シーンの変更点の検出、ユーザの操作などに基づき所定区間で区切り、ファイルとして整理している。

また、タイムライン５３は、シーンリスト５２で選択された動画像データ・ファイルについて、上述の方法にて算出した評価値、ＮＧ候補区間などを表示するための領域である。ここでは時間方向を横軸にとり、縦方向に参照する「タイムコード」、「映像」を表示する各欄に加え、上述の方法にて算出された各見えやすさの判定項目の評価値を編集指標となるよう行として並べて表示する。各評価値は、各判定項目を示す行内の縦軸に各フレーム単位などでグラフ表示することで、フレーム単位の編集をも可能にする。

更にステップＳ３にて検出したＮＧ候補区間がユーザに認識できるような表示がされるものとする。具体的には、ＮＧ候補区間が枠取りされて表示されたり、ＮＧ候補区間と、そうでない区間とを別の色で表示するなどすればよい。

ここで、本実施の形態においては、図２のステップＳ２において算出された、見えやすさの判定項目Ａ：「シャープで鮮明（Ｄｉｓ）」か否か、判定項目Ｂ：「動きが少ない（Ｓｔｌ）」か否か、判定項目Ｃ：「動きの変化が少ない（Ｓｔｂ）」か否か、判定項目Ｄ：「明る過ぎたり暗すぎたりしない（Ｌｕｍ）」か否か、判定項目Ｅ：「白飛びや黒潰れが多くない（Ｓａｔ）」か否かの各評価値が、それぞれ１００から減算され、それぞれ「動き」、「手ぶれ」、「ボケ」、「飛び・潰れ」、「明るさ」の見え難さの判定項目についての負の評価値とされ、編集指標として表示するものとする。すなわち、ＮＧ候補区間を削除・修正しやすくするため、見え易さの評価値と反対の評価値グラフを各見え難さの判定項目の見え難さの指標（評価値）として表示するものであり、上述のようにして算出した見え易さの評価値をその最大値の１００から引いた値を見え難さの評価値グラフとして表示する。このことにより、撮影画像のうち見えにくい、又は撮影者が意図しない撮影区間をユーザに視認させ、修正・削除し易くするものである。

また、タイムライン５３には、各見え難さを示す判定項目について個別にＮＧ候補区間が表示される他、更にユーザの操作性を考慮し、それらのＯＲを取った区間をカット推奨区間として表示する。

そして、ユーザは、ＧＵＩ５０上でユーザ操作５４に示すように、図１に示すキーボード３１またはマウス３２を利用して、本実施の形態における動画像編集システム１が検出した例えばカット推奨区間を選び、それを対象として削除・修正を行う。また各評価値がグラフ表示されているため、これを目安に、削除・修正対象となる区間の延長・縮小といった変更も行うことができる。

また、各見え難さの判定項目について、ＮＧ候補区間が視認可能に表示されているため、カット推奨区間であっても、ＮＧ候補区間となっている判定項目が少ないような場合は、削除・修正は行わないものとしたり、カット推奨区間のうち、ＮＧ候補区間となっている判定項目が多い順に削除・修正していったりと各判定項目のＮＧ候補区間などを参照しながら編集の優先順位などを決定したり、編集するかしないかを決定したりすることができ、短時間での編集も可能となる。

更に、カット推奨区間（ＮＧ候補区間）として表示されていない区間、例えばＮＧ候補区間として検出するにはＮＧフレーム数が少ない短い区間などであっても、見え難さの判定項目における見え難さの評価値が高い区間を視認することができるため、ユーザの必要に応じて削除・修正することができる。すなわち、ユーザは、編集目的、編集時間などに応じて、見え難さの指標として示される評価値毎、ＮＧ候補区間毎、カット推奨区間毎に修正・削除を行うことができる。

更にまた、このＮＧ候補区間の削除・修正、又はＮＧ候補区間に対する、例えば、ユーザがこの区間の評価値を基準映像に加えるかの選択を行うようなフィードバックにより、基準となる評価値について統計を取ることができ、このような学習作業により、各フレームのＯＫフレーム／ＮＧフレームを判別する閾値を適宜変更したり、ＮＧ候補区間として検出する最低区間長ｎ又は最大間隔ｍを適宜変更することで、更にユーザの意図に即したＮＧ候補区間検出を行うようにさせることもできる。

このように、本実施の形態における動画像編集システムによれば、撮影された「ぶれ」、「ぼけ」、「白飛び／黒つぶれ」、「露出アンダー／オーバー」などの撮影失敗区間を含む映像から、ＮＧ候補区間を自動検索することで、操作ミス又は設定ミスなどにより撮影が失敗したり、ユーザが意図しないような撮影区間を検索する手間が省け、編集作業を効率化できると共に、ＮＧ候補区間を自動的に検出することで、編集の見逃しを防止することができる。

本発明の実施形態における動画像編集システムを示すブロック図である。 動画像編集システムを用いてＮＧ候補区間を検出してＧＵＩに表示させ、編集作業を行わせるまでのワークフローを示す図である。 各評価値及び評価値を求めるためのパラメータを算出する動画像データの解析処理方法を示すフローチャートである。 横軸に明度をとり、縦軸に画素数をとって、１フレームにおける輝度ヒストグラムを示すグラフ図である。 横軸に輝度微分値をとり、縦軸に画素数をとって、輝度微分値分布計算の課程で用いられる微分値ヒストグラムを示すグラフ図である。 横軸に移動量をとり、縦軸にブロック数をとって各ブロックの移動量のヒストグラムを示すグラフ図である。 横軸に移動方向をとり、縦軸にブロック数をとって各ブロックの移動方向のヒストグラムを示すグラフ図である。 判定項目Ａ、Ｂ、Ｄ、ＥにおけるＮＧ候補区間検出処理方法を示すフローチャートである。 （ａ）は判定項目Ａ、Ｂ、Ｄ、ＥにおけるＮＧ候補区間Ｉ_ｃを示す図、（ｂ）は判定項目ＣにおけるＮＧ候補区間Ｉ_ｃを示す図である。 ユーザが動画像を編集する際にディスプレイに表示される典型的なＧＵＩを示す模式図である。

符号の説明

１０ ビデオカメラ、１２ 記録信号処理モジュール、１３ メディア入出力モジュール、１４ 記録メディア、１５ シリアルインターフェース入出力モジュール、２０ 情報処理装置、２１ ＩＥＥＥ１３９４Ｉ／ＦＣａｒｄ、２５ バス、２６ ビデオ入出力部、２７ ＵＳＢＩ／Ｆ、２９ ディスプレイ、３１ キーボード、３２ マウス、５１ モニタ、５２ シーンリスト、５３ タイムライン、５４ ユーザ操作

Claims (6)

1. 撮影手段により撮影された動画像データを記憶する記憶手段と、
   上記動画像データを解析して、予め定められた再生基準を満たすか否かを判定する複数の判定項目について上記動画像データのフレーム又はフィールド毎の輝度分布、輝度微分値分布、及び動きベクトル分布の少なくとも１つに基づきフレーム又はフィールド単位で個別にその評価値を算出する画像解析手段と、
   上記画像解析手段によって算出された上記判定項目毎の上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム数又はフィールド数に基づき、上記動画像データから、上記再生基準を満たさないと判定された撮影失敗候補区間を上記判定項目毎に検出するとともに、上記判定項目毎の上記撮影失敗候補区間が少なくとも１つ検出された区間をカット推奨区間として検出する候補区間検出手段と、
   上記動画像の時間軸上に、上記判定項目毎の上記評価値を上記フレーム単位でグラフ表示するとともに、当該時間軸上に、上記判定項目毎の上記撮影失敗候補区間と、上記カット推奨区間とを上記動画像データと共に表示する表示手段と、
   上記動画像データを削除又は修正するための操作手段と、
   上記操作手段により削除又は修正された動画像データの上記評価値に基づき、撮影失敗候補区間を検出するための上記再生基準を再設定する学習手段と
   を有する動画像編集装置。
2. 上記候補区間検出手段は、上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム又はフィールドが所定区間以上連続する区間を上記撮影失敗候補区間として検出する請求項１記載の動画像編集装置。
3. 上記候補区間検出手段は、上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム又はフィールドが出現する間隔が所定の間隔未満である区間が複数連続して所定の区間以上となった場合、当該区間を上記撮影失敗候補区間として検出する請求項１記載の動画像編集装置。
4. 撮影手段により撮影された動画像データを記憶する記憶工程と、
   上記動画像データを解析して、予め定められた再生基準を満たすか否かを判定する複数の判定項目について上記動画像データのフレーム又はフィールド毎の輝度分布、輝度微分値分布、及び動きベクトル分布の少なくとも１つに基づきフレーム又はフィールド単位で個別にその評価値を算出する画像解析工程と、
   上記画像解析工程にて算出された上記判定項目毎の上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム数又はフィールド数に基づき、上記動画像データから、上記再生基準を満たさないと判定された撮影失敗候補区間を上記判定項目毎に検出するとともに、上記判定項目毎の上記撮影失敗候補区間が少なくとも１つ検出された区間をカット推奨区間として検出する候補区間検出工程と、
   上記動画像の時間軸上に、上記判定項目毎の上記評価値を上記フレーム単位でグラフ表示するとともに、当該時間軸上に、上記判定項目毎の上記撮影失敗候補区間と、上記カット推奨区間とを上記動画像データと共に表示する表示工程と、
   上記動画像データを削除又は修正するための操作工程と、
   上記操作工程にて削除又は修正された動画像データの上記評価値に基づき、撮影失敗候補区間を検出するための上記再生基準を再設定する学習工程と
   を有する動画像編集方法。
5. 上記候補区間検出工程では、上記評価値が上記再生基準を満たすとされる所定の閾値未満である上記フレーム又はフィールドが所定区間以上連続する区間を上記撮影失敗候補区間として検出する請求項４記載の動画像編集方法。
6. 上記候補区間検出工程では、上記評価値が上記再生基準を満たすとされる所定の閾値未満である撮影失敗フレーム又はフィールドが出現する間隔が所定の間隔未満である区間が複数連続して所定の区間以上となった場合、当該区間を上記撮影失敗候補区間として検出する請求項４記載の動画像編集方法。

Images