JP3648199B2 - カット検出装置およびそのプログラム - Google Patents
カット検出装置およびそのプログラム Download PDFInfo
- Publication number
- JP3648199B2 JP3648199B2 JP2001398233A JP2001398233A JP3648199B2 JP 3648199 B2 JP3648199 B2 JP 3648199B2 JP 2001398233 A JP2001398233 A JP 2001398233A JP 2001398233 A JP2001398233 A JP 2001398233A JP 3648199 B2 JP3648199 B2 JP 3648199B2
- Authority
- JP
- Japan
- Prior art keywords
- cut
- feature
- absolute value
- video data
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置およびそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、コンピュータで再生可能な映像データにおいて、映像の内容把握を容易にするためには、例えば本の目次のように何らかの形で映像データに対して構造化の処理を行う必要がある。その処理の基本となるのが、映像データを一台のカメラで連続的に撮影された映像区間として定義されるショットに切り分けるカット検出である。
このカット検出方法として、カットが存在する映像データのフレーム間では、カットが存在しない場合に比べて、画像の類似度が小さく、動きベクトル量が大きいなどの特徴に注目してカット検出を行っている。具体的には、フレーム間の輝度差や色差、動き補償情報とその予測誤差などや、それらのデータを基に算出した「色のヒストグラム」や「動きベクトルの長さ」などを、カット検出のための特徴量を抽出し、閾値判定することによってカット検出を行っていた。
【０００３】
【発明が解決しようとする課題】
上述したように、従来のカット検出で用いられてきたフレーム間の輝度差や色差といった特徴量は、カットであるフレーム間や、動きの激しいシーンでのフレーム間で高い値となる。そのため、この特徴量を閾値判定してカット検出を行うと、動きの激しいシーンをカットとして誤検出する問題があった。
【０００４】
この発明は、上述した事情を考慮してなされたもので、映像データのカット検出において、動きの激しいシーンの誤検出を減少させることができるカット検出装置およびそのプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明によるカット検出装置においては、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置であって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するベクトル算出手段と、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された動きベクトルと対応する区画の数を累計して方向別区画数を算出する分類区画数累計手段と、フレーム間の方向別区画数と、該フレーム間に対して前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する絶対値差分量算出手段と、算出した絶対値差分量を基に、前記映像データよりカット部分を検出するカット部分検出手段とを具備することを特徴とする。
【０００６】
上述した、ベクトル算出手段は、フレームの一部または全部を、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２などの規格にて定められる動きベクトル算出のための、所定数で、所定の大きさの区画に分割し、各区画においてフレーム間の動きベクトルを算出する。分類区画数累計手段は、フレーム間において算出した区画毎の動きベクトルを、８〜数十の方向に分類して、各方向に分類された区画の数を累計して方向別区画数（例えば方向別のヒストグラムが好適である）を算出する。
【０００７】
また、絶対値差分量算出手段は、フレーム間の方向別区画数と、該フレーム間の一つまたは複数フレーム間前（または後）のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する。以上により、映像データのフレーム間より抽出した動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を考慮したカット検出を行うことができる。この特徴を入れることで、映像データより「動きの激しいシーン」を「カット部分」と誤検出する確率を低減したカット検出を行うことができる。その理由は後述する。ここで、「動きの激しいシーン」とは、物体が高速で移動しているシーンや、カメラが高速でパンしているシーンなどである。
【０００８】
また、本発明によるカット検出装置においては、上記ベクトル算出手段と、上記分類区画数累計手段と、上記絶対値差分量算出手段とを備え、映像データより上記絶対値差分量を含む複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段を更に具備し、上記カット部分検出手段は、特徴情報に含まれる特徴量を識別関数へ代入計算する識別関数計算手段と、識別関数計算手段の計算結果を基に、カット部分であるかどうかを識別するカット部分識別手段とを具備することを特徴とする。
【０００９】
これにより、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を特徴量として映像データより抽出し、該特徴量を変数とする識別関数を用いてカット部分であるか非カット部分であるかの識別を行うことができる。また、映像データより抽出した複数の特徴項目に任意の重み付けを付与して処理できるので、各特徴項目の重み付けに応じて、全ての特徴項目を考慮したカット検出を行うことができる。
【００１０】
また、本発明によるカット検出装置においては、カット部分が既知である映像データから、絶対値差分量を含む複数の特徴項目についての特徴量を抽出し、特徴量とカット部分および非カット部分のどちらから抽出したか識別する情報とを含めて特徴情報とする特徴情報抽出手段と、特徴情報を基に識別関数の係数を求め、識別関数を生成する識別関数生成手段とを更に具備することを特徴とする。
【００１１】
これにより、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を少なくとも含む特徴項目を用いて、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に識別関数を生成できる。
【００１２】
また、本発明によるカット検出装置においては、上記識別関数生成手段の生成した識別関数の係数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、上記係数検定手段が、有意でないと検定した係数がある場合に、上記識別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、識別関数の係数を求め、識別関数を生成することを特徴とする。
【００１３】
これにより、生成した識別関数の係数が、有意なものであるか統計的に判別を行う所定の計算式を用いて計算することで、係数の有意について検定することができる。また、種々の特徴項目よりカット検出に有効でない特徴項目を削除して、有効な特徴項目のみに絞り込んだ識別関数を生成することができる。更には、映像データの内容に合わせて、より精度よくカット検出を行うように、映像データの内容別に、特徴項目の違う識別関数を生成することができる。
【００１４】
また、本発明によるカット検出装置においては、上記識別関数として判別関数を用いることを特徴とする。
これにより、識別に貢献する特徴量のみを用いた判別関数でカット部分の検出しを行うことができる。
【００１５】
また、本発明によるプログラムは、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出方法のプログラムであって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するステップと、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された区画の数を累計して方向別区画数を算出するステップと、フレーム間の方向別区画数と、該フレーム間の前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出するステップと、算出した絶対値差分量を基に、映像データよりカット部分を検出するステップとをコンピュータへ実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明する。ただし、以下の実施の形態は特許請求の範囲に記載された発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必要であるとは限らない。
まず、本発明の第一の実施形態として、識別関数として判別関数を用いたカット検出装置の概略構成について図を用いて説明する。
【００１７】
図１は、本発明の第一の実施形態による識別関数として判別関数を用いたカット検出装置の概略構成を示すブロック図である。この図において符号１０は、識別関数として判別関数を用いて、映像データよりカット部分を検出するカット検出装置である。１１は、カット検出装置１０内のデータの制御を行う制御部である。１２は、カット検出処理用の映像データを格納する映像データベース１２ａと、判別関数の学習処理を行う為のカット部分が既知の映像データである学習情報を格納する学習情報データベース１２ｂである。１３は、カット検出を行う為の種々の処理プログラムを具備する処理プログラム部である。
【００１８】
尚、カット検出装置１０は、カット検出の対象となる映像データを取得する場合に、上述したように映像データベース１２ａより読み出す方法に限らない。即ち、映像データベース１２ａは、必ずしもカット検出装置１０が具備する必要はない。他の方法としては、カット検出装置１０は、処理する映像データを、通信ネットワーク経由で取得したり、ＣＤ−ＲＯＭ等の記録媒体より読み取ったりして好適である。
【００１９】
次に、学習情報データベース１２ｂの構築例について図を用いて説明する。図６は、本発明の第一の実施形態における学習情報データベース１２ｂの構成例を示す図である。図に示すように、カット部分が既知である映像データに関連付けて種々の情報を格納する。“映像データ”は、判別関数の学習用の映像データである。“フレーム間情報”は、各フレーム間において、カット部分であるかを示す“カット情報”や、該フレーム間より抽出した“特徴項目”毎の“特徴量”を含む“特徴情報”など、フレーム間に関する情報を格納する。“係数情報”は、各“映像データ”の“フレーム間情報”を基に求めた判別関数の係数に関する係数情報を格納する。
【００２０】
次に、処理プログラム部１３について構成を説明する。処理プログラム部１３には、学習情報データベース１２ｂに格納されるカット部分、非カット部分が既知の“映像データ”を基に、判別関数の係数を生成する為の学習処理を行う学習処理部１４と、映像データベース１２ａに格納されるカット部分、非カット部分が未知の映像データを基に、カット部分を検出する検出処理部１５から成る。
尚、本実施形態の判別関数とは、判別分析に用いられる関数であって、一つもしくは複数の観測値（本実施形態では特徴量）を変数とする線形式である線形判別関数である。また、上述した判別分析の方法の限りではなく、他の判別分析の方法を用いてもよい。
【００２１】
上記判別関数について一例を示して更に説明する。対象となるサンプル（映像データにおけるフレーム間）のサンプル数をｉとし、サンプルについてのｐ種類の特徴項目について特徴量ｘi1〜ｘipとした場合、図７に示すように、フレーム５１の時間変化における、フレーム間の特徴量ｘi1〜ｘipが抽出される。この時、判別関数の定数項をａ0とし、各特徴量に対する係数をａ1〜ａpとすると、サンプルｉにおける判別関数値ｆiは、以下の判別関数（式１）で表される
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋…＋ａpｘip …（式１）
【００２２】
この（式１）に抽出したサンプルｉの特徴量ｘi1〜ｘipを代入することでｆiの値を求め、その値を基に映像データのｉ番目のフレーム間がカット部分であるか非カット部分であるかを判別する。
また、係数ａ1〜ａpの有意性を検定する方法は、まず、判別分析によって得られた結果から所定の計算式によりｐ個の特徴量からｊ番目の特徴量を除いた場合に、マハラノビスの汎距離がどのように変化するかを表す尺度であり、係数の貢献度の判定に用いる値“Ｆp,j”を以下の（式２）により求める。
【数１】
以上の（式２）において、
ｐ：特徴量の個数
ｎ1:カット部分のサンプル数
ｎ2：非カット部分のサンプル数
Ｄ2 (p)：ｐ個の特徴量を使用した場合のマハラノビスの汎距離
Ｄ2 (p-1)：ｐ個の特徴量から特徴量ｊを除いた場合のマハラノビスの汎距離
である。
次に、検定統計量がＦ分布に従っているとして所定の有意水準（％）のＦ分布値を求める。次に、貢献度の判定値“Ｆp,j”とＦ分布値の大小を比較して、ｊ番目の特徴量がカット部分の識別にどの程度、貢献しているかを求める。
【００２３】
ここで、本実施形態においては、映像データのフレーム間より、“動き方向ヒストグラムの絶対値差分和（絶対値差分量）”を含む、以下に示す４つの特徴項目について特徴量ｘi1〜ｘi4を抽出する。
・輝度の絶対値差分の平均値（ｘi1）
・輝度ヒストグラムの絶対値差分値（ｘi2）
・画面全体の平均動きベクトル長（ｘi3）
・動き方向ヒストグラムの絶対値差分和（ｘi4）
以上の場合に、（式１）に示した判別関数値ｆiは
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋ａ3ｘi3＋ａ4ｘi4 … （式３）
となる。以下（式３）を用いてカット検出装置１０の説明を行う。
【００２４】
尚、“輝度の絶対値差分の平均値”とは、隣接フレーム間で同じ位置にあるブロック（フレームを所定数の区画に分割した際の１区画）の輝度の絶対値差分を求めて平均した値である。“輝度ヒストグラムの絶対値差分値”とは、隣接フレームでそれぞれの輝度ヒストグラムを求め、各段階（例えば１６段階に分ける）毎に絶対値差分を求め合計した値である。
【００２５】
“画面全体の平均動きベクトル長”とは、隣接するフレーム間で、動きベクトルの長さを本数で平均した値である。ここで、動きベクトルを算出する方法の一例を以下に示す。まず、フレーム内の１６ｐｉｘｅｌ×１６ｐｉｘｅｌの各ブロックに対して、該フレームに隣接するフレームの同位置に同様のブロックおよび該ブロックの周囲にある３２ｐｉｘｅｌ×３２ｐｉｘｅｌのブロックに対して、近似的な画像を含むブロックを探索するためブロック間のＲＧＢ値の絶対値誤差を求めるブロックマッチングを行う。次に、求めた絶対値誤差が最小となるブロックを動きベクトルの到達ブロックとすることで、動きベクトルを算出する。
【００２６】
“動き方向ヒストグラムの絶対値差分和”とは、隣接するフレーム間で求めた動きベクトルを８方向に分類して３２段階のヒストグラムを作成し、一つ前のフレーム間のヒストグラムと各段階において絶対値差分を求め合計した値である。尚、ヒストグラムの各段階で絶対値差分を求めるのは、上述した一つ前のフレーム間に限らず、任意の数だけ前または後のフレーム間のヒストグラムと格段階で絶対値差分を求め合計して好適である。尚、動きベクトルを分類する方向や、ヒストグラムの段階の数は、上述した限りではなく、計算精度と計算量のバランスを考慮して任意の数を用いればよい。
【００２７】
また、本発明は上記の４つの特徴項目に限定されず、種々のカット検出する為の特徴項目の特徴量を用いて好適である。例えば、以下に示す特徴項目がある。・“ブロックＲＧＢ値の絶対値差分の合計の平均値”は、隣接したフレーム間で、同位置にある１６ｐｉｘｅｌ×１６ｐｉｘｅｌのブロックを単位として、Ｒ、Ｇ、Ｂそれぞれの値について平均値の絶対値誤差を求めて合計し、その結果をフレーム全体で平均した値である。
・“ブロックＲＧＢ値の絶対値差分の合計の分散値”は、上記ブロック単位にＲ、Ｇ、Ｂそれぞれの平均値の絶対値差分について、フレーム全体における分散を求めた値である。
【００２８】
・“ブロック色ヒストグラムの絶対値差分和”は、フレーム内で１６ｐｉｘｅｌ×１６ｐｉｘｅｌのブロックを単位としたＲ、Ｇ、Ｂそれぞれの平均値の絶対値差分について、色ごとに６４段階のヒストグラムを作成し、隣接フレーム間でヒストグラムの各段階における絶対値差分を求め、３色全てについて合計した値である。
・“動きベクトルの長さの分散”は、隣接したフレーム間で求められた動きベクトルの長さについて、フレーム全体における分散を求めた値である。
【００２９】
以上、判別関数に関して、関数の具体例と、判別関数の変数となる特徴量として、種々の特徴項目の具体例を示して説明した。しかし、特徴項目の内容、数、組み合わせは上述した限りでなく、映像データよりカット検出するための特徴項目を種々の組み合わせで用いて好適である。また、特徴項目の効果的な組み合わせについては後述する。
【００３０】
次に、学習処理部１４について説明する。特徴情報抽出処理部１６は、上記４つの特徴項目について、学習情報データベース１２ｂより読み出したカット部分、非カット部分が既知の“映像データ”より特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を抽出する。判別関数生成処理部１７は、情報抽出処理部１６が抽出したカット部分、非カット部分における特徴量を基に、係数（ａ1〜ａ4）を求めて判別関数（式３）を生成する。
【００３１】
係数検定処理部１８は、判別関数生成処理部１７が、生成した判別関数の係数の各々について、カット検出の判別に有意なものであるか検定する。具体的には、係数検定処理部１８は、判別分析によって得られた結果から所定の計算式によりｊ番目の特徴量の判別への貢献度の判定値“Ｆp,j”を求める。次に、係数検定処理部１８は、検定統計量がＦ分布に従っているとして所定の有意水準（％）のＦ分布値を求める。次に、係数検定処理部１８は、貢献度の判定値“Ｆp,j”とＦ分布値の大小を比較することで該特徴量の有意性を検定する。
【００３２】
ここで、特徴量がカット部分の識別に貢献していない（有意性が無い）と検定した場合、新たにｊ番目の特徴量を除いたｐ−１個の特徴量による判別関数（式３）を求め、上述したように係数を求めて、該係数を用いた特徴量の検定を行う。このように、係数の学習と貢献度の検定を繰り返すことで、特徴量の選択を行うことができる。また、どの特徴量が有効であるかを調べることができる。以上に示したように、学習処理部１４は、カット部分、非カット部分が既知の映像データを基に、より正確なカット検出を行う判別関数を生成する為の学習処理を行う。
【００３３】
次に、検出処理部１５について、以下に説明する。情報抽出処理部１９は、映像データベース１２ａより参照する映像データより、判別関数生成処理部１７が生成した判別関数（式３）に代入する特徴量（ｘi1、ｘi2、ｘi3、ｘi4）についての特徴情報を抽出する。判別関数計算処理部２０は、特徴情報に含まれる特徴量を判別関数（式３）へ代入し計算する。カット部分識別処理部２１は、判別関数計算処理部２０の計算結果を基に、カット部分であるか非カット部分であるかを識別する。以上により、検出処理部１５は、判別関数（式３）を用いて映像データベース１２ａより参照する映像データの各フレーム間に対してカット部分、非カット部分を識別してカット検出を行う。
【００３４】
次に、上述した４つの特徴項目の特徴量を抽出する情報抽出処理部１９の内部の概略構成について図を用いて説明する。
図２は、本発明の第一の実施形態における情報抽出処理部１９の内部の概略構成を示すブロック図である。図に示すように、１９ａは、映像データのフレームを所定数のブロック（区画）に分割し、各ブロックにおいてフレーム間の動きベクトルを算出するベクトル算出処理部である。１９ｂは、フレーム間において算出したブロック毎の動きベクトルを、８方向に分類して、各方向に分類されたブロックの数を累計した、方向別のブロック数のヒストグラムである“動き方向ヒストグラム”（方向別区画数）を算出する分類区画数累計処理部である。
【００３５】
１９ｃは、フレーム間の“動き方向ヒストグラム”と、該フレーム間に対して一つ前のフレーム間の“動き方向ヒストグラム”との方向別の差分を求め、該差分の絶対値の和である絶対値差分和を算出する絶対値差分量算出処理部である。以上のベクトル算出処理部１９ａおよび分類区画数累計処理部１９ｂおよび絶対値差分量算出処理部１９ｃの処理により、情報抽出部１９は、特徴項目“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を映像データより抽出する。
【００３６】
ここで、上述した“動き方向ヒストグラムの絶対値差分和”の特徴量を判別関数の変数とすることが、映像データにおける「カット部分」と「動きの激しいシーン」とを精度よく判別するのに有効であることを以下に説明する。
図８は本発明の第一の実施形態における“動き方向ヒストグラムの絶対値差分和”の有効性を示す図である。図において、飛行機は右方向へ飛行しており、上の３フレームは「カット部分」のある３フレームであり、下の３フレームは「動きの激しいシーン」の３フレームである。
【００３７】
符号８１は、カット検出の対象の映像データにおいてｎ番目（ｎは任意の自然数）のフレームであるｎフレームである。同様に、８２、８３は、ｎ＋１フレーム、ｎ＋２フレームである。８４は、ｎフレーム８１とｎ＋１フレーム８２より、抽出した各ブロックの動きベクトルを、方向別にしてブロック数を累計したヒストグラムである。同様に、８５は、ｎ＋１フレーム８２とｎ＋２フレーム８３より、抽出した各ブロックの動きベクトルを、方向別にしてブロック数を累計したヒストグラムである。８６は、ヒストグラム８４とヒストグラム８５の絶対値差分を方向別に求めたヒストグラムである。
【００３８】
ここで、ｎ＋１フレーム８２とｎ＋２フレーム８３は、全く異なる映像であり、このフレーム間はカット部分である。この時、図に示すように、ヒストグラム８５は、全方向に不規則な動きベクトルが生じたことを表すものとなる。そのため、ヒストグラム８６は、図に示すようなヒストグラムとなる。すなわち、ヒストグラム８６の全方向の合計（絶対値差分和）が大きな値となる。
【００３９】
同様に、９１、９２、９３は、ｍ、ｍ＋１、ｍ＋２番目（ｍは任意の自然数）のフレームである。９４は、ｍフレーム９１とｍ＋１フレーム９２より抽出した各ブロックの動きベクトルを基に算出したヒストグラムである。９５は、ｍ＋１フレーム９２とｍ＋２フレーム９３より抽出した各ブロックの動きベクトルを基に算出したヒストグラムである。９６は、ヒストグラム９４とヒストグラム９５の絶対値差分を方向別に求めたヒストグラムである。
【００４０】
ここで、ｍ＋１フレーム９２とｍ＋２フレーム９３は、連続する映像であり、このフレーム間は非カット部分である。この時、図に示すように、ヒストグラム９４とヒストグラム９５は、右方向に大きな動きベクトルが生じたことを表すものとなる。そのため、ヒストグラム９６は、図に示すようなヒストグラムとなる。すなわち、ヒストグラム９６の全方向の合計（絶対値差分和）が小さな値となる。
【００４１】
以上に示したように、“動き方向ヒストグラムの絶対値差分和”は、映像データにおける「カット部分」の場合は大きな値になり、「動きの激しいシーン」の場合は小さな値となる。これにより、“動き方向ヒストグラムの絶対値差分和”の特徴量を判別関数の変数とすることで、映像データにおける「カット部分」と「動きの激しいシーン」とを精度よく判別することができる。
【００４２】
１９ｄは、特徴項目“輝度の絶対値差分の平均値”の特徴量ｘi1を映像データより抽出する輝度絶対値差分算出処理部である。１９ｅは、特徴項目“輝度ヒストグラムの絶対値差分値”の特徴量ｘi2を映像データより抽出する輝度ヒストグラム差分算出処理部である。１９ｆは、特徴項目“画面全体の平均動きベクトル長”の特徴量ｘi3を映像データより抽出する動きベクトル長算出処理部である。以上、情報抽出処理部１９の概略構成を説明したが、この限りではなく、上述した種々の特徴項目の特徴量を抽出する処理部を具備して好適である。また、特徴情報抽出処理部１６においては、同様の特徴量を抽出する処理部を具備してもよく、共用可能であれば情報抽出処理部１９と処理部を共用してもよい。
【００４３】
次に、上述したカット検出装置１０の動作について図を用いて説明する。
まず、学習処理部１４の動作についての説明を以下に示す。図３は、本発明の第一の実施形態におけるカット検出装置１０の学習動作を示すフロー図である。まず、学習情報データベース１２ｂよりカット部分が既知の映像データを読み出し、特徴情報抽出処理部１６は、設定した四つの特徴項目について、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）の抽出を行う（ステップＳ２０）。次に、判別関数生成処理部１７は、該特徴量（ｘi1、ｘi2、ｘi3、ｘi4）とカット部分か非カット部分かの情報を含む特徴情報を基に、係数（ａ1〜ａ4）を求めて判別関数（式３）を生成する（ステップＳ２１）。
【００４４】
次に、係数検定処理部１８は、判別関数生成処理部１７が生成した判別関数の各係数（ａ1〜ａ4）に対応する特徴量のＦ分布値および貢献度“Ｆp,j”を算出し比較することで、カット検出への貢献度（有意な係数であるか）を検定する（ステップＳ２２）。ここで、全ての係数が有意と判断されなかった場合（ステップＳ２２のＮＯ）、最も有意でなかった係数に対応する特徴項目を削除する（ステップＳ２３）。次に、判別関数生成処理部１７が、残りの特徴項目に対応する特徴量を基に係数を求めるステップＳ２１へ戻る。また、全ての係数（ａ1〜ａ4）が有意と判断された場合（ステップＳ２２のＹＥＳ）、学習処理部１４は、該係数を含む判別関数（式３）を、検出処理部１５におけるカット部分の検出処理に用いる判別関数と決定する（ステップＳ２４）。
【００４５】
以上により、学習処理部１４は、“動き方向ヒストグラムの絶対値差分和”の特徴量を変数として含み、カット部分の識別に貢献している特徴量のみを用いた判別関数を生成することができる。尚、係数の有意性の検定は、上記の限りではなく、カット検出の判別に、各々の特徴量が貢献しているかどうかを検定する種々の方法を用いて好適である。また、上記では判別関数の決定の方法として、変数減少法を用いたがこの限りではない。
【００４６】
次に、検出処理部１５の動作について説明する。図４は、本発明の第一の実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。まず、映像データベース１２ａよりカット部分、非カット部分が未知の映像データを読み出し、最初のフレーム間（サンプル１）について情報抽出処理部１９は、学習処理部１４が決定した判別関数（式３）に代入すべき特徴量（ｘ11、ｘ12、ｘ13、ｘ14）を抽出する（ステップＳ３０）。この時、輝度絶対値差分算出処理部１９ｄが、“輝度の絶対値差分の平均値”の特徴量ｘ11を算出する。また、輝度ヒストグラム差分算出処理部１９ｅが、“輝度ヒストグラムの絶対値差分値”の特徴量ｘ12を算出する。また、動きベクトル長算出処理部１９ｆが、“画面全体の平均動きベクトル長”の特徴量ｘ13を算出する。
【００４７】
次に、“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出方法について図を用いて説明する。図５は、本発明の第一の実施形態におけるカット検出装置１０の“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出動作を示すフロー図である。まず、ベクトル算出処理部１９ａが、映像データのフレームを所定数のブロック（区画）に分割し、各ブロックにおいてフレーム間の動きベクトルを算出する（ステップＳ３０ａ）。次に、分類区画数累計処理部１９ｂは、フレーム間において算出したブロック毎の動きベクトルを、８方向に分類して、各方向に分類されたブロックの数を累計した、方向別のブロック数のヒストグラムである“動き方向ヒストグラム”を算出する（ステップＳ３０ｂ）。
【００４８】
次に、絶対値差分量算出処理部１９ｃは、分類区画数累計処理部１９ｂの算出したフレーム間の“動き方向ヒストグラム”と、該フレーム間に対して一つ前のフレーム間の“動き方向ヒストグラム”との方向別の差分を求め、該差分の絶対値の和である絶対値差分和を算出する（ステップＳ３０ｃ）。以上により、情報抽出処理部１９は、“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を映像データより抽出する。
【００４９】
次に、判別関数計算処理部２０は、決定した判別関数（式３）へ抽出した特徴量を代入しｆ1を計算する（ステップＳ３１）。次に、カット部分識別処理部２１は、判別関数計算処理部２０の計算結果ｆ1を基に、カット部分である（ｆ1がプラス値）か、非カット部分である（ｆ1がマイナス値）かを識別する（ステップＳ３２）。次に、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理でない場合（ステップＳ３３のＮＯ）、次のフレーム間（サンプル２）を処理する為、ステップＳ３０へ戻る。
【００５０】
以上の処理をサンプル３、４、…と繰り返すことにより、大量のフレーム数となる映像データのカット検出を行う。また、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理であった場合（ステップＳ３３のＹＥＳ）、カット検出の処理を終了する。以上により、検出処理部１５は、“動き方向ヒストグラムの絶対値差分和”を変数とする判別関数を用いて映像データよりカット検出を行うことができる。
【００５１】
次に、上述した本発明の実施形態に必須の特徴項目である“動き方向ヒストグラムの絶対値差分和”と合わせて判別関数に用いて効果的な特徴項目について説明する。“動き方向ヒストグラムの絶対値差分和”と合わせて判別関数の特徴量として抽出して効果的な特徴項目は“画面全体の平均動きベクトルの長”である。この“画面全体の平均動きベクトルの長”のみを特徴項目として判別関数に用いると、カット部分を見逃すことは少ないが、「動きの激しいシーン」をカット部分として誤検出する場合が多い。そこで、「動きの激しいシーン」の誤検出を防ぐための特徴項目“動き方向ヒストグラムの絶対値差分和”を加えた判別関数を用いることで飛躍的に誤検出を減らすことができる。
【００５２】
ここで、「動きの激しいシーン」の多い映像データの約１５００個のカット部分を検出する実験例を以下に示す。“画面全体の平均動きベクトルの長”のみが特徴項目の判別関数を用いてカット検出を行うと、約３０００個をカット部分として検出した。すなわち、３０００個のうち１５００個は誤検出である。ここで上述した“動き方向ヒストグラムの絶対値差分和”を加えた２つを特徴項目とする判別関数を用いると、約１５５０個程度をカット部分として検出した。つまり、誤検出は５０個程度であり、“動き方向ヒストグラムの絶対値差分和”を加える前に比べて飛躍的に誤検出を減らす効果が得られる。
【００５３】
また、上述した“画面全体の平均動きベクトルの長”、“動き方向ヒストグラムの絶対値差分和”に、“ブロック色ヒストグラムの絶対値差分和”を特徴項目として加えると、更に高精度に判別関数によるカット検出を行うことができる。なぜなら、“画面全体の平均動きベクトルの長”、“動き方向ヒストグラムの絶対値差分和”の特徴項目による判別関数では、薄暗いシーンでのカット部分の見逃してしまう場合があるが、“ブロック色ヒストグラムの絶対値差分和”を特徴項目として加えることで、フレーム全体の色の変化を特徴量として抽出できるため、薄暗いシーンのため動きベクトル検出の精度が悪くなっても、色を比較することでカット部分の見逃しを減らすことができる。
【００５４】
また、効果の具体例として、判別関数の評価項目として、“ブロックＲＧＢ値の絶対値差分の合計の平均値”、“ブロックＲＧＢ値の絶対値差分の合計の分散値”、“ブロック色ヒストグラムの絶対値差分和”、“画面全体の平均動きベクトル長”、“動き方向ヒストグラムの絶対値差分和”、“動きベクトルの長さの分散”を用いて、映像データ（ニュース番組）を処理した結果、適合率＝（検出した正解カット数／検出した全カット数）×１００が８６．７％である。また、上述した特徴項目より“動き方向ヒストグラムの絶対値差分和”を削除した判別関数の場合は適合率が５７．４％であった。すなわち、“動き方向ヒストグラムの絶対値差分和”を変数に含む判別関数を用いることで、カット検出の精度の良さを示す適合率が約２９％向上する成果が得られた。
【００５５】
次に、本発明の第二の実施形態として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）という識別手法の識別関数を用いたカット検出装置の概略構成について図を用いて説明する。
図９は、本発明の第二の実施形態として、ＳＶＭという識別手法の識別関数を用いたカット検出装置の概略構成を示すブロック図である。この図において符号６０は、ＳＶＭという識別手法の識別関数を用いて、映像データよりカット部分を検出するカット検出装置である。尚、カット検出装置６０のデータベース１２は上述した図１に示したデータベース１２と同様の構成であり、説明を省略する。
【００５６】
尚、カット検出装置６０は、カット検出の対象となる映像データを取得する場合に、映像データベース１２ａより読み出す方法に限らない。即ち、映像データベース１２ａは、必ずしもカット検出装置６０が具備する必要はない。他の方法として、カット検出装置６０は、処理する映像データを、通信ネットワーク経由で取得しても、ＣＤ−ＲＯＭ等の記録媒体より読み取っても好適である。６１は、カット検出装置６０内のデータを制御する制御部である。
【００５７】
次に、処理プログラム部６２について構成を説明する。処理プログラム部６２には、学習情報データベース１２ｂに格納されるカット部分、非カット部分が既知の“映像データ”を基に、識別関数を決定する為の学習処理を行う学習処理部６３と、映像データベース１２ａに格納されるカット部分、非カット部分が未知の映像データを基に、カット部分を検出する検出処理部６４から成る。
尚、本実施形態の識別関数とは、非線形ＳＶＭという識別手法に用いられる関数である。また、本発明の識別関数は、上述した識別関数に限定されるものではなく、多変量解析やパターン認識に用いる種々の識別関数を用いて好適である。
【００５８】
上記非線形ＳＶＭという識別手法に用いられる識別関数について一例を示して更に説明する。対象となるサンプルより抽出した特徴量（ｘi1、ｘi2、ｘi3、ｘi4）から、特徴ベクトルｘi（以下、Ｘiとする）が求まる。この時に、Ｘiを変数とする識別関数ｆ（Ｘi）は、以下の（式４）で表される
【数２】
以上の（式４）において、
φ：非線形関数
重みベクトルｗ＝（ｗ1、ｗ2、ｗ3、…ｗd）：重みベクトル（ｄは次元数）
ｊ：サポートベクトルの数（１〜ｎ）
サポートベクトルｘj＝（ｘ1j、ｘ2j、ｘ3j、…ｘdj） ：サポートベクトルｙj：サポートベクトルｘjがカット部分の時＝１、非カット部分の時＝−１
λj：正の乗数
Ｋ：カーネル関数
ｂ*：識別関数の定数項
【００５９】
この（式４）にｉ番目のフレーム間から抽出したＸi（特徴ベクトルｘi）を入力することで識別関数ｆ（Ｘi）の値を求める。
ｆ（Ｘi）≧１なら、映像データのｉ番目のフレーム間はカット部分である。ｆ（Ｘi）≦−１なら、映像データのｉ番目のフレーム間は非カット部分である。
以上のように、（式４）に示した識別関数ｆ（Ｘi）を用いてカット部分を識別する。また、（式４）の識別関数に入力する特徴量は上述した限りではなく、（式１）において説明した種々の特徴項目を用いてよい。また、特徴項目の内容、数、組み合わせも、精度よく映像データよりカット検出するために適時変更して好適である。
【００６０】
次に、学習処理部６３について説明する。特徴情報抽出処理部６５は、上述した特徴情報抽出処理部１６と同様に４つの特徴項目について、学習情報データベース１２ｂより読み出したカット部分、非カット部分が既知の“映像データ”より特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報抽出する。尚、特徴情報抽出処理部６５は、上述したベクトル算出処理部１９ａ、分類区画数累計処理部１９ｂ、絶対値差分量算出処理部１９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグラム差分算出処理部１９ｅ、動きベクトル長算出処理部１９ｆを具備する。次に、特徴情報抽出処理部６５は、抽出したカット部分、非カット部分における特徴情報を基に、特徴ベクトルであるＸiを算出する。
【００６１】
また、識別関数決定処理部６６は、情報抽出処理部６５が算出したＸiの中より識別関数すなわち識別境界を決めるサポートベクトルｘj（以下、Ｘjとする）を抽出し、λj、ｂ*の値を決定する。以上により、識別関数決定処理部６６は、（式４）に示す識別関数を決定する。
【００６２】
次に、検出処理部６４について、以下に説明する。情報抽出処理部６７は、上述した情報抽出処理部１９の動作と同様に映像データベース１２ａより参照する映像データより、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報を抽出する。すなわち、情報抽出処理部６７は、上述したベクトル算出処理部１９ａ、分類区画数累計処理部１９ｂ、絶対値差分量算出処理部１９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグラム差分算出処理部１９ｅ、動きベクトル長算出処理部１９ｆを具備する。次に、情報抽出処理部６７は、抽出した特徴情報を基に識別関数決定処理部６６が生成した識別関数（式４）に代入する特徴ベクトルＸiを算出する。
【００６３】
識別関数計算処理部６８は、情報抽出処理部６７が算出した特徴ベクトルＸiを識別関数（式４）へ代入し計算する。カット部分識別処理部６９は、識別関数計算処理部６８の計算結果を基に、カット部分であるか非カット部分であるかを識別する。以上により、検出処理部６４は、識別関数（式４）を用いて映像データベース１２ａより参照する映像データの各フレーム間に対してカット部分、非カット部分を識別してカット検出を行う。
【００６４】
尚、図１および図９に示した各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現する為のプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【００６５】
次に、上述したカット検出装置６０の動作について図を用いて説明する。
まず、学習処理部６３の動作についての説明を以下に示す。図１０は、本発明の第二の実施形態におけるカット検出装置６０の学習動作を示すフロー図である。まず、学習情報データベース１２ｂよりカット部分が既知の映像データを読み出し、特徴情報抽出処理部６５は、設定した四つの特徴項目について、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報の抽出を行う（ステップＳ６０）。特徴情報抽出処理部６５は、抽出した特徴情報を基に、特徴ベクトルＸiを算出する（ステップＳ６１）。次に、識別関数決定処理部６６は、情報抽出処理部６５が算出したＸiの中よりサポートベクトルＸjを抽出し（式４）のλj、ｂ*の値を決定することで、識別関数（式４）を生成する。（ステップＳ６２）。
【００６６】
以上により、学習処理部６３は、“動き方向ヒストグラムの絶対値差分和”の特徴量を変数として含む特徴量を用いた、カット部分を識別するための識別関数を、学習処理により生成することができる。
【００６７】
次に、検出処理部６４の動作について説明する。図１１は、本発明の第二の実施形態におけるカット検出装置６０のカット検出動作を示すフロー図である。まず、映像データベース１２ａよりカット部分、非カット部分が未知の映像データを読み出し、最初のフレーム間（サンプル１）について情報抽出処理部６７は、特徴量（ｘ11、ｘ12、ｘ13、ｘ14）を含む特徴情報の抽出を行う（ステップＳ７０）。この時、輝度絶対値差分算出処理部１９ｄが、“輝度の絶対値差分の平均値”の特徴量ｘ11を算出する。また、輝度ヒストグラム差分算出処理部１９ｅが、“輝度ヒストグラムの絶対値差分値”の特徴量ｘ12を算出する。また、動きベクトル長算出処理部１９ｆが、“画面全体の平均動きベクトル長”の特徴量ｘ13を算出する。また、ベクトル算出処理部１９ａおよび分類区画数累計処理部１９ｂおよび絶対値差分量算出処理部１９ｃが“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を算出する。
【００６８】
次に、情報抽出処理部６７は、学習処理部６３が生成した識別関数（式４）に代入するために、抽出した特徴情報を基にサンプル１の特徴ベクトルであるＸ1を算出する（ステップＳ７１）。次に、識別関数計算処理部６８は、情報抽出処理部６７が算出した特徴ベクトルＸ1を識別関数（式４）へ代入しｆ（Ｘ1）を計算する（ステップＳ７２）。次に、カット部分識別処理部６９は、識別関数計算処理部６８の計算結果ｆ（Ｘ1）を基に、サンプル１がカット部分（ｆ（Ｘi）≧１）であるか、非カット部分（ｆ（Ｘi）≦−１）であるかを識別する（ステップＳ７３）。次に、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理でない場合（ステップＳ７４のＮＯ）、次のフレーム間（サンプル２）を処理する為、ステップＳ７０へ戻る。
【００６９】
以上の処理をサンプル３、４、…と繰り返すことにより、大量のフレーム数となる映像データのカット検出を行う。また、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理であった場合（ステップＳ７４のＹＥＳ）、カット検出の処理を終了する。以上により、検出処理部６４は、“動き方向ヒストグラムの絶対値差分和”を特徴量として含む特徴ベクトルＸiを変数とする識別関数（式４）を用いて映像データよりカット検出を行うことができる。
【００７０】
尚、判別関数生成処理部１７または識別関数決定処理部６６は、映像データの内容（以下、カテゴリとする）別（各種のスポーツ中継、ニュース、ドラマなど）に判別関数または識別関数を生成して好適である。これにより、カテゴリ別の映像データに特徴的なシーンをカット部分または非カット部分として検出するのに有効な特徴項目を変数とする判別関数または識別関数を生成できる。また、検出処理部１５または検出処理部６４においては、まず、映像データのカテゴリを判別し、該カテゴリ用の判別関数または識別関数を用いて該映像データのカット検出を行う。これにより、より精度のよいカット検出を行うことができる。
【００７１】
また、図１および図９において各種処理を行う処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」とは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７４】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７５】
【発明の効果】
以上、説明したように、本発明によるカット検出装置においては、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置であって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するベクトル算出手段と、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された動きベクトルと対応する区画の数を累計して方向別区画数を算出する分類区画数累計手段と、フレーム間の方向別区画数と、該フレーム間に対して前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する絶対値差分量算出手段と、算出した絶対値差分量を基に、映像データよりカット部分を検出するカット部分検出手段とを具備するので、映像データのフレーム間より抽出した動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を考慮したカット検出を行うことができる。
【００７６】
これにより、映像データより「動きの激しいシーン」を「カット部分」と誤検出する確率を低減したカット検出を行うことができる。また、映像データよりカット部分を自動で検出できることは、表示手段によりカット部分の画像の一覧を表示できるので、映像データに含まれている多数のシーンの全体像を簡便に把握することができる。さらには、ネットワーク上で映像データを配信する際に、該映像データの内容を、シーン単位で検索し、シーン単位で配信するシステムを簡便に構築することも可能となる。
【００７７】
また、本発明によるカット検出装置においては、上記ベクトル算出手段と、上記分類区画数累計手段と、上記絶対値差分量算出手段とを備え、映像データより上記絶対値差分量を含む複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段を更に具備し、上記カット部分検出手段は、特徴情報に含まれる特徴量を識別関数へ代入計算する識別関数計算手段と、識別関数計算手段の計算結果を基に、カット部分であるかどうかを識別するカット部分識別手段とを具備するので、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を特徴量として映像データより抽出し、該特徴量を変数とする識別関数を用いてカット部分であるか非カット部分であるかの識別を行うことができる。
【００７８】
これにより、映像データより抽出した複数の特徴項目に任意の重み付けを付与して処理できるので、各特徴項目の重み付けに応じて、全ての特徴項目を考慮したカット検出を行うことができる。
【００７９】
また、本発明によるカット検出装置においては、カット部分が既知である映像データから、絶対値差分量を含む複数の特徴項目についての特徴量を抽出し、特徴量とカット部分および非カット部分のどちらから抽出したか識別する情報とを含めて特徴情報とする特徴情報抽出手段と、特徴情報を基に識別関数の係数を求め、識別関数を生成する識別関数生成手段とを更に具備するので、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を少なくとも含む特徴項目を用いて、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に識別関数を生成できる。
【００８０】
これにより、識別に貢献している特徴量を変数とする識別関数を生成することができる。以上により、簡便に精度のよいカット検出を行うことができる。
【００８１】
また、本発明によるカット検出装置においては、識別関数生成手段の生成した識別関数の係数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、上記係数検定手段が、有意でないと検定した係数がある場合、識別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、識別関数の係数を求め、識別関数を生成するので、生成した識別関数の係数が、有意なものであるか統計的に判別を行う所定の計算式を用いて計算することで、係数の有意について検定することができる。また、種々の特徴項目よりカット検出に有効でない特徴項目を削除して、有効な特徴項目のみに絞り込んだ識別関数を生成することができる。
これにより、映像データの内容に合わせて、より精度よくカット検出を行うように、映像データの内容別に、特徴項目の違う識別関数を生成することができる。
【００８２】
また、本発明によるカット検出装置においては、上記識別関数として判別関数を用いるので、識別に貢献する特徴量のみを用いた判別関数でカット部分の検出しを行うことができる。
これにより、簡便に高精度な判別が期待できる判別器である線形判別分析を用いて、カット部分および非カット部分の検出を行うことができる。
【図面の簡単な説明】
【図１】 本発明の第一の実施形態による識別関数として判別関数を用いたカット検出装置の概略構成を示すブロック図である。
【図２】 本発明の第一の実施形態における情報抽出処理部１９の内部の概略構成を示すブロック図である。
【図３】 本発明の第一の実施形態におけるカット検出装置１０の学習動作を示すフロー図である。
【図４】 本発明の第一の実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。
【図５】 本発明の第一の実施形態におけるカット検出装置１０の“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出動作を示すフロー図である。
【図６】 本発明の第一の実施形態における学習情報データベース１２ｂの構成例を示す図である。
【図７】 本発明の第一の実施形態によるカット検出装置１０が映像データより抽出する特徴量を示す図である。
【図８】 本発明の第一の実施形態における“動き方向ヒストグラムの絶対値差分和”の有効性を示す図である。
【図９】 本発明の第二の実施形態によるＳＶＭという識別手法の識別関数を用いたカット検出装置の概略構成を示すブロック図である。
【図１０】 本発明の第二の実施形態におけるカット検出装置６０の学習動作を示すフロー図である。
【図１１】 本発明の第二の実施形態におけるカット検出装置６０のカット検出動作を示すフロー図である。
【符号の説明】
１０、６０ カット検出装置
１１、６１ 制御部
１２ データベース
１２ａ 映像データベース
１２ｂ 学習情報データベース
１３、６２ 処理プログラム部
１４、６３ 学習処理部
１５、６４ 検出処理部
１６、６５ 特徴情報抽出処理部
１７ 判別関数生成処理部
１８ 係数検定処理部
１９、６７ 情報抽出処理部
１９ａ ベクトル算出処理部
１９ｂ 分類区画数累計処理部
１９ｃ 絶対値差分量算出処理部
１９ｄ 輝度絶対値差分算出処理部
１９ｅ 輝度ヒストグラム差分算出処理部
１９ｆ 動きベクトル長算出処理部
２０ 判別関数計算処理部
２１、６９ カット部分識別処理部
６６ 識別関数決定処理部
６８ 識別関数計算処理部
【発明の属する技術分野】
この発明は、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置およびそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、コンピュータで再生可能な映像データにおいて、映像の内容把握を容易にするためには、例えば本の目次のように何らかの形で映像データに対して構造化の処理を行う必要がある。その処理の基本となるのが、映像データを一台のカメラで連続的に撮影された映像区間として定義されるショットに切り分けるカット検出である。
このカット検出方法として、カットが存在する映像データのフレーム間では、カットが存在しない場合に比べて、画像の類似度が小さく、動きベクトル量が大きいなどの特徴に注目してカット検出を行っている。具体的には、フレーム間の輝度差や色差、動き補償情報とその予測誤差などや、それらのデータを基に算出した「色のヒストグラム」や「動きベクトルの長さ」などを、カット検出のための特徴量を抽出し、閾値判定することによってカット検出を行っていた。
【０００３】
【発明が解決しようとする課題】
上述したように、従来のカット検出で用いられてきたフレーム間の輝度差や色差といった特徴量は、カットであるフレーム間や、動きの激しいシーンでのフレーム間で高い値となる。そのため、この特徴量を閾値判定してカット検出を行うと、動きの激しいシーンをカットとして誤検出する問題があった。
【０００４】
この発明は、上述した事情を考慮してなされたもので、映像データのカット検出において、動きの激しいシーンの誤検出を減少させることができるカット検出装置およびそのプログラムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明によるカット検出装置においては、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置であって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するベクトル算出手段と、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された動きベクトルと対応する区画の数を累計して方向別区画数を算出する分類区画数累計手段と、フレーム間の方向別区画数と、該フレーム間に対して前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する絶対値差分量算出手段と、算出した絶対値差分量を基に、前記映像データよりカット部分を検出するカット部分検出手段とを具備することを特徴とする。
【０００６】
上述した、ベクトル算出手段は、フレームの一部または全部を、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２などの規格にて定められる動きベクトル算出のための、所定数で、所定の大きさの区画に分割し、各区画においてフレーム間の動きベクトルを算出する。分類区画数累計手段は、フレーム間において算出した区画毎の動きベクトルを、８〜数十の方向に分類して、各方向に分類された区画の数を累計して方向別区画数（例えば方向別のヒストグラムが好適である）を算出する。
【０００７】
また、絶対値差分量算出手段は、フレーム間の方向別区画数と、該フレーム間の一つまたは複数フレーム間前（または後）のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する。以上により、映像データのフレーム間より抽出した動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を考慮したカット検出を行うことができる。この特徴を入れることで、映像データより「動きの激しいシーン」を「カット部分」と誤検出する確率を低減したカット検出を行うことができる。その理由は後述する。ここで、「動きの激しいシーン」とは、物体が高速で移動しているシーンや、カメラが高速でパンしているシーンなどである。
【０００８】
また、本発明によるカット検出装置においては、上記ベクトル算出手段と、上記分類区画数累計手段と、上記絶対値差分量算出手段とを備え、映像データより上記絶対値差分量を含む複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段を更に具備し、上記カット部分検出手段は、特徴情報に含まれる特徴量を識別関数へ代入計算する識別関数計算手段と、識別関数計算手段の計算結果を基に、カット部分であるかどうかを識別するカット部分識別手段とを具備することを特徴とする。
【０００９】
これにより、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を特徴量として映像データより抽出し、該特徴量を変数とする識別関数を用いてカット部分であるか非カット部分であるかの識別を行うことができる。また、映像データより抽出した複数の特徴項目に任意の重み付けを付与して処理できるので、各特徴項目の重み付けに応じて、全ての特徴項目を考慮したカット検出を行うことができる。
【００１０】
また、本発明によるカット検出装置においては、カット部分が既知である映像データから、絶対値差分量を含む複数の特徴項目についての特徴量を抽出し、特徴量とカット部分および非カット部分のどちらから抽出したか識別する情報とを含めて特徴情報とする特徴情報抽出手段と、特徴情報を基に識別関数の係数を求め、識別関数を生成する識別関数生成手段とを更に具備することを特徴とする。
【００１１】
これにより、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を少なくとも含む特徴項目を用いて、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に識別関数を生成できる。
【００１２】
また、本発明によるカット検出装置においては、上記識別関数生成手段の生成した識別関数の係数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、上記係数検定手段が、有意でないと検定した係数がある場合に、上記識別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、識別関数の係数を求め、識別関数を生成することを特徴とする。
【００１３】
これにより、生成した識別関数の係数が、有意なものであるか統計的に判別を行う所定の計算式を用いて計算することで、係数の有意について検定することができる。また、種々の特徴項目よりカット検出に有効でない特徴項目を削除して、有効な特徴項目のみに絞り込んだ識別関数を生成することができる。更には、映像データの内容に合わせて、より精度よくカット検出を行うように、映像データの内容別に、特徴項目の違う識別関数を生成することができる。
【００１４】
また、本発明によるカット検出装置においては、上記識別関数として判別関数を用いることを特徴とする。
これにより、識別に貢献する特徴量のみを用いた判別関数でカット部分の検出しを行うことができる。
【００１５】
また、本発明によるプログラムは、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出方法のプログラムであって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するステップと、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された区画の数を累計して方向別区画数を算出するステップと、フレーム間の方向別区画数と、該フレーム間の前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出するステップと、算出した絶対値差分量を基に、映像データよりカット部分を検出するステップとをコンピュータへ実行させるためのプログラムである。
【００１６】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明する。ただし、以下の実施の形態は特許請求の範囲に記載された発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必要であるとは限らない。
まず、本発明の第一の実施形態として、識別関数として判別関数を用いたカット検出装置の概略構成について図を用いて説明する。
【００１７】
図１は、本発明の第一の実施形態による識別関数として判別関数を用いたカット検出装置の概略構成を示すブロック図である。この図において符号１０は、識別関数として判別関数を用いて、映像データよりカット部分を検出するカット検出装置である。１１は、カット検出装置１０内のデータの制御を行う制御部である。１２は、カット検出処理用の映像データを格納する映像データベース１２ａと、判別関数の学習処理を行う為のカット部分が既知の映像データである学習情報を格納する学習情報データベース１２ｂである。１３は、カット検出を行う為の種々の処理プログラムを具備する処理プログラム部である。
【００１８】
尚、カット検出装置１０は、カット検出の対象となる映像データを取得する場合に、上述したように映像データベース１２ａより読み出す方法に限らない。即ち、映像データベース１２ａは、必ずしもカット検出装置１０が具備する必要はない。他の方法としては、カット検出装置１０は、処理する映像データを、通信ネットワーク経由で取得したり、ＣＤ−ＲＯＭ等の記録媒体より読み取ったりして好適である。
【００１９】
次に、学習情報データベース１２ｂの構築例について図を用いて説明する。図６は、本発明の第一の実施形態における学習情報データベース１２ｂの構成例を示す図である。図に示すように、カット部分が既知である映像データに関連付けて種々の情報を格納する。“映像データ”は、判別関数の学習用の映像データである。“フレーム間情報”は、各フレーム間において、カット部分であるかを示す“カット情報”や、該フレーム間より抽出した“特徴項目”毎の“特徴量”を含む“特徴情報”など、フレーム間に関する情報を格納する。“係数情報”は、各“映像データ”の“フレーム間情報”を基に求めた判別関数の係数に関する係数情報を格納する。
【００２０】
次に、処理プログラム部１３について構成を説明する。処理プログラム部１３には、学習情報データベース１２ｂに格納されるカット部分、非カット部分が既知の“映像データ”を基に、判別関数の係数を生成する為の学習処理を行う学習処理部１４と、映像データベース１２ａに格納されるカット部分、非カット部分が未知の映像データを基に、カット部分を検出する検出処理部１５から成る。
尚、本実施形態の判別関数とは、判別分析に用いられる関数であって、一つもしくは複数の観測値（本実施形態では特徴量）を変数とする線形式である線形判別関数である。また、上述した判別分析の方法の限りではなく、他の判別分析の方法を用いてもよい。
【００２１】
上記判別関数について一例を示して更に説明する。対象となるサンプル（映像データにおけるフレーム間）のサンプル数をｉとし、サンプルについてのｐ種類の特徴項目について特徴量ｘi1〜ｘipとした場合、図７に示すように、フレーム５１の時間変化における、フレーム間の特徴量ｘi1〜ｘipが抽出される。この時、判別関数の定数項をａ0とし、各特徴量に対する係数をａ1〜ａpとすると、サンプルｉにおける判別関数値ｆiは、以下の判別関数（式１）で表される
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋…＋ａpｘip …（式１）
【００２２】
この（式１）に抽出したサンプルｉの特徴量ｘi1〜ｘipを代入することでｆiの値を求め、その値を基に映像データのｉ番目のフレーム間がカット部分であるか非カット部分であるかを判別する。
また、係数ａ1〜ａpの有意性を検定する方法は、まず、判別分析によって得られた結果から所定の計算式によりｐ個の特徴量からｊ番目の特徴量を除いた場合に、マハラノビスの汎距離がどのように変化するかを表す尺度であり、係数の貢献度の判定に用いる値“Ｆp,j”を以下の（式２）により求める。
【数１】
ｐ：特徴量の個数
ｎ1:カット部分のサンプル数
ｎ2：非カット部分のサンプル数
Ｄ2 (p)：ｐ個の特徴量を使用した場合のマハラノビスの汎距離
Ｄ2 (p-1)：ｐ個の特徴量から特徴量ｊを除いた場合のマハラノビスの汎距離
である。
次に、検定統計量がＦ分布に従っているとして所定の有意水準（％）のＦ分布値を求める。次に、貢献度の判定値“Ｆp,j”とＦ分布値の大小を比較して、ｊ番目の特徴量がカット部分の識別にどの程度、貢献しているかを求める。
【００２３】
ここで、本実施形態においては、映像データのフレーム間より、“動き方向ヒストグラムの絶対値差分和（絶対値差分量）”を含む、以下に示す４つの特徴項目について特徴量ｘi1〜ｘi4を抽出する。
・輝度の絶対値差分の平均値（ｘi1）
・輝度ヒストグラムの絶対値差分値（ｘi2）
・画面全体の平均動きベクトル長（ｘi3）
・動き方向ヒストグラムの絶対値差分和（ｘi4）
以上の場合に、（式１）に示した判別関数値ｆiは
ｆi＝ａ0＋ａ1ｘi1＋ａ2ｘi2＋ａ3ｘi3＋ａ4ｘi4 … （式３）
となる。以下（式３）を用いてカット検出装置１０の説明を行う。
【００２４】
尚、“輝度の絶対値差分の平均値”とは、隣接フレーム間で同じ位置にあるブロック（フレームを所定数の区画に分割した際の１区画）の輝度の絶対値差分を求めて平均した値である。“輝度ヒストグラムの絶対値差分値”とは、隣接フレームでそれぞれの輝度ヒストグラムを求め、各段階（例えば１６段階に分ける）毎に絶対値差分を求め合計した値である。
【００２５】
“画面全体の平均動きベクトル長”とは、隣接するフレーム間で、動きベクトルの長さを本数で平均した値である。ここで、動きベクトルを算出する方法の一例を以下に示す。まず、フレーム内の１６ｐｉｘｅｌ×１６ｐｉｘｅｌの各ブロックに対して、該フレームに隣接するフレームの同位置に同様のブロックおよび該ブロックの周囲にある３２ｐｉｘｅｌ×３２ｐｉｘｅｌのブロックに対して、近似的な画像を含むブロックを探索するためブロック間のＲＧＢ値の絶対値誤差を求めるブロックマッチングを行う。次に、求めた絶対値誤差が最小となるブロックを動きベクトルの到達ブロックとすることで、動きベクトルを算出する。
【００２６】
“動き方向ヒストグラムの絶対値差分和”とは、隣接するフレーム間で求めた動きベクトルを８方向に分類して３２段階のヒストグラムを作成し、一つ前のフレーム間のヒストグラムと各段階において絶対値差分を求め合計した値である。尚、ヒストグラムの各段階で絶対値差分を求めるのは、上述した一つ前のフレーム間に限らず、任意の数だけ前または後のフレーム間のヒストグラムと格段階で絶対値差分を求め合計して好適である。尚、動きベクトルを分類する方向や、ヒストグラムの段階の数は、上述した限りではなく、計算精度と計算量のバランスを考慮して任意の数を用いればよい。
【００２７】
また、本発明は上記の４つの特徴項目に限定されず、種々のカット検出する為の特徴項目の特徴量を用いて好適である。例えば、以下に示す特徴項目がある。・“ブロックＲＧＢ値の絶対値差分の合計の平均値”は、隣接したフレーム間で、同位置にある１６ｐｉｘｅｌ×１６ｐｉｘｅｌのブロックを単位として、Ｒ、Ｇ、Ｂそれぞれの値について平均値の絶対値誤差を求めて合計し、その結果をフレーム全体で平均した値である。
・“ブロックＲＧＢ値の絶対値差分の合計の分散値”は、上記ブロック単位にＲ、Ｇ、Ｂそれぞれの平均値の絶対値差分について、フレーム全体における分散を求めた値である。
【００２８】
・“ブロック色ヒストグラムの絶対値差分和”は、フレーム内で１６ｐｉｘｅｌ×１６ｐｉｘｅｌのブロックを単位としたＲ、Ｇ、Ｂそれぞれの平均値の絶対値差分について、色ごとに６４段階のヒストグラムを作成し、隣接フレーム間でヒストグラムの各段階における絶対値差分を求め、３色全てについて合計した値である。
・“動きベクトルの長さの分散”は、隣接したフレーム間で求められた動きベクトルの長さについて、フレーム全体における分散を求めた値である。
【００２９】
以上、判別関数に関して、関数の具体例と、判別関数の変数となる特徴量として、種々の特徴項目の具体例を示して説明した。しかし、特徴項目の内容、数、組み合わせは上述した限りでなく、映像データよりカット検出するための特徴項目を種々の組み合わせで用いて好適である。また、特徴項目の効果的な組み合わせについては後述する。
【００３０】
次に、学習処理部１４について説明する。特徴情報抽出処理部１６は、上記４つの特徴項目について、学習情報データベース１２ｂより読み出したカット部分、非カット部分が既知の“映像データ”より特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を抽出する。判別関数生成処理部１７は、情報抽出処理部１６が抽出したカット部分、非カット部分における特徴量を基に、係数（ａ1〜ａ4）を求めて判別関数（式３）を生成する。
【００３１】
係数検定処理部１８は、判別関数生成処理部１７が、生成した判別関数の係数の各々について、カット検出の判別に有意なものであるか検定する。具体的には、係数検定処理部１８は、判別分析によって得られた結果から所定の計算式によりｊ番目の特徴量の判別への貢献度の判定値“Ｆp,j”を求める。次に、係数検定処理部１８は、検定統計量がＦ分布に従っているとして所定の有意水準（％）のＦ分布値を求める。次に、係数検定処理部１８は、貢献度の判定値“Ｆp,j”とＦ分布値の大小を比較することで該特徴量の有意性を検定する。
【００３２】
ここで、特徴量がカット部分の識別に貢献していない（有意性が無い）と検定した場合、新たにｊ番目の特徴量を除いたｐ−１個の特徴量による判別関数（式３）を求め、上述したように係数を求めて、該係数を用いた特徴量の検定を行う。このように、係数の学習と貢献度の検定を繰り返すことで、特徴量の選択を行うことができる。また、どの特徴量が有効であるかを調べることができる。以上に示したように、学習処理部１４は、カット部分、非カット部分が既知の映像データを基に、より正確なカット検出を行う判別関数を生成する為の学習処理を行う。
【００３３】
次に、検出処理部１５について、以下に説明する。情報抽出処理部１９は、映像データベース１２ａより参照する映像データより、判別関数生成処理部１７が生成した判別関数（式３）に代入する特徴量（ｘi1、ｘi2、ｘi3、ｘi4）についての特徴情報を抽出する。判別関数計算処理部２０は、特徴情報に含まれる特徴量を判別関数（式３）へ代入し計算する。カット部分識別処理部２１は、判別関数計算処理部２０の計算結果を基に、カット部分であるか非カット部分であるかを識別する。以上により、検出処理部１５は、判別関数（式３）を用いて映像データベース１２ａより参照する映像データの各フレーム間に対してカット部分、非カット部分を識別してカット検出を行う。
【００３４】
次に、上述した４つの特徴項目の特徴量を抽出する情報抽出処理部１９の内部の概略構成について図を用いて説明する。
図２は、本発明の第一の実施形態における情報抽出処理部１９の内部の概略構成を示すブロック図である。図に示すように、１９ａは、映像データのフレームを所定数のブロック（区画）に分割し、各ブロックにおいてフレーム間の動きベクトルを算出するベクトル算出処理部である。１９ｂは、フレーム間において算出したブロック毎の動きベクトルを、８方向に分類して、各方向に分類されたブロックの数を累計した、方向別のブロック数のヒストグラムである“動き方向ヒストグラム”（方向別区画数）を算出する分類区画数累計処理部である。
【００３５】
１９ｃは、フレーム間の“動き方向ヒストグラム”と、該フレーム間に対して一つ前のフレーム間の“動き方向ヒストグラム”との方向別の差分を求め、該差分の絶対値の和である絶対値差分和を算出する絶対値差分量算出処理部である。以上のベクトル算出処理部１９ａおよび分類区画数累計処理部１９ｂおよび絶対値差分量算出処理部１９ｃの処理により、情報抽出部１９は、特徴項目“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を映像データより抽出する。
【００３６】
ここで、上述した“動き方向ヒストグラムの絶対値差分和”の特徴量を判別関数の変数とすることが、映像データにおける「カット部分」と「動きの激しいシーン」とを精度よく判別するのに有効であることを以下に説明する。
図８は本発明の第一の実施形態における“動き方向ヒストグラムの絶対値差分和”の有効性を示す図である。図において、飛行機は右方向へ飛行しており、上の３フレームは「カット部分」のある３フレームであり、下の３フレームは「動きの激しいシーン」の３フレームである。
【００３７】
符号８１は、カット検出の対象の映像データにおいてｎ番目（ｎは任意の自然数）のフレームであるｎフレームである。同様に、８２、８３は、ｎ＋１フレーム、ｎ＋２フレームである。８４は、ｎフレーム８１とｎ＋１フレーム８２より、抽出した各ブロックの動きベクトルを、方向別にしてブロック数を累計したヒストグラムである。同様に、８５は、ｎ＋１フレーム８２とｎ＋２フレーム８３より、抽出した各ブロックの動きベクトルを、方向別にしてブロック数を累計したヒストグラムである。８６は、ヒストグラム８４とヒストグラム８５の絶対値差分を方向別に求めたヒストグラムである。
【００３８】
ここで、ｎ＋１フレーム８２とｎ＋２フレーム８３は、全く異なる映像であり、このフレーム間はカット部分である。この時、図に示すように、ヒストグラム８５は、全方向に不規則な動きベクトルが生じたことを表すものとなる。そのため、ヒストグラム８６は、図に示すようなヒストグラムとなる。すなわち、ヒストグラム８６の全方向の合計（絶対値差分和）が大きな値となる。
【００３９】
同様に、９１、９２、９３は、ｍ、ｍ＋１、ｍ＋２番目（ｍは任意の自然数）のフレームである。９４は、ｍフレーム９１とｍ＋１フレーム９２より抽出した各ブロックの動きベクトルを基に算出したヒストグラムである。９５は、ｍ＋１フレーム９２とｍ＋２フレーム９３より抽出した各ブロックの動きベクトルを基に算出したヒストグラムである。９６は、ヒストグラム９４とヒストグラム９５の絶対値差分を方向別に求めたヒストグラムである。
【００４０】
ここで、ｍ＋１フレーム９２とｍ＋２フレーム９３は、連続する映像であり、このフレーム間は非カット部分である。この時、図に示すように、ヒストグラム９４とヒストグラム９５は、右方向に大きな動きベクトルが生じたことを表すものとなる。そのため、ヒストグラム９６は、図に示すようなヒストグラムとなる。すなわち、ヒストグラム９６の全方向の合計（絶対値差分和）が小さな値となる。
【００４１】
以上に示したように、“動き方向ヒストグラムの絶対値差分和”は、映像データにおける「カット部分」の場合は大きな値になり、「動きの激しいシーン」の場合は小さな値となる。これにより、“動き方向ヒストグラムの絶対値差分和”の特徴量を判別関数の変数とすることで、映像データにおける「カット部分」と「動きの激しいシーン」とを精度よく判別することができる。
【００４２】
１９ｄは、特徴項目“輝度の絶対値差分の平均値”の特徴量ｘi1を映像データより抽出する輝度絶対値差分算出処理部である。１９ｅは、特徴項目“輝度ヒストグラムの絶対値差分値”の特徴量ｘi2を映像データより抽出する輝度ヒストグラム差分算出処理部である。１９ｆは、特徴項目“画面全体の平均動きベクトル長”の特徴量ｘi3を映像データより抽出する動きベクトル長算出処理部である。以上、情報抽出処理部１９の概略構成を説明したが、この限りではなく、上述した種々の特徴項目の特徴量を抽出する処理部を具備して好適である。また、特徴情報抽出処理部１６においては、同様の特徴量を抽出する処理部を具備してもよく、共用可能であれば情報抽出処理部１９と処理部を共用してもよい。
【００４３】
次に、上述したカット検出装置１０の動作について図を用いて説明する。
まず、学習処理部１４の動作についての説明を以下に示す。図３は、本発明の第一の実施形態におけるカット検出装置１０の学習動作を示すフロー図である。まず、学習情報データベース１２ｂよりカット部分が既知の映像データを読み出し、特徴情報抽出処理部１６は、設定した四つの特徴項目について、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）の抽出を行う（ステップＳ２０）。次に、判別関数生成処理部１７は、該特徴量（ｘi1、ｘi2、ｘi3、ｘi4）とカット部分か非カット部分かの情報を含む特徴情報を基に、係数（ａ1〜ａ4）を求めて判別関数（式３）を生成する（ステップＳ２１）。
【００４４】
次に、係数検定処理部１８は、判別関数生成処理部１７が生成した判別関数の各係数（ａ1〜ａ4）に対応する特徴量のＦ分布値および貢献度“Ｆp,j”を算出し比較することで、カット検出への貢献度（有意な係数であるか）を検定する（ステップＳ２２）。ここで、全ての係数が有意と判断されなかった場合（ステップＳ２２のＮＯ）、最も有意でなかった係数に対応する特徴項目を削除する（ステップＳ２３）。次に、判別関数生成処理部１７が、残りの特徴項目に対応する特徴量を基に係数を求めるステップＳ２１へ戻る。また、全ての係数（ａ1〜ａ4）が有意と判断された場合（ステップＳ２２のＹＥＳ）、学習処理部１４は、該係数を含む判別関数（式３）を、検出処理部１５におけるカット部分の検出処理に用いる判別関数と決定する（ステップＳ２４）。
【００４５】
以上により、学習処理部１４は、“動き方向ヒストグラムの絶対値差分和”の特徴量を変数として含み、カット部分の識別に貢献している特徴量のみを用いた判別関数を生成することができる。尚、係数の有意性の検定は、上記の限りではなく、カット検出の判別に、各々の特徴量が貢献しているかどうかを検定する種々の方法を用いて好適である。また、上記では判別関数の決定の方法として、変数減少法を用いたがこの限りではない。
【００４６】
次に、検出処理部１５の動作について説明する。図４は、本発明の第一の実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。まず、映像データベース１２ａよりカット部分、非カット部分が未知の映像データを読み出し、最初のフレーム間（サンプル１）について情報抽出処理部１９は、学習処理部１４が決定した判別関数（式３）に代入すべき特徴量（ｘ11、ｘ12、ｘ13、ｘ14）を抽出する（ステップＳ３０）。この時、輝度絶対値差分算出処理部１９ｄが、“輝度の絶対値差分の平均値”の特徴量ｘ11を算出する。また、輝度ヒストグラム差分算出処理部１９ｅが、“輝度ヒストグラムの絶対値差分値”の特徴量ｘ12を算出する。また、動きベクトル長算出処理部１９ｆが、“画面全体の平均動きベクトル長”の特徴量ｘ13を算出する。
【００４７】
次に、“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出方法について図を用いて説明する。図５は、本発明の第一の実施形態におけるカット検出装置１０の“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出動作を示すフロー図である。まず、ベクトル算出処理部１９ａが、映像データのフレームを所定数のブロック（区画）に分割し、各ブロックにおいてフレーム間の動きベクトルを算出する（ステップＳ３０ａ）。次に、分類区画数累計処理部１９ｂは、フレーム間において算出したブロック毎の動きベクトルを、８方向に分類して、各方向に分類されたブロックの数を累計した、方向別のブロック数のヒストグラムである“動き方向ヒストグラム”を算出する（ステップＳ３０ｂ）。
【００４８】
次に、絶対値差分量算出処理部１９ｃは、分類区画数累計処理部１９ｂの算出したフレーム間の“動き方向ヒストグラム”と、該フレーム間に対して一つ前のフレーム間の“動き方向ヒストグラム”との方向別の差分を求め、該差分の絶対値の和である絶対値差分和を算出する（ステップＳ３０ｃ）。以上により、情報抽出処理部１９は、“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を映像データより抽出する。
【００４９】
次に、判別関数計算処理部２０は、決定した判別関数（式３）へ抽出した特徴量を代入しｆ1を計算する（ステップＳ３１）。次に、カット部分識別処理部２１は、判別関数計算処理部２０の計算結果ｆ1を基に、カット部分である（ｆ1がプラス値）か、非カット部分である（ｆ1がマイナス値）かを識別する（ステップＳ３２）。次に、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理でない場合（ステップＳ３３のＮＯ）、次のフレーム間（サンプル２）を処理する為、ステップＳ３０へ戻る。
【００５０】
以上の処理をサンプル３、４、…と繰り返すことにより、大量のフレーム数となる映像データのカット検出を行う。また、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理であった場合（ステップＳ３３のＹＥＳ）、カット検出の処理を終了する。以上により、検出処理部１５は、“動き方向ヒストグラムの絶対値差分和”を変数とする判別関数を用いて映像データよりカット検出を行うことができる。
【００５１】
次に、上述した本発明の実施形態に必須の特徴項目である“動き方向ヒストグラムの絶対値差分和”と合わせて判別関数に用いて効果的な特徴項目について説明する。“動き方向ヒストグラムの絶対値差分和”と合わせて判別関数の特徴量として抽出して効果的な特徴項目は“画面全体の平均動きベクトルの長”である。この“画面全体の平均動きベクトルの長”のみを特徴項目として判別関数に用いると、カット部分を見逃すことは少ないが、「動きの激しいシーン」をカット部分として誤検出する場合が多い。そこで、「動きの激しいシーン」の誤検出を防ぐための特徴項目“動き方向ヒストグラムの絶対値差分和”を加えた判別関数を用いることで飛躍的に誤検出を減らすことができる。
【００５２】
ここで、「動きの激しいシーン」の多い映像データの約１５００個のカット部分を検出する実験例を以下に示す。“画面全体の平均動きベクトルの長”のみが特徴項目の判別関数を用いてカット検出を行うと、約３０００個をカット部分として検出した。すなわち、３０００個のうち１５００個は誤検出である。ここで上述した“動き方向ヒストグラムの絶対値差分和”を加えた２つを特徴項目とする判別関数を用いると、約１５５０個程度をカット部分として検出した。つまり、誤検出は５０個程度であり、“動き方向ヒストグラムの絶対値差分和”を加える前に比べて飛躍的に誤検出を減らす効果が得られる。
【００５３】
また、上述した“画面全体の平均動きベクトルの長”、“動き方向ヒストグラムの絶対値差分和”に、“ブロック色ヒストグラムの絶対値差分和”を特徴項目として加えると、更に高精度に判別関数によるカット検出を行うことができる。なぜなら、“画面全体の平均動きベクトルの長”、“動き方向ヒストグラムの絶対値差分和”の特徴項目による判別関数では、薄暗いシーンでのカット部分の見逃してしまう場合があるが、“ブロック色ヒストグラムの絶対値差分和”を特徴項目として加えることで、フレーム全体の色の変化を特徴量として抽出できるため、薄暗いシーンのため動きベクトル検出の精度が悪くなっても、色を比較することでカット部分の見逃しを減らすことができる。
【００５４】
また、効果の具体例として、判別関数の評価項目として、“ブロックＲＧＢ値の絶対値差分の合計の平均値”、“ブロックＲＧＢ値の絶対値差分の合計の分散値”、“ブロック色ヒストグラムの絶対値差分和”、“画面全体の平均動きベクトル長”、“動き方向ヒストグラムの絶対値差分和”、“動きベクトルの長さの分散”を用いて、映像データ（ニュース番組）を処理した結果、適合率＝（検出した正解カット数／検出した全カット数）×１００が８６．７％である。また、上述した特徴項目より“動き方向ヒストグラムの絶対値差分和”を削除した判別関数の場合は適合率が５７．４％であった。すなわち、“動き方向ヒストグラムの絶対値差分和”を変数に含む判別関数を用いることで、カット検出の精度の良さを示す適合率が約２９％向上する成果が得られた。
【００５５】
次に、本発明の第二の実施形態として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）という識別手法の識別関数を用いたカット検出装置の概略構成について図を用いて説明する。
図９は、本発明の第二の実施形態として、ＳＶＭという識別手法の識別関数を用いたカット検出装置の概略構成を示すブロック図である。この図において符号６０は、ＳＶＭという識別手法の識別関数を用いて、映像データよりカット部分を検出するカット検出装置である。尚、カット検出装置６０のデータベース１２は上述した図１に示したデータベース１２と同様の構成であり、説明を省略する。
【００５６】
尚、カット検出装置６０は、カット検出の対象となる映像データを取得する場合に、映像データベース１２ａより読み出す方法に限らない。即ち、映像データベース１２ａは、必ずしもカット検出装置６０が具備する必要はない。他の方法として、カット検出装置６０は、処理する映像データを、通信ネットワーク経由で取得しても、ＣＤ−ＲＯＭ等の記録媒体より読み取っても好適である。６１は、カット検出装置６０内のデータを制御する制御部である。
【００５７】
次に、処理プログラム部６２について構成を説明する。処理プログラム部６２には、学習情報データベース１２ｂに格納されるカット部分、非カット部分が既知の“映像データ”を基に、識別関数を決定する為の学習処理を行う学習処理部６３と、映像データベース１２ａに格納されるカット部分、非カット部分が未知の映像データを基に、カット部分を検出する検出処理部６４から成る。
尚、本実施形態の識別関数とは、非線形ＳＶＭという識別手法に用いられる関数である。また、本発明の識別関数は、上述した識別関数に限定されるものではなく、多変量解析やパターン認識に用いる種々の識別関数を用いて好適である。
【００５８】
上記非線形ＳＶＭという識別手法に用いられる識別関数について一例を示して更に説明する。対象となるサンプルより抽出した特徴量（ｘi1、ｘi2、ｘi3、ｘi4）から、特徴ベクトルｘi（以下、Ｘiとする）が求まる。この時に、Ｘiを変数とする識別関数ｆ（Ｘi）は、以下の（式４）で表される
【数２】
φ：非線形関数
重みベクトルｗ＝（ｗ1、ｗ2、ｗ3、…ｗd）：重みベクトル（ｄは次元数）
ｊ：サポートベクトルの数（１〜ｎ）
サポートベクトルｘj＝（ｘ1j、ｘ2j、ｘ3j、…ｘdj） ：サポートベクトルｙj：サポートベクトルｘjがカット部分の時＝１、非カット部分の時＝−１
λj：正の乗数
Ｋ：カーネル関数
ｂ*：識別関数の定数項
【００５９】
この（式４）にｉ番目のフレーム間から抽出したＸi（特徴ベクトルｘi）を入力することで識別関数ｆ（Ｘi）の値を求める。
ｆ（Ｘi）≧１なら、映像データのｉ番目のフレーム間はカット部分である。ｆ（Ｘi）≦−１なら、映像データのｉ番目のフレーム間は非カット部分である。
以上のように、（式４）に示した識別関数ｆ（Ｘi）を用いてカット部分を識別する。また、（式４）の識別関数に入力する特徴量は上述した限りではなく、（式１）において説明した種々の特徴項目を用いてよい。また、特徴項目の内容、数、組み合わせも、精度よく映像データよりカット検出するために適時変更して好適である。
【００６０】
次に、学習処理部６３について説明する。特徴情報抽出処理部６５は、上述した特徴情報抽出処理部１６と同様に４つの特徴項目について、学習情報データベース１２ｂより読み出したカット部分、非カット部分が既知の“映像データ”より特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報抽出する。尚、特徴情報抽出処理部６５は、上述したベクトル算出処理部１９ａ、分類区画数累計処理部１９ｂ、絶対値差分量算出処理部１９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグラム差分算出処理部１９ｅ、動きベクトル長算出処理部１９ｆを具備する。次に、特徴情報抽出処理部６５は、抽出したカット部分、非カット部分における特徴情報を基に、特徴ベクトルであるＸiを算出する。
【００６１】
また、識別関数決定処理部６６は、情報抽出処理部６５が算出したＸiの中より識別関数すなわち識別境界を決めるサポートベクトルｘj（以下、Ｘjとする）を抽出し、λj、ｂ*の値を決定する。以上により、識別関数決定処理部６６は、（式４）に示す識別関数を決定する。
【００６２】
次に、検出処理部６４について、以下に説明する。情報抽出処理部６７は、上述した情報抽出処理部１９の動作と同様に映像データベース１２ａより参照する映像データより、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報を抽出する。すなわち、情報抽出処理部６７は、上述したベクトル算出処理部１９ａ、分類区画数累計処理部１９ｂ、絶対値差分量算出処理部１９ｃ、輝度絶対値差分算出処理部１９ｄ、輝度ヒストグラム差分算出処理部１９ｅ、動きベクトル長算出処理部１９ｆを具備する。次に、情報抽出処理部６７は、抽出した特徴情報を基に識別関数決定処理部６６が生成した識別関数（式４）に代入する特徴ベクトルＸiを算出する。
【００６３】
識別関数計算処理部６８は、情報抽出処理部６７が算出した特徴ベクトルＸiを識別関数（式４）へ代入し計算する。カット部分識別処理部６９は、識別関数計算処理部６８の計算結果を基に、カット部分であるか非カット部分であるかを識別する。以上により、検出処理部６４は、識別関数（式４）を用いて映像データベース１２ａより参照する映像データの各フレーム間に対してカット部分、非カット部分を識別してカット検出を行う。
【００６４】
尚、図１および図９に示した各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびＣＰＵ（中央演算装置）により構成され、各処理部の機能を実現する為のプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【００６５】
次に、上述したカット検出装置６０の動作について図を用いて説明する。
まず、学習処理部６３の動作についての説明を以下に示す。図１０は、本発明の第二の実施形態におけるカット検出装置６０の学習動作を示すフロー図である。まず、学習情報データベース１２ｂよりカット部分が既知の映像データを読み出し、特徴情報抽出処理部６５は、設定した四つの特徴項目について、特徴量（ｘi1、ｘi2、ｘi3、ｘi4）を含む特徴情報の抽出を行う（ステップＳ６０）。特徴情報抽出処理部６５は、抽出した特徴情報を基に、特徴ベクトルＸiを算出する（ステップＳ６１）。次に、識別関数決定処理部６６は、情報抽出処理部６５が算出したＸiの中よりサポートベクトルＸjを抽出し（式４）のλj、ｂ*の値を決定することで、識別関数（式４）を生成する。（ステップＳ６２）。
【００６６】
以上により、学習処理部６３は、“動き方向ヒストグラムの絶対値差分和”の特徴量を変数として含む特徴量を用いた、カット部分を識別するための識別関数を、学習処理により生成することができる。
【００６７】
次に、検出処理部６４の動作について説明する。図１１は、本発明の第二の実施形態におけるカット検出装置６０のカット検出動作を示すフロー図である。まず、映像データベース１２ａよりカット部分、非カット部分が未知の映像データを読み出し、最初のフレーム間（サンプル１）について情報抽出処理部６７は、特徴量（ｘ11、ｘ12、ｘ13、ｘ14）を含む特徴情報の抽出を行う（ステップＳ７０）。この時、輝度絶対値差分算出処理部１９ｄが、“輝度の絶対値差分の平均値”の特徴量ｘ11を算出する。また、輝度ヒストグラム差分算出処理部１９ｅが、“輝度ヒストグラムの絶対値差分値”の特徴量ｘ12を算出する。また、動きベクトル長算出処理部１９ｆが、“画面全体の平均動きベクトル長”の特徴量ｘ13を算出する。また、ベクトル算出処理部１９ａおよび分類区画数累計処理部１９ｂおよび絶対値差分量算出処理部１９ｃが“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4を算出する。
【００６８】
次に、情報抽出処理部６７は、学習処理部６３が生成した識別関数（式４）に代入するために、抽出した特徴情報を基にサンプル１の特徴ベクトルであるＸ1を算出する（ステップＳ７１）。次に、識別関数計算処理部６８は、情報抽出処理部６７が算出した特徴ベクトルＸ1を識別関数（式４）へ代入しｆ（Ｘ1）を計算する（ステップＳ７２）。次に、カット部分識別処理部６９は、識別関数計算処理部６８の計算結果ｆ（Ｘ1）を基に、サンプル１がカット部分（ｆ（Ｘi）≧１）であるか、非カット部分（ｆ（Ｘi）≦−１）であるかを識別する（ステップＳ７３）。次に、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理でない場合（ステップＳ７４のＮＯ）、次のフレーム間（サンプル２）を処理する為、ステップＳ７０へ戻る。
【００６９】
以上の処理をサンプル３、４、…と繰り返すことにより、大量のフレーム数となる映像データのカット検出を行う。また、上記の処理がカット検出中の映像データにおける最後のフレーム間についての処理であった場合（ステップＳ７４のＹＥＳ）、カット検出の処理を終了する。以上により、検出処理部６４は、“動き方向ヒストグラムの絶対値差分和”を特徴量として含む特徴ベクトルＸiを変数とする識別関数（式４）を用いて映像データよりカット検出を行うことができる。
【００７０】
尚、判別関数生成処理部１７または識別関数決定処理部６６は、映像データの内容（以下、カテゴリとする）別（各種のスポーツ中継、ニュース、ドラマなど）に判別関数または識別関数を生成して好適である。これにより、カテゴリ別の映像データに特徴的なシーンをカット部分または非カット部分として検出するのに有効な特徴項目を変数とする判別関数または識別関数を生成できる。また、検出処理部１５または検出処理部６４においては、まず、映像データのカテゴリを判別し、該カテゴリ用の判別関数または識別関数を用いて該映像データのカット検出を行う。これにより、より精度のよいカット検出を行うことができる。
【００７１】
また、図１および図９において各種処理を行う処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」とは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７２】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００７３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００７４】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７５】
【発明の効果】
以上、説明したように、本発明によるカット検出装置においては、連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置であって、フレームを所定数の区画に分割し、各区画においてフレーム間の動きベクトルを算出するベクトル算出手段と、フレーム間において算出した区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された動きベクトルと対応する区画の数を累計して方向別区画数を算出する分類区画数累計手段と、フレーム間の方向別区画数と、該フレーム間に対して前または後のフレーム間の方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する絶対値差分量算出手段と、算出した絶対値差分量を基に、映像データよりカット部分を検出するカット部分検出手段とを具備するので、映像データのフレーム間より抽出した動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を考慮したカット検出を行うことができる。
【００７６】
これにより、映像データより「動きの激しいシーン」を「カット部分」と誤検出する確率を低減したカット検出を行うことができる。また、映像データよりカット部分を自動で検出できることは、表示手段によりカット部分の画像の一覧を表示できるので、映像データに含まれている多数のシーンの全体像を簡便に把握することができる。さらには、ネットワーク上で映像データを配信する際に、該映像データの内容を、シーン単位で検索し、シーン単位で配信するシステムを簡便に構築することも可能となる。
【００７７】
また、本発明によるカット検出装置においては、上記ベクトル算出手段と、上記分類区画数累計手段と、上記絶対値差分量算出手段とを備え、映像データより上記絶対値差分量を含む複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段を更に具備し、上記カット部分検出手段は、特徴情報に含まれる特徴量を識別関数へ代入計算する識別関数計算手段と、識別関数計算手段の計算結果を基に、カット部分であるかどうかを識別するカット部分識別手段とを具備するので、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を特徴量として映像データより抽出し、該特徴量を変数とする識別関数を用いてカット部分であるか非カット部分であるかの識別を行うことができる。
【００７８】
これにより、映像データより抽出した複数の特徴項目に任意の重み付けを付与して処理できるので、各特徴項目の重み付けに応じて、全ての特徴項目を考慮したカット検出を行うことができる。
【００７９】
また、本発明によるカット検出装置においては、カット部分が既知である映像データから、絶対値差分量を含む複数の特徴項目についての特徴量を抽出し、特徴量とカット部分および非カット部分のどちらから抽出したか識別する情報とを含めて特徴情報とする特徴情報抽出手段と、特徴情報を基に識別関数の係数を求め、識別関数を生成する識別関数生成手段とを更に具備するので、動きベクトルの方向別の方向別区画数（ヒストグラム）の絶対値差分量を少なくとも含む特徴項目を用いて、映像データのカット部分の特徴量と、非カット部分の特徴量の違いを基に識別関数を生成できる。
【００８０】
これにより、識別に貢献している特徴量を変数とする識別関数を生成することができる。以上により、簡便に精度のよいカット検出を行うことができる。
【００８１】
また、本発明によるカット検出装置においては、識別関数生成手段の生成した識別関数の係数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、上記係数検定手段が、有意でないと検定した係数がある場合、識別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、識別関数の係数を求め、識別関数を生成するので、生成した識別関数の係数が、有意なものであるか統計的に判別を行う所定の計算式を用いて計算することで、係数の有意について検定することができる。また、種々の特徴項目よりカット検出に有効でない特徴項目を削除して、有効な特徴項目のみに絞り込んだ識別関数を生成することができる。
これにより、映像データの内容に合わせて、より精度よくカット検出を行うように、映像データの内容別に、特徴項目の違う識別関数を生成することができる。
【００８２】
また、本発明によるカット検出装置においては、上記識別関数として判別関数を用いるので、識別に貢献する特徴量のみを用いた判別関数でカット部分の検出しを行うことができる。
これにより、簡便に高精度な判別が期待できる判別器である線形判別分析を用いて、カット部分および非カット部分の検出を行うことができる。
【図面の簡単な説明】
【図１】 本発明の第一の実施形態による識別関数として判別関数を用いたカット検出装置の概略構成を示すブロック図である。
【図２】 本発明の第一の実施形態における情報抽出処理部１９の内部の概略構成を示すブロック図である。
【図３】 本発明の第一の実施形態におけるカット検出装置１０の学習動作を示すフロー図である。
【図４】 本発明の第一の実施形態におけるカット検出装置１０のカット検出動作を示すフロー図である。
【図５】 本発明の第一の実施形態におけるカット検出装置１０の“動き方向ヒストグラムの絶対値差分和”の特徴量ｘi4の抽出動作を示すフロー図である。
【図６】 本発明の第一の実施形態における学習情報データベース１２ｂの構成例を示す図である。
【図７】 本発明の第一の実施形態によるカット検出装置１０が映像データより抽出する特徴量を示す図である。
【図８】 本発明の第一の実施形態における“動き方向ヒストグラムの絶対値差分和”の有効性を示す図である。
【図９】 本発明の第二の実施形態によるＳＶＭという識別手法の識別関数を用いたカット検出装置の概略構成を示すブロック図である。
【図１０】 本発明の第二の実施形態におけるカット検出装置６０の学習動作を示すフロー図である。
【図１１】 本発明の第二の実施形態におけるカット検出装置６０のカット検出動作を示すフロー図である。
【符号の説明】
１０、６０ カット検出装置
１１、６１ 制御部
１２ データベース
１２ａ 映像データベース
１２ｂ 学習情報データベース
１３、６２ 処理プログラム部
１４、６３ 学習処理部
１５、６４ 検出処理部
１６、６５ 特徴情報抽出処理部
１７ 判別関数生成処理部
１８ 係数検定処理部
１９、６７ 情報抽出処理部
１９ａ ベクトル算出処理部
１９ｂ 分類区画数累計処理部
１９ｃ 絶対値差分量算出処理部
１９ｄ 輝度絶対値差分算出処理部
１９ｅ 輝度ヒストグラム差分算出処理部
１９ｆ 動きベクトル長算出処理部
２０ 判別関数計算処理部
２１、６９ カット部分識別処理部
６６ 識別関数決定処理部
６８ 識別関数計算処理部
Claims (6)
- 連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出装置であって、
前記フレームを所定数の区画に分割し、各区画において前記フレーム間の動きベクトルを算出するベクトル算出手段と、
前記フレーム間において算出した前記区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された前記動きベクトルと対応する前記区画の数を累計して方向別区画数を算出する分類区画数累計手段と、
前記フレーム間の前記方向別区画数と、該フレーム間に対して前または後のフレーム間の前記方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出する絶対値差分量算出手段と、
算出した前記絶対値差分量を基に、前記映像データより前記カット部分を検出するカット部分検出手段と
を具備することを特徴とするカット検出装置。 - 前記ベクトル算出手段と、前記分類区画数累計手段と、前記絶対値差分量算出手段とを備え、前記映像データより前記絶対値差分量を含む複数の特徴項目についての特徴量である特徴情報を抽出する情報抽出手段を更に具備し、
前記カット部分検出手段は、
前記特徴情報に含まれる特徴量を識別関数へ代入計算する識別関数計算手段と、
前記識別関数計算手段の計算結果を基に、前記カット部分であるかどうかを識別するカット部分識別手段と
を具備することを特徴とする請求項１に記載のカット検出装置。 - カット部分が既知である映像データから、前記絶対値差分量を含む複数の特徴項目についての特徴量を抽出し、前記特徴量とカット部分および非カット部分のどちらから抽出したか識別する情報とを含めて特徴情報とする特徴情報抽出手段と、
前記特徴情報を基に前記識別関数の係数を求め、前記識別関数を生成する識別関数生成手段と
を更に具備することを特徴とする請求項２に記載のカット検出装置。 - 前記識別関数生成手段の生成した前記識別関数の係数が、有意なものか所定の計算式により検定する係数検定手段を更に具備し、
前記係数検定手段が、有意でないと検定した係数がある場合に、前記識別関数生成手段は、有意でないと検定された係数に対応する特徴情報を除いた特徴情報を基に、前記識別関数の係数を求め、前記識別関数を生成する
ことを特徴とする請求項２または請求項３に記載のカット検出装置。 - 前記識別関数として判別関数を用いることを特徴とする請求項２から請求項４のいずれかに記載のカット検出装置。
- 連続するフレームから成る映像データの時間変化の中よりカット部分を検出するカット検出方法のプログラムであって、
前記フレームを所定数の区画に分割し、各区画において前記フレーム間の動きベクトルを算出するステップと、
前記フレーム間において算出した前記区画毎の動きベクトルを、所定数の方向に分類して、各方向に分類された前記区画の数を累計して方向別区画数を算出するステップと、
前記フレーム間の前記方向別区画数と、該フレーム間の前または後のフレーム間の前記方向別区画数との方向別の差分を求め、該差分の絶対値の和である絶対値差分量を算出するステップと、
算出した前記絶対値差分量を基に、前記映像データより前記カット部分を検出するステップと
をコンピュータへ実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001398233A JP3648199B2 (ja) | 2001-12-27 | 2001-12-27 | カット検出装置およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001398233A JP3648199B2 (ja) | 2001-12-27 | 2001-12-27 | カット検出装置およびそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003196662A JP2003196662A (ja) | 2003-07-11 |
| JP3648199B2 true JP3648199B2 (ja) | 2005-05-18 |
Family
ID=27603749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001398233A Expired - Fee Related JP3648199B2 (ja) | 2001-12-27 | 2001-12-27 | カット検出装置およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3648199B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009273539A (ja) * | 2008-05-13 | 2009-11-26 | Research Organization Of Information & Systems | イメージングデータからの状態変化抽出方法、状態変化の可視化システム、および、コンピュータプログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007142646A1 (en) * | 2006-06-08 | 2007-12-13 | Thomson Licensing | Scene change detection for video |
| JP4835540B2 (ja) * | 2007-08-15 | 2011-12-14 | ソニー株式会社 | 電子機器、映像特徴検出方法及びプログラム |
| JP5149033B2 (ja) * | 2008-02-26 | 2013-02-20 | 岐阜車体工業株式会社 | 動作解析方法及び動作解析装置並びにその動作解析装置を利用した動作評価装置 |
| JP5196425B2 (ja) * | 2008-03-07 | 2013-05-15 | Ｋｄｄｉ株式会社 | サポートベクトルマシンの再学習方法 |
| KR101667011B1 (ko) * | 2011-11-24 | 2016-10-18 | 에스케이플래닛 주식회사 | 입체 영상의 장면 전환 검출 장치 및 방법 |
| CN106937114B (zh) * | 2015-12-30 | 2020-09-25 | 株式会社日立制作所 | 用于对视频场景切换进行检测的方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0636026A (ja) * | 1992-07-13 | 1994-02-10 | Toshiba Corp | 動画像処理装置 |
| US6597738B1 (en) * | 1999-02-01 | 2003-07-22 | Hyundai Curitel, Inc. | Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor |
| JP3899727B2 (ja) * | 1999-03-31 | 2007-03-28 | ソニー株式会社 | 画像再生装置 |
| JP2001061131A (ja) * | 1999-08-20 | 2001-03-06 | Canon Inc | 画像記録装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| JP2001309374A (ja) * | 2000-04-25 | 2001-11-02 | Matsushita Electric Ind Co Ltd | 可変ビットレート符号化装置および記録装置 |
-
2001
- 2001-12-27 JP JP2001398233A patent/JP3648199B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009273539A (ja) * | 2008-05-13 | 2009-11-26 | Research Organization Of Information & Systems | イメージングデータからの状態変化抽出方法、状態変化の可視化システム、および、コンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003196662A (ja) | 2003-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110858394B (zh) | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| KR100799557B1 (ko) | 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치 | |
| US9323785B2 (en) | Method and system for mobile visual search using metadata and segmentation | |
| JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
| JP4719224B2 (ja) | マルチモーダル識別のための客観評価に基づいた識別器組み合わせ | |
| US9323841B2 (en) | Method and apparatus for multi-dimensional content search and video identification | |
| JP2006172437A (ja) | データのストリームにおけるセグメント境界の位置の決定方法、データサブセットを近隣のデータサブセットと比較してセグメント境界を決定する方法、コンピュータによって実行可能な命令のプログラム、ならびにデータのストリームにおける境界及び非境界を識別するシステム又は装置 | |
| CN110418204B (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
| CN110688524A (zh) | 视频检索方法、装置、电子设备及存储介质 | |
| CN111210399A (zh) | 一种成像质量评价方法、装置及设备 | |
| JP2016191975A (ja) | 機械学習装置 | |
| CN110610123A (zh) | 一种多目标车辆检测方法、装置、电子设备及存储介质 | |
| CN111814846B (zh) | 属性识别模型的训练方法、识别方法及相关设备 | |
| CN113963303A (zh) | 图像处理方法、视频识别方法、装置、设备及存储介质 | |
| JP2010081453A (ja) | 付帯情報付加装置及び方法 | |
| JP3648199B2 (ja) | カット検出装置およびそのプログラム | |
| JPWO2015146113A1 (ja) | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム | |
| CN118094118A (zh) | 数据集质量评估方法、***、电子设备及存储介质 | |
| US11527091B2 (en) | Analyzing apparatus, control method, and program | |
| CN117058534A (zh) | 基于元知识适应迁移网络的少样本遥感图像目标检测方法 | |
| KR101551879B1 (ko) | 비교데이터 프루닝과 가우시안 혼합 모델의 유사도 추정을 이용한 유해 동영상 필터링 시스템 및 방법 | |
| CN111723719B (zh) | 基于类别外部记忆的视频目标检测方法、***、装置 | |
| CN114329055A (zh) | 搜索推荐方法及推荐装置、电子设备、存储介质 | |
| KR100981125B1 (ko) | 동영상 처리 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050210 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |