JP4384564B2 - 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム - Google Patents

Description

本発明は、映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムに係り、特に、映像中の所望する区間を高精度に検出するための映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムに関する。

従来、番組の中で用いられるスロー再生シーンは、番組制作者等が意図的にその部分を視聴者に詳しく見せるために用いることが多く、そのスロー映像とその事象が起こった元の映像部分は、ダイジェストや要約の候補となり、２次利用、３次利用されることが多い。また、スポーツ番組内容の記述やダイジェストの作成等においては、人手により注目する区間を抽出してダイジェストの作成を行っているが、スポーツ番組は一般的に長時間となるため、その労力は大きなものとなっている。
特に、スポーツ番組において、スロー再生映像として提示される映像は、注目される場面（イベント）が撮影された区間であるため、このスロー再生映像区間とその元となった映像区間を自動抽出することができれば、内容記述やダイジェスト作成に有効な情報となる。

このため、従来から幾つかの方法でスロー再生区間の抽出が行われている。例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）エンコードしたデータの動きベクトルの変化量や変化時間に注目したスロー区間を検出する手法がある（例えば、特許文献１参照。）。

また、スロー再生画像を含むリプレイシーンへの切り替えに用いられるＤＶＥ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｅｆｆｅｃｔ）等の画像表現上の特殊効果を与える特殊効果装置を利用して、画面切り替え演出的な特徴部分からリプレイ区間を抽出する手法がある（例えば、非特許文献１参照。）。
特開２００２−２３８０３０号公報 河合吉彦，馬場口登，北橋忠宏、「放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ２ Ｎｏ．２ ｐｐ．４３２−４３５（２００１．２）．

しかしながら、上述の特許文献１に記載の技術では、処理する映像がＭＰＥＧ方式によりエンコードされている必要があり、また再生中に速度が変化する演出が行われた場合にはスロー再生区間の検出が難しくなり処理が複雑になってしまう。

また、信号処理によって得られるスロー区間情報は、スロー区間の情報しか得られず、その始点、終点の値は誤差を含んだものとなってしまう。

また、実際の放送でのスロー再生は、前後に静止映像区間を伴う演出を行っているのが一般的であり、スロー区間を抽出してその区間だけを再生するようなダイジェストでは、映像的な繋がりがよくない等の問題がある。

また、上述の非特許文献１に記載の技術では、演出毎に変化する効果への対応や効果が行われなかった場合には検出できない等の問題がある。

本発明は、上述した問題点に鑑みなされたものであり、映像中からスロー映像区間を高精度に検出するための映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、映像中からスロー再生区間の区間情報を検出するための映像区間検出装置において、前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成手段とを有することを特徴とする。

請求項１記載の発明によれば、映像中の所望する区間を高精度に検出することができる。

請求項２に記載された発明は、前記フレーム間差分抽出手段は、前記２枚の画像フレームにおける各画素の差の絶対値の総和を算出し、算出された値をフレーム間差分データとすることを特徴とする。

請求項２記載の発明によれば、２枚の画像フレームにおける各画素の差の絶対値の総和により算出されたフレーム間差分データを用いて映像中の所望する区間を高精度に検出することができる。

請求項３に記載された発明は、前記判定手段は、所定の帯域幅を有する信号を加算することにより得られる高周波成分が前記閾値以上の区間である場合にスロー再生区間と判定することを特徴とする。

請求項３記載の発明によれば、スロー再生速度が再生中に変化した場合においても、ピークの周波数が変化するだけでは、加算結果への影響が少なくなり、処理手法やパラメータを変化させずに、スロー再生速度が変化しても区間を高精度に検出することができる。

請求項４に記載された発明は、前記判定手段により得られたスロー再生区間の時刻情報により、前記スロー再生区間のフレーム間差分情報において変化量の極めて小さいフレーム間差分情報を取り除いた変化パターンを生成し、生成した変化パターンに基づいて探索用テンプレートを生成するテンプレート生成手段を有することを特徴とする。

請求項４記載の発明によれば、生成したテンプレートを用いてスロー再生シーンに用いられた元の映像を容易に取得することができる。

請求項５に記載された発明は、前記テンプレート生成手段により得られるテンプレートに基づいて、前記映像中に含まれるスロー再生区間に対応する前記映像中に含まれるオリジナル映像の区間情報を抽出する区間比較手段を有することを特徴とする。

請求項５記載の発明によれば、テンプレートを用いて映像中に含まれるスロー再生区間に対応するオリジナル映像の区間情報を高精度に抽出することができる。

請求項６に記載された発明は、前記区間比較手段により得られる前記オリジナル映像の区間情報を、前記区間情報生成手段により得られる区間情報に付加する区間情報付加手段を有することを特徴とする。

請求項６記載の発明によれば、オリジナル映像の区間を把握することにより、付加価値の高い高精度な番組を制作することができる。

請求項７に記載された発明は、映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて映像を制作するための映像制作装置において、前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成手段と、前記区間情報生成手段により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生手段とを有することを特徴とする。

請求項７記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、ダイジェスト映像等の制作や番組内容の記述に必要となる労力を削減し、区間情報に基づいて付加価値の高い高精度な番組を制作することができる。

請求項８に記載された発明は、映像中からスロー再生区間の区間情報を検出する映像区間検出プログラムにおいて、コンピュータに、前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理、前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理、前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理、前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、及び、前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成処理を実行させる。

請求項８記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像区間検出を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出を実現することができる。

請求項９に記載された発明は、映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて、映像を制作する映像制作プログラムにおいて、コンピュータに、前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理、前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理、前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理、前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成処理、及び、前記区間情報生成処理により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生処理をコンピュータに実行させる。

請求項９記載の発明によれば、映像中の所望する区間を高精度に検出することができる。また、ダイジェスト映像等の制作や番組内容の記述に必要となる労力を削減し、区間情報に基づいて付加価値の高い高精度な番組を制作することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像制作を実現することができる。

本発明によれば、映像中の所望する区間を高精度に検出することができる。また、検出した区間情報に基づいて付加価値の高い高精度な番組を制作することができる。

＜本発明の概要＞
本発明は、例えば、サッカー中継等におけるスポーツ中継番組内のスロー再生区間を自動的に抽出し、他の装置により検出されたカット分割区間との照合を行うことで、スロー再生を含む映像区間（カットの単位）を決定する。

サッカー等動きの速いスポーツのテレビ中継においては、重要な場面（シュート、ゴール、ファール等）で、選手の動きやプレイの様子をわかりやすく見せるために、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）等を用いたスロー映像の再生が番組の間で行われる。したがって、このスロー再生区間を見つけ出すことは、スポーツ番組内の重要な場面を見つけることになる。

本発明は、スロー映像再生区間を含む映像信号（フレームもしくはフィールドの集合）ではフレーム間（もしくはフィールド間）の差分の絶対値が周期的に低下する特徴を利用し、フレーム間の差分情報を時間軸方向に並べた１次元のデータ列に変換した後、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）やＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）等の処理により周波数軸への変換を行い、その結果得られた周波数成分データの中から、高域周波数に一定以上の情報量を持つもの、つまり、短時間に差分データが大きく変動している区間を抽出することによりスロー再生区間を判断する。

そして、その区間情報を他の装置により切り出したカット変更点情報等と照合し、スロー再生映像を含む映像区間の情報を高精度に検出する。また、抽出したスロー映像の区間情報を蓄積しておき、連続的に再生する装置により試合のダイジェスト番組等の制作を行うことができる。

ここで、本発明におけるスロー再生について説明する。一般的に、スロー再生は映像の再生時間を引き延ばす処理であり、例えば、図１に示すような映像フレームの構成となる。図１は、スロー再生におけるフレーム構成の一例を示す図である。

図１に示すように、スロー再生時には、予め設定されたスロー再生速度に合わせて、同一のフレームを複数枚連続して挿入することにより実現される。

例えば、スロー再生速度が通常再生時の２分の１（以下、本明細書中において分数を「１／２」等と表記する。）で再生させる場合には、同じ画像を２フレーム連続して出力させることで、１／２のスロー再生を可能にしている。なお、図１では、フレーム＃１，＃２，＃３とそれぞれ同一のフレーム＃１’，＃２’，＃３’が対応するフレームの直後に挿入されている。

ここで、スロー再生中の連続する２フレームの画素間の差の絶対値の総和、すなわち、２フレーム間の画像の違いを求めると、スロー再生区間中の同一の画像が連続する２フレーム間においては、この差が理論上“０”になる。実際には、ノイズやレベル変動等の影響により“０”にはならないものの、他の区間に比べ非常に小さな値をとる。

このフレーム間の差分情報を時間軸上の１次元の信号として捕らえると、図２に示すようになる。図２は、フレーム間の差分情報の一例を示す図である。なお、図２において、横軸は時間を示し、縦軸は時間に対応したフレーム間の差分の絶対値の総和を示している。

図２に示すように、速度が通常の１／２のスロー再生区間では、違いのあるフレームとほとんど違いの無いフレームが交互に現れ、このデータを時間軸上に並べた場合、スロー再生区間では差分情報が大きく変動する信号として現れる。このように、速度が通常の１／２のデータ列は、例えば音声のような１次元のアナログ信号波形をサンプリングしたときと同様のデータ列となる。

また、差分情報変化のデータ列を１次元信号とし、信号に含まれる周波数成分に注目すると、スロー再生時には通常の映像区間に比較して高域の周波数成分が多く含まれるということができる。

本発明では、この特徴に注目してスロー再生と想定される映像区間を抽出するために、あるフレームから差分データを一定個（２のべき乗）取り出して１次元ＦＦＴ処理等を行い周波数軸に変換する。

ここで、フレーム間差分情報のＦＦＴ処理について、図を用いて説明する。図３は、フレーム間差分情報のＦＦＴ処理結果の一例を示す図である。図３に示すように、スロー再生区間では、高周波帯域に成分の集中する特性となる。したがって、本発明では、高周波成分が予め設定された閾値以上の区間の場合にスロー再生区間と判定する。

なお、上述したように高周波成分が閾値以上の区間の場合にスロー再生区間と判定するが、特定の周波数の値だけではなく、所定の帯域幅を有する信号を加算した値を基準に判定してもよい。例えば、図３に示す点線枠で囲まれる領域の和をフレームにおけるスロー再生信頼度とし、その信頼度を基準にスロー再生区間の判定を行う。

これにより、例えばスロー再生速度が再生中に変化した場合において、ピークの周波数が変化するだけでは加算結果への影響が少なくなるため、処理手法やパラメータを変化させずに、スロー再生速度が変化しても区間の検出が可能となる。

なお、本発明においては、通常再生の映像がスロー再生区間として判定されてしまう場合として、例えば画面内の広い範囲にわたり短い周期で動いては止まる動作を繰り返している映像が考えられるが、通常の撮影においてはそのような被写体はほとんど現れないため誤検出が少ないといえる。

また、例えば抽出されたスロー再生区間の時刻情報を用いて、その区間のフレーム間差分情報から静止部分と推定される変化量の極めて小さいフレーム間差分情報を取り除いた変化パターン（通常再生速度でのフレーム間差分情報に相当）に基づいて探索用テンプレートを生成し、生成された探索用テンプレートを利用して、スロー再生の元となったオリジナル映像の区間を探索して、スロー再生区間との対応付けを行うことにより、映像中の所望する区間を高精度に検出することができる。これにより、ハイライトシーンやダイジェスト版の番組の生成に利用することで、付加価値の高い高精度な番組を制作することができる。

＜実施形態＞
以下に、本発明における映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜実施例１：スロー映像区間検出＞
図４は、本発明における映像区間検出装置の第１の実施例を示す図である。図４に示す映像区間検出装置１０は、フレーム間差分抽出手段１１と、ＦＦＴ処理手段（変換手段）１２と、高周波数領域加算手段１３と、判定手段１４と、区間情報生成手段１５と、スロー区間情報蓄積手段１６とを有するよう構成されている。

フレーム間差分抽出手段１１は、入力となる映像（フレームデータ）からフレーム間の差分情報を取得する。具体的には、フレーム間差分抽出手段１１は、入力となる映像データから、あるフレームとその次のフレームの２フレームの画像データを取り出し、２枚のフレームの画像間における各画素の差の絶対値の総和を算出して、算出されたフレーム間差分データを出力する。なお、フレーム間差分抽出手段１１は、フレーム間差分の算出を処理対象となる映像データの全フレームに対して行う。

ここで、算出されたフレーム間差分データは、高速度撮影装置等の特殊なスロー再生装置を用いない通常のスロー再生区間において、例えば再生速度が１／２の場合に同じ画像が２回現れるため、その２フレーム間において差分情報の総和は、理論上“０”になる。実際には、ノイズやレベル変動等に影響により“０”にはならないが、前後のフレーム間に比べ非常に小さな値をとり、上述の図２に示すようなデータ列となる。

次に、ＦＦＴ処理手段１２は、フレーム間差分データを入力して差分情報の周波数軸変換を行う。具体的に説明すると、フレーム間差分情報を時間軸上のデータ列としてみる場合、スロー再生区間は上述の図２に示すようにサンプリング周波数の半分の周波数成分を持つ１次元の信号をサンプリングしたときのデータ列とほぼ同様の形態となる。

ここで、例えば、フレーム単位で差分情報を得ている場合は、フレーム間差分情報のデータ周期は３０Ｈｚとなり、得られたデータは３０Ｈｚのサンプリング周波数でサンプリングした１次元データとみなすことができる。

ここで、上述の内容について図を用いて説明する。図５は、フレーム間差分データをサンプルデータとした場合の入力信号の一例を示す図である。一般に映像中のフレームは一秒間に３０枚表示されているため、フレームの差分データの出力間隔は１／３０ｓｅｃ毎となる。したがって、図５に示すようなフレーム間差分データをサンプルデータとした入力信号の再生速度１／２の場合の波形は、１５Ｈｚの信号とみなすことができる。

また、図６は、再生速度が異なる場合の波形の一例を示す図である。なお、図６（ａ）は、再生速度が通常速度の１／３の場合のフレーム間差分データの一例を示し、図６（ｂ）は、再生速度が通常速度の２／３の場合のフレーム間差分データの一例を示している。

ここで、再生速度が通常速度の１／３の場合は、図６（ａ）に示すパターンとなるため１０Ｈｚの周波数の信号とみなすことができ、また再生速度が通常速度の２／３の場合は、図６（ｂ）に示すパターンとなる。つまり、パターンは異なるが山と谷の数１／３スローと同じになり、１０Ｈｚの周波数の信号とみなすことができる。

このように、差分情報を周波数軸で見た場合、スロー再生時には特定の周波数成分（サンプリング周波数と比較して高域成分）が一定時間続くことになる。ＦＦＴ処理手段１２は、フレーム間差分データの注目するフレームからｎフレーム（ｎ：２のべき乗個）のデータを入力としてＦＦＴを行い、周波数軸上のデータに変換し、変換したデータを高周波数領域加算手段１３に出力する。

高周波数領域加算手段１３は、入力したデータから高域成分の抽出を行う。具体的に説明すると、スロー再生速度が一定の場合、理論的には１０Ｈｚや１５Ｈｚといった限られた周波数にピークを発生するが、現実的にはある領域の周波数内に分布することになる。これはスロー再生のスピードが変化していたり、元となる映像にノイズ等が含まれている場合があるからである。

そこで、高周波数領域加算手段１３は、このようなノイズの除去やスロー再生速度の変化に対応するため、高域成分の加算による平均化を行う。つまり、上述した図３にしめしたように、フレーム間差分情報のＦＦＴ結果の中から高域となる一定の帯域のデータを高周波数領域加算手段１３で加算し、ノイズの平均化を行う。更に、高周波数領域加算手段１３は、スロー再生速度の変化によりばらつきが生じるデータを加算することで平均化する。この加算値をフレームにおけるスロー再生信頼度データとする。

このように、高域成分の加算による平均化を行うことで、所望する映像の抽出精度を向上することができる。また、高周波数領域加算手段１３は、スロー再生信頼度データを判定手段１４に出力する。

判定手段１４は、高周波数領域加算手段１３から得られるスロー再生信頼度データに基づいてスロー再生区間の判定を行う。具体的に説明すると、判定手段１４は、高周波数領域加算手段１３により得られたスロー再生信頼度データが一定の閾値以上の値を取る部分をスロー再生区間の候補データとする。

ここで、区間の判定には、例えば、スロー再生が一定の秒数（例えば、２秒以上等）で表示されることが多い特徴を利用して、継続時間が設定した秒数（例えば、１秒等）以下の信号領域は破棄する。また、ノイズ等に対応するため、設定した一定秒数（例えば、１秒等）以内で途切れた場合には継続と判断し、スロー再生区間の候補をフレーム番号や時間情報等からなる区間候補情報を出力する。ここで、区間候補情報の出力例について図を用いて説明する。

図７は、区間候補情報の一例を示す図である。図７に示すように、判定手段１４から出力される区間候補情報は、開始から終了までの時間情報及びフレーム番組が付与されて出力される。

例えば、図７では、「ｓｔａｒｔ ００：００：０５：０２ ｄｕｒａｒｉｏｎ ００：００：１１：２９」の区間候補情報により、スロー再生区間の区間候補は開始位置が番組の先頭から０時０分５秒時の２フレーム目であり、継続時間が１１秒２９フレームであることを示している。

ここで、判定手段１４によるスロー再生区間の判定においては、ＦＦＴ処理を行うためのデータとして差分情報から複数のフレーム取り出すための窓を設定するが、この窓には幅があるため、特定の周波数帯域の盛り上がり部分は実際のスロー区間開始点より前から得られてしまう。そこで、オフセットを窓の半分の幅として設定することで開始点時刻の精度を高めることができる。例えば、６４フレームをサンプルの窓として設定した場合、注目点は１フレーム目であるが、中央の点３２サンプル目を開始点とする。また、ＦＦＴ処理を行う際に注目するフレームの前後からサンプルデータを収集する方法を用いることもできる。

区間情報生成手段１５は、入力される区間候補情報から区間の決定を行う。具体的に説明すると、判定手段１４により得られたスロー再生区間候補情報には、演出上スロー再生の前後に付加されるストップモーション区間が含まれない。また、ノイズの影響による誤差のためにスロー再生が行われている区間全域を検出しているわけではない。

そこで、区間情報生成手段１５は、上述にて得られる区間候補情報と、外部からの映像解析等により得られる映像区間情報、例えば、映像の色変化等による区間分割処理等で得られた区間情報（カット分割区間等）との照合を行う。ここで、上述の内容について図を用いて説明する。

図８は、スロー区間候補からスロー映像区間を決定する一例を示す図である。区間情報生成手段１５は、図８に示すようにスロー再生区間が含まれる一続きの映像区間（映像の切り替わり（カット点））を区間情報の対応関係から求める。

例えば、図８（ａ）に示すように１つのカット内にスロー区間候補情報が含まれている場合は、その映像区間のカット点（カット２）をスロー映像区間情報（Ｔｉｎ〜Ｔｏｕｔ）として決定し、スロー区間情報蓄積手段１６に出力する。

また、図８（ｂ）に示すように複数のカットにまたがってスロー再生判定区間と対応した場合、時間的な重複が大きい方の映像区間のカット点（カット２）をスロー映像区間情報（Ｔｉｎ〜Ｔｏｕｔ）として決定し、スロー区間情報蓄積手段１６に出力する。

なお、スロー区間候補が複数のカットにまたがる場合には、複数のカットを出力してもよく、予め設定されたカット（前半、後半、最初のカットから３カット分まで等）を映像区間として出力してもよい。

スロー区間情報蓄積装置１６は、区間情報生成手段１５により得られるスロー映像区間情報を蓄積する。上述したように、本実施形態によれば、映像中の所望する区間を高精度に検出することができる。また、スロー区間情報蓄積装置１６に蓄積された映像を用いて、ダイジェスト版等の番組を高精度に制作することができる。

＜実施例２：オリジナル区間検出＞
次に、本発明における実施例２として、スロー映像から元の映像区間（オリジナル区間）の検出を行うための映像区間検出装置について、図を用いて説明する。

図９は、本発明における映像区間検出装置の第２の実施例を示す図である。図９に示す映像区間検出装置２０は、スロー区間情報蓄積手段１６と、探索テンプレート生成手段２１と、指定区間データ取得手段２２と、区間比較手段２３と、区間情報生成手段２４と、オリジナル区間情報付加手段２５とを有するよう構成されている。なお、実施例２においては、すでにスロー区間情報蓄積手段１６に上述したスロー再生区間のデータが蓄積されているものとする。図９では、そのスロー再生区間として得られた情報から、そのスロー再生の元となった映像区間を検出する。

探索テンプレート生成手段２１は、フレーム間差分データ及びスロー区間情報蓄積手段１６に蓄積されているスロー映像を入力し、入力したフレーム間差分データ及びスロー映像に基づいて、オリジナル映像を検出するための探索テンプレートを生成する。なお、図９に示すフレーム間差分データは、図４に示したフレーム間差分抽出手段１１の出力である。探索テンプレート生成手段２１は、作成した探索テンプレートを区間比較手段２３に出力する。

また、指定区間データ取得手段２２は、フレーム間差分データを入力し、予め設定される指定区間のデータを取得する。また、指定区間データ取得手段２２は、取得したデータを区間比較手段２３に出力する。

区間取得装置２３は、探索テンプレート生成手段２１により得られるテンプレートと、指定区間データ取得手段２２により得られる区間データとの比較を行い、抽出されたオリジナル映像候補となる区間情報を区間情報生成手段２４に出力する。

区間情報生成手段２４は、図４に示す区間情報生成手段１５と同様に、外部からの映像解析等により得られる映像区間情報、例えば、映像の色変化等による区間分割処理等で得られた区間情報を入力し、区間比較手段２３により得られるオリジナル映像候補区間との照合を行う。

また、区間情報生成手段２４は、照合により抽出されたオリジナル映像区間情報を出力する。オリジナル区間情報付加手段２５は、オリジナル映像区間情報を入力し、スロー区間情報にオリジナル区間情報を付加する。また、オリジナル区間情報付加手段２５は、付加したスロー区間情報をスロー区間情報蓄積手段１６に出力する。

これにより、スロー再生情報にオリジナル映像を付加させることができる。また、この情報を用いて高精度な番組の制作を行うことができる。

ここで、オリジナル区間検出処理手順について具体的に図を用いて説明する。図１０は、オリジナル区間検出処理内容について説明するための一例の図である。ここで、図１０（ａ）は、探索するオリジナル映像区間である。

まず、スロー区間候補として得られた区間のフレーム番号から元となるフレーム間差分映像のデータを取得する（図１０（ｂ））。また、該当部分のうち差分データが極めて小さいフレームの情報を削除する。つまり、静止画として再生されたフレームの信号を削除することで、通常速度で再生したフレーム間差分データを作成する。残ったフレーム間差分データを連続させオリジナル区間検出用テンプレートを生成する（図１０（ｃ））。このデータをスロー再生された時間から遡って番組のフレーム間差分映像と一致する区間を探索し、スロー区間の元となる映像区間の時間情報を取得する（図１０（ｄ））。

なお、このときにも上述したように他の手法により分割した映像区間との対応を取ることで不必要なカットの細切れを防ぐことができる。

ここで、オリジナル区間検出処理により検出したオリジナル区間情報について図を用いて説明する。図１１は、オリジナル区間検出処理により検出したオリジナル区間情報の一例を示す図である。図１１に示すスロー検出データのうち、下線で示す「ｓｔａｒｔ ００：１０：３３：１２ ｄｕｒａｒｉｏｎ ００：００：１３：０４ ｏｒｇ＿ｓｔａｒｔ ００：０９：５０：１５ ｏｒｇｄｕｒａｔｉｏｎ ００：００：０８：２２」の区間情報は、開始位置が番組の先頭から０時１０分３３秒１２フレーム目であり、経過時間が１３秒４フレームであることを示している。

また、このスロー検出データに対応するオリジナル映像の区間は、開始位置が番組の先頭から０時９分５０秒１５フレーム目であり、経過時間が８秒２２フレームであることを示している。

図１１のように、スロー区間情報にオリジナル映像の情報を付加することにより、ダイジェスト版等の番組を高精度に制作することができる。

＜実施例３：映像制作装置＞
更に、上述した映像区間検出装置を用いて、例えばダイジェスト番組等の高精度な番組を制作し、視聴者に表示するための映像制作装置について、図を用いて説明する。

図１２は、本発明における映像制作装置の一構成例を示す図である。図１２に示す映像制作装置３０は、区間指定映像再生手段３１と、表示手段３２とを有するよう構成されている。

区間指定映像再生手段３１は、番組映像データと、その映像データに対応して上述した処理により検出されたスロー映像区間情報を入力し、予め設定される区間指定映像再生処理に基づいてダイジェスト番組を生成し、表示手段３２に出力する。

表示手段３２は、区間指定映像再生手段３１から入力されたダイジェスト番組を表示する。これにより、視聴者が所望する番組を容易に生成することができ、視聴者に提供（表示）することができる。

ここで、区間指定映像再生手段３１について具体的に説明すると、例えば上述した映像区間の検出により蓄積されたスロー再生区間の時刻情報及びオリジナル映像区間を、図１２に示す映像制作装置３０により実行されるプログラムを呼び出し、順次再生することで試合のダイジェストを再生することができる。例えば、オリジナル区間が抽出できている場合には、オリジナル区間、スロー区間の順で再生することで、より効果的なダイジェストとすることができる。

上述したように、本発明における映像区間検出装置、映像制作装置により、映像中の所望する区間を高精度に検出することができ、付加価値の高い高精度な番組を効率的に制作し、視聴者に提供することができる。

ここで、上述した映像区間検出装置、及び映像制作装置は、上述した専用の装置構成により本発明における映像区間検出及び映像制作を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における映像区間検出、映像制作を実現することができる。

＜ハードウェア構成＞
ここで、本発明における映像区間検出及び映像制作が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図１３は、本発明における映像区間検出、映像制作が実現可能なハードウェア構成の一例を示す図である。

図１３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置４１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置４５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、映像区間検出、映像制作における各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また格納することもできる。

ネットワーク接続装置４７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで映像区間検出、映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出、映像制作を実現することができる。次に、実行プログラムにおける処理手順についてフローチャートを用いて説明する。

＜映像区間検出処理＞
図１４は、本発明における映像区間検出処理手順を示す一例のフローチャートである。まず、映像中の所定のフレームの画像データを取り出す（Ｓ０１）。また、画像データを取り出したフレームの次のフレームの画像データを取り出す（Ｓ０２）。

次に、２フレーム間の各画素の差の絶対値の総和を計算し、フレーム間の差分データを出力する（Ｓ０３）。ここで、映像中の全フレームについて、上述の処理が終了したかを判断する（Ｓ０４）。映像中の全フレームにおいて処理が終了していない場合（Ｓ０４において、ＮＯ）は、フレームを１フレーム移動してＳ０１以降の処理を行う。つまり、映像中の全フレームにおけるフレーム間差分データを出力するまでＳ０１〜Ｓ０３までの処理を繰り返し行う。

また、映像中の全フレームにおいて処理が終了した場合（Ｓ０４において、ＹＥＳ）、フレーム間差分データを入力し、ＦＦＴ処理を行う（Ｓ０５）。次に、ＦＦＴ処理されたフレーム間差分データの高周波領域の加算を行い（Ｓ０６）、加算されたスロー再生信頼度データを保存する。

次に、保存された信頼度データを読み込み（Ｓ０７）、高周波領域の成分が予め設定された閾値以上であるかを判断する（Ｓ０８）。ここで、高周波成分が閾値以上でない場合（Ｓ０８において、ＮＯ）、次の信頼度データを読み込みＳ０８の処理を行う。

また、高周波成分が閾値以上である場合（Ｓ０８において、ＹＥＳ）、閾値以上の高周波成分が予め設定された時間中に途切れていないか（“断”になっていないか）が判断する（Ｓ０９）。途切れている場合（Ｓ０９において、ＮＯ）、次の信頼度データを読み込みＳ０８以降の処理を行う。また、設定された時間中に高周波成分が閾値以上である場合（Ｓ０９において、ＹＥＳ）、予め設定された時間分に対して閾値以上の状態が継続しているかを判断する（Ｓ１０）。

ここで、高周波成分が設定された時間分に対して閾値以上の状態が継続していない場合（Ｓ１０において、ＮＯ）、次の信頼度データを読み込みＳ０８以降の処理を行う。

また、高周波成分が設定された時間分に対して閾値以上の状態が継続している場合（Ｓ１０において、ＹＥＳ）、スロー再生区間候補情報を出力する。

次に、スロー再生の区間候補情報と映像の区間情報等とに基づいて、区間の重なっている部分を判定しスロー再生映像区間情報を出力する（Ｓ１１）。

次に、全データにおいてＳ１１までの処理が終了したかを判断する（Ｓ１２）。ここで、全データについて処理が終了していない場合（Ｓ１２において、ＮＯ）、次の信頼度データを読み込みＳ０８以降の処理を行う。

また、全データについてＳ１１までの処理が終了している場合は、オリジナル区間を検出するかを判断する（Ｓ１３）。オリジナル区間を検出しない場合（Ｓ１３において、ＮＯ）映像区間検出処理を終了する。

また、オリジナル区間を検出する場合（Ｓ１３において、ＹＥＳ）、まず探索用のテンプレートを生成する（Ｓ１４）。次に、Ｓ１４にて生成したテンプレートと元の映像（オリジナル映像）とを比較してスロー再生に対応するオリジナル映像部分を検出する（Ｓ１５）。

更に、Ｓ１１の処理により得られたスロー再生映像区間情報にオリジナル区間情報を付加し、スロー再生映像区間情報を出力して処理を終了する（Ｓ１６）。

これにより、映像中の所望する区間を高精度に検出することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像区間検出を実現することができる。また、プログラムをインストールすることにより、容易に映像区間検出を実現することができる。

＜映像制作処理＞
次に、映像制作処理手順について、フローチャートを用いて説明する。図１５は、本発明における映像制作処理手順を示す一例のフローチャートである。まず、上述した映像区間検出処理（Ｓ０１〜Ｓ１２又はＳ１６）によりスロー再生区間情報を出力する（Ｓ２１）。

次に、元の映像を入力し（Ｓ２２）、予め指定される区間に基づいて映像を抽出することで新たなダイジェスト版等の番組映像を制作する（Ｓ２３）。また、制作された映像を表示する（Ｓ２４）。これにより、区間情報に基づいて付加価値の高い高精度な番組を制作し、視聴者に提供することができる。また、プログラムを有することで、特別な装置構成を必要とせず、低コストで映像制作を実現することができる。また、プログラムをインストールすることにより、容易に映像制作を実現することができる。

上述したように本発明によれば、映像中の所望する区間を高精度に検出することができる。具体的には、フレーム間信号（ＲＧＢ値、ＹＣ値等）の差分絶対値の総和と１次元ＦＦＴやＤＦＴ等の単純な計算処理により、高精度にスロー再生の候補区間を得ることができる。

また、スロー再生区間の判定処理には次のような効果がある。まず、入力映像の形式は問わず、フレーム、もしくはフィールドを単位とするデジタル化データがあれば処理可能である。また、フレーム間差分データに対する周波数軸上での処理のため、ノイズやピンボケのある画像、低解像度の画像等においても有効な検出が可能になる。また、計算コストが極めて低い簡易な手法を用いるため、フレーム間差分の計算、１次元ＦＦＴ（ＤＦＴ）等による計算ともリアルタイム（１／３０秒以下）で処理可能であるので、最大遅延はＦＦＴに必要な窓分だけで、実時間処理も可能である。

更に、ある帯域の周波数成分の量にのみ注目してスロー再生区間を識別しており、スロー再生区間中に再生速度が変化しても処理手法やパラメータを変化することなくスロー再生区間の抽出が可能である。また、上述の映像区間検出により付加価値の高い高精度な番組制作を実現することができる。

なお、本発明は、ダイジェスト視聴や放送番組制作、放送番組視聴補助等の技術に適用することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

スロー再生におけるフレーム構成の一例を示す図である。 フレーム間の差分情報の一例を示す図である。 フレーム間差分情報のＦＦＴ処理結果の一例を示す図である。 本発明における映像区間検出装置の第１の実施例を示す図である。 フレーム間差分データをサンプルデータとした場合の入力信号の一例を示す図である。 再生速度が異なる場合の波形の一例を示す図である。 区間候補情報の一例を示す図である。 スロー区間候補からスロー映像区間を決定する一例を示す図である。 本発明における映像区間検出装置の第２の実施例を示す図である。 オリジナル区間検出処理内容について説明するための一例の図である。 オリジナル区間検出処理により検出したオリジナル区間情報の一例を示す図である。 本発明における映像制作装置の一構成例を示す図である。 本発明における映像区間検出、映像制作が実現可能なハードウェア構成の一例を示す図である。 本発明における映像区間検出処理手順を示す一例のフローチャートである。 本発明における映像制作処理手順を示す一例のフローチャートである。

符号の説明

１０，２０ 映像区間検出装置
１１ フレーム間差分抽出手段
１２ ＦＦＴ処理手段
１３ 高周波数領域加算手段
１４ 判定手段
１５ 区間情報生成手段
１６ スロー区間情報蓄積手段
２１ 探索テンプレート生成手段
２２ 指定区間データ取得手段
２３ 区間比較手段
２４ 区間情報生成手段
２５ オリジナル区間情報付加手段
３０ 映像制作装置
３１ 区間指定映像再生手段
３２ 表示手段
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ メモリ装置
４６ ＣＰＵ
４７ ネットワーク接続装置
４８ 記録媒体

Claims (9)

1. 映像中からスロー再生区間の区間情報を検出するための映像区間検出装置において、
   前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、
   前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、
   前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、
   前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、
   前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成手段とを有することを特徴とする映像区間検出装置。
2. 前記フレーム間差分抽出手段は、
   前記２枚の画像フレームにおける各画素の差の絶対値の総和を算出し、算出された値をフレーム間差分データとすることを特徴とする請求項１に記載の映像区間検出装置。
3. 前記判定手段は、
   所定の帯域幅を有する信号を加算することにより得られる高周波成分が前記閾値以上の区間である場合にスロー再生区間と判定することを特徴とする請求項１又は２に記載の映像区間検出装置。
4. 前記判定手段により得られたスロー再生区間の時刻情報により、前記スロー再生区間のフレーム間差分情報において変化量の極めて小さいフレーム間差分情報を取り除いた変化パターンを生成し、生成した変化パターンに基づいて探索用テンプレートを生成するテンプレート生成手段を有することを特徴とする請求項１乃至３の何れか１項に記載の映像区間検出装置。
5. 前記テンプレート生成手段により得られるテンプレートに基づいて、前記映像中に含まれるスロー再生区間に対応する前記映像中に含まれるオリジナル映像の区間情報を抽出する区間比較手段を有することを特徴とする請求項４に記載の映像区間検出装置。
6. 前記区間比較手段により得られる前記オリジナル映像の区間情報を、前記区間情報生成手段により得られる区間情報に付加する区間情報付加手段を有することを特徴とする請求項５に記載の映像区間検出装置。
7. 映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて映像を制作するための映像制作装置において、
   前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出手段と、
   前記フレーム間差分抽出手段により得られるフレーム間差分データにフーリエ変換を行う変換手段と、
   前記変換手段により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算手段と、
   前記領域加算手段により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定手段と、
   前記判定手段により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成手段と、
   前記区間情報生成手段により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生手段とを有することを特徴とする映像制作装置。
8. 映像中からスロー再生区間の区間情報を検出する映像区間検出プログラムにおいて、
   コンピュータに、
   前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理、
   前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理、
   前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理、
   前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、及び、
   前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、スロー再生区間の情報を生成する区間情報生成処理を実行させるための映像区間検出プログラム。
9. 映像中からスロー再生区間の区間情報を検出し、検出された区間情報に基づいて、映像を制作する映像制作プログラムにおいて、
   コンピュータに、
   前記映像中に含まれる連続する２枚の画像フレームからフレーム間差分データを抽出するフレーム間差分抽出処理、
   前記フレーム間差分抽出処理により得られるフレーム間差分データにフーリエ変換を行う変換処理、
   前記変換処理により得られる信号から予め設定される周波数領域の部分のみを加算する領域加算処理、
   前記領域加算処理により得られる領域を予め設定される閾値に基づいて映像の判定を行う判定処理、
   前記判定処理により得られる区間候補と、前記映像の区間情報とに基づいて、予め設定される区間の情報を生成する区間情報生成処理、及び、
   前記区間情報生成処理により生成された区間情報に基づいて、前記映像中からスロー再生区間の映像を再生する区間指定映像再生処理をコンピュータに実行させるための映像制作プログラム。

Images