JP4620126B2

JP4620126B2 - 映像識別装置

Info

Publication number: JP4620126B2
Application number: JP2007542240A
Authority: JP
Inventors: 大樹工藤; 博文西川; 嘉明加藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-10-25
Filing date: 2006-06-16
Publication date: 2011-01-26
Anticipated expiration: 2026-06-16
Also published as: WO2007049378A1; CN101292267A; KR20080055941A; US20090116751A1; CN101292267B; KR100963701B1; JPWO2007049378A1; US8014606B2

Description

この発明は、映像信号から重要な区間の映像を識別する映像識別装置に関するものである。

映像のカット点を検出することにより、映像信号をショット単位に分割し、複数のショットの中から重要なショットを識別する映像識別装置が提案されている。
カット点の検出処理としては、例えば、以下の非特許文献１に開示されているように、隣接するフレームの輝度が、固定の閾値より大きくなると、そのフレームの変化点をカット点として検出する方法が存在する。
また、以下の非特許文献２に開示されているように、フレーム間の相違を評価関数を用いて評価し、フレーム間の相違量が、他の映像コンテンツを学習することによって設定された閾値より大きくなると、そのフレームの変化点をカット点として検出する方法が存在する。

日経エレクトロニクスＮｏ．８９２２００５．１．３１号５１頁「部分複号を用いたＭＰＥＧデータからのカット点検出」、電子情報通信学会論文誌Ｖｏｌ．Ｊ８１−Ｄ２Ｎｏ．７、(１９９８年７月)、中島康之、氏原清乃、米山暁夫著、社団法人電子情報通信学会発行、１５６４頁〜１５７５頁

従来の映像識別装置は以上のように構成されているので、隣接するフレームの輝度が、固定の閾値より大きくなると、そのフレームの変化点がカット点として検出されるが、いかなる映像信号が入力される場合でも、閾値が固定的であるため、カット点の検出精度が劣化することがある課題があった。
また、他の映像コンテンツを学習することによって設定された閾値を用いる場合、学習対象のコンテンツによって学習結果が異なるため、入力される映像信号に適用するコンテンツを学習しなければ、カット点を正確に検出することができず、汎用的に使用することができない課題もあった。

この発明は上記のような課題を解決するためになされたもので、いかなる映像信号が入力される場合でも、カット点を正確に検出することができる映像識別装置を得ることを目的とする。

この発明に係る映像識別装置は、特徴量抽出手段により今回抽出された特徴量と特徴量抽出手段により前回抽出された特徴量から特徴量間の距離を算出する距離算出手段と、その距離算出手段により算出された特徴量間の距離の統計量を求め、その統計量からカット点判定用の閾値を算出する閾値算出手段とを設け、その距離算出手段により算出された特徴量間の距離と閾値算出手段により算出された閾値を比較し、その比較結果からカット点を判別するようにしたものである。

この発明によれば、特徴量抽出手段により今回抽出された特徴量と特徴量抽出手段により前回抽出された特徴量から特徴量間の距離を算出する距離算出手段と、その距離算出手段により算出された特徴量間の距離の統計量を求め、その統計量からカット点判定用の閾値を算出する閾値算出手段とを設け、その距離算出手段により算出された特徴量間の距離と閾値算出手段により算出された閾値を比較し、その比較結果からカット点を判別するように構成したので、いかなる映像信号が入力される場合でも、カット点を正確に検出することができる効果がある。

この発明の実施の形態１による映像識別装置を示す構成図である。輝度値の変化やカット点を示す説明図である。この発明の実施の形態１による映像識別装置の処理内容を示すフローチャートである。この発明の実施の形態２による映像識別装置を示す構成図である。この発明の実施の形態２による映像識別装置の重要ショット判別部を示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による映像識別装置を示す構成図であり、図において、特徴量抽出部１は映像信号を入力すると、その映像信号から映像フレームの特徴を表している特徴量を抽出する処理を実施する。なお、特徴量抽出部１は特徴量抽出手段を構成している。
フレーム間距離算出部２は所定の評価関数を用いて、特徴量抽出部１により今回抽出された現在のフレームの特徴量と特徴量バッファ３に記憶されている直前のフレームの特徴量（特徴量抽出部１により前回抽出されたフレームの特徴量）とを比較し、それらの特徴量間の距離（非類似度）を算出する処理を実施する。以下、現在のフレームと直前のフレームとの特徴量間の距離を「フレーム間距離」と称する。
特徴量バッファ３は直前のフレームの特徴量を記憶し、フレーム間距離算出部２がフレーム間距離を算出すると、次回のフレーム間距離の算出に備えるため、現在記憶している直前のフレームの特徴量を、特徴量抽出部１により今回抽出された現在のフレームの特徴量に更新する。
なお、フレーム間距離算出部２及び特徴量バッファ３から距離算出手段が構成されている。

カット点判定用データ算出部４はフレーム間距離算出部２により算出されたフレーム間距離の統計量を求めて、その統計量からカット点判定用の閾値を算出し、カット点判定用の閾値をカット点判定用データバッファ５に出力する処理を実施する。
カット点判定用データバッファ５はカット点判定用データ算出部４により算出されたカット点判定用の閾値を記憶するメモリである。
なお、カット点判定用データ算出部４及びカット点判定用データバッファ５から閾値算出手段が構成されている。
カット点判定部６はフレーム間距離算出部２により算出されたフレーム間距離とカット点判定用データバッファ５に記憶されているカット点判定用の閾値を比較し、その比較結果からカット点を判別する処理を実施する。なお、カット点判定部６はカット点判別手段を構成している。
図３はこの発明の実施の形態１による映像識別装置の処理内容を示すフローチャートである。

次に動作について説明する。
特徴量抽出部１は、映像信号を入力すると、その映像信号からフレームの特徴を表している特徴量を抽出する（ステップＳＴ１）。
フレームの特徴を表している特徴量としては、例えば、過去のフレームとの差分のほか、色のヒストグラム、色の配置情報、テクスチャ情報、動き情報などが挙げられるが、いずれの特徴量を用いてもよく、また、複数の特徴量を用いてもよい。

フレーム間距離算出部２は、特徴量抽出部１が現在のフレームの特徴量を抽出すると、特徴量バッファ３から直前のフレームの特徴量（特徴量抽出部１により前回抽出されたフレームの特徴量）の読出しを行う。
そして、フレーム間距離算出部２は、所定の評価関数を用いて、現在のフレームの特徴量と直前のフレームの特徴量とを比較し、それらの特徴量間の距離（非類似度）であるフレーム間距離を算出する（ステップＳＴ２）。
なお、フレーム間距離算出部２は、フレーム間距離を算出すると、特徴量バッファ３の記憶内容を現在のフレームの特徴量に更新する。

カット点判定部６は、フレーム間距離算出部２がフレーム間距離を算出すると、そのフレーム間距離とカット点判定用データバッファ５に記憶されているカット点判定用の閾値を比較する（ステップＳＴ３）。
カット点判定部６は、そのフレーム間距離がカット点判定用の閾値より大きい場合、カット点であると判定し、その旨を示す判定結果を出力する（ステップＳＴ４）。
一方、そのフレーム間距離がカット点判定用の閾値より大きくない場合、カット点ではないと判定し、その旨を示す判定結果を出力する（ステップＳＴ５）。
ここでは、カット点判定部６はカット点判定用の閾値を用いて、カット点を判別しているが、例えば、ショット時間などを考慮して、カット点を判別するようにしてもよい。

なお、カット点判定部６から出力される判定結果は、カット点であるか否かを示す情報であるため、例えば、ユーザや外部のプログラムが、映像コンテンツの編集や要約再生などを実施する際に用いることができる。

カット点判定用データ算出部４は、カット点判定部６の判定結果がカット点である旨を示す場合、カット点判定用データバッファ５の記憶内容を所定の値に初期化する（ステップＳＴ６）。
一方、カット点判定部６の判定結果がカット点ではない旨を示す場合、フレーム間距離算出部２により算出されたフレーム間距離の統計量を求めて、その統計量からカット点判定用の閾値を算出し、カット点判定用データバッファ５の記憶内容を当該閾値で更新する（ステップＳＴ７）。
具体的には、以下のようにして、カット点判定用の閾値を算出する。

実際の映像コンテンツは、複数のショットから構成されており、ショットの切れ目であるカット点の直後のフレームがカット点であることは考え難く、ショットは複数のフレームが続くものと考えられる。
ここでは、説明の便宜上、各ショットのｎ−１番目のフレームと、ｎ番目のフレームの距離をＤｉｓｔ_nとする。
この距離Ｄｉｓｔ_nがある閾値よりも大きいとき、ｉ番目のショットにおけるｎ番目のフレームは、実際には、（ｉ＋１）番目の最初のフレームであると考えられる。即ち、ｉ番目のショットにおけるｎ番目のフレームは、カット点であると考えられる。ただし、ｉ番目のショットの最初のフレームは０番目のフレームであるとする。また、上記の閾値は、適応的に変動するものとして、Ｔｈ_{i_n}とする。

カット点判定用データ算出部４は、閾値Ｔｈ_{i_n}を算出するに際して、ｉ番目のショットにおけるフレームの距離の平均値ａｖｇ_i（Ｄｉｓｔ_n）を算出するとともに、フレームの距離の分散値ｖａｒ_i（Ｄｉｓｔ_n）を算出する。
カット点判定用データ算出部４は、距離の平均値ａｖｇ_i（Ｄｉｓｔ_n）と距離の分散値ｖａｒ_i（Ｄｉｓｔ_n）を算出すると、距離の平均値ａｖｇ_i（Ｄｉｓｔ_n）と距離の分散値ｖａｒ_i（Ｄｉｓｔ_n）を下記の式（１）に代入して、閾値Ｔｈ_{i_n}を算出する。
Ｔｈ_{i_n}＝ａｖｇ_i（Ｄｉｓｔ_n）＋α・ｖａｒ_i（Ｄｉｓｔ_n）・・・（１）

式（１）において、αは係数である。
また、平均値ａｖｇ_i（Ｄｉｓｔ_n）及び分散値ｖａｒ_i（Ｄｉｓｔ_n）は、ｉ番目のショットにおける全てのフレームの平均値及び分散値ではなく、１番目からｎ−１番目までのフレームの平均値及び分散値である。
０番目のフレームは、平均値や分散値の算出に用いずに、１番目のフレームから平均値や分散値の算出に用いている理由は、０番目のフレームの距離Ｄｉｓｔ₀が、前のショットの最後のフレームとのフレーム間距離を表しているからである。
また、ｎ番目のフレームは、平均値や分散値の算出に用いずに、ｎ−１番目までのフレームを平均値や分散値の算出に用いている理由は、入力されたフレームについて、即座にカット点であるか否かを判別することができるからである。

なお、平均値ａｖｇ_i（Ｄｉｓｔ_n）及び分散値ｖａｒ_i（Ｄｉｓｔ_n）は、正確な値ではなく、何らかの近似値を用いてもよい。また、係数αはコンテンツのジャンルなどによって変更してもよい。

以上で明らかなように、この実施の形態１によれば、特徴量抽出部１により抽出された現在のフレームの特徴量と特徴量バッファ３に記憶されている直前のフレームの特徴量から特徴量間の距離であるフレーム間距離を算出するフレーム間距離算出部２と、そのフレーム間距離算出部２により算出されたフレーム間距離の統計量を求め、その統計量からカット点判定用の閾値を算出するカット点判定用データ算出部４とを設け、そのフレーム間距離算出部２により算出されたフレーム間距離とカット点判定用データ算出部４により算出されたカット点判定用の閾値を比較し、その比較結果からカット点を判別するように構成したので、いかなる映像信号が入力される場合でも、カット点を正確に検出することができる効果を奏する。
即ち、この実施の形態１によれば、ショット内に動きがある場合においても、その動きを統計的に分析することで、カット点とショット内の動きの変動を判別することができるため、適応的にカット点判定用の閾値を設定することが可能になり、その結果、従来の固定閾値を用いる場合と比べて、カット点の検出精度を高めることができるようになる。その理由は、以下の通りである。

従来の方法では、カット点の検出にフレーム内の輝度値の変化を用いており、カット点検出用の閾値は固定値である。
一般に、現在のショットの次にショットが来るか否かを予測することは困難である。
似ているショットが続く場合、例えば、同一のスタジオ内において、カメラが切り替わる場合など、カット点であっても輝度値の変化が小さいことがある。
その一方で、同一のカットであっても、フラッシュや、人物の大きな動きなどがある場合、フレーム間の変化（輝度値の変化）が大きくなることがある。
図２は、このような場合の輝度値の変化を示す説明図である。

このため、従来の方法では、大きな閾値を設定すると、小さな変化のカット点を見逃すことになり、小さな閾値を設定すると、変化の大きなショットでカット点を誤検出することがある。
これに対して、この実施の形態１では、単なる輝度値の差以外に、特徴量を用いて汎用性を高めている。さらに、評価関数による評価結果である距離が大きい場合にカット点としているが、その閾値を適応的に設定することで、変化の大きなショットであれば、自動的に閾値が大きくなり、変化の小さなショットであれば、自動的に閾値が小さくなるため、カット点検出の大幅な精度向上と汎用性の向上が期待できる。

なお、この実施の形態1では、特徴量を抽出する際、映像信号からではなく、圧縮された画像の符号化データから特徴量を抽出するようにしてもよい。
また、フレーム間距離を算出する際、必ずしも隣接したフレームではなく、２フレーム以上間隔を空けているフレーム間の距離を算出するようにして、算出処理の高速化を図るようにしてもよい。
このように、フレーム間隔をあけて距離の算出やカット点の検出を行う場合、時間的に圧縮された符号化映像におけるフレーム内符号化を用いたフレームを用いてもよい。
さらに、平均値及び分散値を計算する際、現在のフレームに近いフレームに対して重みを付けるなどの処理を実施して、ショット内における変動の様子の時間変化に対応するようにしてもよい。

実施の形態２．
図４はこの発明の実施の形態２による映像識別装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
重要ショット判別部７はカット点判定部６の判定結果がカット点である旨を示す場合、そのカット点より１つ前のカット点（１つ前のカット点は、カット点判定部６により前回判別されたカット点）を起点とするショットが重要ショットであるか否かを判別する処理を実施する。なお、重要ショット判別部７は重要ショット判別手段を構成している。

図５はこの発明の実施の形態２による映像識別装置の重要ショット判別部７を示す構成図であり、図において、ショット長計算部１１はカット点判定部６の判定結果がカット点である旨を示す場合、現在のフレームの時刻とショット開始点バッファ１２に記憶されているショット開始点の時刻との時刻差を求め、その時刻差をショット長として重要ショット判定部１３に出力する処理を実施する。
ショット開始点バッファ１２はショット開始点の時刻を記憶しているメモリである。
重要ショット判定部１３はショット長計算部１１により算出されたショット長が予め設定された閾値より長い場合、カット点判定部６により判別されたカット点より１つ前のカット点を起点とするショットが重要ショット、１つ前のカット点を起点とするショットの次のショットが重要ショット、または、１つ前のカット点を起点とするショットと次のショットが重要ショットであると判定し、その判定結果を出力する処理を実施する。

次に動作について説明する。
カット点判定部６は、フレーム間距離算出部２がフレーム間距離を算出すると、上記実施の形態１と同様に、そのフレーム間距離とカット点判定用データバッファ５に記憶されているカット点判定用の閾値を比較する。
カット点判定部６は、そのフレーム間距離がカット点判定用の閾値より大きい場合、カット点であると判定し、その旨を示す判定結果を重要ショット判別部７に出力する。
一方、そのフレーム間距離がカット点判定用の閾値より大きくない場合、カット点ではないと判定し、その旨を示す判定結果を重要ショット判別部７に出力する。

重要ショット判別部７は、カット点判定部６の判定結果がカット点でない旨を示す場合、特に処理を実施しないが、カット点判定部６の判定結果がカット点である旨を示す場合、そのカット点より１つ前のカット点を起点とするショットが重要ショットであるか否かを判別する。
即ち、重要ショット判別部７のショット長計算部１１は、ショットのショット長はｉ番目のショットの開始時刻と（ｉ＋１）番目のショットの開始時刻の差で求めることができるので、カット点判定部６の判定結果がカット点である旨を示す場合、現在のフレームの時刻とショット開始点バッファ１２に記憶されているショット開始点の時刻との時刻差を求め、その時刻差をショット長として重要ショット判定部１３に出力する。
なお、ショット長計算部１１は、ショット長を算出すると、ショット開始点バッファ１２の記憶内容を現在のフレームの時刻に更新する。

重要ショット判別部７の重要ショット判定部１３は、ショット長計算部１１がショット長を算出すると、そのショット長と予め設定された閾値を比較する。
そして、重要ショット判定部１３は、そのショット長が予め設定された閾値より長い場合、カット点判定部６により判別されたカット点より１つ前のカット点を起点とするショットが重要ショットであると判定し、その判定結果を出力する。
ここでは、重要ショット判定部１３が、カット点より１つ前のカット点を起点とするショットが重要ショットであると判定しているが、１つ前のカット点を起点とするショットの次のショットが重要ショットであると判定してもよいし、１つ前のカット点を起点とするショットと次のショットの双方が重要ショットであると判定してもよい。

以上で明らかなように、この実施の形態２によれば、カット点判定部６の判定結果がカット点である旨を示す場合、そのカット点より１つ前のカット点を起点とするショットが重要ショットであるか否かを判別するように構成したので、例えば、多数の映像処理方法や音声処理方法など、非常に複雑な処理を実施して計算負荷を高めることなく、ユーザが重要なショットを容易に把握することができる効果を奏する。
この実施の形態２では、特に会話が主体のコンテンツである場合、重要なナレーションや、台詞部分におけるショット長が長いことに基づいている。また、カット点が分かっている場合、計算負荷が非常に小さいことが特徴であり、計算能力の低い機器においても、重要ショットの判定が可能になる。

なお、カット点を求める際、隣接するフレームではなく、離れたフレームを用いて高速化を図るようにしてもよい。この場合においても、出力される重要ショットの開始時刻は本来の重要ショットの開始時刻から僅かな時間ずれるだけである。

以上のように、この発明に係る映像識別装置は、映像信号から重要な区間の映像を識別する際に利用され、カット点検出の正確性に優れた映像識別を行うのに適している。

Claims

映像信号から映像フレームの特徴を表している特徴量を抽出する特徴量抽出手段と、
上記特徴量抽出手段により今回抽出されたフレームの特徴量と上記特徴量抽出手段により前回抽出されたフレームの特徴量から特徴量間の距離を算出する距離算出手段と、
上記距離算出手段により算出された特徴量間の距離を用いて、カット点判定用の閾値を算出する閾値算出手段と、
上記距離算出手段により算出された特徴量間の距離と上記閾値算出手段により算出された閾値を比較し、その比較結果からカット点を判別するカット点判別手段と
を備え、
上記カット点判別手段によりカット点であると判別された場合、上記閾値算出手段は、閾値を初期化し、
上記カット点判別手段によりカット点ではないと判別された場合、上記閾値算出手段は、カット点であると判別されてから今回カット点ではないと判別されるまでに上記距離算出手段で算出された特徴量間の距離の統計量を算出し、その統計量からカット点判定用の閾値を算出することを特徴とする映像識別装置。
カット点判別手段によりカット点が判別された場合、そのカット点より１つ前のカット点を起点とするショットが重要ショットであるか否かを判別する重要ショット判別手段を設けたことを特徴とする請求項１記載の映像識別装置。