JP5480485B2

JP5480485B2 - イメージ評価方法及び装置

Info

Publication number: JP5480485B2
Application number: JP2008263204A
Authority: JP
Inventors: ピーター・チャップマン
Original assignee: テクトロニクス・インターナショナル・セールス・ゲーエムベーハー
Priority date: 2007-10-09
Filing date: 2008-10-09
Publication date: 2014-04-23
Anticipated expiration: 2028-10-09
Also published as: JP2009095029A; EP2048871B1; US9031134B2; US20090128633A1; EP2048871A1

Description

本発明は、被試験イメージが基準イメージに類似しているか否かを判断する方法及び装置に関する。本発明は、特に、ビデオ・フレームのシーケンスが静止していると見なせるか否かの判断にも適用できる。

ビデオ映像（footage）を含む多くのアプリケーションにおいて、ビデオ映像のビデオ・フレーム（即ち、順次観察したときに、動画イメージのシーケンスを形成する個別のイメージ）のシーケンスが静止であると見なせるか否かを判断することが有用である。例えば、終わりにてフレームの凍結したシーケンス（即ち、ほぼ等しいフレームのシーケンス）を有することは、テレビジョン又は他の類似のメディア向けのビデオ広告にとって、共通の条件である。アナログからデジタル形式に不正確に変換されたビデオ映像の共通の特徴である凍結フレームの予期せぬシーケンスについて、ビデオ映像がチェックできることも有用である。

ビデオ・フレームのシーケンスが静止していると見なせるか否かの判断をする方法は、関心のある信号又はビデオ映像内にノイズが存在するときに健全であることが重要である。アナログ捕捉及び伝送処理の期間中、及びビデオ映像をデジタル的に圧縮する処理において、かかるノイズが典型的には生じる。かかる方法が、ビデオ映像を構成するビデオ・フレームのわずかな部分のみにおける変化を検出できることも重要である。

ビデオ・フレームのシーケンスが静止であると見なせるか否かを判断する１つのアプローチは、そのシーケンスにおける対の隣接するフレーム（基準フレーム及び続きのフレームという）の間のＲＭＳ差値を計算することである。この方法において、基準フレームの各ピクセルの値と続きのフレームの各対応ピクセルの値との間の差を計算する。これらの差を二乗し、その二乗の結果の和を計算し、その二乗の和を単一フレーム内のピクセルの数で乗算して平均化する。次に、この平均化の結果の二乗の平方を計算し、しきい値と比較し、複数フレーム間の差が許容限界内かを評価して、基準フレームとほぼ同じ続きのフレームであることを示す。この試験をシーケンス内の総てのフレームに対して繰り返し、フレームの総てがこれらの隣接フレームとほぼ同じであると判ると、フレーム・シーケンスが静止であると見なすことができる。

このアプローチの欠点は、続きのフレームが基準フレームとほぼ同じか否かの評価からノイズの影響を除くのにしきい値が充分に大きい場合、フレームの小さな部分の動き（即ち、続きのフレームの小さな部分と基準フレームの対応部分と間のピクセル値の差）が検出できず、フレーム・シーケンスを静止と見なす偽のポジティブ評価を行われる。

別のアプローチは、基準及び続くビデオ・フレームの対応ピクセルの間の差を計算し、これら個別の差の各々をしきい値と比較する。試験を行って、全体のビデオ・フレームに対する個別の差の割合を計算する。これは、しきい値を越える。この割合がシーケンス内の総てのフレームに対する所定最大値より小さい場合、フレーム・シーケンスが静止であると見なせる。

特開２００３−１９９１２７号公報特開２０００−１０２０４１号公報

このアプローチの困難さは、ノイズが原因となり複数フレーム間の差に非常に敏感ではなく、フレームの小さな部分内の移動に特別に敏感でもないということである。

上述の両方のアプローチは、第１及び続きのフレームの対応ピクセル間の差の計算が、フレームを構成する総てのピクセルに対して実行されなければならないので、計算が大変である。

本発明の第１の観点によれば、被試験イメージが基準イメージに類似するか否かを評価する方法が提供される。この方法では、ブロックの対を順に試験し；ブロックの各対が被試験イメージのブロックと基準イメージの対応ブロックとから成り；試験は、ブロックの間の差を示す差指標を計算し、差指標をしきい値と比較し；差指標がしきい値よりも良い場合に、試験を合格とし；ブロックの対の総てが試験を合格した場合に、被試験イメージ及び基準イメージが類似しているとすることを特徴とする。

本発明の第２の観点によれば、ビデオ・フレームのシーケンスが静止であると見なせるかを評価する方法が提供される。この方法では、基準フレーム及びシーケンスの続きのフレームを捕捉し；基準フレームのブロックの対応対と続きのフレームを順に試験し；試験は、被試験対のブロックの間の差を示す差指標を計算し、差指標をしきい値と比較し；差指標がしきい値よりも良い場合に、試験を合格とし；ブロックの対の総てが試験を合格した場合に、基準フレーム及び続きのフレームが静止していると見なせる指示を行うことを特徴とする。

本発明の第３の観点によれば、被試験イメージが基準イメージに類似するか否かを評価する装置を提供する。この装置では、ブロックの対を順に試験する試験手段を具え；ブロックの各対が被試験イメージのブロックと基準イメージの対応ブロックとから成り；試験は、ブロックの間の差を示す差指標を計算し、差指標をしきい値と比較し；差指標がしきい値よりも良い場合に、試験を合格とし；ブロックの対の総てが試験を合格した場合に、被試験イメージ及び基準イメージが類似しているとすることを特徴とする。

本発明の第４の観点によれば、ビデオ・フレームのシーケンスが静止であると見なせるかを評価する装置を提供する。この装置では、基準フレーム及びシーケンスから続きのフレームを捕捉する捕捉手段と；基準フレームのブロックの対応対と続きのフレームを順に試験する試験手段とを具え；試験は、被試験対のブロックの間の差を示す差指標を計算し、差指標をしきい値と比較し；差指標がしきい値よりも良い場合に、試験を合格とし；ブロックの対の総てが試験を合格した場合に、基準フレーム及び続きのフレームが静止していると見なせる指示を指示手段が行うことを特徴とする。

本発明の上述の第１の観点によれば、イメージをブロックに分割することは、時間を短縮し、イメージが異なるかを検出するのに要する処理リソースを減らす。これは、イメージが異なるという評価を行うのに、イメージ内に含まれるわずかなピクセルのサブセットのみが必要となるからである。例えば、「最良の場合」のシナリオにおいて、被試験イメージ及び基準イメージの対応ブロックの第１対に対して計算された差指標は、しきい値を越えて、イメージが異なることを示す。よって、イメージの更なる処理が必要ない。追加的な対応ブロックの対を試験する必要があっても、イメージが異なるとき、被試験イメージ及び基準イメージの総ての対応ピクセルを比較する前に、イメージが異なることを検出する。よって、既知の方法での比較における時間及び計算の負荷を減らす。

さらに、被試験イメージ及び基準イメージが類似しているか否かを評価するこの「ブロックによる賢い」アプローチの利用により、イメージの小さな部分に生じる動き（即ち、ピクセル値の差）に対する感度を改善する。

１対のブロックにより試験が合格しないと、被試験イメージ及び基準イメージが異なるだろうとの指示を与える。

試験が合格しないとの見込みを最大にするように、試験すべきブロックの第１対を選択できる。

例えば、各イメージの中心に向かうように配置された１対のブロックを選択できる。移動（即ち、被試験イメージ及び基準イメージの間のピクセル値の差）がイメージの中心に向かって最も生じるかもしれないので、各イメージの中心に向かう１対のブロックの選択が、この移動が試験処理にて簡単に検出されるとの可能性を高めるかもしれない。

要求される感度又はノイズ耐性のレベルに応じて、しきい値を調整可能である。

被試験イメージ及び基準イメージの一方の関数として、しきい値を導出してもよい。

例えば、しきい値は、被試験イメージ及び基準イメージの一方の統計的な特性から得てもよい。

差指標は、二乗平均平方根（ＲＭＳ:root mean square）による差指標でもよい。

代わりに、差指標は、差の絶対値の平均（ＭＡＤ:mean absolute difference）による差指標でもよい。

代わりに、対のブロックの対応ピクセルの差値を計算し、しきい値を超えた差値の数を数えて、差指標を計算してもよい。

被試験イメージ及び基準イメージは、ビデオ・フレームでもよい。

本発明の上述の第２の観点において、１対のブロックにより試験が合格しないならば、基準フレーム及び続きのフレームが異なるだろうとの指示を与えることができる。

フレームのシーケンスの評価を最適化するように、続きのフレームを選択してもよい。

例えば、ビデオ・フレームの長いシーケンスにおいてＮ個の静止フレームのシーケンスを検出するために、Ｎ／２個のフレームのステップで長いシーケンスを進めることが可能である。Ｎ／２番目の続きのフレームが基準フレームと異なると、基準フレーム及びＮ／２番目の続きのフレームの間の中間フレームを比較する必要がない。これは、基準フレーム及びＮ／２番目の続きのフレームの両方を含むＮ個の静止フレームのシーケンスが存在する可能性がないとの結論になるかもしれないためである。

よって、Ｎ個のビデオ・フレームのシーケンスを評価するために、Ｎ／２番目の続きのフレームを選択してもよい。

基準フレーム及び続きのフレームが静止であると見なせるならば、続きのフレームが基準フレームと異なるだろうと判断するか、シーケンス内の所定数Ｎ個のフレームが静止であると見なせるまで、シーケンス内の残りのフレームから選択された新たな続きのフレームを用いて、この方法を繰り返してもよい。

本発明の上述の第３の観点において、本発明の装置は、１対のブロックが試験を合格しないならば、被試験イメージ及び基準イメージが異なるだろうという指示を行う手段を更に具えてもよい。

好ましくは、試験を合格しないという可能性が最大になるように、試験すべきブロックの第１対を選択する。

例えば、これらの各イメージの中心に向かって配置された１対のブロックを選択してもよい。

要求される感度又はノイズ耐性のレベルに応じて、しきい値は調整可能でもよい。

被試験イメージ及び基準イメージの一方の関数として、しきい値を得てもよい。

例えば、被試験イメージ及び基準イメージの一方の統計的特性からしきい値を得てもよい。

差指標は、二乗平均平方根（ＲＭＳ）による差指標でもよい。

代わりに、差指標は、差の絶対値の平均（ＭＡＤ）による差指標でもよい。

本発明の上述の第４の観点において、指示手段は、１対のブロックにより試験が合格しないならば、基準フレーム及び続きのフレームが異なるだろうとの指示を与えることができる。

フレームのシーケンスの評価を最適化するように、ビデオ捕捉手段が捕捉したフレームから続きのフレームを選択してもよい。

基準フレーム及び続きのフレームが静止であると見なせると指示手段が指示した場合、続きのフレームが基準フレームと異なるだろうと判断するか、シーケンス内の所定数Ｎ個のフレームが静止であると見なせるまで、シーケンス内の残りのフレームから新たな続きのフレームを選択し、評価してもよい。

本発明の第５の観点によると、処理手段が本発明の第１又は第２の観点による方法を実行するためのプログラムを提供する。

以下、添付図を参照して、本発明の実施例を詳細且つ限定した例として説明する。

図１は、ビデオ・フレームのシーケンスが静止であるか否かを判断する装置の機能ブロック図であるが、機能ブロックがこの装置の物理的コンポーネントの必然的に示しているのではないことが理解できよう。

参照符号１０で全体的に図１に示す装置は、電子試験装置又はかかる装置のサブシステムでもよく、例えば、ビデオ映像を捕捉するビデオ捕捉ユニット１２と、捕捉したビデオ映像の複数フレームを蓄積するフレーム・バッファ１４とを含んでいる。ビデオ捕捉ユニット１２が捕捉したビデオ映像は、ストリーム・ビデオ又はファイル・ベースでもよいし、圧縮又は非圧縮でもよい。多くの異なる装置がビデオ捕捉ユニットとして用いるのに適することが当業者には理解できるので、この要素については詳細説明を省略する。

フレーム・バッファ１４は、例えば、ハードディスク又はランダム・アクセス・メモリ（ＲＡＭ）でもよく、装置１０の蓄積容量及びアクセス速度の要求を満足する任意形式のストレージが同様に適切であることが当業者には理解できよう。

フレーム区分化ユニット１６は、フレーム・バッファ１４にリンクし、フレーム・バッファ１４から読出されたビデオ・フレームを複数のブロックに区分化する。この点については、詳細に後述する。典型的には、フレーム区分化ユニット１６は、一度に１つのビデオ・フレームに対して動作し、各区分化されたビデオ・フレームを試験ユニット１８に渡す。しかし、フレーム区分化ユニット１６は、２個以上のフレームを同時に等しく操作できる。

試験ユニット１８は、フレーム区分化ユニット１６からの区分化済みビデオ・フレームを受信し、２進（即ち、イエス／ノー又は合格／不合格）試験結果を提供する。試験ユニット１８は、ブロック比較ユニット２０を具えており、このブロック比較ユニット２０は、後述の如く、フレーム区分化ユニット１６が発生した区分化フレームの対応ブロック対を比較し、基準フレームのブロックと捕捉されたビデオ映像の続きのフレームの対応ブロックとの間の差を示す差指標を発生する。ブロック区分化ユニット２０が発生した差指標は、しきい値ユニット２２に供給される。しきい値ユニット２２は、差指標を所定しきい値と比較して、１対のブロックが試験を合格したか否かを判断する。この試験結果は、試験ユニット２０の出力となる。

フレーム区分ユニット１６及び試験ユニット１８は、装置１０に一体化してもよいし、ビデオ捕捉ユニット１２及びフレーム・バッファ・ユニット１４とインタフェースするスタンド・アロンの装置として提供したものでもよい。

図２は、本発明により、被試験イメージが基準イメージに類似しているか否かを判断する方法を実行するステップの流れ図である。この方法は、図１の装置１０内で使用されるが、全体として４０で示す。

以下、基準イメージ及び被試験イメージと呼ぶイメージは、ピクセルから構成されており、各ピクセルは、その色及び明るさを定義する値を有する。典型的には、異なる数のビットを用いるシステムが存在するが、この値は、８ビットの数である。この例示的な実施例は、ＹＵＢカラー・システムを用いる。ここで、各ピクセル値は、ピクセルの明るさを定義するルミナンス成分Ｙと、ピクセルの色を定義する２つのクロミナンス成分Ｕ及びＶで構成される。しかし、本発明は、ＲＧＢ及びＹＣｂＣｒの如き他のカラー・システムでも等しく適用できる。

この実施例において、ルミナンス（明るさ）成分のみに関心がある。よって、基準イメージ及び被試験イメージを数の矩形配列と考えることができ、この配列の各数字がイメージ内の対応位置に配置されたピクセルの明るさを表す。

この方法の第１ステップは、図２のステップ４２に示すように、基準イメージ及び被試験イメージをピクセルのブロックに区分する。これを図４に示す。ここでは、矩形ブロック５４、５６、５８、６０に区分された基準イメージ５０及び被試験イメージ５２を示す。図を明瞭にするため、わずかな数のブロックのみを図４に示すが、基準イメージ５０及び被試験イメージ５２の両方が完全にブロックに区分されていることが理解できよう。

これらブロック５４、５６、５８、６０は、総て形及び大きさが同じであり、典型的には、各々が２５６個のピクセルを含む矩形ブロック（即ち、１６×１６ピクセルのブロック）であるが、他のブロックの大きさ及び形も可能である。よって、基準イメージ５０のブロック５４、５６は、被試験イメージ５２のブロック５８、６０と同じ形で同じ大きさである。さらに、これらブロックは、イメージ内の同じ位置を占める。よって、ブロック５４は、基準イメージ５０の左上の隅の位置を占め、被試験イメージ５２内の同じ位置を占めるブロック５８に対応する。本発明の方法がブロックの「同種」の比較を行うので、イメージのブロック５４、５６、５８、６０の間のこれらの対応は、重要である。同じ理由により、基準イメージ５０及び被試験イメージ５２が同じ形及び大きさを有することが重要である。これは、ほとんど常に、イメージ５０、５２をビデオ・フレームのシーケンスから得る場合である。

イメージ５０、５２がブロック５４、５６、５８、６０に区分化されると、図２の流れ図においてステップ４４で示すように、ブロックの比較が行われて、差指標が得られる。このステップにおいて、被試験イメージ５２のブロックを基準イメージ５０の対応ブロックと比較して、２つのブロックの間の差を表す差指標を求める。例えば、被試験イメージ５２のブロック５８を基準イメージ５０のブロック５４と比較する。

この例において、二乗平均平方根（ＲＭＳ）技法を用いて比較を行う。この技法を用いて、被試験イメージ５２の選択したブロック５８の各ピクセルのルミナンス（明るさ）値Ｙと、被試験イメージ５２の選択されたブロック５８に対応する基準イメージ５０のブロック５４の対応するピクセルのルミナンス値との間の差の値を計算し、これら差値の各々を二乗する。次に、これら結果の二乗の平均を計算し、この平均の平方根を計算し、被試験イメージ５２の選択されたブロック５８と基準イメージ５０の対応するブロック５４との間の視覚的な差を表す差指標を求める。

これを図５に示す。ここでは、被試験イメージ５２の選択されたブロック５４及び基準イメージ５０の対応ブロック５８を示す。差指標を計算するために、基準イメージ５２の選択されたブロック５４のピクセル６４のルミナンス値を被試験イメージ５２のブロック６０の対応ピクセル６２のルミナンス値から減算して、その結果を二乗する。ブロック５８の次のピクセル７０及びブロック５４の対応ピクセル６８に対してこの処理を繰り返えすが、選択されたブロック５４、５８の残りのピクセルに対して、ブロック５８の最終ピクセル７４及びブロック５４の対応ピクセル７２に対してこの処理を繰り返したときのみ、停止する。次に、この結果の二乗の平均を計算し、この平均の平方根を計算して、差指標を得る。

差指標Ｄは、次のように表せる。

ここで、P_test(x,y)は、被試験イメージ内の位置（ｘ、ｙ）のピクセルのルミナンス値であり、P_ref(x,y)は、基準イメージ内の位置（ｘ、ｙ）のピクセルのルミナンス値であり、Ｍは、ブロックのピクセルの行の数であり、Ｎは、ブロック内のピクセルの列の数である。上述の例において、ブロック５４、５８は、１６×１６ピクセルのブロックであり、Ｍ＝Ｎ＝１６である。

差指標を計算する別のアプローチは、差の絶対値の平均（ＭＡＤ）の技法を用いる。この技法において、ブロック５４、５８の各対応ピクセルの間の差を計算し、ブロック内の総てのピクセルに対して差を加算する。この加算結果を１つのブロック内のピクセルの総数により分割する。

ＭＡＤ技法を用いて計算する際、差指標Ｄは、次のように表せる。

差指標を計算する更に別のアプローチは、ブロック５４、５８の各対応ピクセルの差値を計算し、これら差値のいくつが所定のしきい値を超えたかを計数する。この数を、本発明の方法の後のステップで用いる差指標として送る。

勿論、他の技法を用いて差指標を求めてもよく、かかる技法は、当業者には周知であろう。

差指標が計算されると、この差指標に対して試験を行い（図２のステップ４６）、被試験イメージ５２及び基準イメージ５０が異なっているか否かを判断する。差指標がしきい値と計算される。このしきい値は、イメージ５２、５０内のノイズが試験の結果に影響しない値に設定される。差指標がしきい値を超えると、被試験イメージ５２のブロック５８のピクセルのルミナンス値と基準イメージ５０の対応ブロック５４のピクセルのルミナンス値との間に大きな差があることを示し、図２のステップ４８に示すように、被試験イメージ５２が基準イメージ５０と異なるだろう。これとは逆に、差指標がしきい値未満ならば、概略的に４７で示すように、総てのブロック対が試験されるまで、被試験イメージ５２が基準イメージ５０に類似しているとはならない。これらブロック対のいずれか１つが不合格となって、イメージ５０、５２が異なることを示すまで、又は、これらブロック対の総てが合格して、イメージ５０、５２が類似であることを示すまで、イメージ５０、５２のブロックの総ての対が順に試験される。

しきい値は、ブロック５４、５８の間の差又は類似の程度を正確に表す指標である所定の数値でもよい。代わりに、試験されるブロック５４、５８又は評価されるイメージ５０、５２の関数として、論理的に求めてもよい。例えば、しきい値は、基準イメージ５０のピクセル値の確率分布の標準偏差の倍数として設定してもよい。勿論、しきい値を論理的に導出する他の方法は、当業者に知られている。

しきい値は調整可能にできるので、このしきい値を調整することにより、ノイズの影響により敏感であるか、不感である試験を行える。例えば、しきい値を減らすことにより、イメージ５０、５２の一方又は両方のノイズにより試験結果が悪影響を受ける。しかし、しきい値が高くなりすぎると、ブロック５８、５４の間の本当の差が識別できない。よって、しきい値は、ノイズ耐性と感度とのバランスにより選択しなければならない。

上述の実施例において、試験すべき最初のブロック５４、５８は、被試験イメージ５２及び基準イメージ５０の左上隅を占め、イメージ５０、５２のブロックの行に沿って移動することにより、単に試験のために続きのブロックを選択できる。例えば、試験すべき２番目のブロックは、第１ブロック５４、５８の直ぐ左のブロック５６、６０でもよい。

しかし、原理的には、移動（即ち、ピクセル値の変化）は、イメージ５０、５２の左上隅に向かっては生じそうもない。よって、試験過程において、１対のブロックが早めに試験に不合格になる可能性を高めるために、移動が生じそうな１対のイメージに位置する１対のブロックを、試験すべきブロックの第１対として選択できる。例えば、移動がイメージ５０、５２の中心に向かって最も起きそうであり、イメージ５０、５２の中心に向かって配置された１対のブロックを、試験すべき第１対として選択できる。ブロックのこの対が試験に合格すると、隣接する対を選択できる。また、試験すべき続きのブロックが、試験用に選択された第１対を中心とするブロックの外側への螺旋に従って選択される。第２及び続きのブロックの選択が、行での次のブロックの単純な選択よりも一層複雑なので、上述のアプローチが複雑になるが、線形（即ち、行毎）アプローチを用いたよりも試験過程を早めに抜け出ることができるので、選択されたブロック対が試験過程で早めに不合格となる可能性が高まることは、速度及び処理負荷の利点を大きくする。

図３は、図２で説明した方法を改変したものであり、１つのビデオ映像におけるビデオ・フレームのシーケンスが静止（即ち、ビデオ・フレームがほぼ同じ）であるか否かを判断するアプリケーションに適用できる。図３に示し後述する例は、わずか２つのビデオ・フレーム（以下、基準フレーム５０及び続きのフレーム５２）に関するが、続きのフレームをこの方法で評価するので、この方法が２つより多いフレームのシーケンスにも適用できることが理解できよう。３フレーム・シーケンスの場合、例えば、初めが続きのフレーム５２であるフレームは、それに続くフレームが評価されるときに、基準フレーム５０となれる。

図３に示す方法は、図２の方法に類似しているが、最初のステップ８０では、ビデオ映像の少なくとも２つのフレームを捕捉し蓄積する。ステップ８２にて、典型的には捕捉したシーケンスの第１フレームである基準フレームと、典型的には捕捉したシーケンスの第２フレームである続きのフレームとを上述のようにブロックに区分化する。上述の技術又は他の適切な技術を用いて、続きのフレーム及び基準フレームの対応ブロックの間の差指標を求め、ステップ８６にて、この差指標をしきい値と比較する。差指標がしきい値を超すと、試験したブロックの間には実質的な差がある。これは、基準フレーム及び続きのフレームの間に差があることを示す。よって、ステップ８８に示すように、このフレーム・シーケンスは、静止であると見なせない。

差指標がしきい値未満であるならば、ステップ９０にてチェックを行い、続きのフレーム及び基準フレームの総てのブロック対が試験されたか否かを判断する。このチェックの結果が否定的ならば、対応ブロックの次の対を選択し（ステップ９２）、ステップ８４及び８６にて試験を実行する。総てのブロック対を試験し、しきい値未満であることがわかると、続きのフレーム５２及び基準フレーム５０は互いに充分に類似しており、これらが静止（ほぼ同じ）であるとし（ステップ９４）、この指示を行える。

２つより多いフレームのシーケンスが静止と見なせるか否かを評価するために、シーケンスのいくつかの又は総てのフレームを試験する必要がある。一実施例において、上述の方法を用いて、フレーム・シーケンスの各フレームをそのシーケンスの前のフレームと比較する。フレームが前のフレームと充分に類似ならば、カウンタが増分し、シーケンスの次のフレームを試験する。カウンタが所定数、例えば２５に達して、この例では、２５個の連続的なフレームが互いに類似していることを示すならば、試験された２５個のフレームのシーケンスが静止であると見なせる。しかし、カウンタが所定数に達する前に、フレームが前のフレームと異なるとこの方法が示すならば、カウンタを零にリセットし、かかる指示を行わない。

予め定めた数は可変でもよいし、多くのフレームを表してもよいし、又は、ビデオ・シーケンスが静止又は凍結の期間でもよい。例えば、１秒当たり２５フレームだけ通常見えるビデオ・シーケンスにおいて、所定数が２５に設定されると、これは、１秒の期間中が凍結ビデオ・シーケンスであることを示す。

各フレームを前のフレームと比較するには、時間がかかり、計算が多量であることが明らかであろう。ビデオ・フレームのシーケンスを静止と見なせるか否かの評価の処理を最適化するために、別のアプローチを適用してもよい。このアプローチにおいて、初め、基準フレームをこれに直ちに続くフレームと比較しないが、そのシーケンスの後のフレームとは比較する。例えば、ビデオ・フレームの長いシーケンス内のＮ個のフレームのシーケンスが静止と見なせるか否かの評価をするために、基準フレーム、典型的には、そのシーケンスの第１フレームを最初にＮ／２番目のフレームと比較する。基準フレーム及びＮ／２番目のフレームが異なると見なせるならば、基準フレーム及びＮ／２番目のフレームの両方を含むＮ個の静止フレームのシーケンスが存在するとは言えない。しかし、基準フレーム及びＮ／２番目のフレームが類似と見なせれば、このシーケンスのフレームのいずれか１つが他のフレームと異なると見なせるまで、又は、Ｎ個のフレームのシーケンス内の総てのフレームが類似であると、即ち、Ｎ個のフレームのシーケンスが静止であると判断されるまで、基準フレームをＮ個のフレームのシーケンス内の残りのフレームと比較する。

Ｎ個のフレームのシーケンスが静止でなければ、この方法は、Ｎ個のフレームのシーケンスの総てのフレームではなく、Ｎ／２番目毎のフレームのみを試験する必要がある。また、いくつかのフレームにてフレーム比較動作を実行することにより、「無駄な」比較動作の数を減らす。よって、ビデオ・シーケンスを評価する速度を増加させ、必要な処理の負荷を減らす。勿論、適切ならば、最初の比較用に他のフレームを選択してもよい。

本発明の方法は、種々の異なる方にて実現できることが理解できよう。例えば、この方法をコンピュータ・プログラムとして実現してもよく、ここでは、コンピュータ・プログラムによりプロセッサがこの方法を実行する。代わりに、この方法は、ハードウェアで、例えば、図１を参照して上述した装置で実行してもよく、又は、特定用途向け集積回路（ＡＳＩＣ）又は適切にプログラムしたマイクロプロセッサを用いて実行してもよい。

ビデオ・フレームのシーケンスが静止と見なせるか否かを判断する装置の機能ブロック図である。本発明により、被試験イメージが基準イメージに類似してか否かを判断する方法を実行するステップの流れ図である。本発明により、ビデオ・フレームのシーケンスが静止と見なせるか否かを判断する方法を実行するステップの流れ図である。イメージを複数ブロックに区分する状態を示す図である。ブロックのピクセルを示す図４のブロックを示す図である。

符号の説明

１０装置
１２ビデオ捕捉ユニット
１４フレーム・バッファ・ユニット
１６フレーム区分化ユニット
１８試験ユニット
２０ブロック比較ユニット
２２しきい値ユニット

Claims

被試験イメージが基準イメージに類似するか否かを評価する方法であって、
同じ形状及び大きさの複数のブロックに上記基準イメージ及び上記被試験イメージを分割し、上記基準イメージ中の上記ブロックと同じ位置を占める上記被試験イメージ中の上記ブロックとでブロック対を形成するステップと、
上記ブロック対中の上記ブロック間の明るさの差を示す差指標を計算する計算ステップと、
上記差指標をしきい値と比較する比較ステップと、
上記差指標が上記しきい値を下回る限り、複数の上記ブロック対の夫々について上記計算及び比較ステップを順次繰り返すステップと、
全ての上記ブロック対に関する上記差指標が上記しきい値を下回る場合に、上記基準イメージ及び上記被試験イメージが類似するとの指示を与えるステップと
を具え、
上記計算ステップの対象とする最初のブロック対として、上記基準イメージ及び上記被試験イメージ中の中心付近に位置する上記ブロック対が選択され、後続の上記計算ステップの対象とするブロック対が、上記最初のブロック対から外側に螺旋に従って選択され、もし上記差指標が上記しきい値を超えると、上記計算及び比較ステップの繰り返しを中止することを特徴とするイメージ評価方法。
Ｎ個のフレームを有するビデオ・フレームのシーケンスを評価する方法であって、
上記ビデオ・フレームのシーケンスから、基準フレームと、後続のＮ／２番目のフレームを基準イメージ及び被試験イメージとして夫々捕捉するイメージ捕捉ステップと、
同じ形状及び大きさの複数のブロックに上記基準イメージ及び上記被試験イメージを分割し、上記基準イメージ中の上記ブロックと同じ位置を占める上記被試験イメージ中の上記ブロックとでブロック対を形成するステップと、
上記ブロック対中の上記ブロック間の明るさの差を示す差指標を計算する計算ステップと、
上記差指標をしきい値と比較する比較ステップと、
上記ブロック対のいずれか１つに関する上記差指標が上記しきい値を超える場合に、上記基準イメージ及び上記被試験イメージが異なるとの指示を与えると共に、全ての上記ブロック対に関する上記差指標が上記しきい値を下回る場合に、上記基準イメージ及び上記被試験イメージが類似するとの指示を与えるステップと
を具えるイメージ評価方法。
被試験イメージが基準イメージに類似するか否かを評価する装置であって、
同じ形状及び大きさの複数のブロックに上記基準イメージ及び上記被試験イメージを分割し、上記基準イメージ中の上記ブロックと同じ位置を占める上記被試験イメージ中の上記ブロックとでブロック対を形成する手段と、
複数の上記ブロック対中の上記ブロック間の明るさの差を示す差指標を夫々計算する計算手段と、
複数の上記差指標をしきい値と夫々比較する比較手段と、
全ての上記ブロック対に関する上記差指標が上記しきい値を下回る場合に、上記基準イメージ及び上記被試験イメージが類似するとの指示を与える指示手段と
を具え、
上記計算手段が対象とする最初のブロック対として、上記基準イメージ及び上記被試験イメージ中の中心付近に位置する上記ブロック対が選択され、後続の計算において対象とするブロック対が、上記最初のブロック対から外側に螺旋に従って選択され、もし上記差指標が上記しきい値を超えると、上記計算及び比較を中止することを特徴とするイメージ評価装置。
Ｎ個のフレームを有するビデオ・フレームのシーケンスを評価する装置であって、
上記ビデオ・フレームのシーケンスから、基準フレームと、後続のＮ／２番目のフレームとを基準イメージ及び被試験イメージとして夫々捕捉するイメージ捕捉手段と、
同じ形状及び大きさの複数のブロックに上記基準イメージ及び上記被試験イメージを分割し、上記基準イメージ中の上記ブロックと同じ位置を占める上記被試験イメージ中の上記ブロックとでブロック対を形成する手段と、
複数の上記ブロック対中の上記ブロック間の明るさの差を示す差指標を夫々計算する計算手段と、
複数の上記差指標をしきい値と夫々比較する比較手段と、
上記ブロック対のいずれか１つに関する上記差指標が上記しきい値を超える場合に、上記基準イメージ及び上記被試験イメージが異なるとの指示を与えると共に、全ての上記ブロック対に関する上記差指標が上記しきい値を下回る場合に、上記基準イメージ及び上記被試験イメージが類似するとの指示を与える指示手段と
を具えるイメージ評価装置。