JPH06231254A - 動画像の高速認識検索方法 - Google Patents

Abstract

(57)【要約】 【目的】画像認識率の向上および検索時間の短縮を図っ
た動画像の高速認識検索方法を提供する。 【構成】圧縮符号化、あるいは符号化されていない元の
ままの動画像情報について、参照画像の認識検索を行う
際に、符号化情報の平均値成分あるいはブロック平均値
を用いたパターンマッチングと、参照画面と入力画面と
の水平、垂直方向の周波数成分の相関値とを階層的に用
いることにより、画像認識率の向上および検索時間の短
縮化を図るように構成されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、 符号化された動画像
情報を含む動画像の高速認識検索方法に関する。

【０００２】

【従来の技術】従来、動画像の認識検索に関する技術と
しては参照画面のビットマップパターンとのマッチング
を基本として検索を行う技術がある（例えば、Muhammad
他、「大相撲対戦からの認識に基づく内容識別法」、情
報処理学会第４４回全国大会、５Ｂ−１、１９９２）。
この従来方法においては、動画像の映像を静止化し、ま
ず第１段階としてあらかじめ記憶された参照画面と入力
画面に対してＸ軸とＹ軸方向について、各方向の輝度の
ヒストグラム分布から特徴パラメータを求め、参照画面
が持つ特徴パラメータと一致する参照画面を検索して、
候補となる画面を得る。次に参照画面と各候補画面とを
２値化して、各候補画面に対して参照画面のビットマッ
プパターンとの誤差を求め、この誤差が最小になる画面
を認識結果として出力する。なお圧縮符号化された動画
像の認識検索においては、一度画像を完全に復号化して
元の画像に戻してから上記認識検索作業を行う。

【０００３】

【発明が解決しようとする課題】上述した従来技術で
は、第１段階の特徴パラメータからの検索においてＸ，
Ｙ各方向について画面全体の輝度のヒストグラム分布を
求めているため、参照画面と一致した位置にある画像は
検索できるものの、異なった位置の画像については検索
が困難ものとなる。また、画面全部のデータを用いてヒ
ストグラムを計算するため、ハードウェアの負荷が大き
くなる。さらに第２段階でのビットパターンマッチング
では、対象となる画像の大きさや形が少し変形している
場合にはビットパターンが合わないため、検出漏れが起
きる可能性があ。また類似の画像を検索する場合におい
てもビットパターンが合わないため、検出漏れが起きる
可能性がある。また圧縮符号化された動画像の認識検索
においては、画像を完全に復元してから認識検索を開始
するため、動画再生時間と検索時間とを合わせた時間が
必要となり、大量の動画像データベースなどの検索には
実用上大きな制約を受けることとなる。

【０００４】本発明の目的は、上述従来方法の欠点を解
消して、画像認識率の向上および検索時間の短縮化を図
ることができる動画像の高速認識検索方法を提供するこ
とにある。

【０００５】

【課題を解決するための手段】この目的を達成するため
に本発明の特徴による動画像の高速認識検索方法は、参
照画像を用いて動画像の認識検索を行う際に、（１）参
照画像の検索対象領域と入力画像の該当領域について、
それぞれの領域内をブロック分割し、各ブロックの平均
値あるいは符号化された動画像情報の平均値成分により
構成される縮小画像に対して、パターンマッチングを行
うことにより候補となる画像を選別し、（２）縮小画像
の水平および垂直軸の周波数分布について参照画像と入
力画像との相関をとり、ある相関値以上の画像を選出す
るように構成されている。

【０００６】

【作用】本発明によると、第１段階で検索対象領域内で
の各ブロックの平均値を用いて構成された縮小画像での
パターンマッチングにより候補となる画像を選別する。
第２段階では縮小画像の水平および垂直軸の周波数分布
の相関値を比較して該当の画像を選出する。本発明では
検索対象領域についてのみ認識作業を行い、また縮小画
像についてパターンマッチングを行い、さらに候補とし
て絞り込まれた画像についてのみ縮小画像を用いて相関
値計算を行うため、検索時間は大幅に縮小される。また
圧縮符号化された動画像情報については、平均値成分デ
ータのみを用いて検索を行うため、画像の復元作業を必
要とせず、符号化情報の該当データのピックアップのみ
で検索が可能なため、非常に高速な認識検索作業が可能
である。さらに相関値の大きさにより認識の程度を制御
することが可能なため、同一の画像や類似の画像を目的
に応じて選出することが可能である。

【０００７】

【実施例】以下、本発明の実施例について、図１のブロ
ック図を用いて説明する。図１は本発明の一実施例を示
し、１１は画像入力部で、参照画像および入力画像が入
力され、検索対象とする領域が指定される。領域指定さ
れた参照画像と入力画像の該当領域は縮小画像処理部１
２に入力され、ここではブロック状に分割された該当領
域の各ブロックの平均値が求められ、これらの平均値に
より構成される画面を縮小画面として出力する。これら
の縮小画面はパターンマッチング部１３で参照画像と入
力画像のマッチングが行われ、マッチング誤差が出力さ
れる。判定部（Ｉ）１４ではこのマッチング誤差値と条
件値１を比較して候補画像の選定を行う。ＸＹ相関部１
５では、候補となった画像の縮小画像を再度用いて各軸
における縮小画像の周波数成分を求め、入力画像と参照
画像の相関値を計算する。判定部（II）１６では各軸の
相関値と条件値２との比較を行い、検索画像の決定を行
う。これらの結果は結果出力部１７から出力される。

【０００８】画像データがＤＣＴ（離散コサイン変換）
等で圧縮符号化された符号化情報の場合は、画像入力部
１１において符号化情報が入力され、縮小画像部１２で
は該当ブロックの平均値成分を符号化情報から抽出して
平均値を求め、これらの平均値を用いて縮小画面を構成
する。パターンマッチング部１３以降の処理については
上述と同様の処理を行う。

【０００９】以下に、主要部の詳細な説明を行う。画像
入力部１１では検索対象領域の大きさと位置の指定を行
うが、この際、その領域は図２の参照画面例１を示す検
索ウインドウ２１のように検索対象２２を含むウインド
ウで構成される。また画面はブロックに分かれており、
各ブロック２３の大きさについては、ここでは例として
８画素×８ラインとする。

【００１０】縮小画像部１２では該当領域内の各ブロッ
クの輝度および色差の平均値が求められるが、この求め
方としては、各ブロック内の輝度および色差データの総
和を求め、これをデータ数で割る方法や、ブロックデー
タを８×８の２次元ＤＣＴ変換した後の（０，０）成分
を８で割った値などを用いることが可能である。

【００１１】パターンマッチング部１３では参照画像と
入力画像の該当領域について輝度および色差の縮小画像
を用いてパターンマッチングが行われるが、マッチング
誤差については差分絶対値の累積和あるいは差分二乗値
の累積和などが利用可能である。

【００１２】検索対象２２の位置が参照画面とは異なっ
た位置に対しても検索を行う場合には、図３の入力画面
例の検索対象領域３１のように対象とする検索領域すべ
てのブロックの平均値を求めておき、参照画像の縮小画
像とパターンが一致する検索ウインドウ２１の場所をサ
ーチする。

【００１３】判定部１４ではマッチング誤差値と条件値
１を比較して、条件値１より小さな誤差値の画像を候補
画像（満足）としてＸＹ相関部１５での処理を行い、そ
の他については候補外画像（不満足）として、結果出力
部１７へ出力する。

【００１４】ＸＹ相関部１５ではまず候補画像に対して
縮小画像のＸおよびＹ方向の周波数成分を求める。この
成分はＤＣＴやフーリエ変換などの周波数分析によって
得ることが可能である。例えば縮小画像が１６画素×１
６ラインの場合は１６×１６の２次元ＤＣＴを行い、変
換後の係数の（０，１）から（０，１５）までの１５個
の係数をＸ軸方向の周波数成分とし、（１，０）から
（１５，０）までの係数をＹ軸方向の周波数成分とす
る。ただし縮小画像の大きさが８画素×１６ラインなど
の場合、８×１６の２次元ＤＣＴを用いる他、簡単化の
ために、８×８の２次元ＤＣＴを上部８ラインと下部８
ラインにそれぞれ行い、上部８ラインで得た係数と下部
８ラインで得た係数とを用いて８×８ブロックごとにＸ
軸とＹ軸の周波数成分を求めることも可能である。

【００１５】入力画像と参照画像の相関値は上記周波数
成分を用いて計算する。縮小画像の大きさが１６画素＊
１６ラインの時の入力画像のＸ軸方向の０次成分（平均
値成分）を除いた高周波成分をＸＩ_j （ｊ＝１・・・１
５）、参照画像の高周波成分をＸＲ_j （ｊ＝１・・・１
５）とすると、高周波成分の相関値ＣＣは

【００１６】

【数１】 により求めることが可能である。また計算量の簡略化の
ために

【００１７】

【数２】 を用いることも可能である。Ｙ軸方向の相関値について
も上記と同様な計算によって求めることが可能である。

【００１８】判定部１６では各軸の相関値と条件値との
比較を行い、検索画像の決定を行う。これらの結果（満
足、不満足）は結果出力部１７から出力される。ただし
条件値についてはＸ軸方向とＹ軸方向で異なる値を用い
ることが可能である。また、簡略化のために、Ｘ軸方向
あるいはＹ軸方向の相関値のみを用いて判定を行うこと
も可能である。さらに、条件値の値を変化させることに
より、参照画像と同一の画像のみを検索することや、類
似の画像も含めて検索することなどの設定を自由に行う
ことが可能である。

【００１９】本発明の実施にあたっては種々の変形形態
が可能である。例えば検索領域内のブロックのサイズに
ついては８画素×８ラインに限らずに１６画素×１６ラ
インや４画素×４ラインなど種々のサイズが適応可能で
ある。また、図４の参照画面例２の２２、４２のように
参照画面に存在する複数個の検索対象を検索する場合、
それぞれの検索対象２２、４２について検索ウインドウ
２１、４１を決定し、パターンマッチングとＸＹ相関を
とり、それぞれの検索対象について条件を満足する画像
のみを検索結果として出力することにより、検索を行う
ことが可能である。さらに、相関計算の際に、特定の周
波数成分のみを相関計算対象とすることにより計算量の
削減およびそれらの周波数成分に着目した認識検索を行
うも可能である。また、検索対象が小さい場合には、元
の画像データを用いても処理するデータ量が少ないた
め、縮小画像を用いずにパターンマッチングやＸＹ相関
を行うことが可能である。また、本方法では個々の画面
内の画像データを用いて処理を行っているため、動画像
のみならず静止画の認識検索にも適応することが可能で
ある。

【００２０】

【発明の効果】以上に説明したように、本発明では動画
像の認識検索において、ブロック平均値を用いた縮小画
像のパターンマッチングで候補となる画像を選出し、そ
れらの画像の中で、再度縮小画像を用いてＸ、Ｙ軸方向
の相関をとることによって検索を行っている。この場
合、縮小画像を用いることにより、処理に必要なデータ
数が削減されるため、原画像を用いた検索に比較して大
幅に検索時間が縮小される。また、圧縮符号化データか
らの検索についても、一旦元の画像に復元する必要がな
く、符号化データからの平均値成分抽出のみで処理可能
なため、非常に高速な認識検索が可能である。認識の精
度についてはＸＹ相関の条件値を高くすることによって
高い検索精度を得ることが可能なほか、低い条件値を用
いることによって類似の画像を抽出することが可能なた
め、検索条件を自由に設定することが可能である。効果
の一例として、相撲やフットボールなどの複数のシーケ
ンスが含まれるテスト動画像について、得点表示画面を
参照画面として検索した場合、認識率は１００％、検索
時間も従来の方法に比べて、１／１０以下であった。

【図面の簡単な説明】

【図１】本発明の実施例における動画像認識検索方法を
示したブロック図である。

【図２】参照画面例１を示す図である。

【図３】入力画面例を示す図である。

【図４】参照画面例２を示す図である。

【符号の説明】

１１ 画像入力部 １２ 縮小画像処理部 １３ パターンマッチング処理部 １４ 判定部（Ｉ） １５ ＸＹ相関部 １６ 判定部（II） １７ 出力部 ２１ 検索ウインドウ１ ２２ 検索対象１ ２３ ブロック ３１ 検索対象領域 ４１ 検索ウインドウ２ ４２ 検索対象２

Claims (1)

【特許請求の範囲】
1. 【請求項１】 参照画像を用いて動画像の認識検索を行
   う際に、 参照画像の検索対象領域と入力画像の該当領域について
   それぞれの領域内をブロック分割し、 各ブロックの平均値あるいは符号化された動画像情報の
   平均値成分により構成される縮小画像に対してパターン
   マッチングを行うことにより候補となる画像を選別し、 縮小画像の水平および垂直軸の周波数分布について参照
   画像と入力画像との相関をとり、 ある相関値以上の画像を選出することを特徴とする動画
   像の高速認識検索方法。