JP2004056305A - 動きベクトル検出方法、動きベクトル検出装置、及びプログラム - Google Patents

Abstract

【課題】本発明は、画像階層化及び動きベクトル検出における演算量を削減すると共に、高い動きベクトル検出精度を得ることができる動きベクトル検出方法を提供する。
【解決手段】本発明の動きベクトル検出方法は、第１画像及び第２画像から２組の近似画像群及びアクティビティデータ群を算出する階層化画像の算出において、動きベクトル検出精度の向上に寄与しない高周波成分を算出するための計算を省略して演算量を削減し、ブロックマッチングにおいては動きベクトル検出精度向上に寄与しないアクティビティデータに対するブロックマッチングを省略することにより演算量を削減することにより、全体的な計算量を削減する。
【選択図】　なし

Description

【０００１】
【発明の属する技術分野】本発明は、動きベクトル検出方法及び動きベクトル検出装置であって、特に時間的に異なる２つの画像データをそれぞれ階層化してからブロックマッチングを行い、動きベクトルを検出する技術に関する。
【０００２】
【従来の技術】動画像信号の高能率符号化方式の国際規格の１つであるＭＰＥＧ２（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　２）は、空間方向の冗長度削減に直交変換である離散コサイン変換を用い、時間方向の冗長度削減にフレーム間予測・動き補償を用いるハイブリッド符号化に分類される方法である。
【０００３】
フレーム間予測には、ブロックマッチング法を用いる。
ブロックマッチング法では、第１画像及び第１画像と時間的に異なる画像を表す第２画像について、それぞれの画像を小さな矩形領域であるブロックに分割する。第１画像上で注目する注目ブロックと、第２画像上で当該注目ブロックと同位置のブロックを±ｍ×±ｎ画素の探索範囲内で水平方向にｘ画素，垂直方向にｙ画素だけずらしたしたシフトブロックとの類似度を、所定の評価関数にて評価し、評価値が最小となるシフト量ｖ＝（ｘ，ｙ）を動きベクトルとするものである。
【０００４】
評価関数としては、絶対値差分がよく用いられる。
上記のブロックマッチング法では、探索範囲内をくまなく探索し絶対値差分を求める必要があるため、演算量が大きくなり、装置自体が大型化したり演算時間が長くなる問題がある。
上記問題を解決する手法の一つに階層型動きベクトル検出方法がある。
【０００５】
これは第１画像及び第２画像の各々について低域通過処理を施して低解像度の近似画像（以下、階層１と呼ぶ）を作成し、順次同様の低域通過処理を適用してより高い階層の近似画像（階層２、階層３、・・・）を作成する画像階層化ステップと、下位階層において、上位階層で検出した動きベクトル候補の周囲の小探索領域で動きベクトル候補を検出し、順次下位階層の動きベクトル候補を求めていき、最終的に原画像の動きベクトルを検出する動きベクトル検出ステップからなる。
【０００６】
この方法によると大幅な演算量削減が望める一方、低域通過処理により上位階層になる程画像の特徴量である高周波成分が除去されるため、動きベクトル検出の精度が大きく低下する問題があった。
この問題に対し、特開平７−２２２１５７では低域通過処理によって選別される画像の高周波成分をアクティビティ画像（アクティビティデータとも言う）としてブロックマッチングに用いて検出精度を向上させる階層型動きベクトル検出方法が提案されており、上記低域通過処理については平均値化処理を用いる方法が提案されている。
【０００７】
【発明が解決しようとする課題】しかしながら従来の方法では、精度の高い動きベクトル検出を行うためには、アクティビティデータの算出に大きな演算量が必要である。さらに、画像の高解像度化、高画質化により単位時間あたりに実行すべき演算量は増加する一方であり、ＬＳＩで演算を実現させる場合に消費電力、発熱量の増加につながっている。
【０００８】
上記の問題に鑑み、本発明は、画像階層化ステップ及び動きベクトル検出ステップにおける演算量を削減すると共に、動きベクトル検出精度を従来程度の水準に維持できる動きベクトル検出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の動きベクトル検出方法は、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出方法であって、当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと、当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、当該動きベクトル候補を用いて動きベクトルを検出する検出ステップとを含む。
【００１０】
【発明の実施の形態】
発明の実施の形態における動きベクトル検出装置について図面を参照しながら説明する。
１．　全体構成
図１は、本実施の形態における動きベクトル検出装置１０の全体構成を示すブロック図である。動きベクトル検出装置１０は、第１画像メモリ１０１、第２画像メモリ１０２、算出手段１０３、階層化第１画像メモリ１０４、階層化第２画像メモリ１０５、判断手段１０６及び動きベクトル検出手段１０７から構成される。
【００１１】
動きベクトル検出装置１０は、具体的にはプロセッサ、プログラムを記憶しているＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、作業用のＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のソフトウェア及びハードウェアにより実現される。各構成要素の機能は、プロセッサがＲＯＭに記憶されているプログラムを実行することにより実現される。構成要素間におけるデータの受け渡しは、ＲＡＭ等のハードウェアを介して行われる。
【００１２】
第１画像メモリ１０１は、入力された第１画像を保持する。
第２画像メモリ１０２は、入力された第２画像を保持する。
算出手段１０３は、第１画像メモリ１０１に保持している第１画像及び第２画像メモリ１０２に保持している第２画像を、それぞれ階層化第１画像メモリ１０４及び階層化第２画像メモリ１０５に読み出し、当該読み出した第１画像及び第２画像のそれぞれに含まれる低周波成分を当該各画像よりも低くかつ段階的に低下する複数の解像度をもって示す２組の近似画像群、及び当該第１画像及び第２画像のそれぞれに含まれる高周波成分を当該複数の解像度をもって示す２組のアクティビティデータ群を算出する。
【００１３】
階層化第１画像メモリ１０４は、算出手段１０３が第１画像から算出した前記近似画像群及びアクティビティデータ群を保持する。
階層化第２画像メモリ１０５は、算出手段１０３が第２画像から算出した前記近似画像群及びアクティビティデータ群を保持する。
判断手段１０６は、算出手段１０３が第１画像から算出した各階層のアクティビティデータの重要度を評価し、第１画像及び第２画像の各階層のアクティビティデータを動きベクトル検出に用いるか否かを判断する。
【００１４】
動きベクトル検出手段１０７は、低解像度の階層で選出した動きベクトル候補を順次高解像度の階層の動きベクトル候補の選出に利用し、動きベクトルを検出する。
２．データ構造
図２は、算出手段１０３が算出する各データの関係を模式的に示した図である。
【００１５】
２００及び２０１は、入力された原画像である第１画像と第２画像を示す。
２０２及び２０３は、第１画像２００から算出した低域通過成分である近似画像及び高域通過成分を用いて生成するアクティビティデータを示し、２０４及び２０５は、第２画像２０１から算出した近似画像及びアクティビティデータを示す。
【００１６】
前記２０２、２０３、２０４及び２０５は、階層１に属する。
同様に２０６及び２０７は、前記近似画像２０２から算出した近似画像及びアクティビティデータを示し、２０８及び２０９は、前記近似画像２０４から算出した近似画像及びアクティビティデータを示す。
前記２０６、２０７、２０８及び２０９は、階層２に属する。
【００１７】
２１０は、２０２及び２０６からなる近似画像群を示し、２１１は２０３及び２０７からなるアクティビティデータ群を示す。
同様に２１２は２０４及び２０８からなる近似画像群を示し、２１３は２０５及び２０９からなるアクティビティデータ群を示す。
ここで表記について説明する。
【００１８】
第１画像及び第２画像を、原画像においてブロックマッチングを行う単位であるブロック（１６画素×１６画素）に区分し、水平方向にｉ番目、垂直方向にｊ番目の位置の第１画像のブロックをＢＬＫ（ｉ，ｊ）、第２画像のブロックをｒＢＬＫ（ｉ，ｊ）と表記する。
同様に、第１画像から算出した階層ｎの近似画像におけるブロックである近似画像ブロックをａｐｘＢＬＫｎ（ｉ，ｊ）と表記し、階層ｎのアクティビティデータにおけるブロックであるアクティビティブロックをａｃｔＢＬＫｎ（ｉ，ｊ）と表記する。
また第２画像から算出した階層ｎの近似画像ブロックをｒａｐｘＢＬＫｎ（ｉ，ｊ）と表記し、第２画像から算出した階層ｎでのアクティビティブロックをｒａｃｔＢＬＫｎ（ｉ，ｊ）と表記する。
【００１９】
ａｐｘＢＬＫｎ（ｉ，ｊ）、ｒａｐｘＢＬＫｎ（ｉ，ｊ）、ａｃｔＢＬＫｎ（ｉ，ｊ）、ｒａｃｔＢＬＫｎ（ｉ，ｊ）の各ブロックの画素数は、ＢＬＫ（ｉ，ｊ）及びｒＢＬＫ（ｉ，ｊ）の画素数に比べ、水平方向、垂直方向にそれぞれ１／（２のｎ乗）となる。
次に、図３を用い、原画像から近似画像群及びアクティビティデータ群を算出する画像階層化処理について説明する。
【００２０】
図３は、画像階層化処理時の階層化第１画像メモリ１０４及び階層化第２画像１０５の内容を示している。
ここでは、第１画像について階層化する例を説明し、第２画像については説明が重複するので、説明を割愛する。
階層化第１画像メモリ１０４の内容は、画像階層化処理が進むに従い、図３の３００から３０１、３０２へと変化する。
【００２１】
３００は、算出手段１０３が、第１画像を第１画像メモリ１０２から階層化第１画像メモリ１０４へ読み出した時の階層化第１画像メモリ１０４の内容である。
３０１は、３００から階層１の近似画像及びアクティビティデータを算出した時の階層化第１画像メモリ１０４の内容である。
【００２２】
３０２は、階層１の近似画像から、階層２の近似画像及びアクティビティデータを算出した時の階層化第１画像メモリ１０４の内容である。
図３中のａｍ、ｂｍ、ｃｍ、ｄｍ（ｍは任意の自然数）は、それぞれ原画像を構成する画素データを表す。
図３中のａｐｘｎｍ（ｍ、ｎは共に自然数）は近似画像を構成する画素データを表し、ａｃｔｎｍ（ｍ、ｎは共に自然数）はアクティビティデータを構成するデータを表す。
【００２３】
また、ｍ、ｎは任意の自然数であり、ｎは各データが属する階層を示している。
算出手段１０３は、３００を２画素×２画素の小画素領域に区分し、全ての小画素領域について小画素領域毎に定位置計算のウェーブレット変換を行い、階層１の近似画像及びアクティビティデータを得る。
【００２４】
定位置計算のウェーブレット変換の詳細は後述する。
３０３は、画素データａ１、ｂ１、ｃ１、ｄ１を持つ２画素×２画素の小画素領域である。
算出手段１０３が、小画素領域３０３に対し定位置計算のウェーブレット変換を行った結果、３０３の内容が、近似画像を表す画素データａｐｘ１１とアクティビティデータを表すデータａｃｔ１１からなる３０４に示す内容になる。
【００２５】
ここで、３０４中にａｐｘ１１が２個含まれるが、第１のａｐｘ１１は、動きベクトル検出の際に使用する。
第２のａｐｘ１１は、階層２の近似画像及びアクティビティデータを算出する演算に使用し、当該演算実施中に値が書き換えられる。
３００内の全ての小画素領域に対しウェーブレット変換を行った結果、階層化第１画像メモリ１０４の内容が３０１で表す内容となる。
【００２６】
３０１について、ａｐｘ１ｍで示した画素の集まりが階層１の近似画像を構成し、図２中２０２に対応している。
またａｃｔ１ｍで示したデータの集まりが階層１のアクティビティデータを構成し、図２中２０３に対応している。
以上のように算出した階層１の近似画像及びアクティビティデータの画素数は、原画像の画素数に比べ水平方向、垂直方向にそれぞれ１／２となる。
【００２７】
更に、階層１の近似画像を用い、階層２の近似画像及び階層２のアクティビティデータを算出する。
３０１内の近似画像を表す画素データを２画素×２画素の小画素領域に区分し、全ての小画素領域について小画素領域毎にウェーブレット変換を行い階層２の近似画像及びアクティビティデータを得る。
【００２８】
図３中３０１で斜線を施した、階層１の近似画像を表すａｐｘ１１、ａｐｘ１２、ａｐｘ１３、ａｐｘ１４を２画素×２画素の小画素領域とし、当該小画素領域に対し、定位置計算のウェーブレット変換を行った結果、図３中３０２で斜線を施した階層２の近似画像を表す画素データであるａｐｘ２１及び階層２のアクティビティデータを表すデータであるａｃｔ２１を得る。
【００２９】
３０１内の全ての小画素領域に対しウェーブレット変換を行った結果、階層化第１画像メモリ１０４の内容は、３０２で表す内容となる。
３０２について、ａｐｘ２ｍで示した画素の集まりが階層２の近似画像を構成し、図２中２０６に対応している。
またａｃｔ２ｍで示したデータの集まりが階層２のアクティビティデータを構成し、図２中２０７に対応している。
【００３０】
以上のように算出した階層２の近似画像及びアクティビティデータの画素数は、階層１の近似画像及びアクティビティデータの画素数に比べ水平方向、垂直方向にそれぞれ１／２となる。
階層ｎの近似画像及びアクティビティデータの画素数は、原画像に比べ水平方向、垂直方向にそれぞれ１／（２のｎ乗）となる。
【００３１】
３階層化を行った時の階層化第１画像メモリ１０４の内容である３０２内には、階層１の近似画像及びアクティビティデータを表すデータと、階層２の近似画像及びアクティビティデータを表すデータが混在する。
また第２画像についても、第１画像の場合と同様に階層化処理を行い、算出した近似画像群及びアクティビティデータ群を階層化第２画像メモリ１０５に保持する。
３．　処理
３．１　全体処理
図４は、動きベクトル検出装置１０の全体処理の概略を示すフローチャートである。
【００３２】
算出手段１０３が近似画像群及びアクティビティデータ群の算出処理であるステップＳ４０１を行い、判断手段１０６と動きベクトル検出手段１０７が、動きベクトル検出処理であるステップＳ４０２を行う。
３．２　近似画像群及びアクティビティデータ群の算出処理
ステップＳ４０１では、算出手段１０３が、第１画像メモリ１０１内の第１画像を階層化第１画像メモリ１０４に読み出し、また第２画像メモリ１０２内の第２画像を階層化第２画像メモリ１０５に読み出し、各々の画像に対しリフティング構成のウェーブレット変換を適用する。
【００３３】
リフティング構成とは離散ウェーブレット変換を定位置計算で実行する構成法であり、メモリの使用量が少ない、アドレスのデコード処理が少ない等の利点がある。
詳細は、公知論文　Ｗ．Ｓｗｅｌｄｅｎｓ，Ｔｈｅ　ｌｉｆｔｉｎｇ　ｓｃｈｅｍｅ：　Ａ　ｃｕｓｔｏｍ　ｄｅｓｉｇｎ　ｃｏｎｓｔｒｕｃｔｉｏｎ　ｏｆｂｉｏｒｔｈｏｇｏｎａｌ　ｗａｖｅｌｅｔｓ，　Ｊ．Ａｐｐｌ．Ｃｏｍｐｕｔ．Ｈａｒｍｏｎｉｃ　Ａｎａｌｙｓｉｓ，　３　（１９９６）に記載されているため、ここでは説明を省略する。
３．２．１　Ｈａａｒウェーブレット変換
ステップＳ４０１では、低域通過成分として平均値を、高域通過成分として偏差を算出するリフティング構成のＨａａｒウェーブレット変換を用いる。
【００３４】
図５は、２画素×２画素の小画素領域に対し、リフティング構成の２次元Ｈａａｒウェーブレット変換を実行する例である。
階層化第１画像メモリ１０４及び階層化第２画像メモリ１０５内に読み出した第１画像及び第２画像のそれぞれを図３中３０３と同様の２画素×２画素からなる小画素領域に区分し、小画素領域毎に前記リフティング構成のウェーブレット変換を適用する。
【００３５】
ここでは、画素データがそれぞれａ，ｂ，ｃ，ｄである小画素領域に対し、リフティング構成のウェーブレット変換を適用する例について説明する。
図５の各行はメモリ領域内のデータに行う演算とその結果であり、上から下へ順次処理が進行していることを示し、各列は各メモリ領域に対応し、最右列には使用する演算の種類を示す。
【００３６】
演算開始時、前記画素データａをメモリ領域Ａに保持し，前記画素データｂ，ｃ，ｄを、それぞれメモリ領域Ｂ、Ｃ、Ｄに保持している。
ここではメモリ領域Ａについてのみ説明を行い、メモリ領域Ｂ、メモリ領域Ｃ，メモリ領域Ｄについては、メモリ領域Ａについての説明と重複するので、説明を割愛する。
【００３７】
図５中のメモリ領域Ａの列５０１の各欄は、上下に区切っており、上半分５０２，５０４，５０６，５０８が実施する演算、下半分５０３、５０５、５０７、５０９が演算後のメモリ領域Ａの内容を示す。
５０１について、Ｓ０からＳ３までの動作を順を追って説明する。
Ｓ０において、５０２では演算を行わず、５０３に示す初期データａをメモリ領域Ａに格納する。
【００３８】
Ｓ０からＳ１に移行する際、メモリ領域Ａの内容ａとメモリ領域Ｂの内容ｂを加算（Ａ＋Ｂ）する演算５０４を行い、メモリ領域Ａの内容は５０５に示す演算結果ａ＋ｂとなる。
Ｓ１からＳ２に移行する際、Ｓ１でのメモリ領域Ａの内容であるａ＋ｂと、Ｓ１でのメモリ領域Ｃの内容であるｃ＋ｄを加算（Ａ＋Ｃ）する演算５０６を行い、メモリ領域Ａの内容は６０７に示す演算結果ａ＋ｂ＋ｃ＋ｄとなる。
【００３９】
Ｓ２からＳ３に移行する際、Ｓ２でのメモリ領域Ａの内容に対し割算（シフト）演算５０８を行い、メモリ領域Ａの内容は、５０９に示す演算結果（ａ＋ｂ＋ｃ＋ｄ）／４となる
Ｓ０からＳ３まで行った結果、メモリ領域Ａには、低域通過成分であるＬＬ成分の（ａ＋ｂ＋ｃ＋ｄ）／４が、同様にメモリ領域Ｂには、水平方向のエッジ強調成分であるＨＬ成分である（ｂ＋ｄ）／２−（ａ＋ｃ）／２が、メモリ領域Ｃには、垂直方向のエッジ強調成分であるＬＨ成分である（ｃ＋ｄ）／２−（ａ＋ｂ）／２が、メモリ領域Ｄには、水平垂直方向のエッジ強調成分であるＨＨ成分である（ｄ−ｃ）−（ｂ−ａ）が格納されている。
【００４０】
ここで、ＬＬ成分が低域通過成分、ＬＨ、ＨＬ及びＨＨ成分が高域通過成分である。
算出手段１０３では、さらに、アクティビティデータの算出に使用する高域通過成分のみを算出することにより、演算量を削減できる。
アクティビティデータの算出に使用する高域通過成分としては、アクティビティデータとしてノイズの影響を受けやすいＨＨ成分は用いず、第１画像がフレーム画像の場合、水平方向のエッジ強調成分であるＨＬ成分と垂直方向のエッジ強調成分であるＬＨ成分との絶対値平均（｜ＨＬ｜＋｜ＬＨ｜）／２を用い、フィールド画像である場合、水平方向に比べて垂直方向に帯域制限されているため、ＬＨ成分のみを用いる。
３．２．２　簡略化リフティングスキーム
アクティビティデータの算出に使用しない高域通過成分は算出不要であり、算出手段１０３は前記リフティング構成のウェーブレット変換における高域通過成分を算出する過程で、不要な演算を省略することによりリフティング構成を簡略化する（以下、簡略化リフティングスキームと呼ぶ）。
【００４１】
図６は、アクティビティデータとして（｜ＨＬ｜＋｜ＬＨ｜）／２を採用し、２次元Ｈａａｒウェーブレット変換を行う簡略化リフティングスキームの例である。
アクティビティデータを（｜ＨＬ｜＋｜ＬＨ｜）／２とする場合、ＨＨ成分を算出する必要がないため、最終的にＨＨ成分が算出されるメモリ領域Ｄへの演算は省略し、全体の処理を簡略化する。
【００４２】
図７は、アクティビティデータとしてＬＨ成分を採用し、２次元Ｈａａｒウェーブレット変換を行う簡略化リフティングスキームの例である。
この場合、ＨＬ成分、ＨＨ成分を算出する必要が無いため、省略可能な演算がさらに増え演算量の削減効果が大きくなる。
ここで、図６及び図７のどちらの場合にも近似値であるＬＬ成分は、次の階層での定位置計算で書き換えられるが、この近似値は後段の動きベクトル検出手段１０７でのブロックマッチングにも用いるため、採用しない高域通過成分のメモリ領域Ｄにコピーしておく。
３．２．３　従来例との演算量比較
図１２に、従来方式の画像階層化ステップを示す。
【００４３】
従来方式の画像階層化ステップでは、小画素領域内のデータａ，ｂ，ｃ，ｄにおいて、近似値として平均値Ａｖｇ＝（ａ＋ｂ＋ｃ＋ｄ）／４を使用し、アクティビティとしてＡｃｔ＝（｜ａ−Ａｖｇ｜＋｜ｂ−Ａｖｇ｜＋｜ｃ−Ａｖｇ｜＋｜ｄ−Ａｖｇ｜）／４を使用する。
従来方式を用いて小画素領域について近似画像及びアクティビティを算出するのに要する演算は、図１２に示すように、加算３回、減算４回、絶対値加算３回、シフト演算（除算）２回となる。
【００４４】
一方本発明の前記簡略化リフティングスキームを用いると、上記演算は、図６の場合、加算４回、減算３回、絶対値加算１回、シフト演算２回であり、従来方式に比べ、減算が加算に置き換わり、絶対値加算２回を削減できる。
また、図７の場合、加算３回、減算１回、絶対値加算０回、シフト演算２回であり、従来方式に比べ、減算３回、絶対値加算３回を削減できる。
３．２．４　第１及び第２階層化画像メモリにおける適用
図８は、ステップＳ４０１を詳細に説明するフローである。
【００４５】
本実施例では、原画像から階層１の近似画像及びアクティビティデータを算出し、当該階層１の近似画像から階層２の近似画像及びアクティビティデータを算出する３階層化について説明する。
ステップＳ８０１では演算対象の階層ｎを０とし、ステップＳ８０２では階層数Ｎを３とする。
【００４６】
ステップＳ８０３では、ｎ＞（Ｎ−１）を判定し、ＹＥＳの場合は処理を終了し、ＮＯの場合ステップＳ８０４に進む。
ステップＳ８０４では、階層ｎの原画像（ｎ＝０の場合）或いは近似画像（ｎ≠０の場合）内の全ての小画素領域についてウェーブレット変換を行ったかどうか判定し、ＹＥＳの場合ステップＳ８０６でｎ＝ｎ＋１とし、ステップＳ８０３に進み、ＮＯの場合、ステップＳ８０５に進み、演算を行っていない小画素領域についてウェーブレット変換を行う。
【００４７】
ステップＳ８０５で行う小画素領域に対するウェーブレット変換については、前述した通りである。
３．３　動きベクトル検出処理
図４中ステップＳ４０２の動きベクトル検出処理の詳細を図９、１０、１１を用いて説明する。
【００４８】
図９は、ステップＳ４０２の処理を詳細に説明したものである。
ここでは、図９において、原画像における水平方向１番目、垂直方向１番目の位置のブロックであるＢＬＫ（１，１）の動きベクトル検出の例で説明する。
ステップＳ９０１では、原画像において、全てのブロックの動きベクトルを検出したかどうか判断する。
【００４９】
検出した場合、処理を終了する。
検出していない場合、ステップＳ９０２に進む。
ステップＳ９０２では、原画像において、動きベクトルを検出していないブロックを選出する。
本実施例では、ＢＬＫ（１，１）の動きベクトルを検出するものとする。
【００５０】
ステップＳ９０３では、演算対象となる階層ｎをＮ−１とする。
ステップＳ４０１において画像を３階層化しているため、Ｎ＝３とする。
ステップＳ９０４では、最上位階層のアクティビティブロックの重要度を評価する。
ここでは、ＢＬＫ（１，１）から算出した最上位階層のアクティビティブロックであるａｃｔＢＬＫ２（１，１）の重要度の評価を行う。
【００５１】
アクティビティブロックａｃｔＢＬＫｎ（１，１）の重要度の評価は、判断手段１０６がａｃｔＢＬＫｎ（１，１）内の各画素データ値のデータ総和を算出し、当該データ総和が予め設定したしきい値α以上であれば、当該アクティビティブロックの重要度は高いと判定し、しきい値α未満であれば当該アクティビティブロックの重要度は低いと判定する。
【００５２】
前記しきい値αを高く設定すると、重要度が低いと判断されるアクティビティブロックが増え、逆に前記しきい値αを低く設定すると重要度が低いと判断されるアクティビティブロックは減る。
例えば、ブロックサイズが２画素×２画素である場合、画素値を２５６階調とするとアクティビティブロック内データの総和は０〜２５５×４となり、当該ブロック内総和最大値の２５％を前記しきい値に設定するとしきい値は２５５となる。
【００５３】
アクティビティデータとしてウェーブレット変換後の画像の高域通過成分を用いる場合、変動が小さく一様な画像領域でのアクティビティデータは無視できる値となり、後述する動きベクトル検出ステップにおける検出精度向上に貢献しない。
よって、判断手段１０６は、アクティビティブロックの重要度が高い場合ブロックマッチングにアクティビティデータを用い、重要度が低い場合には、ブロックマッチングにアクティビティデータを用いないと判断する。
【００５４】
判断手段１０６が、アクティビティブロックを用いると判断した場合ステップＳ９０５に進み、用いないと判断した場合ステップＳ９０６に進む。
ステップＳ９０５では、動きベクトル検出手段１０７が、近似画像及びアクティビティデータを用いて、ブロックマッチングを行い動きベクトル候補ＭＶＣ（Ｎ−１）を検出する。
【００５５】
図１０は、ａｐｘＢＬＫｎ（１，１）についてのブロックマッチングを説明する図である。
図１１は、動きベクトル検出について説明する図である。
ａｐｘＢＬＫｎ（１，１）についてブロックマッチングを行う場合、ａｐｘＢＬＫｎ（１，１）とシフトブロックとの類似度を評価関数により評価する。
【００５６】
シフトブロックとは図１０に示すように、ａｐｘＢＬＫｎ（ｉ，ｊ）に対し同じｉ，ｊであるｒａｐｘＢＬＫｎ（ｉ，ｊ）を、探索領域の範囲内で、水平方向、及び垂直方向に画素単位でずらしたものである。
また前記評価関数としては、偏差絶対総和や偏差２乗総和などをよく用いる。図１０は、図中ａｐｘＢＬＫｎ（１，１）をａｃｔＢＬＫｎ（１，１）と読み替え、ｒａｐｘＢＬＫｎ（１，１）をｒａｃｔＢＬＫｎ（１，１）と読み替えることにより、アクティビティブロックについてのブロックマッチングについても説明する図となる。
【００５７】
ａｃｔＢＬＫｎ（１，１）についてのブロックマッチングは、ａｐｘＢＬＫｎ（１，１）の場合と同様に、ｒａｃｔＢＬＫｎ（１，１）を探索領域の範囲内で画素単位にシフトしたシフトブロックとの類似度を評価関数により評価する。
ａｐｘＢＬＫｎ（１，１）についての評価関数による評価値とａｃｔＢＬＫｎ（１，１）についての評価関数による評価値に重みｗ（０＜ｗ≦１）を付けた値とを加えた結果をブロックマッチングの最終的な評価値とする。
【００５８】
前記ブロックマッチングの最終的な評価値が最小となるシフトブロックのシフト量が動きベクトルとなる。
最上位階層ｎ＝２の場合、動きベクトル検出手段１０７が、ａｐｘＢＬＫ２（１，１）及びａｃｔＢＬＫ２（１，１）について、探索領域ＳＲ２（１，１）（水平方向±１２画素、垂直方向±８画素）内で前記ブロックマッチングを行い、図１１に示す動きベクトル候補ＭＶＣ（２）（１，１）を算出する。
【００５９】
ステップＳ９０６では、ａｃｔＢＬＫ２（１，１）を用いず、ａｐｘＢＬＫ２（１，１）について、探索領域ＳＲ２（１，１）（水平方向±１２画素、垂直方向±８画素）内で前記ブロックマッチングを行い、図１１に示す動きベクトル候補ＭＶＣ（２）（１，１）を算出する。
ステップＳ９０７では、演算対象となる階層ｎについて、ｎ＝ｎ−１とする。
【００６０】
ステップＳ９０８では、ｎが原画像を表す０であるかどうかを判定する。
ｎ＝０である場合、ステップＳ９１２へ進む。
ｎ≠０の場合、ステップＳ９０９へ進む。
ステップＳ９０９では、判断手段１０６が、階層ｎのアクティビティブロックの重要度を評価する。
【００６１】
本実施例では、ＢＬＫ（１，１）から算出した階層１のアクティビティブロックであるａｃｔＢＬＫ１（１，１）の重要度の評価を行う。
重要度の評価は、ステップＳ９０４で行った方法と同じ方法を用いる。
判断手段１０６が、アクティビティブロックを用いると判断した場合ステップＳ９１０に進み、用いないと判断した場合ステップＳ９１１に進む。
【００６２】
ステップＳ９１０及びステップＳ９１１では、動きベクトル検出手段１０７が、最上位階層及び原画像を除く階層ｎにおいて、近似画像及びアクティビティデータを用いて動きベクトル候補ＭＶＣ（ｎ）（ｉ，ｊ）を検出する。
ブロックマッチングにおける探索領域は、ＭＶＣ（ｎ＋１）（ｉ，ｊ）を用い、小探索領域を設定する。
【００６３】
ｎ＝１の場合である階層１においては、図１１に示すように探索領域ＳＲ１（１，１）（水平方向±２４画素、垂直方向±１６画素）内にＭＶＣ（２）（１，１）を２倍した位置から±２画素の小探索領域ＳＳＲ１（１，１）を設定する。ここでステップＳ９１０では、小探索領域ＳＳＲ１（１，１）内で、ａｐｘＢＬＫ１（１，１）及びａｃｔＢＬＫ１（１，１）についてブロックマッチングを行い、動きベクトル候補ＭＶＣ（１）（１，１）を算出し、ステップＳ９１１では、小探索領域ＳＳＲ１（１，１）内で、ａｐｘＢＬＫ１（１，１）のみについてブロックマッチングを行い、動きベクトル候補ＭＶＣ（１）（１，１）を算出する。
【００６４】
ステップＳ９１２では、原画像において動きベクトルを検出する。
ブロックマッチングには、原画像同士である第１画像と第２画像を用いる。
図１１に示すように原画像中の探索領域ＳＲ（１，１）（水平方向±４８画素、垂直方向±３２画素）内にＭＶＣ（１）（１，１）を２倍した位置およびその周囲水平・垂直±２画素の小探索領域ＳＳＲ（１，１）を設定し、ＳＳＲ（１，１）内でブロックマッチングを行い、整数画素精度の動きベクトルＭＶ（１，１）を検出する。
４．まとめ
以上説明したように、動きベクトル検出装置１０は、第１画像及び第２画像から２組の近似画像群及びアクティビティデータ群を算出する階層化画像の算出において、動きベクトル検出精度の向上に寄与しない高周波成分を算出するための計算を省略して演算量を削減し、ブロックマッチングにおいては動きベクトル検出精度向上に寄与しないアクティビティデータに対するブロックマッチングを省略することにより演算量を削減することにより、全体的な計算量を削減する。またノイズの影響を受けやすい高域通過成分をアクティビティデータの算出に用いないことにより、ノイズに対し頑健なブロックマッチングを行う。
（その他の変形例）
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
（１）本発明は、実施の形態で説明したステップを含む方法であるとしてもよい。また、これらの方法を、コンピュータシステムを用いて実現するためのコンピュータプログラムであるとしてもよいし、前記プログラムを表すデジタル信号であるとしてもよい。
【００６５】
また、本発明は、前記プログラム又は前記デジタル信号を記録したコンピュータ読取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、半導体メモリ等であるとしてもよい。
（２）最上位階層と原画像の間の間の階層においては探索領域ＳＲｎ内に小探索領域ＳＳＲｎを設定し、実施の形態で説明した例では当該ＳＳＲｎのサイズを水平・垂直±２画素としているが、±１画素でもよいし誤検出抑制のため広くとっても良い。
（３）最上位階層において判断手段が行った、ブロックマッチングにアクティビティブロックを用いるか否かの判断結果を、下位階層において使用してもよい。
（４）最上位階層での全探索の結果において、ブロックマッチングの評価値が小さい順に複数の動きベクトル候補ＭＶＣを採用し、当該複数の動きベクトル候補を下位階層で用いてもよい。
（５）階層化した近似画像及びアクティビティデータを用いて動きベクトル検出を行う動きベクトル検出装置において、アクティビティデータの重要度を評価し、重要でないデータのブロックマッチングを省略する方法を、実施の形態で示した実施例に示したウェーブレット変換以外の方法で画像を階層化する場合に用いてもよい。
【００６６】
【発明の効果】
（１）本発明の動きベクトル検出方法は、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出方法であって、当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと、当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、当該動きベクトル候補を用いて動きベクトルを検出する検出ステップとを含む。
【００６７】
この構成によれば、動きベクトル検出方法は、動きベクトルの検出精度向上に寄与しないアクティビティ画像についてのブロックマッチング演算を省略することにより、動きベクトル検出についての演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（２）また、本発明の動きベクトル検出方法は、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出方法であって、当該原解像度よりも低くかつ段階的に低下する複数の縮小解像度の各々について、当該第１画像及び当該第２画像に含まれる低周波成分を当該縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、各縮小解像度について、当該縮小解像度の第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと各縮小解像度について、当該閾値以上であると判断された場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果、及び当該縮小解像度の第１アクティビティ画像と当該縮小解像度の第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、当該動きベクトル候補を当該縮小解像度の低い順に段階的に用いて動きベクトルを検出する検出ステップとを含む。
【００６８】
この構成によれば、（１）と同様の効果が得られる。
（３）また、前記（２）の動きベクトル検出方法において、前記判断ステップは、所定の縮小解像度よりも高い縮小解像度について、当該所定の縮小解像度における判断結果と同一の判断結果が得られたものとして前記判断を省略してもよい。
【００６９】
この構成によれば、当該所定の縮小解像度よりも高い縮小解像度のアクティビティ画像について、当該判断を行うための演算が不要となり、動きベクトル検出についての演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（４）また、前記（１）乃至（３）のいずれかの動きベクトル検出方法において、前記算出ステップは、リフティング構成のウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出してもよい。
【００７０】
この構成によれば、（１）と同様の効果が得られる。
（５）また、前記（４）の動きベクトル検出方法において、前記算出ステップは、リフティング構成のＨａａｒウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出してもよい。
この構成によれば、（１）と同様の効果が得られる。
（６）また、前記（４）又は（５）の動きベクトル検出方法において、画像を複数の周波数帯域に分割する演算を行う前記リフティング構成のウェーブレット変換及び前記リフティング構成のＨａａｒウェーブレット変換について、前記算出ステップは、前記各近似画像及び前記各アクティビティ画像の算出に用いる周波数帯域のみを抜き出す演算を行ってもよい。
【００７１】
この構成によれば、アクティビティ画像の算出に使用しない周波数帯域を抜き出すための演算を省略出来るため、演算量を削減することができる。
（７）また、前記（６）の動きベクトル検出方法において、前記算出ステップは、前記第１画像が、飛越走査画像であるか順次走査画像であるかによって、アクティビティ画像の算出に用いる周波数帯域を選択してもよい。
【００７２】
この構成によれば、アクティビティ画像の算出に使用しない周波数帯域を抜き出すための演算を省略出来るため、演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（８）本発明の動きベクトル検出装置は、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置であって、当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出手段と、当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断手段と、当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出手段と、当該動きベクトル候補を用いて動きベクトルを検出する検出手段とを含む。
【００７３】
この構成によれば、動きベクトル検出装置は、動きベクトルの検出精度向上に寄与しないアクティビティ画像についてのブロックマッチング演算を省略することにより、動きベクトル検出についての演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（９）また本発明の動きベクトル検出装置は、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置であって、当該原解像度よりも低くかつ段階的に低下する複数の縮小解像度の各々について、当該第１画像及び当該第２画像に含まれる低周波成分を当該縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出手段と、各縮小解像度について、当該縮小解像度の第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断手段と各縮小解像度について、当該閾値以上であると判断された場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果、及び当該縮小解像度の第１アクティビティ画像と当該縮小解像度の第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出手段と、当該動きベクトル候補を当該縮小解像度の低い順に段階的に用いて動きベクトルを検出する検出手段とを含む。
【００７４】
この構成によれば、（１）と同様の効果が得られる。
（１０）また、前記（９）の動きベクトル検出装置において、前記判断手段は、所定の縮小解像度よりも高い縮小解像度について、当該所定の縮小解像度における判断結果と同一の判断結果が得られたものとして前記判断を省略してもよい。
この構成によれば、当該所定の縮小解像度よりも高い縮小解像度のアクティビティ画像について、当該判断を行うための演算が不要となり、動きベクトル検出についての演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（１１）また、前記（８）乃至（１０）のいずれかの動きベクトル検出装置において、前記算出手段は、リフティング構成のウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出してもよい。
【００７５】
この構成によれば、（１）と同様の効果が得られる。
（１２）また、前記（１１）の動きベクトル検出装置において、前記算出手段は、リフティング構成のＨａａｒウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出してもよい。
この構成によれば、（１）と同様の効果が得られる。
（１３）また、前記（１１）又は（１２）の動きベクトル検出装置において、画像を複数の周波数帯域に分割する演算を行う前記リフティング構成のウェーブレット変換及び前記リフティング構成のＨａａｒウェーブレット変換について、前記算出手段は、前記各近似画像及び前記各アクティビティ画像の算出に用いる周波数帯域のみを抜き出す演算を行ってもよい。
【００７６】
この構成によれば、アクティビティ画像の算出に使用しない周波数帯域を抜き出すための演算を省略出来るため、演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（１４）また、前記（１３）の動きベクトル検出装置において、前記算出手段は、前記第１画像が、飛越走査画像であるか順次走査画像であるかによって、アクティビティ画像の算出に用いる周波数帯域を選択してもよい。
【００７７】
この構成によれば、アクティビティ画像の算出に使用しない周波数帯域を抜き出すための演算を省略出来るため、演算量を削減すると共に、動きベクトル検出精度を従来程度の水準で維持できる。
（１５）本発明のプログラムは、原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置をコンピュータを用いて実現するためのコンピュータ実行可能なプログラムであって、
当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、
当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと、
当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、
当該動きベクトル候補を用いて動きベクトルを検出する検出ステップとを含む。
【００７８】
この構成によれば、当該プログラムを用いる動きベクトル検出装置は、（１）と同様の効果を有する。
【図面の簡単な説明】
【図１】動きベクトル検出装置１０の全体構成の一例を示している。
【図２】算出手段が算出する各データの関係を模式的に示した図である。
【図３】原画像、近似画像群及びアクティビティデータ群のデータ保持形式を示す。
【図４】動きベクトル検出装置の全体処理の概略を示すフローチャートである。
【図５】リフティング構成の２次元Ｈａａｒウェーブレット変換を説明する図である。
【図６】アクティビティデータとして（｜ＨＬ｜＋｜ＬＨ｜）／２を採用し、２次元Ｈａａｒウェーブレット変換を行う簡略化リフティングスキームの例である。
【図７】アクティビティデータとしてＬＨ成分を採用し、２次元Ｈａａｒウェーブレット変換を行う簡略化リフティングスキームの例である。
【図８】画像階層化を詳細に説明するフローである。
【図９】動きベクトル検出処理を詳細に説明するフローである。
【図１０】ａｐｘＢＬＫｎ（１，１）についてのブロックマッチングを説明する図である。
【図１１】動きベクトル検出について説明する図である。
【図１２】従来方式の画像階層化ステップを示す。
【符号の説明】
１０　動きベクトル検出装置
１０１　第１画像メモリ
１０２　第２画像メモリ
１０３　算出手段
１０４　階層化第１画像メモリ
１０５　階層化第２画像メモリ
１０６　判断手段
１０７　動きベクトル検出手段
２００　第１画像
２０１　第２画像
２０２　第１画像についての階層１の近似画像
２０３　第１画像についての階層１のアクティビティデータ
２０４　第２画像についての階層１の近似画像
２０５　第２画像についての階層１のアクティビティデータ
２０６　第１画像についての階層２の近似画像
２０７　第１画像についての階層２のアクティビティデータ
２０８　第２画像についての階層２の近似画像
２０９　第２画像についての階層２のアクティビティデータ
２１０　第１画像についての近似画像群
２１１　第１画像についてのアクティビティデータ群
２１２　第２画像についての近似画像群
２１３　第２画像についてのアクティビティデータ群
３００　原画像を表す階層化画像メモリ内容
３０１　２階層化後の階層化画像メモリ内容
３０２　３階層化後の階層化画像メモリ内容
３０３　小画素領域
３０４　小画素領域
５０１　メモリ領域Ａ列
５０２　Ｓ０での演算
５０３　Ｓ０での演算結果
５０４　Ｓ１での演算
５０５　Ｓ１での演算結果
５０６　Ｓ２での演算
５０７　Ｓ２での演算結果
５０８　Ｓ３での演算
５０９　Ｓ３での演算結果

Claims (15)

1. 原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出方法であって、
   当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、
   当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと、
   当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、
   当該動きベクトル候補を用いて動きベクトルを検出する検出ステップと
   を含むことを特徴とする動きベクトル検出方法。
2. 原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出方法であって、
   当該原解像度よりも低くかつ段階的に低下する複数の縮小解像度の各々について、当該第１画像及び当該第２画像に含まれる低周波成分を当該縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、
   各縮小解像度について、当該縮小解像度の第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと
   各縮小解像度について、当該閾値以上であると判断された場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果、及び当該縮小解像度の第１アクティビティ画像と当該縮小解像度の第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、
   当該動きベクトル候補を当該縮小解像度の低い順に段階的に用いて動きベクトルを検出する検出ステップと
   を含むことを特徴とする動きベクトル検出方法。
3. 前記判断ステップは、
   所定の縮小解像度よりも高い縮小解像度について、当該所定の縮小解像度における判断結果と同一の判断結果が得られたものとして前記判断を省略する
   ことを特徴とする請求項２に記載の動きベクトル検出方法。
4. 前記算出ステップは、リフティング構成のウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出する
   ことを特徴とする請求項１乃至３のいずれかに記載の動きベクトル検出方法。
5. 前記算出ステップは、リフティング構成のＨａａｒウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出する
   ことを特徴とする請求項４に記載の動きベクトル検出方法。
6. 画像を複数の周波数帯域に分割する演算を行う前記リフティング構成のウェーブレット変換及び前記リフティング構成のＨａａｒウェーブレット変換において、
   前記算出ステップは、前記各近似画像及び前記各アクティビティ画像の算出に用いる周波数帯域のみを抜き出す演算を行う
   ことを特徴とする請求項４又は５に記載の動きベクトル検出方法。
7. 前記算出ステップは、前記第１画像が、飛越走査画像であるか順次走査画像であるかによって、アクティビティ画像の算出に用いる周波数帯域を選択する
   ことを特徴とする請求項６に記載の動きベクトル検出方法。
8. 原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置であって、
   当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出手段と、
   当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断手段と、
   当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出手段と、
   当該動きベクトル候補を用いて動きベクトルを検出する検出手段と
   を含むことを特徴とする動きベクトル検出装置。
9. 原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置であって、
   当該原解像度よりも低くかつ段階的に低下する複数の縮小解像度の各々について、当該第１画像及び当該第２画像に含まれる低周波成分を当該縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出手段と、
   各縮小解像度について、当該縮小解像度の第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断手段と
   各縮小解像度について、当該閾値以上であると判断された場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果、及び当該縮小解像度の第１アクティビティ画像と当該縮小解像度の第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該縮小解像度の第１近似画像と当該縮小解像度の第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出手段と、
   当該動きベクトル候補を当該縮小解像度の低い順に段階的に用いて動きベクトルを検出する検出手段と
   を含むことを特徴とする動きベクトル検出装置。
10. 前記判断手段は、
    所定の縮小解像度よりも高い縮小解像度について、当該所定の縮小解像度における判断結果と同一の判断結果が得られたものとして前記判断を省略する
    ことを特徴とする請求項９に記載の動きベクトル検出装置。
11. 前記算出手段は、リフティング構成のウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出する
    ことを特徴とする請求項８乃至１０のいずれかに記載の動きベクトル検出装置。
12. 前記算出手段は、リフティング構成のＨａａｒウェーブレット変換を用いて、前記各近似画像及び各アクティビティ画像を算出する
    ことを特徴とする請求項１１に記載の動きベクトル検出装置。
13. 画像を複数の周波数帯域に分割する演算を行う前記リフティング構成のウェーブレット変換及び前記リフティング構成のＨａａｒウェーブレット変換において、
    前記算出手段は、前記各近似画像及び前記各アクティビティ画像の算出に用いる周波数帯域のみを抜き出す演算を行う
    ことを特徴とする請求項１１又は１２に記載の動きベクトル検出装置。
14. 前記算出手段は、前記第１画像が、飛越走査画像であるか順次走査画像であるかによって、アクティビティ画像の算出に用いる周波数帯域を選択する
    ことを特徴とする請求項１３に記載の動きベクトル検出装置。
15. 原解像度でそれぞれ表された第１画像と第２画像との間の動きベクトルを検出する動きベクトル検出装置をコンピュータを用いて実現するためのコンピュータ実行可能なプログラムであって、
    当該第１画像及び当該第２画像に含まれる低周波成分を当該原解像度よりも低い縮小解像度でそれぞれ表す第１近似画像及び第２近似画像、及び当該第１画像及び第２画像に含まれる高周波成分を当該縮小解像度でそれぞれ表す第１アクティビティ画像及び第２アクティビティ画像を算出する算出ステップと、
    当該第１アクティビティ画像により表された高周波成分の総量が所定閾値以上であるか否かを判断する判断ステップと、
    当該閾値以上であると判断された場合、当該第１近似画像と当該第２近似画像との比較結果、及び当該第１アクティビティ画像と当該第２アクティビティ画像との比較結果の双方を用いて動きベクトル候補を選出し、その他の場合、当該第１近似画像と当該第２近似画像との比較結果のみを用いて動きベクトル候補を選出する選出ステップと、
    当該動きベクトル候補を用いて動きベクトルを検出する検出ステップと
    を前記コンピュータに実行させる
    ことを特徴とするプログラム。

Images