JPH07222175A - 画像照合方法および装置 - Google Patents
画像照合方法および装置Info
- Publication number
- JPH07222175A JPH07222175A JP3317594A JP3317594A JPH07222175A JP H07222175 A JPH07222175 A JP H07222175A JP 3317594 A JP3317594 A JP 3317594A JP 3317594 A JP3317594 A JP 3317594A JP H07222175 A JPH07222175 A JP H07222175A
- Authority
- JP
- Japan
- Prior art keywords
- block
- sub
- data
- inspection
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
検出する時に、演算量を低減することができ、また、位
相ずれに起因する誤検出のおそれを防止することがで
き、さらに、照合の精度を向上できる。 【構成】 (3×3)画素の基準サブブロックの代表画
素値xが代表値抽出回路7aで抽出される。同じ大きさ
の検査サブブロックの最大値,最小値がMAX,MIN
検出回路8で検出される。比較回路9において、代表画
素値xがMAXおよびMINの範囲内にあるかどうかが
比較され、その比較結果に応じた評価値Δが評価値計算
回路10で計算される。若し、xがMAXおよびMIN
の間に含まれる時には、Δが0とされる。基準サブブロ
ックに関して剛体仮定を導入し、検査サブブロックの中
で照合に使用される候補画素が選択回路17で選択され
る。検出された画素からなる検査ブロックに関してMA
X,MINが検出される。サブブロック毎の評価値から
総合評価値が形成され、この総合評価値に基づいて動き
ベクトルが検出される。
Description
ディジタル画像の部分的照合をとるための方法および装
置、より具体的には、ブロックマッチング法により画像
の動きの方向および量を表す動きベクトルを検出する場
合に適用可能な画像照合方法および装置に関する。
ジタル画像データの予測符号化における動き補償であ
る。一例として、動画の高能率符号化の国際的標準方式
である、MPEG(Moving Picture Coding Experts Gro
up) 方式が提案されている。このMPEG方式は、DC
T(Discrete Cosine Transform) と動き補償予測符号化
とを組み合わせたものである。
を示す。図16において、入力端子61からのディジタ
ルビデオデータが動きベクトル検出回路62および減算
回路63に供給される。動きベクトル検出回路63で
は、現フレームと参照フレーム(例えば時間的に前フレ
ーム)との間の動きベクトルが検出される。この動きベ
クトルが動き補償回路64に供給される。
が動き補償回路64において動きベクトルに基づいて動
き補償された後に、減算回路63および加算回路66に
供給される。減算回路63では、現フレームのビデオデ
ータと動き補償回路64からの前フレームの復号ビデオ
データとが画素毎に減算される。減算回路63からの差
分データがDCT回路67においてDCT変換される。
DCT回路67からの係数データが量子化回路68によ
り再量子化される。量子化回路68の出力データが出力
端子69に取り出されるとともに、逆量子化回路70に
供給される。
CT回路71とは、DCT回路67および量子化回路6
8と反対の処理を行うためのローカル復号回路を構成す
る。逆DCT回路71からの復号差分データが加算回路
66に供給される。加算回路66の出力データがフレー
ムメモリ65を介して動き補償回路64に供給される。
動き補償回路64からの前フレームの復号データが加算
回路66に供給されることで、復号データが形成され、
この復号データがフレームメモリ65に蓄えられる。
マッチング法により動きベクトルが検出される。これ
は、参照フレームの検査ブロックを所定の探索範囲内で
移動し、現フレームの基準ブロックと最も合致している
ブロックを検出することにより動きベクトルを求めるも
のである。従って、動きベクトルは、ブロック毎に求め
られる。なお、画面全体あるいは1画面を1/4に分割
した領域のような比較的大きい領域の動きベクトルを求
める場合もある(例えば特開昭61−105178号公
報参照)。
すように、1枚の画像、例えば水平H画素、垂直Vライ
ンの1フレームの画像が図17Bに示すように、P画素
×Qラインのブロックに細分化される。図17Bの例で
は、P=5、Q=5の例である。cがブロックの中心画
素位置である。
クとc´を中心とする検査ブロックの位置関係を示して
いる。cを中心画素とする基準ブロックは、現フレーム
の注目しているある基準ブロックであり、その画像と一
致する参照フレームの検査ブロックが参照フレームにお
いてc´を中心とするブロックの位置にあるものとして
いる。ブロックマッチング法では、探索範囲内におい
て、基準ブロックと最も合致する検査ブロックを見出す
ことによって、動きベクトルを検出する。
素、垂直方向に−1ライン、すなわち、(−1,−1)
の動きベクトルが検出される。図18Bでは、(−3,
−3)の動きベクトルが検出され、図18Cでは、(−
2,+1)の動きベクトルが検出される。動きベクトル
は、現フレームの基準ブロック毎に求められる。動きベ
クトルの極性は、テレビジョンのラスター走査の方向と
一致する方向を+としている。
±S画素、垂直方向で±Tラインとすると、基準ブロッ
クは、その中心cに対して、水平に±S、垂直に±Tず
れたところに中心c´を有する検査ブロックと比較され
る必要がある。図19は、現フレームのある基準ブロッ
クの中心cの位置をRとする時に、比較すべき参照フレ
ームの(2S+1)×(2T+1)個の検査ブロックと
の比較が必要なことを示している。すなわち、この図1
9のます目の位置にc´が存在する検査ブロックの全て
が比較対象である。図19は、S=4,T=3とした例
である。
わち、フレーム差の絶対値和、このフレーム差の二乗
和、あるいはフレーム差の絶対値のn乗和)の中で、最
小値を検出することによって、動きベクトルが検出され
る。図19の探索範囲は、検査ブロックの中心が位置す
る領域であり、検査ブロックの全体が含まれる探索範囲
の大きさは、(2S+P)×(2T+Q)となる。
一例の構成を示す。図20において、81が現フレーム
の画像データの入力端子であり、この画像データが現フ
レームメモリ83に蓄えられる。82が参照フレームの
画像データの入力端子であり、この画像データが参照フ
レームメモリ84に蓄えられる。
メモリ84の読出し/書込みは、コントローラ85によ
って制御される。現フレームメモリ83からは、現フレ
ームの基準ブロックの画素データが読出され、参照フレ
ームメモリ84からは、参照フレームの検査ブロックの
画素データが読出される。参照フレームメモリ84と関
連してアドレス移動回路86が設けられる。コントロー
ラ85がアドレス移動回路86を制御する結果、検査ブ
ロックの中心位置が1画素ステップで、探索範囲内を移
動される。
ムメモリ84の出力とが差分検出回路87に供給され、
1画素毎の差分が検出される。差分検出回路87の出力
が絶対値化回路88で絶対値に変換され、この絶対値が
累算回路89に供給される。累算回路89が1ブロック
で発生した絶対値差分を累算し、その出力が評価値とし
て判断回路90に供給される。判断回路90は、探索範
囲内で検査ブロックを移動させた時にそれぞれ発生する
差分の絶対値和から動きベクトルを検出する。すなわ
ち、最小の差分の絶対値和を発生する検査ブロックの位
置を動きベクトルとして検出する。
準ブロックと検査ブロックとの間でフレーム差分の絶対
値和を求める処理を探索範囲内で行う必要がある。上述
の図17、図18、図19の例では、(P×Q)回の絶
対値差分の累算を全ての探索点、すなわち,(2S+
1)×(2T+1)回行う必要がある。この関係から、
演算量は、(P×Q)×(2S+1)×(2T+1)で
表される。従って、上述のブロックマッチング法は、ハ
ードウエアの規模が大きく、演算量が膨大であるという
問題点があった。
に、P=16,Q=16、S=2,T=2の例を考え
る。このSおよびTの数値は、説明および図示の簡単の
ために、非常に小さな値としており、実際には、より大
きな探索範囲が設定される。図21では、基準ブロック
と(+2,+2)の移動量の検査ブロックとが描かれて
いる。この具体例では、探索範囲を水平および垂直方向
に±2としており、探索点が(5×5=25)である。
量について考えると、(16×16)回の画素間の差分
を求める減算と、その絶対値を得る減算と、全ての差分
の絶対値を加算する演算とを一つの探索点について必要
とする。さらに、この演算を25個の全ての探索点につ
いて行う必要がある。従って、ブロックマッチング法に
おける演算量は、照合画素数×探索点に依存すると考え
ることができ、この演算量が膨大となる。従来におい
て、基準ブロック内の画素を一つの代表点画素とし、代
表点データと検査ブロック内のデータとの差分を演算す
るものが提案されている(例えば特開昭62−2558
7号公報参照)。この方式は、ハードウエアの簡略化あ
るいは処理時間の短縮化をある程度達成することができ
るが、演算量の大幅な減少を達成することができない。
法と、照合方式を簡略化する手法が提案されている。探
索を簡略化する方法としては、探索範囲で検査ブロック
を移動する時に、最初のステップとして、数画素の間隔
で検査ブロックを移動させることによって、大まかな動
きベクトルを検出し、次のステップで、検出された位置
の付近で、1画素間隔で検査ブロックを移動させること
によって、最終的に動きベクトルを求める方法(2ステ
ップ法)が知られている。ステップ数を3とした3ステ
ップ法も考えられる。この方法によれば、フルサーチで
必要とされた、全ての探索点において必要とされた演算
を各ステップで検出された動きベクトルの周辺の探索点
と対応する回数へ減少させることができる。
簡略化する方法として、ブロック内の画素数を間引き
(サブサンプリング)により減少させるものである。例
えば図22に示すように、(16×16)画素のブロッ
クを水平および垂直方向に1/4の間引きを行ない、ブ
ロック内の画素数を1/16に減少させる。また、探索
点は、4画素毎に存在する。これによって、照合画素数
および探索点を少なくできる。
る他の方法として、階層構造を採用するものが提案され
ている。一例として、原画像(第1階層と称する)と、
第1階層からローパスフィルタおよび/またはサブサン
プリングによって、水平および垂直方向で画素数が1/
2に間引かれた第2階層と、さらに、第2階層をローパ
スフィルタおよび/またはサブサンプリングによって、
水平および垂直方向で1/2に間引いた第3階層とから
なる階層構造を規定する。
ングを行ない、検出された最小値の位置に原点を移動し
て第2階層に関してブロックマッチングを行ない、検出
された最小値の位置に原点を移動して、第1階層に関し
てブロックマッチングを行い、最終的に1画素ステップ
のブロックマッチングで動きベクトルを検出する。
るさらに他の方法として、基準ブロックおよび検査ブロ
ックを水平方向および垂直方向のそれぞれの方向で小ブ
ロックに更に分割し、小ブロック毎に特徴量を抽出する
ものが提案されている。すなわち、基準ブロックおよび
検査ブロックの間で、水平方向小ブロックの特徴量と垂
直方向小ブロック特徴量とを別個に比較し、比較結果の
絶対値をそれぞれ累算し、累算結果を加重平均したもの
をブロック間の比較結果として用いる。小ブロックの特
徴量は、例えばその小ブロック内の画素データの累算結
果である。この方法は、1ブロック内の全画素数に関し
て必要とされた演算を水平および垂直方向の小ブロック
の数に減少することができる。
上述したような種々の改良は、演算量を減少させること
はできるが、誤検出が生じる欠点を有している。これ
は、簡略化の結果として、原画像の有する情報量の欠落
が生じるからである。
数(照合画素数)を減らすようにした照合方式の簡略化
においては、ブロックの画像データのディテイルが失わ
れ、その結果、誤検出が生じる。図23に示すように、
基準ブロックと検査ブロック(簡単のため、各ブロック
が1次元ブロックとする)を照合する場合を考える。基
準ブロックデータを4画素毎に平均化したものは、検査
ブロックデータと同じ波形となり、元の二つのデータ
は、異なる波形であるにもかかわらず、比較の結果、両
者が合致するものと判定され、誤検出が生じる。
提案している(特願平5−248813号参照)。この
方法は、基準ブロックと検査ブロックとを比較する時
に、定常成分と過渡成分とをそれぞれ各ブロックから抽
出し、定常成分同士、過渡成分同士を比較することによ
って、誤検出を防止しようとするものである。図24の
例において、過渡成分の一例として、平均値に対する差
分の絶対値を求めると、基準ブロックデータと検査ブロ
ックデータとが大きく異なったものとなる。従って、過
渡成分を参照することによって、誤検出を防止すること
ができる。
略化する方法では、大まかな動きベクトルを検出する時
に、精度が粗いために、誤検出のおそれが生じる。照合
方式および探索方式の簡略化を行う方法では、やはり、
間引かれた画像あるいはローパスフィルタを通した画像
に基づいて動きベクトルの検出する時に、誤検出のおそ
れがある。
点の位相と画像の動きとの間に位相ずれが生じる。これ
を図24を参照して説明する。図24は、1次元ブロッ
クについて4画素毎の探索点を設定した場合であり、原
信号の波形を水平に、1画素、2画素、3画素および4
画素移動した波形がそれぞれ示されている。基準ブロッ
クと検査ブロックの切り出しが同一位相の場合では、静
止と4画素の倍数の動きにおいて、両ブロックが合致
し、これを検出できる。しかしながら、それ以外の動き
は、検出することができない。
動きが3画素以下であっても、原点から4画素離れた探
索点における差分の絶対値の累算値が非常に大きな値と
なるおそれがある。若し、他の探索点における差分の絶
対値の累算値がこれより小さな時には、検出される動き
が真のものとかけ離れたものとなる。
でき、ハードウエアが簡単な特徴を備え、また、誤検出
を防止でき、さらに、位相ずれの補償および検出精度の
向上が可能な画像照合方法および装置を提供することに
ある。
は、第1の画像データを複数の基準ブロックへ分割し、
基準ブロックをさらに複数の基準サブブロックへ分割す
るステップと、第2の画像データを複数の検査ブロック
へ分割し、検査ブロックをさらに複数の検査サブブロッ
クへ分割するステップと、基準サブブロックから第1の
代表画素データをそれぞれ抽出するステップと、複数の
基準サブブロックの第1の代表画素データ群を指示する
第1の指示データと、複数の検査サブブロックの互いに
対応する位置の画素群を指示する第2の指示データとを
それぞれ形成し、第1および第2の指示データを比較す
ることによって、照合に使用する画素データを選択する
ステップと、検査サブブロックの選択された画素の存在
範囲を示す特徴量データをそれぞれ抽出するステップと
基準サブブロックから第2の代表画素データをそれぞれ
抽出するステップと、第2の代表画素データと特徴量デ
ータとを比較することによって、サブブロック毎の評価
値を生成し、サブブロック毎の評価値から総合評価値を
生成し、総合評価値に基づいて第1および第2の画像デ
ータの部分的照合を行うステップとからなる画像照合方
法である。
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割する手段と、第2の画
像データを複数の検査ブロックへ分割し、検査ブロック
をさらに複数の検査サブブロックへ分割する手段と、基
準サブブロックから第1の代表画素データをそれぞれ抽
出する手段と、複数の基準サブブロックの第1の代表画
素データ群を指示する第1の指示データと、複数の検査
サブブロックの互いに対応する位置の画素群を指示する
第2の指示データとをそれぞれ形成し、第1および第2
の指示データを比較することによって、照合に使用する
画素データを選択する手段と、検査サブブロックの選択
された画素の存在範囲を示す特徴量データをそれぞれ抽
出する手段と、基準サブブロックから第2の代表画素デ
ータをそれぞれ抽出する手段と、第2の代表画素データ
と特徴量データとを比較することによって、サブブロッ
ク毎の評価値を生成し、サブブロック毎の評価値から総
合評価値を生成し、総合評価値に基づいて第1および第
2の画像データの部分的照合を行う手段とからなる画像
照合装置である。
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割するステップと、第2
の画像データを複数の検査ブロックへ分割し、検査ブロ
ックをさらに複数の検査サブブロックへ分割し、位相補
償に必要な範囲の検査サブブロックの近傍画素を含む修
正検査サブブロックを構成するステップと、基準サブブ
ロックから第1の代表画素データをそれぞれ抽出するス
テップと、複数の基準サブブロックの第1の代表画素デ
ータ群を指示する第1の指示データと、複数の修正検査
サブブロックの互いに対応する位置の画素群を指示する
第2の指示データとをそれぞれ形成し、第1および第2
の指示データを比較することによって、照合に使用する
画素データを選択するステップと、基準サブブロックの
全画素の存在範囲を示す第1の特徴量データをそれぞれ
抽出するステップと、選択された画素データからなる修
正検査サブブロックの全画素の存在範囲を示す第2の特
徴量データをそれぞれ抽出するステップと、第1および
第2の特徴量データとを比較することによって、サブブ
ロック毎の評価値を生成し、サブブロック毎の評価値か
ら総合評価値を生成し、総合評価値に基づいて第1およ
び第2の画像データの部分的照合を行うステップとから
なる画像照合方法である。
タを複数の基準ブロックへ分割し、基準ブロックをさら
に複数の基準サブブロックへ分割する手段と、第2の画
像データを複数の検査ブロックへ分割し、検査ブロック
をさらに複数の検査サブブロックへ分割し、位相補償に
必要な範囲の検査サブブロックの近傍画素を含む修正検
査サブブロックを構成する手段と、基準サブブロックか
ら第1の代表画素データをそれぞれ抽出する手段と、複
数の基準サブブロックの第1の代表画素データ群を指示
する第1の指示データと、複数の修正検査サブブロック
の互いに対応する位置の画素群を指示する第2の指示デ
ータとをそれぞれ形成し、第1および第2の指示データ
を比較することによって、照合に使用する画素データを
選択する手段と、基準サブブロックの全画素の存在範囲
を示す第1の特徴量データをそれぞれ抽出する手段と、
選択された画素データからなる修正検査サブブロックの
全画素の存在範囲を示す第2の特徴量データをそれぞれ
抽出する手段と、第1および第2の特徴量データとを比
較することによって、サブブロック毎の評価値を生成
し、サブブロック毎の評価値から総合評価値を生成し、
総合評価値に基づいて第1および第2の画像データの部
分的照合を行う手段とからなる画像照合装置である。
され、各基準サブブロックの例えば中央位置の画素デー
タを第1の代表画素データとして抽出する。第1の代表
画素群を指示する第1の指示データとしての平均値が形
成される。また、検査ブロックが複数の検査サブブロッ
クへ分割され、各検査サブブロックの互いに対応する位
置の画素群を指示する第2の指示データとしての平均値
が各位置に関して形成される。これらの平均値が比較さ
れ、照合に使用する画素データが選択される。検査サブ
ブロック毎に選択画素データの存在範囲を示す特徴量デ
ータ(MAX,MIN)が抽出される。基準サブブロッ
クから抽出された第2の代表画素データがMAXおよび
MINの範囲に含まれるかどうかの比較がなされる。こ
の比較結果に基づいて評価値が生成される。このよう
に、演算量が低減でき、また、位相ずれの問題を解決す
ることができる。
合を行う他に、基準サブブロックと検査サブブロック間
で、領域同士の照合を行うことができる。この場合に
も、検査サブブロックの中で使用される画素が選択され
る。すなわち、基準サブブロックの例えば最大値MAX
1および最小値MIN1を第1の特徴量データとして抽
出し、検査サブブロックを位相補償のために拡大した修
正検査ブロックから同様に、最大値MAX2および最小
値MIN2を第2の特徴量データとして抽出し、第1お
よび第2の特徴量データを比較する。MAX2≧MAX
1で且つMIN1≧MIN2の時には、Δ1=0、Δ2
=0の評価値が生成される。MAX1≧MAX2の時
は、Δ1=MAX1−MAX2、Δ2=0の評価値が生
成される。MIN2≧MIN1の時には、Δ1=0、Δ
2=MIN2−MIN1の評価値が生成される。このよ
うにして、演算量を低減でき、位相補償を行うことがで
きる。
して適用した一実施例について図面を参照して説明す
る。図1は、一実施例のブロック図であり、図1におい
て、1が現フレームの画像データの入力端子、2が参照
フレームの画像データの入力端子、3が現フレームの画
像データを蓄える現フレームメモリ、4が参照フレーム
の画像データを蓄える参照フレームメモリである。現フ
レームメモリ3および参照フレームの書込み/読出し動
作がコントローラ5により制御される。さらに、参照フ
レームメモリ4と関連して設けられたアドレス移動回路
6がコントローラ5によって制御され、これによって、
参照フレーム内で検査ブロックが移動される。
モリ4に対してサブブロック化回路14aおよび14b
がそれぞれ接続される。サブブロック化回路14aおよ
び14bがコントローラ5によって制御され、サブブロ
ック化回路14aおよび14bから基準サブブロックお
よび検査サブブロックのデータが出力される。図2は、
この一実施例のブロック構造を説明するためのもので、
基準ブロックは、(3×3)画素のサブブロックを(2
×3)に配列した構成とされている。検査ブロックも同
様の構造である。
路7aおよび平均化回路15aに供給される。代表値抽
出回路7aは、基準サブブロック毎に代表値を抽出す
る。代表値は、代表画素の値を意味し、例えば図2に示
すように、各基準サブブロックの中央位置の画素の値x
1 〜x6 である。これ以外に、基準サブブロックの異な
る位置の画素の値、または基準サブブロックの最大値、
最小値、極値を代表値として使用することができる。平
均化回路15aは、代表画素群x1 〜x6 の平均値X
(=(x1 +x2 +x3 +x4 +x5 +x6 )/6)を
生成する。この平均値Xが第1の指示データである。
ブロックのデータが平均化回路15bおよび候補画素選
択回路17に供給される。平均化回路15bは、6個の
検査サブブロックのそれぞれの対応する位置の画素デー
タの平均値を形成する。図2に示すように、サブブロッ
ク内の左上コーナーから右下コーナーに向かう順序で、
画素をa,b,c,・・・,iの符号で区別し、6個の
サブブロックの区別を1,2,3,・・・・,6の数字
を添えて区別する。
それぞれについて下記の平均値を形成する。 A=(a1 +a2 +a3 +a4 +a5 +a6 )/6 B=(b1 +b2 +b3 +b4 +b5 +b6 )/6 C=(c1 +c2 +c3 +c4 +c5 +c6 )/6 ・・・・ ・・・・ I=(i1 +i2 +i3 +i4 +i5 +i6 )/6 これらの平均値A〜Iが第2の指示データである。
のそれぞれの平均値が比較回路16に供給される。比較
回路16は、平均値Xと平均値A〜Iとを比較する。例
えばXに対するA〜Iの差分の絶対値(|X−A|,|
X−B|,|X−C|,・・・・・,|X−I|)が計
算され、これらの差分の絶対値としきい値とが比較され
る。しきい値より小の差分の絶対値を生じさせる画素群
は、候補画素と決定される。比較回路16の比較結果が
コントローラ18に供給され、コントローラ18は、比
較結果に応答して、サブブロック化回路14bからの検
査サブブロック内の候補画素データを選択的に出力す
る。
いている。すなわち、基準ブロックが動く時は、基準ブ
ロック内の全画素が平行移動する(回転を許さない)と
仮定している。ブロックの大きさが小さいので、かかる
仮定は、実際的である。言い換えると、代表画素データ
x1 〜x6 の例えば1フレーム後の位置は、a1 〜a6
の位置、b1 〜b6 の位置、・・・・・、i1 〜i6 の
中のいずれかの位置である。従って、代表画素データ群
を表す平均値と比較して、かけ離れた平均値を呈するも
のは、剛体仮定に反するものとして、後述の照合の前に
排除する。それによって、照合の精度を向上できる。な
お、指示データとしては、平均値に限らず、最大値MA
X、最小値MIN、ダイナミックレンジDR(=MAX
−MIN)、標準偏差等を使用しても良い。
素データが最大値、最小値(MAX,MIN)検出回路
8に供給される。MAX,MIN検出回路8は、検査サ
ブブロックの特徴量としての最大値MAXおよび最小値
MINを検出する。特徴量としては、MAX,MINお
よびダイナミックレンジDR(=MAX−MIN)の内
の二つの値を使用することができる。さらに、検査サブ
ブロックの平均値Avおよび標準偏差σを計算し、Av
+σとAv−σとを特徴量として使用しても良い。
のような現フレームと参照フレーム(現フレームに対し
て時間的に前あるいは後のフレーム)に限られない。例
えば2枚の静止画像間で動きベクトルを検出する場合、
または解像度が異なる画像同士の間で動きベクトルを検
出する場合に対しても、この発明を適用することができ
る。さらに、動きベクトルの検出に限らず、二つの静止
画像間で照合をとる場合、例えば集合写真に相当する静
止画像を参照画像とし、特定の人物の写真を注目画像と
し、注目画像が参照画像中のどの位置に存在しているか
を検出するような画像照合に対しても適用できる。この
例では、参照画像の全体が探索範囲となる。
示す。入力端子21からは、候補画素選択回路17で選
択された検査サブブロックの画素データが供給される。
この入力データがタイミング生成回路22、選択回路2
3および24にそれぞれ供給される。タイミング生成回
路22は、画素データと同期したサンプルクロックおよ
び検査サブブロックの区切りを示すブロックタイミング
信号を発生する。
より大きな値の画素データを選択的に出力し、選択回路
24は、二つの画素データの内のより小さな値の画素デ
ータを選択的に出力する。選択回路23の出力データが
ラッチ25およびレジスタ27に供給され、選択回路2
4の出力データがラッチ26およびレジスタ28に供給
される。レジスタ27および28の出力が選択回路23
および24に入力される。ラッチ25から出力端子29
にその検査サブブロックの候補画素の最大値MAXが取
り出され、ラッチ26から出力端子30にその検査サブ
ブロックの候補画素の最小値MINが取り出される。
の選択データが入力される前の初期状態では、ゼロにク
リアされている。そして、選択回路23の出力がレジス
タ27に取り込まれ、レジスタ27の出力および入力画
素データの内のより大きな値が選択回路23によって選
択されるので、次の画素データが到来する時には、以前
の画素データの最大値がレジスタ27に保持されてい
る。そして、一つの検査サブブロックの選択画素データ
が入力された時に、選択回路23がその検査サブブロッ
クの最大値MAXを出力する。このMAXがラッチ25
に取り込まれる。最小値MINの検出も同様になされ、
出力端子30に検査サブブロックのMINが取り出され
る。
は、比較回路9および評価値計算回路10にそれぞれ供
給される。比較回路9の比較結果がコントローラ18に
供給され、コントローラ18が評価値計算回路10を制
御する。比較回路9および評価値計算回路10の処理を
ソフトウェア処理で行う時のフローチャートが図4に示
される。一つの基準サブブロックの代表値xとこれと対
応する位置の一つの検査サブブロックの候補画素データ
の最大値MAXおよび最小値MINについて説明する。
比較処理が開始されると、ステップ31において、x>
MAXが調べられる。若し、この関係が成立する(Y)
時には、ステップ32へ処理が移り、評価値Δ=x−M
AXが生成される。
は、ステップ33において、x<MINの関係が成立す
るかどうかが調べられる。これが成立する時には、Δ=
MIN−xが生成される。ステップ33における関係が
成立しない時、すなわち、MIN≦x≦MAXの時に
は、Δ=0(ステップ35)とされる。このように生成
された評価値Δが出力される(ステップ36)。
10をハードウエアで構成した時のブロック図である。
比較回路9には、基準サブブロックおよび対応検査サブ
ブロックの代表値x、MAXおよびMINが供給され、
2ビットの比較出力が発生する。この比較出力が選択回
路41を制御する。選択回路41の入力端子aには、減
算回路42からのx−MAXが供給される。その入力端
子bには、ゼロデータが供給される。その入力端子cに
は、減算回路43からのMIN−xが供給される。
X、x<MIN、MIN≦x≦MAXの3つの関係を指
示するものであって、各関係に応じて入力端子a、b、
cが選択され、上述と同様の評価値Δが生成される。評
価値計算回路10で生成された評価値Δが出力端子44
を介して累算回路19に供給され、累算回路19の出力
が評価値メモリ11に格納される。
ブブロックの代表値が各検査サブブロックの候補画素の
MINおよびMAXの間の範囲に含まれる時に、0であ
り、MINより小さい時およびMAXより大きい時に
は、次第に大きくなる値である。実際には、ノイズが存
在するので、ノイズマージンを設定し、図6における破
線のような変化を呈する評価値Δを形成しても良い。な
お、図5の構成は、一例であって、ゲート回路あるいは
2入力の選択回路の組合せ等によって、種々の構成が可
能である。また、評価値としては、差分の絶対値、差分
のn乗値等を使用しても良い。
画素と対応する位置の検査サブブロックについてそれぞ
れ計算される。従って、図7に示すように、6個のサブ
ブロックと対応する6個の評価値Δ1〜Δ6が求まる。
この評価値Δ1〜Δ6が累算回路19によって累算され
る(すなわち、Δ1+Δ2+Δ3+・・・+Δ6)。そ
して、累算結果(総合評価値)が評価値メモリ11に格
納される。
1への総合評価値の格納は、コントローラ5により制御
される。そして、所定の探索範囲で総合評価値がそれぞ
れ求められ、総合評価値の中の最小値が最小値検出回路
12において検出される。最小値の存在する位置がその
基準ブロックの動きベクトルである。
で示す)の一部を示す。基準ブロックの右下の頂点を基
準として考え、3画素毎に目盛られた座標軸(x,y)
が描かれている。なお、基準の点は、より好ましくは、
ブロック内のより中心に近い点に設定される。例えば図
8に示すような(+5,+5)の位置の検査ブロックが
最小の総合評価値を生じさせる時には、(+15(=5
×3),+15(=5×3))の動きベクトルが出力さ
れる。
ブロックの代表画素と検査サブブロック(領域)間の照
合をとるもので、検査サブブロックの候補画素の全てを
代表する量として、例えば最大値MAXおよび最小値M
INを求めている。代表画素の値がこの間に存在しない
場合には、基準サブブロックと検査サブブロックの照合
の可能性はない。剛体仮定を導入することによって、照
合の精度を向上できる。従来では、探索点を減少させる
簡略化を行うと、位相ずれによって誤検出が生じる問題
があった。この発明は、探索点を例えば3画素毎に減少
させても、フルサーチと等価な処理、すなわち、位相ず
れを生じない照合を行うことができる。
とを説明するものである。簡単のために、a、b、cの
値をそれぞれ有する3画素からなる1次元ブロックを考
える。破線は、3画素毎に描かれている。この1次元ブ
ロックを基準ブロックとして考え、その中央位置の画素
の値bが代表値である。図9では、基準ブロックが+1
画素の動き、−1画素の動き、+2画素の動き、+3画
素の動き、+4画素の動きがそれぞれ示されている。
きの場合でも、代表値bが3画素の区切りの中に存在し
ている。従って、±1画素の動きの場合でも、検査サブ
ブロックとの照合がとれ、評価値Δが0となる。+2画
素、+3画素、+4画素の動きは、次の検査ブロックと
の照合によって、検出することができる。従って、検査
ブロックの区切りをオーバーラップさせる必要がない。
従来の探索点の簡略化では、静止並びに探索点の間隔の
倍数の動きしか正確に検出することができなかった。こ
の発明は、かかる位相ずれを補償することができる。
する。他の実施例では、サブブロック間の照合をとる時
に、領域対領域で比較するものである。検査サブブロッ
ク内の候補画素の選択は、上述の一実施例と同様になさ
れる。他の実施例の構成を示す図10において、代表値
抽出回路7、平均化回路15a、15b、比較回路1
6、候補画素選択回路17は、上述の一実施例と同様で
ある。
す。基準サブブロックは、例えば(2×4)画素の大き
さである。検査サブブロックは、基準サブブロックと同
様に、(2×4)画素の2次元領域である。修正検査サ
ブブロックは、後述のように、位相補償範囲の±1ライ
ンおよび±2画素を検査ブロックに付加した領域であ
る。図示しないが、基準および検査サブブロックを例え
ば(2×4)個並べたものがそれぞれ基準ブロックおよ
び検査ブロックとされる。
ブロックの画素データが最大値,最小値(MAX1,M
IN1)抽出回路7aに供給される。MAX1,MIN
1抽出回路7aは、基準サブブロック毎に最大値MAX
1および最小値MIN1を第1の特徴量として抽出す
る。第1の特徴量としては、MAX1,MIN1および
ダイナミックレンジDR1(=MAX1−MIN1)の
内の二つの値を使用することができる。さらに、第1の
特徴量としては、これ以外に、基準サブブロックの平均
値Av1および標準偏差σ1を計算し、Av1+σ1と
Av1−σ1とを使用しても良い。
サブブロックのデータが候補画素選択回路17に供給さ
れ、選択された画素データが最大値、最小値(MAX
2,MIN2)検出回路8に供給される。MAX2,M
IN2検出回路8は、第2の特徴量としての最大値MA
X2および最小値MIN2を検出する。第2の特徴量と
しては、MAX2,MIN2およびダイナミックレンジ
DR2(=MAX2−MIN2)の内の二つの値を使用
することができる。さらに、修正検査サブブロックの平
均値Av2および標準偏差σ2を計算し、Av+σとA
v−σとを第2の特徴量として使用しても良い。
上述したような図3と同様の構成とされている。そし
て、MAX,MIN検出回路7bおよび8のそれぞれに
よって、検出されたMAX1,MIN1,MAX2,M
IN2は、比較回路9および評価値計算回路10にそれ
ぞれ供給される。比較回路9および評価値計算回路10
の処理をソフトウェア処理で行う時のフローチャートが
図12に示される。
において、MAX1>MAX2が成立するかどうかが調
べられる。若し、この関係が成立しない(N)時(すな
わち、MAX2≧MAX1の時)には、ステップ132
へ処理が移り、評価値Δ1=0とされる。そして、次
に、MIN1<MIN2が成立するかどうかが調べられ
る(ステップ133)。若し、この関係が成立しない
(N)時(すなわち、MIN1≧MIN2の時)には、
ステップ134へ処理が移り、評価値Δ2=0とされ
る。従って、評価値Δ1=0、Δ2=0(ステップ13
5a)である。これは、基準サブブロックの最小値MI
N1および最大値MAX1が修正検査サブブロックMI
N2および最大値MAX2の範囲内に含まれ、基準サブ
ブロックと検査サブブロックとの照合が成立したと判断
されることを意味する。若し、ステップ133の結果が
肯定の場合では、Δ1=0、Δ2=MIN2−MIN1
の評価値が生成される(ステップ135b)。
は、ステップ136において、MIN1<MIN2の関
係が成立するかどうかが調べられる。これが成立しない
時(すなわち、MIN1≧MIN2の時)には、Δ2=
0とされ(ステップ137)、Δ1=MAX1−MAX
2,Δ2=0の評価値が生成される(ステップ135
c)。ステップ136の結果が肯定の時には、Δ1=M
AX1−MAX2,Δ2=MIN2−MIN1の評価値
が生成される(ステップ135d)。
路10をハードウエアで構成した時のブロック図であ
る。比較回路9には、基準サブブロックのMAX1およ
びMIN1と修正検査サブブロックのMAX2およびM
IN2が供給され、二つの比較出力が発生する。これら
の比較出力が選択回路141および142を制御する。
選択回路141の入力端子aには、減算回路145から
のMAX1−MAX2が供給され、その入力端子bに
は、ゼロデータが供給される。選択回路142の入力端
子aには、減算回路146からのMIN2−MIN1が
供給され、その入力端子bには、ゼロデータが供給され
る。
AX2の時には、選択回路141が入力端子a(すなわ
ち、MAX1−MAX2)を選択するように制御し、M
AX1<MAX2の時には、選択回路141が入力端子
b(すなわち、ゼロデータ)を選択するように制御す
る。比較回路9の他方の出力は、MIN1<MIN2の
時には、選択回路142が入力端子a(すなわち、MI
N2−MIN1)を選択するように制御し、MIN1≧
MIN2の時には、選択回路142が入力端子b(すな
わち、、ゼロデータ)を選択するように制御する。選択
回路141からの評価値Δ1と選択回路142からの評
価値Δ2とが加算回路143に供給される。選択回路1
43からのΔ1+Δ2の出力が出力端子144に取り出
される。
うに変化する。評価値Δ1は、MAX1がMAX2より
も小さい範囲では、0であり、MAX2よりも大きくな
るに従って、その値が大きくなる。また、評価値Δ2
は、MIN1がMIN2よりも大きい範囲では、0であ
り、MIN2よりも小さくなるに従って、その値が大き
くなる。実際には、ノイズが存在するので、ノイズマー
ジンを設定し、図14における破線のような変化を呈す
る評価値Δ1およびΔ2を形成しても良い。なお、図1
3の構成は、一例であって、種々の構成が可能である。
また、評価値としては、差分の絶対値、差分のn乗値等
を使用しても良い。
する位置の検査サブブロックについてそれぞれ計算され
る。この評価値が累算回路19によって、累算され、累
算回路19から総合評価値が発生する。この総合評価値
が評価値メモリ11に格納される。所定の探索範囲にお
いて、検査ブロックのそれぞれの位置で総合評価値が計
算される。この総合評価値の中の最小値が最小値検出回
路12によって検出され、検出された最小値の位置と対
応する動きベクトルが出力端子13に取り出される。
ックの領域と検査サブブロックの領域間の照合をとるも
ので、修正検査サブブロックの選択画素の存在範囲を表
す量として、例えば最大値MAX2および最小値MIN
2を求めている。基準サブブロックのMAX1およびM
IN1がこの間に存在しない場合には、両者が照合しな
いと判断される。剛体仮定を導入して、候補画素を選択
することによって、検出精度を向上できる。また、従来
では、探索点を減少させる簡略化を行うと、位相ずれに
よって誤検出が生じる問題があった。この発明は、探索
点を例えば数画素毎に減少させても、フルサーチと等価
な処理、すなわち、位相ずれを生じない照合を行うこと
ができる。
ことを説明するものである。簡単のために、a、b、
c、dの値をそれぞれ有する4画素からなる1次元ブロ
ックを考える。破線は、4画素毎に描かれている。この
1次元ブロックを基準ブロックとして考える。図15で
は、基準ブロックが+1画素の動き、+2画素の動き、
+3画素の動き、+4画素の動きがそれぞれ示されてい
る。
比較する時に、検査ブロックが基準ブロックと同じ大き
さの場合では、+1画素、+2画素、+3画素、+4画
素の動きの場合には、誤照合が発生する可能性がある。
しかしながら、4画素の大きさの場合では、検査ブロッ
クに対して、左右に2画素分の拡張領域を付加している
ので、誤照合を防止できる。+3画素および+4画素の
動きは、次の基準ブロックに関する照合によって、照合
をとることができる。どの程度の幅を検査ブロックに対
して付加するかは、ブロックの大きさによって変化す
る。従来の探索点の簡略化では、静止並びに探索点の間
隔の倍数の動きしか正確に検出することができなかっ
た。この発明は、かかる位相ずれを補償することができ
る。
および他の実施例の構成以外に種々のものが可能であ
る。例えば過渡成分を考慮して簡略化による誤検出を防
止する方式を併用しても良い。また、動きベクトルを求
める時に、動きベクトルの精度を1画素ではなく、ハー
フペル精度とするようにしても良い。
様に、演算量および比較回数を大幅に減少することがで
きる。これと共に、位相ずれによる誤検出を防止するこ
とができる。また、この発明は、照合の前処理として、
剛体仮定に基づく候補画素の選択を行うので、検出精度
を向上することができる。
ある。
示す略線図である。
出回路の一例のブロック図である。
び評価値生成の処理を示すフローチャートである。
び評価値生成回路の一例のブロック図である。
る。
線図である。
ための略線図である。
略線図である。
を説明するためのフローチャートである。
のための構成の一例のブロック図である。
のための略線図である。
するための略線図である。
測符号化装置の一例を示すブロック図である。
トル検出方法の説明のための略線図である。
トル検出方法の説明のための略線図である。
トル検出方法における探索範囲の説明のための略線図で
ある。
トル検出装置の一例のブロック図である。
トル検出をより具体的に説明するための略線図である。
説明のための略線図である。
説明のための略線図である。
の問題点を説明するための略線図である。
Claims (20)
- 【請求項1】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
るステップと、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出するステップと、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第2の
指示データとをそれぞれ形成し、上記第1および第2の
指示データを比較することによって、照合に使用する画
素データを選択するステップと、 上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出するステップと上記基準
サブブロックから第2の代表画素データをそれぞれ抽出
するステップと、 上記第2の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
上記総合評価値に基づいて上記第1および第2の画像デ
ータの部分的照合を行うステップとからなる画像照合方
法。 - 【請求項2】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
る手段と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出する手段と、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第2の
指示データとをそれぞれ形成し、上記第1および第2の
指示データを比較することによって、照合に使用する画
素データを選択する手段と、 上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出する手段と、 上記基準サブブロックから第2の代表画素データをそれ
ぞれ抽出する手段と、 上記第2の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
上記総合評価値に基づいて上記第1および第2の画像デ
ータの部分的照合を行う手段とからなる画像照合装置。 - 【請求項3】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成するステップ
と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出するステップと、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
2の指示データとをそれぞれ形成し、上記第1および第
2の指示データを比較することによって、照合に使用す
る画素データを選択するステップと、 上記基準サブブロックの全画素の存在範囲を示す第1の
特徴量データをそれぞれ抽出するステップと、 選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第2の特徴量データをそれ
ぞれ抽出するステップと、 上記第1および第2の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、上記総合評
価値に基づいて上記第1および第2の画像データの部分
的照合を行うステップとからなる画像照合方法。 - 【請求項4】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成する手段と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出する手段と、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
2の指示データとをそれぞれ形成し、上記第1および第
2の指示データを比較することによって、照合に使用す
る画素データを選択する手段と、 上記基準サブブロックの全画素の存在範囲を示す第1の
特徴量データをそれぞれ抽出する手段と、 選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第2の特徴量データをそれ
ぞれ抽出する手段と、 上記第1および第2の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、上記総合評
価値に基づいて上記第1および第2の画像データの部分
的照合を行う手段とからなる画像照合装置。 - 【請求項5】 第1および第2の画像データの部分的照
合をとる時に、簡略化を行って生じる位相差を補償する
ようにした画像照合方法において、 基準ブロックおよび検査ブロックをそれぞれ基準サブブ
ロックおよび検査サブブロックへそれぞれ分割するステ
ップと、 剛体仮定のもとで、照合に使用する画素データを選択す
るステップと、 上記検査サブブロックの選択された画素データと上記基
準サブブロックの画素データとの間で、上記検査サブブ
ロックおよび上記基準サブブロックの照合の度合いを示
すサブブロック毎の評価値を生成するステップと、 上記サブブロック毎の評価値からブロック毎の総合評価
値を生成し、上記総合評価値に基づいて上記第1および
第2の画像データの部分的照合を行うステップとからな
る画像照合方法。 - 【請求項6】 第1および第2の画像データの部分的照
合をとる時に、簡略化を行って生じる位相差を補償する
ようにした画像照合装置において、 基準ブロックおよび検査ブロックをそれぞれ基準サブブ
ロックおよび検査サブブロックへそれぞれ分割する手段
と、 剛体仮定のもとで、照合に使用する画素データを選択す
る手段と、 上記検査サブブロックの選択された画素データと上記基
準サブブロックの画素データとの間で、上記検査サブブ
ロックおよび上記基準サブブロックの照合の度合いを示
すサブブロック毎の評価値を生成する手段と、 上記サブブロック毎の評価値からブロック毎の総合評価
値を生成し、上記総合評価値に基づいて上記第1および
第2の画像データの部分的照合を行う手段とからなる画
像照合装置。 - 【請求項7】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
るステップと、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出するステップと、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第2の
指示データとをそれぞれ形成し、上記第1および第2の
指示データを比較することによって、照合に使用する画
素データを選択するステップと、 上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出するステップと上記基準
サブブロックから第2の代表画素データをそれぞれ抽出
するステップと、 上記第2の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
所定の探索範囲内で上記検査ブロックを移動することで
生成された上記総合評価値に基づいて、上記基準ブロッ
クと最も合致する上記検査ブロックの位置と対応する動
きベクトルを検出するステップとからなることを特徴と
する動きベクトル検出方法。 - 【請求項8】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割する手段と、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割す
る手段と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出する手段と、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の検査サブブ
ロックの互いに対応する位置の画素群を指示する第2の
指示データとをそれぞれ形成し、上記第1および第2の
指示データを比較することによって、照合に使用する画
素データを選択する手段と、 上記検査サブブロックの選択された画素の存在範囲を示
す特徴量データをそれぞれ抽出する手段と上記基準サブ
ブロックから第2の代表画素データをそれぞれ抽出する
手段と、 上記第2の代表画素データと上記特徴量データとを比較
することによって、サブブロック毎の評価値を生成し、
上記サブブロック毎の評価値から総合評価値を生成し、
所定の探索範囲内で上記検査ブロックを移動することで
生成された上記総合評価値に基づいて、上記基準ブロッ
クと最も合致する上記検査ブロックの位置と対応する動
きベクトルを検出する手段とからなることを特徴とする
動きベクトル検出装置。 - 【請求項9】 第1の画像データを複数の基準ブロック
へ分割し、上記基準ブロックをさらに複数の基準サブブ
ロックへ分割するステップと、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成するステップ
と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出するステップと、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
2の指示データとをそれぞれ形成し、上記第1および第
2の指示データを比較することによって、照合に使用す
る画素データを選択するステップと、 上記基準サブブロックの全画素の存在範囲を示す第1の
特徴量データをそれぞれ抽出するステップと、 選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第2の特徴量データをそれ
ぞれ抽出するステップと、 上記第1および第2の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、所定の探索
範囲内で上記検査ブロックを移動することで生成された
上記総合評価値に基づいて、上記基準ブロックと最も合
致する上記検査ブロックの位置と対応する動きベクトル
を検出するステップとからなることを特徴とする動きベ
クトル検出方法。 - 【請求項10】 第1の画像データを複数の基準ブロッ
クへ分割し、上記基準ブロックをさらに複数の基準サブ
ブロックへ分割する手段と、 第2の画像データを複数の検査ブロックへ分割し、上記
検査ブロックをさらに複数の検査サブブロックへ分割
し、位相補償に必要な範囲の上記検査サブブロックの近
傍画素を含む修正検査サブブロックを構成する手段と、 上記基準サブブロックから第1の代表画素データをそれ
ぞれ抽出する手段と、 上記複数の基準サブブロックの第1の代表画素データ群
を指示する第1の指示データと、上記複数の修正検査サ
ブブロックの互いに対応する位置の画素群を指示する第
2の指示データとをそれぞれ形成し、上記第1および第
2の指示データを比較することによって、照合に使用す
る画素データを選択する手段と、 上記基準サブブロックの全画素の存在範囲を示す第1の
特徴量データをそれぞれ抽出する手段と、 選択された画素データからなる上記修正検査サブブロッ
クの全画素の存在範囲を示す第2の特徴量データをそれ
ぞれ抽出する手段と、 上記第1および第2の特徴量データとを比較することに
よって、サブブロック毎の評価値を生成し、上記サブブ
ロック毎の評価値から総合評価値を生成し、所定の探索
範囲内で上記検査ブロックを移動することで生成された
上記総合評価値に基づいて、上記基準ブロックと最も合
致する上記検査ブロックの位置と対応する動きベクトル
を検出する手段とからなることを特徴とする動きベクト
ル検出装置。 - 【請求項11】 請求項1、2、7または8に記載の方
法または装置において、 上記第1および第2の代表画素データがブロックの略中
央位置の画素のデータであることを特徴とする方法また
は装置。 - 【請求項12】 請求項1、2、7または8に記載の方
法または装置において、 上記特徴量データがブロック内の複数画素の最大値、最
小値およびダイナミックレンジの内の二つのデータであ
ることを特徴とする方法または装置。 - 【請求項13】 請求項1、2、7または8に記載の方
法または装置において、 上記特徴量データがブロック内の複数画素の平均値と標
準偏差であることを特徴とする方法または装置。 - 【請求項14】 請求項1、2、7または8に記載の方
法または装置において、 上記特徴量データがブロック内の複数画素の最大値、最
小値およびダイナミックレンジの内の二つのデータであ
り、 上記評価値の生成手段は、上記第2の代表画素データの
値が上記最大値および上記最小値の間の範囲に含まれる
時には、略0を上記サブブロック毎の評価値として出力
し、そうでない時は、第2の代表画素データと上記最大
値および上記最小値との差分を上記サブブロック毎の評
価値として出力することを特徴とする方法または装置。 - 【請求項15】 請求項1、2、7または8に記載の方
法または装置において、 上記特徴量データが上記検査ブロックの平均値と標準偏
差であり、 上記評価値の生成手段は、上記平均値および上記標準偏
差の和および差の間の範囲に上記第1および第2の代表
画素データが含まれる時には、略0を上記サブブロック
毎の評価値として出力し、そうでない時は、上記第2の
代表画素データと上記和および上記差との差分を上記サ
ブブロック毎の評価値として出力することを特徴とする
方法または装置。 - 【請求項16】 請求項3、4、9または10に記載の
方法または装置において、 上記第1および第2の特徴量データがブロック内の複数
画素の最大値、最小値およびダイナミックレンジの内の
二つのデータであることを特徴とする方法または装置。 - 【請求項17】 請求項3、4、9または10に記載の
方法または装置において、 上記第1および第2の特徴量データがブロック内の複数
画素の平均値および標準偏差であることを特徴とする方
法または装置。 - 【請求項18】 請求項3、4、9または10に記載の
方法または装置において、 上記第1および第2の特徴量データがブロック内の複数
画素の最大値、最小値およびダイナミックレンジの内の
二つのデータであり、 上記評価値の生成手段は、第1の特徴量データの上記最
大値および最小値が上記第2の特徴量データの上記最大
値および上記最小値の間の範囲に含まれる時には、略0
を上記サブブロック毎の評価値として出力し、そうでな
い時は、上記第1および第2の特徴量データの間で、最
大値同士の差分と最小値同士の差分を上記サブブロック
毎の評価値として出力することを特徴とする方法または
装置。 - 【請求項19】 請求項3、4、9または10に記載の
方法または装置において、 上記第1および第2の特徴量データが上記基準ブロック
および修正検査ブロック内の複数画素の平均値および標
準偏差であり、 上記評価値の生成手段は、上記平均値および標準偏差の
和と差をそれぞれ形成し、 上記第1の特徴量データの上記平均値および標準偏差の
和と差が上記第2の特徴量データの上記平均値および標
準偏差の和と差の間の範囲に含まれる時には、略0を上
記サブブロック毎の評価値として出力し、そうでない時
は、上記第1および第2の特徴量データの間で、上記平
均値および標準偏差の和同士の差分と上記平均値および
標準偏差の差同士の差分を上記サブブロック毎の評価値
として出力することを特徴とする方法または装置。 - 【請求項20】 請求項1,2,3、4、7,8,9ま
たは10に記載の方法または装置において、 上記第1および第2の指示データは、平均値であること
を特徴とする方法または装置。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03317594A JP3908793B2 (ja) | 1994-02-04 | 1994-02-04 | 画像照合方法および装置 |
KR1019950001876A KR100366141B1 (ko) | 1994-01-31 | 1995-01-28 | 화상대조방법및장치 |
US08/380,392 US5612751A (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
DE69531364T DE69531364T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
EP95300570A EP0665692B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
EP98203071A EP0893924B1 (en) | 1994-01-31 | 1995-01-30 | Method and apparatus for motion estimation using block matching |
DE69515535T DE69515535T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
DE69531706T DE69531706T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zum Bildvergleich |
EP98203070A EP0895423B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
EP98203069A EP0895426B1 (en) | 1994-01-31 | 1995-01-30 | Image collating method and apparatus |
DE69531510T DE69531510T2 (de) | 1994-01-31 | 1995-01-30 | Verfahren und Vorrichtung zur Bewegungsschätzung mittels Blockübereinstimmung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03317594A JP3908793B2 (ja) | 1994-02-04 | 1994-02-04 | 画像照合方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07222175A true JPH07222175A (ja) | 1995-08-18 |
JP3908793B2 JP3908793B2 (ja) | 2007-04-25 |
Family
ID=12379191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03317594A Expired - Lifetime JP3908793B2 (ja) | 1994-01-31 | 1994-02-04 | 画像照合方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3908793B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001169296A (ja) * | 1999-10-19 | 2001-06-22 | Deutsche Thomson Brandt Gmbh | デジタル入力ビデオ信号の動き推定方法 |
JP2010045613A (ja) * | 2008-08-13 | 2010-02-25 | Ntt Docomo Inc | 画像識別方法および撮像装置 |
-
1994
- 1994-02-04 JP JP03317594A patent/JP3908793B2/ja not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001169296A (ja) * | 1999-10-19 | 2001-06-22 | Deutsche Thomson Brandt Gmbh | デジタル入力ビデオ信号の動き推定方法 |
JP2010045613A (ja) * | 2008-08-13 | 2010-02-25 | Ntt Docomo Inc | 画像識別方法および撮像装置 |
US8363933B2 (en) | 2008-08-13 | 2013-01-29 | Morpho, Inc. | Image identification method and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP3908793B2 (ja) | 2007-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3277418B2 (ja) | 動きベクトル検出装置および方法 | |
US7933331B2 (en) | High quality, low memory bandwidth motion estimation processor | |
JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
US8611424B2 (en) | Image processing apparatus and image processing method | |
US6549576B1 (en) | Motion vector detecting method and apparatus | |
JPH09163380A (ja) | 画像符号化装置及び動きベクトル検出方法 | |
JP2003524933A (ja) | 動き評価 | |
EP0893924B1 (en) | Method and apparatus for motion estimation using block matching | |
US6665340B1 (en) | Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium | |
JPH07222175A (ja) | 画像照合方法および装置 | |
JP3598526B2 (ja) | 動きベクトル検出方法及び画像データの符号化方法 | |
JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
JP3277419B2 (ja) | 動きベクトル検出装置および方法 | |
JP3908792B2 (ja) | 画像照合方法および装置 | |
JP3334317B2 (ja) | 画像照合方法および装置 | |
JP3473528B2 (ja) | 動き検出装置及び動き検出方法 | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JP2005252360A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP3334316B2 (ja) | 画像照合方法および装置 | |
JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
JP3277417B2 (ja) | 動きベクトル検出装置および方法 | |
US10063880B2 (en) | Motion detecting apparatus, motion detecting method and program | |
JP3269031B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置 | |
JPH0818974A (ja) | 動画像符号化装置および動画像の動き検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041207 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041213 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100126 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |