JP2010016447A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 動きベクトルの誤検出を抑えながら、回路規模または処理時間を小さく抑えた画像処理装置および画像処理方法を得ること。
【解決手段】 この画像処理装置では、入力画像のエッジ成分を求めるエッジ検出手段と、エッジ成分の大きさを比較してエッジ成分が大きい画素を残して間引く間引き手段と、間引いた位置同士で1個以上の画素同士の適合度の計算を行う適合度演算手段と、前記間引き手段で間引いた際のオフセット位置情報を使って動きベクトル候補を生成する動きベクトル生成手段と、不足している位置の動きベクトルを補間する補間手段を設けた。
【選択図】 図１

Description

この発明は、複数の画像間において、画像の中の同じオブジェクトを対応づけることで、オブジェクトの移動量や距離情報となる動きベクトルを求めることができるようにする画像処理装置および画像処理方法に関するものである。

従来の画像処理装置および画像処理方法では、パターンマッチング法、勾配法、相互相関関数による方法、フーリエ変換による方法等により動きベクトルを算出している（例えば非特許文献１）。

これらの方法により、異なる時刻に対応する複数の画像を用いて求めた動きベクトルは、フレーム間符号化における符号化効率向上、フレーム内挿（フレーム数変換、フレーム追加、デインターレース変換）等の動き検出に用いることができる。また、視点の位置が空間的に異なる位置で撮影した複数の画像を用いて求めた動きベクトルは、距離画像や３次元画像の作成、オブジェクトの距離測定、および３次元画像符号化等の距離検出の用途に用いることができる。

吹抜 敬彦："ＴＶ画像の多次元信号処理（Ｍｕｌｔｉ−ｄｉｍｅｎｓｉｏｎａｌ ＴＶ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）"、１９８８年１１月１５日 初版1刷発行，日刊工業新聞社（１９３頁〜２１２頁）

パターンマッチング法や相互相関関数による方法では、動きベクトルの探索範囲を広くすると、探索範囲の面積の分だけ演算回数が増加し、回路規模または計算時間が増大するという問題があるため、フレーム間符号化にパターンマッチング法を適用する場合には、まず縮小して探索範囲が狭くなった画像でマッチングを行い、徐々に縮小率を１に近づけながらマッチングを繰り返す、多段階探索法が多く用いられている。

しかしながら、このような多段階探索による動きベクトル検出では、全探索をしていないため、局所最適な動きベクトルが求まることとなり、必ずしも最適な動きベクトルが求まるとは限らず、画像内容によっては、全探索をした場合と比較すると動きベクトルとして大きい誤差が出てしまうという問題点がある。

この問題点により、多段階探索をフレーム間符号化に適用する場合には、局所最適な動きベクトルを用いた場合でも画質的に余り問題にならない場合が多いが、フレーム内挿に適応する場合には、画質的な劣化の点で問題となり得、距離検出に適応する場合には、距離の誤検出の問題となり得る。

この発明は、上記のような問題点を解決するためになされたものであり、動きベクトルの誤検出を抑えながら、回路規模または処理時間を小さく抑えた画像処理装置および画像処理方法を得ることを目的としている。

複数の入力画像を入力し、複数の入力画像のうちの一の入力画像上の画素と他の入力画像上の画素を対応づけすることで、各入力画像上の所定の大きさを持つ探索範囲内で動きベクトルを求める画像処理装置において、
一の入力画像および他の入力画像の各画素のエッジ成分を求めるエッジ検出手段と、
一の入力画像および他の入力画像を複数の間引き単位ブロックに分割し、エッジ成分の大きさを比較して、間引き単位ブロックごとにエッジ成分が大きい画素を残して他の画素を間引き、残された画素の間引き単位ブロック内でのオフセット位置を出力する間引き手段と、
残された画素を対応する間引き単位ブロックの代表画素とし、一の入力画像上の代表画素と他の入力画像上の代表画素との適合度の計算を間引き単位ブロックごとで行う適合度演算手段と、
適合度演算手段により得られた一の入力画像上の間引き単位ブロックと他の入力画像上の間引き単位ブロック間の相対座標に、この２つの間引き単位ブロックに関するオフセット位置の差分を加算することで動きベクトル候補を生成する動きベクトル生成手段と
を備えた画像処理装置を提供する。

この発明によれば、間引いて適合度を演算することで演算量を削減することが可能となり、回路規模または処理時間を小さく抑えることができる、また、エッジ成分が大きい画素を残すことで、間引いたことによる動きベクトルの検出精度低下を抑えることができる、また、動きベクトル候補の生成時に間引いた際のオフセット位置情報を使うことで、間引き位置の誤差の発生を抑えることができる、といった従来にない顕著な効果を奏するものである。

実施の形態１．
図１は本発明の実施の形態１に係る画像処理装置である動きベクトル検出装置を示すブロック構成図である。この動きベクトル検出装置１００に入力された複数フレームの入力画像信号１０は、エッジ検出部１０１と間引き部１０２に入力される。

エッジ検出部１０１と間引き部１０２は、所定の画素数からなるブロックにおいて、代表となる１画素を抽出する。パターンマッチング法等により、動きベクトルの移動量を求める際に、演算量を大幅に減少させるためである。以下に、その具体的手順を示す。

エッジ検出部１０１は、入力された複数フレームの入力画像信号１０に対して、水平方向および垂直方向にエッジ検出を行う。エッジ検出は、例えばＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタの様な一般的な１次微分フィルタを用いても良いし、２次微分フィルタ等と組み合わせても良い。画素位置（ｘ、ｙ）における画素信号をｇ（ｘ、ｙ）で表す。画素信号としては、一般的には輝度信号が用いられる。もちろん、輝度信号だけではなく、色差信号を用いてもよい。この画素信号の水平方向の１次微分、垂直方向の１次微分、水平方向の２次微分および垂直方向の２次微分は、それぞれ次式で与えられる。

間引き部１０２では、エッジ検出部１０１から出力されたエッジ成分信号１１（上記の微分値）を用いて、図２に示すように、例えばｍ×ｎ画素からなる間引き単位ブロックの中で、Ｃ１（｜Ｅ’ｘ｜＋｜Ｅ’ｙ｜）＋Ｃ２（｜Ｅ”ｘ｜＋｜Ｅ”ｙ｜）の値が一番大きい入力画像信号のみを残して適合度演算部１０３に出力し、それ以外を破棄する。間引き単位ブロックの大きさは、図２に示すように４×４画素でも良いし、２×２画素でも良い。また、正方形ブロック（ｍ＝ｎ）ではなく、長方形ブロック（ｍ≠ｎ）としても良い。ここでＣ１、Ｃ２はそれぞれ正の定数である。また、ここで選択した残すデータの間引き単位ブロック内のオフセット値（Ｏｘ，Ｏｙ）、すなわち、オフセット基準点から残すデータに対応する画素までの相対座標は、動きベクトル生成部１０５に出力する。なお、上記では１次微分値と２次微分値を用いて残す画素を決めたが、２次微分値を用いずに１次微分値のみを用いて、残す画素を決めることも可能である。

このようにして、ｍ×ｎ画素からなる間引き単位ブロックから代表となる１画素を選択する。以下において、動きベクトルの移動量を求める際には、この間引き単位ブロックを１つの単位として移動量を求める。間引き単位ブロックごとに選択された代表画素のオフセット値（Ｏｘ，Ｏｙ）に関する間引き位置オフセット情報１４は、動きベクトル生成部１０５に送られる。また、各間引き単位ブロックの代表画素の画素信号情報である間引き後画像信号１２は適合度演算部１０３に送られる。

ここで、パターンマッチング法や相互相関関数による方法により、異なる時刻に対応する２つの画像であるｇ０（ｘ，ｙ）、ｇ１（ｘ，ｙ）の間での移動量（ξ，η）のマッチングの指標である適合度を求める一般的な手法について説明する。まず、パターンマッチング法においては適合度として次式を用いる。

ここで、Ｔｌｉｍは誤差を適合度に極性反転する際の所定の閾値である。またここでは、差の絶対値の場合を示したが、差の自乗、あるいは非線形特性などでも良い。また、画像信号としても、輝度信号以外に、色信号あるいは輝度信号と色差信号の両方を用いても良い。８×８画素程度のマッチング計算ブロックＢに分け、このマッチング計算ブロックでΣを求めて適合度ｅ（ξ，η）が最大となる移動量（ξ，η）をその間引き単位ブロックの動きベクトルとして求める。

次に、相互相関関数による方法では、以下のｈ（ξ，η）を最大にする偏位（ξ，η）を動きベクトルとして求める。

上記に示したように動きベクトルの移動量を求める演算は、画素ごとに行うと非常に大規模なものになってしまう。

そこで、適合度演算部１０３では、例えばＭ×Ｎ画素の探索範囲すべての画素ごとに演算は行わず、間引き部１０２から入力された間引き後画像信号１２に基づいて、ｍ×ｎ画素単位で間引かれたＭ／ｍ×Ｎ／ｎ画素の間で演算を行う。すなわち、ｇ０（Ｘ、Ｙ）、ｇ１（Ｘ、Ｙ）の間でのみ移動量（ξｂ、ηｂ）のマッチングの指標である適合度ｅ（ξｂ、ηｂ）をパターンマッチング法により求め、適合度情報１３として動きベクトル生成部１０５に出力する。したがって、すべての画素を探索することに比較して、大幅に演算量を少なくすることができる。間引き単位ブロックの画素数であるｍ×ｎが大きいほど、演算量の削減効果は大きくなる。相互相関関数による方法でも同様である。ここで、（Ｘ、Ｙ）および（ξｂ、ηｂ）は、いずれも間引き単位ブロックを１つの単位とする座標値である。

なお、上記のように1画素同士（代表画素同士）で適合度ｅを求めた場合は画素マッチングと呼ばれ、ｐ×ｑ画素の複数の画素（マッチング計算ブロック）同士で適合度ｅを求めた場合はブロックマッチングと呼ばれる。通常、画素マッチングよりもブロックマッチングの方が検出ミスを減らすことができるが、ｐおよびｑを増やしすぎると、ブロックマッチングの場合にはオブジェクトの境界で検出ミスを生じやすくなる弊害がある。

図３は動きベクトル生成部１０５を示すブロック構成図である。適合度演算部１０３から入力された適合度情報１３は、選択部３０１に入力され、選択部３０１において、適合度情報１３の中で最も適合しているものを選択する。パターンマッチング法であれば、適合度ｅ（ξｂ、ηｂ）が最も大きくなる（ξｂ、ηｂ）を選択し、相互相関関数による方法であれば、同様にｈ（ξｂ、ηｂ）が最も大きくなる（ξｂ、ηｂ）を選択する。選択部３０１から動きベクトル計算部３０２へ出力する選択信号３１は、移動量（ξｂ、ηｂ）であるが、選択した移動量に対応する適合度情報１３も併せて出力する。

動きベクトル計算部３０２は、選択信号３１から求めた間引き単位ブロックを１つの単位とする座標系で表した移動量と、間引き位置オフセット情報１４から動きベクトルの移動量を求める。画像１の対象となる間引き単位ブロックのオフセット情報を（Ｏ１ｘ，Ｏ１ｙ）、画像２の対象となる間引き単位ブロックのオフセット情報を（Ｏ２ｘ，Ｏ２ｙ）とした場合、画像１から画像２への移動量（ξ，η）は以下の式で与えられる。

この移動量（ξ，η）を画像１と画像２の対応する画素位置の間の所定位置の動きベクトル候補信号１５として補間部１０６に出力する。ここで所定位置は、画像１と画像２の間のどの位相（時刻に対応する位相）での動きベクトルを求めようとしているかで変わってくる。画像１の位相で求める場合をＦｐｈ＝０、画像２の位相で求める場合をＦｐｈ＝１とした場合（内挿の場合は０≦Ｆｐｈ≦１、外挿の場合はこの範囲外となる）、オフセット基準点からの位相Ｆｐｈに対応する画像の相対座標（Ｒ１ｘ，Ｒ１ｙ）、（Ｒ２ｘ，Ｒ２ｙ）を、以下の式で求める。

ここで、相対座標が（Ｒ１ｘ，Ｒ１ｙ）と（Ｒ２ｘ，Ｒ２ｙ）の２セットがあるのは、動きベクトルを探索する際に、画像１上に固定点をもうける場合（画像１から画像２への動きベクトルを求める場合）と画像２上に固定点をもうける場合（画像２から画像１への動きベクトルを求める場合）があるためである。なお、画像２上に固定点をもうける場合にも、ベクトルの方向としては画像１から画像２への動きベクトルとするため、移動量は（１）式の代わりに符号を変えた次式になることに留意が必要である。

以上について、図４を用いて具体的に説明する。図４においてＭ、Ｎはそれぞれ水平方向の画素数、垂直方向の画素数である。また、Ｍ／ｍ、Ｎ／ｎはそれぞれ水平方向のブロック数、垂直方向のブロック数である。画像１上の点を固定点として画像２上の各ブロックを探索した場合には（Ｒ１ｘ、Ｒ１ｙ）が相対座標となり、画像２上の点を固定点として画像１上の各ブロックを探索した場合には（Ｒ２ｘ、Ｒ２ｙ）が相対座標となる。なお、図４は片方の画像上の点を固定して他方の画像上の点のみを振った場合を示しているが、図５に示すような点対称型に両画像上の点を振った場合も移動量が２倍になることを考慮すれば同様である。

図６は補間部１０６を示すブロック構成図である。動きベクトル生成部１０５から送られる動きベクトル候補信号１５を入力として、補間された動きベクトル信号１６を出力するものである。

動きベクトルテーブル４０１は通常はラインメモリで構成されており、予め定められた出力位相の画素位置における動きベクトルを保持している。この動きベクトルテーブル４０１は動きベクトル生成部１０５から入力される動きベクトル候補信号１５により更新される。ただし、動きベクトル候補信号１５は、必ずしも連続した画素位置に入力されるわけではないことと、間引き部１０２で画素がブロック内の代表画素のみに間引かれているため、更にまばらにしか動きベクトルテーブル４０１が更新されていない。そのため、予め所定の値に初期化した状態のまま、穴あき状態で動きベクトルは不足している。

フィルタ４０２は動きベクトルテーブル４０１上において不足している画素位置の動きベクトルの補間を行う。また、動きベクトルが更新されていても、まばらに動きベクトルの検出を失敗している場合もあるため、動きベクトルテーブルに対して低域通過フィルタ（ＬＰＦ）をかけることも同時に行う。

以上のような構成によれば、間引き部１０２において所定の割合で動きベクトルを求める際の対象画素を間引くことで、演算量を大幅に削減することが可能となり、回路規模または処理時間を小さく抑えることができる。また、エッジ成分が大きい画素を残すことで、間引いたことによる動きベクトルの検出精度低下を抑えることができる。エッジ成分が大きい画素は、輪郭等の画像の特定位置にしか現れないためである。また、動きベクトル生成部１０５を構成する動きベクトル計算部３０２において、間引いた際のオフセット位置情報を動きベクトル候補の生成時に使うことで、間引き位置の誤差の発生を抑えることができる。
実施の形態２．
図７は本発明の実施の形態２に係る画像処理装置である動きベクトル検出装置を示すブロック構成図である。実施の形態１に係る画像処理装置と異なる点についてのみ、以下に説明する。

エッジ検出部１０１で得られたエッジ成分信号１１は、間引き部１０２だけではなく、適合度演算部１１３にも送られる。適合度演算部１１３においては、このエッジ成分信号１１も用いて、1個以上の画素同士の適合度の計算を行うことで、エッジ成分信号１１を間引きだけでなく、適合度演算にも有効に利用することができ、検出精度を上げることができる。

例えば、２つの画像信号（ｇ０（ｘ，ｙ），Ｅ’ｘ０（ｘ，ｙ），Ｅ’ｙ０（ｘ，ｙ），Ｅ”ｘ０（ｘ，ｙ），Ｅ”ｙ０（ｘ，ｙ））、（ｇ１（ｘ，ｙ），Ｅ’ｘ１（ｘ，ｙ），Ｅ’ｙ１（ｘ，ｙ），Ｅ”ｘ１（ｘ，ｙ），Ｅ”ｙ１（ｘ，ｙ））の間で以下の計算式を用いて移動量（ξ，η）のマッチングの指標である適合度ｅ（ξ，η）を求める。

ただし、Ｃｍｙ，Ｃｍ１，Ｃｍ２はいずれも正の定数である。

このような構成によれば、エッジ情報として注目画素周辺の画素情報も用いて適合度を演算することになるため、1画素同士の画素マッチングやｐ×ｑ画素のマッチング計算ブロックのサイズが小さい場合等の、少ない画素同士のマッチングの際の検出精度を上げることができる。
実施の形態３．
また、図１に示す適合度演算部１０３または図７に示す適合度演算部１１３において、エッジ成分が大きい場合には、以下の手順を用いて適合度演算を行い、動きベクトルの検出精度を上げることができる。まず、次式の演算より、Ｆｘ、Ｆｙを得る。

ここで、Ｅｘ０は、ｇ０のｘ方向の１次微分あるいは２次微分であり、Ｅｙ０は、ｇ０のｙ方向の１次微分あるいは２次微分である。Ｅｘ１、Ｅｙ１も同様に、それぞれｇ１のｘ方向、ｙ方向の１次微分あるいは２次微分である。また、Ｃｅｘ，Ｃｅｙ，Ｔｅｘ，Ｔｅｙは正の定数である。さらに、Ｆｘ，Ｆｙは何れも0以上となるようにリミットをかける。すなわち、上記のＦｘの値が負となる場合にはゼロとし、正となる場合には上式で得られる値とする。Ｆｙについても同様である。そして、ＦｘおよびＦｙを適合度ｅ（ξ，η）に加算する。

このような構成によれば、エッジ成分が大きい画素同士の対応づけが容易になり、動きベクトルの検出精度を上げることができる。
実施の形態４．
図８は本発明の実施の形態４に係る画像処理装置である動きベクトル検出装置を示すブロック構成図である。実施の形態１に係る画像処理装置と異なる点についてのみ、以下に説明する。

適合演算部１２３には、入力画像信号１０も入力される。適合度演算部１２３においては、間引き部１０２で間引く前の近隣画素情報を用いて、複数の画素同士の適合度の計算を行う構成とする。

このような構成によれば、エッジを重視した間引きによる近隣画素の変形による対応づけの不一致を防ぐことができ、エッジを重視した間引きによる悪影響を抑えることができる。
実施の形態５．
図９は本発明の実施の形態５に係る画像処理装置である動きベクトル検出装置を示すブロック構成図である。実施の形態１に係る画像処理装置と異なる点についてのみ、以下に説明する。

間引き部１０２において間引きを行う前に、入力画像信号１０に対して低域通過フィルタをかける構成とする。

このような構成によれば、入力画像のノイズ成分によるエッジ成分の誤検出を抑えることができ、動きベクトルの検出精度低下を抑えることができる。
実施の形態６．
図１０は、実施の形態１〜５で検出した動きベクトルを用いて、フレーム内挿を行う場合のブロック構成図である。画像参照座標生成部５０１では、検出した動きベクトル信号１６を用いて画像参照座標５１を生成し、遅延部５０２へ入力する。遅延部５０２へは入力画像信号１０も入力される。画像１の参照座標を（Ｐ１ｘ，Ｐ１ｙ）、画像２の参照座標を（Ｐ２ｘ，Ｐ２ｙ）としたとき、これらの座標は、以下の式で生成する。

画像生成部５０３では、遅延部５０２から読み出した画像情報を用いて出力画像信号５５を生成する。遅延部５０２から読み出した画像１情報５２をＹ１、画像２情報５３をＹ２とし、フレーム内挿した画像に関する出力画像情報をＹｏとしたとき、以下の式でＹｏを生成する。

このような構成によれば、エッジを重視して間引きを行うことで回路規模や処理時間を抑えながらフレーム内挿処理を行うことができる。
実施の形態７．
図１１は、実施の形態１に係る動きベクトルを検出する画像処理装置をソフトウェアで実現した場合のフローチャートを示したものである。

動きベクトル検出処理がコールされると、エッジ検出ステップ２０１、間引きステップ２０２、適合度演算ステップ２０３、動きベクトル生成ステップ２０５、補間ステップ２０６を順に実行し、所定画像数の処理を完了すると終了する。

詳細な動作については実施の形態１で示した画像処理装置と同様であり、また、実施の形態２〜６についても同様にソフトウェアで実現可能である。

このような構成によれば、ソフトウェアを用いても、間引くことで演算量を削減することが可能となり、必要とするプロセッサの性能または処理時間を小さく抑えることができる。また、エッジ成分が大きい画素を残すことで、間引いたことによる動きベクトルの検出精度低下を抑えることができる。また、動きベクトル候補の生成時に間引いた際のオフセット位置情報を使うことで、間引き位置の誤差の発生を抑えることができる。

本発明の実施の形態１による画像処理装置である動きベクトル検出装置を示すブロック構成図である。 オフセット値を説明する図である。 本発明の実施の形態１による画像処理装置の動きベクトル生成部を示すブロック構成図である。 片方の画像上の点を固定して他方の画像上の点のみを振った場合のペアを説明する図である。 点対称型に両画像上の点を振った場合のペアを説明する図である。 本発明の実施の形態１による画像処理装置の動きベクトル補間部を示すブロック構成図である。 本発明の実施の形態２による画像処理装置である動きベクトル検出装置を示すブロック構成図である。 本発明の実施の形態４による画像処理装置である動きベクトル検出装置を示すブロック構成図である。 本発明の実施の形態５による画像処理装置である動きベクトル検出装置を示すブロック構成図である。 本発明の実施の形態６による画像処理装置を示す全体ブロック構成図である。 本発明の実施の形態７による画像処理の動きベクトル検出処理の流れを示すフローチャートである。

符号の説明

１０ 入力画像信号、１１ エッジ成分信号、１２ 間引き後画像信号、１３ 適合度情報、１４ 間引き位置オフセット情報、１５ 動きベクトル候補信号、１６ 動きベクトル信号、３１ 選択信号、３７ 低域通過フィルタ後入力画像信号、５１ 画像参照座標、５２ 画像情報、５３ 補間情報、５５ 出力画像信号、１００ 動きベクトル検出部、１０１ エッジ検出部、１０２ 間引き部、１０３ 適合度演算部、１０５ 動きベクトル生成部、１０６ 補間部、１１０ 動きベクトル検出部、１１３ 適合度演算部、１２０ 動きベクトル検出部、１２３ 適合度演算部、１３０ 動きベクトル検出部、１３７ 低域通過フィルタ部、２００ 動きベクトル検出ステップ、２０１ エッジ検出ステップ、２０２ 間引きステップ、２０３ 適合度演算ステップ、２０５ 動きベクトル生成ステップ、２０６ 補間ステップ、３０１ 選択部、３０２ 動きベクトル計算部、
５００ フレーム内挿装置、５０１ 画像参照座標生成部、５０２ 遅延部、５０３ 画像生成部。

Claims (12)

1. 複数の入力画像を入力し、前記複数の入力画像のうちの一の入力画像上の画素と他の入力画像上の画素を対応づけすることで、各入力画像上の所定の大きさを持つ探索範囲内で動きベクトルを求める画像処理装置において、
   前記一の入力画像および前記他の入力画像の各画素のエッジ成分を求めるエッジ検出手段と、
   前記一の入力画像および前記他の入力画像を複数の間引き単位ブロックに分割し、前記エッジ成分の大きさを比較して、前記間引き単位ブロックごとにエッジ成分が大きい画素を残して他の画素を間引き、前記残された画素の間引き単位ブロック内でのオフセット位置を出力する間引き手段と、
   前記残された画素を対応する間引き単位ブロックの代表画素とし、前記一の入力画像上の代表画素と前記他の入力画像上の代表画素との適合度の計算を間引き単位ブロックごとで行う適合度演算手段と、
   前記適合度演算手段により得られた前記一の入力画像上の間引き単位ブロックと前記他の入力画像上の間引き単位ブロック間の相対座標に、該２つの間引き単位ブロックに関する前記オフセット位置の差分を加算することで動きベクトル候補を生成する動きベクトル生成手段と
   を備えたことを特徴とする画像処理装置。
2. 前記間引き手段によって間引かれた画素に対応する動きベクトルを補間する補間手段と
   を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記適合度演算手段は、前記各画素のエッジ成分も考慮して前記適合度の計算を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記適合度演算手段は、前記適合度の計算の際に、エッジ成分が大きい場合に適合しやすいと判断することを特徴とする請求項３に記載の画像処理装置。
5. 前記適合度演算手段は、間引き前の近隣画素を用いて複数の画素同士の適合度の計算を行うことを特徴とする請求項１または２に記載の画像処理装置。
6. 前記複数の入力画像の高域を低減させる低域通過フィルタを備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 複数の入力画像を入力し、前記複数の入力画像のうちの一の入力画像上の画素と他の入力画像上の画素を対応づけすることで、各入力画像上の所定の大きさを持つ探索範囲内で動きベクトルを求める画像処理方法において、
   前記一の入力画像および前記他の入力画像の各画素のエッジ成分を求めるエッジ検出ステップと、
   前記一の入力画像および前記他の入力画像を複数の間引き単位ブロックに分割し、前記エッジ成分の大きさを比較して、前記間引き単位ブロックごとにエッジ成分が大きい画素を残して他の画素を間引き、前記残された画素の間引き単位ブロック内でのオフセット位置を出力する間引きステップと、
   前記残された画素を対応する間引き単位ブロックの代表画素とし、前記一の入力画像上の代表画素と前記他の入力画像上の代表画素との適合度の計算を間引き単位ブロックごとで行う適合度演算ステップと、
   前記適合度演算ステップにより得られた前記一の入力画像上の間引き単位ブロックと前記他の入力画像上の間引き単位ブロック間の相対座標に、該２つの間引き単位ブロックに関する前記オフセット位置の差分を加算することで動きベクトル候補を生成する動きベクトル生成ステップと
   を備えたことを特徴とする画像処理方法。
8. 前記間引きステップによって間引かれた画素に対応する動きベクトルを補間する補間ステップと
   を備えたことを特徴とする請求項７に記載の画像処理方法。
9. 前記適合度演算ステップは、前記各画素のエッジ成分も考慮して前記適合度の計算を行うことを特徴とする請求項７または８に記載の画像処理方法。
10. 前記適合度演算ステップは、前記適合度の計算の際に、エッジ成分が大きい場合に適合しやすいと判断することを特徴とする請求項９に記載の画像処理方法。
11. 前記適合度演算ステップは、間引き前の近隣画素を用いて複数の画素同士の適合度の計算を行うことを特徴とする請求項７または８に記載の画像処理方法。
12. 前記複数の入力画像の高域を低減させる低域通過フィルタリングのステップを備えたことを特徴とする請求項７から１１のいずれかに記載の画像処理方法。

Images