JP4245695B2

JP4245695B2 - 画像動きベクトル検出方法およびその装置

Info

Publication number: JP4245695B2
Application number: JP26940598A
Authority: JP
Inventors: 創竹澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-09-24
Filing date: 1998-09-24
Publication date: 2009-03-25
Anticipated expiration: 2018-09-24
Also published as: JP2000099744A

Description

【０００１】
【発明の属する技術分野】
本発明は、時間的に連続した複数枚の画像の画像全体の動きを検出する方法およびその装置に関する。さらに詳しくは、携帯情報端末やＰＣ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）等のカメラアプリケーション（シームレス合成等）、またはビデオカメラの手ブレ補正機能等を実現する際に用いられる方法およびその装置である。
【０００２】
【従来の技術】
画像全体の動きを検出するには時間的に連続した複数の画像中の複数箇所において局所的動きベクトルの検出を行い、その結果から全体の動きを算出する方法が使われている。局所的動きベクトルの検出方法に関しては、代表点マッチング、ブロックマッチング等さまざまな方法が知られている。
【０００３】
以下、ブロックマッチングを用いた場合を一例として、従来の画像動きベクトルの検出方法について説明する。
【０００４】
まず、図４に示す２枚の画像のうち、図４（ａ）に示す画像を基準側画像１１１とし、図４（ｂ）に示す画像を比較対象側画像１１２とする。この基準側画像１１１の任意の箇所を注目点１１３とし、その周辺から予め定められた大きさおよび形状の微小画像を取り出す。通常、この微小画像の大きさは数ピクセルから十数ピクセルであり、形状は長方形もしくは正方形である。このような微小画像をブロック１１４という。また、比較対象側画像１１２の任意の位置を注目点とし、基準側画像１１１と同様にブロック１１６を切り出し、両ブロック間の相関を示す値を算出する。次式（１）は、この相関を示す値を算出する際に用いられる式であり、左辺のＣ_SSDは相関を示す値であり、右辺では、それぞれのブロック１１３，１１６内の対応する位置にあるピクセルの画素値の差の自乗の合計を算出している。なお、式（１）において、ｆ（ｉ，ｊ）は、基準側画像１１１に含まれるブロック１１３内のあるピクセルの画素値を示し、ｇ（ｉ，ｊ）は、比較対象側画像１１２に含まれるブロック１１６内のあるピクセルの画素値を示す。
【０００５】
【数１】

【０００６】
つまり、基準側画像１１１および比較対象側画像１１２のブロック同士が近似している程、相関を示す値Ｃ_SSDは小さくなる。この相関を示す値Ｃ_SSDを最小にする、すなわち、比較対象側画像上の複数のブロック１１６から、基準側画像１１１から切り出したあるブロック１１４に最も近似しているブロック１１６を探索し、前記基準側画像１１１のあるブロック１１４の注目点１１３と、探索したブロック１１６の注目点１１５との相対的な位置ベクトルを、基準側画像１１１の注目点における局所的動きベクトルとする。
【０００７】
また、前記ブロックマッチング等による局所的動きベクトル検出を複数箇所で行い、検出された複数箇所の局所的動きベクトルから画像全体の動きを算出する方法には、一般に、多数決方式といわれる方法が用いられる。すなわち、複数箇所の局所的動きベクトルの中で最も多い局所的動きベクトルを画像全体の動きであるとする方法である。この多数決方式を実施することは、局所的動きベクトルのヒストグラムを生成し、その最大値を検出することと等価である。
【０００８】
【発明が解決しようとする課題】
従来の画像動きベクトル検出方法においては、局所的動きベクトル検出の計算量が大きくなるので、性能を損なわない範囲で可能な限り少ない箇所での局所的動きベクトルの検出のみから画像動きベクトルを算出することが必要とされる。
【０００９】
しかしながら、単純な多数決方式は、原理的に充分に多くの箇所での局所的動きベクトルの検出を行わないと、安定した画像動きベクトル検出結果を得ることができない。すなわち、局所的動きベクトルの検出数が充分でない場合、さまざまな要因から発生する画像全体の動きとは異なる局所的動きベクトルを誤って画像動きベクトルとして検出してしまう可能性がある。
【００１０】
例えば、背景が平坦な箇所では局所的動きベクトルの検出は不安定になり、誤検出を起こす割合が増加する。このような領域が画像上で大きな面積を占めている場合、局所的動きベクトルの誤検出が増大するため、これに基づき生成したヒストグラムはノイズが多くなると同時に求める画像全体の動きベクトルにあたる箇所のピークが低くなり、単純な多数決論理による方法、すなわち単純にヒストグラム上の最大値をとるベクトルを画像動きベクトルとする方法では画像動きベクトルの検出を安定して行うことができなくなる。
【００１１】
また、物体の移動などによって画像中の対応する箇所が影に隠れてしまった場合等のように局所的動きベクトルの検出が不可能な場合に局所的動きベクトルが無意味な値をとることがある。これも、誤検出の一種である。このような形で誤検出された局所的動きベクトルもヒストグラム上では同様にノイズとなるため、画像動きベクトルの検出の安定性を損なう要因となる。
【００１２】
本発明はこのような問題を解決すべく創案されたもので、より少ない箇所での局所的動きベクトルの検出結果から安定した画像全体の動きベクトルの算出ができる画像動きベクトル検出方法およびその装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の画像動きベクトル検出方法は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出方法であって、複数枚の入力画像を画像記憶部に記憶する手順と、複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す手順と、残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する手順と、第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する手順と、第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する手順と、複雑さを示す重み係数と相関の度合から計算された重み係数とを用いて最終的な重みを計
算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する手順と、探索手順で求めた局所的動きベクトルと前記決定手順で決定した各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成する手順と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定する手順と、を含むものである。
【００１４】
また、前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。
【００１５】
また、前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【００１６】
また、本発明の画像動きベクトル検出装置は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出装置であって、前記複数枚の入力画像を記憶する画像記憶部と、前記複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す切り出し部と、残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と前記第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、前記第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する第２の局所的画像探索部と、前記第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する複雑さ計算部と、第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する相関値計算部と、前記複雑さ計算部で計算された複雑さを示す重み係数と前記相関値計算部で計算された相関の度合から求められた重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する重み決定部と、前記第２の局所的画像探索部で探索された局所的動きベクトルと前記重み決定部で決定された各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定するピーク検出部と、を備えたものである。
【００１７】
また、前記複雑さ計算部は、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。さらに、前記複雑さ計算部は、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【００１８】
【発明の実施の形態】
本発明の画像動きベクトル検出方法およびその装置の実施の形態について図面を参照しつつ説明する。
【００１９】
図１は、本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートであり、図２は、本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。なお、図２に示す検出装置を構成する各要素の内、カメラ１以外の回路要素は汎用の計算機上でソフトウエアのみによって実現する事も容易である。また、このカメラ１は写真機のような静止画像を撮影するものに限定されず、例えば、ビデオカメラのような動画像を撮影し得るものをカメラ１として用いてもよい。
【００２０】
第１の手順として局所的動きベクトルの検出を行うために、まず、カメラ１によって２枚の画像を入力する。本実施の形態においても図４に示す２枚の画像を入力された２枚の画像の一例とする。通常、この２枚の画像としては、動画像中の時間的に近接または隣接する２枚の画像が用いられる。この入力された２枚の画像のうち、一方（図４（ａ）に示す画像）を基準側画像１１１として基準側画像メモリ２に格納し、他方（図４（ｂ）に示す画像）を比較対象側画像１１２として比較対象側画像メモリ３に格納する。次いで、基準側画像１１１上で予め定められた複数の（本実施の形態では１６個）注目点１１３全てに関し、局所的動きベクトルの検出を行う（Ｓ１）。
【００２１】
具体的には、まず、基準側画像１１１上で予め定められた複数の注目点１１３から一つの注目点１１３を選択し、この注目点１１３周辺の部分画像を第１ブロック切り出し部４において取り出す。この切り出された部分画像は第１の局所的な画像であり、本実施の形態においてはブロック１１４という。
【００２２】
次いで、比較対象側画像１１２上で、切り出された前記ブロック１１４に最も似ている箇所を検索する。この検索は、比較対象側画像１１２上から第２の局所的な画像を切り出すことと、この第２の局所的な画像と第１の局所的な画像（ブロック１１４）との間の近似度を計算することとを切り出し位置を変えながら繰り返して行い、第１の局所的な画像（ブロック１１４）との間の近似度が一番高い第２の局所的な画像を第２の局所的画像探索部によって探索することによって行われる。この第２の局所的画像探索部は、第２ブロック切り出し部５と第２相関値計算部６と局所動きベクトル探索部７とから構成されている。この第２ブロック切り出し部５は、比較対象側画像１１２上から第２の局所的な画像を切り出すために設けられている。なお、本実施の形態においては、第２の局所的な画像をブロック１１６という。また、第２相関値計算部６は、基準側画像１１１から切り出されたブロック１１４と比較対象側画像１１２から切り出されたブロック１１６との相関の度合を計算するために設けられ、局所動きベクトル探索部７は、ブロック１１４，１１６同士の相関の度合が最も高くなるブロック１１６を探索するために設けられる。
【００２３】
この相関の度合の計算方法としてはさまざまな方法が知られている。前記式１や、次に示す式２および式３はよく知られた相関の計算方法である。式１は画素値の差の自乗の合計を算出する式であり、その解は一般にＣ_SSDと呼ばれる。式２は画素値の差の絶対値の合計を算出する式であり、その解は一般にＣ_SADと呼ばれる。
【００２４】
【数２】

【００２５】
式３は、複数ある正規化相互関数を算出するための式の１つであり、その解はＣ_RCCと呼ばれる。
【００２６】
【数３】

【００２７】
本発明においては、いずれの相関の度合を算出する式も容易に適用可能であるが、本実施の形態では式１を用いている。式１においては計算された値Ｃ_SSDがより小さいほど相関の度合が高い。
【００２８】
前記基準側画像１１１上の注目点１１３の位置と、相関の度合が最も高くなるブロック１１６を切り出したときの比較対象側画像１１２上の注目点１１５の位置との間の相対位置ベクトルが、基準側画像１１１の注目点１１３における局所的動きベクトルである。
【００２９】
同様にして、前述の局所的動きベクトルの検出を基準側画像１１１の全ての注目点１１３に関して繰り返し行い、全ての注目点１１３における局所的動きベクトルを得る。なお、本実施の形態においては、１つの画像を複数のブロックに区切って行う、いわゆるブロックマッチングによる局所的動きベクトル検出手順を使用しているが、本発明は他の局所的動きベクトル検出手順も容易に適用可能である。
【００３０】
さらに、第２の手順として、前述の手順によって求められたそれぞれの注目点１１３における局所的動きベクトルに対し重み付けを行う（Ｓ２）。
【００３１】
具体的には、まず、注目点１１３付近の画像の複雑さを示す重み付け係数Ｗｃｏｍｐｌｅｘを複雑さ計算部８において決定する。例えば、前記重み付け係数Ｗｃｏｍｐｌｅｘを次に示す式４〜式６の解であるＳ²、ＳまたはＤと定義した場合、複雑さ計算部８において式４〜式６の解を計算し重み付け係数Ｗｃｏｍｐｌｅｘを決定する。
【００３２】
式４は、分散Ｓ²を求める計算式の一例である。右辺の１／ｍｎは１／（ｍｎ−１）とする場合もあるが、本実施の形態においては、除算を高速に処理するために１／（ｍｎ−１）の代わりに近似的に１／ｍｎを採用している。また、式５に示すように標準偏差Ｓを式４で求めた分散Ｓ²から容易に求めることができる。なお、ｍ×ｎはブロック１１４中の画素数を示し、ｍは縦方向、ｎは横方向のブロックの大きさを示す。
【００３３】
【数４】

【００３４】
【数５】

【００３５】
また、式６は、画素値の絶対値の合計を算出する計算式の一例である。画素値の微分による計算式としては本実施の形態で例示したものの他にもさまざまな計算式がある。
【００３６】
【数６】

【００３７】
前述の式４および式６はいずれも本発明に容易に適用できるが、本実施の形態においては式４を適用、すなわち前記ブロックマッチングにおいて基準側画像１１１から切り出したブロックの画素値の分散の値を重み付け係数Ｗｃｏｍｐｌｅｘとして使用する。また、本実施の形態では、画像の複雑さの計算に使用する画素値としてブロックマッチングで使用したブロックの画素値を使用しているが、必ずしも両者が同一である必要はない。なお、画像が複雑である程、この画像に関わる局所的動きベクトルを信用できるので、重みを大きくする。
【００３８】
例えば、図４（ａ）において、右から１番目、上から１番目の注目点１１３ａと、右から１番目、上から３番目の注目点１１３ｂとを比較した場合、注目点１１３ａを含むブロック１１４ａには背景しか含まれておらず、注目点１１３ｂを含むブロック１１４ｂには背景と車の一部が含まれている。そのため、注目点１１３ｂを含むブロック１１４ｂは、注目点１１３ａを含むブロック１１４ａよりも複雑な画像であると判断される。従って、注目点１１３ｂに関する局所的動きベクトルの重み付け係数Ｗｃｏｍｐｌｅｘは、注目点１１３ａに関する局所的動きベクトルの重み付け係数Ｗｃｏｍｐｌｅｘよりも大きくなる。
【００３９】
次いで、前記ブロックマッチングにおける基準側画像１１１から切り出したブロックと、それとの相関が最も高かった比較対象側画像１１２から切り出したブロックとの相関の度合から重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅを第１相関値計算部９において計算する。
【００４０】
先に、ブロックマッチングの説明のところでも述べたように、相関の度合の計算式としてはさまざまな式があり、本発明にそれらを適用することは容易である。本実施の形態においては、ブロックマッチングと同様に式１の解であるＣ_SSDを重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅと定義する。ただし、ブロックマッチングを行う場合や重み付け係数を計算する場合において、相関の度合の計算式や、使用するブロックのサイズや形状は必ずしも同一である必要はない。なお、相関の度合いが高い程、局所的動きベクトルを信用できるので、重みを大きくする。
【００４１】
例えば、図４（ａ）において、右から１番目、上から３番目の注目点１１３ｂと、右から１番目、上から４番目の注目点１１３ｃとを比較した場合、注目点１１３ｂは、図４（ｂ）中の右から１番目、上から３番目の注目点１１５ａと対応しており、注目点１１３ｃは、図４（ｂ）中の右から１番目、上から４番目の注目点１１５ｂと対応している。図４から明らかなように、図４（ｂ）中の注目点１１５ａを含むブロック１１６ａは、図４（ａ）中の注目点１１３ｂを含むブロック１１４ｂとほぼ一致しており相関の度合が高く、図４（ｂ）中の注目点１１５ｂを含むブロック１１６ｂは、図４（ａ）中の注目点１１３ｃを含むブロック１１４ｃと比べて、右にシフトしており相関の度合が低い。従って、注目点１１３ｂに関する局所的動きベクトルの重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅは、注目点１１３ｃに関する局所的動きベクトルの重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅよりも大きくなる。
【００４２】
最後に、前述の手順によって求めた各重みを統合し、一つの局所的動きベクトル検出結果に対する最終的な重みを重み決定部１０において決定する。本実施の形態においては、式７に示すように、最終的な重みＷｔｏｔａｌを計算するために１つの注目点１１３ごとに重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの積を算出している。なお、最終的な重みＷｔｏｔａｌを計算する際には、重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの積の他に、例えば重み付け係数Ｗｃｏｍｐｌｅｘと重み付け係数Ｗｃｏｒｒｅｌａｔｉｖｅとの和を計算する等、さまざまな算出手順があり、本発明に対してこれらを適用することは容易である。
【００４３】
【数７】

【００４４】
前記最終的な重みＷ_TOTALを全ての注目点１１３に関して計算し、全ての注目点１１３における局所的動きベクトルの重みを決定する。
【００４５】
さらに、第３の手順として、局所的動きベクトル探索部７において求めた局所的動きベクトルと、重み決定部１０において求めた各局所的動きベクトルの重み付け係数とから、重み付けを行った後の局所的動きベクトルのヒストグラムをヒストグラム作成部１１において作成する（Ｓ３）。
【００４６】
図３は、作成されたヒストグラムの一例を示すグラフである。なお、図３は１次元のヒストグラムとなっているが、これは説明を簡便にするためであり、本実施の形態におけるヒストグラムは動きベクトルの水平成分および垂直成分を軸とする２次元のヒストグラムが作成される。
【００４７】
さらに、第４の手順として、前述の手順で作成されたヒストグラムに対し、ピーク検出部１２においてピーク検出を行う（Ｓ４）。本実施の形態においては、予め設定しておいた大きさのウィンドウＷを使用し、ウィンドウＷ内のヒストグラム値の合計の最大になる箇所をピークＰとしている。すなわち、次式８を満足する（ｘ，ｙ）を求めてこれをピークとする。なお、（ｘ，ｙ）は、ヒストグラム上のある座標を示し、ｈ（ｘ＋ｉ，ｙ＋ｊ）は、ヒストグラム上のある座標における最終的な重みＷｔｏｔａｌの合計を示す。
【００４８】
【数８】

【００４９】
ピーク検出手順は、前述のもの以外に、単純に最大値を検索する方法や、クラスタリングによる方法等、さまざまな方法が有り、これらさまざまなピーク検出方法は本発明に容易に適用できる。
【００５０】
前記ピーク検出によって得られたピークＰに関わる局所的動きベクトル、すなわち式８を満足する（ｘ，ｙ）に関わる局所的動きベクトルが、基準側画像１１１と比較対象側画像１１２との間の画像動きベクトルである。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない局所的動きベクトル検出結果から画像全体の動きベクトルを安定して検出することができる。従って、回路によって実現する場合には回路規模の縮小ができ、汎用の計算機上でソフトウエアによって実現する場合にはより計算能力の小さい計算機を用いて実施することができる。また、それによりコストダウンや消費電力の軽減が可能となる。
【図面の簡単な説明】
【図１】本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートである。
【図２】本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。
【図３】作成されたヒストグラムの一例を示すグラフである。
【図４】カメラから入力された２枚の画像の一例を示す説明図である。
【符号の説明】
１カメラ
２基準側画像メモリ
３比較対象側画像メモリ
４第１ブロック切り出し部
５第２ブロック切り出し部
６第２相関値計算部
７局所動きベクトル探索部
８複雑さ計算部
９第１相関値計算部
１０重み決定部
１１ヒストグラム作成部
１２ピーク検出部

Claims

動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出方法であって、
複数枚の入力画像を画像記憶部に記憶する手順と、
複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す手順と、
残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する手順と、
第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する手順と、
第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する手順と、
複雑さを示す重み係数と相関の度合から計算された重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する手順と、
探索手順で求めた局所的動きベクトルと前記決定手順で決定した各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成する手順と、
作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定する手順と、を含むことを特徴とする画像動きベクトル検出方法。
前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくすることを特徴とする請求項１記載の画像動きベクトル検出方法。
前記第１の局所的な画像の複雑さを示す重み係数を計算する手順では、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくすることを特徴とする請求項１記載の画像動きベクトル検出方法。
動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出装置であって、
前記複数枚の入力画像を記憶する画像記憶部と、
前記複数枚の入力画像のうちの１枚の画像から第１の局所的な画像を複数箇所切り出す切り出し部と、
残りの入力画像上から第２の局所的な画像を切り出し、この第２の局所的な画像と前記第１の局所的な画像との間の近似度を計算する処理を、第２の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、前記第１の局所的な画像との間の近似度が一番高い第２の局所的な画像を探索する第２の局所的画像探索部と、
前記第１の局所的な画像の複雑さを示す重み係数として第１の局所的な画像の画素値の分散の値を計算する複雑さ計算部と、
第１の局所的な画像および第２の局所的な画像間の相関の度合から重み係数を計算する相関値計算部と、
前記複雑さ計算部で計算された複雑さを示す重み係数と前記相関値計算部で計算された相関の度合から求められた重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する重み決定部と、
前記第２の局所的画像探索部で探索された局所的動きベクトルと前記重み決定部で決定された各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成するヒストグラム作成部と、
作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定するピーク検出部と、を備えたことを特徴とする画像動きベクトル検出装置。
前記複雑さ計算部は、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくすることを特徴とする請求項４記載の画像動きベクトル検出装置。
前記複雑さ計算部は、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくすることを特徴とする請求項４記載の画像動きベクトル検出装置。