JP6530919B2

JP6530919B2 - 局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置

Info

Publication number: JP6530919B2
Application number: JP2015016479A
Authority: JP
Inventors: 力松永
Original assignee: KABUSHIKI KAISYA HOUEI
Current assignee: KABUSHIKI KAISYA HOUEI
Priority date: 2015-01-30
Filing date: 2015-01-30
Publication date: 2019-06-12
Anticipated expiration: 2035-01-30
Also published as: JP2016143941A

Description

本発明は、局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置に関する。

従来、グローバルな動き推定処理方法は、ブロック毎に得られた動きベクトルの平均値やメジアン値、最頻値を取る処理が簡易方法として用いられてきた。また、画面全体をひとつの大きなブロックとして画面全体の動きベクトルを推定する映像ぶれ補正装置が知られている。

下記特許文献１には、ＣＭＯＳセンサからの映像データ読み出し方法において、ある走査線の読み込み中に次の走査線の読み込みを開始する複数走査線の同時読み出し等の工夫をすることにより、歪みを軽減する撮像方式が開示されている。

また、下記特許文献２では、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。

特開２０１１−１４２５９２号公報特開２０１３−０１７１５５号公報

ブロック毎に得られた動きベクトルの平均値やメジアン値を取る従来の処理では、映像中に局所的な移動物体が存在する場合、それが画面全体の動きとは異なる動きであると、単純な平均値やメジアン値を取る処理では画面全体の動きを推定できない。

ブロック毎に得られた動きベクトルのヒストグラムを計算して、その最頻値をなす動きベクトルをグローバル動きベクトルする方法も、テクスチャのないブロックにおける誤った動きベクトルの頻度数の影響により、正しいグローバル動きベクトルを推定できない。

また、画面全体をひとつの大きなブロックとして画面全体のグローバル動きベクトルを推定する方法は、専用の処理となるため、局所的な動きを推定するブロックマッチングとは別に行わなければならない。また、移動物体が存在する場合には、その動きの影響により正しいグローバル動きが推定できない場合が生じていた。

本発明は、上述の問題点に鑑み為されたものであり、画面全体の一様なグローバル動きをロバストに推定することが可能な局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置を提案することを目的とする。

実施形態に示す方法は、局所的なブロックマッチングの結果のマッチング残差から重み係数を計算する。これを探索領域中におけるすべてのマッチング残差から計算して重み分布を生成する。そのような重み分布の全画素あるいは全ブロックにおける結果を累積加算する。そして、累積加算した全画素あるいは全ブロックにおける重み分布のピーク値を探索する。

そのピーク値の位置がグローバル動きベクトル量に相当する。グローバル動きがサブピクセルの場合、ピーク位置が空間的に広がるので、ピーク位置近傍領域の重み分布の値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとすることがより好ましい。

画面全体の一様なグローバル動きをロバストに推定することが可能な局所ブロックマッチングによるグローバル動き推定処理方法及び画像処理装置を提案できる。また、映像中にノイズが含まれていたり、映像間で輝度変動が存在したり、局所的な移動物体が存在するような場合でも、それらの影響を受けずにグローバル動きベクトルがサブピクセル精度で推定できる。

また、ロバストな推定結果を用いることにより、高精度な動き補正処理も可能となる。また、このために必要な処理は、局所的なブロックマッチング処理の結果を用いるため、専用の処理を行わずとも局所ブロックマッチング処理に加えた付加的な後処理により行うことができる。

本実施形態の局所ブロックマッチングによるグローバル動き推定処理方法を説明する処理全体のブロック図である。局所ブロックマッチング処理におけるブロックサイズとその近傍探索領域について説明する図である。（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定について、第１フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）はノイズが含まれている場合について、第１フレームに対して水平方向に−５画素、垂直方向に＋３画素シフトしている第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｃ）はノイズが含まれている場合の本実施形態の計算結果を説明する図である。（ａ）は輝度変動がある場合について、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は輝度変動がある場合の本実施形態の計算結果を説明する図である。（ａ）は輝度変動がある場合に、ＤｏＧフィルタによりエッジ検出し、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は輝度変動がある場合にエッジ画像による本実施形態の計算結果を説明する図である。（ａ）は局所的なオクルージョンがある場合の、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、画像サイズの約１０％領域のオクルージョンが存在する第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）は局所的なオクルージョンがある場合の本実施形態による計算結果を示す図である。（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定にかかる第１フレーム（ノイズレベルσ＝１０）を示す図であり、（ｂ）はサブピクセル移動の場合について、第１フレームに対して、水平方向に＋４．５画素、垂直方向に＋１．５画素シフトした第２フレーム（ノイズレベルσ＝１０）を示す図であり、（ｃ）はサブピクセル移動の場合の計算結果を説明する図である。（ａ）はサブピクセル精度の動き推定について水平方向の結果を示す図であり、（ｂ）はサブピクセル精度の動き推定について垂直方向の結果を示す図である。は階層画像による動き推定処理を説明するブロック図である。

本実施形態では、カメラのパンやチルトによる映像中における画面全体の一様なグローバル動きを推定する新しい方法を提案する。従来は、グローバル動き推定を行うために専用の処理を行ってきた。映像中の動きには、現実にはグローバル動きだけではなく、局所的な移動物体も存在する。そのような局所的な動きを推定するために、従来、局所的なブロックマッチングもグローバル動き推定と同時に行われてきた。

本実施形態に示す方法によれば、局所的なブロックマッチングの結果のマッチング残差から重み分布を計算し、それを全画素あるいは全ブロックに渡って累積加算することにより、ノイズや輝度変動、局所的な動き等に影響されないロバストなグローバル動き推定を実現できる。

本実施形態では、局所ブロックマッチングの結果のマッチング残差を用いて画面全体のグローバル動きベクトルを推定する構造を実現する。画面全体のグローバル動きベクトルを推定するための特別な処理を用いずに推定が可能であるため、画面全体をひとつのブロックと見なしてグローバル動きベクトルを推定する従来の処理と比較して、掛かるコストが少なくて済む。さらに、本実施形態は、ノイズや輝度変動、局所移動物体の影響を受けずにロバスト安定に動き補正処理が可能となる利点を有する。

本実施形態の手順として、１）画素毎あるいはブロック毎の局所的な動きを推定するブロックマッチング処理を遂行する。２）局所ブロックマッチング処理の結果のマッチング残差から重み係数を計算する処理を遂行する。３）探索領域中すべての重み係数からなる重み分布を全画素あるいは全ブロックに渡って累積加算する処理を遂行する。４）累積加算した重み分布からピーク値を探索して、ピーク値近傍領域に対して２次関数を当てはめる処理を遂行する。５）累積加算した重み分布のピーク値近傍領域に対して当てはめた２次関数の極大値の位置を計算する処理を遂行する。

また、画素毎あるいはブロック毎の局所的な動き推定処理には、推定結果の残差が計算できれば、ブロックマッチング、勾配法、位相相関法等、どのような方法を用いても、本発明を適用することが可能である。具体的な実現方法においても、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。

また、局所ブロックマッチング処理の精度の向上や掛かる処理コストを低減するために、後述するような、階層画像を用いた階層動き推定処理を用いることができる。水平垂直方向の並進動きのみならず、より複雑な回転やスケール変化、変形運動に対応するために、本発明による並進運動の推定にロバスト推定手法を組み合わせることも可能である。図１は、このような本実施形態の局所ブロックマッチングによるグローバル動き推定処理方法を説明する処理全体のブロック図である。

図１に示すように、局所ブロックマッチング処理は、連続する２枚の画像中に、それぞれ（２Ｎ＋１）×（２Ｎ＋１）画素サイズのブロックを用意して、一方の画像のブロックが他方の画像において、どれくらい似ているかを計算するものである。具体的には、ブロックの近傍の（２Ｗ＋１）×（２Ｗ＋１）画素サイズの探索領域において、次のような計算を行う。

図２は、局所ブロックマッチング処理におけるブロックサイズとその近傍探索領域について説明する図である。

通常は、このような差分二乗総和ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅ）が最小となる値（ｕ，ｖ）をそのブロックにおけるローカル動きベクトルとして用いるが、グローバル動きベクトルの推定のために、次のような重み係数を計算する。

ここで、ｈはスケール定数である。ブロック間が完全に一致すると、ＳＳＤ（ｕ，ｖ）が０となり、重みｗ（ｕ，ｖ）は最大値１になる。異なるブロックでは重みは小さくなる。重みｗ（ｕ，ｖ）は、ブロック間の類似性を測るものである。このようなマッチング残差による重み係数を、探索領域すべての（ｕ，ｖ）について計算したものを重み分布と称する。

そのような重み分布を、全画素あるいは全ブロックにおいて計算したものを累積加算する。累積加算した重み分布におけるピーク値の座標位置がグローバル動きベクトルである。局所ブロックマッチング処理はブロックによっては、テクスチャ成分が十分ではない場合等、信頼性の高いローカル動きベクトルを計算することが難しい場合が往々にして生じる。

しかし、全画素あるいは全ブロックにおけるマッチング残差による重み係数の分布を累積加算することによって、そのような誤った推定結果のブロックの影響を低減して、ロバストなグローバル動きベクトルを推定することができる。

実際には、サブピクセル（整数画素以下）の精度の動きの場合には、累積加算した動き分布におけるピーク値は１点ではなく、空間的に広がる。そこで、累積加算重み分布のピーク値近傍の重み係数値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとすることが好ましい。

また、局所ブロックマッチング処理の精度の向上や処理コストを低減するために、階層画像（縮小画像）を生成して、階層画像間でのローカル／グローバル動き推定結果を上位の画像サイズの大きな階層画像へ伝播させることが好ましい。

図３（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定について、第１フレーム（ノイズレベルσ＝１０）を示す図であり、図３（ｂ）はノイズが含まれている場合について、第１フレームに対して水平方向に−５画素、垂直方向に＋３画素シフトしている第２フレーム（ノイズレベルσ＝１０）を示す図であり、図３（ｃ）はノイズが含まれている場合の本実施形態の計算結果を説明する図である。

具体的には、図３（ｃ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。

図３（ｃ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図３（ｃ−２）は、画像（ｃ−１）の画素値をｚ軸とした３次元プロットで示した図である。

なお、図３（ｃ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。

また、図４（ａ）は輝度変動がある場合について、第１フレームに対して水平方向に−５画素垂直方向に＋３画素シフトし、かつ輝度値が第１フレームの６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、図４（ｂ）は輝度変動がある場合の本実施形態の計算結果を説明する図である。

具体的には、図４（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。

図４（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図４（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。

なお、図４（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。

また、図５（ａ）は輝度変動がある場合に、ＤｏＧフィルタによりエッジ検出し、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、かつ輝度値が６０％である第２フレーム（ノイズレベルσ＝１０）を示す図であり、図５（ｂ）は輝度変動がある場合にエッジ画像による本実施形態の計算結果を説明する図である。

具体的には、図５（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。

図５（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図５（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。

なお、図５（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心である）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。図５に示すように、エッジ画像間での本実施形態に示すブロックマッチング処理を遂行することにより、さらに明瞭なピークが得られることが理解できる。

（局所正規化ブロックマッチング）
ＩｒａｎｉとＡｎａｎｄａｎは、赤外画像と可視光画像の位置合わせのために、各々の方向エッジニ乗画像の局所正規化相関（ＬｏｃａｌＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ. ＬＮＣＣ）を最大化する補正パラメータを推定した。局所正規化相関は次のようになる。

ここで、

であり、

は、注目画素

を含む近傍の局所領域

の画素数である。入力画像、テンプレート画像ともに、方向ｄによるエッジを二乗したものを用いており、エッジには、水平、垂直、斜め２方向の合計４方向を用いている。ｄ＝１，．．，４であるから、相関値は−４から４までの範囲を取り、４に近ければ近いほど類似度が高い。

これは、局所領域

の画素値の平均値を引いて、標準偏差値によりレベル変換したもの同士の積であるが、次のような局所正規化ＳＳＤ（ＬｏｃａｌＮｏｒｍａｌｉｚｅｄＳｕｍｏｆＳｕｑａｒｅｄＤｉｆｆｅｒｅｎｃｅ，ＬＮＳＳＤ）と本質的に等価である。（参考論文：松永力，画像からの倍率色収差の自動推定補正，第２０回画像センシングシンポジウム（ＳＳＩＩ２０１４））講演論文集，横浜（パシフィコ横浜），２０１４年６月）

連続する２画像

の局所正規化ブロックマッチングは、次の式［数１４］のようになる

（局所的なオクルージョンがある場合）
図６（ａ）は、局所的なオクルージョンがある場合の、第１フレームに対して、水平方向に−５画素、垂直方向に＋３画素シフトし、画像サイズの約１０％領域のオクルージョンが存在する第２フレーム（ノイズレベルσ＝１０）を示す図であり、図６（ｂ）は局所的なオクルージョンがある場合の本実施形態による計算結果を示す図である。

具体的には、図６（ｂ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。

図６（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図６（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。

なお、図６（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピーク位置の画像座標は（１５，１３）になるが、当該図においては、原点が（１０，１０）である（すなわちフレームの中心である）ことと、第２フレームを基準として局所ブロックマッチングを行っているので、動き量の符号が反転することに注意する必要がある。

（サブピクセル精度の動き推定）
図７（ａ）は局所ブロックマッチング残差の重み分布によるグローバル動き推定にかかる第１フレーム（ノイズレベルσ＝１０）を示す図であり、図７（ｂ）はサブピクセル移動の場合について、第１フレームに対して、水平方向に＋４．５画素、垂直方向に＋１．５画素シフトした第２フレーム（ノイズレベルσ＝１０）を示す図であり、図７（ｃ）はサブピクセル移動の場合の計算結果を説明する図である。

具体的には、図７（ｃ）は、３×３画素ブロックにより、２１画素×２１画素探索領域をブロックマッチングした結果の残差による重み分布を全画素にわたって加算平均した結果を説明している。ここで、重み係数の計算［数２］におけるスケール定数ｈ＝８として計算した。

図７（ｂ−１）は、画素毎のマッチング残差による重み分布の全画素にわたる加算平均結果の画像表示を示しているが、最大値が白１００％になるように正規化しているものであり、図７（ｂ−２）は、画像（ｂ−１）の画素値をｚ軸とした３次元プロットで示した図である。

なお、図７（ｂ−１）画像中におけるピーク位置がグローバル動き量を示しており、そのピークはサブピクセル移動により広がったものとなっていることが当該画像から理解できる。

サブピクセル精度の動き推定では、重み分布の最大値近傍の値に対して２次関数を最小二乗法により当てはめて、その極大値を求める。これを、水平垂直方向毎に行う。また、最小二乗法は次式［数１５］の目的関数を最小化する。

ここで、

は、重み分布画像の画素値であり、

は、その位置座標である。また、上記式［数１５］では、水平垂直方向毎の１次元で処理していることに留意する必要がある。

数１５に示す目的関数Ｊを、ａ，ｂ，ｃで微分して０と置いた次式［数１８］の正規方程式を解く。

推定結果の

から、その極大値の位置座標

は、次式［数２１］のようになる。

正規方程式を解く際に、計算精度を考慮して、予め画像サイズ

で位置座標

を割って

に揃えることが好ましい。
あるいは、連続する３点

を通る２次関数

の連立方程式

を（ａ，ｂ，ｃ）について解けばよい。

になるように２次関数を平行移動すると、

となる。但し、

であり、

である。

図８（ａ）はサブピクセル精度の動き推定について水平方向の結果を示す図であり、図８（ｂ）はサブピクセル精度の動き推定について垂直方向の結果を示す図である。図８（ａ）では、重み分布のピーク値近傍４点に対して最小二乗法により２次関数を当てはめて、その極大値の座標を求めるものであり、原点位置は１０だから５．４９６８−１０＝−４．５３２画素となる。また、図８（ｂ）では、重み分布のピーク値近傍４点に対して最小二乗法により２次関数を当てはめて、その極大値の座標を求めるものであり、原点位置は１０だから１０−１１．５０２８＝−１．５０２８画素となる。

（階層画像による動き推定）
図９は、階層画像による動き推定処理を説明するブロック図である。連続する２枚の画像

があるとき、

をアフィン変換により変形すると、

に重なるとする。このとき重なり部分では次式［数３６］の関係が成り立つ。

ただし、次のように置いた。

パラメータは微小であるとして、［数３６］の左辺をテイラー展開すると、

は、

と書ける。従って、アフィン変換パラメータ

は、次式［数４２］の目的関数

を最小化するものである。

ここで、

である。

は、２画像の重複した領域中の全ての画素にわたる和を表す。［数４２］の

をアフィン変換パラメータの各成分ａ_１，ａ_２，ａ_３，ａ_４，ａ_５，ａ_６で微分して、０と置いた正規方程式を解けばよい。
簡単のために、ａ_１＝ａ_４＝０と置いた４パラメータアフィン変換（並進歪み変換）により説明する。目的関数

は、次式［数４７］のようになる。

［数４７］の

をａ_２，ａ_３，ａ_５，ａ_６で微分して０と置いた正規方程式は次式［数４９］のようになる。

階層画像による動き推定処理の手順は次のようになる。
手順１．画素毎のブロツクマッチング残差による重み分布の累積加算の結果から並進パラメータを推定する。
手順２．推定した並進および歪みパラメータによる補正結果を計算する。その重複する領域中における画素毎の残差

の絶対値のメジアン値（中央値）からスケールパラメータ

を計算する。

ここで、ｍｅｄはメジアン値を求める操作である。残差

は、手順１による並進パラメータ

と下位の階層における推定結果

により、次のように計算する。

ただし、最下位の階層画像の場合、

とする。
手順３．スケールパラメータ

により、次のようなアウトライヤ判定のための重み係数を計算する。

ｃはアウトライヤ判定のためのしきい値である。
手順４．並進成分ａ_３，ａ_６以外の歪み成分ａ_２，ａ_５を推定するために、次のような重み付け正規方程式を解く。

ここで、

と略記した。

は、２画像の重複した領域中の全ての画素にわたる和である。ただし、要求精度に応じて、上記式［数６０］の推定結果

および手順１の推定結果

による変換画像を生成し、その変換画像を用いて、上記手順２及び手順３により重み係数

を計算し、上記式［数６０］の重み付け正規方程式を解く。そして、得られる解

により

と更新する。

の絶対値が要求精度に応じた微小しきい値以下になるまで繰り返す。

手順５．上記推定結果を上位の階層画像における推定のための初期値として使用して、最上位の画像の結果が得られるまで繰り返し推定処理を行う。このような階層画像を用いて動き推定処理を行うことにより、広範囲な動きにも対応することができる。回転やスケール変化、変形運動等の複雑な動きを推定することもできる。

実際には、ガウシアンフィルタを掛けて間引くことにより階層画像を生成して、最も低解像度の画像間で推定したパラメータをより高解像度の画像間における動き推定処理に伝播させる階層動き推定処理を行う。

図９は、実施例における階層動き推定処理を説明するブロック図である。図９に示すように、隣接する動き歪み２画像「Ｉ_ｎ」と「Ｉ_ｎ＋１」を入力する。それぞれにガウシアンフィルタＧσを掛けて画像サイズを１／２に間引く（↓２）。間引き処理を繰り返し行い画像サイズを１／４まで縮小する。原画像サイズをＬｅｖｅｌ０とすると、１／２画像サイズをＬｅｖｅｌ１、１／４画像サイズをＬｅｖｅｌ２と呼ぶ。

４パラメータアフィン変換行列パラメータの初期値ａ^（０）を与えて、１／４画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／４画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ^（０）に加えた結果をａ^（１）として、次の１／２画像サイズによるＬｅｖｅｌ１処理に用いる。

４パラメータアフィン変換行列パラメータの初期値ａ^（０）は、１／４画像サイズのＩ_ｎ、Ｉ_ｎ＋１において、例えばブロックマッチングによる並進パラメータとすればよい。その場合のａ^（０）＝（ａ_２、ａ_３、ａ_５、ａ_６）＝（０、ｔ_ｘ ^（０）、０、ｔ_ｙ ^（０））である。ここで、（ｔ_ｘ ^（０）、ｔ_ｙ ^（０））がブロックマッチング残差の重み分布による並進パラメータである。

１／４画像サイズによるＬｅｖｅｌ２処理同様に、１／２画像サイズによるＬｅｖｅｌ１処理は、４パラメータアフィン変換行列パラメータａ^（１）による１／２画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、１／２画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ^（１）に加えた結果をａ^（２）として、次の原画像サイズによるＬｅｖｅｌ０処理に用いる。

このとき、歪みパラメータａ_２、ａ_５に関する重み付け正規方程式を解いて、ａ_２、ａ_５を推定する。重み係数は推定パラメータによる補正結果の残差から決定される。

１／２画像サイズによるＬｅｖｅｌ１処理同様に、原画像サイズによるＬｅｖｅｌ０処理は、４パラメータアフィン変換行列パラメータａ^（２）による原画像サイズのＩ_ｎを４パラメータアフィン変換による補正処理（Ｗ）を行う。そして、原画像サイズのＩ_ｎ＋１との間で、４パラメータアフィン変換行列を推定する（Ｍ）。その推定結果をａ^（２）に加えた結果のａ^（３）が最終的な４パラメータアフィン変換行列の推定結果である。４パラメータアフィン変換行列により最終的に原画像サイズのＩ_ｎ＋１を補正して出力する。

並進パラメータａ_３、ａ_６に対して時系列処理を行い、その結果の並進パラメータにより再び合成した４パラメータアフィン変換行列により補正してもよい。

本発明は、動き補正を用いた画像／映像分野全般に適用可能である。特に、映像ぶれ補正装置、動き補正方式変換装置、動き補正型ノイズリデューサー等に好適である。

Claims

局所的なブロックマッチングの結果のマッチング残差から重み係数を計算し、前記計算を探索領域中におけるすべてのマッチング残差から計算して重み分布を生成する工程と、
前記重み分布の全画素または全ブロックにおける結果を累積加算し、前記累積加算した全画素または全ブロックにおける重み分布の、グローバル動きベクトル量に相当するピーク値を探索する工程と、を有し、
前記ピーク値を探索する工程は、
何らのしきい値による判別を必要とせずに、局所ブロックマッチング処理の結果の残差の重み付け分布を累積加算平均した全画素による最小二乗法により分布の形に２次曲線を当てはめる処理を含み、
グローバル並進動きを局所ブロックマッチング残差の重み分布を累積加算することにより推定する処理と、アフィン変換動きパラメータを推定する処理とを組み合わせる
ことを特徴とするグローバル動き推定処理方法。
請求項１に記載のグローバル動き推定処理方法において、
前記ピーク値を探索する工程は、
グローバル動きがサブピクセルの場合に、空間的に広がったピーク位置近傍領域の前記重み分布の値に対して、２次関数を当てはめて、その極大値の位置をグローバル動きベクトルとする処理をさらに含む
ことを特徴とするグローバル動き推定処理方法。
請求項１または請求項２に記載のグローバル動き推定処理を遂行する画像処理装置。