JP4340968B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像中の、例えば、動物体を含む領域を正確に抽出することができるようにする画像処理装置および方法、記録媒体、並びにプログラムに関する。

ユーザが、デジタルビデオカメラやデジタルスチルカメラなどのカメラで撮影（撮像）を行う場合、カメラ本体を三脚などで固定せずに、手持ちの状態で撮影（撮像）を行うと、物体に対してカメラが動く(揺れる)ことにより、撮像された画像（以下、単に、画像という）が、揺れているようにみえてしまう、いわゆる手振れが生じることがある。

この手振れによる画像の揺れを低減させるために、時系列に連続した複数枚の画像間で、ある画像を基準（基準画像）として、その基準画像に対する他の画像の画像全体の動きを表すパラメータを求め、得られたパラメータを用いて他の画像を補正する（基準画像に位置を合わせる）処理が行われる。この処理は、例えば、手振れ補正などと呼ばれている。

ここで、基準画像に対する他の画像の画像全体の動きを表すパラメータは、基準画像と他の画像との位置関係を表すパラメータであるともいえる。なお、以下において、基準画像は、位置合わせ(補正)のために参照される画像であるので、基準画像をリファレンス画像という。また、以下において、基準画像（リファレンス画像）に合わせて位置が補正される他の画像をターゲット画像という。

リファレンス画像とターゲット画像の２枚の画像間において、手振れによって生じる画像の揺れの成分には、大まかには、物体に対してカメラを向けた状態で、カメラが左右にずれた場合に生じる平行移動成分と、カメラが時計方向または反時計方向に回転した場合に生じるレンズの光軸を中心とする回転成分とがある。さらに厳密には、カメラのレンズの光軸に垂直な軸の回りの回転成分や、カメラの奥行き方向の移動による拡大縮小成分もある。

このような手振れが生じているリファレンス画像とターゲット画像との位置合わせには、例えばアフィン変換が用いられる。従って、リファレンス画像とターゲット画像との２枚の画像どうしの位置関係を表すパラメータとしては、例えば、アフィン変換のパラメータであるアフィンパラメータがある。

アフィン変換では、リファレンス画像上の位置（ｘ，ｙ）と、ターゲット画像上の位置（ｘ’，ｙ’）との位置関係は、次の式（１）で表される。

・・・・（１）

ここで、式（１）において、例えば、ａ＝Ｋ×cosθ，ｂ＝−Ｋ×sinθ，ｃ＝Ｋ×sinθ，ｄ＝Ｋ×cosθとした場合、式（１）の左辺は、位置（ｘ，ｙ）に対して、角度θの回転、（ｓ，ｔ）の平行移動、Ｋ倍の拡大縮小を施すアフィン変換を表す。

なお、以下では、式（１）のアフィン変換の行列（ａ，ｂ，ｃ，ｄ）と２次元ベクトル（ｓ，ｔ）を合わせて、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）と表す。

アフィンパラメータは、例えば、リファレンス画像を複数のブロックに分割し、そのブロックの動きベクトルを検出することによって求められる。即ち、例えば、リファレンス画像のブロックの動きベクトルによって、リファレンス画像の各画素（の位置）（ｘ，ｙ）を、ターゲット画像上に移動したときの、その移動後の位置（ｘ’’，ｙ’’）と、式（１）によって、リファレンス画像の各画素（ｘ，ｙ）を、ターゲット画像上の位置に変換したときの、その変換後の位置（ｘ’，ｙ’）との自乗誤差の総和を最小にする式（１）のアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）が求められる。

しかしながら、リファレンス画像やターゲット画像に撮像（投影）されている物体のなかに、動いている物体（以下、動物体という）がある場合、一般的には、画像中の動物体の動き（動きベクトル）と、手振れによる画像全体の動きとは異なるために、上述したアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めるのに、動物体の領域の画素を用いてしまうと、その動物体の動きの影響によって、正確なアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めることが困難となる。

従って、画像中に動物体がある場合、その動物体の部分（領域）を抽出して除外し、動物体の部分が除外された画像のみを用いて、手振れによる画像全体の動きを表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求める必要がある。

従来の、動物体を含む領域を除外して、手振れを補正する技術は、例えば、特許文献１で提案されている。

特許文献１では、画像全体の動きを検出するのに、画像を複数のブロックに分割して得られる各ブロックの水平方向の動きベクトルと垂直方向の動きベクトルだけを考慮している。

即ち、特許文献１では、画像全体が４つの領域に分割され、その４つの領域それぞれが、さらに小さな複数のブロックに分割される。そして、４つの領域それぞれの各ブロックについて、動きベクトルＶが求められる。

さらに、４つの各領域において、各ブロックの動きベクトルＶの水平方向の値Ｖ_Xiと、全ブロックの動きベクトルＶの水平方向の平均値Ｖ_XAVRとの差の絶対値｜Ｖ_Xi−Ｖ_XAVR｜と、各ブロックの動きベクトルＶの垂直方向の値Ｖ_Yiと、全ブロックの動きベクトルＶの垂直方向の平均値Ｖ_YAVRとの差の絶対値｜Ｖ_Yi−Ｖ_YAVR｜との和の、全ブロックについての総和、即ち、Σ（｜Ｖ_Xi−Ｖ_XAVR｜＋｜Ｖ_Yi−Ｖ_YAVR｜）が、発散度として求められる。

そして、４つの領域の各発散度のうち、発散度が小さい２つの領域が選択され、その選択された２つの領域の動きベクトルＶの平均が、画像全体の動きベクトル、即ち、画像全体の動きを表すパラメータとして計算される。換言すれば、４つの各領域の発散度のうち、発散度が大きい２つの領域が、動物体を含む領域として、画像全体の動きを表すパラメータの計算から除外される。

特開平０７−０３８８００号公報

しかしながら、特許文献１の方法では、例えば、ユーザが静止物体（動物体でない物体である非動物体）を撮像した場合（動物体が画像に投影されていない場合）において、手振れにレンズの光軸を中心とする回転成分が含まれているときには、手振れの回転の揺れによる動きベクトルは、画像の中心（回転中心）付近にある静止物体については、ほぼ０となるが、画像の中心から離れた位置にある静止物体については、ある程度の大きさとなる。この場合、ある程度の大きさの動きベクトルが得られる領域は、その領域に表示されている物体が静止物体であっても、動物体が表示されている領域とみなされ除外されてしまうことになる。

このように画像全体の動きを表すパラメータを求めるのに、静止物体が表示されている領域が除外されてしまうと、パラメータの精度が劣化することになる。

本発明は、このような状況に鑑みてなされたものであり、画像中の、例えば、動物体を含む領域等を、精度良く抽出することができるようにするものである。

本発明の画像処理装置は、第１の画像を複数のブロックに分割する分割手段と、ブロックから、第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出手段と、第１と第２の画像の位置関係を表す第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出手段と、ブロックについて、第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出手段と、差分ベクトルの大きさに基づいて、動物体を含むブロック、および非動物体を含むブロックを抽出する抽出手段とを備え、抽出手段は、差分ベクトルの大きさで昇順に並べられた差分ベクトルのうち、n+1番目の差分ベクトルの大きさから、n番目の差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の差分ベクトルそれぞれのブロックを、非動物体を含むブロックとして抽出し、n+1番目以降の差分ベクトルそれぞれのブロックを、動物体を含むブロックとして抽出する。

この画像処理装置には、抽出手段により抽出された非動物体を含むブロックを用いて、第１と第２の画像の位置関係を表す第２の位置関係パラメータを算出する位置関係パラメータ算出手段をさらに設けることができる。

この画像処理装置には、位置関係パラメータ算出手段により算出された第２の位置関係パラメータによって、第１の位置関係パラメータを更新する更新手段をさらに設け、第２の動きベクトル算出手段において、更新手段により更新された第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出し、差分ベクトル算出手段において、第１と第２の動きベクトルの差分ベクトルを算出し、抽出手段において、差分ベクトルの大きさに基づいて、非動物体を含むブロックを抽出し、位置関係パラメータ算出手段において、抽出手段により抽出された非動物体を含むブロックを用いて、第２の位置関係パラメータを算出し、更新手段において、位置関係パラメータ算出手段により算出された第２の位置関係パラメータによって、第１の位置関係パラメータを更新することを所定の条件が満たされるまで繰り返すことができる。

所定の条件は、第１と第２の位置関係パラメータとの差が所定の閾値以下とすることができる。

この画像処理装置には、位置関係パラメータ算出手段により算出された第２の位置関係パラメータを出力する出力手段をさらに設けることができる。

この画像処理装置には、差分ベクトルの終点を少なくとも１つ含む、互いに重複しない複数の領域のうち、１またはいくつかの領域により構成される拡大領域を求める拡大領域算出手段と、拡大領域に含まれる差分ベクトルの終点の重心が存在する位置を算出する位置算出手段と、算出された位置を重心とする所定の領域を、抽出用領域として求める抽出用領域算出手段とをさらに設けることができる。

抽出用領域算出手段では、所定の領域に含まれる差分ベクトルの終点の個数が、所定の閾値未満である場合、所定の領域に含まれる差分ベクトルの終点の個数が、所定の閾値以上となるまで、所定の領域を拡大し、拡大後の所定の領域を、抽出用領域として求めることができる。

抽出用領域は、所定の点を中心とする所定の半径の円の領域とすることができる。

位置関係パラメータ算出手段では、抽出手段により抽出された非動物体を含むブロックそれぞれについて算出された差分ベクトルの大きさの自乗和を最小にする第２の位置関係パラメータを算出することができる。

本発明の画像処理方法は、第１の画像を複数のブロックに分割する分割ステップと、ブロックから、第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、第１と第２の画像の位置関係を表す第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、ブロックについて、第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、差分ベクトルの大きさに基づいて、動物体を含むブロック、および非動物体を含むブロックを抽出する抽出ステップとを含み、抽出ステップは、差分ベクトルの大きさで昇順に並べられた差分ベクトルのうち、n+1番目の差分ベクトルの大きさから、n番目の差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の差分ベクトルそれぞれのブロックを、非動物体を含むブロックとして抽出し、n+1番目以降の差分ベクトルそれぞれのブロックを、動物体を含むブロックとして抽出する。

本発明の記録媒体に記録されているプログラムは、第１の画像を複数のブロックに分割する分割ステップと、ブロックから、第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、第１と第２の画像の位置関係を表す第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、ブロックについて、第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、差分ベクトルの大きさに基づいて、動物体を含むブロック、および非動物体を含むブロックを抽出する抽出ステップとを含み、抽出ステップは、差分ベクトルの大きさで昇順に並べられた差分ベクトルのうち、n+1番目の差分ベクトルの大きさから、n番目の差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の差分ベクトルそれぞれのブロックを、非動物体を含むブロックとして抽出し、n+1番目以降の差分ベクトルそれぞれのブロックを、動物体を含むブロックとして抽出する処理をコンピュータに実行させる。

本発明のプログラムは、第１の画像を複数のブロックに分割する分割ステップと、ブロックから、第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、第１と第２の画像の位置関係を表す第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、ブロックについて、第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、差分ベクトルの大きさに基づいて、動物体を含むブロック、および非動物体を含むブロックを抽出する抽出ステップとを含み、抽出ステップは、差分ベクトルの大きさで昇順に並べられた差分ベクトルのうち、n+1番目の差分ベクトルの大きさから、n番目の差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の差分ベクトルそれぞれのブロックを、非動物体を含むブロックとして抽出し、n+1番目以降の差分ベクトルそれぞれのブロックを、動物体を含むブロックとして抽出する処理をコンピュータに実行させる。

本発明においては、第１の画像が複数のブロックに分割され、そのブロックから、第２の画像の対応する領域への移動量を表す第１の動きベクトルが算出され、第１と第２の画像の位置関係を表す第１の位置関係パラメータによりブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルが算出される。そして、ブロックについて、第１と第２の動きベクトルの差分ベクトルが算出され、その差分ベクトルの大きさで昇順に並べられた差分ベクトルのうち、n+1番目の差分ベクトルの大きさから、n番目の差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の差分ベクトルそれぞれのブロックが、非動物体を含むブロックとして抽出され、n+1番目以降の差分ベクトルそれぞれのブロックが、動物体を含むブロックとして抽出される。

本発明によれば、画像中の、例えば、動物体を含む領域等を正確に抽出することができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置は、
第１と第２の画像の画像処理を行う画像処理装置（例えば、図１のコンピュータ１１）において、
前記第１の画像を複数のブロックに分割する分割手段（例えば、図７のステップＳ１１の処理を行うコンピュータ１１のCPU３１）と、
前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出手段（例えば、図７のステップＳ１２の処理を行うコンピュータ１１のCPU３１）と、
前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出手段（例えば、図７のステップＳ１４の処理を行うコンピュータ１１のCPU３１）と、
前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出手段（例えば、図７のステップＳ１５の処理を行うコンピュータ１１のCPU３１）と、
前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出手段（例えば、図７のステップＳ１６の処理を行うコンピュータ１１のCPU３１）と
を備え、
前記抽出手段は、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する。

請求項２に記載の画像処理装置は、
前記抽出手段により抽出された前記非動物体を含む前記ブロックを用いて、前記第１と第２の画像の位置関係を表す第２の位置関係パラメータを算出する位置関係パラメータ算出手段（例えば、図７のステップＳ１７の処理を行うコンピュータ１１のCPU３１）をさらに備える。

請求項３に記載の画像処理装置は、
前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータによって、前記第１の位置関係パラメータを更新する更新手段（例えば、図７のステップＳ１９の処理を行うコンピュータ１１のCPU３１）をさらに備え、
前記第２の動きベクトル算出手段において、前記更新手段により更新された前記第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出し、
前記差分ベクトル算出手段において、前記第１と第２の動きベクトルの差分ベクトルを算出し、
前記抽出手段において、前記差分ベクトルの大きさに基づいて、前記非動物体を含む前記ブロックを抽出し、
前記位置関係パラメータ算出手段において、前記抽出手段により抽出された前記非動物体を含む前記ブロックを用いて、前記第２の位置関係パラメータを算出し、
前記更新手段において、前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータによって、前記第１の位置関係パラメータを更新する
ことを所定の条件が満たされるまで繰り返す。

請求項５に記載の画像処理装置は、
前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータを出力する出力手段（例えば、図７のステップＳ１８において、YESと判定された場合の処理を行うコンピュータ１１のCPU３１）をさらに備える
ことを特徴とする。

請求項６に記載の画像処理装置は、
前記差分ベクトルの終点を少なくとも１つ含む、互いに重複しない複数の領域のうち、１またはいくつかの領域により構成される拡大領域を求める拡大領域算出手段（例えば、図１４のステップＳ６３の処理を行うコンピュータ１１のCPU３１）と、
前記拡大領域に含まれる前記差分ベクトルの終点の重心が存在する位置を算出する位置算出手段（例えば、図１４のステップＳ６４の処理を行うコンピュータ１１のCPU３１）と、
算出された前記位置を重心とする所定の領域を、前記抽出用領域として求める抽出用領域算出手段（例えば、図１３のステップＳ４４の処理を行うコンピュータ１１のCPU３１）と
をさらに備える。

請求項１０に記載の画像処理方法は、
第１と第２の画像に対して画像処理を行う画像処理装置の画像処理方法において、
前記第１の画像を複数のブロックに分割する分割ステップ（例えば、図７のステップＳ１１）と、
前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップ（例えば、図７のステップＳ１２の処理を行うコンピュータ１１のCPU３１）と、
前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップ（例えば、図７のステップＳ１４）と、
前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップ（例えば、図７のステップＳ１５）と、
前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出ステップ（例えば、図７のステップＳ１６）と
を含み、
前記抽出ステップは、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する。

請求項１１に記載の記録媒体のプログラム、請求項１２に記載のプログラムの各ステップの具体例も、請求項１０に記載の画像処理方法の各ステップの発明の実施の形態における具体例と同様である。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。

図１の画像処理装置は、コンピュータ１１と、そのコンピュータ１１に画像を供給するデジタルカメラ（デジタルビデオカメラ）１２とで構成されている。また、コンピュータ１１は、インターネット１３に接続されている。

CPU（Central Processing Unit）３１、メモリ３２、ディスプレイコントローラ３３、入力機器インタフェース３４、ネットワークインタフェース３５、および外部機器インタフェース３６は、バス３７を介して相互に接続されている。

CPU３１は、HDD（Hard Disk Drive）４１に記憶されているオペレーティングシステム（OS）を実行し、そのオペレーティングシステムの制御の下で、各種のプログラム（アプリケーションプログラム）を実行する。例えば、CPU３１は、デジタルカメラ１２から外部機器インタフェース３６を介して供給される複数の画像（の画像データ）を、HDD４１に記憶（保存）させる。また、CPU３１は、デジタルカメラ１２から供給された、または、HDD４１に記憶されている複数の画像のうちの、所定の画像をリファレンス画像とするとともに、他の画像をターゲット画像として、リファレンス画像とターゲット画像との位置関係を算出する処理を行う。以下、この処理を位置関係算出処理という。位置関係算出処理では、リファレンス画像またはターゲット画像に動物体が投影されている場合には、画像中の動物体の領域が抽出され、その動物体の領域を除外して、即ち、動物体でない物体である非動物体の領域のみを用いて、リファレンス画像とターゲット画像との位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）が求められる。

メモリ３２は、CPU３１において実行されるプログラムを記憶（ロード）し、また、CPU３１が処理に必要な作業データを一時的に記憶する。なお、メモリ３２は、ROM（Read Only Memory）などの不揮発性メモリおよびDRAM（Dynamic Random Access Memory）などの揮発性メモリの両方で構成することができる。

ディスプレイコントローラ３３は、CPU３１から供給される描画命令に従い、ディスプレイ３８に画像を表示させる。即ち、ディスプレイコントローラ３３は、CPU３１から供給される描画命令に従い、描画データを得て、図示しないフレームバッファに書き込む。ディスプレイ３８は、フレームバッファに書き込まれた描画データに基づいて、画像を表示する。これにより、ディスプレイ３８では、HDD４１に記憶されている画像や、HDD４１に記憶されている画像をCPU３１で処理(加工)した画像などが表示され、ユーザは、そのディスプレイ３８上に表示された画像を見ることができる。

入力機器インタフェース３４には、キーボード（KBD）３９やマウス４０が接続されている。ユーザは、キーボード３９またはマウス４０を操作することにより、例えば、画像をディスプレイ３８に表示させるコマンドや、画像処理を行わせるコマンドなどを入力することができる。入力機器インタフェース３４は、キーボード３９やマウス４０から供給される、その操作に対応した信号を、バス３７を介して、CPU３１に供給する。

ネットワークインタフェース３５は、例えば、ADSL(Asymmetric Digital Subscriber Line)モデムやNIC(Network Interface Card)などで構成され、インターネット１３などの広域ネットワークや、Ethernet（登録商標）に代表されるLAN（Local Area Network）などの局所的ネットワークなどとの間で通信を行うための通信制御を行う。

なお、インターネット１３などのネットワーク上では、図示しない複数のホスト端末またはサーバなどと呼ばれるコンピュータが、互いにトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。そのネットワーク上にあるサーバなどは、例えば、ソフトウエア（プログラム）やコンテンツデータなどをユーザに配信する配信サービスなどを行うことができる。コンピュータ１１は、ネットワークインタフェース３５を介して、例えば、インターネット１３上のサーバから、他人が撮像した画像をHDD４１にダウンロードすることができる。

外部機器インタフェース３６には、デジタルカメラ１２，HDD４１、およびメディアドライブ４２などの外部機器が接続されている。外部機器インタフェース３６は、デジタルカメラ１２，HDD４１、またはメディアドライブ４２それぞれとの間でのデータのやりとりを制御する。

HDD４１は、磁気ディスクを記録媒体として有する、ランダムアクセス可能な記憶装置（記録装置）であり、記憶容量やデータ転送速度などの点が優れている。

HDD４１には、各種のプログラムが実行可能な状態でインストール（記憶）されている。例えば、HDD４１には、CPU３１が実行すべきオペレーティングシステムのプログラムや、その他のアプリケーションプログラム、デバイスドライバなどが不揮発的に記憶されている。

また、本実施の形態では、上述したように、コンピュータ１１が、リファレンス画像とターゲット画像との位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求める位置関係算出処理を行うが、この位置関係算出処理を行うプログラムも、HDD４１に記憶（インストール）されている。

メディアドライブ４２には、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可般型のディスク４３が装着される。そして、メディアドライブ４２は、ディスク４３のデータ記録面にアクセスし、そこに記録されているプログラムやデータを読み出し、また、外部機器インタフェース３６から供給されたデータなどをディスク４３に書き込む（記録する）。

ディスク４３は、主に、プログラムやデータのバックアップをとるためや、プログラムまたはデータの販売、流通、配布などを目的として移動するために使用される。従って、リファレンス画像とターゲット画像との位置関係を算出する位置関係算出処理を行うプログラムも、ディスク４３に記録した形で、販売等することができる。

以上のように構成されるコンピュータ１１は、例えば、デジタルカメラ１２から供給された、時系列に撮像された複数枚の画像、または、HDD４１に記憶されている複数枚の画像などを対象として、位置関係算出処理を行う。即ち、コンピュータ１１は、所定の１枚の画像をリファレンス画像とするとともに、他の画像をターゲット画像として、リファレンス画像とターゲット画像との位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を算出する。

そして、コンピュータ１１は、そのアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を用いて、ターゲット画像を変換することにより、リファレンス画像に対するターゲット画像の補正された画像の位置情報、例えば、リファレンス画像上のターゲット画像の四隅の座標値などを、手振れを補正するための情報として、外部機器インタフェース３６を介してデジタルカメラ１２などに供給（出力）することができる。

なお、コンピュータ１１は、例えば、米ＩＢＭ社のパーソナル・コンピュータ“ＰＣ／ＡＴ（Personal Computer/Advanced Technology）”の互換機又は後継機を採用することができる。勿論、コンピュータ１１は、他のアーキテクチャを備えたコンピュータでも良い。また、コンピュータ１１と同様の構成は、デジタルカメラ１２内に内蔵することが可能である。この場合、デジタルカメラ１２内で、位置関係算出処理、さらには、その位置関係算出処理によって得られるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を用いた手振れ補正などが行われる。

次に、コンピュータ１１による位置関係算出処理について具体的に説明する。

図２は、リファレンス画像５１とターゲット画像５２を示している。

ここで、リファレンス画像５１については、リファレンス画像５１の左下の点を原点Ｏとして、右方向をＸ方向とするとともに、上方向をＹ方向とするＸＹ座標系を、リファレンス画像５１の座標系と定義する。ターゲット画像５２についても、ターゲット画像５２の左下の点を原点Ｏ’として、同様に、ＸＹ座標系を定義する。

図２のリファレンス画像５１とターゲット画像５２とは、例えば、時系列に連続する画像であり、デジタルカメラ１２で撮像された画像や、デジタルスチルカメラ等で高速撮像された画像である。ここで、先の時刻に撮像された画像をリファレンス画像５１とするとともに、後の時刻に撮像された画像をターゲット画像５２とする。

リファレンス画像５１とターゲット画像５２には、撮像の対象となっている物体６１と、物体６１の背後に背景６２とが投影（表示）されている。また、物体６１は、リファレンス画像５１とターゲット画像５２の撮像が行われた間に移動しており、従って、動物体である。

ターゲット画像５２の原点Ｏ’における物体６１の位置は、手振れと物体６１の移動により、リファレンス画像５１の原点Ｏに対する物体６１の位置とは異なる位置に投影されている。また、ターゲット画像５２の原点Ｏ’における背景６２の位置は、手振れにより、リファレンス画像５１の原点Ｏに対する背景６２の位置とは異なる位置に投影されている。

ここで、位置関係算出処理では、手振れによって生じたずれに対応する、リファレンス画像５１上の位置（ｘ，ｙ）と、ターゲット画像５２上の位置（ｘ’，ｙ’）との位置関係が、上述の式（１）で与えられるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）として求められる。

図２のリファレンス画像５１とターゲット画像５２の例では、例えば、コンピュータ１１は、リファレンス画像５１上の点Ａの位置（ｘ，ｙ）と、それに対応するターゲット画像５２上の点Ａ’の位置（ｘ’，ｙ’）との位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）が求められる。

しかしながら、リファレンス画像５１とターゲット画像５２との間の対応する位置には、背景６２の対応する点どうしの位置関係のように、手振れのみによるずれが生じている場合と、物体６１の対応する点どうしの位置関係のように、手振れによるずれと物体６１が移動することによるずれの両方が生じている場合とがある。従って、リファレンス画像５１とターゲット画像５２との画像全体を用いてアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めると、物体６１の移動によるずれの影響を受けたアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）が得られることになる。

以上から、手振れによるずれのみに対応する、画像どうしの位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めるときには、画像の各位置（領域）のうちの、動物体である物体６１が表示されている位置（領域）のデータを除外する必要がある。

そこで、コンピュータ１１は、位置関係算出処理において、画像から、動物体の領域を除外する処理を行う。

即ち、コンピュータ１１は、位置関係算出処理において、初めに、図３に示すように、リファレンス画像５１を、複数のブロックblkに分割する。なお、リファレンス画像５１とターゲット画像５２とを、適当な縮小率で縮小し、その縮小したリファレンス画像５１を複数のブロックblkに分割してもよい。

ここで、リファレンス画像５１のブロックblkのうち、Ｘ方向に左からｈ＋１番目で、Ｙ方向に下からｋ＋１番目のブロックを、ブロックblk（ｈ，ｋ）と表す。また、ブロックblk（ｈ，ｋ）の中心位置を、（Cx（ｈ，ｋ），Cy（ｈ，ｋ））と表す。なお、Cx（ｈ，ｋ）とCy（ｈ，ｋ）は、それぞれＸ座標とＹ座標である。

位置関係算出処理では、コンピュータ１１は、リファレンス画像５１の各ブロックblk（ｈ，ｋ）について、ターゲット画像５２内で対応する領域としての、ブロックblk（ｈ，ｋ）と同一形状のブロックblk’（ｈ，ｋ）を検出するブロックマッチングを行う。

即ち、コンピュータ１１は、例えば、リファレンス画像５１上のブロックblk（ｈ，ｋ）をテンプレートとして、ターゲット画像５２から、ブロックblk（ｈ，ｋ）に一番類似している（一致度の高い）領域を検出する。具体的には、例えば、ブロックblk（ｈ，ｋ）の各画素と、ターゲット画像５２の、ブロックblk（ｈ，ｋ）と同一形状の領域の対応する画素との画素値の自乗誤差等の総和を最小にする領域が、ブロックblk（ｈ，ｋ）に対応するブロックblk’（ｈ，ｋ）として、ターゲット画像５２から検出される。

なお、ブロックblk’（ｈ，ｋ）の中心位置を、（Cx’（ｈ，ｋ），Cy’（ｈ，ｋ））と表す。

次に、位置関係算出処理では、コンピュータ１１は、リファレンス画像５１上のブロックblk（ｈ，ｋ）の中心位置（Cx（ｈ，ｋ），Cy（ｈ，ｋ））から、ブロックマッチングで検出されたターゲット画像５２上のブロックblk’（ｈ，ｋ）の中心位置（Cx’（ｈ，ｋ），Cy’（ｈ，ｋ））への、ブロックblk（ｈ，ｋ）の移動量を表す動きベクトルＶ_BM（ｈ，ｋ）を算出する。ここで、動きベクトルＶ_BM（ｈ，ｋ）の（ｈ，ｋ）は、動きベクトルＶ_BM（ｈ，ｋ）が、リファレンス画像５１上のブロックblk（ｈ，ｋ）について算出された動きベクトルであることを表す。なお、ブロックblk（ｈ，ｋ）の位置（ｈ，ｋ）を特に区別する必要がない場合には、単に、動きベクトルＶ_BMという。また、動きベクトルＶ_BMのＸ成分、Ｙ成分それぞれを、Ｖ_BMX，Ｖ_BMYとする。さらに、上述のようなブロックマッチングにより得られる動きベクトルＶ_BMを、以下、適宜、マッチング動きベクトルＶ_BMという。

コンピュータ１１は、上述したマッチング動きベクトルＶ_BM（ｈ，ｋ）の算出を、リファレンス画像５１の全ブロックblk（ｈ，ｋ）に対して行う。但し、リファレンス画像５１の各ブロックblk（ｈ，ｋ）のうち、テクスチャが少ない（アクティビティが小さい）ブロックblk（ｈ，ｋ）については、ターゲット画像５２の対応する正確なブロックblk’（ｈ，ｋ）を検出することが難しいので、そのようなブロックblk（ｈ，ｋ）は、予めブロックマッチングの対象から除外する。即ち、例えば、輝度値の分散が所定の閾値Ｔｈ_PV以下のブロックblk（ｈ，ｋ）が、テクスチャが少ないブロックblk（ｈ，ｋ）であるとして、ブロックマッチングの対象から除外される。

次に、位置関係算出処理では、コンピュータ１１は、後述するようにして、動物体を含まないブロックblk（ｈ，ｋ）を用いて求められる新たなアフィンパラメータＰ_newを、現在のアフィンパラメータＰ_cur＝（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）として、リファレンス画像５１の全ブロックblk（ｈ，ｋ）（マッチング動きベクトルＶ_BM（ｈ，ｋ）が求められた全ブロックblk（ｈ，ｋ））について、現在のアフィンパラメータＰ_cur＝（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）のアフィン変換による、変換後の位置と、変換前の位置との間の動きベクトルＶ_GM（ｈ，ｋ）を算出する。

なお、位置関係算出処理の開始直後は、まだ、新たなアフィンパラメータＰ_newが求められていないため、現在のアフィンパラメータＰ_curとしては、アフィンパラメータの初期値が用いられる。

アフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）としては、例えば、リファレンス画像５１とターゲット画像５２との間に、手振れが生じていないとした場合のアフィンパラメータ（１，０，０，１，０，０）などを採用することができる。なお、アフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）としては、他に適切な値があれば、他の値を採用してもよい。

リファレンス画像５１のブロックblk（ｈ，ｋ）を、アフィンパラメータ（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）によってアフィン変換したときの、その変換後と変換前との位置の間の動きベクトルＶ_GM（ｈ，ｋ）＝（Ｖ_GMX，Ｖ_GMY）は、例えば、ブロックblk（ｈ，ｋ）の中心位置（Cx（ｈ，ｋ），Cy（ｈ，ｋ））に注目すると、式（２）で表される。

・・・・（２）

ここで、動きベクトルＶ_GM（ｈ，ｋ）を、上述のマッチング動きベクトルＶ_BM（ｈ，ｋ）と区別するために、以下、適宜、変換動きベクトルＶ_GM（ｈ，ｋ）という。なお、ブロックblk（ｈ，ｋ）の位置（ｈ，ｋ）を特に区別する必要がない場合には、単に、変換動きベクトルＶ_GMという。また、Ｖ_GMX，Ｖ_GMYそれぞれは、変換動きベクトルＶ_GMのＸ成分、Ｙ成分である。

次に、位置関係算出処理では、コンピュータ１１は、リファレンス画像５１の全ブロックblk（ｈ，ｋ）について、マッチング動きベクトルＶ_BM（ｈ，ｋ）と、変換動きベクトルＶ_GM（ｈ，ｋ）との差分ベクトルＶ_D（ｈ，ｋ）＝Ｖ_BM（ｈ，ｋ）−Ｖ_GM（ｈ，ｋ）を算出する。

図４は、リファレンス画像５１の各ブロックblk（ｈ，ｋ）について、コンピュータ１１が、マッチング動きベクトルＶ_BM（ｈ，ｋ）、変換動きベクトルＶ_GM（ｈ，ｋ）、および差分ベクトルＶ_D（ｈ，ｋ）のそれぞれを求めた例を示している。なお、図４では、リファレンス画像５１が４×４（横×縦）の１６個のブロックblk（ｈ，ｋ）に分割された例を示している。

図４において、斜線を付していないブロックblk（ｈ，ｋ）は、テクスチャが少ないblk（ｈ，ｋ）であるとして、ブロックマッチングの対象から除外されたブロックを示しており、斜線を付してあるブロックblk（ｈ，ｋ）は、ブロックマッチングの対象とされ、マッチング動きベクトルＶ_BMが求められたブロックを示している。

また、図４では、ブロックblk（ｈ，ｋ）の中心を始点とする実線の矢印が、リファレンス画像５１とターゲット画像５２とから計算されたマッチング動きベクトルＶ_BM（ｈ，ｋ）を表している。さらに、ブロックblk（ｈ，ｋ）の中心を始点とする点線の矢印が、現在のアフィンパラメータＰ_cur＝（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）のアフィン変換に基づいて計算された変換動きベクトルＶ_GM（ｈ，ｋ）を表している。

各ブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）は、例えば、図４右側に示すように、マッチング動きベクトルＶ_BM（ｈ，ｋ）の終点と、変換動きベクトルＶ_GM（ｈ，ｋ）の終点とを結ぶベクトルで表される。

ブロックblk（ｈ，ｋ）に動物体が含まれていない場合、現在のアフィンパラメータＰ_curがある程度正しければ、動物体が含まれていないブロックblk（ｈ，ｋ）のマッチング動きベクトルＶ_BMと、現在のアフィンパラメータＰ_curによるアフィン変換に基づいて求められた変換動きベクトルＶ_GMとは、さほど差がなく、差分ベクトルＶ_D（の大きさ）は小さくなる。一方、ブロックblk（ｈ，ｋ）に動物体が含まれている場合、そのブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（の大きさ）は、動物体の動きの影響を受けて大きくなる。

図４では、そのような差分ベクトルＶ_D（の大きさ）が大きいブロックblk（ｈ，ｋ）が、丸で囲まれている。

位置関係算出処理では、動物体の領域を除外する処理が行われ、これにより、リファレンス画像５１の（差分ベクトルＶ_Dが計算された）各ブロックblk（ｈ，ｋ）について得られた、差分ベクトルＶ_D（ｈ，ｋ）に基づいて、動物体を含まないブロックblk（ｈ，ｋ）（手振れだけによるずれが生じているブロックblk（ｈ，ｋ））、または動物体を含むブロックblk（ｈ，ｋ）が抽出（分離）され、動物体を含まないブロックblk（ｈ，ｋ）以外のブロック、即ち、動物体を含むブロックblk（ｈ，ｋ）が除外される。

ここで、リファレンス画像５１の各ブロックblk（ｈ，ｋ）について算出された差分ベクトルＶ_D（ｈ，ｋ）に基づいて、動物体を含むブロックblk（ｈ，ｋ）または動物体を含まないブロックblk（ｈ，ｋ）を抽出する第１と第２の２つの抽出方法を説明する。なお、以下の説明では、リファレンス画像５１の全ブロックblk（ｈ，ｋ）とは、必要に応じて、テクスチャが少ないブロックblk（ｈ，ｋ）が除外されたブロックblk（ｈ，ｋ）を意味するものとする。

図５を参照して、第１の抽出方法を説明する。

図５は、リファレンス画像５１の２次元の差分ベクトルＶ_Dの終点をプロットしたＸＹ座標系を示している。なお、差分ベクトルＶ_Dの終点のＸ座標とＹ座標とは、差分ベクトルＶ_DのＸ成分とＹ成分とに、それぞれ等しい。

動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）は、上述したように、現在のアフィンパラメータＰ_curがある程度正しければ、微小な大きさとなるので、その終点は、図５に示すように、原点付近の領域７１に集中して分布する。

一方、（同一の）動物体を含むブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）は、動物体の動きの影響を受け、ある程度の大きさのベクトルとなり、原点からある程度離れた領域７２に集中して分布する。

従って、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点の分布が集中する、例えば、原点を中心Ｑとする半径ｒの円８１を設定することにより、その円８１をいわば境界線として、円８１内に終点が分布する差分ベクトルＶ_D（ｈ，ｋ）を、動物体を含まないブロックblk（ｈ，ｋ）として抽出するとともに、円８１外に分布する差分ベクトルＶ_D（ｈ，ｋ）を、動物体を含むブロックblk（ｈ，ｋ）として抽出することができる。ここで、半径ｒは、例えば、円８１が原点付近に分布が集中する差分ベクトルＶ_Dの終点を囲むことができる程度の大きさに設定される。この大きさは、例えば、シミュレーション等によって決定することができる。

なお、リファレンス画像５１とターゲット画像５２の２枚の画像が撮像された撮像時刻の時間間隔が長いことなどによって、リファレンス画像５１とターゲット画像５２において、手振れにより生じているずれのずれ量が、極端に大きい場合、現在のアフィンパラメータＰ_curに、アフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）がセットされており、そのアフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）が、上述したように、手振れが生じていない場合のアフィンパラメータ（１，０，０，１，０，０）であるときには、現在のアフィンパラメータＰ_curは、ある程度正しいとは言えないので、即ち、現在のアフィンパラメータＰ_curが、リファレンス画像５１とターゲット画像５２との位置関係を、ある程度正しく表しているとは言えないので、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）であっても、その終点が、原点付近に分布しない。

このような場合の対処については、後述する。

また、ここでは、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）の終点を囲む円８１によって、動物体を含まないブロックblk（ｈ，ｋ）を抽出することにしたが、動物体を含まないブロックblk（ｈ，ｋ）の抽出には、円８１の他、円以外の形状の図形（例えば、楕円や、正方形、長方形など）を用いることが可能である。

次に、第２の抽出方法を説明する。

第２の抽出方法では、コンピュータ１１は、リファレンス画像５１の各ブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）それぞれの大きさ（スカラ）を求め、その差分ベクトルＶ_D（ｈ，ｋ）の大きさの小さい順（昇順）に、差分ベクトルＶ_D（ｈ，ｋ）を並べる（ソートする）。ここで、大きさがｉ番目に小さい差分ベクトルＶ_D（ｈ，ｋ）のblk（ｈ，ｋ）を、以下、適宜、ブロックblk_i（ｉ＝１，２，・・）と表す。

なお、ブロックblk_iの差分ベクトルＶ_Dの大きさを｜Ｖ_D｜と表すこととすると、差分ベクトルＶ_Dの大きさ｜Ｖ_D｜は、次式（３）で求められる。

・・・・（３）

式（３）において、Ｖ_DXは、差分ベクトルＶ_DのＸ成分を、Ｖ_DYは、差分ベクトルＶ_DのＹ成分を、それぞれ表している。

図６は、差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を、その昇順に並べたソート結果（のグラフ）を示している。なお、図６では、リファレンス画像５１において、差分ベクトルＶ_Dが計算されたブロックblk_iの個数は、Ｎ個である。

図６のグラフの横軸は、リファレンス画像５１内の差分ベクトルＶ_Dが計算されたブロックblk_iのサフィックスｉを表し、以下、適宜、ブロック番号ｉという。図６のグラフでは、差分ベクトルＶ_Dの大きさ｜Ｖ_D（ｉ）｜が、左から小さい順に並べられている。また、縦軸は、ブロックblk_iの差分ベクトルＶ_Dの大きさ｜Ｖ_D（ｉ）｜を表している。ここで、｜Ｖ_D（ｉ）｜は、ブロック番号ｉのブロックblk_iの差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を表す。

図４を参照して説明したように、ブロックblk（ｈ，ｋ）内に動物体が含まれていない場合、そのブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜は小さくなる。従って、動物体が含まれていないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜は、ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を小さい順に並べたときの順番が最初の方（図６の左側）に位置する。一方、動物体が含まれているブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜は、ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を小さい順に並べたときの順番が最後の方（図６の右側）に位置する。

そして、動物体が含まれているブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ _D ｜は、平均的に大きく、動物体が含まれていないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ _D ｜は、平均的に小さい。従って、ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を昇順に並べた場合、動物体が含まれていないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜と、動物体が含まれているブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの大きさ｜Ｖ_D｜との境界部分には、図６に示すような、他の部分とは異なる不連続な段差Ｇが生じる。

従って、図６の不連続な段差Ｇを検出することにより、動物体が含まれていないブロックblk（ｈ，ｋ）のブロック群９１と、動物体が含まれているブロックblk（ｈ，ｋ）のブロック群９２とを分離することができる。

即ち、差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を昇順に並べ、ブロック番号ｉを、その昇順に、順次、注目番号とする。そして、注目番号ｉの差分ベクトルＶ_D（ｉ）の大きさ｜Ｖ_D（ｉ）｜と、その注目番号ｉの右隣のブロック番号ｉ＋１の差分ベクトルＶ_D（ｉ＋１）の大きさ｜Ｖ_D（ｉ＋１）｜とを比較していくことで、不連続な段差Ｇを検出し、その段差Ｇが検出されたときの注目番号ｉによって、動物体が含まれていないブロックblk₁乃至blk_i、または動物体が含まれているブロックblk_i+1乃至blk_Nを抽出することができる。

第２の抽出方法を採用する場合、コンピュータ１１は、注目番号ｉについて、式（４）が成立するか否かを判定し、式（４）が成立する場合、注目番号ｉ以下のブロック番号のブロックblk₁乃至blk_iを、動物体を含まないブロックとして抽出、または、注目番号ｉより大きいブロック番号、即ち、ｉ＋１以上のブロック番号のブロックblk_i+1乃至blk_Nを、動物体を含むブロックとして抽出する。

・・・・（４）

ここで、式（４）におけるＴｈ_Gは、図５の原点付近の領域７１と、原点からある程度離れた領域７２との間の距離に対応する閾値である。

以上のように、動物体の領域を除外する処理では、第１または第２の抽出方法を用いて、リファレンス画像５１の差分ベクトルＶ_Dが計算された各ブロックblk（ｈ，ｋ）から、動物体を含まないブロックblk（ｈ，ｋ）、または動物体を含むブロックblk（ｈ，ｋ）を抽出し、動物体を含むブロックblk（ｈ，ｋ）（動物体を含まないブロックblk（ｈ，ｋ）以外のブロック）を除外する。

そして、位置関係算出処理では、コンピュータ１１は、動物体を含むブロックblk（ｈ，ｋ）が除外(抽出)された残りのブロック、即ち、動物体を含まないブロックblk（ｈ，ｋ）のみを用いて、リファレンス画像５１とターゲット画像５２との位置関係を表す、上述の式（１）で与えられるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を算出する。

即ち、位置関係算出処理では、コンピュータ１１は、リファレンス画像５１の動物体を含むブロックblk（ｈ，ｋ）が除外され、動物体を含まない全ブロックblk（ｈ，ｋ）を用い、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）のアフィン変換による変換動きベクトルＶ_GMと、マッチング動きベクトルＶ_BMとが一致するようなアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求める。

但し、ブロックマッチングでのマッチング動きベクトルＶ_BMの検出の誤差等のために、動物体を含まないブロックblk（ｈ，ｋ）の変換動きベクトルＶ_GMとマッチング動きベクトルＶ_BMとのすべてが完全に一致するアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めることは困難である。

そこで、位置関係算出処理では、コンピュータ１１は、例えば、変換動きベクトルＶ_GMと、マッチング動きベクトルＶ_BMとの自乗誤差の、動物体を含まない全てのブロックblk（ｈ，ｋ）についての総和が最小となるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を、最小自乗法により求める。

即ち、変換動きベクトルＶ_GMとマッチング動きベクトルＶ_BMとの自乗誤差は、その変換動きベクトルＶ_GMとマッチング動きベクトルＶ_BMとの差分ベクトルＶ_D の大きさ｜Ｖ _D ｜の自乗に等しい。そこで、位置関係算出処理では、コンピュータ１１は、式（５）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求める。

・・・・（５）

ここで、式（５）のΣは、リファレンス画像５１の動物体を含まない（差分ベクトルＶ_Dが計算された）ブロックblk（ｈ，ｋ）についての総和を表す。

また、式（５）のＶ_BMXとＶ_BMYそれぞれは、上述したように、リファレンス画像５１とターゲット画像５２とから求められた各ブロックblk（ｈ，ｋ）のマッチング動きベクトルＶ_BM（ｈ，ｋ）のＸ成分とＹ成分である。

さらに、式（５）のＶ_GMXとＶ_GMYそれぞれは、変換動きベクトルＶ_GM（ｈ，ｋ）のＸ成分とＹ成分であり、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を変数とする式（６）で与えられる。

・・・・（６）

ここで、式（６）のCx（ｈ，ｋ）とCy（ｈ，ｋ）のそれぞれは、ブロックblk（ｈ，ｋ）の中心位置のＸ座標とＹ座標を表す。

式（５）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）は、自乗誤差の総和Ｅを、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）で偏微分した式を求め、その式を０とした方程式を解くことで求めることができる。

ここで、式（５）の自乗誤差の総和Ｅを最小にするアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）をアフィンパラメータＰ_new＝（ａ_new，ｂ_new，ｃ_new，ｄ_new，ｓ_new，ｔ_new）とする。このアフィンパラメータＰ_newが、上述した新たなアフィンパラメータＰ_newである。

位置関係算出処理では、例えば、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができるまで、現在のアフィンパラメータＰ_curを、新たなアフィンパラメータＰ_newに更新し、さらに、式（５）の自乗誤差の総和Ｅを最小にする新たなアフィンパラメータＰ_newを求める処理を繰り返すことにより、アフィンパラメータＰ_newとして、正確なアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求める。

ここで、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができる場合としては、例えば、式（７）（で表される条件）を満たす場合を採用することができる。

・・・・（７）

式（７）は、アフィンパラメータＰ_newと現在のアフィンパラメータＰ_curの各成分がどれだけ一致しているか（近似度）を判定する式である。なお、式(７)のＴｈ_Pは、所定の閾値であり、例えば、シミュレーション等により適切な値を求めて設定することができる。また、閾値Ｔｈ_Pは、ユーザの操作に応じて設定するようにすることも可能である。

さらに、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができる場合としては、式（７）の他に、次の式（８）（で表される条件）を満たす場合を採用してもよい。

・・・・（８）

式（８）は、リファレンス画像５１の動物体を含まないブロックblk（ｈ，ｋ）の全体の新たなアフィンパラメータＰ_newのアフィン変換に基づいて計算された変換動きベクトルＶ_GMと、マッチング動きベクトルＶ_BMとが、どれだけ一致しているか（近似度）を判定する式である。

なお、式（８）において、Σは、リファレンス画像５１の動物体を含まないブロックblk（ｈ，ｋ）についての総和を表し、Ｎｕｍは、リファレンス画像５１の動物体を含まないブロックblk（ｈ，ｋ）の個数を表す。

次に、図７のフローチャートを参照して、コンピュータ１１による位置関係算出処理について、さらに説明する。この位置関係算出処理は、ユーザの操作により、例えば、キーボード３９またはマウス４０などから、位置関係算出処理を開始するコマンドが入力されたときに開始される。また、コンピュータ１１は、位置関係算出処理の対象とするリファレンス画像５１とターゲット画像５２を、既に認識（取得）しているものとする。

始めに、ステップＳ１１において、コンピュータ１１（のCPU３１）は、リファレンス画像５１を複数のブロックblk（ｈ，ｋ）に分割する。また、ステップＳ１１では、コンピュータ１１は、リファレンス画像５１の複数のブロックblk（ｈ，ｋ）のうちの、輝度値の分散が所定の閾値より小さいブロックblk（ｈ，ｋ）を、以降の処理の対象から除外して、ステップＳ１２に進む。

ここで、ステップＳ１１において、輝度値の分散が小さいブロックblk（ｈ，ｋ）をブロックマッチングの対象から除外するのは、輝度値の分散が小さいブロックblk（ｈ，ｋ）は、テクスチャが少ないブロックblk（ｈ，ｋ）であり、正確なブロックマッチング等を行うことができないからである。ステップＳ１１以降では、ステップＳ１１において除外されなかったブロックblk（ｈ，ｋ）のみを対象として処理が行われる。

ステップＳ１２において、コンピュータ１１は、ステップＳ１１で除外されなかったリファレンス画像５１上の各ブロックblk（ｈ，ｋ）をテンプレートとして、ターゲット画像５２との間でブロックマッチングを行うことにより、各ブロックblk（ｈ，ｋ）のマッチング動きベクトルＶ_BMを算出し、ステップＳ１３に進む。

ステップＳ１３において、コンピュータ１１は、現在のアフィンパラメータＰ_cur＝（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）を初期化して、ステップＳ１４に進む。

即ち、ステップＳ１３では、コンピュータ１１は、現在のアフィンパラメータＰ_cur＝（ａ_cur，ｂ_cur，ｃ_cur，ｄ_cur，ｓ_cur，ｔ_cur）に、予め設定されているアフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）（例えば、（１，０，０，１，０，０）など）を代入する。アフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）は、例えば、コンピュータ１１のHDD４１等に予め記憶されていてもよいし、ユーザが、キーボード３９またはマウス４０などを操作することにより、あるいは、外部機器インタフェース３６を介して、コンピュータ１１に入力されてもよい。

ステップＳ１４において、コンピュータ１１は、リファレンス画像５１の（ブロックマッチングの対象から除外されなかった）各ブロックblk（ｈ，ｋ）を、現在のアフィンパラメータＰ_curによりアフィン変換し、その変換前のブロックblk（ｈ，ｋ）から変換後のブロックblk’（ｈ，ｋ）へのベクトルである変換動きベクトルＶ_GMを算出し、ステップＳ１５に進む。

ステップＳ１５において、コンピュータ１１は、ステップＳ１２でマッチング動きベクトルＶ_BMが計算されたリファレンス画像５１の各ブロックblk（ｈ，ｋ）について、そのマッチング動きベクトルＶ_BMと、ステップＳ１４の現在のアフィンパラメータＰ_curのアフィン変換で求められた変換動きベクトルＶ_GMとの差分ベクトルＶ_D＝Ｖ_BM−Ｖ_GMを算出し、ステップＳ１６に進む。

ステップＳ１６において、コンピュータ１１は、ステップＳ１５で算出された差分ベクトルＶ_Dの終点の分布状態に基づき、動物体の領域を除外する処理を行って、ステップＳ１７に進む。ステップＳ１６の動物体の領域を除外する処理では、上述した第１または第２の抽出方法により、動物体を含むブロックblk（ｈ，ｋ）が抽出され、その抽出されたブロックblk（ｈ，ｋ）が、後段のステップＳ１７の処理の対象から除外される。なお、第１の抽出方法による動物体の領域を除外する処理については、図１３で後述し、第２の抽出方法による動物体の領域を除外する処理については、図１５で後述する。

ステップＳ１７において、コンピュータ１１は、差分ベクトルＶ_Dが計算されたリファレンス画像５１のブロックblk（ｈ，ｋ）のうち、動物体を含むブロックblk（ｈ，ｋ）が除外されて残った全てのブロックblk（ｈ，ｋ）（ステップＳ１６の処理の結果残った全てのブロックblk（ｈ，ｋ））についての、差分ベクトルＶ_Dの大きさ｜Ｖ_D｜の自乗の総和、即ち、式（５）の自乗誤差の総和Ｅを最小にする新たなアフィンパラメータＰ_newを算出し、ステップＳ１８に進む。

ステップＳ１８において、コンピュータ１１は、新たなアフィンパラメータＰ_newが収束したかどうか、即ち、ステップＳ１７で算出したアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができるかどうかを、例えば、式（７）または式（８）が満たされるかどうかによって判定する。

ステップＳ１８において、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができないと判定された場合、ステップＳ１９に進み、コンピュータ１１は、新たなアフィンパラメータＰ_newを、現在のアフィンパラメータＰ_curに代入することにより、現在のアフィンパラメータＰ_curを更新して、ステップＳ１４に戻る。そして、ステップＳ１８において、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができると判定されるまで、ステップＳ１４乃至Ｓ１９の処理が繰り返される。

ここで、ステップＳ１４乃至Ｓ１９が繰り返される場合のステップＳ１６では、差分ベクトルＶ_Dが求められたブロックblk（ｈ，ｋ）を対象に、動物体を除外する処理が行われる。但し、ステップＳ１６では、既に行われたステップＳ１６の処理により除外されたブロックblk（ｈ，ｋ）を除いたブロックblk（ｈ，ｋ）を対象に、動物体を除外する処理を行っても良い。

一方、ステップＳ１８において、新たなアフィンパラメータＰ_newと、現在のアフィンパラメータＰ_curとの差異がないとみなすことができると判定された場合、新たなアフィンパラメータＰ_new（または、現在のアフィンパラメータＰ_cur）が、リファレンス画像５１とターゲット画像５２との間の位置関係を表す、手振れのずれを補正するための、正確なアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）として、例えば、デジタルカメラ１２等に出力され、位置関係算出処理を終了する。

なお、ここでデジタルカメラ１２に出力されるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）は、リファレンス画像５１を、ターゲット画像５２を基準とする位置に位置合わせするアフィンパラメータである。従って、ターゲット画像５２を、リファレンス画像５１を基準とする位置に位置あわせするには、デジタルカメラ１２に出力されるアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）によるアフィン変換の逆変換を行うアフィンパラメータを求める必要がある。この逆変換を行うアフィンパラメータは、コンピュータ１１で求めても良いし、デジタルカメラ１２で求めても良い。

以上のように、位置関係算出処理では、リファレンス画像５１が複数のブロックblkに分割され、各ブロックblkについて、マッチング動きベクトルＶ_BMと、変換動きベクトルＶ_GMとが算出される。ここで、マッチング動きベクトルＶ_BMは、リファレンス画像５１の各ブロックblk（ｈ，ｋ）から、ターゲット画像５２の対応する領域への移動量を表す動きベクトルであり、変換動きベクトルＶ_GMは、リファレンス画像５１とターゲット画像５２の位置関係を表すアフィンパラメータＰ_curのアフィン変換により各ブロックblk（ｈ，ｋ）を変換したときの、その変換前のブロックblk（ｈ，ｋ）から、変換後のブロックblk’（ｈ，ｋ）への移動量を表す動きベクトルである。

さらに、位置関係算出処理では、マッチング動きベクトルＶ_BMと変換動きベクトルＶ_GMとの差分ベクトルＶ_D（＝Ｖ_BM−Ｖ_GM）が算出される。そして、その差分ベクトルＶ_Dの終点の分布状態に基づいて、即ち、現在のアフィンパラメータＰ_curが、ある程度正しければ、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dが、原点付近に集中することに基づいて、動物体を含むブロックblk（ｈ，ｋ）が抽出、除外され、その結果残ったブロックblk（ｈ，ｋ）を用いて、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）が求められる。

従って、動物体を含むブロックblk（ｈ，ｋ）（または動物体を含まないブロックblk（ｈ，ｋ））を正確に抽出し、さらに、動物体を含まないブロックblk（ｈ，ｋ）のみを用いて、リファレンス画像５１とターゲット画像５２との位置関係を正確に表す、即ち、動物体の動きの影響のない、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めることができる。

なお、図７の位置関係算出処理では、ステップＳ１８において、新たなアフィンパラメータＰ_newが収束したと判定されるまでステップＳ１４乃至Ｓ１９の処理を繰り返すようにしたが、その他の条件が満たされるまで、即ち、例えば、予め設定された所定回数（例えば、３回程度）だけステップＳ１４乃至Ｓ１９の処理が行われるまで、ステップＳ１４乃至Ｓ１９の処理を繰り返して終了するようにしてもよい。

ところで、上述した第１の抽出方法では、動物体を含むブロックblk（ｈ，ｋ）、または、動物体を含まないブロックblk（ｈ，ｋ）を抽出する際、図５で説明したように、差分ベクトルＶ_Dの終点がプロットされるＸＹ座標系上の原点を中心Ｑとする円８１（の円周）を境界線とし、その円８１内に終点がプロットされている差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）が、動物体を含まないブロックとして抽出され、または、その円８１外に終点がプロットされている差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）が、動物体を含むブロックとして抽出される。

ところが、上述したように、現在のアフィンパラメータＰ_curに対して、最初に設定されるアフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）が、ある程度正しいとは言えず、真のアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）とかけ離れている場合、そのようなアフィンパラメータの初期値（ａ₀，ｂ₀，ｃ₀，ｄ₀，ｓ₀，ｔ₀）を用いて、ブロックblk（ｈ，ｋ）の変換動きベクトルＶ_GMを求め、さらに差分ベクトルＶ_Dを求めたときには、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）の終点の分布が、原点付近に集中しない。

即ち、図８は、現在のアフィンパラメータＰ_curが真のアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）とかけ離れているために、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点が原点に集中しない場合の、差分ベクトルＶ_D（ｈ，ｋ）の終点の分布を示している。

図８では、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）の終点は、原点から比較的離れた領域１０１に分布し、動物体を含むブロックblk（ｈ，ｋ）の差分ベクトルＶ_D（ｈ，ｋ）の終点は、原点から比較的近い領域１０２に分布している。

このため、図８では、領域１０１内の、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点のいくつかと、領域１０２内の、動物体を含むブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点のすべてが、原点を中心Ｑとする半径ｒの円８１の内側に含まれている。

従って、原点を中心とする円８１を用い、その円８１内に終点がある差分ベクトルＶ_Dのブロックblk（ｈ，ｋ）を、動物体を含まないブロックとして抽出したのでは、動物体を含むブロックblk（ｈ，ｋ）が、誤って、動物体を含まないブロックとして抽出される問題が生じ得る。

そこで、この問題を解消すべく、動物体の領域を除外する処理では、原点を中心Ｑとするのではなく、各ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点をＸＹ座標系上にプロットしたときの分布状態から、動物体を含むブロックblk（ｈ，ｋ）と、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑを決定することができる。

そこで、図９乃至図１２を参照して、各ブロックblkの差分ベクトルＶ_Dを２次元のＸＹ座標値とみなし、その終点を、ＸＹ座標系上にプロットしたときの分布状態から、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑを決定する処理（以下、抽出円の中心決定処理という）について説明する。

抽出円の中心決定処理では、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点の集合の中心（重心）の座標と、ＸＹ座標系上の一定面積当たりの差分ベクトルＶ_Dの終点の個数が最大の座標、即ち、差分ベクトルＶ_Dの終点の分布密度が最大となる座標とは一致すると仮定する。

なお、画像においては、一般に、非動物体の領域（動物体の領域でない領域）は、動物体の領域よりも十分に広いことが多いので、上述の仮定をしても問題はない。

抽出円の中心決定処理では、上述の仮定を前提に、リファレンス画像５１の（ブロックマッチングの対象から除外されなかった）各ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点の分布密度が最大となる座標Ｖ_gが、円８１の中心Ｑとして求められる。

差分ベクトルＶ_Dの終点の分布密度が最大となる座標Ｖ_gは、単純には、例えば、次のようにして求めることができる。

即ち、図９に示すように、コンピュータ１１は、ある差分ベクトルＶ_Dの終点１１１を、注目点として選択し、その注目点１１１を中心とする半径Ｒの円１１２内に終点が位置する差分ベクトルＶ_Dの個数をカウントする。図９の例では、注目点１１１を中心とする半径Ｒの円１１２内には、注目点１１１を含めて、６個の差分ベクトルＶ_Dの終点があり、注目点１１１については、その注目点１１１を中心とする半径Ｒの円１１２内に終点が存在する差分ベクトルＶ_Dのカウント数が６となる。

コンピュータ１１は、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点を、順次、注目点として、上述の差分ベクトルＶ_Dのカウントを行う。そして、コンピュータ１１は、カウント数が最大となる差分ベクトルＶ_Dの終点を、終点の分布密度が最大となる座標Ｖ_gとして求める。

但し、このやり方では、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点に対して、差分ベクトルＶ_Dの数をカウントする必要があるため、計算量が多くなる。従って、例えば、特に、リアルタイム性を要求されるようなアプリケーションや、計算能力が十分ではない環境では、このやり方は不向きである。

そこで、コンピュータ１１では、例えば、次のようにして、計算量を削減して、抽出円の中心決定処理を行う（終点の分布密度が最大となる座標Ｖ_gを求める）ことができる。

即ち、図１０に示すように、コンピュータ１１は、ある差分ベクトルＶ_Dの終点１５１を、注目点として選択し、その注目点１５１を中心とする半径Ｒ_aの円１５２内に終点が位置する差分ベクトルＶ_Dを、円１５２に属する差分ベクトルＶ_Dとして求める。

次に、コンピュータ１１は、注目点１５１を中心とする半径Ｒ_aの円１５２に属する差分ベクトルＶ_D以外の差分ベクトルＶ_Dの終点のなかから、１つの差分ベクトルＶ_Dの点１６１を、新たな注目点として選択し、その注目点１６１を中心とする半径Ｒ_aの円１６２内に位置する差分ベクトルＶ_Dを、円１６２に属する差分ベクトルＶ_Dとして求める。

コンピュータ１１は、図１０に示すように、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点がいずれかの円に属するようになるまで、同様の処理を行う。

なお、図１０では、ＸＹ座標系上にプロットされている差分ベクトルＶ_Dの終点のうち、注目点として選択され、円の中心になった点を、円に属する（黒丸で示される）終点と区別するために、三角形で表している。

また、以下では、注目点として選択され、円の中心になった差分ベクトルＶ_Dの終点を、選択点Ｕ_jという。そして、選択点Ｕ_jを中心とする半径Ｒ_aの円の内側の領域を領域Ｃ_jとする。但し、選択点Ｕ_jを中心とする半径Ｒ_aの円の内側の領域のうちの、すでに他の選択点Ｕ_k（ｊ≠ｋ）の領域Ｃ_kとなっている部分は、領域Ｃ_jに含めないことにする。従って、差分ベクトルＶ_Dの終点は、必ず１つの選択点Ｕ_jの領域Ｃ_jにのみ属する。

ここで、ｊとｋは、ＸＹ座標系上にある選択点を識別するインデックスであり、例えば、図１０では、１１個の選択点があるので、ｊ，ｋ＝１，２，・・・，１１である（ｊ≠ｋ）。

なお、コンピュータ１１は、例えば、リファレンス画像５１の左上から右下までのブロックblk（ｈ，ｋ）を、いわばラスタスキャン順に、注目ブロックとして選択し、その注目ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点が、既にいずれかの選択点Ｕ_jを中心とする円に属しているかどうかを判定する。そして、注目ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点が、いずれかの選択点Ｕ_jを中心とする円に属していると判定された場合には、コンピュータ１１は、ラスタスキャン順で、次のブロックblk（ｈ，ｋ）を、注目ブロックとして選択する。一方、注目ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点が、選択点Ｕ_jを中心とする円のいずれにも属していないと判定された場合には、コンピュータ１１は、その注目ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点を、選択点（新たな注目点）Ｕ_jとして選択し、選択点Ｕ_jを中心とする半径Ｒ_aの円の領域Ｃ_jにあり、かつ、他の選択点Ｕ_kの領域Ｃ_kに属していない差分ベクトルＶ_Dの終点を、選択点Ｕ_jの領域Ｃ_jに属する差分ベクトルＶ_Dの終点として求める。そして、コンピュータ１１は、ラスタスキャン順で、次のブロックblk（ｈ，ｋ）を、注目ブロックとして選択し、以下、リファレンス画像５１のすべてのブロックblk（ｈ，ｋ）を注目ブロックとするまで、同様の処理を繰り返す。

このようにして、図１１に示すように、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点がいずれかの選択点Ｕ_jの領域Ｃ_jに属する状態とされた後、コンピュータ１１は、図１１に示すように、ＸＹ座標系上にプロットされている選択点Ｕ_jのなかから、ある１つの選択点Ｕ_jを、注目点として選択し、その注目点Ｕ_jを中心とする半径Ｒ_bの円ＣＣ内に位置する、注目点Ｕ_jを除くすべての選択点Ｕ_kを検出する。ここで、図１１では、選択点Ｕ₂が、注目点として選択され、注目点Ｕ₂を中心とする半径Ｒ_bの円ＣＣが点線で示されている。さらに、図１１では、注目点Ｕ₂を中心とする半径Ｒ_bの円ＣＣの円内に位置する他の選択点Ｕ_kとして、選択点Ｕ₃，Ｕ₆、およびＵ₈が検出されている。

その後、コンピュータ１１は、注目点Ｕ_jの領域Ｃ_jと、注目点Ｕ_jを中心とする半径Ｒ_bの円ＣＣ内に検出された他の選択点Ｕ_kの領域Ｃ_kとで構成される領域ＲＲ_j内に位置する差分ベクトルＶ_Dの終点の個数ＰＮ_jをカウントする。図１１では、注目点Ｕ₂の領域Ｃ₂と、注目点Ｕ₂を中心とする半径Ｒ_bの円ＣＣ内に検出された他の選択点Ｕ₃，Ｕ₆，Ｕ₈それぞれの領域Ｃ₃，Ｃ₆，Ｃ₈とで構成される、斜線で示されている領域ＲＲ₂内に位置する差分ベクトルＶ_Dの終点（黒丸と三角でプロットされている点）の個数ＰＮ₂がカウントされている。

コンピュータ１１は、選択点Ｕ_jの領域ＲＲ_j内に位置する差分ベクトルＶ_Dの終点の個数ＰＮ_jのカウントを、ＸＹ座標系上の全ての選択点について行い、カウント数ＰＮ_jが最大の選択点Ｕ_jを求める。

そして、コンピュータ１１は、最大のカウント数ＰＮ_jを与える選択点Ｕ_jの領域ＲＲ_j内に位置する差分ベクトルＶ_Dの終点についての重心座標Ｖ_gを、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出するのに使用する円８１の中心Ｑとして求める。これにより、終点の分布密度が大きい領域を求め、さらに、その領域に終点が分布している差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）を、動物体を含まないブロックとして抽出することができる。

図１１の例において、選択点Ｕ₂の領域ＲＲ₂内に位置する差分ベクトルＶ_Dの終点の個数ＰＮ₂が、すべての選択点Ｕ_jのなかで最大であったとすると、図１２に示すように、バツ印で示される、選択点Ｕ₂の領域ＲＲ₂内に位置する差分ベクトルＶ_Dの終点の重心座標Ｖ_gが、円８１の中心Ｑとして求められる。

次に、図１３のフローチャートを参照して、第１の抽出方法による、図７のステップＳ１６の動物体の領域を除外する処理について説明する。

初めに、ステップＳ４１において、コンピュータ１１（のCPU３１）は、図７の位置関係算出処理において動物体の領域を除外する処理が、１回目の処理であるか否かを判定する。ここで、図７の位置関係算出処理において、動物体の領域を除外する処理が、１回目の処理であるということは、現在のアフィンパラメータＰ_curに、真のアフィンパラメータとはかけ離れているかもしれないアフィンパラメータの初期値が設定されている。

そこで、ステップＳ４１において、動物体の領域を除外する処理が、１回目の処理であると判定された場合、ステップＳ４２に進み、コンピュータ１１は、上述した抽出円の中心決定処理、即ち、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑとして、差分ベクトルＶ_Dの終点の分布密度が最大の重心座標Ｖ_gを求める処理を行って、ステップＳ４４に進む。

一方、ステップＳ４１において、動物体の領域を除外する処理が、１回目の処理ではないと判定された場合、ステップＳ４３に進み、コンピュータ１１は、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑを、差分ベクトルＶ_Dの終点をプロットしたＸＹ座標系の原点にセットして、ステップＳ４４に進む。

ここで、２回目以降の動物体の領域を除外する処理では、図７のステップＳ１９で、少なくとも１回のアフィンパラメータＰ_curの更新が行われている。そして、少なくとも１回のアフィンパラメータＰ_curの更新が行われていれば、現在のアフィンパラメータＰ_curは、ある程度正しいアフィンパラメータになっており、図７のステップＳ１４で、そのようなアフィンパラメータＰ_curのアフィン変換で求められる、動物体を含まないブロックblk（ｈ，ｋ）の変換動きベクトルＶ_GMは、マッチング動きベクトルＶ_BMに近いものとなっている。従って、差分ベクトルＶ_D（＝Ｖ_BM−Ｖ_GM）も０に近く、その終点は、原点付近に集中する。そこで、２回目以降の動物体の領域を除外する処理では、差分ベクトルＶ_Dの終点の分布密度が最大の重心座標Ｖ_gを求めることをせずに、ステップＳ４３において、原点が、差分ベクトルＶ_Dの終点が集中する領域としての円８１の中心Ｑにセットされる。但し、２回目以降の動物体の領域を除外する処理においても、差分ベクトルＶ_Dの終点の分布密度が最大となる重心座標Ｖ_gを、円８１の中心Ｑとするようにしてもよい。

ステップＳ４４において、コンピュータ１１は、図５または図１２を参照して説明したように、原点、または差分ベクトルＶ_Dの終点の分布密度が最大の重心座標Ｖ_gを中心Ｑとする半径ｒの円８１、即ち、差分ベクトルＶ_Dの終点の分布密度が高い領域である円８１を境界線として、円８１内に終点が分布する差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）を、動物体を含まないブロックblk（ｈ，ｋ）として抽出し、または円８１外に終点が分布する差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）を、動物体を含むブロックblk（ｈ，ｋ）として抽出し、動物体を含むブロックblk（ｈ，ｋ）を、図７のステップＳ１７で新たなアフィンパラメータＰ_newを求めるのに用いる対象から除外して、処理を戻る。

ここで、ステップＳ４４では、差分ベクトルＶ_Dの終点と円８１の中心Ｑとの距離｜Ｖ_D−Ｑ｜が、閾値（半径）ｒよりも大となる差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）を、動物体を含むブロックであるとして抽出し、または距離｜Ｖ_D−Ｑ｜が閾値ｒ以下となる差分ベクトルＶ_Dに対応するブロックblk（ｈ，ｋ）を、動物体を含まないブロックとして抽出する。従って、中心Ｑとする円８１の半径ｒは、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する閾値であると捉えることもできる。

以上のように、図１３の動物体の領域を除外する処理では、差分ベクトルＶ_Dの終点の分布密度に基づいて、即ち、動物体を含まないブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dの終点の分布が特定の領域に集中することに基づいて、動物体または非動物体を含むブロックblk（ｈ，ｋ）を抽出する。

なお、中心Ｑとする円８１の半径ｒを所定の固定値とすると、画像に含まれるノイズの影響によっては、動物体を含まないブロックblk（ｈ，ｋ）が、動物体を含むblk（ｈ，ｋ）として除外されてしまうこともあり得る。そこで、半径ｒの円８１内に含まれる差分ベクトルＶ_Dの終点の個数をカウントし、その個数が少ない場合（所定の閾値以下である場合）には、半径ｒの値を少し大きめの値に変更し、その変更後の半径ｒの円８１内に含まれる差分ベクトルＶ_Dの終点の個数を再カウントすることを、その個数が所定の閾値以上となるまで繰り返すことができる。このように、円８１の半径ｒを可変にすることにより、さらに精度の良い動物体または非動物体の抽出が可能となる。

また、図１３の動物体の領域を除外する処理においては、ステップＳ４１において、動物体の領域を除外する処理が、１回目の処理であるか否かを判定し、１回目の処理であると判定された場合には、差分ベクトルＶ_Dの終点の分布密度が最大の重心座標Ｖ_gを求める処理を行うようにしたが、１回目の処理から、２回目以降の処理と同様に、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑを、差分ベクトルＶ_Dの終点をプロットしたＸＹ座標系の原点としてもよい。この場合、図１３のステップＳ４１とＳ４２の処理を省略することができ、ステップＳ４３とＳ４４の処理を行うだけでよい。

次に、図１４のフローチャートを参照して、図１３のステップＳ４２における抽出円の中心決定処理、即ち、動物体を含むブロックblk（ｈ，ｋ）、または動物体を含まないブロックblk（ｈ，ｋ）を抽出する円８１の中心Ｑとして、差分ベクトルＶ_Dの終点の分布密度が最大となる重心座標Ｖ_gを求める処理について説明する。

初めに、ステップＳ６１において、コンピュータ１１は、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点が、いずれかの選択点Ｕ_jを中心とする半径Ｒ_aの円（円の内側の領域が図１１の領域Ｃ_jとされる円）に属しているか否かを判定する。

ステップＳ６１において、選択点Ｕ_jを中心とするいずれの円にも属さない差分ベクトルＶ_Dの終点が、まだ存在すると判定された場合、ステップＳ６２に進み、コンピュータ１１は、いずれの円にも属していない差分ベクトルＶ_Dの終点を、新たな選択点Ｕ_jとして選択し、その選択点Ｕ_jを中心とする半径Ｒ_aの円内にある差分ベクトルＶ_Dの終点を、選択点Ｕ_jを中心とする円に属する終点として認識するとともに、その円の内側の領域であって、他の領域Ｃ_jになっていない領域を、図１１で説明した領域Ｃ_jとして認識し、ステップＳ６１に戻る。

一方、ステップＳ６１において、ＸＹ座標系上にプロットされているすべての差分ベクトルＶ_Dの終点がいずれかの選択点Ｕ_jを中心とする半径Ｒ_aの円に属していると判定された場合、ステップＳ６３に進み、コンピュータ１１は、ＸＹ座標系上のすべての選択点Ｕ_jについて、選択点Ｕ_jの領域Ｃ_jと、その選択点Ｕ_jを中心とする半径Ｒ_bの円ＣＣ内に存在するすべての他の選択点Ｕ_kの領域Ｃ_kとで構成される、図１１で説明した領域ＲＲ_j内に位置する差分ベクトルＶ_Dの終点の個数ＰＮ_jをカウントして、ステップＳ６４に進む。

ステップＳ６４において、コンピュータ１１は、カウント数ＰＮ_jが最大となる選択点Ｕ_jの領域ＲＲ_j内に位置する差分ベクトルＶ_Dの終点の重心座標Ｖ_gを、円８１の中心Ｑとして求めて、処理を戻る。

次に、図１５のフローチャートを参照して、第２の抽出方法による、図７のステップＳ１６の動物体の領域を除外する処理について説明する。

初めに、ステップＳ８１において、コンピュータ１１は、リファレンス画像５１の各ブロックblk（ｈ，ｋ）の差分ベクトルＶ_Dそれぞれの大きさ｜Ｖ_D｜を算出し、その差分ベクトルＶ_Dの大きさ｜Ｖ_D｜を昇順に並べて（ソートして）、ステップＳ８２に進む。

ステップＳ８２において、コンピュータ１１は、ステップＳ８１のソートによって昇順に並んでいる大きさ｜Ｖ_D（１）｜，｜Ｖ_D（２）｜，・・・，｜Ｖ_D（Ｎ）｜について、ブロック番号ｉの小さい順に、式（４）を満たすかどうかを判定し、これにより、差分ベクトルの大きさ｜Ｖ_D（ｉ＋１）｜と｜Ｖ_D（ｉ）｜との差（の大きさ）が、所定の閾値Ｔｈ_G以上となるブロック番号ｉを検出する。

ここで、式（４）を満たすブロック番号ｉが複数存在する場合には、例えば、最初または最後に検出されたブロック番号ｉ、あるいは、差分ベクトルの大きさ｜Ｖ_D（ｉ＋１）｜と｜Ｖ_D（ｉ）｜との差が最大のブロック番号ｉが選択される。

ステップＳ８２において、コンピュータ１１は、式（４）を満たすブロック番号ｉを検出した後、そのブロック番号ｉ以下のブロック番号１乃至ｉのブロックblk₁乃至blk_iを、動物体を含まないブロックとして抽出し、または、ブロック番号ｉの次のブロック番号ｉ＋１以降のブロックblk_i+1乃至blk_Nを、動物体を含むブロックとして抽出して、動物体を含むブロックblk_i+1乃至blk_Nを、図７のステップＳ１７で新たなアフィンパラメータＰ_newを求めるのに用いる対象から除外し、処理を戻る。

以上のように、位置関係算出処理では、第１または第２の抽出方法により、動物体を含むブロックまたは動物体を含まないブロックを抽出し、動物体を含むブロックを、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めるのに用いる対象から除外するようにしたので、手振れによって生じた平行移動や回転を補正する、正確な位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めることができる。

さて、従来の特許文献１で提案されている方法では、上述したように、画像全体が４つの領域に分割され、その４つの領域それぞれが、さらに小さな複数のブロックに分割される。そして、各領域内の各ブロックについて、動きベクトルＶが求められる。

さらに、４つの各領域において、発散度を求め、得られた４つの領域の各発散度のうち、発散度が小さい方の２つの領域が選択され、その選択された２つの領域の平均の動きベクトルが、画像全体の動きベクトル、即ち、画像全体の動きを表すパラメータとして計算される。

しかしながら、４つの領域すべてに動物体を含んでいる場合は、この方法では、動物体を正確に分離することができない。即ち、手振れによる正確な画像全体の動きを表すパラメータ（アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ））を求めることができない。

これに対して、位置関係算出処理では、差分ベクトルＶ_Dの終点をプロットしたＸＹ座標系上の、動物体を含まないブロックの差分ベクトルＶ_Dの終点の集合の重心の座標と、一定面積当たりの差分ベクトルＶ_Dの終点の個数が最大の座標、即ち、差分ベクトルの分布密度が最大となる座標は、一般に、ほぼ一致するという仮定に基づき、差分ベクトルＶ_Dの終点の分布密度が最大になる領域に終点が存在する差分ベクトルＶ_Dに対応するブロックを、動物体を含まないブロックとして抽出するので、例えば、そのブロック以外のブロックである動物体を含むブロックを除外することができ、正確な画像全体の動きを表すパラメータを求めることができる。

なお、ある動物体Ｚが画像全体に対して占める割合が、他の物体と比較して大きい場合には、その動物体Ｚを含むブロックの差分ベクトルＶ_Dが多くなるため、その終点の分布密度が高くなる結果、位置関係算出処理によれば、動物体Ｚの動きベクトルが、画像全体の動きを表すパラメータとして求められることになる。

さらに、例えば、一定速度で移動中の車（動物体）に対して追従させるようにカメラを向けながら連続撮像（撮影）をする、いわば、移動中の車を流し撮りするような場合、移動中の車は、画枠に対して静止しているか、またはゆっくりと移動しているように見えることになる。そして、移動中の車が画像全体に対して占める割合が、背景などの静止物体と比較して大きいときには、位置関係算出処理によれば、連続撮像された画像において、移動中の車の位置合わせを行うパラメータを、画像全体の動きを表すパラメータとして求めることができる。

また、上述した説明では、リファレンス画像５１とターゲット画像５２の２つの画像間の位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）を求めたが、２つの画像間で回転と平行移動のみの移動しかないと分かっている（近似することができる）場合には、式（１）において、ａ＝ｄ＝cosθ，−ｂ＝ｃ＝sinθとした次式（９）で表されるアフィン変換のアフィンパラメータ（θ，ｓ，ｔ）を求めるようにすることができる。また、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）のうちの任意の成分を所定の値により固定したアフィンパラメータを求めるようにすることもできる。

以上のようにして求められた、２枚の画像間の位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）は、例えば、複数枚の画像を重ね合わせる処理に用いることができる。これにより、例えば、高速撮像によって得られる、露光時間が短く、暗い複数の画像を重ね合わせて、手振れのない、かつ、鮮明な(明るい)画像を得ることができる。

また、２枚の画像間の位置関係を表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）は、例えば、物体に対するデジタルカメラ１２の動きを表していることから、角速度センサや加速度センサなどのメカ的なセンサを用いることなしに、デジタルカメラ１２の動きを表すアフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｓ，ｔ）によって、光学的に手振れを補正することが可能である。

さらに、画像を撮像するデジタルカメラ１２等の固体撮像素子にCMOS（Complementary Mental Oxide Semiconductor）イメージセンサを用いて画像を撮像した場合、その画像（出力画像）は、スキュー歪を持つことがある。コンピュータ１１の位置関係算出処理では、アフィン変換によって画像の位置合わせを行っているため、スキュー歪を持った画像の位置合わせも可能である。

ここで、動物体を含むブロックまたは動物体を含まないブロックを抽出する処理は、アフィンパラメータを求める位置関係算出処理以外の処理にも適用可能である。

なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 リファレンス画像５１とターゲット画像５２を示す図である。 ブロックマッチングを説明する図である。 差分ベクトルＶ_Dを説明する図である。 第１の抽出方法を説明する図である。 第２の抽出方法を説明する図である。 位置関係算出処理を説明するフローチャートである。 差分ベクトルＶ_Dの終点の分布を説明する図である。 第２の抽出方法の抽出円の中心決定処理を説明する図である。 第２の抽出方法の抽出円の中心決定処理を説明する図である。 第２の抽出方法の抽出円の中心決定処理を説明する図である。 第２の抽出方法の抽出円の中心決定処理を説明する図である。 動物体の領域を除外する処理を説明するフローチャートである。 抽出円の中心決定処理を説明するフローチャートである。 動物体の領域を除外する処理を説明するフローチャートである。

符号の説明

１１ コンピュータ， １２ デジタルカメラ， １３ インターネット， ３１ CPU， ３２ メモリ， ４１ HDD， ４３ ディスク

Claims (12)

1. 第１と第２の画像の画像処理を行う画像処理装置において、
   前記第１の画像を複数のブロックに分割する分割手段と、
   前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出手段と、
   前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出手段と、
   前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出手段と、
   前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出手段と
   を備え、
   前記抽出手段は、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する
   画像処理装置。
2. 前記抽出手段により抽出された前記非動物体を含む前記ブロックを用いて、前記第１と第２の画像の位置関係を表す第２の位置関係パラメータを算出する位置関係パラメータ算出手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータによって、前記第１の位置関係パラメータを更新する更新手段をさらに備え、
   前記第２の動きベクトル算出手段において、前記更新手段により更新された前記第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出し、
   前記差分ベクトル算出手段において、前記第１と第２の動きベクトルの差分ベクトルを算出し、
   前記抽出手段において、前記差分ベクトルの大きさに基づいて、前記非動物体を含む前記ブロックを抽出し、
   前記位置関係パラメータ算出手段において、前記抽出手段により抽出された前記非動物体を含む前記ブロックを用いて、前記第２の位置関係パラメータを算出し、
   前記更新手段において、前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータによって、前記第１の位置関係パラメータを更新する
   ことを所定の条件が満たされるまで繰り返す
   請求項２に記載の画像処理装置。
4. 前記所定の条件は、前記第１と第２の位置関係パラメータとの差が所定の閾値以下となることである
   請求項３に記載の画像処理装置。
5. 前記位置関係パラメータ算出手段により算出された前記第２の位置関係パラメータを出力する出力手段をさらに備える
   請求項２に記載の画像処理装置。
6. 前記差分ベクトルの終点を少なくとも１つ含む、互いに重複しない複数の領域のうち、１またはいくつかの領域により構成される拡大領域を求める拡大領域算出手段と、
   前記拡大領域に含まれる前記差分ベクトルの終点の重心が存在する位置を算出する位置算出手段と、
   算出された前記位置を重心とする所定の領域を、前記抽出用領域として求める抽出用領域算出手段と
   をさらに備える請求項１に記載の画像処理装置。
7. 前記抽出用領域算出手段は、前記所定の領域に含まれる前記差分ベクトルの終点の個数が、所定の閾値未満である場合、前記所定の領域に含まれる前記差分ベクトルの終点の個数が、前記所定の閾値以上となるまで、前記所定の領域を拡大し、拡大後の前記所定の領域を、前記抽出用領域として求める
   請求項６に記載の画像処理装置。
8. 前記抽出用領域は、所定の点を中心とする所定の半径の円の領域である
   請求項１に記載の画像処理装置。
9. 前記位置関係パラメータ算出手段は、前記抽出手段により抽出された前記非動物体を含む前記ブロックそれぞれについて算出された前記差分ベクトルの大きさの自乗和を最小にする前記第２の位置関係パラメータを算出する
   請求項２に記載の画像処理装置。
10. 第１と第２の画像の画像処理を行う画像処理装置の画像処理方法において、
    前記第１の画像を複数のブロックに分割する分割ステップと、
    前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、
    前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、
    前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、
    前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出ステップと
    を含み、
    前記抽出ステップは、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する
    画像処理方法。
11. 第１と第２の画像に対して画像処理をコンピュータに実行させるプログラムであって、
    前記第１の画像を複数のブロックに分割する分割ステップと、
    前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、
    前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、
    前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、
    前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出ステップと
    を含み、
    前記抽出ステップは、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する
    処理をコンピュータに実行させるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. 第１と第２の画像に対して画像処理をコンピュータに実行させるプログラムにおいて、
    前記第１の画像を複数のブロックに分割する分割ステップと、
    前記ブロックから、前記第２の画像の対応する領域への移動量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、
    前記第１と第２の画像の位置関係を表す第１の位置関係パラメータにより前記ブロックを変換したときの、その変換前のブロックから、変換後のブロックへの移動量を表す第２の動きベクトルを算出する第２の動きベクトル算出ステップと、
    前記ブロックについて、前記第１と第２の動きベクトルの差分ベクトルを算出する差分ベクトル算出ステップと、
    前記差分ベクトルの大きさに基づいて、動物体を含む前記ブロック、および非動物体を含む前記ブロックを抽出する抽出ステップと
    を含み、
    前記抽出ステップは、前記差分ベクトルの大きさで昇順に並べられた前記差分ベクトルのうち、n+1番目の前記差分ベクトルの大きさから、n番目の前記差分ベクトルの大きさを差し引いた差分が所定の閾値以上であるとき、１乃至n番目の前記差分ベクトルそれぞれのブロックを、前記非動物体を含む前記ブロックとして抽出し、n+1番目以降の前記差分ベクトルそれぞれのブロックを、前記動物体を含む前記ブロックとして抽出する
    処理をコンピュータに実行させるプログラム。

Images