JP5082856B2 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

Description

本発明は、ディジタルカメラ、画像処理ソフトウエアなどに適用される画像処理方法、画像処理プログラムに関する。また、本発明は、ディジタルカメラなどに適用される画像処理装置、ディジタルカメラなどの撮像装置に関する。

ディジタル処理による手振れ補正は、連続して撮影された複数枚の画像間の動きベクトルを検出し、その動きベクトルに応じてそれらの画像を位置合わせして合成するものである。動きベクトルの検出方法は、特許文献１などに開示されており、例えば、複数の画像の各ブロックから動きベクトル（部分動きベクトル）を検出し、各ブロックの部分動きベクトルに基づき画像全体の動きベクトルを１つ求めている。
特開平７−３８８００号公報

しかし、部分動きベクトルの中には信頼性の低いものも混ざっているので、この方法で動きベクトルの検出精度を向上させるには、ブロック数を増やす必要があり、その分だけ演算量が増える。また、画像間の動き方によっては、動きベクトルがその動きを的確に表現できていない場合もある。
そこで本発明は、ブロック数を増やさなくとも複数の画像間の動きを高精度に検出することのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。

本発明の画像処理方法は、比較画像と対象画像との間の動きベクトル分布を推定する画像処理方法であって、前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手順と、前記探索手順によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手順と、前記選出手順で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手順と、前記近似手段が近似した各ベクトル成分からなる動きベクトル分布に基づき、前記比較画像と前記対象画像との間の位置合わせをブロック毎に行う合成手順とを含み、前記選出手順では、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、前記近似手順では、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件であることを特徴とする。

また、本発明の第１の画像処理プログラムは、本発明の第１の画像処理方法の何れかをコンピュータに実行させることを特徴とする。
また、本発明の第１の画像処理装置は、本発明の第１の画像処理方法の何れかを実行する手段を備えたことを特徴とする。

また、本発明の第１の撮像装置は、被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、本発明の第１の画像処理装置の何れかとを備えたことを特徴とする。
（第２の発明）
本発明の第２の画像処理方法は、比較画像と対象画像との間の動きベクトルを探索する画像処理方法であって、前記比較画像上の参照領域の位置と前記対象画像上の参照領域の位置とをずらしながら、それら２つの参照領域の相関を繰り返し算出する算出手順を含み、前記算出手順では、予め、前記比較画像上の特徴量を前記上下方向へ累積加算してできる第１累積加算画像と、前記対象画像上の特徴量を前記上下方向へ累積加算してできる第２累積加算画像と、前記比較画像上の特徴量を前記左右方向へ累積加算してできる第３累積加算画像と、前記対象画像上の特徴量を前記左右方向へ累積加算してできる第４累積加算画像とを作成しておき、前記２つの参照領域の相関の算出では、前記第１累積加算画像上で前記比較画像の参照領域の上下端に位置する２つのラインの差分を第１投影データとして取得し、前記第２累積加算画像上で前記対象画像の参照領域の上下端に位置する２つのラインの差分を第２投影データとして取得し、前記第３累積加算画像上で前記比較画像の参照領域の左右端に位置する２つのラインの差分を第３投影データとして取得し、前記第４累積加算画像上で前記対象画像の参照領域の左右端に位置する２つのラインの差分を第４投影データとして取得し、前記第１投影データ及び前記第２投影データの差分の大きさと、前記第３投影データ及び前記第４投影データの差分の大きさとの和を、前記２つの参照領域の相関とすることを特徴とする。

また、本発明の第２の画像処理プログラムは、本発明の第２の画像処理方法の何れかをコンピュータに実行させることを特徴とする。

また、本発明の第２の画像処理装置は、本発明の第２の画像処理方法の何れかを実行する手段を備えたことを特徴とする。
また、本発明の第２の撮像装置は、被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、本発明の第２の画像処理装置とを備えたことを特徴とする。

本発明によれば、複数の画像間の動きを高精度に検出することのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

第１実施形態の電子スチルカメラの構成を示すブロック図である。 手振れ補正処理の流れを示すフローチャートである。 ステップＳ３の原理を説明する図である。 投影データを用いる場合のステップＳ３を説明する図である。 累積加算画像を用いる場合のステップＳ３を説明する図である。 ステップＳ４を説明する図である。 代表動きベクトルＶ_a，Ｖ_b，Ｖ_cを示す図である。 Δｘの近似平面Ｓｘを示す図である。 Δｙの近似平面Ｓｙを示す図である。 置換後の部分動きベクトルＶ_iの例を示す図である。 第２実施形態の検出処理の流れを示すフローチャートである。 第２実施形態（及び第１実施形態）の相関値ｄの算出方法の概念を説明する図である。

［第１実施形態］
以下、本発明の第１実施形態を説明する。本実施形態は、手振れ補正機能付きの電子スチルカメラの実施形態である。
図１は、電子スチルカメラの構成を示すブロック図である。図１に示すとおり、電子スチルカメラ１０には、撮像素子１２、信号処理回路１３、メモリ１４、圧縮・伸張回路１５、記録部１６、画像処理回路１７などが配置される。

電子スチルカメラ１０に装着された撮影レンズ１１は、撮像素子１２上に被写体の像を形成する。撮像素子１２は、その被写体の像を撮像して画像を取得する。その画像は、信号処理回路１３において処理された後、メモリ１４へ一時的に格納される。画像処理回路１７は、その画像に対し画像処理を施し、画像処理後の画像は、圧縮・伸張回路１５において圧縮処理が施された後、記録部１６において記録される。

特に、電子スチルカメラ１０が手振れ補正モードに設定されているとき、撮像素子１２は、適正露光時間、又は予め設定された露光時間に対してｎ段アンダーかつ微小時間間隔で２×ｎ枚の画像を取得する。画像処理回路１７は、それら複数枚の画像を入力し、手振れ補正処理を実行して補正画像を取得する。その補正画像が、圧縮・伸張回路１５を介して記録部１６に記録される。

次に、画像処理回路１７による手振れ補正処理の全体の流れを説明する。
図２は、手振れ補正処理の流れを示すフローチャートである。図２に示すとおり、画像処理回路１７は、複数枚の画像を入力すると（ステップＳ１）、それらを低解像度変換して複数枚の粗い画像を取得し（ステップＳ２）、それら粗い画像の各ブロックから部分動きベクトルを探索する（ステップＳ３）。

その後、画像処理回路１７は、部分動きベクトルの中から代表動きベクトルを選出し（ステップＳ４）、それら代表動きベクトルに基づき画像上の動きベクトル分布を近似する（ステップＳ５）。以上のステップＳ２〜Ｓ５の処理は、粗い画像に基づく検出なので「粗検出」に相当する。
そして、画像処理回路１７は、粗検出で取得した動きベクトル分布を利用して、低解像度変換前の複数枚の詳細な画像の各ブロックから、改めて部分動きベクトルを探索する（ステップＳ６）。このステップＳ６の処理は、詳細な画像に基づく検出なので「詳細検出」に相当する。

さらに、画像処理回路１７は、ステップＳ６で得た部分動きベクトルに基づき複数枚の詳細な画像を位置合わせして合成し（ステップＳ７）、合成後の画像を補正画像として出力する（ステップＳ８）。
次に、ステップＳ３〜Ｓ７を詳細に説明する。ここでは、簡単のため、画像の枚数を２とする。

（ステップＳ３）
図３は、ステップＳ３の原理を説明する図である。
図３に示すとおり、本ステップでは、粗い画像ｆ₁，ｆ₂に対しそれぞれエッジフィルタ処理が施され、エッジ画像ｇ₁，ｇ₂が取得される。そして、エッジ画像ｇ₁，ｇ₂の各々が複数のブロックＲに分割される。ブロックＲの個数は、例えば、画像の水平方向に６、画像の垂直方向に４の合計２４である。以下、画像の水平方向（図の左右方向）を「ｘ方向」とし、画像の垂直方向（図の上下方向）を「ｙ方向」とする。ブロックＲからの部分動きベクトルの探索は、次のとおり行われる。

先ず、図３中に拡大して示すとおり、エッジ画像ｇ₁，ｇ₂のブロックＲ内の参照領域Ｅ₁，Ｅ₂がそれぞれ参照され、それら参照領域Ｅ₁，Ｅ₂の間の相関値ｄとして、参照領域Ｅ₁，Ｅ₂の差分の絶対値が算出される。相関値ｄの算出は、参照領域Ｅ₁，Ｅ₂の間の位置ずらし量（ｘ方向：α，ｙ方向：β）を変化させながら繰り返し行われる。
この位置ずらし量（α，β）の変化範囲（探索範囲）は十分に広く設定される。例えば、参照領域Ｅ₁，Ｅ₂のサイズが７５画素×７５画素であるとき、探索範囲は、α：±１５画素、β：±１５画素に設定される。

そして、この探索範囲内で相関値ｄが最小となるような位置ずらし量（α，β）の値（Δｘ，Δｙ）が見出される。この値（Δｘ，Δｙ）が、ブロックＲの部分動きベクトルＶと見なされる。
但し、以上の探索では、二次元のデータである参照領域Ｅ₁，Ｅ₂をそのまま演算に用いると演算量が多くなるので、参照領域Ｅ₁，Ｅ₂の代わりに、参照領域Ｅ₁，Ｅ₂をｙ方向に加算してできる一次元の投影データと、参照領域Ｅ₁，Ｅ₂をｘ方向に加算してできる一次元の投影データとを用いることが望ましい。

図４は、投影データを用いる場合のステップＳ３を説明する図である。
図４に示すとおり、この場合、粗い画像ｆ₁，ｆ₂に対しｘ方向のエッジフィルタ処理が施され、エッジ画像ｇ₁ｖ，ｇ₂ｖが取得されると共に、粗い画像ｆ₁，ｆ₂に対しｙ方向のエッジフィルタ処理が施され、エッジ画像ｇ₁ｈ，ｇ₂ｈが取得される。なお、エッジ画像ｇ₁ｖ，ｇ₂ｖにはｙ方向のエッジ成分が現れ、エッジ画像ｇ₁ｈ，ｇ₂ｈには、ｘ方向のエッジ成分が現れる。

図４中に拡大して示すとおり、このうち、エッジ画像ｇ₁ｖの参照領域Ｅ₁がｙ方向に加算され、投影データＬ₁ｈが作成される。
また、エッジ画像ｇ₂ｖの参照領域Ｅ₂がｙ方向に加算され、投影データＬ₂ｈが作成される。
また、エッジ画像ｇ₁ｈの参照領域Ｅ₁がｘ方向に加算され、投影データＬ₁ｖが作成される。

また、エッジ画像ｇ₂ｈの参照領域Ｅ₂がｘ方向に加算され、投影データＬ₂ｖが作成される。
この場合、参照領域Ｅ₁，Ｅ₂の間の相関値ｄは、投影データＬ₁ｈ，Ｌ₂ｈの差分の絶対値と、投影データＬ₁ｖ，Ｌ₂ｖの差分の絶対値との和で表される。
ここで、これらの投影データＬ₁ｈ，Ｌ₂ｈ，Ｌ₁ｖ，Ｌ₂ｖは、参照領域Ｅ₁，Ｅ₂の位置ずらし量（α，β）が変化する毎に作成される必要がある。しかし、その度に参照領域Ｅ₁，Ｅ₂を加算していると演算量が多くなるので、予め、エッジ画像ｇ₁ｖ，ｇ₂ｖ，ｇ₁ｈ，ｇ₂ｈの累積加算画像を作成しておくとよい。

図５は、累積加算画像を用いる場合のステップＳ３を説明する図である。
図５に示すとおり、この場合も、図４の場合と同様に、粗い画像ｆ₁，ｆ₂からエッジ画像ｇ₁ｈ，ｇ₂ｈ，ｇ₁ｖ，ｇ₂ｖが取得される。
このうち、エッジ画像ｇ₁ｖがｙ方向に累積加算され、累積加算画像ｈ₁が作成される。
また、エッジ画像ｇ₂ｖがｙ方向に累積加算され、累積加算画像ｈ₂が作成される。

また、エッジ画像ｇ₁ｈがｘ方向に累積加算され、累積加算画像ｖ₁が作成される。
また、エッジ画像ｇ₂ｈがｘ方向に累積加算され、累積加算画像ｖ₂が作成される。
これら累積加算画像ｈ₁，ｈ₂，ｖ₁，ｖ₂の算出式を具体的に示すと、以下の通りである。

そして、図５中に拡大して示すとおり、上述した投影データＬ₁ｈは、累積加算画像ｈ₁の参照領域Ｅ₁の上下２ラインの差分をとることによって作成される。
また、上述した投影データＬ₂ｈは、累積加算画像ｈ₂の参照領域Ｅ₂の上下２ラインの差分をとることによって作成される。

また、上述した投影データＬ₁ｖは、累積加算画像ｖ₁の参照領域Ｅ₁の左右２ラインの差分をとることによって作成される。
また、上述した投影データＬ₂ｖは、累積加算画像ｖ₂の参照領域Ｅ₂の左右２ラインの差分をとることによって作成される。
したがって、この場合、参照領域Ｅ₁，Ｅ₂の間の相関値ｄは、以下の式により、少ない演算量で算出される。但し、Ｂは、ブロックサイズである。

（ステップＳ４）
図６は、ステップＳ４を説明する図である。図６において、符号Ｒ₁，Ｒ₂，…，Ｒ₂₄で示すのは、画像内の各ブロックであり、符号Ｖ₁，Ｖ₂，…，Ｖ₂₄で示すのは、ブロックＲ₁，Ｒ₂，…，Ｒ₂₄から個別に探索された部分動きベクトルのイメージである。以下、このように、ブロックＲの個数を２４とし、各ブロックに関する各量にブロック番号を示す添え字を付して説明する。

本ステップでは、先ず、部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄を評価する。各部分動きベクトルＶ_iの評価値としては、例えば、次の２種類の評価値ΔＥ_i，ｅ_iが用いられる。
第１評価値ΔＥ_i：
部分動きベクトルＶ_iの値（Δｘ_i，Δｙ_i）と略同等の位置ずらし量を全てのブロックＲ₁，Ｒ₂，…，Ｒ₂₄に対し試験的に当てはめたときの各ブロックＲ₁，Ｒ₂，…，Ｒ₂₄の相関値ｄ₁，ｄ₂，…，ｄ₂₄の総和である。この第１評価値ΔＥ_iが小さいほど、部分動きベクトルＶ_iの信頼度を高いと見なせる。

但し、ブロックＲ_kの相関値ｄ_kを求める際には、次のような探索を行うことが望ましい。すなわち、ブロックＲ_kの位置ずらし量（α，β）を部分動きベクトルＶ_iと等しい値（Δｘ_i，Δｙ_i）の近傍の狭い範囲で変化させながら相関値ｄを算出し、そのときの最小の相関値ｄの値をブロックＲ_kの相関値ｄ_kと見なす。その変化範囲（探索範囲）は、例えば、α：Δｘ_i±２画素，β：Δｙ_i±２画素である。

なお、第１評価値ΔＥ_iの算出式を具体的に示すと、以下のとおりである（但し、ブロック数を２４とした。）。

第２評価値ｅ_i：
部分動きベクトルＶ_iの探索元であるブロックＲ_iのエッジ量である。例えば、ｘ方向のエッジフィルタ処理及びｙ方向のエッジフィルタ処理によりブロックＲ_iの２つのエッジ成分を取得し、それらエッジ成分の絶対値の平均値である。この第２評価値ｅ_iが大きいほど、部分動きベクトルＶ_iの信頼度を高いと見なせる。

さて、本ステップでは、部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄の各々に関し第１評価値ΔＥ_iが生成され、第１評価値ΔＥ_iの小さい順に部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄がソートされる。但し、第１評価値ΔＥ_iが互いに同じとなった部分動きベクトルに関しては、さらに第２評価値ｅ_iが生成され、第２評価値ｅ_iの大きい順にソートされる。
以上のソートの結果、第１位となった部分動きベクトルを、第１の代表動きベクトルＶ_aとして選出する（図７参照）。

さらに、第２位以降の部分動きベクトルの中から、以下の条件を満たす第２の代表動きベクトルＶ_b、第３の代表動きベクトルＶ_cが選出される（図７参照）。
・代表動きベクトルベクトルＶ_a，Ｖ_b，Ｖ_cの探索元であるブロックＲ_a，Ｒ_b，Ｒ_cの中心座標が同一直線上に存在していない。
・｛ブロックＲ_a，Ｒ_b，Ｒ_cの中心座標を結んでできる三角形の面積｝*｛代表動きベクトルＶ_a，Ｖ_b，Ｖ_cの第２評価値ｅ_a，ｅ_b，ｅ_cの総和｝が最大である。

・代表ベクトルＶ_a，Ｖ_b，Ｖ_cの第１評価値ΔＥ_a，ΔＥ_b，ΔＥ_cの総和は、上位３つの部分動きベクトルの第１評価値の総和と同じである。
（ステップＳ５）
図８、図９は、ステップＳ５を説明する図である。
本ステップでは、図８に示すとおり、代表動きベクトルＶ_a，Ｖ_b，Ｖ_cのｘ成分Δｘ_a，Δｘ_b，Δｘ_cに基づき、部分動きベクトルＶのｘ成分Δｘの画像上の分布が近似される。

図８では、画像上の二次元座標（ｘ，ｙ）と、Δｘ方向の一次元座標とからなる三次元座標を示した。このとき、Δｘの分布は、図中に点線で示すような平面Ｓｘで近似される。
この平面Ｓｘは、ブロックＲ_aの中心座標を（ｘ_a，ｙ_a，０）とおき、ブロックＲ_bの中心座標を（ｘ_b，ｙ_b，０）とおき、ブロックＲ_cの中心座標を（ｘ_c，ｙ_c，０）とおいたときに、３つの座標（ｘ_a，ｙ_a，Δｘ_a），（ｘ_b，ｙ_b，Δｘ_b），（ｘ_c，ｙ_c，Δｘ_c）を通る平面である。つまり、平面Ｓｘは、上記３つの座標から決まる３つの定数Ａ₁，Ａ₂，Ａ₃により、以下の１次式で特定される。
Ｓｘ：Δｘ＝Ａ₁ｘ＋Ａ₂ｙ＋Ａ₃
同様に、本ステップでは、図９に示すとおり、代表動きベクトルＶ_a，Ｖ_b，Ｖ_cのｙ成分Δｙ_a，Δｙ_b，Δｙ_cに基づき、部分動きベクトルＶのｙ成分Δｙの画像上の分布が近似される。

図９では、画像上の二次元座標（ｘ，ｙ）と、Δｙ方向の一次元座標とからなる三次元座標を示した。このとき、Δｙの分布は、図中に点線で示すような平面Ｓｙで近似される。
この平面Ｓｙは、３つの座標（ｘ_a，ｙ_a，Δｙ_a），（ｘ_b，ｙ_b，Δｙ_b），（ｘ_c，ｙ_c，Δｙ_c）を通る平面である。この平面Ｓｙは、上記３つの座標から決まる３つの定数Ｂ₁，Ｂ₂，Ｂ₃により、以下の１次式で特定される。
Ｓｙ：Δｙ＝Ｂ₁ｘ＋Ｂ₂ｙ＋Ｂ₃，
以上の２つの平面Ｓｘ，Ｓｙにより、画像上の動きベクトル分布が表されることになる。

ここで、２つの平面Ｓｘ，Ｓｙで表された動きベクトル分布に従い、前述した部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄の値を置換すると、例えば、図１０に示すようになる。置換後の部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄のｘ方向の分布、ｙ方向の分布は、何れも直線的になる。
（ステップＳ６）
本ステップでは、置換後の部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄を利用して、低解像度変換前の２枚の詳細な画像のブロックＲ₁，Ｒ₂，…，Ｒ₂₄から、改めて部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄が探索される。

探索に当たり、２枚の詳細な画像には、２枚の粗い画像に対し施されたのと同じ処理（エッジフィルタ処理，累積加算画像への変換）が施される。
また、粗い画像による粗検出により大凡の探索は済んでいるので、各ブロックＲ_iの探索範囲（位置ずらし量（α，β）の変化範囲）は、置換後の部分動きベクトルＶ_iの値（Δｘ_i，Δｙ_i）の近傍に制限される。例えば、参照領域Ｅ₁，Ｅ₂のサイズが２００画素×２００画素であるとき、探索範囲は、α：Δｘ_i±６画素、β：Δｙ_i±６画素に設定される。このように探索範囲を狭い範囲に制限すれば、探索に要する演算量を抑えることができる。

但し、置換後の部分動きベクトルＶ_iは、粗い画像から得られたものなので、小さいサイズで計上されている。よって、値（Δｘ_i，Δｙ_i）は、探索前に補正される必要がある。その補正では、粗い画像に対する詳細な画像のサイズ比と等しい係数を値（Δｘ_i，Δｙ_i）に対し乗算すればよい。
以上の条件下で、ブロックＲ₁，Ｒ₂，…，Ｒ₂₄の各々から改めて部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄が探索される。本ステップで探索された部分動きベクトルＶ₁，Ｖ₂，…，Ｖ₂₄が、最終的な部分動きベクトルである。

（ステップＳ７）
本ステップでは、最終的な部分動きベクトルＶ₁，Ｖ₂，…Ｖ₂₄に応じて、２枚の詳細な画像のブロックＲ₁，Ｒ₂，…Ｒ₂₄が位置合わせされ、合成される。これによって、１枚の補正画像が完成する。なお、この合成の際、画像の必要な箇所が画素補間される。
このように、画像の位置合わせをブロック毎に行えば、最終的な部分動きベクトルＶ₁，Ｖ₂，…Ｖ₂₄が有効利用されることになり、２枚の画像間の動きに回転成分が生じていた場合や、拡大／縮小成分が生じていた場合などにも対処できる（ステップＳ７終了）。

以上、本実施形態の手振れ補正処理では、信頼度の高い代表動きベクトルに基づき動きベクトル分布を近似する（ステップＳ３〜Ｓ５）ので、ブロック数を増やさなくとも、画像間の動きを的確に表現することができる。しかも、その近似面を平面としたので、動きベクトル分布を近似するための演算量や、動きベクトル分布を表現するための情報量は、最小限に抑えられる。

また、本実施形態の手振れ補正処理では、部分動きベクトルの探索に、投影データを用いるので、エッジ画像をそのまま用いるよりも、探索に関わる演算量が抑えられる。しかも、累積加算画像を予め作成しておくので、投影データの作成に関わる演算量も抑えられる。
また、本実施形態の手振れ補正処理では、粗い画像に基づき大凡の動きベクトル分布を予め求めておき（ステップＳ２〜Ｓ５）、それを利用して少ない演算量で詳細な画像の動きを検出するので（ステップＳ６）、その動きを高精度に検出できるだけでなく、検出に要する演算量を抑えることもできる。

（その他）
なお、ステップＳ３，Ｓ６では、フィルタ処理の種類としてエッジフィルタ処理を採用したのでブロックから抽出される特徴量がエッジ情報であったが、他の種類のフィルタ処理を採用し、ブロックから抽出される特徴量を、ブロック内のパターンを示す他の特徴量に代えてもよい。

また、ステップＳ４では、代表動きベクトルＶ_a，Ｖ_b，Ｖ_cの選出に上述した第１評価値，第２評価値の組み合わせを用いたが、部分動きベクトルの信頼度を示すのであれば、他の組み合わせに代えてもよい。
また、ステップＳ４，Ｓ５では、動きベクトル分布を平面で近似するのに、３つの代表動きベクトルＶ_a，Ｖ_b，Ｖ_cを用いたが、４以上の代表動きベクトルを用いてもよい。

また、ステップＳ４，Ｓ５では、動きベクトル分布の近似面を平面としたが、曲面としてもよい。曲面にすれば、画像間の動きを更に詳細に表現することができる。但し、近似面の次数が多くなるほど、ステップＳ４で選出すべき代表動きベクトルの数も多くなる。
また、本実施形態の手振れ補正処理では、粗い画像の動きベクトル分布を近似してから（ステップＳ３〜Ｓ５）、詳細な画像の動きベクトルを改めて探索した（ステップＳ６）が、同様の近似処理（ステップＳ３〜Ｓ５）を詳細な画像に対して直接施してもよい。但し、本実施形態のように２段階に分けた方が、効率的である。

また、本実施形態では、手振れ補正処理を電子スチルカメラの回路（画像処理回路１７）に実行させたが、手振れ補正処理の一部又は全部を、ビデオカメラなどの他の撮像装置、各種の画像入力装置、コンピュータなどに実行させてもよい。なお、コンピュータに処理を実行させる場合、その処理を実行させるためのプログラムをコンピュータにインストールすればよい。

［第２実施形態］
以下、本発明の第２実施形態を説明する。本実施形態は、動きベクトルの検出処理の実施形態である。
ここでも簡単のため画像の枚数を２とし、２枚の画像中のブロックの動きベクトルを検出対象とする。また、そのブロックの座標及びサイズは任意とする。よって、ブロックのサイズを大きく設定すれば、２枚の画像の全体の動きベクトルを検出することができる。また、ブロックを複数化し、各ブロックの動きベクトル（＝部分動きベクトル）をそれぞれ検出すれば、第１実施形態のステップＳ３への適用も可能である。

図１１は、本実施形態の検出処理の流れを示すフローチャートである。各ステップを詳細に説明する。
（ステップＳ１１，Ｓ２１）
本ステップでは、微小時間間隔で取得された２枚の画像ｆ₁（ｘ，ｙ），ｆ₂（ｘ，ｙ）が入力される。

（ステップＳ１２，Ｓ２２）
本ステップでは、２枚の画像ｆ₁（ｘ，ｙ），ｆ₂（ｘ，ｙ）の各々に対しエッジフィルタ処理が施される。第１の画像ｆ₁（ｘ，ｙ）に関する垂直・水平方向（ｘ・ｙ方向）のフィルタ出力ｇ₁ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ）、第２の画像ｆ₂（ｘ，ｙ）に関する垂直・水平方向（ｘ・ｙ方向）のフィルタ出力ｇ₂ｖ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）は、それぞれ以下の式で表される。

g₁v(x,y)=-f₁(x,ｙ-2)-f₁(x,y-1)+f₁(x,y+1)+f₁(x,y+2)
g₂v(x,y)=-f₂(x,ｙ-2)-f₂(x,y-1)+f₂(x,y+1)+f₂(x,y+2)
g₁h(x,y)=-f₁(x-2,ｙ)-f₁(x-1,y)+f₁(x+1,y)+f₁(x+2,y)
g₂h(x,y)=-f₂(x-2,ｙ)-f₂(x-1,y)+f₂(x+1,y)+f₂(x+2,y)
このうちフィルタ出力ｇ₁ｖ（ｘ，ｙ）は、第１実施形態（図５）で説明したエッジ画像ｇ₁ｖ（ｘ，ｙ）に相当し、フィルタ出力ｇ₂ｖ（ｘ，ｙ）は、第１実施形態で説明したエッジ画像ｇ₂ｖ（ｘ，ｙ）に相当し、フィルタ出力ｇ₁ｈ（ｘ，ｙ）は、第１実施形態で説明したエッジ画像ｇ₁ｈ（ｘ，ｙ）に相当し、フィルタ出力ｇ₂ｈ（ｘ，ｙ）は、第１実施形態で説明したエッジ画像ｇ₂ｈ（ｘ，ｙ）に相当する。

但し、上式によるエッジフィルタ処理は、図１２中に示すようなエッジフィルタＦａ，Ｆｂを想定しており、図５中に示したエッジフィルタとはサイズが異なる。
さらに、本ステップでは、このようなエッジフィルタ処理に他の処理を組み合わせる。例えば、ノイズ低減処理である。ノイズ低減処理では、上述したフィルタ出力ｇ₁ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）の各画素値を所定の閾値と比較し、閾値以下となったものについては、その画素値をゼロへと置換する。これによって、フィルタ出力ｇ₁ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）のノイズが低減される。

（ステップＳ１３，Ｓ２３）
本ステップでは、ノイズ低減後のフィルタ出力ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）の各々により画像を作成する。以下、作成された画像を、特徴量画像ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）と称す。但し、メモリの使用量を削減するため、本ステップを省略し、次のステップにおいてフィルタ出力ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）をそのまま使用することも可能である。

（ステップＳ１４，Ｓ２４）
本ステップでは、特徴量画像ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）の各々に基づき累積加算画像ｈ₁（ｘ，ｙ），ｈ₂（ｘ，ｙ），ｖ₁（ｘ，ｙ），ｖ₂（ｘ，ｙ）を作成する。累積加算画像ｈ₁（ｘ，ｙ），ｈ₂（ｘ，ｙ），ｖ₁（ｘ，ｙ），ｖ₂（ｘ，ｙ）の算出式は、第１実施形態で説明した算出式と同じであり、以下のとおりである。

（ステップＳ３５）
本ステップでは、動きベクトルの探索元となるブロックの中心座標（ｃｘ，ｃｙ）及びサイズ（Ｂｘ，Ｂｙ）を決定する。Ｂｘはｘ方向のサイズ、Ｂｙはｙ方向のサイズである。なお、動きベクトルの探索元を画像全体とする場合は、ブロックの中心座標を画像の中心座標とし、ブロックのサイズを画像全体のサイズに一致させればよい。

（ステップＳ３６）
本ステップでは、第１の画像ｆ₁におけるブロック内の参照領域Ｅ₁と、第２の画像ｆ₂（ｘ，ｙ）におけるブロック内の参照領域Ｅ₂とを設定する。但し、参照領域Ｅ₁，Ｅ₂のサイズは共通であり、ブロックにおける参照領域Ｅ₁の座標は固定なので、ここで設定されるのは、参照領域Ｅ₁を基準とした参照領域Ｅ₂の位置ずらし量（α，β）のみでよい。

（ステップＳ３７）
本ステップでは、参照領域Ｅ₁，Ｅ₂の間の相関値ｄ（α，β）を算出する。相関値ｄ（α，β）の算出方法は、第１実施形態のそれと基本的に同じである。すなわち、本ステップでは、図１２に概念的に示すとおり、参照領域Ｅ₁のｘ・ｙ方向の投影データＬ₁ｈ，Ｌ₁ｖを作成し、参照領域Ｅ₂についても同様の投影データＬ₂ｈ，Ｌ₂ｖを作成し、それら４種類の投影データＬ_1h，Ｌ_1v，Ｌ_2h，Ｌ_2vを加減算することで相関値ｄ（α，β）を算出する。

そして、本ステップでも、投影データＬ_1h，Ｌ_1v，Ｌ_2h，Ｌ_2vの算出には累積加算画像ｈ₁（ｘ，ｙ），ｈ₂（ｘ，ｙ），ｖ₁（ｘ，ｙ），ｖ₂（ｘ，ｙ）が利用される。但し、本実施形態では、ブロックの中心座標（ｃｘ，ｃｙ）及びサイズ（Ｂｘ，Ｂｙ）が任意なので、相関値ｄ（α，β）の算出には、第１実施形態で説明した算出式を一般化した以下の式が使用される。

（ステップＳ３８，Ｓ３９）
以上の相関値ｄ（α，β）の算出は、位置ずらし量（α，β）を変更しながら繰り返し行われる。
（ステップＳ４０）
本ステップでは、相関値ｄ（α，β）が最小となるような位置ずらし量（α，β）の値（Δｘ，Δｙ）が見出され、その値（Δｘ，Δｙ）が動きベクトルＶとして出力される。これによって、動きベクトルの検出処理が終了する。

以上、本実施形態でも、動きベクトルＶの探索（ステップＳ３６〜Ｓ３９）に投影データＬ_1h，Ｌ_1v，Ｌ_2h，Ｌ_2vを用いるので、特徴量画像ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）をそのまま用いるよりも、探索に関わる演算量が抑えられる。しかも、ステップＳ１４，Ｓ２４において累積加算画像ｈ₁（ｘ，ｙ），ｈ₂（ｘ，ｙ），ｖ₁（ｘ，ｙ），ｖ₂（ｘ，ｙ）が予め作成されるので、投影データＬ_1h，Ｌ_1v，Ｌ_2h，Ｌ_2vの作成、ひいては相関値ｄ（α，β）の算出（ステップＳ３７）に関わる演算量も抑えられる。

したがって、本実施形態では動きベクトルＶの探索（ステップＳ３６〜Ｓ３９）が高速に行われる。
また、本実施形態のステップＳ１２，Ｓ２２では、エッジフィルタ処理を含む２以上の処理を画像ｆ₁（ｘ，ｙ），ｆ₂（ｘ，ｙ）へ施すので、良好な特徴量画像ｇ₁ｖ（ｘ，ｙ），ｇ₂ｖ（ｘ，ｙ），ｇ₁ｈ（ｘ，ｙ），ｇ₂ｈ（ｘ，ｙ）を取得することができる。したがって、本実施形態では動きベクトルＶを高精度に検出することができる。

（その他）
なお、上述したステップＳ１２，Ｓ２２では、エッジ情報を抽出するためにエッジフィルタ処理を採用したが、特徴量を抽出することができるのであれば他の種類のフィルタ処理を採用してもよい。
また、本実施形態の検出方法は、入力された複数の画像を処理するものであったが、入力された複数の画像を低解像度変換したものを同様に処理してもよい。

また、本実施形態の検出方法は、２枚の画像の動きベクトルに基づきそれらの画像を位置合わせして合成する手振れ補正方法に適用可能である。
また、本実施形態の検出方法又は、それが適用された手ぶれ補正方法は、撮像装置、画像入力装置、コンピュータなどによって実行される。コンピュータに実行させる場合、その処理を実行させるためのプログラムをコンピュータにインストールすればよい。

Claims (19)

1. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理方法であって、
   前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手順と、
   前記探索手順によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手順と、
   前記選出手順で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手順と、
   前記近似手段が近似した各ベクトル成分からなる動きベクトル分布に基づき、前記比較画像と前記対象画像との間の位置合わせをブロック毎に行う合成手順とを含み、
   前記選出手順では、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
   前記近似手順では、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
   前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
   ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記探索手順では、
   前記ブロック内の参照領域の特徴量を２方向へ加算してできる２種類の投影データが用いられる
   ことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記探索手順では、
   前記ブロックの特徴量を前記２方向へ累積加算してできる２種類の累積加算画像が予め作成され、前記２種類の投影データは、前記２種類の累積加算画像の一部から作成される
   ことを特徴とする画像処理方法。
4. 請求項１〜請求項３の何れか一項に記載の画像処理方法において、
   前記動きベクトル分布の推定は、
   前記比較画像及び前記対象画像を低解像度変換してできる２つの粗い画像について行われる
   ことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法において、
   前記２つの粗い画像について推定された前記動きベクトル分布を利用して、前記低解像度変換されていない詳細な前記比較画像及び前記対象画像についての動きベクトル分布を推定する再検出手順を更に含む
   ことを特徴とする画像処理方法。
6. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理方法をコンピュータに実行させるための画像処理プログラムであって、
   前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手順と、
   前記探索手順によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手順と、
   前記選出手順で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手順と、
   前記近似手段が近似した各ベクトル成分からなる動きベクトル分布に基づき、前記比較画像と前記対象画像との間の位置合わせをブロック毎に行う合成手順とを含み、
   前記選出手順では、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
   前記近似手順では、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
   前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
   ことを特徴とする画像処理プログラム。
7. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理装置であって、
   前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手段と、
   前記探索手段によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手段と、
   前記選出手段で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手段と、
   前記近似手段が近似した各ベクトル成分からなる動きベクトル分布に基づき、前記比較画像と前記対象画像との間の位置合わせをブロック毎に行う合成手段とを備え、
   前記選出手段は、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
   前記近似手段は、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
   前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
   ことを特徴とする画像処理装置。
8. 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、
   請求項７に記載の画像処理装置と
   を備えたことを特徴とする撮像装置。
9. 比較画像と対象画像との間の動きベクトルを探索する画像処理方法であって、
   前記比較画像上の参照領域の位置と前記対象画像上の参照領域の位置とをずらしながら、それら２つの参照領域の相関を繰り返し算出する算出手順を含み、
   前記算出手順では、予め、
   前記比較画像上の特徴量を前記上下方向へ累積加算してできる第１累積加算画像と、
   前記対象画像上の特徴量を前記上下方向へ累積加算してできる第２累積加算画像と、
   前記比較画像上の特徴量を前記左右方向へ累積加算してできる第３累積加算画像と、
   前記対象画像上の特徴量を前記左右方向へ累積加算してできる第４累積加算画像とを成しておき、
   前記２つの参照領域の相関の算出では、
   前記第１累積加算画像上で前記比較画像の参照領域の上下端に位置する２つのラインの差分を第１投影データとして取得し、
   前記第２累積加算画像上で前記対象画像の参照領域の上下端に位置する２つのラインの差分を第２投影データとして取得し、
   前記第３累積加算画像上で前記比較画像の参照領域の左右端に位置する２つのラインの差分を第３投影データとして取得し、
   前記第４累積加算画像上で前記対象画像の参照領域の左右端に位置する２つのラインの差分を第４投影データとして取得し、
   前記第１投影データ及び前記第２投影データの差分の大きさと、前記第３投影データ及び前記第４投影データの差分の大きさとの和を、前記２つの参照領域の相関とする
   ことを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法において、
    前記参照領域の特徴量は、
    前記参照領域に対し２以上の処理を施して抽出されたものである
    ことを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法において、
    前記２以上の処理のうち１つは、
    エッジフィルタ処理である
    ことを特徴とする画像処理方法。
12. 請求項９〜請求項１１の何れか一項に記載の画像処理方法において、
    前記動きベクトルは、
    前記比較画像及び前記対象画像を分割してできるブロックの動きベクトルである
    ことを特徴とする画像処理方法。
13. 請求項９〜請求項１１の何れか一項に記載の画像処理方法において、
    前記動きベクトルは、
    前記比較画像及び前記対象画像の全体の動きベクトルである
    ことを特徴とする画像処理方法。
14. 比較画像と対象画像との間の動きベクトルを探索する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
    前記比較画像上の参照領域の位置と前記対象画像上の参照領域の位置とをずらしながら、それら２つの参照領域の相関を繰り返し算出する算出手順を含み、
    前記算出手順では、予め、
    前記比較画像上の特徴量を前記上下方向へ累積加算してできる第１累積加算画像と、
    前記対象画像上の特徴量を前記上下方向へ累積加算してできる第２累積加算画像と、
    前記比較画像上の特徴量を前記左右方向へ累積加算してできる第３累積加算画像と、
    前記対象画像上の特徴量を前記左右方向へ累積加算してできる第４累積加算画像とを作成しておき、
    前記２つの参照領域の相関の算出では、
    前記第１累積加算画像上で前記比較画像の参照領域の上下端に位置する２つのラインの差分を第１投影データとして取得し、
    前記第２累積加算画像上で前記対象画像の参照領域の上下端に位置する２つのラインの差分を第２投影データとして取得し、
    前記第３累積加算画像上で前記比較画像の参照領域の左右端に位置する２つのラインの差分を第３投影データとして取得し、
    前記第４累積加算画像上で前記対象画像の参照領域の左右端に位置する２つのラインの差分を第４投影データとして取得し、
    前記第１投影データ及び前記第２投影データの差分の大きさと、前記第３投影データ及び前記第４投影データの差分の大きさとの和を、前記２つの参照領域の相関とする
    ことを特徴とする画像処理プログラム。
15. 比較画像と対象画像との間の動きベクトルを探索する画像処理装置であって、
    前記比較画像上の参照領域の位置と前記対象画像上の参照領域の位置とをずらしながら、それら２つの参照領域の相関を繰り返し算出する算出手段を含み、
    前記算出手段は、予め、
    前記比較画像上の特徴量を前記上下方向へ累積加算してできる第１累積加算画像と、
    前記対象画像上の特徴量を前記上下方向へ累積加算してできる第２累積加算画像と、
    前記比較画像上の特徴量を前記左右方向へ累積加算してできる第３累積加算画像と、
    前記対象画像上の特徴量を前記左右方向へ累積加算してできる第４累積加算画像とを作成しておき、
    前記２つの参照領域の相関の算出では、
    前記第１累積加算画像上で前記比較画像の参照領域の上下端に位置する２つのラインの差分を第１投影データとして取得し、
    前記第２累積加算画像上で前記対象画像の参照領域の上下端に位置する２つのラインの差分を第２投影データとして取得し、
    前記第３累積加算画像上で前記比較画像の参照領域の左右端に位置する２つのラインの差分を第３投影データとして取得し、
    前記第４累積加算画像上で前記対象画像の参照領域の左右端に位置する２つのラインの差分を第４投影データとして取得し、
    前記第１投影データ及び前記第２投影データの差分の大きさと、前記第３投影データ及び前記第４投影データの差分の大きさとの和を、前記２つの参照領域の相関とする
    ことを特徴とする画像処理装置。
16. 被写体を連続的に撮像して複数の画像を取得することの可能な撮像手段と、
    請求項１５に記載の画像処理装置と
    を備えたことを特徴とする撮像装置。
17. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理方法であって、
    前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手順と、
    前記探索手順によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手順と、
    前記選出手順で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手順とを含み、
    前記選出手順では、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
    前記近似手順では、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
    前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
    ことを特徴とする画像処理方法。
18. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理方法をコンピュータに実行させるための画像処理プログラムであって、
    前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手順と、
    前記探索手順によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手順と、
    前記選出手順で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手順とを含み、
    前記選出手順では、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
    前記近似手順では、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
    前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
    ことを特徴とする画像処理プログラム。
19. 比較画像と対象画像との間の動きベクトル分布を推定する画像処理装置であって、
    前記比較画像と前記対象画像との間の動きベクトルを、前記対象画像のブロック毎に探索する探索手段と、
    前記探索手段によってブロック毎に探索された動きベクトルの中から少なくとも３つの代表動きベクトルを選出する選出手段と、
    前記選出手段で選出された少なくとも３つの代表動きベクトルの各ベクトル成分に基づき、前記画像上の動きベクトル分布の各ベクトル成分を、平面又は曲面で近似する近似手段とを備え、
    前記選出手段は、所定の条件を満たす３つの動きベクトルを前記３つの代表ベクトルとして選出し、
    前記近似手段は、前記画像上の前記動きベクトル分布の各ベクトル成分を、前記３つの代表ベクトルの各ベクトル成分が規定する各平面で個別に近似し、
    前記所定の条件は、｛前記３つの動きベクトルの各々の探索元ブロックの座標同士を結んでできる三角形の面積｝＊｛前記３つの動きベクトルの各々の探索元ブロックのエッジ量の総和｝が最大、という条件である
    ことを特徴とする画像処理装置。

Images