JP2013041387A - 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム - Google Patents

Abstract

【課題】局所的な動被写体や照度変化等にロバストであり、又、精度の高いグローバル動き探索処理を行なうことができる技術を提供する。
【解決手段】画像処理装置は、処理対象画像を複数の分割画像にする画像分割部と、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部とを備える。
【選択図】図１

Description

本明細書で開示する技術は、画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムに関する。より詳細には、画像シーケンスのうちの画像間のグローバルな動き量を推定する動きベクトル探索（ＭE：Motion Estimation、動き推定）を行なう技術（「グローバル動き探索処理」とも記す）に関する。

動き推定を行なうのに最もよく使用する手法として、ブロックマッチングが知られている。画像シーケンスのうち複数枚（典型的には１枚の現画像と１枚の参照画像の２枚）の画像間のグローバルな動き量を推定するには、基本的には、分割したブロックごとに生成される動きベクトル（ＭＶ：Motion Vector、「ローカルＭＶ」とも記す）の画像全体に亘る重付き平均をとる。その際、ローカルＭＶが信頼できないブロックの重みを小さくして、ロバスト性を高めることができる（例えば、特開平５−２８９１５９号公報や特開２００６−２２２９３３号を参照）。しかし、ブロックマッチングを行なう方法は、ブロックごとに動きベクトルＭＶを求めるブロックマッチングの計算資源が多く必要であり、一般的に実行効率はよくない。

他の動き推定手法として、画像全体に対する動き推定手法がある。画像全体に対する動き推定手法としてはＬＫ法（Lucas-Kanade法）が知られている（An Iterative Image Registration Technique with an Application to Stereo Vision”， B. D. Lucas, T. Kanade, Intl. Joint Conf. on AI, pp.674-679, 1981を参照、非特許文献１とも記す）。画像全体に亘るＬＫ法を用いると、ブロックマッチングと比較して、計算実行効率のよいグローバル動き探索処理ＧＭＥを行なうことができる。

一方、ロバスト性を高めるための動き推定手法として、画像分割（画面分割とも称される）を行なうことが知られている（特開２００４−０１５３７６号公報を参照）。この画像分割を行なう方法では、入力画像を複数の画像に分割し、各分割画像で動き推定を行なう。分割画像の信頼性を元に分割画像ごとに算出された動きベクトルＭＶに重みを付けることにより、ロバスト性を高めることができる。

特開平５−２８９１５９号公報 特開２００６−２２２９３３号公報 特開２００４−０１５３７６号公報

"An Iterative Image Registration Technique with an Application to Stereo Vision"， B. D. Lucas, T. Kanade, Intl. Joint Conf. on AI, pp.674-679, 1981

しかし、ＬＫ法は、ブロックマッチングと比較して、大幅に計算実行効率のよいグローバル動き探索処理ＧＭＥを行なうことができる一方で、画像全体に亘るＬＫ法はローカルＭＶを算出しないため、ロバスト性を向上させることはできない。非特許文献１には、画像分割を行ない、ＬＫ法を用いて動き探索処理を行ない、その動き探索処理結果に対して外れ値除去を行なって画像全体の動き探索処理を行なうことも記載されているが、精度の面では依然として難点がある。又、画像分割を行なう方法では、分割画像ごとに重付けがされてしまうため、信頼性が低いとされた分割画像中の画素全ての信頼性が低くなる。信頼性が低いとされた分割画像中に信頼性の高い画素があった場合、その信頼性の高い画素の情報が当該分割画像の重付けによって信頼性が低くなるため、結果的には、実際には信頼性の高い画素であるにも関わらず、その情報が動き推定に有効に使用されないため、動き推定の精度が低くなってしまう。

従って、本開示の目的は、局所的な動被写体や照度変化等にロバストであり、又、精度の高いグローバル動き探索処理を行なうことができる技術を提供することにある。好ましくは、更に、高い計算実行効率を保ちながら、局所的な動被写体や照度変化等にロバストで精度の高いグローバル動き探索処理を行なうことができる技術を提供することにある。

本開示の第１の態様に係る画像処理装置は、処理対象画像を複数の分割画像にする画像分割部と、複数の分割画像の内で、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部とを備える。本開示の第１の態様に係る画像処理装置の従属項に記載された各画像処理装置は、本開示の第１の態様に係る画像処理装置のさらなる有利な具体例を規定する。

本開示の第２の態様に係る画像処理方法は、処理対象画像を複数の分割画像にする画像分割工程と、数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択工程と、分割画像ごとに動き探索処理を行なう第１の動き探索処理工程と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理工程とを備える。

本開示の第３の態様に係る撮像装置は、固体撮像装置と、固体撮像装置の撮像面に被写体像を結像する光学系と、固体撮像装置により取得された画像を記憶する第１記憶部と、固体撮像装置により取得された画像に対して予め定められた信号処理を行なう第１の信号処理部と、第１の信号処理部で処理された画像を記憶する第２記憶部と、第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部とを備える。

本開示の第４の態様に係る電子機器は、入力された画像を記憶する第１記憶部と、入力された画像に対して予め定められた信号処理を行なう第１の信号処理部と、第１の信号処理部で処理された画像を記憶する第２記憶部と、第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部とを備える。

本開示の第５の態様に係るプログラムは、処理対象画像を複数の分割画像にする画像分割部と、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部としてコンピュータを機能させる。本開示に係るプログラムは、本開示に係る画像処理装置を、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なものである。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線或いは無線による通信手段を介した配信により提供されてもよい。

本開示の第２の態様に係る画像処理方法、本開示の第３の態様に係る撮像装置、本開示の第４の態様に係る電子機器、本開示の第５の態様に係るプログラムのそれぞれにおいては、本開示の第１の態様に係る画像処理装置の従属項に記載された各構成・技術・手法が同様に適用可能であり、それが適用された構成は、これらのさらなる有利な具体例を規定する。

要するに、本明細書で開示する技術では、処理対象画像を複数に分割し、分割画像ごとに１回目の動き探索処理を行なう、つまり、動き推定を行ない、動き推定の結果に基づいて動きベクトル等の動き情報を算出する。次に、複数の分割画像の中から動き探索処理の信頼性が予め定められた閾値以上である（動き探索処理の信頼性の高い）分割画像を選択する。そして、２回目の動き探索処理の際には、選択された分割画像についての１回目の動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう。つまり、２回目では、信頼性が高いとして選択された分割画像についての１回目の動き探索処理の情報に基づいて画像分割されていない画像全体に対して、画素ごとに動き推定を行ない、動き推定の結果に基づいて画像全体についての動き情報（動きベクトル等）を算出する。

全体として見た場合、画像分割を使用することによりロバスト性が高い動き推定を行なうことができるとともに、信頼性が高い分割画像についての１回目の動き探索処理結果に基づく外れ値除去処理を含む２回目の動き探索処理を行なうこともできるので、情報を無駄にしない動き推定を行なうことができる。信頼性の高い画素であるか否かを判断し、信頼性の高い画素の情報を破棄することなく（逆に信頼性の高くない画素の情報は破棄して）、画素ごとに動き推定を行なうことができる。具体的には、画像分割手法を用いるが、分割画像ごとに重付けを行なうのではなく、画像全体において、信頼性が高い分割画像の動き探索処理結果を元に画素ごとに信頼性の高い画素を選択し、信頼性の高い画素を用いて動き推定を行ない、画像全体に対して動き情報の算出を行なうことができる。信頼性が低いとされた分割画像中の画素全ての信頼性が低くなるとういうことはなく、信頼性の高い画素の情報を破棄することがないため、精度の高いグローバル動き探索処理を行なうことができる。画像分割手法を用いるので、局所的な動被写体や照度変化等にロバストな動き推定を行なうことができる。

又、第１の態様に係る画像処理装置、第２の態様に係る画像処理方法、第３の態様に係る撮像装置、第４の態様に係る電子機器、及び、第５の態様に係るプログラムにおいては、好ましい態様として、以下の構成を備えるのがよい。例えば、各動き探索処理部の少なくとも１つは、Lucas-Kanade法（ＬＫ法）により動き探索処理を行なうのがよい。ＬＫ法を使用することにより、少ない計算量で動き推定を行なうことができ、計算実行効率を高くすることができる。尚、ＬＫ法を使用する場合は、更に、以下の構成を備えるのが好適である。先ず、第１の動き探索処理部は、分割画像ごとに、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を分割画像全体に亘って行なった加算計算結果に基づいて動き情報を算出するとよい。又、第２の動き探索処理部は、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を画像全体に亘って行なう際に、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づく設定条件に従って信頼性の高い画素であるか否かを判断し、設定条件を満足する場合に加算計算を行なうとよい。

第１の態様に係る画像処理装置、第２の態様に係る画像処理方法、第３の態様に係る撮像装置、第４の態様に係る電子機器、及び、第５の態様に係るプログラムによれば、画像分割手法を用いるので、局所的な動被写体や照度変化等にロバストな動き推定を行なうことができる。画像分割手法を用いるが、信頼性の高い画素の情報の破棄をすることがないため、精度の高い動き推定を行なうことができる。精度の高い動き推定結果に基づいて、精度の高い画像補正情報を算出できるため、画揺れ補正処理や超解像処理等に適用すると、正確な画像処理を行なうことができる。又、好ましい態様では、高い計算実行効率を保ちながら、局所的な動被写体や照度変化等にロバストで、精度の高い動き推定を行なうことができる。

図１（Ａ）〜図１（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例１を説明する図である。 図２は、実施例１のグローバル動き探索処理装置が行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。 図３は、画像分割部による画像分割処理の手順を説明するフローチャートである。 図４は、図３に示した画像分割処理手順により分割される分割画像とその分割画像の位置を特定する座標情報との関係を説明する図である。 図５は、第１動き探索処理部による実施例１の１回目の動き探索処理（Ｓ２１）を説明するフローチャートである。 図６は、第１動き探索処理部による偏微分値算出処理（Ｓ２１８）を説明するフローチャートである。 図７は、分割画像選択部による分割画像選択処理（Ｓ３０）を説明するフローチャートである。 図８（Ａ）〜図８（Ｄ）は、図７に示した分割画像選択処理手順により選択される分割画像及び分割画像番号の関係を説明する図である。 図９は、実施例１の動き探索判定部による動き探索処理の有効無効判定処理を説明するフローチャートである。 図１０は、第２動き探索処理部による実施例１の２回目の動き探索処理（Ｓ５１）を説明するフローチャートである。 図１１は、グローバル動き探索処理を適用した画像処理装置を備える撮像装置の構成例を示す図である。 図１２は、撮像装置に組み込まれた画像処理装置の詳細構成例を説明する図である。 図１３（Ａ）〜図１３（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例２を説明する図である。 図１４は、実施例２のグローバル動き探索処理装置が行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。 図１５（Ａ）〜図１５（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例３を説明する図である。 図１６は、画像分割部による画像分割処理（ステップＳ１２Ｃ）の手順を説明するフローチャートである。 図１７は、図１６に示した画像分割処理手順により分割される分割画像とその分割画像の位置を特定する座標情報との関係を説明する図である。 図１８（Ａ）〜図１８（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例４を説明する図である。 図１９は、実施例４のグローバル動き探索処理装置が行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。 図２０（Ａ）〜図２０（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例５を説明する図である。 図２１は、実施例５のグローバル動き探索処理装置が行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。 図２２（Ａ）〜図２２（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例６を説明する図である。 図２３は、実施例６の動き探索判定部による動き探索処理の有効無効判定処理（ステップＳ４０Ｆ）を説明するフローチャートである。 図２４（Ａ）〜図２４（Ｂ）は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例７を説明する図である。 図２５は、実施例７の動き探索判定部による動き探索処理の有効無効判定処理を説明するフローチャートである。

以下、図面を参照して、本明細書で開示する技術の実施形態について詳細に説明する。各機能要素について形態別に区別する際にはアルファベット或いは“_n”（ｎは数字）或いはこれらの組合せの参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。

説明は以下の順序で行なう。
１．全体概要
２．実施例１：各装置の基本構成
３．実施例２：アフィン情報を適用
４．実施例３：オブジェクト情報を利用した画像分割
５．実施例４：分割画像に対して外れ値除去を行なった新たな２回目の動き探索処理
６．実施例５：画像全体に対して外れ値除去を行なった新たな３回目の動き探索処理
７．実施例６：１回目の処理後に、エッジ量情報を利用した動き推定の信頼度の判定
８．実施例７：１回目の処理ループ内でエッジ量情報を利用した動き推定の信頼度判定

＜全体概要＞
先ず、基本的な事項について以下に説明する。本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいて、グローバル動き探索処理を行なうに当たっては、先ず、画像分割部により、処理対象画像を複数に分割する。第１動き探索処理部は、分割画像ごとに、動き推定を行ない、動き推定の結果に基づいて動きベクトル等の動き情報を算出する。分割画像選択部は、複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像（以下纏めて「信頼性の高い分割画像」と記すこともある）を選択する。好ましくは、分割画像選択部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、動き探索処理結果の信頼性の高い分割画像を選択するとよい。

「第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて」における「動き探索処理の情報」としては、例えば、動き探索処理結果として算出される動き情報（動きベクトル）を使用することができるが、これには限らず、動き推定に関わるあらゆる情報を利用することができる。当該情報を使用した所定の規則に従って判断（判定）用の指標値を算出し、「信頼性の高い分割画像」であるか否かを判定する。

「信頼性の高い分割画像」であるか否かは、所定の規則に従って計算した指標値と予め定められた閾値との比較による絶対的基準に基づいて判断してもよい。或いは、全分割画像の内で前記指標値（例えば信頼性の高いほど値が大きいとする）が相対的に大きいもの（１つとは限らない）を選択するという相対的基準に基づく判断でもよい。前者は、閾値の設定次第で、次処理（２回目の動き探索処理等）に使用される分割画像数が変わり、場合によっては１つも選択されない場合も起こり得るため、閾値設定のやり直しから再度同様の処理を繰り返す必要が生じる難点がある。後者は、次処理（２回目の動き探索処理等）に使用される分割画像数を一定にできるが、全分割画像の指標値の算出を行なってからでないと判断処理に移行できない難点がある。

第２動き探索処理部は、２回目の動き探索処理の際に、分割画像選択部により選択された分割画像についての第１動き探索処理部による１回目の動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き推定を行ない、動き推定の結果に基づいて画像全体に対しての動き情報を算出し直す。つまり、１回目の動き探索処理の情報に基づいて動き探索処理をやり直す。この際には、第１動き探索処理部による１回目の動き探索処理の情報に基づいて、外れ値除去処理を行なうこともできる。例えば、第２動き探索処理部は、処理対象画素の動き探索処理の信頼性が予め定められた閾値以上であるか（信頼性の高い画素であるか否か）を判断し（外れ値除去を行ない）、信頼性が閾値以上である（信頼性の高い）画素を用いて画像分割されていない画像全体に対して動き探索処理を行なう。つまり、２回目では、信頼性が高いとして選択された分割画像についての１回目の動き探索処理の情報に基づいて画素ごとに信頼性の高い画素であるか否かを判断し、信頼性の高い画素の情報を破棄することなく（逆に信頼性の高くない画素の情報は破棄して）動き推定を行ない、動き推定の結果に基づいて画像全体についての動き情報（動きベクトル等）を算出する。

「分割画像選択部により選択された分割画像についての第１動き探索処理部による１回目の動き探索処理の情報」における「動き探索処理の情報」としては、例えば、動き探索処理結果として算出される動き情報（動きベクトル）、動き情報を算出するための途中の積和演算結果、動き情報の算出そのものには関係しない画素値変化量そのものの加算値等、動き推定に関わるあらゆる情報を利用することができる。当該情報を使用した所定の規則に従って判断（判定）用の指標値を算出し、「信頼性の高い画素」であるか否かを判定する。

「信頼性の高い画素」であるか否かは、選択された分割画像についての１回目の動き探索処理の情報に基づく所定の規則に従って計算した指標値と閾値との比較による絶対的基準に基づいて判断してもよい。或いは、画像全体の全画素の内で前記指標値（例えば信頼性の高いほど値が大きいとする）が相対的に小さいものを破棄するという相対的基準に基づく閾値判定でもよい。前者は、閾値の設定次第で、次処理（詳しくは積和演算処理）に使用される総画素数が変わるため、最終的に算出される動き情報に寄与する画素数が変わるが、判断処理と積和演算処理とを逐次行なうことができる利点がある。後者は、次処理（積和演算処理）に使用される総画素数を一定にできるが、全画素の指標値の算出を行なってからでないと判断処理や積和演算処理に移行できない難点がある。

画像分割を適用するが、２回目の動き探索処理では、画像全体において、信頼性が高い分割画像の動き探索処理結果を元に画素ごとに信頼性の高い画素を選択する。分割画像ごとに重付けを行なうのではないので、信頼性が低いとされた分割画像中の画素全ての信頼性が低くなるということはない。信頼性が低いとされた分割画像中に信頼性の高い画素があった場合、その画素は、適正に信頼性の高い画素として選択される。結果的には、信頼性の高い画素が分割画像の何れに存在するかに関わらず、信頼性の高い画素の情報が無駄にされることなく確実に選択されて動き推定が行なわれるため、精度の高い動き推定を行なうことができる。これにより、ロバスト性が高く、且つ、信頼性の高い画素の情報を無駄にしない高精度の動き推定を行なうことができる。

このようなグローバル動き探索処理を前処理として利用し、画揺れ補正、超解像処理、時間軸合成処理、高ダイナミックレンジ処理、スティッチング処理、ステレオ視マッチング処理等を行なう撮像装置や電子機器を構成すると、精度の高い動き推定結果に基づいて精度の高い画像補正情報を算出できるため、正確な画揺れ補正や超解像処理等を実現することができる。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、好ましくは、代表特徴値算出部を更に備えているとよい。これは、分割画像選択部が、動き探索処理結果の信頼性の高い分割画像を複数選択する場合への対処である。この場合、代表特徴値算出部は、選択された複数の分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値を算出する。第２の動き探索処理部は、この結果を受けて２回目の動き探索処理を行なう。即ち、第２の動き探索処理部は、選択された複数の分割画像についての代表特徴値算出部により算出された代表的な特徴値に基づいて動き探索処理結果が信頼性の高い画素であるか否かを判断し、信頼性の高い画素を用いて画像全体に対して動き探索処理を行なう。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、好ましくは、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいてグローバル動き探索の難易度が予め定められた閾値以上であるか（難易度が高いか）否かを判定することにより、第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備えるとよい。判定部が、第１の動き探索処理部による動き探索結果が無効であると判定したときには、第２の動き探索処理部は、動き探索処理を行なわないようにしてもよい。有効な動き推定ができないからである。或いは、分割画像の選択における選択条件を変えて再度、処理をやり直してもよい。

「第１の動き探索処理部による分割画像ごとの動き探索処理の情報」における「動き探索処理の情報」としては、例えば、動き探索処理結果として算出される動き情報（動きベクトル）、動き情報を算出するための途中の積和演算結果、動き情報の算出そのものには関係しない画素値変化量そのものの加算値等、動き推定に関わるあらゆる情報を利用することができる。当該情報を使用した所定の規則に従って判断（判定）用の指標値を算出し、「信頼性の高い画素」であるか否かを判定する。例えば、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、分割画像全体についての加算計算結果に基づいて算出した動き情報とを、全ての分割画像について取得し、取得した各値で表される条件式に従ってグローバル動き探索の難易度が高いか否かを判定する。「取得した各値で表される条件式」としては、ＬＫ法における誤差関数値の画像全体に亘る分布の標準偏差に関する条件式や、１画素当たりの時間方向の画素値変化の絶対値に関する条件式を挙げることができる。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、好ましくは、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、信頼性の高い画素であるか否かを判断しながら、分割画像ごとに動き探索処理を行なう第３動き探索処理部を備えるとよい（第１の手法と記す）。この場合、第２の動き探索処理部は、第３の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう。或いは、第２の動き探索処理部による画像全体に対しての動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第３の動き探索処理部を備えるとよい（第２の手法と記す）。第２の手法を採る場合には、第３の動き探索処理部は、第２動き探索処理部による２回目の動き探索処理の情報に基づいて、外れ値除去処理を行なうこともできる。つまり、信頼性の高い画素であるか否かを判断し、信頼性の高い画素を用いて画像全体に対して動き探索処理を行なうことができる。

つまり、第１の手法及び第２の手法の何れも、外れ値除去処理を含む動き探索処理の情報を用いて、再度、外れ値除去処理を含む動き探索処理を行なうのがよい。より正しい動き推定の情報を使用して、外れ値除去を行なうことができるため、結果として、正確な動き探索処理を行なうことができる。第１の手法では、分割画像ごとの動き探索処理及び画像選択を再度行なうことにより、第２の手法より、処理量は増えるが、精度の高い外れ値除去用の値を算出することができる。一方、第２の手法では、画像全体に対して外れ値除去を含む動き探索処理を行ない、その情報を使用して、再度、画像全体に外れ値除去を含む動き探索処理を行なうので、分割画像ごとの動き探索処理及び画像選択は１回で済むため、第１の手法より処理量は少なくなる。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、好ましくは、処理対象画像の画像特徴値に基づいて、画像分割及び／又は動き探索処理を行なうとよい。「処理対象画像の画像特徴値」としては、画像中のオブジェクト情報やエッジ情報が挙げられる。

例えば、「処理対象画像の画像特徴値」が画像中のオブジェクト情報である場合、画像分割部は、画像特徴値としての画像中のオブジェクト情報に基づいて処理対象画像を不均等に複数の分割画像に分割可能な構成にすることができる。オブジェクト情報を使用して注目被写体の動きに合わせて画像分割を行なうことにより、ローカル動きがある画像と無い（或いは少ない）画像とに分割することができるため、正確な動き探索処理を行なうことができる。

或いは、「処理対象画像の画像特徴値」がエッジ情報である場合、第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備えた構成とし、この判定部が、画像特徴値としてのエッジ情報に基づいてグローバル動き探索の難易度が高いか否かを判定することにより、第１の動き探索処理部による動き探索結果が無効か否かを判定する構成にすることもできる。エッジ情報に基づいて、第１の動き探索処理部による動き探索処理の信頼度を判定し、動き推定結果の信頼度が低い画像では、動き推定結果を無効とすることにより、結果として誤補正を行なわなくなる。換言すると、誤補正を防ぐため、画像全体のエッジ量を計算し、画像全体中にエッジが少ない場合は第１の動き探索処理部による動き探索処理結果を無効とすることができる。

或いは又、「処理対象画像の画像特徴値」がエッジ情報である場合、第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備えた構成とし、この判定部が、分割画像ごとに、画像特徴値としてのエッジ情報に基づいて、第１の動き探索処理部による動き探索結果が無効か否かを判定し、無効のときは当該分割画像の第１の動き探索処理部による動き探索処理結果を無効とする構成にすることもできる。この場合、分割画像選択部は、判定部による処理後の第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、動き探索処理結果の信頼性の高い分割画像を選択する。又、判定部は、当該判定後の全ての分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいてグローバル動き探索の難易度が高いか否かを判定することにより、動き探索結果が無効か否かを判定することもできる。このような構成では、分割画像ごとにエッジ量を計算し、分割画像中にエッジが少ない場合は、その分割画像の動き探索処理結果を無効とする。このため、誤まった動き探索処理結果を使用しての画像選択が行なわれなくなるため、正確な画像選択を行なうことができる。又、精度の高い外れ値除去を行なうことができるため、２回目以降の動き探索処理では、正確な動き探索処理を行なうことができる。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、動き探索処理の結果として算出される動き情報として、画像の平行移動に関する動き情報を算出することもできるし、画像の回転移動に関する動き情報を算出することもできる。算出する結果が平行移動情報のみである場合は処理が簡単であるが、行移動情報以外の高度の移動情報を利用することはできない。これに対して、算出する結果がアフィン情報を含む場合は、処理が複雑であるが、２枚画像間の回転、スケーリング、シアー、平行移動の情報を算出することができ、より高度の移動情報を利用することができる。これにより、平行移動の補正だけでなく、回転、スケーリング、シアーの補正も行なうことができ、より安定化した画像シーケンスを出力することができる。

本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムにおいては、好ましくは、各動き探索処理部の少なくとも１つは、ＬＫ法により動き探索処理を行なうとよい。局所的な動被写体や照度変化等にロバストで、精度の高い動き推定を行なうことができるだけでなく、ＬＫ法の適用により高い計算実行効率を保つこともできる。

ＬＫ法を適用する場合、更に好ましくは、第１の動き探索処理部は、分割画像ごとに、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を分割画像全体に亘って行なった加算計算結果に基づいて動き情報を算出するとよい。例えば、第１の動き探索処理部は、分割画像ごとに、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を分割画像全体に亘って行なった加算計算結果に基づいて動き情報を算出するとよい。

或いは、ＬＫ法を適用する場合、更に好ましくは、第２の動き探索処理部は、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を画像全体に亘って行なうとよい。この場合、第２の動き探索処理部は、選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づく設定条件に従って信頼性の高い画素であるか否かを判断し、設定条件を満足する場合に加算計算を行なうとよい。例えば、第２の動き探索処理部は、動き探索処理結果が信頼性の高い画素であるか否かを判断する情報として、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、分割画像全体についての加算計算結果に基づいて算出した動き情報とを選択された分割画像について取得し、取得した各値で表される設定条件に従って、画素ごとに加算するか否かの判断を行なうとよい。更には、第２の動き探索処理部は、ＬＫ法における誤差関数値の選択された各分割画像全体に亘る分布の状況を示す指標値に関する設定条件や、ＬＫ法における画素値変化の選択された各分割画像全体に亘る分布の状況を示す指標値に関する設定条件を使用するとよい。

固体撮像装置は、電磁波に対して感応性をする電荷検出部（典型的には光電変換部）を備えており、電荷検出部を利用して画像を取り込む画像取込部に適用可能であり、当該固体撮像装置を用いる撮像装置や電子機器全般に搭載して用いられる。例えば、デジタルスチルカメラやビデオカメラ等の撮像装置に使用されるし、電子機器としては、携帯電話機等の撮像機能を有する携帯端末装置、画像読取部に固体撮像装置或いは撮像装置を用いる複写装置等が挙げられる。固体撮像装置及び撮像装置はリニアセンサ及びエリアセンサを含む。即ち、固体撮像装置は、光や放射線等の外部から入力される電磁波に対して感応性をする単位構成要素（例えば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置の一態様と捉えることもできるし、撮像装置は物理量分布検知半導体装置を利用した物理情報取得装置（物理量分布検知装置）の一態様と捉えることもできる。

本実施形態の構成は、光や放射線等の外部から入力される電磁波に対して感応性をする電荷検出部を備えた固体撮像装置に限らず、各種の物理量の変化を電荷量の変化として検知するあらゆるものに適用できる。例えば指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置等、その他の物理的な変化を検知する装置に適用可能である。例えば、タッチパネルにおける検出部に本開示の技術を適用できる。或いは、コンピュータ機器の分野では、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置等が使われているが、これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出すものであり、本開示の技術を適用できる。電子機器に搭載されるカメラモジュールを撮像装置と称する場合もある。以下で説明する構成は、固体撮像装置及びこれを搭載した撮像装置への適用で代表的に説明するが、これに限らず、撮像機能を有する各種の電子機器にも適用可能である。このことから理解されるように、請求項に記載の技術に限らず、固体撮像装置等と同様の機能部を備えた物理量分布検知半導体装置や物理情報取得装置を本開示が提案する技術として抽出することもできる。因みに、本明細書では、特段の断り（例えば、この項で区別して説明した点）のない限り、物理量分布検知半導体装置は固体撮像装置で代表して記述し（換言すると物理量分布検知半導体装置は固体撮像装置を含み）、物理情報取得装置は撮像装置で代表して記述する（換言すると物理情報取得装置は撮像装置を含む）。

＜具体的な適用例＞
以下に、本明細書で開示する画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラムの具体的な適用例を説明する。

［グローバル動き探索処理装置及び画像処理装置］
図１は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例１を説明する図である。ここで、図１（Ａ）は、実施例１のグローバル動き探索処理装置３Ａを備えた画像処理装置１Ａを示し、図１（Ｂ）は、実施例１のグローバル動き探索処理装置の基本構成を示すブロック図である。

図１（Ａ）に示すように、実施例１の画像処理装置１Ａはグローバル動き探索処理装置３Ａを有する。実施例１のグローバル動き探索処理装置３Ａは、現画像ＣＩＭと参照画像ＲＩＭ（例えば１フレーム前の画像）の２枚の画像を取り込んで１組の動きベクトルＭＶ（詳しくは２回目の動き探索処理（２ndＭＥ）の結果である動きベクトルＭＶ’）を出力するグローバル動き探索処理を行なう。後述する実施例２とは異なり、画像の動き情報を示す動きベクトルＭＶ’は平行移動情報のみを表す。

図１（Ｂ）に示すように、グローバル動き探索処理装置３Ａは、第１動き探索処理部１０（１stＭＥ）（第１の動き探索処理部）、動き探索判定部２０、第２動き探索処理部３０（２ndＭＥ）（第２の動き探索処理部）、及び、記憶部５０（メモリ）を備える。動き探索判定部２０は、第１動き探索処理部１０による動き探索結果が無効か否かを判定するものであり、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいてグローバル動き探索の難易度が高いか否かを判定するための機能部として、標準偏差判定部２２と画素値変化判定部２４とを有する。標準偏差判定部２２は、第１動き探索処理部１０（１stＭＥ）の処理結果や加算結果等を使用して誤差関数値に関する標準偏差Ｓｅを算出し、標準偏差Ｓｅを閾値判定する。画素値変化判定部２４は、第１動き探索処理部１０（１stＭＥ）の処理結果や加算結果等を使用して画素値変化の絶対値Ｄを算出し、絶対値Ｄを閾値判定する。動き探索判定部２０は、標準偏差判定部２２と画素値変化判定部２４の少なくとも一方の閾値判定結果に基づいて、第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が有効であるのか否かを判定する。

因みに、本実施形態では、動き探索判定部２０を備える構成で説明するが、動き探索判定部２０を備えない構成にすることもできる。この場合、第２動き探索処理部３０は、動き探索判定部２０による処理結果を参照することなく、２回目の動き探索処理を行なうことになる。

本実施形態の特徴として、グローバル動き探索処理装置３Ａは、画像を分割し、その中から代表的な動きベクトルＭＶを算出する画像分割・選択処理部６０を備える。本実施形態の第１動き探索処理部１０は、画像分割・選択処理部６０により分割された分割画像（分割領域）ごとに動き探索処理を行なうものであり、分割領域動きベクトル算出部の機能を持つ。画像分割・選択処理部６０は、画像領域を複数に分割し、次に第１動き探索処理部１０により算出された分割領域ごとの一組の各特徴量を元に信頼性の高い画像領域を単数或いは複数選択する。単数の場合はそれを代表的な特徴値とするが、複数選択する場合は、選択した画像領域の特徴値を元に代表的な特徴値を算出する。

これらの処理を行なうべく、詳細には、先ず、画像分割・選択処理部６０は、画像分割部６２及び割画像選択部６６を有する。又、選択された複数の分割画像についての第１動き探索処理部１０による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値（代表動きベクトル）を算出する代表特徴値算出部（代表動きベクトル算出部）を設ける。図示した例では、第２動き探索処理部３０が代表特徴値算出部３８を有する例で示している。この場合、２回目の動き探索処理を行なう過程で、代表的な特徴値を算出する。尚、代表特徴値算出部は、第２動き探索処理部３０ではなく画像分割・選択処理部６０に設けてもよく、この場合、２回目の動き探索処理を行なう前に予め、代表的な特徴値を算出する構成となる（実施例４、実施例５を参照）。

第２動き探索処理部３０は、画像領域全体において、画像分割・選択処理部６０で得られた代表的な特徴値（動きベクトルＭＶ）を元に画素ごとに信頼性の高い画素を選択し、信頼性の高い画素を用いて動き推定を行なう。第２動き探索処理部３０は、その結果に基づいて、画像領域全体に対し一組の動き情報の算出を行なう。

グローバル動き探索処理装置３Ａは、２次元画像の水平方向（ｘ）及び垂直方向（ｙ）並びに時間方向（ｔ）の関数として表される画像シーケンスＩ（ｘ，ｙ，ｔ）のうち２枚の画像間のグローバル動き探索処理ＧＭＥ（グローバルＭＥ）を行なうために、画像全体に亘るＬＫ法を、複数回（２回以上）実行する機能を有する。ここで、グローバル動き探索処理装置３Ａは、１回目の動き探索処理（１stＭＥ）では、画像分割・選択処理部６０により分割された分割画像ごとに動き探索処理を行なう点と、２回目の動き探索処理（２ndＭＥ）では、画像分割・選択処理部６０で取得される代表的な動きベクトルＭＶを元に画像全体に対して動き探索処理を行なうことにより信頼性の高い動き推定を行なう点に特徴がある。動き推定手法として、入力画像を複数に分割して１回目の動き推定を分割画像ごとに行ない、次に１回目の動き推定の結果より特徴値を算出し、算出した特徴値を元に入力画像全体に対して２回目の動き推定を行なう。これにより、ロバスト性が高く、精度の高い動き推定を行なうことができる。以下、各機能部の基本的な処理について簡単に説明する。

尚、動きベクトルの検出を行なうに当たっての手法としては、例えば、勾配法（ＬＫ法に限らずその他のものでもよい）、ブロックマッチング法、Hesse法やSIFT法等、何れの手法でもよい。又、動きベクトルの検出を複数回行なうが、各回の手法は同じである必要はない。以下では、説明を簡潔にするべく、又、好適な例として、各回の動きベクトルの検出はＬＫ法を基本とした手法で行なう例で説明する。

〔画像分割・選択処理部６０：画像分割と信頼性の高い分割画像の選択〕
画像分割の手法としては、特開２００４−０１５３７６号公報等に記載の画像分割等様々な方法があるが、どのような手法を用いてもよい。又、何れの手法を採用する場合でも、画像を均等に分割する方法に限らず、不均等な画像分割でもよい。

信頼性の高い分割画像の選択の手法にも様々な方法があるが、信頼性の高い画像領域を選択する限りにおいてどのような手法を用いてもよい。例えば、処理対象の画像シーケンスＩ（ｘ，ｙ，ｔ）の領域を画像分割部６２により複数に分割し、第１動き探索処理部１０により分割領域ごとに特徴量（ここでは動きベクトルＭＶ）を算出する。分割画像選択部６６は、各特徴量（動きベクトルＭＶ）の中から信頼性の高い特徴量を有する分割領域を１つ或いは複数選択する。代表動きベクトル算出部６８は、分割画像選択部６６により選択された分割領域が１つの場合はその分割領域の特徴量を代表的な特徴値とし、分割画像選択部６６により選択された分割領域が複数の場合は、それぞれの分割領域の特徴量を元に代表的な特徴値を算出する。

ここで、分割領域を１つ或いは複数選択する際には、ソート処理を利用するのが好適である。例えば、１回目の動き探索処理（１stＭＥ）の結果から、他分割画像との動きベクトルＭＶの差を求め、算出された値をソートキーとしてソートを行なうことにより、他分割画像との動きベクトルＭＶの差が小さい分割画像を、予め決められている選択個数分だけ選択し、その情報を記憶部５０に保存する。分割画像の選択個数は動き推定処理ごとに変更できるようにするとよい。

〔第１動き探索処理部１０：１回目の動き探索処理（１stＭＥ）〕
１回目の動き探索処理では、分割画像ごとに、ＬＫ法の結果として１組の動きベクトルＭＶ（Ｖｘ、Ｖｙ）を計算して、計算結果を記憶部５０に保存しておく。保存された動きベクトルＭＶは、分割画像の選択や２回目の動き探索処理等に利用される。この際、動きベクトルＭＶ（Ｖｘ、Ｖｙ）を求めるために必要な途中の計算結果であるＡｘｘ（＝Σ（Ｉ_x）²）、Ａｙｙ（＝Σ（Ｉ_y）²）、Ａｘｙ（＝Σ（Ｉ_x・Ｉ_y））、Ａｘｔ（＝Σ（Ｉ_x・Ｉ_t））、Ａｙｔ（＝Σ（Ｉ_y・Ｉ_t））も、以降のＭＥ無効判定や２回目以降の動き探索処理等で使用するため、記憶部５０に保存しておく。更には、本来のＬＫ法では必要としないＡｘ（＝ΣＩ_x）、Ａｙ（＝ΣＩ_y）、Ａｔ（＝ΣＩ_t）、Ａｔｔ（＝Σ（Ｉ_t）²）等の付加情報も同様に計算し、計算結果を記憶部５０に保存しておく。ここで、Ｉ_x、Ｉ_y、Ｉ_tはそれぞれ、画像シーケンスＩ（ｘ，ｙ，ｔ）の水平方向、垂直方向、時間方向の当該画素における画素値変化量を示し、その限りにおいて、例えば偏微分値を算出する等、様々な計算方法を採用することができる。Ｉ_x，Ｉ_y，Ｉ_tからなる項の加算値Σは、各成分を分割画像全体（必要に応じて時間成分も加味する）に亘って加算したもの（総和）を示す。例えば、本実施形態では使用していないが、水平方向、垂直方向、及び、時間方向の全てを加味する場合の加算値Σは、水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画像全体に亘って加算したものとなる。水平方向と垂直方向を加味する場合の加算値Σは、水平方向の画素値変化量と垂直方向の画素値変化量からなる任意の計算式の計算結果を、画像全体に亘って加算したものとなる。水平方向（或いは垂直方向）と時間方向を加味する場合の加算値Σは、水平方向（或いは垂直方向）の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画像全体に亘って加算したものとなる。

〔動き探索判定部２０：１回目の動き探索処理結果の有効・無効の判定〕
動き探索判定部２０は、１回目の動き探索処理結果及び途中の計算結果を使用して、第１動き探索処理部１０による動き探索処理が有効であるか無効であるかを判定する。例えば、動き探索判定部２０は、第１動き探索処理部１０により求められた動きベクトルＭＶ（Ｖｘ、Ｖｙ）に基づいて、グローバル動き探索処理ＧＭＥの難易度が高いと判断される場合は第１動き探索処理部１０による動き探索処理結果を無効とする。この場合、第２動き探索処理部３０による２回目のＬＫ法を実行する必要はない。この判断の際には、第２動き探索処理部３０は、１回目の動き探索処理結果及び途中の計算結果を使用して、標準偏差Ｓｅ（＝σｅ：ＬＫ法における誤差関数値の画像全体に亘る分布の標準偏差）及び絶対値Ｄ（＝δ：１画素当たりの時間方向の画素値変化の絶対値）を求め、標準偏差Ｓｅ及び／又は絶対値Ｄを予め決めておいた閾値パラメータと比較する処理（閾値判定）を行なう。動き探索判定部２０は、各値が閾値より「低い」と判定した場合は第１動き探索処理部１０による動き探索処理が「有効」であると判定し、これを受けて、第２動き探索処理部３０は、１回目の動き探索処理結果及び途中の計算結果を使用して、２回目の動き探索処理を行なう。一方、動き探索判定部２０は、各値が閾値より「高い」と判定した場合は第１動き探索処理部１０による動き探索処理が「無効」であると判定し、１回目の動き探索処理結果である動きベクトルＭＶ（Ｖｘ＝ＤＶｘ、Ｖｙ＝ＤＶｘ）を「０：ゼロ」とする。この場合、グローバル動き探索処理装置３Ａは、第２動き探索処理部３０による２回目の動き探索処理を行なわずに、全体の処理を終了する。因みに、「低い」は「以下」でもよいし「未満」でもよく、「高い」は前述の「低い」と対応するように、「以下」の場合は「上回る」とし、「未満」の場合は「以上」とするとよい。

このような動き探索判定部２０による標準偏差Ｓｅや絶対値Ｄの閾値判定により、画像内のローカル動きが大き過ぎるときに出易い望ましくない動きベクトルＭＶを誤って使用することを防ぐことができる。同様に標準偏差Ｓｅや絶対値Ｄの閾値判定により、画像の照度変化が大きす過ぎるときに出易い望ましくない動きベクトルＭＶを誤って使用することを防ぐことができる。尚、閾値判定する際に、過去の標準偏差Ｓｅや絶対値Ｄも用いて平均化フィルタをかけたあとに閾値比較するとより望ましい結果が得られる。更に、ヒステリシス性を持った閾値比較をするとより望ましい結果が得られる。

〔第２動き探索処理部３０：２回目の動き探索処理（２ndＭＥ）〕
２回目の動き探索処理では、基本的には１回目と同様にＬＫ法の結果として新たに１組の動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）を計算し直し、計算結果を記憶部５０に保存する。ここで、１回目との違いは、動きベクトルＭＶ’の計算に必要な途中の計算結果や付加情報を求める際に、画素ごとに、加算するかどうかの判断を行なう点にある。途中の計算結果は、Ａｘｘ’（＝Σ（Ｉ’_x）²）、Ａｙｙ’（＝Σ（Ｉ’_y）²）、Ａｘｙ’（＝Σ（Ｉ’_x・Ｉ’_y））、Ａｘｔ’（＝Σ（Ｉ’_x・Ｉ’_t））、Ａｙｔ’（＝Σ（Ｉ’_y・Ｉ’_t））である。付加情報は、Ａｘ’（＝ΣＩ’_x）、Ａｙ’（＝ΣＩ’_y）、Ａｔ’（＝ΣＩ’_t）、Ａｔｔ’（＝Σ（Ｉ’_t）²）である。尚、後述する他の実施例においては、途中の計算結果であるＡｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’や付加情報Ａｘ’、Ａｙ’、Ａｔ’、Ａｔｔ’を、更なる後段の動き探索処理等で使用するため、記憶部５０に保存しておく。因みに、アポストロフィ「’」は、１回目の計算と２回目の計算を区別するために付したものであるが、同じ画像ペアに対して２回のＬＫ法を実行するだけなので、実際にはＩ’＝Ｉであり、一方、各計算値は加算するかどうかの判断が行なわれるため１回目とは異なる値となる。

ここで、第２動き探索処理部３０は、加算するかどうかの判断に当たって、１回目の動き探索処理結果及び途中の計算結果を使用し、誤差関数値の分布平均Ｍｅ’及び標準偏差Ｓｅ’並びに画素値変化の分布平均Ｍｉ’及び標準偏差Ｓｉ’を求める。更に、第２動き探索処理部３０は、分布平均に対する各画素における外れ値度合いを計算し、外れ値度合いを予め決めておいた閾値パラメータ（例えば標準偏差）と比較する処理（閾値判定）を行なう。

分布平均Ｍｅ’はＬＫ法における誤差関数値の選択した分割画像（選択画像）内の分布の平均μｅ’である。標準偏差Ｓｅ’は、ＬＫ法における誤差関数値の選択した分割画像内の分布の標準偏差σｅ’である。分布平均Ｍｉ’は時間方向の画素値変化の選択した分割画像内の分布の平均μｉ’である。Ｓｉ’は時間方向の画素値変化の選択した分割画像内の分布の標準偏差σｉ’である。

第２動き探索処理部３０は、何れか一方或いは両方が成立した場合は（外れ値度合いが閾値を上回っている、以下「外れ値である」とも記す）、各加算値Σ（ここでは特にＡｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’）を求めずに次の画素に進む。即ち、第２動き探索処理部３０は、ＬＫ法における誤差関数値の平均と標準偏差に基づいて、各画素における誤差関数値からの外れ値度合いを計算し、それが閾値を上回っているかどうかを判定し、これが成立するとき該当画素を動きベクトルＭＶ’の計算に入れない。或いは、第２動き探索処理部３０は、時間方向の画素値変化の平均と標準偏差に基づいて、各画素における画素値変化からの外れ値度合いを計算し、それが閾値を上回っているかどうかを判定し、これが成立するとき該当画素を動きベクトルＭＶ’の計算に入れない。このようにすることで、ある程度のローカル動きやノイズ的な輝度変化を除去し、グローバル動きベクトルＭＶ’として望ましい結果を得ることができる。

特に、実施例１（後述の他の実施例でも同様）では、１回目の処理結果や演算途中の情報を使用して、２回目のＬＫ法において外れ値除去を行なうので、１回目の処理結果や演算途中の情報を使用しない非特許文献１に記載の外れ値除去を含むＬＫ法の場合に比べて、処理量を少なくすることができる。そのため、ＬＫ法の高い計算実行効率を保ちながら、局所的な動被写体や照度変化等にロバストなグローバル動き探索処理を行なうことができる。

［グローバル動き探索処理装置の具体的な処理］
〔処理手順の全体概要〕
図２は、実施例１のグローバル動き探索処理装置３Ａが行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。

先ず、画像分割・選択処理部６０の画像分割部６２は、画像分割数Ｎの設定を受け付け（Ｓ１０）、処理対象フレーム画像（現画像ＣＩＭ）及び参照画像ＲＩＭを画像分割数Ｎに従って分割する（Ｓ１２：詳細は後述する）。尚、後述のように、横分割数Ｘと縦分割数Ｙの設定を受け付けて、これに基づいて画像分割数Ｎを設定してもよい。

次に、第１動き探索処理部１０は、各分割画像に対してＬＫ法を利用した１回目の動き探索処理（１stＭＥ）を行なう。具体的には、第１動き探索処理部１０は先ず分割画像番号と対応するオペレータｎを「０」にセットし（Ｓ２０）、ｎ（＝０）番目の分割画像に対してＬＫ法を利用した動き探索処理（１stＭＥ）を行なう（Ｓ２１：詳細は後述する）。第１動き探索処理部１０は、この「ｎ（＝０）」の元で行なった処理結果である動きベクトルＭＶ（Ｖｘ、Ｖｙ）を動きベクトルＭＤＶ（ＤＶｘ［ｎ］、ＤＶｙ［ｎ］）として記憶部５０に保存する（Ｓ２６）。そして、第１動き探索処理部１０は、オペレータｎを「１」インクリメントし、オペレータｎ＝Ｎ−１の処理が完了するまで同様の処理を繰り返す（Ｓ２０、Ｓ２８−Ｎ）。

第１動き探索処理部１０により全ての分割画像に対しての１回目の動き探索処理（１stＭＥ）が完了すると（Ｓ２８−Ｙ）、画像分割・選択処理部６０の分割画像選択部６６は、各分割画像の動き探索処理（１stＭＥ）の結果を用いて、信頼性の高い分割画像を選択する（Ｓ３０：詳細は後述する）。

次に、動き探索判定部２０は、第１動き探索処理部１０による１回目の動き探索処理結果及び途中の計算結果を使用して、グローバル動き探索処理ＧＭＥの難易度や信頼性を判定し、１回目の動き探索処理（１stＭＥ）が無効か否か（有効か）を判定する（Ｓ４０：詳細は後述する）。動き探索判定部２０は、グローバル動き探索処理ＧＭＥの難易度が高いと判断した場合は第１動き探索処理部１０による動き探索処理を無効とし（Ｓ４８−Ｙ）、１回目の動き探索処理結果である動きベクトルＭＶ（Ｖｘ＝ＤＶｘ、Ｖｙ＝ＤＶｘ）を「０：ゼロ」とし、これをグローバル動き探索処理ＧＭＥの結果（動きベクトルＭＶ）として出力する（Ｓ９２）。この場合、グローバル動き探索処理装置３Ａは、第２動き探索処理部３０による２回目のＬＫ法を実行する必要はなく、全体の処理を終了する。一方、動き探索判定部２０は、グローバル動き探索処理ＧＭＥの難易度が低いと判断した場合は第１動き探索処理部１０による動き探索処理を有効とし（Ｓ４８−Ｎ）、これを受けて、第２動き探索処理部３０は、１回目の動き探索処理結果及び途中の計算結果を使用して、２回目の動き探索処理を行なう（Ｓ５１：詳細は後述する）。第２動き探索処理部３０は、２回目の動き探索処理（２ndＭＥ）の結果である動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）をグローバル動き探索処理ＧＭＥの結果（動きベクトルＭＶ）として出力して、全体の処理を終了する（Ｓ９４）。第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が無効のときに（Ｓ４８−Ｙ）、第２動き探索処理部３０による２回目の動き探索処理（２ndＭＥ）を行なわないことにより、望ましくない動きベクトルＭＶを誤って使用することを防ぐとともに、処理量を削減することができる。

〔画像分割処理〕
図３〜図４は、画像分割・選択処理部６０の画像分割部６２による実施例１の画像分割処理（Ｓ１２）を説明する図である。ここで、図３は、画像分割部６２による画像分割処理の手順を説明するフローチャートである。図４は、図３に示した画像分割処理手順により分割される分割画像とその分割画像の位置を特定する座標情報との関係を説明する図である。尚、各分割画像の番号は、左上から左下へ、その後一列右側へ移動し、上から下へと云うように、左上を０番とし、右下を最終番（Ｎ−１）とするように処理する。

画像分割部６２は先ず、処理対象画像（現画像ＣＩＭ）及び参照画像ＲＩＭ（例えば処理対象画像の１フレーム前の画像）の幅Ｗ（画素数で規定）及び高さＨ（画素数で規定）、並びに、横分割数Ｘ及び縦分割数Ｙの設定を受け付ける（Ｓ１２０）。実施例１の画像分割処理手法は、画像を均等に分割する方法であり、横分割数Ｘ・縦分割数Ｙが画像分割数Ｎになる。

次に、画像分割部６２は、設定された横分割数Ｘ及び縦分割数Ｙに従って画像分割を行ない、各分割画像の位置を特定する座標情報を記憶部５０に保存する。具体的には、画像分割部６２は、横分割数Ｘに対応する配列変更要素ａを０から「Ｘ−１」までとし、縦分割数Ｙに対応する配列変更要素ｂを０から「Ｙ−１」までとして、分割画像の位置情報を算出して記憶部５０に記憶する２次元ループを開始する（Ｓ１２４）。当該処理に入ると、画像分割部６２は先ず配列変更要素ａ及び配列変更要素ｂをそれぞれ「０」にセットし（Ｓ１２４）、「ａ・Ｘ＋ｂ」番目の分割画像の位置を特定する垂直方向の座標情報Ｄｙ［ａ・Ｘ＋ｂ］及び水平方向の座標情報Ｄｘ［ａ・Ｘ＋ｂ］をそれぞれ計算する（Ｓ１２６）。例えば、各分割画像の左上頂点の座標情報を求めるべく、座標情報Ｄｘ［ａ・Ｘ＋ｂ］＝Ｗ／Ｘ・ａとし、座標情報Ｄｙ［ａ・Ｘ＋ｂ］＝Ｈ／Ｙ・ｂとする（Ｓ１２６）。ここで示した座標情報の算出式は例示であり、左下頂点や中心点等その他の算出式を用いてもよい。画像分割部６２は、求めた座標情報Ｄｘ［ａ・Ｘ＋ｂ］及び座標情報Ｄｙ［ａ・Ｘ＋ｂ］を１回目の動き探索処理（１stＭＥ）に使用するため、記憶部５０に保存する（Ｓ１２６）。そして、画像分割部６２は、ａ，ｂループが終了したか否かを判定し、終了していない場合にはステップＳ１２４に戻り（Ｓ１２８−Ｎ）、終了した場合には次ステップに移行する。即ち、画像分割部６２は、配列変更要素ａ或いは配列変更要素ａを「１」インクリメントし、配列変更要素ａ＝Ｘ−１及び配列変更要素ｂ＝Ｙ−１についての処理が完了するまで同様の処理を繰り返す（Ｓ１２８−Ｎ）。

例えば、図４には、水平方向の幅Ｗが１４００画素であり、垂直方向の高さＨが１０００画素である画像を、横分割数Ｘを２とし、縦分割数Ｙを２とし、全体として４分割する場合が例示されている。ａ＝０且つｂ＝０のときは、座標情報Ｄｘ［０・２＋０］＝１４００／２・０＝０であり、座標情報Ｄｙ［０・２＋０］＝１０００／２・０＝０である。つまり、「ａ・Ｘ＋ｂ」＝０番目の分割画像は左上であり、その分割画像の左上頂点の水平方向の座標情報Ｄｘ［０］＝０、垂直方向の座標情報Ｄｙ［０］＝０である。ａ＝０且つｂ＝１のときは、座標情報Ｄｘ［０・２＋１］＝１４００／２・０＝０であり、座標情報Ｄｙ［０・２＋１］＝１０００／２・１＝５００である。つまり、「ａ・Ｘ＋ｂ」＝１番目の分割画像は左下であり、その分割画像の左上頂点の水平方向の座標情報Ｄｘ［１］＝０、垂直方向の座標情報Ｄｙ［１］＝５００である。ａ＝１且つｂ＝０のときは、座標情報Ｄｘ［１・２＋０］＝１４００／２・１＝７００であり、座標情報Ｄｙ［１・２＋０］＝１０００／２・０＝０である。つまり、「ａ・Ｘ＋ｂ」＝２番目の分割画像は右上であり、その分割画像の左上頂点の水平方向の座標情報Ｄｘ［２］＝７００、垂直方向の座標情報Ｄｙ［２］＝０である。ａ＝１且つｂ＝１のときは、座標情報Ｄｘ［１・２＋１］＝１４００／２・１＝７００であり、座標情報Ｄｙ［１・２＋１］＝１０００／２・１＝５００である。つまり、「ａ・Ｘ＋ｂ」＝３番目の分割画像は右下であり、その分割画像の左上頂点の水平方向の座標情報Ｄｘ［３］＝７００、垂直方向の座標情報Ｄｙ［３］＝５００である。

〔１回目の動き探索処理（１stＭＥ）〕
図５は、第１動き探索処理部１０による実施例１の１回目の動き探索処理（Ｓ２１）を説明するフローチャートである。ここで示す動き探索処理は、ＬＫ法を増補したものであり、基本的には、第１動き探索処理部１０は次式（式（１）と記す）に従って動きベクトルＭＶ（Ｖｘ、Ｖｙ）を求める。尚、Ａｘｘ（＝Σ（Ｉ_x）²）、Ａｙｙ（＝Σ（Ｉ_y）²）、Ａｘｙ（＝Σ（Ｉ_x・Ｉ_y））、Ａｘｔ（＝Σ（Ｉ_x・Ｉ_t））、Ａｙｔ（＝Σ（Ｉ_y・Ｉ_t））、ｄｉｖ＝Ａｘｘ・Ａｙｙ−Ａｘｙ・Ａｘｙ＝Ａｘｘ・Ａｙｙ−（Ａｘｙ）²である。

以下、順を追って、説明する。第１動き探索処理部１０は先ず、現画像配列Ｉと参照画像配列Ｊを入力し、分割画像（分割画像番号のオペレータｎ）の幅Ｗ’（＝Ｗ/Ｘ）及び分割画像の高さＨ’（＝Ｈ/Ｙ）を得る（Ｓ２１０）。

次に、第１動き探索処理部１０は、１回目の処理計算のパラメータＡｘｘ、Ａｙｙ、Ａｘｙ、Ａｘｔ、Ａｙｔを初期値０に設定する（Ｓ２１２）とともに、パラメータＡｘ、Ａｙ、Ａｔ、Ａｔｔを初期値０に設定する（Ｓ２１４）。

次に、第１動き探索処理部１０は、分割画像（分割画像番号ｎ）の座標ｘをＤｘ［ｎ］からＤｘ［ｎ］＋Ｗ’−２、座標ｙをＤｙ［ｎ］からＤｙ［ｎ］＋Ｈ’−２として、画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の当該画素における画素値変化量（ここでは偏微分値を採用する）を算出して記憶部５０に記憶する２次元ループを開始する（Ｓ２１６）。「Ｗ’−２」や「Ｈ’−２」における「−２］はループ処理における最終の画素位置であり、適当に定めればよい。最後を分割画像の辺とする場合であれば最終画素位置と対応するように「−１」であればよいが（つまり、画像の幅Ｗ−１＝画像の最後の座標）、後述のように偏微分計算を行なう際には１つ先の画素をみるため、当該画素が辺の１つ手前までとなるように「−２」を使用する。

当該処理に入ると、第１動き探索処理部１０は、座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊの偏微分値Ｉ_x、Ｉ_y、Ｉ_tを算出し、その算出結果を記憶部５０に保存する（Ｓ２１８：詳細は後述する）。第１動き探索処理部１０は、算出した偏微分値Ｉ_x、Ｉ_y、Ｉ_tに基づいて、Ａｘｘ、Ａｙｙ、Ａｘｙ、Ａｘｔ、Ａｙｔを算出し、その算出結果を記憶部５０に保存する。具体的には、それぞれ直前ループで算出しておいた、Ａｘｘに当該画素のＩ_x・Ｉ_xを加算し、Ａｙｙに当該画素のＩ_y・Ｉ_yを加算し、Ａｘｙに当該画素のＩ_x・Ｉ_yを加算し、Ａｘｔに当該画素のＩ_x・Ｉ_tを加算し、Ａｙｔに当該画素のＩ_y・Ｉ_tを加算する（Ｓ２２０）。更には、第１動き探索処理部１０は、算出した偏微分値Ｉ_x、Ｉ_y、Ｉ_tに基づいて、本来ＬＫ法で必要としないＡｘ、Ａｙ、Ａｔ、Ａｙｔも算出し、その算出結果を記憶部５０に保存する。具体的には、それぞれ直前ループで算出しておいた、Ａｘに当該画素のＩ_xを加算し、Ａｙに当該画素のＩ_yを加算し、Ａｔに当該画素のＩ_tを加算し、Ａｔｔに当該画素のＩ_t・Ｉ_tを加算する（Ｓ２２２）。

第１動き探索処理部１０は、ｘ，ｙループが終了したか否かを判定し、終了していない場合にはステップＳ２１６に戻り（Ｓ２２４−Ｎ）、終了した場合には次ステップに移行する。即ち、第１動き探索処理部１０は、分割画像番号ｎの分割画像の全ての画素に対しての１回目の動き探索処理（１stＭＥ）が完了すると（Ｓ２２４−Ｙ）、算出したＡｘｘ、Ａｙｙ、Ａｘｙ、Ａｘｔ、Ａｙｔを用いて式（１）に従って動きベクトルＭＶ（Ｖｘ、Ｖｙ）を算出し（Ｓ２２６）、その算出結果を記憶部５０に保存する（Ｓ２２８）。

〔偏微分値算出処理〕
図６は、第１動き探索処理部１０による偏微分値算出処理（Ｓ２１８）を説明するフローチャートである。第１動き探索処理部１０は、座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊを得（Ｓ２３０）、その偏微分値Ｉ_x、Ｉ_y、Ｉ_tを求める（Ｓ２３２）。例えば、現画像Ｉに関して、当該画素に対して水平方向に１単位（１画素）ずれた（画素番号が１増分）画素の偏微分値Ｉ［ｙ］［ｘ＋１］と当該画素の偏微分値Ｉ［ｙ］［ｘ］との差分（＝Ｉ［ｙ］［ｘ＋１］−Ｉ［ｙ］［ｘ］）を偏微分値Ｉ_xとして求め、当該画素に対して垂直方向に１単位（１画素）ずれた（画素番号が１増分）画素の偏微分値Ｉ［ｙ＋１］［ｘ］と当該画素の偏微分値Ｉ［ｙ］［ｘ］との差分（＝Ｉ［ｙ＋１］［ｘ］−Ｉ［ｙ］［ｘ］）を偏微分値Ｉ_yとして求める。更に、第１動き探索処理部１０は、時間方向に１単位分ずれた現画像Ｉと参照画像Ｊとの同一画素の偏微分値Ｉ［ｙ］［ｘ］と偏微分値Ｊ［ｙ］［ｘ］の差分（＝Ｉ［ｙ］［ｘ］−Ｊ［ｙ］［ｘ］）を偏微分値Ｉ_tとして求める。第１動き探索処理部１０は、算出した各偏微分値Ｉ_x、Ｉ_y、Ｉ_tを記憶部５０に保存する（Ｓ２３４）。

〔分割画像選択処理〕
図７〜図８は、画像分割・選択処理部６０の分割画像選択部６６による実施例１の分割画像選択処理（Ｓ３０）を説明する図である。ここで、図７は、分割画像選択部６６による分割画像選択処理（Ｓ３０）を説明するフローチャートである。図８は、図７に示した分割画像選択処理手順により選択される分割画像及び分割画像番号の関係を説明する図である。図８（Ａ）には、１回目の動き探索処理（１stＭＥ）により記憶部５０に保存された全分割画像分の動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）並びにＡｘｘ、Ａｙｙ、Ａｘｙ、Ａｘｔ、Ａｙｔ、Ａｘ、Ａｙ、Ａｔ、Ａｔｔのアキュムレート値が示されている。［ｎ］は各分割画像の番号を示す。

分割画像選択部６６は先ず、他の分割画像の動きベクトルＭＤＶ（ＤＶｘ［ｎ］、ＤＶｙ［ｎ］）との差の配列Ｋ［ｎ］、分割画像番号の配列Ｔ［ｎ］を記憶部５０に確保するとともに、信頼性の高い分割画像の選択個数Ｍ（Ｍは全分割数Ｎ以下）を設定する（Ｓ３００）。分割画像の選択個数Ｍは動き推定処理ごとに変更が可能であるとする。選択個数Ｍを「全分割数Ｎ以下」としたのは、使い勝手を考慮したものである。例えば、画像全体の信頼性が高い場合には、選択個数ＭはＮを指定したい可能性がある。実施例１では、Ｍ＝Ｎでも問題なく実施でき、「分割画像の選択個数Ｍは動き推定処理ごとに変更が可能である」としておくことにより、選択個数Ｍを「全分割数Ｎ未満とすることに限らず、Ｍ＝Ｎの指定も可能である。Ｍ＝Ｎの場合は、画像分割及び画像選択の処理自体は実施されるが、実質上は、画像全体に対して、２回の動き探索処理（２回目は外れ値除去）をすることになる。但し、画像全体に対して、単純に同じ動き探索処理を２回繰り返すと云うものではない。

次に、分割画像選択部６６は、各分割画像の動き探索処理（１stＭＥ）の結果に基づく動きベクトルＭＤＶ（ＤＶｘ［ｎ］、ＤＶｙ［ｎ］（ｎは０から「Ｎ−１」、図８（Ａ）を参照））を用いて、オペレータｎを０から「Ｎ−１」まで、オペレータｍを０から「Ｎ−１」までとして、動きベクトル差の合計値Ｋ［ｎ］を算出して記憶部５０に記憶する２次元ループを開始する（Ｓ３０２）。当該処理に入ると、分割画像選択部６６は先ず、オペレータｎを０として、オペレータｍが０から「Ｎ−１」まで（ｎ＝ｍのときは処理不要）の水平方向及び垂直方向の各動きベクトル差の合計を動きベクトル差の合計値Ｋ［０］として算出して記憶部５０の配列に記憶する（Ｓ３０４）。具体的には（図８を参照して説明すると）、合計値Ｋ［０］を「０」に初期化し、オペレータｍを１として、Ｋ［０］＝｜（ＤＶｘ［０］−ＤＶｘ［１］）｜＋｜ＤＶｙ［０］−ＤＶｙ［１］｜を算出する。次に、オペレータｍを２としたときの｜（ＤＶｘ［０］−ＤＶｘ［２］）｜＋｜ＤＶｙ［０］−ＤＶｙ［２］｜を算出して、直前ループ（ｍ＝１）で算出しておいたＫ［０］にその算出結果を加算する。更に、オペレータｍを３としたときの｜（ＤＶｘ［０］−ＤＶｘ［３］）｜＋｜ＤＶｙ［０］−ＤＶｙ［３］｜を算出して、直前ループ（ｍ＝２）で算出しておいたＫ［０］にその算出結果を加算することにより、最終的な動きベクトル差の合計値Ｋ［０］を求めて記憶部５０に記憶する。同様にして、オペレータｎを１から「Ｎ−１」まで繰り返すことにより、動きベクトル差の合計値Ｋ［１］、動きベクトル差の合計値Ｋ［２］、動きベクトル差の合計値Ｋ［３］をそれぞれ求めて記憶部５０の各配列に記憶する（図８（Ｂ）を参照）。

そして、分割画像選択部６６は、ｎ，ｍループが終了したか否かを判定し、終了していない場合にはステップＳ３０２に戻り（Ｓ３０６−Ｎ）、終了した場合にはソート処理に移行する（Ｓ３０６−Ｙ）。ソート処理に入ると分割画像選択部６６は、オペレータｎを０から「Ｎ−１」までとして（Ｓ３１０）、求めた動きベクトル差の合計値Ｋ［ｎ］（ｎは０からＮ−１：図８（Ｂ）ではＫ［０］、Ｋ［１］、Ｋ［２］、Ｋ［３］）をソートキーとしてソートする１次元ループを開始する（Ｓ３１２）。この動きベクトル差の合計値Ｋ［ｎ］のソートを行なう際には、各分割画像番号Ｔ［ｎ］も併せてソートを行なう（図８（Ｃ）を参照）。図８（Ｃ）に示した例では、Ｋ［２］＜Ｋ［３］＜Ｋ［１］＜Ｋ［０］であり、この結果に基づいて、動きベクトル差の合計値Ｋ［ｎ］は、Ｋ［２］→Ｋ［３］→Ｋ［１］→Ｋ［０］の順にソートされ、これに対応して分割画像番号Ｔ［ｎ］は、Ｔ［０］＝２→Ｔ［１］＝３→Ｔ［２］＝１→Ｔ［３］＝０の順にソートされる。

そして、分割画像選択部６６は、ｎループが終了したか否かを判定し、終了していない場合にはステップＳ３１０に戻り（Ｓ３１４−Ｎ）、終了した場合には画像選択処理に移行する（Ｓ３１４−Ｙ）。画像選択処理に入ると、分割画像選択部６６は、選択分割画像番号の配列Ｄｎ［ｎ］を記憶部５０に確保するとともに、オペレータｎを０から「Ｍ−１」までとして（Ｓ３２０）、ソートした動きベクトル差の合計値Ｋ［ｎ］（ｎは０からＮ−１：図８（Ｂ）ではＫ［０］、Ｋ［１］、Ｋ［２］、Ｋ［３］）に基づいて、Ｍ個分の分割画像を選択する１次元ループを開始する。この選択処理に入ると、分割画像選択部６６は、ソートの結果に基づき、他分割画像との動きベクトルＭＤＶの差（ここでは動きベクトル差の合計値Ｋ［ｎ］）が小さい分割画像の番号を、選択個数（Ｍ個）分、選択して、その分割画像番号Ｔ［ｎ］の情報を記憶部５０の選択分割画像番号の配列Ｄｎ［ｎ］に保存する（Ｓ３３２：図８（Ｄ）を参照）。そして、分割画像選択部６６は、ｎループが終了したか否かを判定し、終了していない場合にはステップＳ３２０に戻り（Ｓ３２４−Ｎ）、終了した場合には分割画像選択処理を終了する（Ｓ３２４−Ｙ）。図８（Ｄ）に示した例では、選択個数Ｍは２であり、選択分割画像番号Ｄｎ［０］＝Ｔ［０］＝２、選択分割画像番号Ｄｎ［１］＝Ｔ［１］＝３が保存される。

〔動き探索の有効無効判定処理〕
図９は、実施例１の動き探索判定部２０による動き探索処理の有効無効判定処理を説明するフローチャートである。動き探索判定部２０は先ず、処理対象画像（現画像ＣＩＭ）及び参照画像ＲＩＭ（例えば処理対象画像の１フレーム前の画像）の幅Ｗ（画素数で規定）及び高さＨ（画素数で規定）並びに全分割数Ｎの情報を取得する（Ｓ４００）。例えば、ステップＳ１２０での設定情報を利用する。

次に、動き探索判定部２０は、１回目の動き探索処理（１stＭＥ）の結果を受けて記憶部５０に保存された全分割画像分の動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）並びにＡｘｘ（＝Σ（Ｉ_x）²）、Ａｙｙ（＝Σ（Ｉ_y）²）、Ａｘｙ（＝Σ（Ｉ_x・Ｉ_y））、Ａｘｔ（＝Σ（Ｉ_x・Ｉ_t））、Ａｙｔ（＝Σ（Ｉ_y・Ｉ_t））、Ａｘ（＝ΣＩ_x）、Ａｙ（＝ΣＩ_y）、Ａｔｔ（＝Σ（Ｉ_t）²）のアキュムレート値を取得する（図８を参照）（Ｓ４０２）。

次に、動き探索判定部２０（標準偏差判定部２２及び画素値変化判定部２４）は、幅Ｗ、高さＨ、全分割数Ｎ、全分割画像の動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）、Ａｘｔ、Ａｙｔ、Ａｘ、Ａｙ、Ａｔｔを用いて、式（２）に従って、誤差関数値の標準偏差Ｓｅ（＝ＬＫ法における誤差関数値の画像全体に亘る分布の標準偏差σｅ）及び画素値変化の絶対値Ｄ（＝１画素当たりの時間方向の画素値変化の絶対値δ）を算出する（Ｓ４０４）。因みに、全分割数Ｎは、ＤＶｘ［０］〜ＤＶｘ［Ｎ−１］の平均ＶｘaveやＤＶｙ［０］〜ＤＶｙ［Ｎ−１］の平均Ｖｙaveを算出する際に使用される。Ｆ（α，β，γ，…）は各パラメータα，β，γ，…の関数式であることを示している。パラメータα，β，γ，…は、他の関数式で示される計算値も含む。ここでは具体的な関数式は示さない。又、ここで示しているＦ（α，β，γ，…）も一例である。又、分布平均ＭｅはＬＫ法における誤差関数値の画面全体に亘る分布の平均である。

次に、動き探索判定部２０（の標準偏差判定部２２）は、予め設定された閾値で、標準偏差Ｓｅの閾値判定を行なう（Ｓ４２０）。動き探索判定部２０は、閾値判定の結果、標準偏差Ｓｅが閾値より高いと判定した場合は第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が無効であると判定して処理を終了する（Ｓ４２２−High、Ｓ４４０）。標準偏差判定部２２が、その閾値判定の結果、標準偏差Ｓｅが閾値より低いと判定した場合は、画素値変化判定部２４は、予め設定された閾値で、画素値変化の絶対値Ｄの閾値判定を行なう（Ｓ４２２−Low、Ｓ４３０）。動き探索判定部２０は、閾値判定の結果、画素値変化の絶対値Ｄが閾値より高いと判定した場合は第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が無効であると判定する（Ｓ４３２−High、Ｓ４４０）。動き探索判定部２０は、閾値判定の結果、画素値変化の絶対値Ｄが閾値より低いと判定した場合は、第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が有効であると判定する（Ｓ４３２−Low、Ｓ４４２）。

尚、ここでは、誤差関数値の標準偏差Ｓｅ及び画素値変化の絶対値Ｄを算出してから、標準偏差Ｓｅや絶対値Ｄの閾値判定を行なっているが、標準偏差Ｓｅと絶対値Ｄの何れか一方の算出と閾値判定を行なってから、他方の算出と閾値判定を行なうように変形してもよい。又、精度は劣るが、標準偏差Ｓｅと絶対値Ｄの何れか一方のみの算出と閾値判定を行なうように変形してもよい。

このような実施例１の動き探索の有効無効判定処理によれば、標準偏差Ｓｅの閾値判定により、画像内のローカル動きが大き過ぎるときに出易い望ましくない動きベクトルＭＶを誤って使用することを防ぐことができし、画素値変化の絶対値Ｄの閾値判定により、画像の照度変化が大き過ぎるときに出易い望ましくない動きベクトルＭＶを誤って使用することを防ぐこともできる。尚、閾値判定する際に、過去の標準偏差Ｓｅや絶対値Ｄも用いて平均化フィルタをかけたあとに閾値判定するとより望ましい結果が得られる。更に、ヒステリシス性をもった閾値判定をするとより望ましい結果が得られる。

〔２回目の動き探索処理（２ndＭＥ）〕
図１０は、第２動き探索処理部３０による実施例１の２回目の動き探索処理（Ｓ５１）を説明するフローチャートである。

ここで示す２回目の動き探索処理は、１回目の動き探索処理（１stＭＥ）と同様にＬＫ法を増補したものであり、基本的には、動き探索判定部２０は式（１）に従って動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）を求める。但し、２回目の動き探索処理（２ndＭＥ）は、計算処理を画像全体に対して行なう点と、特定の画素において加算値Σを算出しない、即ち、「画像全体に亘って加算」をとらないという点が、１回目の動き探索処理（１stＭＥ）と異なる。

その加算値Σの計算に入れない特定の画素を判断するために、第２動き探索処理部３０は先ず、現画像Ｉと参照画像Ｊを得、又、各画像の幅Ｗ（画素数で規定）及び高さＨ（画素数で規定）並びに全分割数Ｎ及び分割画像の選択個数Ｍの情報を取得する（Ｓ５１０）。例えば、ステップＳ１２０やステップＳ３００での設定情報を利用する。

次に、第２動き探索処理部３０は、１回目の動き探索処理（１stＭＥ）の結果を受けて記憶部５０に保存された全分割画像分の内、分割画像選択部６６により選択されたもの（選択分割画像）のそれぞれについての、動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）、選択した分割画像番号Ｄｎ、並びに、Ａｘｘ（＝Σ（Ｉ_x）²）、Ａｙｙ（＝Σ（Ｉ_y）²）、Ａｘｙ（＝Σ（Ｉ_x・Ｉ_y））、Ａｘｔ（＝Σ（Ｉ_x・Ｉ_t））、Ａｙｔ（＝Σ（Ｉ_y・Ｉ_t））、Ａｘ（＝ΣＩ_x）、Ａｙ（＝ΣＩ_y）、Ａｔ（＝ΣＩ_t）、Ａｔｔ（＝Σ（Ｉ_t）²）のアキュムレート値を取得する（図８を参照）（Ｓ５１２）。

次に、第２動き探索処理部３０は、幅Ｗ、高さＨ、全分割数Ｎ、選択個数Ｍ、選択分割画像の動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）、Ｄｎ、Ａｘｘ、Ａｙｙ、Ａｘｙ、Ａｘｔ、Ａｙｔ、Ａｘ、Ａｙ、Ａｔ、Ａｔｔを用いて、式（３）に従って、誤差関数値の分布平均Ｍｅ’及び標準偏差Ｓｅ’、画素値変化の分布平均Ｍｉ’及び標準偏差Ｓｉ’を算出する（Ｓ５１４）。ここで、誤差関数値の分布平均Ｍｅ’は、ＬＫ法における誤差関数値の選択画像内の分布の平均μｅ’である。誤差関数値の標準偏差Ｓｅ’は、ＬＫ法における誤差関数値の選択画像内の分布の標準偏差σｅ’である。画素値変化の分布平均Ｍｉ’は、時間方向の画素値変化の選択画像内の分布の平均μｉ’である。画素値変化の標準偏差Ｓｉ’は時間方向の画素値変化の選択画像内の分布の標準偏差σｉ’である。因みに、代表特徴値算出部３８は、選択された分割画像での動きベクトルの平均値（代表動きベクトルＤＶｘave，ＤＶｙave）を代表特徴量として算出する。例えば、代表特徴値算出部３８は、ＤＶｘ［０］〜ＤＶｘ［Ｎ−１］、選択個数Ｍ、分割画像番号Ｄｎを使用して、平均ＤＶｘave（選択された分割画像の動きベクトル水平方向の平均）を算出し、ＤＶｙ［０］〜ＤＶｙ［Ｎ−１］、選択個数Ｍ、分割画像番号Ｄｎを使用して、平均ＤＶｙave（選択された分割画像の動きベクトル垂直方向の平均）を算出する。ＤＶｘave、ＤＶｙaveの算出方法としては、Ｄｎ［０〜Ｍ−１］に基づいて、選択された各分割画像のＤＶｘ、ＤＶｙを加算し、加算結果を選択個数Ｍで割ることにより求まる。

次に、第２動き探索処理部３０は、２回目の処理計算のパラメータＡｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’を初期値０に設定する（Ｓ５１６）。次に、第２動き探索処理部３０は、画像の座標ｘを０からＷ−２、座標ｙを０からＨ−２として、画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の当該画素における画素値変化量（ここでは偏微分値と採用する）を算出して記憶部５０に記憶する２次元ループを開始する（Ｓ５１８）。当該処理に入ると、第２動き探索処理部３０は、座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊの偏微分値Ｉ’_x、Ｉ’_y、Ｉ’_tを算出し、その算出結果を記憶部５０に保存する（Ｓ５２０９）。この偏微分値算出処理の詳細は、１回目の１回目の動き探索処理（１stＭＥ）における偏微分値算出処理（Ｓ２１８）と同様である（図６を参照）。

次に、第２動き探索処理部３０は、算出した偏微分値Ｉ’_x、Ｉ’_y、Ｉ’_tに基づいて、Ａｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’を算出し直すループ（Ｓ５１８〜Ｓ５３４）で、次の条件式を評価する条件分岐を導入する（Ｓ５２２、Ｓ５２４）。具体的には、第２動き探索処理部３０は、ＬＫ法における誤差関数値の分布平均Ｍｅ’に対する各画素における誤差関数値に関する外れ値度合いを、式（４）に従って計算する。第２動き探索処理部３０は、予め設定された閾値で、この誤差関数値に関する外れ値度合いの閾値判定を行なう（Ｓ５２２）。「予め設定された閾値」としては、例えば標準偏差Ｓｅ’を使用する。誤差関数値に関する外れ値度合いが閾値を上回っている場合には、加算値Σをとらずに次の画素に進む（Ｓ５２２−Ｙ）。

誤差関数値に関する外れ値度合いが閾値を上回っていない場合には（Ｓ５２２−Ｎ）、第２動き探索処理部３０は、ＬＫ法における誤差関数値の分布平均Ｍｉ’に対する各画素における画素値変化に関する外れ値度合いを、式（５）に従って計算する。第２動き探索処理部３０は、予め設定された閾値で、この画素値変化に関する外れ値度合いの閾値判定を行なう（Ｓ５２４）。「予め設定された閾値」としては、例えば標準偏差Ｓｉ’を使用する。画素値変化に関する外れ値度合いが閾値を上回っている場合には、加算値Σをとらずに次の画素に進む（Ｓ５２４−Ｙ）。

画素値変化に関する外れ値度合いが閾値を上回っていない場合には（Ｓ５２４−Ｎ）、第２動き探索処理部３０は、算出した偏微分値Ｉ’_x、Ｉ’_y、Ｉ’_tに基づいて、Ａｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’を算出し、その算出結果を記憶部５０に保存する。具体的には、それぞれ直前ループで算出しておいた、Ａｘｘ’に当該画素のＩ’_x・Ｉ’_xを加算し、Ａｙｙ’に当該画素のＩ’_y・Ｉ’_yを加算し、Ａｘｙ’に当該画素のＩ’_x・Ｉ’_yを加算し、Ａｘｔ’に当該画素のＩ’_x・Ｉ’_tを加算し、Ａｙｔ’に当該画素のＩ’_y・Ｉ’_tを加算する（Ｓ５３０）。

第２動き探索処理部３０は、ｘ，ｙループが終了したか否かを判定し、終了していない場合にはステップＳ５１８に戻り（Ｓ５３４−Ｎ）、終了した場合には次ステップに移行する。即ち、第２動き探索処理部３０は、分割画像番号Ｄｎの分割画像の全ての画素に対しての２回目の動き探索処理（２ndＭＥ）が完了すると（Ｓ５３４−Ｙ）、算出したＡｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’を用いて式（１）に従って動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）を算出し（Ｓ５３６）、その算出結果を記憶部５０に保存する（Ｓ５３８）。

このような実施例１の２回目の動き探索処理（２ndＭＥ）によれば、誤差関数値に関する外れ値度合いと画素値変化に関する外れ値度合いの何れか一方或いは両方の閾値判定が成立した場合は加算値Σをとらずに次の画素に進む。このようにすることで、ある程度のローカル動きやノイズ的な輝度変化を除去し、グローバル動きベクトルＭＶとして望ましい結果を得ることができる。

又、２回目の動き探索処理において、１回目の動き探索処理の結果や途中のパラメータを使用することにより、ＬＫ法の高い計算実行効率を保ちながら、局所的な動被写体や照度変化等にロバストなグローバル動き探索を行なうことができる。１回目の動き探索処理の結果や途中のパラメータを使用せずに、２回目の動き探索処理（外れ値除去を含む）を実現する方法としては、例えば次の２つが考えられる。

第１例は、ＬＫ法による１回目の動き探索処理→外れ値除去を行うため演算（或いは、外れ値除去処理）→ＬＫ法による２回目ＬＫ（外れ値除去含む）という手順である。ここで、「外れ値除去を行うため演算」とは、実施例１に則して説明すると、誤差関数値の分布平均Ｍｅ’及び標準偏差Ｓｅ’並びに画素値変化の分布平均Ｍｉ’及び標準偏差Ｓｉ’を求めるために、再度全画素で計算を行なうことである。これは、動きベクトルＭＶを求めるための算出ではＡｘ、Ａｙ、Ａｔ、Ａｔｔは使用していないために必要となる処理である。この場合、外れ値除去を行うため演算（或いは、外れ値除去処理）の工程が増える分、処理量が多くなる。これに対して、実施例１では、ＬＫ法による１回目の動き探索処理の演算で予め算出した値を、ＬＫ法による２回目の動き探索処理で使用することにより、処理量を少なくすることを実現することができる。

又、第２例は、非特許文献１に記載の技術において、ＬＫ法による２回の動き探索処理を実施する方法である。この場合は、ＬＫ法による１回目の動き探索処理を画像分割して行ない、各分割画像の結果で演算を行ない、外れ値除去処理を行ない、その後、その外れ値除去結果を使用して、ＬＫ法による２回目の動き探索処理を実施することになる。そのため、実施例１に比べて、各分割画像の結果を使用する外れ値除去処理が必要となるため、処理が多くなる。

このように、実施例１では、外れ値除去に使用するパラメータを、１回目の動き探索処理の演算過程（ベクトルを求める演算中）に求めて記憶部５０に格納しておくことにより、その結果を２回目の動き探索処理で使用することができる。ＬＫ法では、演算途中で使用するパラメータが多いため、追加演算も少ない。２回目の動き探索処理では、記憶部５０に格納されている、結果途中のパラメータを使用することにより、外れ値除去に使用するパラメータの演算を実施することなく外れ値除去処理を行なうことができるため、全体としての処理量を少なくすることができる。

又、通常のＬＫ法は、結果として動きベクトルを算出するのみであり、算出する際の水平方向の画素値変化量、垂直方向の画素値変化量、時間方向の画素値変化量の何が起因して、動きベクトルが変化したかを判断することはできない。これに対して、実施例１では、１回目の動き探索処理の結果や途中のパラメータを使用することにより、どのパラメータが起因して動きベクトルが変化したかを判別することができる。例えば、時間方向の画素値変化（＝フレーム間の輝度の変化）を見ることにより、動きベクトルが変化したのが、照度変化が原因かどうかを判断し、その判断結果に応じた外れ値除去処理を行なうことにより、照度変化に対するロバスト性を高めることができる。

ここでは、誤差関数値の分布平均Ｍｅ’及び標準偏差Ｓｅ’並びに画素値変化の分布平均Ｍｉ’及び標準偏差Ｓｉ’を算出してから、標準偏差の外れ値を算出して閾値判定を行ない、又、画素値変化の外れ値を算出して閾値判定を行なっているが、標準偏差と画素変化値の何れか一方に関する各値の算出と閾値判定を行なってから、他方の算出と閾値判定を行なうように変形してもよい。又、多少精度は劣るが、標準偏差と画素値変化の何れか一方のみに関する各値の算出と閾値判定を行なうように変形してもよい。

尚、以下は容易に想像可能なバリエーションであり、本開示の技術に含まれる。先ず、動き探索処理の繰返し回数を２回にした場合で説明したが、繰返し数を更に増やしても適用可能である。又、並進移動成分のみの動きベクトルＭＶの推定だけではなく、回転拡大を含めたアフィンパラメータ推定（これについては後述する）や射影変換行列推定に適用したバージョンも適用可能である。

以上説明したように、実施例１によれば、ＬＫ法の高い計算実行効率を保ちながら、局所的な動被写体や照度変化等にロバストなグローバル動き探索処理ＧＭＥを行なうことができる。又、画像分割手法を用いるが、信頼性の高い画素の情報の破棄をすることがないため、精度の高い動き推定を行なうことができる。画像全体のＬＫ法による動き推定ではローカル動きベクトルＭＶを求めないためロバスト性が向上できないが、実施例１のようなＬＫ法で実施した場合、ロバスト性が高い動き推定を行なうことができる。ＬＫ法を使用することで、少ない計算量で動き推定を行なうことができる。

本実施形態のグローバル動き探索処理ＧＭＥで得られる動き推定の結果に基づいて、動き推定を行なった画像を、記録、加工することができる。これにより、本実施形態のグローバル動き探索処理ＧＭＥを、画像全体の動き推定や位置合わせ等を行なう処理（例えば、超解像、時間軸合成、画揺れ補正、３次元ノイズリダクション、高ダイナミックレンジ、パノラマスティッチング、ステレオ視マッチング、流し撮り（動物体のスチル化）、動画像符号化等の信号処理）に適用することができる。勿論、これらの信号処理に限らず、本開示の技術の要旨を逸脱しない限り、適宜、変更し得ることはいうまでもない。

本実施形態のグローバル動き探索処理ＧＭＥは、精度の高い画像補正情報を算出できるため、超解像処理や時間軸合成処理等に適用すると、正確な画像処理を行なうことができる。例えば、デジタルスチルカメラやデジタルムービーカメラ等における画揺れ補正（ＤＩＳ：Digital Image Stabilizer）に適用する場合、入力画像の縮小画像だけでグローバル動き探索処理ＧＭＥが可能であるので、より少ない計算資源で実現可能である。或いは、ブロックマッチング手法をとる場合、通常は専用のハードウェアを持つことが多いが、本開示の技術であれば、一般的な画像縮小回路と汎用メモリとプロセッサがあれば十分である。このような効果を有する固体撮像装置は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。

［撮像装置の構成例］
図１１は、画像分割を行ない信頼性の高い分割画像を選択することでロバストであり且つ精度の高い動き推定を行なうことのできる前述のグローバル動き探索処理ＧＭＥを適用した画像処理装置を備える撮像装置の構成例を示す図である。

実施例１のグローバル動き探索処理装置３Ａによる動き推定アルゴリズムを前処理として用いることができる画像処理装置１Ａ及びそのアルゴリズムを搭載する撮像装置５が構成される。撮像装置５は、カメラ信号処理装置として機能する画像処理装置１Ａの他に、固体撮像装置７及び光学系９を備えている。撮像部７は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像デバイスで成る撮像部、撮像部の光入射側に配置された光学ローパスフィルタ及び色フィルタ群、撮像部を駆動する駆動制御部、撮像信号を処理して画像信号として出力する信号処理部等（何れも図示しない）で構成される。光学系９は、固体撮像装置７の撮像部の撮像領域に入射光を導く（被写体像を結像する）ものであり、例えば入射光（像光）を集光して撮像部の撮像面上に結像させる（投射する）撮像レンズ９１を有する。

画像処理装置１Ａは、グローバル動き探索処理装置３Ａからの動きベクトルＭＶ’を利用して画揺れ補正（ＤＩＳ：Digital Image Stabilizer）を行なう機能を備えており、グローバル動き探索処理装置３Ａの他に前段信号処理装置１４０（第１の信号処理部を含む）及び後段信号処理装置１５０（第２の信号処理部）を有する。前段信号処理装置１４０は、撮像装置５により取得された画像信号を信号処理して、グローバル動き探索処理装置３Ａ用と後段信号処理装置１５０用との２系統（２系統以上でもよい）の画素値信号を生成する。グローバル動き探索処理装置３Ａは、前述のようにして、前段信号処理装置１４０から入力された画素値信号で表された現画像ＣＩＭと参照画像ＲＩＭに基づいて動きベクトルＭＶ’（画像の動き情報）を算出する。後段信号処理装置１５０は、グローバル動き探索処理装置３Ａから入力される動きベクトルＭＶ’を使用して、前段信号処理装置１４０から入力された画素値信号に対して信号処理（特に画揺れ補正機能に関わるもの）を行ない映像信号として出力する。

［電子機器への適用例］
前記の固体撮像装置或いは撮像装置は、デジタルカメラ（電子スチルカメラ）、ビデオカメラ（デジタルムービー）、ゲーム機、電子ブック、電子辞書、携帯電話機等の各種の電子機器に適用することができる。又、電子機器は、その処理対象画像として、前記の固体撮像装置或いは撮像装置で取得された画像を処理対象画像とすることに限らず、各種の記憶媒体から読み出した画像や、通信網を介して取得した画像を処理対象画像とすることもできる。

例えば、電子機器が、画像表示装置の一例である表示モジュール（液晶表示装置や有機ＥＬ表示装置）を利用したテレビジョン受像機の場合が挙げられる。テレビジョン受像機は、例えば台座に支持されたフロントパネルの正面に表示モジュールを配置した構造となっており、表示面にはフィルターガラスが設けられている。このテレビジョン受像機には、固体撮像装置を含む動体検出用の撮像装置が表示面側に設けられ、実施例１で提案した撮像装置（詳しくはグローバル動き探索処理装置３Ａ）の技術がそのまま適用可能である。或いは、電子機器がデジタルカメラの場合が挙げられる。デジタルカメラは、表示モジュール、コントロールスイッチ、シャッターボタン、その他を含んでいる。デジタルカメラには固体撮像装置を含む撮像装置が搭載され、実施例１で提案した撮像装置（詳しくはグローバル動き探索処理装置３Ａ）の技術がそのまま適用可能である。或いは、電子機器がビデオカメラの場合が挙げられる。ビデオカメラは、本体の前方に被写体を撮像する撮像レンズが設けられ、さらに、表示モジュールや撮影のスタート／ストップスイッチ等が配置されている。ビデオカメラには固体撮像装置が搭載されており、前述の撮像装置が適用された形態となり、実施例１で提案した撮像装置（詳しくはグローバル動き探索処理装置３Ａ）の技術がそのまま適用可能である。或いは、電子機器が携帯電話機の場合が挙げられる。携帯電話機は、例えば折り畳み式であり、上側筐体、下側筐体、表示モジュール、サブディスプレイ、カメラ、連結部（ヒンジ部）、ピクチャーライト等を含む。そして、携帯電話機のカメラに関して、前記の固体撮像装置を含む撮像装置が適用された形態となり、実施例１で提案した撮像装置（詳しくはグローバル動き探索処理装置３Ａ）の技術がそのまま適用可能である。或いは、電子機器がノート型のコンピュータの場合が挙げられる。コンピュータは、下型筐体、上側筐体、表示モジュール、Ｗｅｂカメラ、キーボード等を含む。そして、コンピュータのＷｅｂカメラに関して、前記の固体撮像装置を含む撮像装置が適用された形態となり、実施例１で提案した撮像装置（詳しくはグローバル動き探索処理装置３Ａ）の技術がそのまま適用可能である。

［画像処理装置の構成例］
図１２は、撮像装置５に組み込まれた画像処理装置１Ａの詳細構成例を説明する図である。前段信号処理装置１４０は、画像を記憶する第１記憶部１４２及び第２記憶部１４４、並びに、縮小処理と平滑化処理を行なう縮小平滑化部１４６（第１の信号処理部）を有する。第１記憶部１４２や第２記憶部１４４としては、記憶媒体としてフラッシュメモリ等を使用する半導体メモリ、半導体メモリを用いるストレージ装置（ＳＳＤ：Solid State Drive）、ハードディスク装置、光や磁気等を利用したＭＯやＤＶＤ−ＲＡＭ等の可搬型の記憶媒体等を利用することができる。後段信号処理装置１５０は、動きベクトルフィルタ１５２及び画像切出部１５４を有する。後段信号処理装置１５０は、第１記憶部１４２から読み出した画像に対して、第２記憶部１４４から読み出した画像全体に対しての動き探索処理（グローバル動き探索処理装置３Ａによる）の結果を参照して動き補正処理を行なうことにより、安定化した画像シーケンスを出力する。

第１記憶部１４２には、入力された画像シーケンスＩ（ｘ，ｙ，ｔ）に基づき、画像が１枚ずつ格納される。第２記憶部１４４には、縮小平滑化部１４６により縮小処理及び平滑化処理が施された画像が格納される。第１記憶部１４２に格納された画像は後段信号処理装置１５０（の画像切出部１５４）により読み出される。第２記憶部１４４に格納された画像（現画像ＣＩＭ及び参照画像ＲＩＭ）はグローバル動き探索処理装置３Ａにより読み出される。画像を縮小することによりグローバル動き探索処理ＧＭＥの計算量が減り、又、平滑化処理と組み合わせることによりノイズに強く精度のよい動きベクトルＭＶ’を取得することができる。第１記憶部１４２及び第２記憶部１４４を備えることで、グローバル動き探索処理装置３Ａによる動き探索処理の経路の時間遅れ（詳しくは動きベクトルＭＶ’が出力されるまでの時間遅れ）と、第１記憶部１４２からの画像読出しとの同期をとることができる。

グローバル動き探索処理装置３Ａは、第２記憶部１４４から最新入力画像の縮小平滑化画像（現画像ＣＩＭ）と１つ過去の画像の縮小平滑化画像（参照画像ＲＩＭ）を読み出し、グローバル動き探索処理ＧＭＥの結果として得られる動きベクトルＭＶ’を動きベクトルフィルタ１５２に出力する。動きベクトルフィルタ１５２は、現画像ＣＩＭ及び参照画像ＲＩＭを補正ベクトルに変換する。動きベクトルフィルタ１５２は、例えば最も単純なケースでは、積分フィルタ処理（入力された動きベクトルＭＶ’の系列を順次加算していくだけ）を行ない、画像切出部１５４に出力する。画像切出部１５４は、最新入力画像（現画像ＣＩＭ）を第１記憶部１４２から読み出し、動きベクトルフィルタ１５２からの補正ベクトルに従って切出し及び拡大（或いは単に切出し）を行なうことにより、画揺れ補正が施された安定化画像シーケンスを生成して出力する。つまり、後段信号処理装置１５０は、動きベクトルフィルタ１５２において、動きベクトルＭＶ’の時系列にデジタルフィルタをかけて補正ベクトルとし、画像切出部１５４において、補正ベクトルで示された位置に従って、元の入力画像から一定の割合の大きさの部分を切り出し、又は、切出し及び拡大することにより、画揺れ補正が施され安定化した画像シーケンスを出力する。

尚、ここでは、グローバル動き探索処理装置３Ａを撮像装置５の画揺れ補正機能に利用する形態で説明したが、これに限らず、グローバル動き探索処理装置３Ａは、超解像処理、時間軸合成処理、高ダイナミックレンジ処理、パノラマスティッチング処理、ステレオ視マッチング処理等にも利用することができる。

超解像処理を行なう撮像装置としては、例えば、特開２００９−０７６９８４号公報に記載の技術を参照するとよい。高ダイナミックレンジ処理を行なう撮像装置としては、例えば、特開２０１０−６２７８５号公報に記載の技術を参照するとよい。パノラマスティッチング処理を行なう撮像装置としては、例えば、特開２００９−３３３９２号公報に記載の技術を参照するとよい。ステレオ視マッチング処理を行なう撮像装置としては、例えば、特開２００６−３１３４４５号公報に記載の技術を参照するとよい。時間軸合成処理は、パノラマスティッチング処理、超解像処理、高ダイナミックレンジ処理を包含する技術であり、時間軸合成処理を行なう撮像装置としては、例えばそれら各処理を行なう撮像装置を組み合わせればよい。

［グローバル動き探索処理装置及び画像処理装置］
図１３は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例２を説明する図である。実施例２は、前述の実施例１とは異なり、画像の動き情報として、平行移動情報のみではなく、アフィン情報を出力ことにより、２枚画像間の回転、スケーリング（拡大・縮小）、シアー（スキュー、剪断変形）、平行移動の情報を算出することができる点に特徴がある。

図１３に示すように、実施例２の画像処理装置１Ｂはグローバル動き探索処理装置３Ｂを有する。実施例２のグローバル動き探索処理装置３Ｂは、現画像ＣＩＭと参照画像ＲＩＭ（例えば１フレーム前の画像）の２枚の画像を取り込んで１組のアフィン情報を出力する。グローバル動き探索処理ＧＭＥの基本的な処理シーケンスは実施例１と同様に実現できるが、１組の動きベクトルＭＶ’ではなく、１組のアフィン情報を出力する点が実施例１と異なる。

〔処理手順の全体概要〕
図１４は、実施例２のグローバル動き探索処理装置３Ｂが行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。凡その手順は図２に示した実施例１の手順と同じであるが、ステップＳ２１とステップＳ３０とステップＳ５１では、実施例２に特有の処理を行なう点が異なる。以下では、実施例１との相違を明確にするため、これらのステップに参照子Ｂを付して示す（図も同様である）。

例えば、第１動き探索処理部１０は、分割画像番号と対応するオペレータｎを「０」にセットし（Ｓ２０）、ｎ（＝０）番目の分割画像に対してＬＫ法を利用した動き探索処理（１stＭＥ）を行ない、その処理結果として、アフィン情報を算出し、分割領域ごとに記憶部５０に保存する（Ｓ２１Ｂ）。

ここで、アフィン変換は、平行移動及び回転変換（ユークリッド変換）に拡大縮小変換を加えた相似変換に、シアー（スキュー、剪断変形）を許すような変換であり、元の図形で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行線である等、幾何学的性質が保たれる変換である。周知のように、アフィン変換を行なうためのアフィン行列の行列要素ａij（ｉ＝１，２、ｊ＝１，２）は、回転、拡大縮小、シアーを決定するパラメータを表し、ｂ₁及びｂ₂は平行移動パラメータを表す。つまり、第１動き探索処理部１０において計算すべきアフィン変換のパラメータは、ａ₁₁、ａ₁₂、ａ₂₁、ａ₂₂及びｂ₁、ｂ₂の６つである。この内の平行移動パラメータを表すｂ₁、ｂ₂が実施例１の動きベクトルＭＶ（Ｖｘ、Ｖｙ）と対応する。実施例２では、動きベクトルＭＶ（Ｖｘ、Ｖｙ）つまり平行移動パラメータを表すｂ₁、ｂ₂の他に、回転、拡大縮小、シアーを決定するパラメータａ₁₁、ａ₁₂、ａ₂₁、ａ₂₂もアフィン情報として計算し、これらアフィン情報にも基づいて各種の処理を行なう点が異なる。

例えば、アフィンパラメータと各画素情報及び座標は、式（６−１）のような関係で表すことができる。この式（６−１）は、各画素において１次式が成立するため、最小二乗法を使用することにより、アフィンパラメータａ₁₁、ａ₁₂、ａ₂₁、ａ₂₂及びｂ₁、ｂ₂はＡｘｘ、Ａｙｙ、Ａｔｔ、Ａｘｙ、Ａｘｔ、Ａｙｔ及び座標ｘ、座標ｙから算出することができる。アフィンパラメータから、回転、拡大縮小、シアーを決定するパラメータへ変換に関しては、様々な方法があるが、例えば、ＱＲ分解の例で説明すると式（６−２）のようになる。尚、説明を簡易にするため、平行移動のパラメータｂ₁、ｂ₂は割愛する。α、βは拡大・縮小率、θは回転角度、γはシアーである。算出に当たっては、式（６−３）も利用する。因みに、ｘ、ｙはアフィン変換前の座標（つまり現座標）、Ｘ、Ｙはアフィン変換後の座標である。

画像分割・選択処理部６０の分割画像選択部６６は、信頼性の高い分割画像の選択を行なう処理において、アフィン情報の回転、スケーリング、シアー、平行移動の情報を元に信頼性の高い分割領域を選択する（Ｓ３０Ｂ）。これは、平行移動パラメータと同様に、各分割画像との“回転、拡大縮小、シアーを決定するパラメータ”の差分を算出し、ソートを行なうことにより、選択が可能である。例えば、図２のステップＳ２６において、ＤＶｘ、ＤＶｙは各分割画像の動きベクトル（Ｖｘ、Ｖｙ：実質上、分割画像での平行移動のパラメータ）となっているが、これを、各分割画像での“回転、拡大縮小、シアーを決定するパラメータ”の何れか（ＡＦｘ、ＡＦｙと記す）とする（図１４のステップＳ２６Ｂ）。又、図７のステップＳ３０４においては、Ｋ［ｎ］は動きベクトルの差を利用することにしているが、これを、各分割画像での“回転、拡大縮小、シアーを決定するパラメータの差”の何れかとすることにより、信頼性の高い分割画像が選択することができる。

又、実施例２においては、動き探索判定部２０による動き探索の有効無効判定処理（Ｓ４０Ｂ、Ｓ４８Ｂ）においても、アフィン情報を利用する。例えば、画素値変化の絶対値に関する判定処理はそのままでよいが、誤差関数を求める際には、平行移動のパラメータ及び“回転、拡大縮小、シアーを決定するパラメータ”を使用する。例えば、各分割画面に算出される平行移動のパラメータ及び“回転、拡大縮小、シアーを決定するパラメータ”の平均を求める。求められた平均値よりアフィンパラメータを算出する（実施例１におけるＶｘave，Ｖｙaveの算出に相当する)。この平均値から求められたアフィンパラメータを、ａ₁₁ave、ａ₁₂ave、ａ₂₁ave、ａ₂₂ave、ｂ₁ave、ｂ₂aveとする。そして、式（２）において、Ｖsumの代わりに、２種類のＶsum1、Ｖsum2を求める。因みに、Ｖsum1＝Ｆ（ａ₁₁ave，ａ₁₂ave，ａ₂₁ave，ａ₂₂ave，ｂ₁ave，ｂ₂ave，ｘ，ｙ，Ｉ_x，，Ｉ_y，Ｉ_t）であり、Ｖsum2＝Ｆ（ａ₁₁ave，ａ₁₂ave，ａ₂₁ave，ａ₂₂ave，ｂ₁ave，ｂ₂ave，ｘ，ｙ，Ｉ_x，，Ｉ_y，Ｉ_t）である。何れも積和演算を全画素について行なう関数式であるが、両者の違いは、Ｖsum2は、Ｖsum1の積和演算要素を２乗した値を全画素について加算する点が異なる。又、式（２）において、Ｍｅの関数式はＭｅ＝Ｆ（Ｖsum1，Ｗ，Ｈ）とし、Ｓｅの関数式は、Ｓｅ＝Ｆ（Ｖsum2，Ｍｅ，Ｗ，Ｈ）とする。

第２動き探索処理部３０は、２回目の動き探索処理（２ndＭＥ）の結果としてアフィン情報を算出する（Ｓ５１Ｂ）。ここで、第２動き探索処理部３０は、２回目の動き探索処理（２ndＭＥ）において、加算計算に含めない特定の画素を判断するために、１回目の動き探索処理（１stＭＥ）の出力結果であるアフィン情報及び途中計算結果を使用し、式（７）に従って、誤差関数値の分布平均Ｍａ’及び標準偏差Ｓａ’並びに画素値変化の分布平均Ｍｂ’及び標準偏差Ｓｂ’を求める。分布平均Ｍａ’はＬＫ法における誤差関数値の選択した分割画像（選択画像）内の分布の平均である。標準偏差Ｓａ’は、ＬＫ法における誤差関数値の選択した分割画像内の分布の標準偏差である。分布平均Ｍｂ’は時間方向の画素値変化の選択した分割画像内の分布の平均である。Ｓｂ’は時間方向の画素値変化の選択した分割画像内の分布の標準偏差である。

因みに、Ｍａ'、Ｓａ'を算出するためには、実施例１でＤＶｘxave、ＤＶｙxaveを求めたように、各アフィンパラメータにおいて、代表値を求める。代表値の求め方としては、選択された分割画面における、平行移動のパラメータ、“回転、拡大縮小、シアーを決定するパラメータ”の平均を求めればよい。求められた平均値からアフィンパラメータを算出する。算出されたアフィンパラメータを入力する際の特徴値になる。Ｎ、Ｍ、Ｄｎ［０〜Ｍ−１］、平行移動のパラメータ、“回転、拡大縮小、シアーを決定するパラメータ”を使用して算出でき、算出されたアフィンパラメータを、Ｄａ₁₁ave、Ｄａ₁₂ave、Ｄａ₂₁ave、Ｄａ₂₂ave、Ｄｂ₁ave、Ｄb₂aveとする。因みに、ＤＶsum1とＤＶsum2は、何れも積和演算を全画素について行なう関数式であるが、両者の違いは、ＤＶsum2は、ＤＶsum1の積和演算要素を２乗した値を全画素について加算する点が異なる。分布平均Ｍｂ’は実質上、分布平均Ｍｉ’と同じであり、標準偏差Ｓｂ’は実質上、標準偏差Ｓｉ’と同じである。

そして、各画素における誤差関数値及び／又は画素値変化からの外れ値度合いを計算し、これを予め決めておいた閾値パラメータと比較する処理（閾値判定）を行なう。図示しないが、図１０に対する変形例（ステップ番号の最後にＢを付す）として説明すると以下のようになる。例えば、第２動き探索処理部３０は、ＬＫ法における誤差関数値の分布平均Ｍａ’に対する各画素における誤差関数値に関する外れ値度合いを、式（８）に従って計算する（Ｓ５１４Ｂ）。第２動き探索処理部３０は、予め設定された閾値で、この誤差関数値に関する外れ値度合いの閾値判定を行なう（Ｓ５２２Ｂ）。「予め設定された閾値」としては、例えば標準偏差Ｓａ’を使用する。

誤差関数値に関する外れ値度合いが閾値を上回っている場合には、加算値Σをとらずに次の画素に進む（Ｓ５２２Ｂ−Ｙ）。誤差関数値に関する外れ値度合いが閾値を上回っていない場合には（Ｓ５２２Ｂ−Ｎ）、第２動き探索処理部３０は、ＬＫ法における誤差関数値の分布平均Ｍｂ’に対する各画素における画素値変化に関する外れ値度合いを、式（９）（式（５）と実質的に同じ）に従って計算する。第２動き探索処理部３０は、予め設定された閾値で、この画素値変化に関する外れ値度合いの閾値判定を行なう（Ｓ５２４Ｂ）。「予め設定された閾値」としては、例えば標準偏差Ｓｂ’を使用する。画素値変化に関する外れ値度合いが閾値を上回っている場合には、加算値Σをとらずに次の画素に進む（Ｓ５２４Ｂ−Ｙ）。

実施例１は、出力する結果は平行移動情報のみであるので処理が簡単であるが、行移動情報以外の高度の移動情報を利用することはできない。これに対して、実施例２では、処理を行なうデータをアフィン情報としているため、処理が複雑であるが、２枚画像間の回転、スケーリング、シアー、平行移動の情報を算出することができ、より高度の移動情報を利用することができる。したがって、この実施例２のグローバル動き探索処理装置３Ｂを画像処理装置１や撮像装置５に適用すれば、平行移動の補正だけでなく、回転、スケーリング、シアーの補正も行なうことができ、より安定化した画像シーケンスを出力することができる。

［グローバル動き探索処理装置及び画像処理装置］
図１５は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例３を説明する図である。実施例３は、２枚画像（現画像ＣＩＭと参照画像ＲＩＭ）の他に画像中のオブジェクト情報ＯＪを取り込んで、取り込んだオブジェクト情報ＯＪを画像分割に使用する点に特徴がある。ここで、オブジェクト情報ＯＪとは、動体検知等の結果である画像中のオブジェクトの座標（例えば中心座標）や大きさ等の情報である。以下では、実施例１に対する変形例で説明するが、実施例２に対しても同様の変形が可能である。

図１５に示すように、実施例３の画像処理装置１Ｃはグローバル動き探索処理装置３Ｃを有する。実施例３のグローバル動き探索処理装置３Ｃは、現画像ＣＩＭと参照画像ＲＩＭ（例えば１フレーム前の画像）の２枚の画像並びにオブジェクト情報ＯＪを取り込んで１組の動きベクトルＭＶ’を出力する。グローバル動き探索処理ＧＭＥの基本的な処理シーケンスは実施例１と同様に実現できるが、オブジェクト情報ＯＪを参照して、動きのない（或いは動きの少ない）分割画像と動きのある分割画像とに分割する点に特徴がある。画像分割部６２は、分割画像の各座標情報と同様に、個々の分割画像の高さ及び幅を記憶部５０に保存しておく。第１動き探索処理部１０は、保存された分割画像の座標情報並びに幅及び高さを使用して、１回目の動き探索処理（１stＭＥ）を行なう。オブジェクト情報ＯＪを使用して画像分割を行なうので、ローカル動きがある画像と無い画像で分割することができる。換言すると、実施例１や実施例２の画像分割は、画像を均等に分割する方法であるが、実施例３の画像分割は、オブジェクト情報ＯＪを使用して画像を不均等に分割する手法である。

［画像分割処理］
図１６〜図１７は、画像分割・選択処理部６０の画像分割部６２による実施例３の画像分割処理を説明する図である。ここで、図１６は、画像分割部６２による画像分割処理（ステップＳ１２Ｃ）の手順を説明するフローチャートである。図１７は、図１６に示した画像分割処理手順により分割される分割画像とその分割画像の位置を特定する座標情報との関係を説明する図である。

ここでは、分割画像の位置を特定する水平方向の座標情報Ｄｘ［ｘ・Ｘ＋ｙ］及び垂直方向の座標情報Ｄｙ［ｘ・Ｘ＋ｙ］は、各分割画像の左上頂点の座標情報であるとして説明する。勿論、これに限らず、左下頂点や中心点等その他の算出式を用いてもよい。凡その手順は図３に示した実施例１の手順と同じであるが、オブジェクト情報ＯＪを使用して画像を不均等に分割する点が異なる。以下では、実施例１との相違を明確にするため、画像分割処理（ステップＳ１２Ｃ）の詳細を１４０番台以降のステップ番号を付して示す（図も同様である）。

画像分割部６２は先ず、処理対象画像（現画像ＣＩＭ）及び参照画像ＲＩＭ（例えば処理対象画像の１フレーム前の画像）並びに動体検知等の結果である注目被写体のオブジェクト情報ＯＪ（中心座標や大きさ等）を受け付けるとともに、横分割数Ｘ及び縦分割数Ｙの設定を受け付ける（Ｓ１４０）。画像分割部６２は、設定された横分割数Ｘ及び縦分割数Ｙに従ってオブジェクト情報ＯＪを使用して、ローカル動きがある画像と無い画像とにできるだけ明確に分かれるように、幅Ｗx（ｘは１〜Ｘ−１）とし、高さＨy（ｙは１〜Ｙ−１）として水平方向及び垂直方向に直線で画像を分割し（図１７を参照）、個々の分割画像（分割画像番号ｎ）の幅Ｗ’［ｎ］の情報（Ｗx）と高さＨ’［ｎ］の情報（Ｈy）を記憶部５０に保存する（Ｓ１４２）。

次に、画像分割部６２は、各分割画像の位置を特定する座標情報を記憶部５０に保存する。具体的には、画像分割部６２は、横分割数Ｘに対応する配列変更要素ａを０から「Ｘ−１」までとし、縦分割数Ｙに対応する配列変更要素ｂを０から「Ｙ−１」までとして、分割画像の位置情報を算出して記憶部５０に記憶する２次元ループを開始する（Ｓ１４４）。当該処理に入ると、画像分割部６２は先ず配列変更要素ａ及び配列変更要素ｂをそれぞれ「０」にセットし、「ａ・Ｘ＋ｂ」＝０番目の分割画像の位置を特定する水平方向の座標情報Ｄｘ［０］及び垂直方向の座標情報Ｄｙ［０］をそれぞれ「０」とする（Ｓ１４６−Ｙ、Ｓ１４８）。つまり、０番目の分割画像の位置を特定する情報は、画像全体の左上頂点である。

次に、画像分割部６２は、配列変更要素ａと配列変更要素ｂの何れか一方を固定して他方を「１」インクリメントして、「ａ・Ｘ＋ｂ」番目の分割画像の位置（左上頂点）を特定する垂直方向の座標情報Ｄｙ［ａ・Ｘ＋ｂ］及び水平方向の座標情報Ｄｘ［ａ・Ｘ＋ｂ］をそれぞれ計算する。例えば、ｂ≠０である場合には（Ｓ１５０−Ｎ）、座標情報Ｄｙ［ａ・Ｘ＋ｂ］＝Ｄｙ［ａ・Ｘ＋ｂ−１］＋Ｈy-1とし（Ｓ１５１）、ｂ＝０である場合には（Ｓ１５０−Ｙ）、座標情報Ｄｙ［ａ・Ｘ＋ｂ］＝Ｄｙ［ａ・Ｘ］＝０とする（Ｓ１５２）。ａ≠０である場合には（Ｓ１５４−Ｎ）、座標情報Ｄｘ［ａ・Ｘ＋ｂ］＝Ｄｘ［ａ・Ｘ＋ｂ−Ｙ］＋Ｗx-1とし（Ｓ１５５）、ａ＝０である場合には（Ｓ１５４−Ｙ）、座標情報Ｄｘ［ａ・Ｘ＋ｂ］＝Ｄｘ［ｂ］＝０とする（Ｓ１５６）。画像分割部６２は、求めた座標情報Ｄｘ［ａ・Ｘ＋ｂ］及び座標情報Ｄｙ［ａ・Ｘ＋ｂ］を１回目の動き探索処理（１stＭＥ）に使用するため、記憶部５０に保存する。画像分割部６２は、ａ，ｂループが終了したか否かを判定し、終了していない場合にはステップＳ１４４に戻り（Ｓ１５８−Ｎ）、終了した場合には次ステップに移行する。

第１動き探索処理部１０は、図５に示したステップＳ２１６において、分割画像（分割画像番号ｎ）の座標ｘをＤｘ［ｎ］からＤｘ［ｎ］＋Ｗ’［ｎ］−２、座標ｙをＤｙ［ｎ］からＤｙ［ｎ］＋Ｈ’［ｎ］−２として、画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の当該画素における画素値変化量（偏微分値）を算出して記憶部５０に記憶する２次元ループを開始する。以下、実施例１と同様である。

このような実施例３によれば、動体検知等の情報を使用して画像分割を行なうので、ローカル動きがある画像と動きの無い（或いは少ない）画像とに分割することができる。そのため、分割画像の選択時に、ローカル動きが無い分割画像を選択することができ、実施例１に比べてより精度の高い精度の外れ値除去を行なうことができる。結果として、正確な動き探索処理を行なうことができる。これに対して、実施例１では、固定の幅及び高さで画像分割を行なうため、動体が複数領域に跨がるということが想定され、外れ値除去の精度は実施例３よりも劣る。

［グローバル動き探索処理装置及び画像処理装置］
図１８は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例４を説明する図である。ここで、図１８（Ａ）は、実施例４のグローバル動き探索処理装置３Ｄを備えた画像処理装置１Ｄを示し、図１８（Ｂ）は、実施例４のグローバル動き探索処理装置３Ｄの基本構成を示すブロック図である。因みに、画像分割・選択処理部６０が、選択された複数の分割画像についての第１動き探索処理部１０による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値を算出する代表特徴値算出部６８（代表動きベクトル算出部）を備える例で示している。代表特徴値算出部６８は、例えば、各選択分割画像の動きベクトルを加算し、選択個数で除算する（つまり、平均を求める）ことにより代表的な特徴値を算出する。選択分割画像が１つの場合には、その１つの分割画像の動きベクトルが代表的な特徴値となるし、選択分割画像が複数の場合には、それぞれの分割画像の動きベクトルの平均値が代表的な特徴値となる。

実施例４は、１回目の動き探索処理（１stＭＥ）後、再度、分割画像に対して外れ値除去を行なった新たな２回目の動き探索処理（２ndＭＥ）を実施し、その後に、実施例１の２回目の動き探索処理（２ndＭＥ）と同様にして画像全体に対して外れ値除去を行なった３回目の動き探索処理（３rdＭＥ）を実施する点に特徴がある。外れ値除去を２回行なうため実施例１よりグローバル動き探索処理の精度がよくなる。又、２回目の動き探索処理と３回目の動き探索処理との間に、２回目の各分割画像の動き探索処理（２ndＭＥ）の結果を用いて、再度、信頼性の高い分割画像を選択する点にも特徴がある。以下では、実施例１に対する変形例で説明するが、実施例２に対しても同様の変形が可能である。

図１８（Ｂ）に示すように、実施例４のグローバル動き探索処理装置３Ｄは、第２動き探索処理部３０を第２動き探索処理部３２（第３の動き探索処理部に相当）に置き換えるとともに、第２動き探索処理部３２（２ndＭＥ）の後段に、１組の動きベクトルＭＶ（詳しくは３回目の動き探索処理（３rdＭＥ）の結果である動きベクトルＭＶ”）を出力する第３動き探索処理部４０（３rdＭＥ）（第２の動き探索処理部に相当）を備えている。第３動き探索処理部４０は実施例１の第２動き探索処理部３０と同じものでよいが、第２動き探索処理部３２は第２動き探索処理部３０とは少し異なる。因みに、「”」は、１回目や２回目の計算と３回目の計算を区別するために付したものであるが、同じ画像ペアに対して３回のＬＫ法を実行するだけなので、実際にはＩ”＝Ｉ’＝Ｉであり、一方、２回目及び３回目の各計算値は加算するかどうかの判断が行なわれるため１回目とは異なる値となる。後述する処理の説明では３回目の画像シーケンスＩ（ｘ，ｙ，ｔ）や各計算値についても「”」を付して示す。

第２動き探索処理部３２は、実施例１の第２動き探索処理部３０とは異なり、１回目の動き探索処理（１stＭＥ）の結果及び各種の加算値Σを使用して、分割画像に対して新たな２回目の動き探索処理（２ndＭＥ）を実施する。「新たな２回目の動き探索処理（２ndＭＥ）」では、基本的には、実施例１の２回目の動き探索処理（２ndＭＥ）と同様に、画素ごと計算に含めるかの判断をするが、実施例１とは異なり、画像全体に対してではなく、分割画像ごとに動き探索処理を行なう。画像分割・選択処理部６０（の分割画像選択部６６）は、１回目の各分割画像の動き探索処理（１stＭＥ）の結果を用いて信頼性の高い分割画像を選択するとともに、２回目の各分割画像の動き探索処理（２ndＭＥ）の結果を用いても、信頼性の高い分割画像を選択する。第３動き探索処理部４０は、実施例１の第２動き探索処理部３０と同様の処理を３回目の動き探索処理（３rdＭＥ）として行なう。

［処理手順の全体概要］
図１９は、実施例４のグローバル動き探索処理装置３Ｄが行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。ステップＳ４８までは実施例１と同様である。

動き探索判定部２０が第１動き探索処理部１０による動き探索処理を有効とした場合（Ｓ４８−Ｎ）、これを受けて、第２動き探索処理部３２は、１回目の動き探索処理結果及び途中の計算結果を使用して、各分割画像に対してＬＫ法を利用した２回目の動き探索処理（２ndＭＥ）を行なう。具体的には、第２動き探索処理部３２は先ず分割画像番号と対応するオペレータｎを「０」にセットし（Ｓ６０）、ｎ（＝０）番目の分割画像に対してＬＫ法を利用した動き探索処理（２ndＭＥ）を行なう（Ｓ６１）。その詳細は、画像全体に対してではなく分割画像ごとである点を除いて、実施例１の２回目の動き探索処理（２ndＭＥ）と同じである。例えば、実施例１の２回目の動き探索処理（２ndＭＥ）の詳細を示した図１０において、ステップＳ５１０では、分割画像の幅Ｗ’或いはＷ’［ｎ］）及び高さＨ’或いはＨ’［ｎ］の情報を取得する。ステップＳ５１８では、選択分割画像（分割画像番号Ｄｎ）の座標ｘを０からＷ’−２或いはＷ’［ｎ］−２、座標ｙを０からＨ’−２或いはＨ’［ｎ］−２として、画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の当該画素における画素値変化量（偏微分値）を算出して記憶部５０に記憶する２次元ループを開始する。

第２動き探索処理部３２は、この「ｎ（＝０）」の元で行なった処理結果である動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）を動きベクトルＭＤＶ’（ＤＶｘ’［ｎ］、ＤＶｙ’［ｎ］）として記憶部５０に保存する（Ｓ２６）。そして、第２動き探索処理部３２は、オペレータｎを「１」インクリメントし、オペレータｎ＝Ｎ−１の処理が完了するまで同様の処理を繰り返す（Ｓ６０、Ｓ６８−Ｎ）。

第２動き探索処理部３２により全ての分割画像に対しての２回目の動き探索処理（２ndＭＥ）が完了すると（Ｓ６８−Ｙ）、画像分割・選択処理部６０の分割画像選択部６６は、各分割画像の動き探索処理（２ndＭＥ）の結果を用いて、ステップ３０と同様にして、信頼性の高い分割画像を選択する（Ｓ７０）。

この後、第３動き探索処理部４０は、選択された分割画像の２回目の動き探索処理結果及び途中の計算結果を使用して、実施例１の２回目の動き探索処理（２ndＭＥ）と同様にして、画像全体に対して３回目の動き探索処理を行なう（Ｓ７１）。第３動き探索処理部４０は、３回目の動き探索処理（３rdＭＥ）の結果である動きベクトルＭＶ”（Ｖｘ”、Ｖｙ”）をグローバル動き探索処理ＧＭＥの結果（動きベクトルＭＶ）として出力して、全体の処理を終了する（Ｓ９６）。

このような実施例４によれば、分割画像ごとに外れ値除去を行なった動き推定（２ndＭＥ）の結果を用いて、画像全体に対して外れ値除去を行なった動き推定（３rdＭＥ）を行なうので、実施例１に比べてより正しい動き推定の結果を使用して、外れ値除去を行なうことができるため、正確なグローバル動き探索処理を行なうことができる。実施例１でも、２回目の動き探索処理では外れ値除去を含む動き探索処理を行なうので従前よりも精度が高い動き探索処理を行なうことができるが、外れ値除去を含む動き探索処理を繰り返すことにより、処理量は増えるが、より外れ値は除去でき、精度のより高い動き探索処理を実現できる。因みに、後述の実施例５を加味すれば、動き探索処理（外れ値除去を含む）を繰り返す際は、分割画像ごとの動き探索処理と画像全体に対する動き探索処理のどちらでも適用が可能である。又、実施例４では、分割画像ごとの動き探索処理及び画像選択を２回行なうので、後述の実施例５に比べて、処理量は増えるが、より精度の高い外れ値除去のための値を算出することができる。特に、２回目の動き探索処理（２ndＭＥ）において、外れ値除去の精度がよくなかった場合に有効である。

［グローバル動き探索処理装置及び画像処理装置］
図２０は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例５を説明する図である。ここで、図２０（Ａ）は、実施例５のグローバル動き探索処理装置３Ｅを備えた画像処理装置１Ｅを示し、図２０（Ｂ）は、実施例５のグローバル動き探索処理装置３Ｄの基本構成を示すブロック図である。因みに、画像分割・選択処理部６０が、選択された複数の分割画像についての第１動き探索処理部１０による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値を算出する代表特徴値算出部６８（代表動きベクトル算出部）を備える例で示している。

実施例５は、１回目の動き探索処理（１stＭＥ）後、画像全体に対して外れ値除去を行なった２回目の動き探索処理（２ndＭＥ）を実施し、その後に更に、２回目の動き探索処理（２ndＭＥ）と同様にして画像全体に対して外れ値除去を行なった新たな３回目の動き探索処理（３rdＭＥ）を実施する点に特徴がある。実施例４と同様に外れ値除去を２回行なうため実施例１よりグローバル動き探索処理の精度がよくなる。又、実施例５では、実施例４とは異なり、分割画像ごとの動き探索処理結果情報の格納や画像選択を２回目の動き探索処理及び前後処理では行なわない点に特徴がある。そのため、実施例４に比べて、処理量が少なくなる。以下では、実施例１に対する変形例で説明するが、実施例２に対しても同様の変形が可能である。

図２０（Ｂ）に示すように、実施例５のグローバル動き探索処理装置３Ｅは、第２動き探索処理部３０（２ndＭＥ）の後段に、１組の動きベクトルＭＶ（詳しくは３回目の動き探索処理（３rdＭＥ）の結果である動きベクトルＭＶ”）を出力する第３動き探索処理部４２（３rdＭＥ）（第３の動き探索処理部）を備えている。因みに、「”」は、１回目や２回目の計算と３回目の計算を区別するために付したものであるが、同じ画像ペアに対して３回のＬＫ法を実行するだけなので、実際にはＩ”＝Ｉ’＝Ｉであり、一方、２回目及び３回目の各計算値は加算するかどうかの判断が行なわれるため１回目とは異なる値となる。後述する処理の説明では３回目の画像シーケンスＩ（ｘ，ｙ，ｔ）や各計算値についても「”」を付して示す。

第３動き探索処理部４２は、実施例４の第３動き探索処理部４０とは異なり、第２動き探索処理部３０による画像全体に対しての動き探索処理の情報に基づいて信頼性の高い画素であるか否かを判断しながら、実施例１の第２動き探索処理部３０の処理に準じて画像全体に対して動き探索処理を行なう。

〔動き探索の有効無効判定処理〕
図２１は、実施例５のグローバル動き探索処理装置３Ｅが行なうグローバル動き探索処理の手順の全体概要を説明するフローチャートである。実施例５のグローバル動き探索処理装置３Ｅ、及び、このグローバル動き探索処理装置３Ｅを備えた画像処理装置１Ｅの構成は、実施例４と同様である。

ステップＳ５１までは実施例１と同様である。第２動き探索処理部３０による２回目の動き探索処理（２ndＭＥ）が完了すると、第３動き探索処理部４２は、再度、画像全体に対してＬＫ法を利用した３回目の動き探索処理（３rdＭＥ）を実施する（Ｓ８１）。ここで、実施例５における３回目の動き探索処理（３rdＭＥ）においては、特定の画素を計算に含めるか否かの判断をするために、画像全体に対して行なった２回目の動き探索処理の結果及び途中の計算結果を使用して、外れ値除去を含む動き探索処理を行なうことにより、１組の動きベクトルＭＶ（詳しくは３回目の動き探索処理（３rdＭＥ）の結果である動きベクトルＭＶ”）を出力する（Ｓ９８）。

この実施例５における３回目の動き探索処理（３rdＭＥ）は、実施例１の２回目の動き探索処理（２ndＭＥ）と概ね同じである。違いは、誤差関数値の分布平均及び標準偏差並びに画素値変化の分布平均及び標準偏差を求める際には、「選択した分割画像内」ではなく「画像全体」の画素を対象とする点にある。例えば、実施例１の２回目の動き探索処理（２ndＭＥ）の詳細を示した図１０において、ステップＳ５１２では、動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）、並びに、途中の計算結果であるＡｘｘ’（＝Σ（Ｉ’_x）²）、Ａｙｙ’（＝Σ（Ｉ’_y）²）、Ａｘｙ’（＝Σ（Ｉ’_x・Ｉ’_y））、Ａｘｔ’（＝Σ（Ｉ’_x・Ｉ’_t））、Ａｙｔ’（＝Σ（Ｉ’_y・Ｉ’_t））、Ａｘ’（＝ΣＩ’_x）、Ａｙ’（＝ΣＩ’_y）、Ａｔ’（＝ΣＩ’_t）、Ａｔｔ’（＝Σ（Ｉ’_t）²）のアキュムレート値を取得する。

ステップＳ５１４では、第３動き探索処理部４０は、幅Ｗ、高さＨ、動きベクトルＭＶ’（Ｖｘ’、Ｖｙ’）、Ａｘｘ’、Ａｙｙ’、Ａｘｙ’、Ａｘｔ’、Ａｙｔ’、Ａｘ’、Ａｙ’、Ａｔ’、Ａｔｔ’を用いて、誤差関数値の分布平均Ｍｅ”及び標準偏差Ｓｅ”並びに画素値変化の分布平均Ｍｉ”及び標準偏差Ｓｉ”を算出する。誤差関数値の分布平均Ｍｅ”は、ＬＫ法における誤差関数値の画像全体の分布の平均μｅ’である。誤差関数値の標準偏差Ｓｅ”は、ＬＫ法における誤差関数値の画像全体の分布の標準偏差σｅ’である。画素値変化の分布平均Ｍｉ”は、時間方向の画素値変化の画像全体の分布の平均μｉ’である。画素値変化の標準偏差Ｓｉ”は時間方向の画素値変化の画像全体の分布の標準偏差σｉ’である。誤差関数値の分布平均Ｍｅ”及び標準偏差Ｓｅ”並びに画素値変化の分布平均Ｍｉ”及び標準偏差Ｓｉ”の各計算式は式（３）に準じたものである。

ステップＳ５１６〜Ｓ５３４では、第３動き探索処理部４２は、誤差関数値の分布平均Ｍｅ”及び標準偏差Ｓｅ”並びに画素値変化の分布平均Ｍｉ”及び標準偏差Ｓｉ”に基づいて、各画素における誤差関数値からの外れ値度合い及び／又は各画素における画素値変化からの外れ値度合いを計算し、画素ごとの条件判断を行ない、３回目の動き探索処理を実施する。各外れ値度合いの各計算式は式（４）や式（５）に準じたものである。

このような実施例５によれば、画像全体に対して外れ値除去を行なった動き推定（２ndＭＥ）の結果を用いて、画像全体に対して外れ値除去を行なった動き推定（３rdＭＥ）を行なうので、外れ値除去を２回行なう点では実施例４と同様であり、実施例１に比べてより正しい動き推定の結果を使用して外れ値除去を行なうことができるため、正確なグローバル動き探索処理を行なうことができる。実施例５では、実施例４とは異なり、分割画像ごとの動き探索処理及び画像選択は１回であるので、実施例４に比べて、外れ値除去の精度は多少劣るが、処理量が少なくて済む。実施例１、実施例４、実施例５を簡単に対比すると（相対的な記述である）、処理量は、実施例１が最も少なく、次に実施例５であり、実施例４が最も多く、一方、精度は、実施例４が最も高く、次に実施例４であり、実施例１が最も低い。

［グローバル動き探索処理装置及び画像処理装置］
図２２は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例６を説明する図である。ここで、図２２（Ａ）は、実施例６のグローバル動き探索処理装置３Ｆを備えた画像処理装置１Ｆを示し、図２２（Ｂ）は、実施例６のグローバル動き探索処理装置３Ｆの基本構成を示すブロック図である。以下では、実施例１に対する変形例で説明するが、実施例２等に対しても同様の変形が可能である。

実施例６は、２枚画像（現画像ＣＩＭと参照画像ＲＩＭ）の他に画像のエッジ量情報ＥＧを取り込んで、取り込んだエッジ量情報ＥＧに基づいて第１動き探索処理部１０による動き探索結果が無効か否かを判定する点に特徴がある。このため、図２２（Ｂ）に示すように、実施例６のグローバル動き探索処理装置３Ｆは、第１動き探索処理部１０（１stＭＥ）、動き探索判定部２０に代わる動き探索判定部７０、第２動き探索処理部３０（２ndＭＥ）、及び、記憶部５０（メモリ）を備える。動き探索判定部７０は、標準偏差判定部２２に対応する標準偏差判定部７２及び画素値変化判定部２４に対応する画素値変化判定部７４の他に、第１エッジ判定部７６を有する点が実施例１の動き探索判定部２０と異なる。

第１エッジ判定部７６は、画像特徴値としてのエッジ量情報ＥＧに基づいて第１の動き探索処理部による動き探索結果が無効か否かを判定するものであり、画像のエッジ量情報ＥＧに基づく特徴量（例えば画像全体におけるエッジ量の平均値）を求め、この特徴量を閾値判定する。ここで、実施例６の第１エッジ判定部７６は、後述する実施例７とは異なり、「画像全体」のエッジ量（例えば画像全体におけるエッジ量の平均値）を計算し、画像全体中にエッジが少ない場合は第１動き探索処理部１０による処理結果を無効とする点が異なる。動き探索判定部２０は、少なくとも第１エッジ判定部７６の閾値判定結果に基づいて、好ましくは、標準偏差判定部２２と画素値変化判定部２４の少なくとも一方の閾値判定結果にも基づいて、第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が有効であるのか否かを判定する。

〔動き探索の有効無効判定処理〕
図２３は、実施例６の動き探索判定部７０による動き探索処理の有効無効判定処理（ステップＳ４０Ｆ）を説明するフローチャートである。ステップＳ４０４までは実施例１と同様である。この後、動き探索判定部７０の第１エッジ判定部７６は、処理対象画像の幅Ｗ及び高さＨ並びに全画素の各エッジ量情報ＥＧに基づいて、画像全体におけるエッジ量の平均値Ｅａｌｌを算出する（Ｓ４０６）。例えば、エッジ量情報ＥＧは、エッジ画素のときは「１」、そうでないときは「０」とするデータが、画素分あるものとする。「ｘ：０ ｔｏ Ｗ−１、ｙ：０ ｔｏ Ｈ−１」の２次元元ループ中で、入力されたエッジ量情報ＥＧ（ｘ，ｙ）を加算していき、画素数（Ｗ・Ｈ）で割る、つまり、Ｅａｌｌ＝（エッジ情報を足し合わせた数）／（Ｗ・Ｈ）とする。

次に、動き探索判定部７０（の第１エッジ判定部７６）は、予め設定された閾値で、平均値Ｅａｌｌの閾値判定を行なう（Ｓ４１０）。動き探索判定部７０は、閾値判定の結果、平均値Ｅａｌｌが閾値より低いと判定した場合は第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が無効であると判定して処理を終了する（Ｓ４１２−Low、Ｓ４４０）。平均値Ｅａｌｌが閾値より低いということは、画像全体中にエッジが少なく、動き探索処理を誤ってしまう可能性が高くなることを意味する。換言すると、画像全体中にエッジが少ない画像は、動き推定結果の信頼度が低い画像である。そのため、第１エッジ判定部７６は、画像全体のエッジ量を計算し、画像全体中にエッジが少ない場合は１回目の動き探索処理（１stＭＥ）が無効とする。これは、その後の処理における誤補正を防ぐためである。第１エッジ判定部７６が、その閾値判定の結果、平均値Ｅａｌｌが閾値より低くない（高い）と判定した場合は、実施例１と同様に、ステップＳ４２０以降の処理（つまり、標準偏差や画素値変化の閾値判定）を行なう。

尚、ここでは、平均値Ｅａｌｌ、誤差関数値の標準偏差Ｓｅ、及び、画素値変化の絶対値Ｄを算出してから、平均値Ｅａｌｌや標準偏差Ｓｅや絶対値Ｄの閾値判定を行なっているが、平均値Ｅａｌｌと標準偏差Ｓｅと絶対値Ｄの何れか１つの算出と閾値判定を行なってから、他の算出と閾値判定を行なうように変形してもよい。又、精度は劣るが、少なくとも平均値Ｅａｌｌの算出と閾値判定を行なうとともに、標準偏差Ｓｅと絶対値Ｄの何れか一方のみの算出と閾値判定を行なうように変形してもよい。

このような実施例６の動き探索の有効無効判定処理によれば、２枚画像の他に画像のエッジ量情報ＥＧを入力し、その情報に基づいて第１動き探索処理部１０による動き推定結果が有効か無効かの判定を行なう。このため、動き推定結果の信頼度が低い画像では、動き推定の結果を無効とすることにより、結果として誤補正を行なわなくなる。即ち、動き推定を行なう際、エッジ量が少ない画像（例えば無地の画像）においては、動き推定結果は信頼度が低いということが前提として存在する。ここで、実施例６では、画像のエッジ量の情報を取得し、そのエッジ情報を元に、画像全体のエッジ量を計算して１回目の動き探索処理の結果が有効であるか無効であるかを判定する。そのため、動き推定の結果の信頼度が低い画像では、動き推定の結果を無効とすることにより、２回目には、精度の高い動き探索処理を行なうことができる。つまり、画像全体のエッジ量を計算して画像全体中にエッジが少ない場合は１回目の動き探索処理（１stＭＥ）を無効とする（誤補正を防ぐため）。 例えば、無地（＝エッジ量が少ない)の場合、動き探索処理を誤ってしまう可能性が高くなるため、無地の可能性が高い場合は動きベクトルＭＶを０とすることにより、誤った動き探索処理を使用することはなくなる（一方、動き探索処理を誤ると動きベクトルＭＶは大きくなる）。これにより、誤まった動き探索処理結果を使用しての処理が行なわれなくなるため、２回目以降の動き探索処理においては、精度の高い外れ値除去を含む動き探索処理を行なうことができる。したがって、実施例６のグローバル動き探索処理装置３Ｆを画像処理装置１や撮像装置５に適用すれば、結果として誤補正を行なわなくなるので、より安定化した画像シーケンスを出力することができる。例えば、揺れ補正技術の場合、補正量＝０、つまり、「補正をしない」というのは、安全のため対策となる。

図２４は、グローバル動き探索処理装置及びこれを備えた画像処理装置の実施例７を説明する図である。ここで、図２４（Ａ）は、実施例７のグローバル動き探索処理装置３Ｇを備えた画像処理装置１Ｇを示し、図２４（Ｂ）は、実施例７のグローバル動き探索処理装置３Ｇの基本構成を示すブロック図である。以下では、実施例１に対する変形例で説明するが、実施例２等に対しても同様の変形が可能である。図は、実施例６と併用する構成で示しているが、このことは必須ではない。

実施例７は、実施例６と同様に、２枚画像（現画像ＣＩＭと参照画像ＲＩＭ）の他に画像のエッジ量情報ＥＧを取り込んで、取り込んだエッジ量情報ＥＧに基づいて第１動き探索処理部１０による動き探索結果が無効か否かを判定する点に特徴がある。但し、実施例７では、実施例６とは異なり、分割画像ごとに行なう１回目の動き探索処理のループにエッジ量計算と閾値判定とを組み込むことで、分割画像ごとにエッジ量を計算し、分割画像中にエッジが少ない場合は、その分割画像の動き探索処理結果を無効とする点が異なる。更にこの判定処理後にも、実施例１と同様に、標準偏差判定部７２と画素値変化判定部７４の少なくとも一方の閾値判定結果にも基づいて、第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が有効であるのか否かも判定する。

このため、図２４（Ｂ）に示すように、実施例７のグローバル動き探索処理装置３Ｇは、実施例６の構成をベースに、更に、動き探索判定部７０に第２エッジ判定部７６を設けた点が実施例１の動き探索判定部２０と異なる。第２エッジ判定部７８は、分割画像ごとに、画像特徴値としてのエッジ量情報ＥＧに基づいて、第１動き探索処理部１０による動き探索結果が無効か否かを判定し、無効のときは当該分割画像の第１動き探索処理部１０による動き探索処理結果を無効（例えば動きベクトルＭＤＶ（ＤＶｘ、ＤＶｙ）をゼロ）とする。そして分割画像選択部６６は、第２エッジ判定部７６による判定後の全ての分割画像についての第１動き探索処理部１０による動き探索処理結果である特徴量（動きベクトルＭＶ）の中から、信頼性の高い特徴量を有する分割領域を１つ或いは複数選択する。標準偏差判定部７２や画素値変化判定部７４は、第２エッジ判定部７６による判定後の全ての分割画像についての第１動き探索処理部１０による動き探索処理の情報に基づいてグローバル動き探索の難易度が高いか否かを判定することにより、第１動き探索処理部１０の動き探索結果が無効か否かを判定する。

［処理手順の全体概要］
図２５は、実施例７の動き探索判定部７０による動き探索処理の有効無効判定処理を説明するフローチャートである。例えば、ｎ（＝０）番目の分割画像に対してＬＫ法を利用した動き探索処理（１stＭＥ）を行なう（Ｓ２１）までの処理は実施例１と同様である。第１エッジ判定部７６は、この１回目の動き探索処理（１stＭＥ）の直後において、分割画像ごとのエッジ量の閾値判定を行なうことにより、分割画像ごとに１回目の動き探索処理が無効か否かの判断を行なう。具体的には、第１エッジ判定部７６は、当該分割画像におけるエッジ量の平均値Ｅｂｌｋを求める（Ｓ２３）。例えば、分割画像（分割画像番号のオペレータｎ）の幅Ｗ’（＝Ｗ/Ｘ）及び分割画像の高さＨ’（＝Ｈ/Ｙ）、処理対象の分割画像の位置を特定する座標情報Ｄｘ［ｎ］、Ｄｙ［ｎ］並びに取得したエッジ量情報ＥＧ（ｘ，ｙ）を用いて、平均値Ｅｂｌｋを求める。その際には、「ｘ：Ｄｘ［ｎ］ ｔｏ Ｄｘ［ｎ］＋Ｗ’−１、ｙ：Ｄｙ［ｎ］ ｔｏ Ｄｙ［ｎ］＋Ｈ’−１」の２次元ループ中で、入力されたエッジ量情報ＥＧ（ｘ，ｙ）を加算していき、画素数（Ｗ’・Ｈ’）で割る、つまり、Ｅｂｌｋ＝（エッジ情報を足し合わせた数）／（ Ｗ’・Ｈ’）とする。

次に、動き探索判定部７０（の第１エッジ判定部７６）は、予め設定された閾値で、平均値Ｅｂｌｋの閾値判定を行なう（Ｓ２４）。第１エッジ判定部７６による閾値判定の結果、平均値Ｅｂｌｋが閾値より低いと判定された場合は、第１動き探索処理部１０による１回目の動き探索処理（１stＭＥ）が無効であるとして、第１動き探索処理部１０は、この「ｎ」の元で行なった処理結果である動きベクトルＭＶ（Ｖｘ、Ｖｙ）を動きベクトルＭＤＶ（ＤＶｘ［ｎ］＝０、ＤＶｙ［ｎ］＝０）として記憶部５０に保存する（Ｓ２５）。平均値Ｅｂｌｋが閾値より低いということは、分割画像中にエッジが少なく、動き探索処理を誤ってしまう可能性が高くなることを意味する。そのため、第１エッジ判定部７６は、分割画像のエッジ量を計算し、分割画像中にエッジが少ない場合は１回目の動き探索処理（１stＭＥ）が無効とする。これは、実施例６と同様に、その後の処理における誤補正を防ぐためである。

一方、動き探索判定部７０による閾値判定の結果、平均値Ｅｂｌｋが閾値より低くない（高い）と判定された場合は、実施例１と同様に、第１動き探索処理部１０は、「ｎ」の元で行なった処理結果である動きベクトルＭＶ（Ｖｘ、Ｖｙ）を動きベクトルＭＤＶ（ＤＶｘ［ｎ］、ＤＶｙ［ｎ］）として記憶部５０に保存する（Ｓ２６）。そして、第１動き探索処理部１０は、オペレータｎを「１」インクリメントし、オペレータｎ＝Ｎ−１の処理が完了するまで同様の処理を繰り返す（Ｓ２０、Ｓ２８−Ｎ）。

このような実施例７の動き探索の有効無効判定処理によれば、２枚画像の他に画像のエッジ量情報ＥＧを入力し、入力されたエッジ量から動き推定の信頼度を判定するので、正確な画像選択と外れ値除去を含む２回目の動き探索処理を行なうことができる。即ち、実施例７では、画像のエッジ量の情報を取得し、そのエッジ情報を元に、分割画像ごとにエッジ量を計算して１回目の動き探索処理の結果が有効であるか無効であるかを判定する。分割画像ごとにエッジ量を計算し、分割画像中にエッジが少ない場合は、その分割画像の動き探索処理結果を無効とする。この結果を受けて分割画像選択部６６による分割画像の選択や標準偏差判定部７２及び画素値変化判定部７４による最終的な無効判定を行なうことにより、誤まった動き探索処理結果を使用しての画像選択が行なわれなくなるため、安全な画像選択を行なうことができるし、２回目以降の動き探索処理においては、精度の高い外れ値除去を含む動き探索処理を行なうことができる。したがって、この実施例７のグローバル動き探索処理装置３Ｇを画像処理装置１や撮像装置５に適用すれば、結果として誤補正を行なわなくなるので、より安定化した画像シーケンスを出力することができる。

例えば、エッジ量の少ない分割画像において動きベクトルＭＶをゼロにすることにより、エッジ量の少ない分割画像との差分が大きくなってしまう分割画像は、ゼロとの差分が多い＝動きベクトルＭＶが大きいと修正されるし、エッジ量の少ない分割画像との差分が小さくなってしまう分割画像は、ゼロとの差分が少ない＝動きベクトルＭＶが小さいと修正される。つまり、エッジ量の少ない分割画像の動きベクトルＭＶをゼロとすることにより、ベクトルが大きい分割画像との差分が大きくなる。本実施例では、差分が小さいものから分割画像を選択するので、動きベクトルＭＶが小さいものから選択されることになる。そのため、動きベクトルＭＶが大きい分割画像ではなく、安全であるゼロに近い分割画像を選択する傾向になる。エッジ量の少ない分割画像の動きベクトルＭＶをゼロとすることにより、分割画像間の差分は変わる（修正される）が、安全な処理が行なわれる。

以上、本明細書で開示する技術について実施形態を用いて説明したが、請求項の記載内容の技術的範囲は前記実施形態に記載の範囲には限定されない。本明細書で開示する技術の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本明細書で開示する技術の技術的範囲に含まれる。前記の実施形態は、請求項に係る技術を限定するものではなく、実施形態の中で説明されている特徴の組合せの全てが、本明細書で開示する技術が対象とする課題の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の技術が含まれており、開示される複数の構成要件における適宜の組合せにより種々の技術を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、本明細書で開示する技術が対象とする課題と対応した効果が得られる限りにおいて、この幾つかの構成要件が削除された構成も、本明細書で開示する技術として抽出され得る。

例えば、本開示に係るグローバル動き探索処理ＧＭＥの技術は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することもできる。各種の信号処理をソフトウェアで実現する電子計算機それ自体の構成は周知であるので図示しない。「各種の信号処理」として前述のグローバル動き探索処理ＧＭＥを適用することにより、本開示に係るグローバル動き探索処理ＧＭＥの技術をソフトウェアで実現することができる。

プログラムは、コンピュータ読取り可能な記憶媒体（例えば、半導体メモリ、磁気ディスク、光ディスク等）に格納されて提供されてもよいし、有線或いは無線による通信手段を介した配信により提供されてもよい。例えば、グローバル動き探索処理機能をコンピュータに実行させるプログラムは、例えば可搬型の記録媒体を通じて配布・提供される。例えばプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory ）やＦＤ（フレキシブルディスク）に格納されて配布・提供されてもよい。又、ＭＯ（Magneto Optical Disk）ドライブを設け、ＭＯに前記プログラムを格納してもよく、フラッシュメモリ等の不揮発性の半導体メモリを利用したカード型の記憶媒体等、その他の記録媒体にプログラムを格納して配布・提供してもよい。ソフトウェアを構成するプログラムは、記録媒体を介して配布・提供されることに限らず、通信手段（有線・無線は不問）を介して配布・提供されてもよい。例えば、他のサーバなどからインターネット等のネットワークを経由してプログラムをダウンロードして取得したり、又は更新したりしてもよい。グローバル動き探索処理ＧＭＥを行なう機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。

前記実施形態の記載を踏まえれば、特許請求の範囲に記載の請求項に係る技術は一例であり、例えば、以下の技術が抽出される。以下列記する。
［付記１］
処理対象画像を複数の分割画像にする画像分割部と、
複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、
分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部、
とを備えた画像処理装置。
［付記２］
分割画像選択部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、分割画像を選択する付記１に記載の画像処理装置。
［付記３］
代表特徴値算出部を更に備え、
分割画像選択部は、分割画像を複数選択し、
代表特徴値算出部は、選択された複数の分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値を算出し、
第２の動き探索処理部は、選択された複数の分割画像についての代表特徴値算出部により算出された代表的な特徴値に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう付記１又は付記２に記載の画像処理装置。
［付記４］
第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
判定部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいてグローバル動き探索の難易度が閾値以上であるか否かを判定することにより、動き探索結果が無効か否かを判定する付記１乃至付記３の何れか１項に記載の画像処理装置。
［付記５］
判定部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報として、
画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、
分割画像全体についての加算計算結果に基づいて算出した動き情報、
とを全ての分割画像について取得し、
取得した各値で表される条件式に従ってグローバル動き探索の難易度が閾値以上であるか否かを判定する付記４に記載の画像処理装置。
［付記６］
第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて信頼性が閾値以上である画素であるか否かを判断しながら、分割画像ごとに動き探索処理を行なう第３動き探索処理部を備え、
第２の動き探索処理部は、第３の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう付記１乃至付記５の何れか１項に記載の画像処理装置。
［付記７］
第２の動き探索処理部による画像全体に対しての動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第３の動き探索処理部を備えた付記１乃至付記６の何れか１項に記載の画像処理装置。
［付記８］
処理対象画像の画像特徴値に基づいて、画像分割及び／又は動き探索処理を行なう付記１乃至付記７の何れか１項に記載の画像処理装置。
［付記９］
画像分割部は、画像特徴値としての画像中のオブジェクト情報に基づいて処理対象画像を不均等に複数の分割画像に分割可能である付記８に記載の画像処理装置。
［付記１０］
第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
判定部は、画像特徴値としてのエッジ情報に基づいてグローバル動き探索の難易度が閾値以上であるか否かを判定することにより、第１の動き探索処理部による動き探索結果が無効か否かを判定する付記８又は付記９に記載の画像処理装置。
［付記１１］
第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
判定部は、分割画像ごとに、画像特徴値としてのエッジ情報に基づいて、第１の動き探索処理部による動き探索結果が無効か否かを判定し、無効のときは当該分割画像の第１の動き探索処理部による動き探索処理結果を無効とする付記８乃至付記１０の何れか１項に記載の画像処理装置。
［付記１２］
各動き探索処理部は、画像の平行移動に関する動き情報を算出する、及び／又は、画像の回転移動に関する動き情報を算出する付記１乃至付記１１の何れか１項に記載の画像処理装置。
［付記１３］
各動き探索処理部の少なくとも１つは、Lucas-Kanade法により動き探索処理を行なう付記１乃至付記１２の何れか１項に記載の画像処理装置。
［付記１４］
第１の動き探索処理部は、分割画像ごとに、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を分割画像全体に亘って行ない、その加算計算結果に基づいて動き情報を算出する付記１３に記載の画像処理装置。
［付記１５］
第２の動き探索処理部は、
画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を画像全体に亘って行なう際に、
選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づく設定条件に従って信頼性が閾値以上である画素であるか否かを判断し、設定条件を満足する場合に加算計算を行なう付記１３又は付記１４に記載の画像処理装置。
［付記１６］
第２の動き探索処理部は、動き探索処理結果が信頼性が閾値以上である画素であるか否かを判断する情報として、
画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、
分割画像全体についての加算計算結果に基づいて算出した動き情報、
とを選択された分割画像について取得し、
取得した各値で表される設定条件に従って、画素ごとに加算するか否かの判断を行なう付記１５に記載の画像処理装置。
［付記１７］
処理対象画像を複数の分割画像にする画像分割工程と、
複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択工程と、
分割画像ごとに動き探索処理を行なう第１の動き探索処理工程と、
選択された分割画像についての第１の動き探索処理工程による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理工程、
とを備えた画像処理方法。
［付記１８］
固体撮像装置と、
固体撮像装置の撮像面に被写体像を結像する光学系と、
固体撮像装置により取得された画像を記憶する第１記憶部と、
固体撮像装置により取得された画像に対して予め定められた信号処理を行なう第１の信号処理部と、
第１の信号処理部で処理された画像を記憶する第２記憶部と、
第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、
複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、
分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、
第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部、
とを備えた撮像装置。
［付記１９］
入力された画像を記憶する第１記憶部と、
入力された画像に対して予め定められた信号処理を行なう第１の信号処理部と、
第１の信号処理部で処理された画像を記憶する第２記憶部と、
第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、
複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、
選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、
第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部、
とを備えた電子機器。
［付記２０］
処理対象画像を複数の分割画像にする画像分割部と、
複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、
分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部、
としてコンピュータを機能させるプログラム。

１…画像処理装置、１０…第１動き探索処理部、１４０…前段信号処理装置、１４２…第１記憶部、１４４…第２記憶部、１４６…縮小平滑化部、１５０…後段信号処理装置、１５２…動きベクトルフィルタ、１５４…画像切出部、２０…動き探索判定部、２２…標準偏差判定部、２４…画素値変化判定部、３…グローバル動き探索処理装置、３０…第２動き探索処理部、３２…第２動き探索処理部、３８…代表特徴値算出部、４０…第３動き探索処理部、４２…第３動き探索処理部、５…撮像装置、５０…記憶部、６０…画像分割・選択処理部、６２…画像分割部、６６…分割画像選択部、６８…代表特徴値算出部、７…固体撮像装置、７０…動き探索判定部、７２…標準偏差判定部、７４…画素値変化判定部、７６…第１エッジ判定部、７８…第２エッジ判定部

Claims (20)

1. 処理対象画像を複数の分割画像にする画像分割部と、
   複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、
   分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
   選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部、
   とを備えた画像処理装置。
2. 分割画像選択部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、分割画像を選択する請求項１に記載の画像処理装置。
3. 代表特徴値算出部を更に備え、
   分割画像選択部は、分割画像を複数選択し、
   代表特徴値算出部は、選択された複数の分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、動き探索処理に関する代表的な特徴値を算出し、
   第２の動き探索処理部は、選択された複数の分割画像についての代表特徴値算出部により算出された代表的な特徴値に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう請求項１に記載の画像処理装置。
4. 第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
   判定部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいてグローバル動き探索の難易度が閾値以上であるか否かを判定することにより、動き探索結果が無効か否かを判定する請求項１に記載の画像処理装置。
5. 判定部は、第１の動き探索処理部による分割画像ごとの動き探索処理の情報として、
   画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、
   分割画像全体についての加算計算結果に基づいて算出した動き情報、
   とを全ての分割画像について取得し、
   取得した各値で表される条件式に従ってグローバル動き探索の難易度が閾値以上であるか否かを判定する請求項４に記載の画像処理装置。
6. 第１の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて信頼性が閾値以上である画素であるか否かを判断しながら、分割画像ごとに動き探索処理を行なう第３動き探索処理部を備え、
   第２の動き探索処理部は、第３の動き探索処理部による分割画像ごとの動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう請求項１に記載の画像処理装置。
7. 第２の動き探索処理部による画像全体に対しての動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第３の動き探索処理部を備えた請求項１に記載の画像処理装置。
8. 処理対象画像の画像特徴値に基づいて、画像分割及び／又は動き探索処理を行なう請求項１に記載の画像処理装置。
9. 画像分割部は、画像特徴値としての画像中のオブジェクト情報に基づいて処理対象画像を不均等に複数の分割画像に分割可能である請求項８に記載の画像処理装置。
10. 第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
    判定部は、画像特徴値としてのエッジ情報に基づいてグローバル動き探索の難易度が閾値以上であるか否かを判定することにより、第１の動き探索処理部による動き探索結果が無効か否かを判定する請求項８に記載の画像処理装置。
11. 第１の動き探索処理部による動き探索結果が無効か否かを判定する判定部を備え、
    判定部は、分割画像ごとに、画像特徴値としてのエッジ情報に基づいて、第１の動き探索処理部による動き探索結果が無効か否かを判定し、無効のときは当該分割画像の第１の動き探索処理部による動き探索処理結果を無効とする請求項８に記載の画像処理装置。
12. 各動き探索処理部は、画像の平行移動に関する動き情報を算出する、及び／又は、画像の回転移動に関する動き情報を算出する請求項１に記載の画像処理装置。
13. 各動き探索処理部の少なくとも１つは、Lucas-Kanade法により動き探索処理を行なう請求項１に記載の画像処理装置。
14. 第１の動き探索処理部は、分割画像ごとに、画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を分割画像全体に亘って行ない、その加算計算結果に基づいて動き情報を算出する請求項１３に記載の画像処理装置。
15. 第２の動き探索処理部は、
    画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく加算計算を画像全体に亘って行なう際に、
    選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づく設定条件に従って信頼性が閾値以上である画素であるか否かを判断し、設定条件を満足する場合に加算計算を行なう請求項１３に記載の画像処理装置。
16. 第２の動き探索処理部は、動き探索処理結果が信頼性が閾値以上である画素であるか否かを判断する情報として、
    画素における水平方向の画素値変化量、垂直方向の画素値変化量、及び、時間方向の画素値変化量に関する情報の少なくとも１つで表される計算式に基づく分割画像全体に亘る加算計算結果と、
    分割画像全体についての加算計算結果に基づいて算出した動き情報、
    とを選択された分割画像について取得し、
    取得した各値で表される設定条件に従って、画素ごとに加算するか否かの判断を行なう請求項１５に記載の画像処理装置。
17. 処理対象画像を複数の分割画像にする画像分割工程と、
    複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択工程と、
    分割画像ごとに動き探索処理を行なう第１の動き探索処理工程と、
    選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理工程、
    とを備えた画像処理方法。
18. 固体撮像装置と、
    固体撮像装置の撮像面に被写体像を結像する光学系と、
    固体撮像装置により取得された画像を記憶する第１記憶部と、
    固体撮像装置により取得された画像に対して予め定められた信号処理を行なう第１の信号処理部と、
    第１の信号処理部で処理された画像を記憶する第２記憶部と、
    第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、
    複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、
    分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
    選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、
    第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部、
    とを備えた撮像装置。
19. 入力された画像を記憶する第１記憶部と、
    入力された画像に対して予め定められた信号処理を行なう第１の信号処理部と、
    第１の信号処理部で処理された画像を記憶する第２記憶部と、
    第２記憶部から読み出した画像を複数の分割画像にする画像分割部と、
    複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像選択部と、
    選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部と、
    第１記憶部から読み出した画像に対して、第２の動き探索処理部の動き探索処理の結果を参照して動き補正処理を行なう第２の信号処理部、
    とを備えた電子機器。
20. 処理対象画像を複数の分割画像にする画像分割部と、
    複数の分割画像の内で、動き探索処理の信頼性が閾値以上である若しくは信頼性が相対的に高い分割画像を選択する分割画像を選択する分割画像選択部と、
    分割画像ごとに動き探索処理を行なう第１の動き探索処理部と、
    選択された分割画像についての第１の動き探索処理部による動き探索処理の情報に基づいて、画像分割を行なわない画像全体に対して動き探索処理を行なう第２の動き探索処理部、
    としてコンピュータを機能させるプログラム。

Images