JP6395506B2 - 画像処理装置および方法、プログラム、並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、動画フレーム間の対応点またはベクトルを探索する探索技術が適用された画像処理装置および方法、プログラム、並びに撮像装置に関する。

近年の撮像装置では、多画素化や高性能化により、ベクトル探索性能（探索可能率、非アウトライア率、精度）の高度化が求められている。探索可能率とは、相関値マップ上で唯一のピークを得られる可能性の割合である。アウトライア率とは、ＴＭが正しいとして出力した動きベクトルが大きく間違っている割合である。精度とは、アウトライアほど大きく外れていないが、真値の動きベクトルからのずれに関する指標である。

一方、動画フレーム間の対応点または動きベクトルの探索、特徴点の軌跡追跡（以下、「動きベクトル」と称する）では、テンプレートマッチング（ＴＭ）が重用されている。ＴＭで得られた動きベクトル情報は、防振や複数枚ノイズリダクション（ＮＲ）、ダイナミックレンジ拡張（ＨＤＲ）をはじめとする複数枚合成等の撮像装置の応用アプリケーションに必要な入力情報として活用される。

ＴＭによる動きベクトル探索部の設計において、探索範囲、テンプレートサイズ、および判定閾値が性能を左右する主な基本設計値となる。

探索範囲は、画像間での探索したい像の動きの大きさにより決定される。

テンプレートサイズは、探索可能率を高く、アウトライア率を低く保つように、性能とロバスト性を両立して維持しようとすると、探索範囲に従って決まる。例えば、大きな手ぶれに対応しようとすると、広い探索範囲を探す必要があり、広い探索範囲においても唯一のピークを決定するには、繰り返しパターンや平坦部等に影響されずに大域が捉えられるようにテンプレートサイズを大きくする必要がある。

しかしながら、広い探索範囲に対応するためにテンプレートサイズを大きくすると精度低下が生じ易くなる。なぜならば、テンプレート内の注目点に対して、注目点以外の部分領域が変形して移動し、該領域が顕著な特徴を持つ場合、動きベクトル探索がこの相対的な移動の影響を受けることにより精度低下を生じるためである。具体的には、被写体配置に起因する視差の競合や動体で生じる変形、光学系の歪曲や撮像素子のローリングシャッタ歪の影響により精度低下が生じる。当然、テンプレートサイズが大きいほど、上述した変形や歪の影響を受けて精度が低下し易くなる。

判定閾値は、探索可能性やアウトライアを判定するために用いるが、被写体像に依存し、正当の除却率、アウトライアの受け入れ率を鑑みて決定される値であることから、性能向上を目的として恣意的に設計することは難しい。

近年は、探索計算量の削減に加えて、探索範囲を削減することにより探索性能（探索可能率、非アウトライア率）を向上させる手法が提案されている。また、探索範囲を制限するとテンプレートサイズを小さくし易くなるため、精度の向上も期待できる。例えば、撮像装置において、撮像装置の動きによる像の動きで生じる動きベクトル探索の場合、撮像装置の手ぶれ補正機能を利用すると、そもそもの画像上の像の動きを小さくできる。探索画像間の像の動き想定を小さくできると、探索範囲を削減することが可能となる（特許文献１参照）。

また、ジャイロセンサ等により検出された位置姿勢情報、焦点距離情報等を組み合わせた情報や、撮像装置の手ぶれにより生じる画像の動きに関する断片的情報を利用して対応点の大まかな位置を特定する。そして、探索範囲の中心位置を移動し、探索範囲を削減する技術も提案されている（特許文献２参照）。

特開平８−２７５０４９号公報 特開２００９−４９４５７号公報

単純に光学防振の最も効きが良い状態のときに探索範囲を決定した場合、電子防振のマージン領域、光学防振機構の可動範囲を瞬間的に超える手ぶれが生じると、動きベクトルがその範囲外にはみ出してしまう。一方、ワーストケースに合わせて探索範囲を決定すると、探索範囲制限の効果が得られない。

また、［背景技術］で説明した既存の工夫、特許文献１、特許文献２を単に組み合わせても期待する性能向上は得られない。例えば、特許文献１に示す撮像装置の防振機能を利用して画像の動きを小さくする。その上で、特許文献２に示す光学防振の利用を想定していない位置姿勢情報に基づいた探索位置制御を組み合わせると、光学防振による画像の動きの減少と位置姿勢情報により得られる動きベクトルの示す対応点の大まかな予測位置の間で矛盾が生じる。その結果、探索範囲の制限による効果の恩恵は得られなくなる。これは、光学防振の抑振率を上げて光学防振効果を高めると顕著になる。

本発明は、上記問題に鑑みて成されたものであり、撮像装置のテレ端側での手ぶれやワイド端側での歩き撮りの様な動きの大きな映像に対しても、動きベクトル探索の性能を探索範囲の制限により向上させて防振性能を向上させることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、先に入力された基準画像に対して後から入力された参照画像の動きベクトルを探索する動きベクトル探索手段と、撮像装置の位置姿勢変化情報および防振制御情報に基づき、前記動きベクトル探索手段による動きベクトルの探索範囲および探索位置の少なくとも一方を設定する制御手段とを備え、前記制御手段は、得られる前記動きベクトルの数が事前に設定した閾値以下となる場合には、得られる前記動きベクトルの数が前記閾値を超える場合よりも広い前記探索範囲を設定することを特徴とする。

本発明によれば、撮像装置のテレ端側での手ぶれやワイド端側での歩き撮りの様な動きの大きな映像に対しても、動きベクトル探索の性能を探索範囲の制限により向上させることができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 図１における光学防振制御部を制御するためのＣＰＵの内部構成を示すブロック図である。 第１の実施形態における撮像装置にて実行されるカメラワーク判定制御処理を示すフローチャートである。 （ａ）カットオフ周波数と角速度または角変位データの絶対値との関係を示す図、（ｂ）積分時定数と角速度または角変位データの絶対値との関係を示す図である。 撮像装置にて実行される端処理判定制御処理を示すフローチャートである。 オフセット量と角速度または角変位データの絶対値との関係を示す図である。 （ａ）および（ｂ）動きベクトル探索におけるブロックマッチングの一例を示す図である。 （ａ）探索可能率を説明するための図、（ｂ）アウトライアを説明するための図、（ｃ）精度を説明するための図である。 撮像装置にて実行される探索範囲設定処理を示すフローチャートである。 図９に示す探索範囲設定処理により設定される探索範囲の変化を説明するための図である。 （ａ）〜（ｅ）ロール回転ぶれに対する探索範囲の設定を説明するための図である。 本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像装置にて実行される探索位置および探索範囲設定処理を示すフローチャートである。 図１３に示す探索位置および探索範囲設定処理により設定される探索基準座標の変化を説明するための図である。 画像動き予測値の絶対値に対する探索範囲サイズの一例を示す図である。

以下、本発明の実施形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。

図１において、撮像装置１００は、光学系１、撮像素子２、ぶれ情報取得部３、ＣＰＵ４、光学防振制御部５、前処理部６、メモリ７、動きベクトル探索部８、探索範囲制御部９、後処理部１０、および補正部材１１を備える。

光学系１は、被写体Ａから放射された光を撮像素子２上に結像させるコンポーネントであり、複数枚のレンズおよびミラーから構成される。光学系１は光学防振機構を備え、像ぶれを補正するための補正部材１１となる一部のレンズを並行移動させることにより撮像素子上の光学像の位置を平行移動させ、撮像装置１００の揺れによる映像の揺れを抑制する。なお、光学系１内の補正部材１１の代わりに、撮像素子２がピエゾ素子等による機械的駆動部品からなる、像ぶれを補正するための補正部材を備え、光学系１の光軸に垂直な面上で平行移動を行って手ぶれによる振動を防振してもよい。また、撮像素子２から画像信号として出力される像の範囲を制御し、電子的に手ぶれによる振動を抑制する電子防振機構を代替的に備えてもよい。

撮像素子２は、センサ面上に結像された光学像を電子像に変換する素子である。

ぶれ情報取得部３は、例えばジャイロセンサ等の位置姿勢センサであり、光学系の光軸を基準に直交する任意の軸に取り付けられる。そして、撮像装置１００の位置姿勢変化を計測し、位置姿勢変化の情報をＣＰＵ４に伝える。例えば、ぶれ情報取得部３が回転センサの場合、撮像装置のヨー方向、ピッチ方向、ロール方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を検出する。光軸に垂直な回転軸がヨー方向、ピッチ方向、光軸と平行な回転軸がロール方向である。なお、ぶれ情報取得部３に加速度センサや地磁気センサを追加して位置姿勢変化の検出性能や精度を向上させる構成でもよい。

ぶれ情報取得部３がデジタルセンサではなくアナログセンサの場合には、不図示のＤＣカットフィルタ、アンプ、Ａ／Ｄ変換器等が構成に加わる。ＤＣカットフィルタは、ぶれ情報取得部３が回転センサの場合に出力の角速度信号に含まれる直流（ＤＣ）ドリフト成分を遮断し、交流成分、すなわち振動成分のみを通過させる。アンプは、ＤＣカットフィルタを通過して出力された角速度信号を増幅して出力する。Ａ／Ｄ（アナログ／デジタル）変換器は、アンプで増幅された角速度信号をデジタル化して出力する。これらの機能がセンサアセンブリとして搭載されている場合、撮像装置側への実装を省略することが可能である。なお、ＤＣカットフィルタは、デジタルセンサの場合でもセンサアセンブリ内の機能で実現されない場合には併用してもよい。

ＣＰＵ（中央演算処理装置）４は、制御プログラムを不図示のメモリから読み出して実行し、撮像装置１００の各部の動作を制御する。本実施形態では、ＣＰＵ４は、ぶれ情報取得部３で検出された位置姿勢変化の情報に基づいて、光学防振制御部５を制御する。光学防振制御部５を制御するためのＣＰＵ４の内部構成を図２に示す。

図２において、ＣＰＵ４は、ＨＰＦ（高域通過フィルタ：ハイパスフィルタ）４１、オフセット量減算部４２、積分部４３、カメラワーク判定・制御部４４、および端処理判定・制御部４５を備える。

ＨＰＦ４１は、ぶれ情報取得部３から受信した位置姿勢変化の情報、例えば角速度信号（角速度情報）の周波数成分のうち、設定された低域カットオフ周波数以下の低周波成分を遮断し、低域カットオフ周波数を超える高周波成分を出力する。カットオフ周波数は、カメラワーク判定・制御部４４により決定される。

オフセット量減算部４２は、ＨＰＦ４１から出力される位置姿勢変化情報に対して所定のオフセット量を減算する処理を行う。オフセット量は、端処理判定・制御部４５により決定される。

積分部４３は、オフセット量減算部４２から出力されたオフセット量減算後の位置姿勢変化情報を積分し、積分された結果の位置姿勢変位情報を光学防振制御部５への補正量情報として出力する。積分の時定数は、カメラワーク判定・制御部４４により決定される。

カメラワーク判定・制御部４４は、ＨＰＦ４１（またはぶれ情報取得部３）から出力された位置姿勢変化情報及び積分部４３から出力された位置姿勢変位情報に基づいて、カメラワークが加えられているかどうかの判定（カメラワーク判定）を行う。このカメラワークは、撮像装置１００に加えられるパンニングやチルティングの様な撮影者の意図によるものが含まれる。また、カメラワーク判定・制御部４４は、カメラワーク制御として、上述したＨＰＦ４１のカットオフ周波数の変更／決定、積分部４３の積分の時定数の変更／決定を行う。

端処理判定・制御部４５は、積分部４３から出力された位置姿勢変位情報、言い換えると補正量情報および位置姿勢の変化量に基づいて端処理の必要性を判定し、端処理制御として、例えばオフセット量減算部４２に対してオフセット量変更の制御を行う。ここで端処理とは、防振の補正量が補正部材１１の物理的な可動限界、もしくは補正の電気的な限界に達し、瞬間的に抑振の効果状態が変化して不自然な映像が生じるのを防ぐ処理である。例えば、端が近付くと徐々に抑振率を下げるような処理が行われる。

図１に戻り、光学防振制御部５は、光学防振を行う補正部材１１を制御して防振を行う。すなわち、補正部材１１が光学系１に含まれる場合、光学防振制御部５は、補正部材１１となるレンズの並行移動を制御する一方、補正部材１１が撮像素子に含まれる場合には撮像素子２の並行移動を制御したり、撮像素子２からの像の読み出し範囲を制御する。

光学防振制御部５へ入力された補正量情報が角度情報で、ＣＰＵ４内での補正量情報が角度情報であった場合には、そのまま制御情報として角度情報が使われる。一方、補正部材１１の平行移動量や撮像素子２の平行移動量が関係する場合は、ＣＰＵ４内で加工された補正情報が光学防振制御部５へ入力される。例えば、位置姿勢変位情報を角度情報θ、焦点距離をｆとして、撮像素子２の平行移動量を入力とする場合は、（式１）に示す加工された補正量ｘが入力となる。

入力される補正量ｘが撮像装置で制御可能な限界を超える場合には、補正可能範囲に補正量がクリッピングされる。クリッピングが生じると端当たり状態となり、突然防振の抑振状態が途切れる映像として不自然な状態を生じる。

図１において、前処理部６は、撮像素子２で光電変換されたアナログの画像信号に対して、相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）のゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換等の処理を行う。そして、デジタル信号に変換した画像信号を出力する。

また、前処理部６は、動きベクトル探索部８への入力画像に対して、別途、ベイヤー配列補間等によるカラー画像生成もしくは輝度画像生成を行ってもよい。これは、動きベクトル探索用途向けの簡易レベルでよい。また、動きベクトル検出処理の精度やロバスト性を向上させるために、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の諧調調整処理を行ってもよい。アナログ信号に対する前処理が主であるため、主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。一方、デジタル出力センサと対で使われるものはＤＦＥ（デジタルフロントエンド）と呼ばれる。

メモリ７は、前処理部６で生成された前処理済み画像信号を一時保存するメモリである。

動きベクトル探索部８は、前処理部６から出力された画像信号およびメモリ７に蓄積された画像信号（過去の画像信号）を利用して、画像間の動きベクトルを推定する。動きベクトル探索部８では、入力された複数のフレーム間の動きベクトルを検出する。前処理部６で直近に処理され、入力されたカレントフレームと、メモリ７に一旦蓄えられてから入力される過去フレームとの間で動きベクトルを算出する。カレントフレームと過去フレームは必ずしも隣接フレームでなくてもよい。動きベクトルの算出では、ＴＭや各フレームで算出した特徴点間で対応付けを行うテーブルマッチング、勾配法に基づく動きベクトル推定（Ｏｐｔｉｃａｌ Ｆｌｏｗ推定）等により、フレーム間の動きベクトルもしくは対応点、特徴点毎の軌跡が算出される。

探索範囲制御部９は、ＣＰＵ４からの指示に応じて、動きベクトル探索部８における動きベクトル探索での探索範囲の大きさを制御する。

後処理部１０は、ベイヤー配列補間、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・諧調・コントラスト補正、エッジ強調、等の入力デジタルの画像信号に対するバックエンドの画像処理を行う。バックエンドの画像処理は、前処理部６のＡＦＥ（アナログフロントエンド）処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。フロントエンド処理及びバックエンド処理を行うことにより一枚の出力画像を生成可能である。また、出力画像信号と動きベクトル、もしくは対応点情報、特徴点軌跡からなる動きぶれ情報を組み合わせて動きぶれを抑性するように幾何学的変更を加えることで動画像の防振を行うことができる。

動きベクトル探索部８で得られた動きベクトルを用いて、レジストレーションした複数枚の合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張（ＨＤＲ）や複数枚ノイズリダクション（ＮＲ）、超解像処理等も後処理の一種として分類される。これらの処理により一枚もしくは動画に形成された出力画像が生成される。また、動きぶれ情報は、画像の補足情報として画像のメタ情報、または別途管理の情報として扱われ、３次元再構成、空間マッピング、認識等の付加機能の実現に用いられることもある。

後処理部１０で処理された画像情報は、不図示のＤＲＡＭ等に一時保存されるか、もしくはさらなる後段処理部に直接伝送される。後段処理部としては、例えば、任意の保存フォーマットへの変換を行う符号化部、半導体メモリ等からなる記録部、液晶ディスプレイ等から構成される表示部が挙げられる。また、無線ＬＡＮや有線ＬＡＮ、ＵＳＢ等の有線ケーブル等を接続可能なＩ／Ｆ（インターフェース）から構成される外部入出力Ｉ／Ｆが挙げられる。

次に、図１の撮像装置１００におけるカメラワーク判定制御について説明する。

図３は、第１の実施形態における撮像装置にて実行されるカメラワーク判定制御処理を示すフローチャートである。なお、図３に示す処理において、ぶれ情報取得部３が位置姿勢変化情報を出力するタイミングは、例えばジャイロセンサのサンプリングタイミング（１ＫＨｚ）であってもよい。ぶれ情報取得部３による位置姿勢変化情報の検知は、所定の間隔で繰り返し実施される。

図３において、ステップＳ１０１では、カメラワーク判定・制御部４４は、ＨＰＦ４１（またはぶれ情報取得部３）から出力された位置姿勢変化情報および積分部４３から出力された位置姿勢変位情報を取得する。なお、以降の説明では、位置姿勢変化情報をジャイロセンサにより検出される角速度情報、位置姿勢変位情報をその積分である角変位情報として説明する。なお、加速度センサを利用して位置変化を検出したり、位置変位を扱う場合にも以降同様の処理となる。

次に、ステップＳ１０２では、カメラワーク判定・制御部４４は、ステップＳ１０１で取得した角速度情報の絶対値あるいは角変位情報の絶対値が各々の閾値（カメラワーク開始判定閾値）以上であるか否かによりカメラワークの有無を判定する。角速度情報の絶対値あるいは角変位情報の絶対値が各々の閾値以上であると判定した場合、カメラワーク有りと判断し、カメラワーク判定フラグをＯＮとする。

上記カメラワーク判定では、カメラワーク判定フラグのＯＮ／ＯＦＦだけでなく、その強さの段階を判定してもよい。例えば、角速度情報の絶対値から得られた強度レベルもしくは角変位情報の絶対値から得られた強度レベルのいずれか高い方に合わせてカメラワーク判定の強度レベルを決定する。

ステップＳ１０２のカメラワーク判定にて、角速度情報の絶対値及び角変位情報の絶対値の両方が各々の閾値（カメラワーク終了判定閾値）を下回った場合、カメラワーク無しと判断し、カメラワーク判定フラグをＯＦＦとする。

上述したカメラワーク開始判定閾値とカメラワーク終了判定閾値は、互いに異なる閾値が設定されてもよい。例えば、カメラワーク開始判定閾値をカメラワーク終了判定閾値よりも高く設定することで安定した切り替えを実現することが可能となる。

ステップＳ１０３では、カメラワーク判定・制御部４４は、カメラワーク判定フラグのＯＮ／ＯＦＦまたはその強度の段階に応じて、ＨＰＦ４１のカットオフ周波数および積分部４３の積分時定数変更の制御を行う。ステップＳ１０３における制御方法を図４（ａ）を用いて説明する。

図４（ａ）において、カメラワーク判定フラグＯＮ時には、ＨＰＦ４１の演算に用いるカットオフ周波数の値をカメラワークＯＦＦ時のカットオフ周波数の値より高く（高域側に）設定する。そして、低周波信号の減衰率をカメラワーク判定フラグＯＦＦ時の減衰率より大きくする。これにより、ゆったりとした大きな振幅の動きに対する防振の感度を下げることができる。

一方、図４（ｂ）に示すように、積分部４３での演算に用いる時定数の値をカメラワーク判定フラグＯＦＦ時の時定数の値より小さくする。

図４（ｂ）において、カメラワーク判定フラグＯＮ時には積分部４３の演算に用いる積分時定数の値をカメラワークＯＦＦ時の積分時定数の値より小さく設定する。これにより、過去からのフィードバックゲインを下げ、積分結果である角変位情報が基準値（例えば変位ゼロ）に戻るスピードを速めることができる。

次に、撮像装置１００における端処理判定制御について説明する。

歩きながらの撮影等により生じる手ぶれの大きさが光学防振機構の可動範囲を超える場合に平常時にも光学防振機構を作動継続していると端当たりが発生する。端当たりが発生すると抑振効果が突然途切れて不自然な映像となる。そこで、端に近づくにつれて徐々に抑振を弱めて急激な端当たりを回避する端処理を実施する。

図５は、第１の実施形態における撮像装置１００にて実行される端処理判定制御処理を示すフローチャートである。なお、図５に示す処理において、ぶれ情報取得部３が位置姿勢変化情報を出力するタイミングは、上述したカメラワーク判定制御処理と同様に、ジャイロセンサのサンプリングタイミング（１ＫＨｚ）であってもよい。ぶれ情報取得部３による位置姿勢変化情報の検知は、所定の間隔で繰り返し実施される。

図５において、ステップＳ２０１では、端処理判定・制御部４５は、積分部４３から出力された位置姿勢変位情報を取得する。さらに端処理判定・制御部４５は、以前に取得して不図示のメモリに格納されている位置姿勢変位情報と、取得した位置姿勢変位情報との差分から位置姿勢変位情報の変化速度を算出する。

なお、以降説明では、上述したカメラワーク判定制御処理と同様に、位置姿勢変位情報を角変位情報とし、位置姿勢変位情報の変化速度を角変位情報の変化速度として説明する。

次に、ステップＳ２０２では、端処理判定・制御部４５は、ステップＳ２０１で取得または算出した角変位情報の絶対値あるいは角変位情報の変化速度の絶対値が各々の閾値以上であるか否かにより端処理の必要有無を判定する。角変位情報の絶対値あるいは角変位情報の変化速度の絶対値が各々の閾値（端処理開始判定閾値）以上であると判定した場合、端処理の必要ありと判断して、端処理判定フラグをＯＮとする。

上記端処理判定では、端処理判定フラグのＯＮ／ＯＦＦだけでなく、その強さの段階を判定してもよい。例えば、角変位情報の絶対値から得られた強度レベルもしくは角変位情報の変化速度の絶対値から得られた強度レベルのいずれか高い方に合わせて端処理判定の強度レベルを決定する。

ステップＳ２０２の端処理判定にて、角変位情報の絶対値及び角変位情報の変化速度の絶対値が各々の閾値（端処理終了判定閾値）を下回った場合、端処理の必要なしと判定して、端処理判定フラグをＯＦＦとする。

端処理開始判定閾値と端処理終了判定閾値は、上述したカメラワークに関する判定閾値と同様に、互いに異なる閾値が設定されてもよい。例えば、端処理開始判定閾値を端処理終了判定閾値よりも高く設定することで安定した切り替えを実現することが可能となる。

ステップＳ２０３では、端処理判定・制御部４５は、端処理判定フラグのＯＮ／ＯＦＦまたはその強度の段階に応じて、オフセット量減算部４２のオフセット量の制御を行う。ステップＳ２０３における制御方法を図６を用いて説明する。

図６において、端処理判定フラグＯＮ時には、オフセット量減算部４２のオフセット量を端処理判定フラグＯＦＦ時のオフセット量の値より大きく設定する。符号的には、端処理判定フラグがＯＦＦの場合に比べてＯＮの場合のオフセット量減算部４２出力値が小さく、また端処理判定の強度レベルが高くなれば高くなるほど小さくなるようにオフセットの符号は制御される。これにより、角速度情報に対して、端に近づけば近づくほど常に基準値（例えば変位ゼロ、光学防振機構のニュートラル位置）に引き戻すバイアスが強くかけられる形となり、端当たりを生じにくくすることができる。

なお、カメラワーク判定制御および端処理判定制御の各々の判定フラグの状態もしくは強度レベルの状態は、常にＣＰＵ４によりモニタリングされ、探索範囲制御部９に伝えられる。

本実施形態では、カメラワーク判定制御と端処理判定制御を分けて説明したが、実際には、どちらも撮像装置に加わる大きな手ぶれを位置姿勢変化情報で検出し、端当たりを防ぐという意味では同質の処理である。カメラワークに対する抑振効果を上げるために端処理のオフセット減算を用いたり、端当たりを防ぐために上述した各制御を用いてもよい。また、カメラワーク判定、端処理判定のやり方を組み合わせたりしてもよい。

次に、撮像装置１００における動きベクトル探索処理について説明する。

動きベクトル探索処理は、所定のタイミング毎（例えば３０ｆｐｓもしくは６０ｆｐｓのフレーム取得タイミング毎）に繰り返し実施される。

図７（ａ）は、ＴＭの一種であるブロックマッチングの一例を示す図である。図７（ｂ）は、動きベクトル探索における主要な制御可能パラメータを示す図である。

図７（ａ）および図７（ｂ）において、左側の画像７０１を基準画像とし、右側の画像７０２を参照画像とする。例えば、先に入力されたフレームを基準画像とし、後から入力されたカレントフレームを参照画像として動きベクトルを検出する。左画像中でグリッド状に配置された注目点７０４を中心とした所定サイズの部分領域をテンプレート７０３とする。参照画像中で任意の探索範囲７０７を設定し、順次移動しながらテンプレートが最も合致する位置を探索する。なお、入力画像はカラー画像や輝度画像、微分画像等の変調画像であってもかまわない。

右画像中の注目点７０５を基準とした部分領域７０６と基準画像のテンプレート７０３との類似度を計算していく。類似度指標としてはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、正規相互相関等の相関演算が用いられる。実写映像の様にフレーム間の輝度変動が激しい場合は正規相互相関が主に用いられる。正規相互相関の類似度スコアの算出式を（式２）に示す。

（ｘ，ｙ）および（ｘ’，ｙ’）は、基準画像Ｉおよび参照画像Ｉ’内におけるテンプレートの位置を示す。Ｉ_{（ｘ，ｙ）}（ｉ，ｊ）およびＩ’_{（ｘ’，ｙ’）}（ｉ，ｊ）は部分画像を示す。

探索範囲内の注目点７０５の部分領域７０６毎の類似度を一通り算出した結果、最も類似度（例えば相関スコア）の高い位置を対応位置とみなし動きベクトルを算出する。オクルージョンがなければ、基本的に基準画像上で設定した注目点７０４の数だけ動きベクトルが算出される。動きベクトルは、それぞれ基準画像中の注目点位置を始点とし、参照画像中の対応点位置を終点とするベクトルにより表現される。

また、探索領域内の相関スコアに対して多項式フィッティングを実施しより高精度に類似度のピーク位置を算出したリ、テンプレートと参照画像を高画素化するなどの処理により、サブピクセル精度で動きベクトルもしくは対応点の軌跡を算出してもよい。

注目点をグリッド状に固定的に配置したブロックマッチングについて説明したが、動きベクトルを算出しやすい特徴点を基準画像上で抽出し、その位置を注目点として動きベクトル探索してもよい。注目点の抽出には、通常Ｈａｒｒｉｓオペレータ（※文献１参照）等の画像処理フィルタが用いられる。画像のコーナー位置を特徴点として抽出することにより、適切な特徴のない位置で探索することにより発生する開口問題や「滑り」の問題を抑制し、探索可能率を向上したり、アウトライア率の低下、精度向上が期待できる。

※［文献１］ Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈｅｎｓ， “Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”， Ｆｏｕｒｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ．１４７−１５１， １９８８．

Ｈａｒｒｉｓオペレータでは、ウィンドウサイズＷを決定し、水平および垂直方向についての微分画像（Ｉ_ｄｘ，Ｉ_ｄｙ）を計算する。微分画像の計算には、Ｓｏｂｅｌフィルタ等を用いればよい。例えば、フィルタは（式４）を横方向にし、縦方向に３つにならべた３×３フィルタｈｘ、および縦方向にし、横方向に３つならべた３×３フィルタｈｙを画像に適用し、（Ｉ_ｄｘ，Ｉ_ｄｙ）を得る。そして、画像内の全ての座標（ｘ，ｙ）について、ウィンドウＷを用いて、次のマトリクスＧを計算する。

マトリクスＧの最小特異値が大きい座標（ｘ，ｙ）の順に特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。既に特徴点が抽出済みの座標（ｘ，ｙ）のウィンドウサイズＷの周辺はもう特徴点を算出しない等の約束を設けてもよい。

連続するフレーム間では、再度特徴点を求めてＴＭを行ってもよいし、得られた動きベクトルの終端を注目点として、新たなフレーム間でＴＭを行い特徴点の軌跡を追跡してもよい。

また、各フレームで算出した特徴点間で特徴量をキー情報として内積演算等によるマッチングを実施し、対応付けを行ってもよい。例えば、枝刈りアルゴリズムを活用することにより冗長な対応付け作業を削減することができるため効率的な対応付けが可能である。

次に、動きベクトル探索の流れを図８（ａ）〜図８（ｃ）を用いて説明する。

図８（ａ）は、探索可能率を説明するための図である。なお、同図では、説明の簡略化のために、本来２次元の相関値マップを１次元で表している。

探索可能率は、上述した通り、相関値マップ上で唯一のピークを得られる可能性の割合である。探索範囲内の注目点毎の相関スコアを計算することにより、（イ）や（ロ）のような相関値グラフ（実際は２次元マップ）が得られる。

唯一のピークが得られる場合は、（イ）のように、最高相関スコアの候補ピークの相関値に対する次点ピークの相関値の差が閾値より十分に大きい場合である。逆に、唯一のピークが得られない場合は、（ロ）のように、候補ピークの相関値に対する次点ピークの相関値の差が閾値以下の場合である。このように、相関スコアのピークの唯一性を、ピーク位置と次のピーク位置との差やピークの鋭さで判断し、探索可能性を判定する。

なお、相関値について、唯一ピークが得られる必要条件として、テンプレートに十分なテクスチャ性が存在することが求められる。そのため、曖昧な対応を除くためにテンプレートのテクスチャ性の不足を、分散等のスコアにより閾値で探索前に事前判定して探索可能性を判定してもよい。一般的に探索範囲が広がると類似パターンを拾い、唯一のピークが得にくくなる一方、テンプレートサイズが大きくなると唯一のピークが得やすくなる。

図８（ｂ）は、アウトライアを説明するための図である。

アウトライア率は、上述したように、ＴＭが正しいとして出力した動きベクトルが大きく間違っている割合である。動きベクトル探索の対象となる画像が、静止の像面に平行な平面シーンを撮影した画像であり、撮像装置を左下にシフトして撮影した画像の場合、図８（ｂ）に示すように、全ての注目点において同じ動きベクトルが得られるはずである。

しかしながら、正解となる動きベクトルに対し、探索エラーにより大きく間違っている動きベクトルが生じている。これをアウトライアと呼び、その割合をアウトライア率と呼ぶ。一般的に、判定閾値を緩めると探索可能率は向上するがアウトライア率も上がってしまう。

また、探索可能率やテンプレートサイズを維持するよう判定閾値を維持したまま探索範囲を広げるとアウトライア率は上がりやすい。

また、アウトライアはオクルージョン部で起こり易い。オクルージョン部は、基準画像２０１と参照画像２０２を入れ替えて探索することにより検査できる双方向性、最低相関スコアによる閾値判定等で検出する。

図８（ｃ）は、精度を説明するための図である。

精度は、上述したように、アウトライアほど大きく外れていないが、真値の動きベクトルからのずれに関する指標である。例えば、図８（ｃ）に示すように、ある特定の注目点の周囲で切り出したテンプレートに対する動きベクトル（右下）が、アウトライアほどずれていないが微小な誤差を含む場合である。精度のずれは、主に視差競合により発生する。

アウトライアと非アウトライアの違いは、動きベクトル探索時には判別できない。正解であるＧｒｏｕｎｄ Ｔｒｕｔｈ、つまり理想的な正解値の動きベクトルと対となる画像対を入力して得られた動きベクトルとを比較して初めて判別可能である。精度の定量値についても同様である。アウトライアは、動きベクトルの誤差に対する判定閾値により判別される。

人体等の非剛体の動き、ローリングシャッタ歪、光学系の歪曲収差等に起因する変形により精度の低下が発生する。テンプレート内の注目点に対し、注目点以外の領域が変形して移動する。該領域が顕著な特徴を持つ場合、動きベクトル探索がこの相対的な移動、つまりは視差の競合の影響を受けることにより、精度劣化が生じる。当然、テンプレートサイズが大きいほど、該歪や変形の影響を受け易くなり、精度が低下する。

探索範囲を拡大しても探索可能率・アウトライア率を維持しようとするとテンプレートサイズを広げなければならなくなる場合が多い。この場合、被写体の視差や動体の変形、ローリングシャッタ歪、歪曲影響を受けて正当の動きベクトルの精度が低下する。

次に、撮像装置１００における探索範囲の制御処理について説明する。

ＴＭの探索範囲は、フレーム間の主要な被写体の画像上での動きを十分カバーする広さを想定して設定される。また、回路規模や計算量を抑えたり、探索範囲をできるだけ減らすことが重要となる。そのため、図１の様な光学防振機能を備えた撮像装置では、光学防振の効果が十分に発揮している場合を想定し、フレーム間の主要な被写体の画像上の動きから探索範囲が設定される。

撮像装置１００では、カメラワーク判定制御処理や端処理判定制御処理を実施して自然な動きの映像を得ようとするため、防振の効果が安定しない。そこで、カメラワーク判定制御処理や端処理判定制御処理を考慮した探索範囲の制御を行うことが動きベクトル探索の性能向上につながる。

探索範囲の制御処理は、上述した動きベクトル探索処理と同様、所定のタイミング毎（例えば３０ｆｐｓもしくは６０ｆｐｓのフレーム取得タイミング毎）に繰り返し実施される。

図９は、撮像装置１００にて実行される探索範囲制御処理を示すフローチャートである。

ステップＳ３０１では、動きベクトル探索部８は、動きベクトル探索に用いる基準フレーム、参照フレームの露出期間におけるカメラワーク判定制御処理および端処理判定制御処理のモニタリングを行う。動きベクトル探索の実施タイミングがフレームレートに依存することが多い。一方、カメラワーク判定制御処理および端処理判定制御処理のタイミングは、より頻度の高いぶれ情報取得部３の検出タイミングに依存することが多い。そこで、ステップＳ３０１では、動きベクトル探索を行うフレーム間で何度も行われるカメラワーク判定制御処理および端処理判定制御処理をモニタリングする。例えば、先行フレームの露出開始時間から後行フレームの露出終了時間までを動きベクトルを算出するためのフレーム撮像期間とする。そして、このフレーム撮像期間において、カメラワーク判定フラグまたは端処理判定フラグがＯＦＦであった場合は、対象期間のすべてでカメラワーク判定制御処理または端処理判定制御処理がＯＦＦであったとみなす。逆に、カメラワーク判定フラグまたは端処理判定フラグがＯＮ、強度レベルが所定の強度レベルであったとすると、対象期間のすべてで端処理判定フラグがＯＮ、強度レベルが継続していたものとする。

本実施形態では、フレームの露出期間のあるタイミングを代表のサンプリングタイミングとしたが、より複雑な計算をして対象期間のカメラワーク判定制御処理および端処理判定制御処理をモニタリングしてもよい。また、例えば、カメラワーク判定フラグ、端処理判定フラグの状態および強度レベルの状態の平均を対象期間の代表値としてもよい。もちろん、重みづけ平均等、複雑な演算を用いてカメラワーク判定制御処理および端処理判定制御処理をモニタリングしてもよい。

ステップＳ３０２では、動きベクトル探索部８は、ステップＳ３０１で集計した対象期間中のカメラワーク判定制御処理および端処理判定制御処理の状態に応じて、フレーム間の動きベクトル探索における探索範囲を設定する。このステップＳ３０２の詳細を図１０を用いて説明する。

図１０において、対象期間のカメラワーク判定制御処理および端処理判定制御処理がＯＦＦだった場合、光学防振の効果を考慮して最小の探索範囲が光学防振制御部５にセットされる。一方、対象期間のカメラワーク判定制御処理または端処理判定制御処理がＯＮで、強度レベルのいずれかが最大の場合、光学防振なしの場合の撮像装置のぶれを想定して最大の探索範囲が光学防振制御部５にセットされる。このように、カメラワーク判定制御処理および端処理判定制御処理の状態およびその強度レベルに応じた探索範囲が光学防振制御部５にセットされる。

カメラワーク判定制御処理または端処理判定制御処理がＯＮで、強度レベルが小さい場合は、最大の探索範囲と最小の探索範囲と間の適切な探索範囲が設定される。例えば、カメラワーク判定制御処理または端処理判定制御処理の強度レベルの高い方に依存し、探索範囲が設定される。

このようなカメラワーク判定制御処理および端処理判定制御処理の状態に応じた探索範囲の設定により、光学防振の効果が安定しないなかで適切な動きベクトル探索の探索範囲の設定が可能となり、動きベクトル探索の性能を向上させることができる。

上記実施形態では、被写体が静止していることが前提であり、被写体が動いてる場合は、想定される像の動きを超えやすくなるため、動きベクトルが取れなくなる。そうすると、手ぶれ補正を目的としたアプリケーションの場合、画像動きのずれが取れればよいことから、得られるべき情報が得られず防振性能が低下してしまう。この場合、動きベクトルの数が事前に設定した閾値以下となる場合には、探索範囲の制御を緩和または解除して広い探索範囲を設定する一方、動きベクトルの数が回復した時点で探索範囲を狭めることにすると、弊害を生じずに動きベクトル探索性能を向上できる。

逆に、動きベクトル探索の目的が防振にある場合、動く被写体から算出される相対的な像の動きによる動きベクトルは不要である。このように、動きベクトル数にとらわれずにカメラワーク判定制御処理および端処理判定制御処理の状態に応じて探索範囲を設定する。

また、上記実施形態では、光学防振を併用した場合の探索範囲の制御について説明したが、光学防振では、回転ぶれに対しては撮像装置の光軸に対して回転軸を垂直に設定した、いわゆるヨー、ピッチの画像動きを抑制する機能である。したがって、撮像装置の動きによって生じる画像の垂直方向、水平方向の動きに対する動きベクトル探索の探索範囲の制御の観点で説明したが、撮像装置の光軸と回転軸を同じくするロール軸の面内回転であっても本発明の適用が可能である。例えば、図１１（ａ）に示すような手持ちの撮像装置の手ぶれの場合、撮影者の肘もしくは手首を支点とした手ぶれが生じる。このため、図１１（ｂ）のように回転の支点が画像外に存在し、その支点が常に移動するような複雑な画像動きがフレーム間で発生する。このため、従来は探索範囲制限の対象としては扱いづらかった。

そこで、本実施形態における光学防振を併用する撮像装置の場合、画像の水平垂直動きを表す動きベクトル探索結果を用い、ベクトル残差を負のフィードバックとして光学防振を追従させることにより、ぶれの補正残りの並進成分の除くことができる。※例えば、特許第３６２０２１０号後方参照。このため、光学防振を適用すると、図１１（ｃ）のように、ヨー、ピッチ方向のぶれ小の状態では、光学防振を通したフレーム間の画像上では純粋な光軸を中心とした撮像装置の回転に由来する成分のみ残留するとみなすことが可能となる。この動きは光軸と画像の交点である画像上の回転中心、言い換えると画像中心からの注目点の方向に依存し、動きベクトルの移動方向が決まる。そして、この画像中心を基準に注目点について点対称の動きとなる。動きの大きさは画像中心と注目点との距離に比例し像の動きが大きくなる。この関係を考慮し、図１１（ｄ）のように、例えば面内回転に関し、画像中心と注目点との距離に比例した大きさの探索範囲を設定することにより、動きベクトルを取得可能な適切な探索範囲を設定可能である。もしくは図１１（ｅ）に示すように、最周辺の注目点の画像中心からの距離を想定して探索範囲を設定して全ての注目点での動きベクトルが探索可能な同一サイズの探索範囲を設定してもよい。

また、図１１（ｄ）、図１１（ｅ）では、注目点に対称なサイズの探索範囲を設定する例を示したが、画像中心と注目点の位置関係を考慮した回転方向に応じた非対称な探索範囲を設定してもよい。その上で、光軸と同軸の回転軸に対してセットされたぶれ情報取得部３（例えば回転に関するジャイロセンサ）による位置姿勢の変化の大小に応じて、追加的に探索範囲を制御することが有効となる。具体的には、光軸周りの回転量が小さい場合、探索範囲を縮小させる。一方、光軸周りの回転量が大きい場合には、探索範囲を拡大させる。

ところが、撮像装置の光軸に垂直な軸周りの回転、いわゆるヨー、ピッチのぶれによる回転が大きくなり、カメラワーク判定制御処理および端処理判定制御処理が動作状態になると、フレーム間の画像上で面内回転の回転中心が移動してぶれることになる。この回転中心のぶれによる影響を上述したカメラワーク判定制御処理および端処理判定制御処理の動作有無に応じた探索範囲の設定により対応することで、光軸周りの回転の変化に対しても光学防振の性能の変化に応じた適切な探索範囲制御が可能となる。なお、上述したロール軸に関する探索範囲制御は、それ以前で述べたヨー、ピッチ軸の探索範囲制御と加法的に実行可能であることは云うまでもない。

［第２の実施形態］
本発明の第２の実施形態に係る撮像装置について説明する。

図１２は、本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。なお、図１で説明した撮像装置１００と同一の構成要素については同一の符号を付して、その説明を省略する。

図１２において、撮像装置２００は、光学系１、撮像素子２、ぶれ情報取得部３、ＣＰＵ４、光学防振制御部５、前処理部６、メモリ７、動きベクトル探索部８、後処理部１０、補正部材１１、フレーム間変位算出部１２を備える。さらに、探索位置・範囲制御部１３、および光学防振位置検出部１４を備える。

光学防振位置検出部１４は、ホール素子またはエンコーダ等により構成され、光学防振を行うレンズの並行移動量を正確に計測する。なお、防振機構が撮像素子２を駆動するタイプの場合、光学防振位置検出部１４は、撮像素子２の駆動部（不図示）に設置されたエンコーダ等により構成される。また、電子防振機構の場合、光学防振位置検出部１４は、撮像素子２から読み出した制御情報を利用して防振位置を検出する。

また、光学防振位置検出部１４は、ＣＰＵ４から光学防振制御部５に送信される制御情報を受信することも可能である。

フレーム間変位算出部１２は、ぶれ情報取得部３から出力される位置姿勢変化情報に基づいて、撮像素子２からのフレームと同期して積分を行い、フレーム間での位置姿勢変位情報を求める。なお、フレーム間変位算出部１２は、独立しているが、制御プログラムを不図示のメモリから読み出して実行し、各部の動作を制御するＣＰＵ４の一機能であってもよい。

探索位置・範囲制御部１３は、上記第１の実施形態で説明した探索範囲の拡大／縮小に対する制御を行う。加えて、ぶれ情報取得部３からのぶれ情報および光学防振位置検出部１４からの光学防振制御情報をもとに像のぶれ予測情報を計算し、動きベクトル探索部８における基準画像上の注目点に対する参照画像上の探索中心座標の位置の制御も追加的に実施する。さらに、探索範囲を狭める制御をも行う。

図１３は、撮像装置１００にて実行される探索位置および範囲制御処理を示すフローチャートである。なお、本処理は、上述した動きベクトル探索処理と同様に、所定のタイミング毎（例えば３０ｆｐｓもしくは６０ｆｐｓのフレーム取得タイミング毎）に繰り返し実施される。

ステップＳ４０１では、動きベクトル探索部８は、図９のステップＳ３０１と同じように、カメラワーク判定制御処理および端処理判定制御処理のモニタリングを行う。

ステップＳ４０２では、動きベクトル探索部８は、図９のステップＳ３０２と同じように、探索範囲設定を設定する。なお、ステップＳ４０２にて設定される探索範囲は、探索位置制御によりサポートすべき画像の動きがより小さな動きとなるため、図９のステップＳ３０２で設定される探索範囲よりもより小さな探索範囲が設定可能となる。

ステップＳ４０３では、探索位置・範囲制御部１３は、探索範囲の中心座標位置を算出する。具体的には、フレーム間変位算出部１２は、ぶれ情報取得部３からの位置姿勢変化情報を基に積分を行い、フレーム間での位置姿勢変位情報を求める。これにより、光学防振を考慮しない時点での撮像装置のぶれを算出することができる。

次に、光学防振位置検出部１４で得られる、光学防振を行うレンズの並行移動の動きベクトル探索を行う対象フレームの各露光時の位置、例えば露光フレームの中央像高の画素列を露光したタイミングでの位置をそれぞれ検出する。そして、フレーム間の光学防振の補正部材１１の位置変化を算出する。該位置変化は、フレーム間での光学防振の効果を表すことになる。そして、光学防振を考慮しない時点での撮像装置のぶれから、フレーム間での光学防振の効果の差分を画像上でのぶれによる注目点の平均的なずれ位置とする。

位置姿勢変化および光学防振の効果が撮像装置の角度ぶれに関する量の場合（θ_１＿Ｘ：位置姿勢変化、θ_２＿Ｘ：光学防振の効果、Ｘ：Ｙａｗ，Ｐｉｔｃｈ，Ｒｏｌｌ）、光学系の焦点距離ｆや画素ピッチサイズΔｃｅｌｌを用いて画像上の変位に変換する。次式は探索中心位置を移動させるための式である。（ｘ，ｙ）が基準画像上の注目点に対する参照画像上の探索中心座標であるとすると、（ｘ’，ｙ’）が制御後の探索中心座標となる。Δｘ，Δｙは、画像動きから算出した探索範囲の中心座標の移動調整量である。

また、撮像装置２００のロール方向についても同様の概念で計算可能である。撮像装置２００のロール回転に関する探索位置の制御は、光学防振の影響を受けずに撮像装置のロール回転量θ_１＿Ｒのみに依存する。

（ｘ’，ｙ’）が撮像装置のロール回転の影響を考慮した探索位置制御後の探索中心座標となる。（ｘｃ，ｙｃ）は画像中心座標である。

ヨー、ピッチ、ロール方向の位置ずれについてはその影響は加法的に算出可能である。

ステップＳ４０４では、探索位置・範囲制御部１３は、動きベクトル探索における探索位置を設定する。ステップＳ４０３にて算出した画像上でのぶれによる注目点の平均的なずれ量分、探索範囲を移動することにより、探索範囲をより削減して設定することが可能となる。

図１４は、上述した探索位置および範囲制御処理により設定される探索基準座標の変化を説明するための図である。

図１４において、ぶれ情報取得部３からの位置姿勢変化情報に基づき、探索範囲の基準座標を移動して探索範囲を設定する。その結果、図１３のステップＳ４０２で設定される探索範囲のサイズは、上記第１の実施形態における探索範囲のサイズと比較してさらに小さな探索範囲を設定可能となる。同時に、上述した探索範囲制御を光学防振の状態に応じて行うことで動きベクトル算出性能の向上が期待できる。

上述した探索位置の制御は、実際の撮像装置に生じた手ぶれと光学防振効果との差を補償するものである。見方を変えると、手ぶれと光学防振効果との差分量の絶対値の大小に基づいて探索範囲制御を行った方が、カメラワーク判定制御処理および端処理判定制御処理の状態に応じた探索範囲制御よりも、高精度かつ適切に探索範囲の設定が可能となり得る。そこで、手ぶれと光学防振効果との差分量を図９のステップＳ３０１における入力としてもよい。その場合、カメラワーク判定フラグ、端処理判定フラグ及び強度レベルの状態に基づく探索範囲の計算と同様に、該差分の絶対値の大きさに基づき探索範囲を設定する。

図１５は、画像動き予測値の絶対値に対する探索範囲サイズの一例を示す図である。

手ぶれと光学防振効果との差分は画像動きの予測値ともいえる。撮像装置に生じたぶれと光学防振効果との残留差を画像動き予測値と呼ぶことにする。画像動き予測値の絶対値が小さい範囲では、光学防振の効果を想定した最小の探索範囲を設定する。これを図中ではｍｏｄｅ１とする。逆に、画像動き予測値の絶対値が設定のレベルの最大範囲を超える場合は、例えば光学防振なしの場合の撮像装置のぶれを想定した最大の探索範囲（例えばｍｏｄｅ４）を設定する。画像動き予測値の絶対値が中間的な値の場合には、適宜設定したレベルに基づき、ｍｏｄｅ２、ｍｏｄｅ３といった中間的な広さの探索範囲を算出、設定する。画像動き予測値の絶対値に応じた探索範囲のｍｏｄｅの数やｍｏｄｅの切り替え方法については適宜設定してもよい。

上記探索位置および範囲制御処理は、被写体が静止していることを前提としている。故に画像動きの予測値と、算出される動きベクトル値との間に大きな差がある場合には、被写体が静止している被写体ではなく、動いている被写体の可能性がある。手ぶれ補正を目的としたアプリケーションの場合、画像動きが取れればよいことから、得られるべき動きベクトルが得られず防振性能が低下してしまう。この場合、撮像装置に生じた手ぶれと光学防振効果との差分から得られる画像動き予測値と、動きベクトル探索で得られる動きベクトルの値とのずれが大きい場合には、探索範囲制御を緩和または解除し、広い範囲を探索する。そして、取得された動きベクトルの数が回復した時点で探索範囲を狭めることにすると、弊害を生じずに動きベクトル探索性能を向上できる。ベクトルのずれは両者ともにベクトル量であるため、例えばベクトルの射影により類似度を求めることで定量化することが可能である。例えば類似度をαとすると、ずれの尺度は以下の式で得られる。さらに類似度αは正規化することで０−１の値域として扱うことができる。なお、ベクトルａは画像動きの予測値ベクトル、ベクトルｂは算出動きベクトルとする。

上記実施形態において、位置姿勢変位情報、例えば角変位情報としてあらわされる姿勢変位情報は、位置姿勢変化情報を積分して得られるものとして説明したが、ＧＰＳ等により実現される方位計や傾斜センサ、地磁気計を用いて直接求めてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１ 光学系
２ 撮像素子
３ ぶれ情報取得部
４ ＣＰＵ
５ 光学防振制御部
８ 動きベクトル探索部
９ 探索範囲制御部
１１ 補正部材
４４ カメラワーク判定・制御部
１００ 撮像装置

Claims (8)

1. 先に入力された基準画像に対して後から入力された参照画像の動きベクトルを探索する動きベクトル探索手段と、
   撮像装置の位置姿勢変化情報および防振制御情報に基づき、前記動きベクトル探索手段による動きベクトルの探索範囲および探索位置の少なくとも一方を設定する制御手段とを備え、
   前記制御手段は、得られる前記動きベクトルの数が事前に設定した閾値以下となる場合には、得られる前記動きベクトルの数が前記閾値を超える場合よりも広い前記探索範囲を設定することを特徴とする画像処理装置。
2. 前記位置姿勢変化情報からカメラワークの有無を判定するカメラワーク判定手段と、
   前記位置姿勢変化情報から端処理の必要性の有無を判定する端処理判定手段と、
   前記カメラワーク判定手段および前記端処理判定手段の各々の判定結果および強度レベルを含む防振制御情報を生成する防振制御情報生成手段とを備え、
   前記制御手段は、前記防振制御情報に基づいて前記カメラワークおよび前記端処理の必要性の少なくとも一方が有りの場合は、前記強度レベルに応じて前記探索範囲を拡大させることを特徴とする請求項１記載の画像処理装置。
3. 前記制御手段は、広い前記探索範囲を設定した状態で得られる前記動きベクトルの数が前記閾値を超える場合には、前記探索範囲を狭めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記位置姿勢変化情報を積分して求めた位置姿勢変位情報および防振位置検出手段により検出された防振位置の変化の差分が小さい場合には、前記探索範囲を縮小させ、前記位置姿勢変位情報および前記差分が大きい場合には、前記探索範囲を拡大させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記位置姿勢変位情報および前記防振位置の変化の差分から得られる画像動き予測値と前記動きベクトル探索で得られる動きベクトルの値とのずれが大きい場合には、前記探索範囲の制御を緩和または解除して広い範囲を探索する一方、前記ずれが小さい場合には前記探索範囲を狭めることを特徴とする請求項４に記載の画像処理装置。
6. 先に入力された基準画像に対して後から入力された参照画像の動きベクトルを探索する動きベクトル探索ステップと、
   撮像装置の位置姿勢変化情報および防振制御情報に基づき、前記動きベクトル探索手段による動きベクトルの探索範囲および探索位置の少なくとも一方を設定する制御ステップとを備え、
   前記制御ステップでは、得られる前記動きベクトルの数が事前に設定した閾値以下となる場合には、得られる前記動きベクトルの数が前記閾値を超える場合よりも広い前記探索範囲を設定することを特徴とする画像処理方法。
7. 画像処理方法をコンピュータに実行させるコンピュータ読取り可能なプログラムであって、
   前記画像処理方法は、
   先に入力された基準画像に対して後から入力された参照画像の動きベクトルを探索する動きベクトル探索ステップと、
   撮像装置の位置姿勢変化情報および防振制御情報に基づき、前記動きベクトル探索手段による動きベクトルの探索範囲および探索位置の少なくとも一方を設定する制御ステップとを備え、
   前記制御ステップでは、得られる前記動きベクトルの数が事前に設定した閾値以下となる場合には、得られる前記動きベクトルの数が前記閾値を超える場合よりも広い前記探索範囲を設定することを特徴とするプログラム。
8. 防振手段と、
   撮像素子と、
   先に入力された基準画像に対して前記撮像素子から後から入力された参照画像の動きベクトルを探索する動きベクトル探索手段と、
   撮像装置の位置姿勢変化情報を検出する検出手段と、
   前記検出手段で検出された位置姿勢変化情報および前記防振手段から得られる防振制御情報に基づき、前記動きベクトル探索手段による動きベクトルの探索範囲および探索位置の少なくとも一方を設定する制御手段とを備え、
   前記制御手段は、得られる前記動きベクトルの数が事前に設定した閾値以下となる場合には、得られる前記動きベクトルの数が前記閾値を超える場合よりも広い前記探索範囲を設定することを特徴とする撮像装置。