JP6209002B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特には光学防振機構を備える撮像装置およびその制御方法に関する。

従来、撮像装置の動きによって発生する撮像画像のブレ（像振れ）を補正（軽減）するいわゆる像振れ補正機能が知られており、像振れ補正機能を実現する代表的な方式として、光学式像振れ補正と、電子式像振れ補正がある（特許文献１）。光学式像振れ補正は、検出された撮像装置の振れ量に基づき、シフトレンズや撮像素子といった光学部材を移動させることで、被写体像の動きを抑制する方式である。また、電子式像振れ補正は、撮像可能範囲よりも小さい有効画素領域を設定し、検出された撮像装置の振れ量に基づいて有効画素領域の位置をずらすことで、被写体像の動きを抑制する方式である。

また、撮像装置の動きによって発生する撮像画像のブレ（像振れ）には、特許文献１に記載されている像振れ補正方式で補正可能な平行移動（並進方向）成分以外に、撮像装置の回転（回転振れ）に起因するヨー、ピッチ、ロールといった回転方向成分が含まれる。そして、特許文献２には、撮像画像から動きベクトルを検出し、撮像画像に動きベクトルに応じた幾何変形処理を適用することで、振れの回転方向成分による像振れを補正する技術が開示されている。

特開２０１１−１４５６０４号公報 特開２００８−５０８４号公報

幾何変形処理による画像補正技術は、振れの回転方向成分の補正以外にも、光学収差の補正や、ＣＭＯＳイメージセンサに固有なローリングシャッタ歪みの補正、被写体を下方向から撮影した場合の歪み（あおり歪み）などの補正に利用することができる。そのため、光学手振れ補正した画像（光学防振画像）に対して幾何変形処理を適用することで、より高度な防振効果を実現することが考えられる。

しかしながら、幾何変形処理を適用する際に動きベクトルを用いて画像の歪みを検出したり推定したりする方法では、シーンによって精度が低下したり、高精度の推定のために必要な計算量が多くなったり、推定自体が困難だったりする。例えば、室内で撮影された画像のようにコントラストが低い画像では、動きベクトルの検出ができなかったり、誤った動きベクトルが検出されたりしやすくなる。そのため、例えば、動体に合わせてローリングシャッタ歪補正をすると、静止しているはずの部分が歪んだり、補正後の映像の揺れが止まらないといった弊害が発生する可能性がある。

また、ロール方向のローリングシャッタ歪を動きベクトルから推定しようとした場合、振れと同時に推定すると推定変数が多くなり、計算量の爆発的な増加、解推定の不安定化を引き起こす。またローリングシャッタ歪を動きベクトルから高精度に推定すること自体が容易でない。さらに、放射歪(Radial Distortion)、倍率色収差等の光学収差の補正パラメータも同時に動きベクトルから推定しようとすると一層困難性が高くなる。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明の目的は、光学的に振れ補正された画像に対し、撮像装置の姿勢情報に基づく幾何変形処理を適用することにより手振れ補正や光学収差補正などの精度を向上させることが可能な撮像装置およびその制御方法を提供することにある。

上述の目的は、検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、複数の幾何変形補正処理のそれぞれについての基準座標を、光学防振によって移動された光軸と撮像素子との交点の座標となるように決定する決定手段と、決定手段が決定した基準座標と、検出された振れに基づく幾何変形量とを用いて撮像画像に複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有し、複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも２つを含むことを特徴とする撮像装置によって達成される。

本発明によれば、光学的に振れ補正された画像に対し、撮像装置の姿勢情報に基づく幾何変形処理を適用することにより手振れ補正や光学収差補正などの精度を向上させることが可能な撮像装置およびその制御方法を提供することができる。

第１の実施形態に係る撮像装置の一例としてのデジタルカメラにおける、防振制御に関する機能構成例を示す図 防振レンズや撮像素子を移動させる光学防振について模式的に示す図 典型的な補間方法の一例であるバイリニア補間について説明するための図 振れ補正に用いる標準的な幾何変形の例を示す図 ローリングシャッタ歪の例を示す図 歪曲補正の例を示す図 ローリングシャッタ歪補正を行う幾何変形処理の基準座標ラインに応じた補正結果を模式的に示す図 ローリングシャッタ歪補正、歪曲補正、振れ補正それぞれの幾何変形の基準座標を画像中心とする制御を模式的に示す図 基準座標が幾何変形処理による補正結果に与える影響について説明するための図 フレーム期間ごとの姿勢変化を積分していく様子を模式的に示す図 第２の実施形態に係るデジタルカメラにおける、防振制御に関する機能構成例を示す図

●（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラ１００における、防振制御に関する機能構成例を示す図である。図１では、一般的なデジタルカメラが有する構成のうち、本発明と直接関連のない構成については図示を省略している。

光学系１は、フォーカスレンズや防振レンズ１１を含む複数枚のレンズを有し、被写体１０からの入射光を撮像素子２の撮像面上に結像させる撮像光学系である。撮像素子２はＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、複数の画素が２次元配列された構成を有する。本実施形態ではローリングシャッタ歪みを幾何変形処理によって補正する例を説明するため、撮像素子２がＣＭＯＳイメージセンサであるものとするが、ＣＣＤイメージセンサであってもよい。デジタルカメラ１００は、防振レンズ１１を光軸に直交する面内で移動させることにより、光学像の撮像面上の位置を平行移動させ、デジタルカメラ１００の振れによる映像の振れを抑振する光学防振機能を有する。なお、防振レンズ１１の代わりに撮像素子２を光軸に直交する平面内で移動させる光学防振機能を有してもよい。防振レンズ１１や撮像素子２はピエゾ素子等を用いたアクチュエータや電磁石などを用いて駆動することができる。ここでは、光軸に直交する平面内で移動可能に構成された防振レンズや撮像素子を防振部材と呼ぶ。

光学防振制御部３は、防振レンズ１１の平行移動を制御して防振を行う。防振レンズ１１が光学系１に含まれる場合は防振レンズ１１となるレンズの平行移動を制御し、防振レンズ１１が撮像素子に含まれる場合は撮像素子２の平行移動を制御する。

振れ情報取得部４は、例えばジャイロ等の姿勢センサを有し、光学系１の光軸に直交する任意の軸に取り付けられる。振れ情報取得部４は、デジタルカメラ１００の姿勢変化を表す信号を光学防振制御部３および演算部８に出力する。例えば姿勢センサが回転センサの場合、デジタルカメラ１００のヨー方向、ピッチ方向、ロール方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測する。光学防振制御部３は計測されたデジタルカメラ１００の姿勢変化に基づき、防振レンズ１１（または撮像素子２）を光軸に直交する平面内で移動させることにより、デジタルカメラ１００の振れによる撮像画像のブレを抑制する

監視部５は、ホール素子またはエンコーダ等を有し、防振レンズ１１の平行移動量を計測する。また監視部５は、光学防振制御部３の制御情報を振れ情報取得部４の代わりに取得しても良い。

前処理部６は、撮像素子２での光電変換で得られるアナログ画像信号に対して相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。前処理部６は、得られたデジタル画像信号を変形処理部９に供給する。前処理部６はＡＦＥ（アナログフロントエンド）とも呼ばれる。撮像素子２がデジタル画像信号を出力する場合の前処理部はＤＦＥ（デジタルフロントエンド）と呼ばれる。

基準座標決定部７は、光学系１の焦点距離や撮像素子２のピクセルサイズ等からなるカメラパラメータと、監視部５から得られる、像の平行移動量の情報とに基づき、変形処理部９で行う幾何変形処理の基準座標を決定する。

演算部８は、カメラパラメータと、振れ情報取得部４から得られる姿勢変化の情報と、、監視部５から得られる防振レンズ１１の移動速度の変化情報とに基づき、変形処理部９での幾何変形量を算出する。

変形処理部９は、基準座標決定部７で決定した基準座標、演算部８で算出した幾何変形量、およびカメラパラメータに基づき、前処理部６が出力するデジタル画像信号が表す撮像画像（光学防振画像）に幾何学変換を適用する。変形処理部９は、幾何変形処理により、光学防振画像に含まれる振れの影響を抑制する。

各部の動作について順を追って説明する。
まず、振れ情報取得部４では、姿勢センサを構成するジャイロセンサ等からサンプリング周波数f_{s_g}に応じた頻度で得られる電圧値や電流値、もしくはデジタル値で得られるセンサ出力情報を、角度の変化量に変換して出力する。例えば、振れ情報取得部４がデジタル出力のジャイロセンサを用いた姿勢センサであるとする。この場合、振れ情報取得部４は、式（２）に示すように、座標軸方向ごとのセンサ出力値val_{x_g}に、事前のキャリブレーションで取得した補正ゲインgain_xを乗じて角速度rat_{x_g}(i)を得る。なお、軸ごとに１つのセンサを用いる必要は無く、多軸の姿勢変化を一度に計測可能なセンサを用いてもよい。

ここで、”ｘ”は光学系の光軸を基準とした直交座標系の軸方向を表し、デジタルカメラ１００のヨー方向（ｘ＝Ｙ）、ピッチ方向（ｘ＝Ｐ）、ロール方向（ｘ＝Ｒ）のいずれかである。また、”＿ｇ”は姿勢センサの計測値から得られた情報であることを示す。

振れ情報取得部４は、ヨー方向とピッチ方向に関する角速度情報rat_{Y_g}(i)rat_{P_g}(i)を、防振レンズ１１の駆動情報として光学防振制御部３に供給する。振れ情報取得部４、光学防振制御部３、および防振レンズ１１を有する光学防振機構の制御方法に特に制限は無く、任意の方法を用いることができる。

また、振れ情報取得部４が算出する角速度情報は、ジャイロセンサの１サンプリング期間t_{s_g}=１/f_{s_g}における角度変化で表現されるデジタルカメラ１００の姿勢変化とみなせる。サンプリング周波数が高くて時間あたりの情報量が多すぎる場合や、用途に応じて、複数のサンプル値を積分してデータ量を削減してから演算部８に供給してもよい。例えば、ローリングシャッタ歪補正量の算出に用いる場合はサンプリング周波数f_{s_rsc}に、フレーム間の姿勢変化を表す場合はサンプリング周波数f_{s_fr}に相当するよう、角速度情報を積分してよい。

例えばf_{s_g}は1kHzを超える場合もあるが、f_{s_fr}は60Hzや30Hzであってよく、この場合は２０〜３０サンプル程度が積分される。また、f_{s_rsc}は、理想的には画素の各像高に対応したタイミングとなる値とすることが好ましい。しかし、フレームレートが60fpsでHD解像度の動画撮影時には60kHzを超える周波数となってしまうため、少なくともフレームレートを超え、可能な限り高いサンプリングレートで角速度情報を取得する。角速度情報の取得タイミングと合わない像高については、予測、補間、ホールド等の技術を利用し、他のタイミングで取得したサンプル値から値を生成する。

高サンプリングレートの情報生成処理は、演算部８、変形処理部９など、角速度情報を利用する機能ブロックで実行してもよい。以下、任意のサンプリング周波数をf_{s_y}(:f_{s_rsc}, f_{s_fr},...)とおく。以下の式（３）に基づく積分により、それぞれの処理に合ったサンプリング期間の姿勢変化量に変換して情報の受け渡しを行う。

ただし、dt=t_{s_y}とする。n_{y_g}は姿勢センサのサンプリング期間(1/f_{s_g})を１とした積分後のサンプリング期間(1/f_{s_y})の倍率(f_{g_y}/f_{s_y})である。rat_{x_y}(j)は、上述した軸ｘ（ヨー軸、ピッチ軸、ロール軸）に対する、サンプリング目的ｙ、時間ｊの姿勢変化量を表す。t_{s_y}は目的別のサンプリング間隔(=1/f_{s_y})を表す。

また、振れ情報取得部４を、センサのサンプル値に対して精度を向上させる処理を適用してから出力するような構成としてもよい。例えば、ジャイロセンサを用いている場合、オフセットのドリフトを抑制する処理を適用することができる。例えば、加速度センサを追加して姿勢変化情報の比較処理を行うことで、ドリフトを抑制する構成としてもよい。であってもよい。センサ出力値の精度向上処理に特に制限は無く、任意の公知技術を用いることができる。

次に、監視部５は、光学防振制御部３の制御に従った防振レンズ１１の実移動量を計測し、基準座標決定部７および演算部８に出力する。監視部５は具体的には、防振レンズ１１の平行移動により移動した画像中心の位置と、画像中心位置の変化速度を監視するための情報を算出する。画像中心とは、光学系１の光軸と撮像素子２の交点である。従って、防振部材の移動による光学像の平行移動量と画像中心の平行移動量は等価である。監視部５は、ホール素子やエンコーダ等による防振レンズ１１の平行移動量の測定値を出力する。なお、振れ情報取得部４と同様、補正ゲインのようなキャリブレーション係数を用いたり、測定値の精度を向上させるための処理を適用するなどして、測定値の精度を向上させてから出力してもよい。一方で、測定値に高い精度が不要な場合には、測定を行わずに、光学防振制御部３が出力する防振レンズ１１の駆動制御情報を移動量に換算した値を出力してもよい。

まず、防振レンズ１１を平行移動させる光学防振について図２を用いて説明する。光学系１は、被写体１０の光学像を撮像素子２の撮像面に結像するように構成される。図２（ａ）において、破線は防振部材である防振レンズ１１の移動前の位置にある場合の光路を、実線は防振レンズ１１を上方へ平行移動させた際の光路を示している。防振レンズ１１を上方に移動させることにより、被写体像は撮像素子２の中央方向に移動している。つまり、図２（ｂ）に点線および実線で示したように、防振レンズ１１の移動により、撮像素子２における被写体像の結像位置を、下方周辺部から中央方向に平行移動させることができる。なお、図２（ｂ）において×は防振レンズ１１の移動前の画像中心を、●は移動後の画像中心を示している。このように、光学像の平行移動とともに画像中心も移動する。

防振部材が撮像素子２である場合、防振レンズ１１の代わりに撮像素子２を光軸に直交する面内で移動させる。この場合、撮像領域は撮像素子２の有効画素領域よりも小さい。図２（ｃ）に、防振部材が撮像素子２である場合の光学像および画像中心（撮像領域２１の中心）の位置変化を模式的に示す。図２（ｂ）と同様、×は撮像素子２の移動前の画像中心を、●は移動後の画像中心を示している。撮像素子２と防振レンズ１１とでは移動方向が光軸を挟んで対称となるが、効果は同様であるため、以下の画像幾何変換の説明においては、防振部材が防振レンズ１１か撮像素子２かについて区別していない。防振部材が撮像素子２である場合には、光学防振制御部３は撮像素子２を平行移動させ、監視部５は撮像素子２の平行移動量を測定する。

本実施形態では、光学防振制御の監視情報の一例として、幾何変換処理で扱いやすい物理量であることから、撮影画像の平行移動情報sh_x(x=Y, P)を用いる。上述したように、画像の平行移動量は防振部材の平行移動量と等価（あるいは防振部材の平行移動量から換算可能）であるため、実際には防振部材の平行移動量を使用する。なお、以下の式（４）で示すように、撮影画像の平行移動情報をカメラパラメータである焦点距離により正規化し、焦点距離１の正規化空間での平行移動量にして用いてもよい。

式（４）において、sh_x' (x=Y, P)は[mm]または[pixel]を単位とする画像の平行移動量、fは[mm]または[pixel]を単位とする光学系１の焦点距離である。sh_x (x=Y, P)は正規化された平行移動量である。

また、各時刻iにおける平行移動量sh_x(i)に加え、平行移動量sh_x(i)の変化速度

もローリングシャッタ歪に影響を与えるため、光学防振制御の監視情報の１つである。
なお、sh_x(i), Δsh_x(i)のサンプリングレートはそれぞれ上述したf_{s_fr}, f_{s_rsc}以上であることが好ましい。

監視部５は、基準座標決定部７に、防振レンズ１１の平行移動量を、光学防振制御の監視情報である画像の平行移動量sh_x(i)として出力する。また、監視部５は、演算部８には、防振レンズ１１の平行移動量とその変化速度を、光学防振制御の監視情報である画像の平行移動量sh_x(i)とその変化速度Δsh_x(i)として出力する。

変形処理部９で行う幾何変形処理について説明する。本実施形態の変形処理部９は幾何変形による防振処理として、歪曲補正、ローリングシャッタ歪補正、振れ補正を実現する。また、本実施形態では、変形後の画像座標に基づき入力画像上で画素のサンプリング及び補間を行うバックワードマッピングを用い、幾何変形後の画像に画素の欠損が生じないように幾何変換処理を行う。入力画像の画素座標を基にサンプリングし、補間により出力画素のデータを生成する。補間手法に応じ、演算した入力画像上のサンプリング座標の近傍の画素値を用いて補間処理をおこなう。補間処理には例えば４近傍を用い線形補間を行うバイリニア補間処理、１６近傍を用い、３次補間をおこなうバイキュービック補間処理等の補間方法を適用可能であるが、これらに限定されない。

図３を用いて、典型的な補間方法の一例であるバイリニア補間について説明する。出力画素それぞれについて行われる後述の座標演算の結果、入力画像におけるサンプリング座標の画素データを、周辺画素値の補間により算出する。サンプリング座標は小数点以下の情報を持つ。図３において、●がサンプリング座標であり、○が入力画像における４近傍画素（座標は整数値）である。この場合、４近傍画素からサンプリング座標における画素値をバイリニア補間方法によって算出する式は以下の式（６）で表される。

I(x,y)が補間により生成した画素値、f()は入力画像上の画素値である。この補間処理を幾何変形後の画像（出力画像）の各画素について順次行い、出力画像を生成する。

幾何変形処理によって複数種の補正を行う場合、カメラの動きの速さや光学系の収差の大きさなどに応じて補正の適用順序を動的に変更することができる。例えば、デカメラの動きが早い場合には、ローリングシャッタ歪補正、歪曲補正、振れ補正の順で行う。一方、光学系の収差量、例えば放射歪量が大きい場合には、歪曲補正、ローリングシャッタ歪補正、振れ補正の順で行う。なお、補正処理以外に、出力画像の切り出しやリサイズ等も幾何変形処理の最後で行ってもよい。

以下、本実施形態の変形処理部９が歪曲補正、ローリングシャッタ歪補正、振れ補正を実現するために行う幾何変形処理、すなわち座標演算の内容を説明する。上述したように、本実施形態では出力画像で欠損画素が生じないよう、各補正処理を実現する座標演算を処理順とは逆の順序で実施するバックワードマッピングを行う。ここでは、光学系の収差量、例えば放射歪量が大きい場合を想定し、処理順序と逆の振れ補正、ローリングシャッタ歪補正、歪曲補正、の順で説明する。

振れ補正では、カメラの回転運動や並進運動による画像振れを幾何変形処理で補正する。演算部８は、振れ情報取得部４で得られたデジタルカメラ１００の姿勢変化を表す情報を基に、マージンや補正効果の強弱を考慮した補正量（変形量）を有する幾何変形量（幾何変形パラメータ）を演算する。そして、変形処理部９は変形パラメータに従った幾何変形を適用して振れ補正を実施する。幾何変形は例えば射影変換であってよく、この場合、幾何変換パラメータは３×３の射影変換行列（ホモグラフィ行列）で与えられる。

例えば、振れ情報取得部４がデジタルカメラ１００のヨー方向、ピッチ方向、ロール方向の各軸周りの回転による姿勢変化を表す情報を取得し、マージンが十分に与えられて最大変化量を制御する必要がない場合を想定する。この場合には、以下の式（７）で幾何変形パラメータ（ホモグラフィ行列Ｈ）が与えられる。

R、P、Yはそれぞれ光軸に対するロール、ピッチ、ヨー方向の回転を表し、αは抑振率を表す。また、負の符号は抑制を表す。また、X0h、Y0hは幾何変形の中心（座標変換の基準座標）である。

図４に、振れ補正に用いる標準的な幾何変形の例として、並進、拡大縮小、面内回転、あおり方向（ヨー、ピッチ）の幾何変形を示す。並進以外の幾何変形については、図４中に黒丸で示した幾何変形の中心が重要となる。デジタルカメラ１００の動きが回転運動のみで、振れ情報取得部４からの姿勢変化情報に基づき式（７）で振れ補正する場合には、幾何変形の中心を画像中心と合わせる必要がある。
説明した幾何変形は正規化画像座標を用いたものである。そのため、実際の変形処理においては正規化を行うための、以下の式（７’）で示すカメラパラメータ行列Ｃとその逆行列Ｃ⁻でホモグラフィー行列Ｈを挟んだ行列式ＣＨＣ⁻で幾何変形を実施する

fは光学系１の焦点距離である。

ローリングシャッタ歪みは、スキャンライン（水平画素ライン）間の露光タイミングが異なる撮像素子を用いた場合、１枚の撮影画像（フレーム）の露光期間中にカメラや被写体が移動した際に生じる撮影画像の歪みである。ローリングシャッタ歪補正は、この歪みを幾何変形により補正する。図５にローリングシャッタ歪（ＲＳ歪み）の例を示す。左から、カメラが露光期間中にヨー、ピッチ、ロール方向に等速運動をした場合に生じるローリングシャッタ歪の例である。ヨー、ピッチ方向の歪の例は、水平および垂直方向のへカメラの平行移動によって生じるひずみと同様である。

振れ情報取得部４で得られた姿勢変化情報から演算部８が計算した幾何変形パラメータ に従い、変形処理部９は入力画像に座標変換を適用し、幾何変形によるローリングシャッタ歪補正を行う。例えばカメラの動きを微小なヨー方向（Ｙ）、ピッチ方向（Ｐ）の定速変化のみとし、画像内の任意の水平ラインを補正の基準ライン（不変ライン）Y0wとすると、幾何変形によるローリングシャッタ歪補正は以下の式（８）で表される。

y、pはスキャンライン間で生じたヨー方向及びピッチ方向のカメラの動きを画像上の動きに変換した量で、演算部８から幾何変形パラメータとして与えられる。例えば演算部８は、以下の式（９）を用いて、カメラの動きを画像上の動きに変換することができる。

Y’はスキャンライン間で生じたヨー方向（Ｙ）のカメラの動き、fは焦点距離、Δpはピクセルサイズである。幾何変換パラメータは水平ラインごとに算出してもよいし、複数の水平ラインごとに算出してもよい。

また、ローリングシャッタ歪の発生メカニズムは振れとほぼ同じである。そのため、デジタルカメラの振れが回転方向成分のみで、姿勢変化情報に基づき射影変換のみを用いてローリングシャッタ歪補正を行う場合、ロール、そしてパンまたはチルトの順で補正処理を行う必要がある。バックワードマッピングを行う場合には場合には逆順となる。

基準ラインY0wはローリングシャッタ歪補正において移動しない。基準ラインY0wの位置は、ローリングシャッタ歪補正を単独で実施する場合には特に意識する必要はない。しかし、他の補正変換と組み合わせて一括処理を実施する場合、基準ラインY0wを変化させると補正後の像位置が平行移動したり、拡大縮小によりスケールが変化したりして画像中心が移動する（図７参照）。そのため、本実施形態のように、複数の幾何変形を組み合わせて複数種の補正を行う場合には、基準ラインを適切に管理する必要がある。

本実施形態において演算部８が行う幾何変形パラメータ算出処理では、座標演算における入力画像座標、つまりは出力画像の像高に、カメラの姿勢変化情報を対応させる。しかしながら、本来、カメラの動きは座標演算の出力座標、つまりメモリ上の画像の像高に対応して記録されている。したがって、厳密には幾何変形パラメータとして利用する前に、出力画像、言い換えれば座標演算の入力画像座標の像高に対応するようにマッピングする必要がある。しかし、カメラの動きの時間変化が小さい場合、カメラの姿勢変化情報の対応座標を出力画像座標と入力画像座標の像高の間で置き換えても誤差が小さいため、カメラの姿勢変化情報をそのまま用いることも可能である。

歪曲補正は放射歪や倍率色収差といった光学系の収差により生じる歪を幾何変形で補正する処理であり、主に放射歪を補正する。演算部８は、焦点距離、合焦距離、絞り値をインデックスとして検索可能な形式で歪曲補正情報を保持する、演算部８内の歪曲補正情報保持部から、歪曲補正情報を幾何変形パラメータとして取得する。歪曲補正情報は例えば、設計データより出力される歪曲率、もしくはその変形である理想像高と歪像高の比のテーブル等であってよい。

以下、歪曲補正情報として像高比のテーブルを用いた場合を例に、歪曲補正の詳細を説明する。歪曲補正を実現する座標演算は、幾何変換前の座標を、幾何変形の中心（座標変換の基準座標）X0d、Y0dを基準に極座標化して求め、式（１０）で表現することができる。基準座標（X0d，Y0d）には画像中心を用いた場合の方が精度の高い補正が可能である。

f(r)は理想像高と歪像高の比の値を、理想像高を引数として像高比のテーブルから補間して取得する操作を表す。３つ目の式は、極座標から直交座標への座標変換操作を表している。

図６に歪曲補正の例を示す。図６（ａ）は元画像であり、図中の一点鎖線は方形の被写体が歪曲して撮影されている状態を示している。図６（ｂ）は歪を補正した画像であり、被写体領域が正しい形状に補正されている。また、図６（ｃ）は、光学防振による影響を考慮し、基準座標を元画像の中心座標（×印）から、光学防振により移動した画像の中心座標（黒丸）に移動させて幾何変換を実施した例を示している。

ここで、幾何変形演算における基準座標を決定する基準座標決定部７の処理について説明する。上述の通り、本実施形態の変形処理部９は歪曲補正、ローリングシャッタ歪補正、振れ補正の３つの補正を、各補正内容を反映した１回の座標演算によって一括して実行する。歪曲補正や振れ補正は画像中心を基準座標として実行する必要があるため、意図通りの補正結果を実現するためには、基準座標を適切に決定することが必要である。

例えば、画像中心から外れた位置を基準座標にして、画像中心を基準座標にとする前提で用意した歪曲補正情報を用いて幾何変形を実施した場合、補正量の大きな画像周辺部が過補正により歪んでしまう。振れ補正についても、画像中心と基準座標とがずれていると、例えば面内回転補正や拡大縮小補正時には本来は存在しない並進量が発生してしまう。これは、射影変換によりあおりの補正を実施した後、画像中心から外れた位置を基準座標として幾何変換を行うことで、本来は存在しない拡大縮小の動きが混入するためである。

図９を用いて、基準座標が幾何変形処理による補正結果に与える影響について説明する。図９（ａ）は、正方形の被写体を正面から撮影しているデジタルカメラが、被写体に対し左ヨー方向にパンした状態を示している。パンする前の状態の画像（図９（ｂ）左端）が、パンによって図９（ｂ）の中央に示す図のように変化する。すなわち、画像中で被写体が右に移動するとともに、正対した状態から外れることで、あおりによる被写体形状の変化が見られる。デジタルカメラが光学防振機能を備える場合、防振部材の平行移動によって図９（ｂ）の右端のように画像が平行移動し、画像中の被写***置がパン動作の前の位置を維持するように補正される（光学防振画像）。この光学防振画像に幾何変形処理を適用し、パンによるあおりの影響などを補正した画像を図９（ｃ）に示す。

画像中心（●）を基準座標とし、補正量から光学防振による画像の並進移動量をキャンセルして補正した画像を左側に、光学防振画像の中央座標（×）を基準座標として同様の補正を行った画像を右側に示す。図９（ｃ）において、実線で示した補正後の被写体像が、点線で示す本来の被写体像との差から分かるように、画像中心を基準座標として幾何変形処理しないと、本来は存在しない拡大縮小操作や並進操作が付加され、大きさや位置が変化してしまう。

一方、幾何変形処理の中には、基準座標と画像中心とが一致しなくても、補正後の画像に問題が無いものもある。具体的には並進方向の振れ補正や、並進方向のローリングシャッタ歪補正などである。例えばローリングシャッタ歪補正を行う幾何変形処理では、（1）画像の先頭ライン、（2）画像の中央ライン、（3）画像中心のあるライン、のいずれかを変換の基準座標ラインとすることが考えられる。図７（ａ）〜（ｃ）に各基準座標ラインに応じた補正結果を模式的に示す。

ローリングシャッタ歪補正のみを実施する場合には、基準ラインの位置の違いは大きな問題とならない。しかしながら、他の補正を含めて一括補正を行う場合、ローリングシャッタ歪の補正は演算全体における前半や中盤に実行されることが多く、それ以降に行われる他の補正に影響を与える。従って、画像中心が移動するようなローリングシャッタ歪み補正を行うと、一括補正の結果に意図しない並進や拡大縮小が反映されてしまうという問題が生じる。

画像に含まれる歪曲、ローリングシャッタ歪み、振れを、画像間のマッチングや動きベクトル推定で検出し、対応点もしくは動きベクトルへのフィッティングにより補正パラメータを推定していた場合には、幾何変形基準座標を意識する必要がない。これは、幾何変形の基準座標と画像中心とのずれによって生じる拡大縮小や並進が、画像の動きとして含まれた状態に対して補正パラメータが推定されるからである。

一方、本実施形態では、撮像装置の姿勢変化情報に基づいて補正量を算出するため、幾何変形の基準座標と画像中心とのずれによって生じる拡大縮小や並進が生じないようにする必要がある。そのため、一連の補正処理を通じて幾何変形の基準座標が画像中心と一致するように基準座標を決定することで、一括補正により意図した補正結果を実現する。図８に、ローリングシャッタ歪補正、歪曲補正、振れ補正それぞれの幾何変形の基準座標を画像中心とする制御を模式的に示す。このような基準座標の決定を可能とするため、本実施形態では監視部５を設けて光学防振による像の平行移動量の情報を取得するとともに、基準座標決定部７が平行移動量から光学防振後の画像中心の位置を把握し、幾何変形の基準座標として決定する構成を有する。

具体的には、基準座標決定部７は、撮影画像の各フレームにおいて、光学防振による各時刻の正規化平行移動量sh_x(j) (x: Y, P)、もしくはそれに焦点距離をかけた画像座標量に基づいて、幾何変形の基準座標を決定する。なお、ローリングシャッタ歪補正の場合は基準ラインである。例えば、光学防振機構が働いてない時の画像中心が幾何変形の基準座標だとすると、基準座標決定部７は、前述の各座標演算式において、平行移動量sh_x(j) (x: Y, P)を基準座標に設定する。あるいは、基準座標決定部７は、歪曲補正、ローリングシャッタ歪補正、振れ補正の処理前に、以下の式（１１）で示される画像座標の並進移動処理を実施し、幾何変形の基準座標を防振部材１１の移動とともに移動させる。

式１１のうち、SHIFT_-1は幾何変形後に適用する逆変換である。該処理によって幾何変形の基準点を画像中心に移動してから変形処理部９で幾何変形処理を適用し、処理後に元に戻す。基準座標決定部７は移動後の基準座標を出力する代わりに、元となるパラメータsh_x(j) (x: Y, P)を幾何変形部９に出力してもよい。

演算部８における幾何変形量の算出手順について説明する。演算部８はローリングシャッタ歪補正および振れ補正の幾何変換パラメータを、振れ情報取得部4の出力する姿勢変化情報と、監視部５の出力である各時刻の正規化平行移動量sh_xおよび変化の速度Δsh_xを用いて算出する。

振れ補正の幾何変換パラメータの算出方法を説明する。演算部８は、振れ情報取得部４が有する姿勢センサのサンプリングデータを、１フレーム期間の変化量を表すよう、以下の式（１２）に従って積分する。

ここで、dt=Δtgは姿勢センサのサンプリング期間、n_{fr_g}は姿勢センサのサンプリング期間を１とした積分後のサンプリング期間の倍率である。rat_{x_fr}およびrat_{x_g}は、１フレーム期間および姿勢センサの１サンプリング期間の角速度である。

そして、演算部８は、得られた姿勢センサの各軸に対する１フレーム期間における角速度を例えばIIRのLPFを用いて積分する。そして演算部８は、図１０（ｂ）に示すように、各フレームを過去のある時点におけるデジタルカメラの姿勢状態Ｆ０に位置合わせするような補正量を算出する。図１０はフレーム期間ごとの姿勢変化を積分していく様子を模式的に示した例であり（ａ）は初期フレームＦ０からの位置姿勢推定を、（ｂ）は初期フレーム以後のあるフレームＦn-gへの位置合わせ（防振）を示している。

式（１３）は、積分に用いるIIR LPFフィルタの演算を表す式である。カットオフ周波数は光学防振の場合よりもより低周波側に設定する。IIRフィルタのフィードバックゲインを高くすると過去の状態を強く維持し、図１０（ａ）のように初期フレームＦ０の状態を維持するような状態となる。ある程度まで遡るような図１０（ｂ）のような積分を行うほうが、幾何変形のマージンを稼ぐことができる。そのため、演算部８は積分に用いるIIRフィルタのフィードバックゲインを低めに設定し、過去の姿勢を少しずつ忘れるようにして姿勢角速度の積分を行い、幾何変形で補正する対象とする姿勢角度変化を算出する。

このような積分で得られた姿勢角度変化を、演算部８は式（７）で示した振れ補正角のホモグラフィ行列Ｈに挿入し、光学防振を考慮しない状態の補正量を算出する。すなわち、補正量は、

となる。
さらに演算部８は、姿勢変化の状態から算出した振れ補正量Ｈ(j)から、光学防振機能によって補正済みの量を減算し、光学防振を考慮した補正量H’(i)を算出する。

なお、演算部８は、光学防振による補正分を減じる前に、行列のスケーリングのため、H(i)の３行３列要素で行列全体を割り算し、正規化をしておく。ここでsh_x(i)(x: Y, P)は、監視部５から得られた、時刻iにおける光学防振による画像の正規化平行移動量である。

光学防振による補正量を考慮した振れ補正量H'(i)を用いることにより、幾何変形部９の一括補正における振れ補正ステージにおいて、図４のような自由度の幾何変形による補正が可能となる。特に、並進の補正量について監視部５から得られた並進移動量を得ることで、既に光学防振で補正された移動量を幾何変換から減算することができる。または、取り扱いやすいパラメータY(j), P(j), R(j), sh_x(j)(x: Y, P)の形式で情報を変形処理部９に出力しても良い。

演算部８は、ローリングシャッタ歪補正の補正量についても、振れ情報取得部４で得られる姿勢変化情報および、監視部５が出力する各時刻の正規化平行移動量sh_xとその変化速度Δsh_xを用いて算出する。

以下の式（１６）は、ローリングシャッタ歪の発生過程を表す現象式である。

ここで、x’はローリングシャッタ歪み画像座標、x→はローリングシャッタ補正後の画像座標、m()は空間動きモデル関数である。右辺の第２項は基準ラインy₁と幾何変形の対象画素を含む水平ラインyとの露光期間のズレ(y-y₁)τの間に生じたデジタルカメラの動きによって生じる画像上の動きを表す。t₁は基準ラインの撮影（露光）時刻、tは補正対象の画素を含む水平ラインの撮影（露光）時刻、p→(t)は動き情報パラメータを表すベクトル量である。

さらに、振れ情報取得部４から得られる姿勢変化情報が、デジタルカメラ１００のヨー、ピッチ、ロール方向の姿勢変化を表す場合、式（１６）の簡略化が可能となり、以下の式（１６’）に示すように、関数m()が積分の外に括り出せる。

また、例えばヨー、ピッチ、ロール方向の場合、m(θ)はftanθと表現可能である。したがって、ある水平ラインに含まれる画素に対する補正式は、

といった表現が可能である。x'→(,l)とは、ローリングシャッター歪画像の像高lの水平ライン中の任意の画素の補正式であることを示す。つまり、同一水平ラインに含まれる画素に関しては、同一の補正量が適用されることを示している。また、ロール方向についても

といった補正式を導出可能である。ここで、R(x’→(,l),θ)は像高lの水平ラインをライン単位でθだけ回転させることを意味する。このような現象式の解釈や近似に基づき、基準座標決定部７が決定した基準座標を含む像高の行y₁を基準として、フレーム内の各水平ラインのローリングシャッタ歪に対する補正量を積分により求めることができる。

また、演算部８は、光学防振の影響を減算するため、ヨー、ピッチ、ロール方向の式において、監視部５で算出した各フレームの各水平ラインにおける、光学防振による平行移動の変化速度Δsh_x(l)を減算する。この結果、次式のような補正量が得られる。

以上のような式を用い、演算部８は、基準座標を含む像高の水平ラインを基準ラインとし、画像の各水平ラインについて、基準ラインからの姿勢変化および光学防振による並進移動量の変化を積分した補正量を、ロール、ピッチ、ヨーの各軸について算出する。そして、演算部８は、算出した補正量を変形処理部９へ出力する。

ただし、バックワードマッピングを実施する場合には、ΔP(l)のパラメータに基づいてΔX, ΔP, ΔΘのデータ配列をマップしてパラメータを再構成しなおす必要がある。また、歪曲補正については、各時刻の焦点距離や絞り、被写体距離といったカメラパラメータをインデックスとして、歪曲補正情報を演算部８内の保持部から取得する。歪曲補正情報は光学系設計値から事前に算出され、演算部８内に格納された高次補正関数の係数である。

変形処理部９は、
・基準座標決定部７で得られた幾何変形基準座標（sh_Y(j), sh_P(j)）
・演算部８で算出した以下の幾何変形量（補正量）：
歪曲補正パラメータf(r)、
振れ補正パラメータY(j), P(j), R(j), sh_Y(j), sh_P(j)、
ローリングシャッタ補正パラメータΔX, ΔP, ΔΘ
を用いて、光学防振補正後の各フレームに幾何変形処理を適用し、得られた防振補正後の各フレームから映像を生成する。

以上説明したように本実施形態では、光学防振機能と複数の幾何変形処理とを組み合わせて補正画像を取得する撮像装置において、複数の幾何変形処理の基準座標を、光学防振機構による防振動作で移動した後の光軸と撮像素子との交点に対応する座標とする。それにより、撮像装置の姿勢変化情報に基づいて幾何変形処理を行うことが可能となるため、画像から動きを検出する方法で精度が低下する低輝度環境で撮影された画像やコントラストの低い被写体の画像についても良好な補正が可能となる。さらに、光学防振機能に用いる姿勢変化情報を幾何変形処理に流用できるため、画像から動きを推定する場合に必要となりうる複雑な演算が不要になり、演算負荷や消費電力の低減にも効果がある。

●（第２の実施形態）
図１１は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラ２００における、防振制御に関する機能構成例を示す図である。図１１において、第１の実施形態に係るデジタルカメラ１００と同様の構成には同じ参照数字を付して説明を省略する。

画像メモリ１２は、前処理部６によって生成された撮像画像を一時的に記憶する。
動きベクトル推定部１３は、画像メモリ１２に一時記憶された撮像画像と、前処理部６から直接入力される撮像画像の間で動きベクトルまたは対応点を検出する。

本実施形態の演算部８は、第１の実施形態で説明した、振れ情報取得部４と監視部５からの情報のみから幾何変形量を演算する機能に加え、動きベクトルまたは対応点の情報から幾何変形量を算出することが可能である。

本実施形態の演算部８は、通常は動きベクトルまたは対応点の情報に基づいて幾何変形量を算出する。そして、暗い室内、繁華街の人混み等、動きベクトルや対応点の信頼性が低下したり検出ができない場合に、第１の実施形態で説明した、振れ情報取得部４と監視部５からの情報を用いた（動きベクトルや対応点の情報を用いない）幾何変形量の算出に切り替える。

ここで、動きベクトルが検出できないとは、動きベクトル推定部１３が出力する有効なベクトルが事前に設定した最小ベクトル数を下回る場合である。また各ベクトルの有効性、信頼性は、ベクトル算出時の算出位置の特徴量や、テンプレートマッチングの場合にはテンプレートの分散、相関スコアのピークの唯一性等により算出または判定する。または取得された複数のベクトルに対しRANSAC(RANdom Sample Consensus)等によりフィッティングを行い、ベクトル間の相互関係を解析する。そして、その適合度やノルム誤差をスコアとして割り当てることにより、各動きベクトルの信頼性を取得することができる。

なお、動きベクトルや対応点の情報から幾何変形量を算出する方法は、任意の公知技術を用いることができるため、詳細についての説明は省略する。本実施形態においても、第１の実施形態と同様の効果が実現できる。

（その他の実施形態）
上述の実施形態では、本発明の撮像装置に適用した実施形態について説明した。しかし、本発明は撮像装置を内蔵したあらゆる機器や、撮像装置を接続可能なあらゆる機器に適用可能である。例えば、携帯電話機、ゲーム端末、パーソナルコンピュータ、タブレット端末、ドライブレコーダ、ナビゲーションシステム、ロボットなど、カメラを利用可能な様々な機器において本発明を実施可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、
   撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定手段と、
   前記決定手段が決定した前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有し、
   前記複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも２つを含むことを特徴とする撮像装置。
2. 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像振れを抑制する光学防振を実行する撮像装置であって、
   撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定手段と、
   前記決定手段が決定した前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理手段と、を有し、
   前記変形処理手段は、前記光学防振によって抑制された振れの量と、前記検出された振れの量との差に相当する補正量を用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用することを特徴とする撮像装置。
3. 前記決定手段は前記防振部材の移動量および移動方向を測定することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記決定手段は前記防振部材の制御情報を前記防振部材の移動量および移動方向に変換することにより前記光軸と前記撮像素子との前記交点の前記座標を取得することを特徴とする請求項１または請求項２に記載の撮像装置。
5. 異なる時刻に撮影された撮像画像の間で動きベクトルまたは対応点を検出する推定手段をさらに有し、
   前記変形処理手段は、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定されない場合は、前記動きベクトルまたは対応点の情報に基づく幾何変形量を用いて前記複数の幾何変形補正処理のそれぞれを適用し、前記推定手段が検出する動きベクトルまたは対応点の信頼性が低いと判定される場合は、前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記複数の幾何変形補正処理のそれぞれを適用する、ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像の振れを抑制する光学防振を実行する撮像装置の制御方法であって、
   決定手段が、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定工程と、
   変形処理手段が、前記決定工程で決定された前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理工程と、を有し、
   前記複数の幾何変形補正処理が、ローリングシャッタ歪補正、面内回転の補正、あおりの補正、歪曲補正の少なくとも２つを含むことを特徴とする撮像装置の制御方法。
7. 検出された振れに応じて防振部材を撮像光学系の光軸とは異なる方向に駆動し、画像の振れを抑制する光学防振を実行する撮像装置の制御方法であって、
   決定手段が、撮像素子によって撮影された撮像画像に複数の幾何変形補正処理が電子的に適用される場合、前記複数の幾何変形補正処理のそれぞれについての基準座標を、前記光学防振によって移動された前記光軸と前記撮像素子との交点の座標となるように決定する決定工程と、
   変形処理手段が、前記決定工程で決定された前記基準座標と、前記検出された振れに基づく幾何変形量とを用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用する変形処理工程と、を有し、
   前記変形処理工程において前記変形処理手段は、前記光学防振によって抑制された振れの量と、前記検出された振れの量との差に相当する補正量を用いて前記撮像画像に前記複数の幾何変形補正処理を電子的に適用することを特徴とする撮像装置の制御方法。

Images