JP6151930B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関し、特には、手振れなど撮像装置の動きによって生じる画像振れを抑制する像振れ補正技術に関する。

従来、撮像装置の動きによって発生する撮像画像のブレ（像振れ）を補正（軽減）するいわゆる像振れ補正機能が知られており、像振れ補正機能を実現する代表的な方式として、光学式像振れ補正と、電子式像振れ補正がある（特許文献１）。光学式像振れ補正は、検出された撮像装置の振れ量に基づき、シフトレンズや撮像素子といった光学部材を移動させることで、被写体像の動きを抑制する方式である。また、電子式像振れ補正は、撮像可能範囲よりも小さい有効画素領域を設定し、検出された撮像装置の振れ量に基づいて有効画素領域の位置をずらすことで、被写体像の動きを抑制する方式である。

また、撮像装置の動きによって発生する撮像画像のブレ（像振れ）には、特許文献１に記載されている像振れ補正方式で補正可能な平行移動（並進方向）成分以外に、撮像装置の回転（回転振れ）に起因するヨー、ピッチ、ロールといった回転方向成分が含まれる。そして、特許文献２には、撮像画像に幾何変形処理を適用することで、振れの回転方向成分による像振れを補正する技術が開示されている。

特開２０１１−１４５６０４号公報 特開２００８−５０８４号公報

例えば、特許文献１に記載された像振れ補正技術を用いて振れの並進方向成分による像振れを補正したのちに、特許文献２に記載された幾何変形処理を用いて振れの回転方向成分による像振れを補正することが考えられる。

特許文献２に記載されるような画像の幾何変形処理は、補正後の画素値を生成するために他の画素値を参照する必要があり、参照される画素からなる領域を参照領域と呼ぶ。必要な参照領域が撮像範囲（撮像画像）に含まれていない場合、その参照領域を必要とする補正は正しく行うことができず、場合によっては補正後の画像の一部が欠けてしまう。

そのため、振れの並進方向成分による像振れが補正された画像に対して幾何変形処理を行う場合、幾何変形処理に必要な参照領域が撮像範囲（メモリに保持されている撮影画像の範囲）に含まれず、補正後の画像の一部が欠けてしまう可能性があった。

振れの並進方向成分による像振れが補正された画像に対して幾何変形処理を行う場合について、図１１を用いて説明する。
図１１（ａ）において、全体領域１１００は撮像画像の全体（例えば撮像装置のメモリに保持されている撮影画像全体）の領域である。参照領域１１０１は、振れの回転方向成分を補正するための幾何変形処理に必要な参照領域である。また、領域１１０２は参照領域１１０１のうち、撮像画像１１００に含まれない領域を示す。領域１１０３は参照領域１１０１に外接する矩形領域を示す。

図１１（ｂ）において、画像１１０４は参照領域１１０１を用いて幾何変形処理した画像である。図１１（ａ）のＰ１は被写体像の中心位置を示し、図１１（ｂ）のＰ２は、Ｐ１の位置の画素が、幾何変形処理によって変換される位置を示している。Ｐ２は幾何変形後の画像の中心（対角線の交点）に位置している。

従来の光学式像振れ補正は、像振れ補正後の幾何変形処理を想定していない。このため、振れの回転方向成分の大きさとは無関係に、被写体像と撮像素子の撮像領域とが所定の位置関係（例えば被写体像と撮像領域の中心が対応した状態）を維持するような補正を行っていた。しかし、あおりなどの振れの回転方向成分によって被写体像に生じる歪を補正するために必要となる参照領域１１０１に外接する矩形領域１１０３の中心は、撮像領域の中心と必ずしも一致しない。そのため、記録サイズよりも大きな撮像領域で撮影する場合において、幾何変形処理による振れの回転方向成分による像振れを補正する能力が有効に活かされない場合があった。

例えば、図１１（ａ）の例において、Ｐ１が右上方向にずれていれば、参照領域１１０１（および矩形領域１１０３）は撮像画像に収まり、参照領域１１０１を用いた幾何変形処理を行っても補正後の画像に欠けは生じない。しかし、従来の光学式像振れ補正においては、Ｐ１の位置が変化しないように光学部材を制御するものであるため、参照領域１１０１が撮像画像に収まらない領域１１０２を有していた。

本願発明はこのような従来技術の課題に鑑みてなされたものであり、撮像装置の動きによる画像のブレ（像振れ）を、光学式像振れ補正と幾何変形処理とを組み合わせて効果的に補正することができる撮像装置およびその制御方法の提供を目的とする。

上述の目的は、装置の並進方向および回転方向の動きを検出する検出手段と、光学部材を駆動して、並進方向の動きによる撮像画像の像振れを軽減する光学像振れ補正手段と、検出された回転方向の動きによる撮像画像の歪みを、撮像画像に幾何変形処理を適用することによって補正する幾何変形処理手段と、を有し、幾何変形処理手段は、撮像画像の撮像領域よりも小さな出力画像領域に対して、歪みを補正するために必要な参照領域の画素を用いた幾何変形処理を適用して出力画像領域における歪みを補正し、光学像振れ補正手段は、参照領域を内部に含む矩形領域の中心が撮像領域の中心に近づくように光学部材を駆動することを特徴とする撮像装置によって達成される。

本発明によれば、撮像装置の動きによる画像のブレ（像振れ）を、光学式像振れ補正と幾何変形処理とを組み合わせて効果的に補正することができる撮像装置およびその制御方法を提供できる。

本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。 図１の幾何変形処理部の動作を説明するための模式図である。 図１の幾何変形量算出部の構成例を示すブロック図である。 図１の参照領域算出部の動作を説明するための模式図である。 図１の調整量算出部の構成例を示すブロック図である。 図５のシフトレンズオフセット量算出部の動作を説明するためのフローチャートである。 図５の参照領域アドレス算出部の動作を説明するためのフローチャートである。 図５のシフトレンズオフセット量算出部および参照領域アドレス算出部の動作を説明するための模式図である。 本発明の第２の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。 図９のオフセット量予測部の動作を説明するための模式図である。 従来技術の課題を説明するための模式図である。

（第１の実施形態）
以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、本実施形態では、光学式像振れ補正を実現する光学部材がシフトレンズである場合について説明するが、撮像素子を移動させるセンサシフト方式であっても同様に実施可能である。

光学系１００はシフトレンズ１１３を含む。シフトレンズ１１３は光学系１００の光軸Ｏに対して非平行な方向（直交する方向や光軸上に回転中心を有する回転方向）に移動可能であり、装置の動き（振れ）の並進方向成分による像振れを軽減する。撮像素子１０１は、光学系１００を通過して結像された光学像を画像信号に変換する。現像部１０２は、撮像素子１０１からの画像信号に対してＡ／Ｄ変換、ホワイトバランス調整、色（輝度・色差信号）変換、γ補正などの現像処理を実施する。メモリ１０３は、現像部１０２にて現像処理が実行された画像信号を格納する。以下、メモリ１０３に格納された画像信号が表す領域を、本実施形態では撮像領域と定義する。撮像領域は、撮像画像の全体に対応する。

本実施形態では、画像に幾何変形処理を適用することで装置の動き（振れ）の回転方向成分による像振れを補正する構成を前提としている。そのため、撮像領域は、幾何変形処理の対象となる画像領域もしくは出力する画像領域（以下ではまとめて出力画像領域と呼ぶ）より大きい。

メモリコントローラ１０４は、メモリ１０３に格納された画像信号を入力されるアドレスに従って読み出し、幾何変形処理部１０５に入力する。メモリコントローラ１０４は、例えば、読み出す画像領域の最も上（上端）のラインから順に、左端の画素から右端の画素へ読み出されるようなアドレスをメモリ１０３に提供する。

幾何変形処理部１０５は、後述する幾何変形量算出部１１０からの幾何変形量を用いて撮像画像に幾何変形処理を適用する。幾何変形処理に必要となる画像領域を、本実施形態では参照領域と定義する。

システム制御部１０６は、光学系１００の焦点距離や絞り値、フォーカス距離、シフトレンズの駆動や撮像素子１０１の駆動方式の制御を含む、デジタルカメラの動作全体を制御する。特に、シフトレンズ１１３の駆動を制御する光学像振れ補正手段として機能する際には、振れ検出部１０７からの角速度から求めた並進方向成分の補正量に、調整量算出部１１２からのシフトレンズオフセット量を加算して、シフトレンズ１１３の駆動量を決定する。

デジタルカメラの動きに関する情報を検出する振れ検出部１０７は、例えば角速度センサである。振れ検出部１０７は、デジタルカメラの動きによって生じる３軸（Ｘ，Ｙ，Ｚ）周り（ピッチ、ヨー、ロール）の角速度（振れ情報）を検出する。そして振れ検出部１０７は動き情報として幾何変形パラメータ生成部１０８およびシステム制御部１０６へ検出した振れ情報を出力する。

ここで、カメラのヨー方向、ピッチ方向、ロール方向の振れ角度をそれぞれα，β，γとし、光学系の焦点距離をｆとすると、並進移動量ｔｘ，ｔｙ、回転角度θ、あおり量ｖｘ，ｖｙは、以下のように求めることができる。
ｔｘ＝ｆ（ｔａｎαｃｏｓγ／ｃｏｓβ＋ｔａｎβｓｉｎγ）
ｔｙ＝ｆ（−ｔａｎαｓｉｎγ／ｃｏｓβ＋ｔａｎβｃｏｓγ）
θ＝−γ
ｖｘ＝−ｔａｎα／ｆ
ｖｙ＝−ｔａｎβ／（ｆｃｏｓα）
なお、振れ角度α，β，γは、振れ検出部１０７から得られる振れの角速度を積分することで得られる。

従って、システム制御部１０６は、振れ検出部１０７から得られる振れの角速度から、並進移動量ｔｘ，ｔｙを補正するための像振れ補正量（シフトレンズ１１３の駆動量および駆動方向）を求めることができる。なお、並進方向成分の補正量は、加速度センサ、動きベクトル、または光学像振れ補正手段であるシフトレンズまたは撮像素子に加わる速度から求めても良い。

幾何変形パラメータ生成部１０８は、振れ検出部１０７からの振れ情報（角速度）から、振れの回転方向成分（上述した回転角度θ、あおり量ｖｘ，ｖｙ）による撮像画像の歪みを補正するための幾何変形パラメータを生成する。そして幾何変形パラメータ生成部１０８は幾何変形パラメータを幾何変形パラメータ調整部１０９へ出力する。幾何変形パラメータは、幾何変形処理、たとえば本実施例においてはリサイズ、切り出し処理、射影変換処理を規定するパラメータである。幾何変形パラメータ生成部１０８は、幾何変形処理部１０５が実行可能な複数の幾何変形処理の組み合わせによって振れの回転方向成分による撮像画像の歪みを補正できるよう、幾何変形処理の種類ごとのパラメータを生成する。後述するように、本実施形態の幾何変形処理部１０５はリサイズ及び切り出し処理と、射影変換処理とを実行可能である。

幾何変形パラメータ調整部１０９は調整量算出部１１２からの調整量に基づき、幾何変形パラメータ生成部１０８からの幾何変形パラメータを幾何変形量を減らすように調整し、幾何変形量算出部１１０へ出力する。なお、幾何変形パラメータ調整部１０９の具体的な調整方法は後述する。

幾何変形量算出部１１０は幾何変形パラメータ調整部１０９からの幾何変形パラメータから幾何変形量を算出し、幾何変形処理部１０５および参照領域算出部１１１へ出力する。

参照領域算出部１１１は、幾何変形量算出部１１０からの幾何変形量を用いて、参照領域を示す第１参照領域アドレスを生成し、調整量算出部１１２へ出力する。参照領域は、幾何変形処理を考慮しない光学式像振れ補正が行われた場合において幾何変形処理に必要となる画像領域である。

調整量算出部１１２は参照領域算出部１１１からの第１参照領域アドレスを用いて、幾何変形量を考慮した参照領域（シフトレンズのオフセット量を考慮した場合において幾何変形処理に必要となる画像領域）を示す第２参照領域アドレスを生成する。調整量算出部１１２は、第２参照領域アドレスをメモリコントローラ１０４へ出力する。また、調整量算出部１１２は幾何変形量を考慮したシフトレンズ１１３のオフセット量（移動させる量）を生成し、システム制御部１０６へ出力する。

まず、幾何変形処理部１０５における幾何変形処理の詳細について、図２を用いて説明する。幾何変形量は、着目画素位置における幾何変形量を水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。

図２（ａ）の黒画素は、着目画素Ｓが本来あるべき位相を示しており、仮想画素Ｓ’は、着目画素Ｓが振れの影響で水平方向にHp、垂直方向にVp、それぞれ位相ズレして撮像された位置を示す。幾何変形処理によって振れを補正するには、仮想画素Ｓ’の値を求め、着目画素Ｓの値を置換すればよい。仮想画素Ｓ’の値は、図２（ｂ）に示すように、仮想画像Ｓ’の近傍に存在する画素s1、s2、s3、s4の値を、仮想画素Ｓ’との画素間距離c1、c2、c3、c4で重み付け補間演算することで生成することができる。図２（ｃ）に示すように、着目画素Ｓの値が生成された仮想画素Ｓ’の値で置換され、着目画素Ｓに対する幾何変形処理が完了する。

次に、幾何変形量算出部１１０の詳細について図３を用いて説明する。
幾何変形量算出部１１０は、複数の幾何変形処理による座標変換を１つの座標変換に合成し、水平、垂直方向の位相ズレ成分として生成する。
幾何変形量算出部１１０は、複数の幾何変形要素に対応した第１座標演算部３０１および第２座標演算部３０２と、座標移動ベクトル合成部３０３で構成される。第１および第２座標演算部３０１および３０２は、幾何変形パラメータ調整部１０９から入力されるそれぞれの幾何変形パラメータと、幾何変換処理前の座標とから、座標移動ベクトルと、幾何変換処理後の座標を算出する。

第１座標演算部３０１は、幾何変換処理としてのリサイズ及び切り出し処理を実現する座標を演算する。また、第２座標演算部３０２は、幾何変換処理としての射影変換を実現する座標を演算する。

第１座標演算部３０１は、幾何変換処理前の座標（X, Y）と、リサイズ及び切り出し処理パラメータＰｒとから、リサイズ及び切り出し処理を表す座標移動ベクトル（drx, dry）と、リサイズ及び切り出し処理後の座標（Xr, Yr）とを算出する。

幾何変形パラメータＰｒが、変倍率の逆数ｒ、変換の中心（X0r, Y0r）、並進移動（c, d）で構成される場合、座標移動ベクトル（drx, dry）および処理後の座標（Xr, Yr）は以下の計算式で算出される。

第２座標演算部３０２は、第１座標演算部３０１による幾何変換処理後の座標（Xr, Yr）と、射影変換パラメータＰｈとから、射影変換を表す座標移動ベクトル（dhx, dhy）と、射影変換後の座標（Xh, Yh）とを算出する。

幾何変形パラメータＰｈが、射影変換行列Ｈおよび変換の中心（X0h, Y0h）で構成される場合、座標移動ベクトル（dhx, dhy）および処理後の座標（Xh, Yh）は以下の計算式で算出される。

なお、振れの回転方向成分が上述した回転角度θおよびあおり量ｖｘ，ｖｙである場合、射影変換行列Ｈは、画像の回転を補正するための射影変換行列Ｈ１と、画像のあおりを補正するための射影変換行列Ｈ２との積として、以下のように表わされる。

最後に、座標移動ベクトル合成部３０３で、幾何変換処理前の座標（X, Y）及び、第１および第２座標演算部３０１，３０２で算出した座標移動ベクトル（drx, dry），（dhx, dhy）を、幾何変形パラメータＰｃに従って重み付け合成する。幾何変形パラメータＰｃが合成の重みax、bx、ay、byである場合、合成座標移動ベクトル（dcx, dcy）および、幾何変換処理後の座標（Xc, Yc）は、以下の計算式で算出される。

次に、参照領域算出部１１１の動作について、図４を参照して説明する。
参照領域算出部１１１は、画像出力領域の位置情報、具体的には画像出力領域に含まれる個々の画素の座標(X, Y)に対し、幾何変換処理後の座標(Xc, Yc)を算出することにより、参照領域を算出することができる。

図４において、撮影領域４００は、メモリ１０３に保持されている撮影画像全体である。参照領域４０１は、振れの回転方向成分を補正するための幾何変形処理に必要な領域である。また、領域４０２は参照領域４０１のうち、撮像領域４００に含まれない領域である。矩形領域４０３は、参照領域４０１に対応する矩形領域の一例としての外接矩形領域である。

また、Xsize、Ysizeは撮像領域４００の水平サイズと垂直サイズを示す。X0、Y0、X1、Y1は参照領域４０１に外接する矩形領域４０３の左上および右下の頂点の座標であり、メモリ１０３における第１参照領域アドレスを示す。第１参照アドレスは、幾何変形処理を考慮しない光学式像振れ補正が行われた場合における参照領域（第１参照領域）を示すアドレスである。

X0、Y0、X1、Y1は、参照領域４０１の４辺の座標を算出することにより、各頂点の座標のうち、左端座標からX0が、右端座標からX1が、上端座標からY0が、下端座標からY1がそれぞれ得られる。参照領域４０１の４辺の座標値は、例えば、出力画像領域の４辺の座標に対し、上述した幾何変形処理を適用することで算出できる。
参照領域算出部１１１は、このようにして算出した、第１参照領域アドレスを示すX0、Y0、X1、Y1を調整量算出部１１２へ出力する。

次に、本実施形態の特徴である調整量算出部１１２の構成および動作について、図５〜図８を参照して説明する。
図５は、調整量算出部１１２の機能構成例を示すブロック図である。調整量算出部１１２は、シフトレンズオフセット量算出部１１１０および参照領域アドレス算出部１１１１を有する。

次に、シフトレンズオフセット量算出部１１１０の動作を、図６のフローチャートおよび図８を参照しながら説明する。
図８（ａ）は、図４のうち撮像領域４００と矩形領域（第１参照領域）４０３を抜き出した図である。各変数については後述する。また、図８（ｂ）は参照領域アドレス算出部１１１１が生成する、幾何変形処理を考慮した光学式像振れ補正が行われた場合における参照領域（第２参照領域）を示す図である。

まず、Ｓ６０１において、シフトレンズオフセット量算出部１１１０は、参照領域算出部１１１より第１参照領域アドレス（幾何変形処理を考慮しない光学式像振れ補正が行われた場合における参照領域を示すアドレス）を取得する。次に、Ｓ６０２においてシフトレンズオフセット量算出部１１１０は、例えば以下の計算式を用いて、図８（ａ）に示す第１参照領域（矩形領域４０３）の中心アドレスを計算する。
REF1_HCENT=(X1−X0)/2 （式１３）
REF1_VCENT=(Y1−Y0)/2 （式１４）

Ｓ６０３においてシフトレンズオフセット量算出部１１１０は、例えば以下の計算式を用いて、図８（ａ）に示す撮像領域４００の中心アドレス(MEM_HCENT,MEM_VCENT)を計算する。
MEM_HCENT=Xsize/2 （式１５）
MEM_VCETN=Ysize/2 （式１６）

上述の通り、従来の光学式像振れ補正は、撮像領域４００と被写体像との位置関係が振れによってずれないようにシフトレンズや撮像素子といった光学部材を移動させるものであった。そのため、光学式像振れ補正後に幾何変形処理を適用する場合、参照領域が撮像領域を有効に利用できず、幾何変形処理による補正量が制限されたり、幾何変形処理後の画像に欠けが生じたりする場合があった。

そのため、本実施形態では、適用される幾何変形処理（あるいは幾何変形処理によって補正される像振れ）を考慮した光学式像振れ補正を行うことで、幾何変形処理による補正を効果的に実行することを可能にする。
具体的には、幾何変形処理に必要な参照領域に外接する矩形領域４０３の中心と、撮像領域４００の中心とのずれを補償するようなオフセット量を算出する。そしてそのオフセット量の分だけシフトレンズ１１３を駆動して画角を移動させる。

具体的には、シフトレンズオフセット量算出部１１１０はＳ６０４において、例えば以下の計算式を用いてシフトレンズオフセット量を算出する。
HS_OFST=MEM_HCENT−REF1_HCENT （式１７）
VS_OFST=MEM_VCENT−REF1_VCENT （式１８）

Ｓ６０５においてシフトレンズオフセット量算出部１１１０は、Ｓ６０４で算出したシフトレンズオフセット量を保持するとともに、システム制御部１０６に出力する。

システム制御部１０６が、振れ検出部１０７の出力に基づいて算出した振れの並進方向成分を補正するためのシフトレンズ駆動量にシフトレンズオフセット量を適用してシフトレンズ１１３を駆動する。これにより、矩形領域４０３の中心が撮像領域４００の中心となるような光学式像振れ補正が実現できる。

なお、矩形領域４０３の中心が撮像領域４００の中心に一致する場合に最も大きな効果が得られるが、矩形領域４０３の中心が、幾何変形処理を考慮しない場合よりも撮像領域の中心に近づくようにシフトレンズ１１３を駆動すれば、効果は得られる。つまり、矩形領域４０３の中心と、撮像領域４００の中心とのずれが小さくなるようなオフセット量を算出すればよい。なお、上述したように、光学式像振れ補正において駆動する光学部材はシフトレンズ１１３に限らず、例えば撮像素子１０１であってもよい。また、複数の光学部材を駆動してもよい。

次に、参照領域アドレス算出部１１１１の動作を図７のフローチャートおよび図８を参照して説明する。
光学式像振れ補正によるシフトレンズ１１３が、撮像素子１０１の出力する映像の垂直同期信号に同期して駆動される場合、メモリ１０３より読みだそうとする参照領域は、１垂直同期時間（１Ｖ）前のシフトレンズオフセット分だけ平行移動して撮影されている。そのため、読みだそうとする第１参照領域アドレスに、１Ｖ前のシフトレンズオフセット量を加えた位置より読み出す。

Ｓ７０１において参照領域アドレス算出部１１１１は、シフトレンズオフセット量算出部１１１０に保持されている１Ｖ前のシフトレンズオフセット量を読み出す。
参照領域アドレス算出部１１１１は、Ｓ７０２において、参照領域算出部１１１より第１参照領域アドレス(X0, Y0, X1, Y1)を取得する。そして、Ｓ７０３において参照領域アドレス算出部１１１１は、第１参照領域アドレスとシフトレンズオフセット量とから、例えば以下の式を用いて第２参照領域アドレス(X0’, Y0’, X1’, Y1’)を算出する。第２参照領域アドレスは、図８（ｂ）に示すように、シフトレンズのオフセット量を考慮した参照領域８０３を示すアドレスである。
X0’=X0+HS_OFST （式１９）
Y0’=Y0+VS_OFST （式２０）
X1’=X1+HS_OFST （式２１）
Y1’=Y1+VS_OFST （式２２）

Ｓ７０４において参照領域アドレス算出部１１１１は、第２参照領域アドレスで示される第２参照領域が撮像領域に収まるかどうかを判定し、収まると判定される場合はＳ７０５へ、収まらない（はみ出している）と判定される場合はＳ７０６へ、処理を進める。

Ｓ７０５において参照領域アドレス算出部１１１１は、第２参照領域アドレスをメモリコントローラ１０４へ出力する。メモリコントローラ１０４は、第２参照領域アドレスに基づき、第２参照領域の画像をメモリ１０３から順次読み出し、幾何変形処理部１０５に供給する。

一方、第２参照領域が撮像領域に収まっていない場合、そのまま幾何変形を行ってしまうと幾何変形後の画像の一部が欠落してしまう。第２参照領域が撮像領域に収まらないのは、幾何変形量が大きいためである。そのため、Ｓ７０６において参照領域アドレス算出部１１１１は、幾何変形量を減らすための調整量ｋを算出し、幾何変形パラメータ調整部１０９に出力する。

幾何変形パラメータ調整部１０９は、幾何変形パラメータ生成部１０８からの幾何変形パラメータＰｒ，Ｐｈ，Ｐｃに、例えば以下のように調整量ｋを適用し、幾何変形量を削減する。この場合、調整量ｋは０＜ｋ＜１の値を有する。
Ｐｒ’＝ｋ＊Ｐｒ （式２３）
Ｐｈ’＝ｋ＊Ｐｈ （式２４）
Ｐｃ’＝ｋ＊Ｐｃ （式２５）

幾何変形量算出部１１０および参照領域算出部１１１は、調整後の幾何変形パラメータに基づいて幾何変形量および第１参照領域アドレスを再計算する。Ｓ７０６から戻って実行されるＳ７０２からの処理では、再計算された第１参照領域アドレスが用いられる。

なお、幾何変形量の削減は、幾何変形処理による振れの回転方向成分の補正量の削減であるため、削減量は小さい方がよい。そのため、本実施形態では、削減量が徐々に大きくなるように調整量ｋの値を段階的に変化させる。例えば上述の例のように調整量ｋが係数である場合、調整量ｋを徐々に小さい値に変化させる。

具体的には、撮像領域を超えない第２参照領域アドレスが得られるまで、調整量ｋを変化させながら、幾何変形パラメータの調整、調整後の幾何変形パラメータに基づく幾何変形量および第１参照領域アドレスを再計算の動作を繰り返し行う。繰り返し回数に応じて削減量が徐々に大きくなるように調整量ｋを設定していくことで、削減量を抑制しつつ、撮像領域を超えない参照領域アドレスを算出することが可能となる。

以上説明したように、本実施形態によれば、撮像装置の動きによる像振れを、光学式像振れ補正と幾何変形処理とを組み合わせて補正する撮像装置において、光学式像振れ補正における光学部材の駆動量を幾何変形処理を考慮した値とする。具体的には、幾何変形処理に必要な参照領域に対応する矩形領域の中心が、幾何変形処理を考慮しない場合よりも撮像領域の中心に近づくように光学部材を駆動する。そのため、参照領域が撮像領域に収まる可能性を高めることができ、補正後の画像における欠けを抑制しつつ、幾何変形処理による補正を効果的に行うことが可能になる。

（第２の実施形態）
図９は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。図９において図１と同一の機能ブロックには同一の参照数字を付し、重複する説明は省略する。図９と図１との比較から分かるように、本実施形態のデジタルカメラは、シフトレンズオフセット量を予測するオフセット量予測部１１４を有する点で第１の実施形態と異なる。

以下、第１の実施形態との相異点を中心に本実施形態のデジタルカメラの構成および動作を説明する。
振れ検出部１０７からの角速度の情報は、幾何変形処理を適用したい画像が撮影された時間におけるものであり、この角速度の情報から算出したシフトレンズオフセット量も、幾何変形処理を適用したい画像が撮影された時間に対応したものである。

すなわち、これから撮影する画像に適用するシフトレンズオフセット量は、１垂直同期時間（１Ｖ）前の振れに対応した量である。そのため、デジタルカメラの振れ量が急に大きくなった場合、１Ｖ前のシフトレンズオフセット量と実際に必要なシフトレンズオフセット量の差が大きくなり、参照領域が撮像領域に収まらない可能性がある。

そこで、本実施形態では調整量算出部１１２が算出したシフトレンズオフセット量から、次の垂直同期時間におけるシフトレンズオフセット量を予測するオフセット量予測部１１４を追加し、予測値をシステム制御部１０６と調整量算出部１１２に出力する。

図１０にオフセット量予測部１１４の予測方法を説明する図を示す。
ｔ０、ｔ１、ｔ２は時間を表し、ｔ１が現在時刻、ｔ０が１Ｖ前の時刻、ｔ２が１Ｖ先の時刻を示す。またｎ０、ｎ１は、それぞれ時刻がｔ０、ｔ１の時のシフトレンズオフセット量を示し、ｎ２は例えば以下の式を用いて算出される時刻ｔ２におけるシフトレンズオフセット量の予測値である。

このように、本実施形態のオフセット量予測部１１４は、調整量算出部１１２が算出したシフトレンズオフセット量の経時変化から、次の撮影時（垂直同期時間）におけるシフトレンズオフセット量を予測する。

本実施形態では、システム制御部１０６はシフトレンズオフセット量の予測値を用いてシフトレンズを駆動する。また、調整量算出部１１２は、シフトレンズオフセット量算出部１１１０で算出したシフトレンズオフセット量をオフセット量予測部１１４に出力する。なお、シフトレンズオフセット量算出部１１１０に保持するオフセット量は、オフセット量予測部１１４が算出した予測値（実際に使用したオフセット量）とする。

以上、説明したように、本実施形態によれば、第１の実施形態において光学式像振れ補正に用いる光学部材の駆動量のオフセット量を、過去に算出されたオフセット量から予測した予測値とする。そのため、第１の実施形態の効果に加え、撮像装置の動きが大きく変化する場合であっても参照領域が撮像領域に収まる可能性を高めることができ、補正後の画像における欠けを抑制する効果をさらに高めることが可能になる。

（その他の実施形態）
上述した実施形態は、デジタルカメラやデジタルビデオカメラのような撮像装置はもちろん、撮像装置を備えた任意の機器、例えば携帯電話機、ゲーム機、パーソナルコンピュータ、携帯情報機器（ＰＤＡ）、タブレット端末などにおいて実施することができる。

第２の実施形態においては、過去に算出したオフセット量の経時変化に基づいてオフセット量の予測値を算出した。しかし、振れ検出部１０７により検出された過去の振れ量の情報から次の撮影時における振れ量を予測し、その振れ量に対応したオフセット量を用いてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 装置の並進方向および回転方向の動きを検出する検出手段と、
   光学部材を駆動して、前記並進方向の動きによる撮像画像の像振れを軽減する光学像振れ補正手段と、
   検出された前記回転方向の動きによる前記撮像画像の歪みを、前記撮像画像に幾何変形処理を適用することによって補正する幾何変形処理手段と、を有し、
   前記幾何変形処理手段は、前記撮像画像の撮像領域よりも小さな出力画像領域に対して、前記歪みを補正するために必要な参照領域の画素を用いた幾何変形処理を適用して前記出力画像領域における前記歪みを補正し、
   前記光学像振れ補正手段は、前記参照領域を内部に含む矩形領域の中心が前記撮像領域の中心に近づくように前記光学部材を駆動することを特徴とする撮像装置。
2. 前記検出された回転方向の動きから、前記撮像画像の歪みを補正するために必要な幾何変形処理を規定する幾何変形パラメータを生成する幾何変形パラメータ生成手段と、
   前記幾何変形パラメータと、前記出力画像領域の位置情報とから、前記参照領域を算出する参照領域算出手段と、
   前記参照領域に対応する矩形領域の中心と前記撮像領域の中心とのずれを小さくするオフセット量を算出するオフセット量算出手段と、をさらに有し、
   前記光学像振れ補正手段は、前記オフセット量を適用して前記光学部材を駆動することを特徴とすることを特徴とする請求項１記載の撮像装置。
3. 前記幾何変形処理による幾何変形量を削減するように前記幾何変形パラメータを調整する幾何変形パラメータ調整手段をさらに有し、
   前記参照領域が前記撮像領域に収まらないと判定される場合、前記参照領域が前記撮像領域に収まると判定されるまで、前記幾何変形パラメータ調整手段により前記幾何変形パラメータを調整することを特徴とする請求項２記載の撮像装置。
4. 前記オフセット量算出手段は、過去に算出したオフセット量の経時変化に基づいて予測したオフセット量を算出することを特徴とする請求項２または請求項３記載の撮像装置。
5. 前記光学部材が、光学系に含まれるシフトレンズもしくは撮像素子であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 検出手段が、装置の並進方向および回転方向の動きを検出する検出工程と、
   光学像振れ補正手段が、光学部材を駆動して、前記並進方向の動きによる撮像画像の像振れを軽減する光学像振れ補正工程と、
   幾何変形処理手段が、検出された前記回転方向の動きによる前記撮像画像の歪みを、前記撮像画像に幾何変形処理を適用することによって補正する幾何変形処理工程と、を有し、
   前記幾何変形処理工程において前記幾何変形処理手段は、前記撮像画像の撮像領域よりも小さな出力画像領域に対して、前記歪みを補正するために必要な参照領域の画素を用いた幾何変形処理を適用することにより、前記出力画像領域における前記歪みを補正し、
   前記光学像振れ補正工程において前記光学像振れ補正手段は、前記参照領域を内部に含む矩形領域の中心が前記撮像領域の中心に近づくように前記光学部材を駆動することを特徴とする撮像装置の制御方法。

Images