JP2014072797A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 あおりによる像の歪みが生じても、撮像画像の幾何変形により像ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供する。
【解決手段】 出力画像を生成するために必要となる画像領域である参照領域が、幾何補正前後で画角が変わらず、かつ撮像領域に収まるようになるための参照領域の拡縮率と光学系の焦点距離を算出する。算出された焦点距離が、撮像装置の予想手ぶれ量に対応する、参照領域が撮像領域を超えない範囲であおり成分を幾何変形により補正可能な光学系の最短焦点距離未満の場合には、光学系の焦点距離を変更せず、光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるような幾何変形パラメータで幾何変形を行う。
【選択図】 図４

Description

本発明は撮像装置およびその制御方法に関し、特には画像の幾何変形技術に関する。

従来、ジャイロセンサなどのセンサを用いてカメラの動きを検出し、動きを打ち消すようにレンズを移動させたり、撮像素子からの読み出し範囲を変更させたりして、撮像画像における手ぶれの影響を抑制する像振れ補正（防振）技術が知られている。

また、撮像画像の幾何変形処理を用いた防振処理技術も提案されている（特許文献１）。特許文献１では、基準画像に対する平行および回転移動量に応じて平行・回転処理した撮像画像（補正画像）を、基準画像に合成して、像振れ補正した画像を得ている。

しかし、特許文献１記載の技術では、平行・回転処理の対象となる画像の各画素が周囲の画素を参照する必要があるため、補正画像を生成するために必要な全ての画素が撮像領域内に収まっている必要がある。補正画像の生成に必要な画素が撮像領域外に存在する場合、補正画像の一部が欠落してしまう。

一方、特許文献２では、振れ検出センサを用いた電子式像振れ補正機能を有する撮像装置において、振れ量が大きいほど切り出し範囲を小さくすることで、補正画像の生成に必要となる画素が撮像領域内に収まるようにすることが提案されている。具体的には、手ぶれ量が大きくなるほど、電子ズームに切り替わりやすくすることで、切り出し範囲を小さくしている。つまり、並進ぶれが大きくなっても、補正画像を切り出すことができるように（切り出し範囲が撮像領域内に収まるように）制御している。

特開２００８−５０８４号公報 特開２０１１−２９７１９号公報

特許文献２は振れ検出センサを用いる構成であるため、振れ検出センサを用いない特許文献１の構成に適用することは容易でないが、便宜上、幾何変形処理を用いた防振処理に特許文献２の手法を適用した場合を考える。上述の通り、近年のカメラではレンズが広角化している。そして、あおりによる像の歪は、光学系の焦点距離が短いほど大きくなるという特性があるが、特許文献２ではあおりによる像の歪みを考慮していない。そのため、あおりによる像の歪みを補正しようとした場合、必要な画素が撮像領域内に収まらないことが起こりうる。

本願発明はこのような従来技術の課題に鑑みてなされたものであり、あおりによる像の歪みが生じても、撮像画像の幾何変形により手ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮像装置であって、焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、幾何変形パラメータに従って画像を幾何変形し、出力画像を生成する幾何変形手段と、出力画像を生成するために必要となる画像領域である参照領域が、幾何変形前後で画角が変わらず、かつ参照領域が撮像領域に収まるための、参照領域の拡縮率と光学系の焦点距離を算出する算出手段と、光学系および幾何変形手段を制御する制御手段とを有し、制御手段は、算出された焦点距離が、撮像装置の予想手ぶれ量に対応する、参照領域が撮像領域を超えない範囲であおり成分を幾何変形により補正可能な光学系の最短焦点距離以上の場合、光学系の焦点距離を算出された焦点距離に変更するとともに、拡縮率が適用された参照領域に幾何変形を適用するように幾何変形手段を制御し、算出された焦点距離が最短焦点距離未満の場合、光学系の焦点距離を変更せず、光学系の焦点距離を算出された焦点距離に変更した場合と同様の効果が得られるように幾何変形パラメータを変更する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、あおりによる像の歪みが生じても、撮像画像の幾何変形により手ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供することができる。

本発明の第１実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 幾何変形処理を模式的に示す図 図１の幾何変形部の構成例を示すブロック図 本発明の第１実施形態における幾何変形パラメータ算出処理を説明するためのフローチャート 図４の変形領域予測処理を説明するためのフローチャート 図４の変形領域予測処理で用いるパラメータの定義を示す図 参照領域に対する撮像領域の余剰値の時間変化の例を示す図 図７に示した余剰値に対応する撮像領域と参照領域の関係を模式的に示す図 図５の変形領域調整パラメータ算出処理を説明するためのフローチャート 変形領域調整パラメータ算出処理における拡縮率算出に必要となるパラメータの定義を示す図 参照領域制御処理を模式的に示す図 焦点距離の変化による幾何変形パラメータの変化例を示す図 焦点距離の変化による手ぶれ画像の変化例を模式的に示す図 手ぶれ量と最短焦点距離の関係例を示す図 焦点距離とX方向のあおり成分を補正する射影変形パラメータとの関係を、異なる手ぶれ量について示した図 本発明の第２実施形態における幾何変形処理を説明するためのフローチャート

（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。本実施形態では、被写体像を形成するための撮像レンズや、絞りなどを有する光学系１０１が一体である構成を説明するが、本発明は光学系を交換可能な撮像装置にも適用可能である。撮像レンズは、画角が可変なズームレンズである。

光学系１０１を通過して、撮像素子１０２に結像された被写体像は、撮像素子１０２にて画像信号に変換され、現像部１０３にてホワイトバランス処理や色（輝度・色差信号）変換、γ補正などが実施され、メモリ１０４に格納される。撮影によってメモリ１０４に格納される画像信号群は、撮像領域に対応する画像を表す。以下の説明では、撮像領域という用語を、撮影される範囲という意味と、撮影で得られる画像の範囲という意味の両方で用いる。

幾何変形部１０７は、幾何変形量算出部１０６から入力される幾何変形量に基づいて、幾何変形処理に必要となる画素群を特定する情報をメモリコントローラ１０５に入力する。
メモリコントローラ１０５は、特定された画素群を読み出すためのメモリアドレスを生成し、メモリ１０４に順次供給する。
メモリ１０４から順次読み出された画像信号は、メモリコントローラ１０５を介して幾何変形部１０７に入力される。幾何変形部１０７は、順次読み出された画像信号を用い、幾何変形量に基づいた補間画素を生成し、出力画像（補正画像）を生成する。この出力画像を生成するのに必要となる画像領域を本実施形態では参照領域と定義する。

システム制御部１０８は、撮像装置全体の動作を制御する。システム制御部１０８は、光学系１０１の焦点距離（画角）、絞り値、フォーカス距離や、撮像素子１０２の駆動制御や、幾何変形量算出部１０６に入力する幾何変形パラメータの算出、変形領域予測部１０９に入力する撮影情報を生成する。

変形領域予測部１０９は、システム制御部１０８からの撮影情報に基づいて、以降の撮影状況において、参照領域が撮像領域内に収まるか否かの判定を行い、幾何変形調整処理のパラメータとなる予測情報を幾何変形調整部１１０とシステム制御部１０８に入力する。変形領域予測部１０９は算出手段として機能する。

幾何変形調整部１１０には、変形領域予測部１０９からの予測情報、システム制御部１０８からの幾何変形パラメータ、光学系１０１の焦点距離情報が入力される。幾何変形調整部１１０は、これらの情報に基づいて、光学系１０１の焦点距離（画角）及び、画像信号の撮像領域内の参照領域と拡縮率、幾何変形パラメータ調整量を算出し、システム制御部１０８に供給する。

幾何変形処理の詳細について説明する。本実施形態では、変形処理後の画像（出力画像）に画素の欠陥が生じないよう、出力画像の画素座標（X’，Y’）に基づき、入力画像に対して画素のサンプリング及び補間を行うことで、幾何変換処理を実現する。図２に幾何変換処理を模式的に示す。

幾何変形量算出部１０６は、出力画像上の画素を順次スキャンし、システム制御部１０８から入力される複数の幾何変形パラメータに基づいて、出力画像上の画素座標（X’，Y’）を入力画像上の画素座標（X，Y）に変換する。

幾何変形部１０７は、幾何変形量算出部１０６より入力された入力画像上の画素座標（X，Y）を基に、入力画像の画素を補間して出力画素のデータを生成する。
画素の補間は例えば、４近傍を用いた線形補間であるバイリニア補間によって行うことができる。なお、補間処理に応じて必要となる画素群が異なるため、幾何変形部１０７は、幾何変形量算出部１０６から入力される画素座標（X，Y）と、補間に必要となる近傍画素群（X”，Y”）の情報を、メモリコントローラ１０５に入力する。

メモリコントローラ１０５は、幾何変形部１０７から入力される座標情報に従って、補間処理に必要となる画素群の値を読み出して、幾何変形部１０７に伝送する。

次に、幾何変形量算出の詳細について説明する。幾何変形量算出部１０６は、複数の幾何変形による座標変換を１つの座標変換に合成し、入力される出力画像上の画素座標（Ｘ’，Ｙ’）ごとに入力画像上の画素座標（Ｘ，Ｙ）に順次変換する座標演算を行う。

図３に幾何変形量算出部１０６の構成を示す。
幾何変形量算出部１０６は、複数の幾何変形要素に対応したリサイズ切り出し座標演算部３０１、射影変形座標演算部３０２と、移動ベクトル合成部３０３で構成される。
リサイズ切り出し座標演算部３０１および射影変形座標演算部３０２は、システム制御部１０８から入力されるそれぞれの幾何変形パラメータと幾何変換前座標から、座標移動ベクトルと、幾何変換処理後の座標を算出する。

リサイズ切り出し座標演算部３０１は、幾何変換前座標（X，Y）と幾何変形パラメータPrから、リサイズ及び切り出し処理の座標移動ベクトル（drx，dry）と、リサイズ及び切り出し処理後の座標（Xr，Yr）を算出する。
本実施形態においてリサイズ切り出し座標演算部３０１は、座標ベクトル（drx，dry）、リサイズ及び切り出し処理後の座標（Xr，Yr）を以下の計算式に従って算出する。

なお、これらの式において、変倍率の逆数r、変換の中心（X0r，Y0r）、および並進移動（c，d）が幾何変形パラメータPrである。

射影変形座標演算部３０２は、リサイズ及び切り出し処理後の座標（Xr，Yr）と射影変形パラメータPhから、射影変形の座標移動ベクトル（dhx，dhy）と、射影変形後の座標（Xh，Yh）を以下の計算式に従って算出する。

なお、これらの式において、射影変形行列Hと変換の中心（X0h，Y0h）が幾何変形パラメータPhである。射影変形行列Hは、例えば、光軸に対する３軸（ヨー方向、ピッチ方向、ロール方向）の回転をカメラのモーションパラメータとして算出して得ることができる。

移動ベクトル合成部３０３には、幾何変形パラメータPc、幾何変換前座標（X，Y）、リサイズ及び切り出し処理の座標移動ベクトル（drx，dry）、及び射影変形の座標移動ベクトル（dhx，dhy）が入力される。移動ベクトル合成部３０３は、以下の式に従って座標移動ベクトルを重み付け合成し、合成座標ベクトル（dcx，dcy）と幾何変換後座標（Xc，Yc）を得る。

なお、これらの式において、合成の重みax，bx，ay，byが幾何変形パラメータPcである。

図４は、幾何変形パラメータ算出処理を説明するためのフローチャートである。
まず、Ｓ４０１で変形領域予測部１０９が、以降の撮影状況において参照領域が撮像領域内に収まるか否かを予測する。本実施形態で変形領域予測部１０９は、フレームごとの参照領域を撮影情報として評価して予測を実施する。

図５に示すフローチャートおよび予測処理に必要となるパラメータを示す図６と用い、Ｓ４０１における予測処理の詳細を説明する。
撮像領域６０１は水平サイズがXsize、垂直サイズがYsizeの矩形領域であり、参照領域６０２が撮像領域６０１に含まれている。すなわち、参照領域６０２は撮像領域６０１の一部である。

まず、Ｓ５０１で変形領域予測部１０９が、現フレーム時刻tにおける、参照領域６０２を包含する最小の矩形領域６０３の対角座標（X0,Y0）および（X1,Y1）を算出する。座標（X0,Y0）と（X1,Y1）は、参照領域６０２の４辺の座標を算出し、左端座標X0と右端座標X1、上端座標Y0と下端座標Y1を算出することで得られる。参照領域６０２の４辺の座標値は、幾何変形処理後の参照領域の４辺の座標に対して、上述した幾何変形量計算を実施して求めることができる。

Ｓ５０２で変形領域予測部１０９は、図６に示すx0，x1，y0，y1を以下の式によって算出する。
x0=X0， x1=(Xsize-1)-X1
x1=X1， y1=(Ysize-1)-Y1 （式１０）

x0，x1，y0，y1は、参照領域６０２（矩形領域６０３）に対する、撮像領域６０１の上下左右の余剰値を示し、参照領域の現在の位置を表す。これら４つの余剰値が全て正ならば、参照領域６０２が撮像領域６０１内に収まることを示す。

Ｓ５０３で変形領域予測部１０９は、参照領域の過去の位置を示す１フレーム前の時刻t-1における上下左右の余剰値x0”，x1”，y0”，y1”を読み出す。そしてＳ５０４で変形領域予測部１０９は、参照領域の予測位置を示す、次フレーム時刻t+1における上下左右の余剰値x0’，x1’，y0’，y1’を、現フレーム時刻tおよび１フレーム前の時刻t-1における余剰値から予測する。

x0’、x1’、y0’、y1’の算出方法について図７を用いて説明する。図７は余剰値を代表して左余剰値の時間変化の例を示している。現フレームの時刻tにおける左余剰値をx0、１フレーム前の時刻t-1における左余剰値をx0”する。変形領域予測部１０９は、次フレーム時刻t+1における左余剰値x0’を、時刻t-1とtの左余剰値x0”とx0とから線形予測する。次フレーム時刻t+1における他の余剰値x1’、y0’、y1’についても同様に予測する。x0’，x1’，y0’，y1’の算出式は以下の通りである。
Δx0=x0-x0” Δx1=x1-x1”
Δy0=y0-y0” Δy1=y1-y1” （式１１）
x0’=x0+Δx0 x1’=x1-Δx1
y0’=y0+Δy0 y1’=y1-Δy1 （式１２）

Ｓ５０５で変形領域予測部１０９は、次フレームで参照領域６０２が撮像領域６０１を超える（参照領域６０２の少なくとも一部が撮像領域６０１に収まらない）かどうか判定する。ここでは、参照領域６０２が撮像領域６０１を超えることを「撮像領域オーバー」と呼ぶ。

図８は、図７に示した左余剰値の変化に対応した、矩形領域６０３と撮像領域６０１との位置関係を示す図であり、図８（ａ）が時刻t-1、図８（ｂ）が時刻t、図８（ｃ）が時刻t+1に対応している。図７に示した例では、時刻t+1における左余剰値x0’は負であり、これは、矩形領域６０３（参照領域６０２）が撮像領域６０１の左側からはみ出ていることを示している。変形領域予測部１０９は、Ｓ５０４で予測した次フレーム時刻t+1における上下左右の余剰値x0’，x1’，y0’，y1’の１つでも負であれば、撮像領域オーバーと判定し、Ｓ５０６において変形調整パラメータ算出処理を実施する。撮像領域オーバーでないと判定した場合、変形領域予測部１０９は処理をＳ５０７に移行させる。

Ｓ５０６における変形調整パラメータ算出処理について、図９のフローチャートを用いて説明する。
まず、Ｓ９０１およびＳ９１１で変形領域予測部１０９は、時刻t+1における左右の予測余剰値x0’とx1’、上下の予測余剰値y0’とy1’をそれぞれ大小比較する。そして、変形領域予測部１０９は、小さい方の値をそれぞれxminとyminとする（Ｓ９０２，Ｓ９０３，Ｓ９１２，Ｓ９１３）。

次に、手ぶれ量算出手段としての変形領域予測部１０９は、変形領域調整処理に必要となる予想手ぶれ量を算出する（Ｓ９０４，Ｓ９１４）。予想手ぶれ量は、参照領域と撮像領域との位置関係の時間変化に基づいて算出することができる。手ぶれ量は、水平方向の手ぶれ角θxと垂直方向の手ぶれ角θyで表現され、変形領域予測部１０９は手ぶれ角θxおよびθyを、以下の計算式によって求める。

ここで、fは光学系１０１の焦点距離、pは撮像素子１０２の画素ピッチである。また、Δxminは、（式１１）におけるΔx0とΔx1のうち、xminに設定された値の算出に用いられた一方を、Δyminは、（式１１）におけるΔy0とΔy1のうち、yminに設定された値の算出に用いられた一方を指す。例えばx0’，x1’のうちx0’がxminに設定された場合、ΔxminはΔx0である。

次に変形領域予測部１０９は、変形領域調整処理に必要となる拡縮率を算出する。図１０は、拡縮率算出に必要となるパラメータの定義を示す図である。変形領域予測部１０９は、まず、ｘｙ各方向で拡縮率を算出するために必要となる値であるxmargin，xover，ymargin，yoverを算出する（Ｓ９０５，Ｓ９１５）。xmarginとymarginは、参照領域６０２における幾何変形処理の中心１００１と、撮像領域６０１の境界との、水平方向及び垂直方向における最短距離を示し、中心１００１の座標を（X2，Y2）とした場合、以下の式で求められる。
xmargin=X2 （xmin=x0の場合）
xmargin=(Xsize-1)-X2 （xmin=x1の場合）
ymargin=Y2 （ymin=y0の場合）
ymargin=(Ysize-1)-Y2 （ymin=y1の場合） （式１４）

なお、時刻t+1の中心１００１の座標（X2，Y2）は、図７を用いて説明した余剰値の予測と同様にして、時刻t-1と時刻tの中心１００１の座標値を用いて線形予測することができる。

xoverとyoverは、参照領域６０２における幾何変形処理の中心１００１と、矩形領域６０３の境界との水平方向及び垂直方向の最短距離を示し、以下の式で求められる。
xover=xmargin-xmin
yover=ymargin-ymin （式１５）

変形領域予測部１０９は、xmargin，xover，ymargin，yoverから、水平方向と垂直方向の拡縮率RxとRyを、以下の式によって求める（Ｓ９０６，Ｓ９１６）。

そして、変形領域予測部１０９は、水平方向と垂直方向の拡縮率RxとRyの大小を比較し（Ｓ９０７）、大きい値を変形領域調整処理に必要となる拡縮率Rとする（Ｓ９０８，Ｓ９０９）。
このようにして、変形領域予測部１０９は、撮像領域オーバーと判定された場合、Ｓ５０６で幾何変形調整パラメータとして、拡縮率Rと予想手ぶれ量θx，θyを算出する。

Ｓ５０７で変形領域予測部１０９は、現フレーム時刻における余剰量x0，x1，y0，y1を、次の変形領域予測処理に用いるために保存する。

図４に戻り、Ｓ４０２でシステム制御部１０８は、Ｓ４０１において撮像領域オーバーとの判定がなされていなければ、Ｓ４０３で通常の幾何変形パラメータ取得処理を実施する。一方、Ｓ４０１において撮像領域オーバーとの判定がなされていた場合、幾何変形調整部１１０により光学系の焦点距離と拡縮率を変更して、参照領域が撮像領域に収まるよう調整し、また、調整後の幾何変形パラメータを取得する。

図１１は、本実施形態において幾何変形調整部１１０が行う、参照領域が撮像領域に収まるように調整拡縮率と焦点距離を調整する参照領域制御処理を模式的に示している。
１１０１は撮像領域、１１０２は参照領域、１１０４は撮像領域１１０１からはみ出た参照領域、１１０５は幾何変形処理後の参照領域、１１０６は参照領域が撮像領域外になったことで発生した欠損領域を示す。

図１１（ａ）で示すように、参照領域１１０２が撮像領域１１０１を超え、撮像領域オーバーが発生すると、領域１１０４については、参照領域１１０２の歪み（図形歪み、幾何歪み）を補正するための幾何変形処理に必要な画素の情報を得られない。従って、幾何変形後の参照領域１１０５に欠損領域１１０６が発生してしまう。

図１１（ｂ）で示すように、元の参照領域１１０２の境界を内側に移動させて、撮像領域１１０１を超えない参照領域１１０７を生成する。このとき、参照領域１１０７は参照領域１１０２よりも小さくなるため、参照領域１１０７を幾何変形して生成される幾何変形後の参照領域は、元の参照領域１１０２から生成される幾何変形後の参照領域１１０５よりも小さくなる。そのため、参照領域１１０７から生成される幾何変形後の参照領域を、拡縮率Rをパラメータとして、元の参照領域１１０２から生成される幾何変形後の参照領域１１０５と同じサイズに拡大する。これは、拡縮率Rの逆数を、幾何変形パラメータr（変倍率の逆数）に乗じることで実現される。このとき使用される拡縮率Rは、変形領域予測部１０９から入力される幾何変形パラメータに含まれるものである。

このような拡大を行うと、図１１（ｂ）の下段に示すように、拡大しない図１１（ａ）と比較して幾何変形後の参照領域の画角が狭くなる。よって、画角の変動が発生しないように、図１１（ｃ）に示すように、図１１（ｂ）と同じ参照領域１１１１と拡縮率Rを用いても、幾何変形後の参照領域の画角が図１１（ａ）と同じになるよう、光学系の焦点距離を短くした撮像領域１１０９を取得する。

このときの、光学系の焦点距離fは、下記計算式で算出される。

なお、（式１７）におけるforgは、変更前の焦点距離を示す。

しかし、このような参照領域制御処理では、光学系のあおり成分による歪みの影響が考慮されていないため、図１１（ｄ）に示すように、参照領域１１１０が撮像領域１１０９を超えてしまうことがある。この事象について説明する。

以下の（式１８）は射影変形行列Hを示し、（H13，H23）がそれぞれ手ぶれのX方向，Y方向の並進成分を補正するパラメータであり、（H31，H32）がそれぞれ手ぶれのX方向，Y方向のあおり成分を補正するパラメータである。

図１２（ａ）は、ヨー方向に、ある角変位量θを与えたときの、焦点距離ｆと射影変形パラメータH13（X方向の並進成分）との関係を、図１２（ｂ）は焦点距離ｆと射影変形パラメータH31（X方向のあおり成分）との関係を、それぞれ示している。図１２から分かるように、並進パラメータ１２０１は、焦点距離が長くなるにつれて値が大きくなるのに対して、あおりパラメータ１２０２は焦点距離が短くなるにつれて値が大きくなる。

つまり、図１３（ａ）に示すように、焦点距離が短いとき、例えば図１２（ａ），（ｂ）における（ア）のときは、並進による移動が小さくなり、あおりによる歪み（図形歪み）が大きくなる。同様に、図１３（ｂ）に示すように、焦点距離が長いとき、例えば図１２（ａ），（ｂ）における（イ）のときは、並進による移動が大きくなり、あおりによる歪みが小さくなる。

よって、図１１（ｃ）に示した参照領域制御を、光学系１０１の焦点距離が短い場合に実施した場合、焦点距離が短くなったことで大きくなったあおり成分に起因した歪みを補正するための参照領域を大きくする必要がある。その結果、図１１（ｄ）に示すように参照領域１１１０が撮像領域１１０１を超えてしまう。

そこで、本実施形態では、Ｓ４０４であおり成分の情報を評価し、その結果に応じて、参照領域制御を行う。
あおり成分を評価するＳ４０４の詳細について説明する。
まず、本実施形態では、図１４で示すような手ぶれ量θ[deg]と最短焦点距離fminとの関係１４０１を求める。最短焦点距離fminとは、前述のあおり成分を考慮に入れた、幾何変形処理が可能な光学系の焦点距離の限界値を示す。

図１５は、図１２（ｂ）と同様に、焦点距離ｆと射影変形パラメータH31（X方向のあおり成分）との関係を、異なる手ぶれ量θについて示した図である。手ぶれ量θの小さい順に１５０１、１５０２、１５０３で示しており、手ぶれ量θが大きいほど、同一焦点距離における射影変形パラメータH31の値が大きいことが分かる。

例えば、図１５のように、離散的な複数の手ぶれ量θについて、焦点距離ｆと射影変形パラメータH31との関係を作成し、射影変形パラメータ限界値H31maxに対応する焦点距離f（すなわちfmin）の値を手ぶれ量θごとに求める。そして、このようにして得られた離散的な手ぶれ量と最短焦点距離との関係を補間することにより、図１４に示す、手ぶれ量θと最短焦点距離fminとの関係を求めることができる。

なお、射影変形パラメータ限界値H31maxは、例えば、予め定めた、あおり成分の幾何変形最大量（Xhmax，Yhmax）を超えない最大の補正量となる射影変形パラメータH31として規定することができる。

Ｓ４０１において撮像領域オーバーとの判定がなされていた場合、変形領域予測部１０９より、判定情報と共に予想手ぶれ量θxとθyが幾何変形調整部１１０に入力される。幾何変形調整部１１０は、予想手ぶれ量θxとθyに対応するfmin値を、予め求められた手ぶれ量θと最短焦点距離fminとの関係から求め（Ｓ４０４１）、小さい値を現在の撮影状況における最短焦点距離fminとする。

次に、幾何変形調整部１１０は、参照領域の縮小による画角変化に合わせて、画角調整のための光学系の焦点距離fを（式１７）に従って算出し（Ｓ４０４２）、算出された光学系の焦点距離fをＳ４０４１で求めた最短焦点距離fminと比較する（Ｓ４０４３）。幾何変形調整部１１０は、比較結果（あおり成分評価結果）をシステム制御部１０８に出力する。Ｓ４０４１〜Ｓ４０４３により、あおり成分評価処理が行われる。

焦点距離fが最短焦点距離fmin以上（最短焦点距離以上）の場合（Ｓ４０４３，Ｙｅｓ）、焦点距離をfに変更しても参照領域が撮像領域を超えないと判定できる。そのため、システム制御部１０８は、光学系１０１の焦点距離がfとなるように制御（Ｓ４０５）し、焦点距離がfに変更されたときの幾何変形パラメータを算出（Ｓ４０６）して、拡縮率Rと共に幾何変形量算出部１０６へ出力する。

一方、焦点距離fが最短焦点距離fmin未満（最短焦点距離未満）の場合（Ｓ４０４３，Ｎｏ）、焦点距離をfに変更すると、参照領域が撮像領域を超えると判定できる。そこで、システム制御部１０８は、光学系の焦点距離を変更せずに、参照領域の幾何変形により焦点距離の変更と同様の結果が得られるよう幾何変形パラメータを調整する（Ｓ４０７）。この幾何変形パラメータの調整としては、前述した拡縮率Rを用いた拡大処理を行うようにしたり、この拡縮率Rの逆数をゲインGとして、幾何変形パラメータを変更したりすることが考えられる。

以上説明したように、本実施形態によれば、手ぶれ量θと、参照領域が撮像領域を超えない範囲であおり成分を補正可能な最短焦点距離fminとの関係を予め求めておく。そして、幾何変形前後の参照領域の画角を変えずに参照領域が撮像領域を超えないようにするために参照領域の拡縮と組み合わせて用いられる変更後の光学系の焦点距離fと、予想手ぶれ量に対応する最短焦点距離fminとを比較する。そして、変更後の焦点距離fが予想手ぶれ量に対応する最短焦点距離fmin未満となる場合には、焦点距離の変更を行わなず、焦点距離の変更と同様の効果が得られるように幾何変形パラメータを変更する。そのため、あおりによる歪みが生じても、歪み補正後の参照領域に欠損領域が含まれる可能性を大幅に抑制することができる。従って、画像合成によって像振れ補正画像を生成する場合に、欠損領域を含まない画像を生成することができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、幾何変形パラメータ算出処理の内容を除き、第１実施形態と共通であるため、幾何変形パラメータ算出処理についてのみ説明する。

図１６は、本実施形態における幾何変形パラメータ算出処理フローを示す。図１６において、第１実施形態と同様の処理ステップについては、図４と同じ参照数字を付した。幾何変形パラメータ算出処理における、第１実施形態との違いは、算出された焦点距離fが最短焦点距離fmin未満の場合（Ｓ４０４３，Ｎｏ）の処理にあり、他の処理は、全て第１実施形態と同様であるため、説明を省略する。

第１実施形態では、算出された焦点距離fが最短焦点距離fmin未満の場合、光学系の焦点距離を変更しなかったが、本実施形態では光学系の焦点距離を最短焦点距離fminに設定し、より効率的に撮像領域を用いた幾何変形処理を実現する。

Ｓ４０４３において、Ｓ４０４２で算出された焦点距離fが最短焦点距離fmin未満であると判定された場合、システム制御部１０８は、Ｓ１６１０で、光学系の焦点距離を、予想手ぶれ量で参照領域が撮像領域を超えない最小の焦点距離fminに変更する。

次に、Ｓ１６０２でシステム制御部１０８は、焦点距離fminに対する撮影画角調整のための拡縮率R’を算出する。システム制御部１０８は、拡縮率R’を、元の拡縮率R、焦点距離fminとfから、以下の（式２０）に従って算出する。

そして、システム制御部１０８は、Ｓ１６０３において、焦点距離fminに対する幾何変形パラメータを算出し、合わせて、参照領域が撮像領域を超えないように幾何変形パラメータを調整する。この幾何変形パラメータの調整としては、前述した拡縮率R’を用いた拡大処理を行うようにしたり、この拡縮率R’の逆数をゲインGとして、幾何変形パラメータを変更したりすることが考えられる。

このように、本実施形態では、変更後の焦点距離fが予想手ぶれ量に対応する最短焦点距離fmin未満となる場合には、光学系の焦点距離をfminに変更する。そして焦点距離fminにおける参照領域について、焦点距離をfに変更した場合と同様の効果が得られるように幾何変形パラメータを変更する。光学系の焦点距離をfminに変更することで、焦点距離を変更しない場合よりも撮像領域を有効に使用することができるため、画像合成によって像振れ補正画像を生成する場合に、第１実施形態よりも画質のよい像振れ補正画像を生成することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 撮像装置であって、
   焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、
   幾何変形パラメータに従って前記画像を幾何変形し、出力画像を生成する幾何変形手段と、
   前記出力画像を生成するために必要となる画像領域である参照領域が、前記幾何変形前後で画角が変わらず、かつ前記参照領域が前記撮像領域に収まるための、前記参照領域の拡縮率と前記光学系の焦点距離を算出する算出手段と、
   前記光学系および前記幾何変形手段を制御する制御手段とを有し、
   前記制御手段は、
   前記算出された焦点距離が、前記撮像装置の予想手ぶれ量に対応する、前記参照領域が前記撮像領域を超えない範囲であおり成分を前記幾何変形により補正可能な前記光学系の最短焦点距離以上の場合、前記光学系の焦点距離を前記算出された焦点距離に変更するとともに、前記拡縮率が適用された参照領域に前記幾何変形を適用するように前記幾何変形手段を制御し、
   前記算出された焦点距離が前記最短焦点距離未満の場合、前記光学系の焦点距離を変更せず、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更する、ことを特徴とする撮像装置。
2. 前記制御手段が、前記算出された焦点距離が前記最短焦点距離未満の場合、前記光学系の焦点距離を前記最短焦点距離に変更するとともに、前記最短焦点距離に対応する参照領域に関して、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更することを特徴とする請求項１記載の撮像装置。
3. 前記算出手段は、前記参照領域の過去の位置と現在の位置とから予測される前記参照領域の位置に基づいて、前記参照領域が前記撮像領域内に収まるか否かを予測し、前記参照領域が前記撮像領域内に収まらないと予測される場合に前記参照領域の拡縮率と前記光学系の焦点距離を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記参照領域と前記撮像領域との位置関係の時間変化に基づいて、前記予想手ぶれ量を算出する手ぶれ量算出手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記幾何変形パラメータは、手ぶれの並進成分を補正するパラメータと、手ぶれのあおり成分を補正するパラメータを含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、
   幾何変形パラメータに従って前記画像を幾何変形し、出力画像を生成する幾何変形手段と、
   前記出力画像を生成するために必要となる画像領域である参照領域が、前記幾何変形前後で画角が変わらず、かつ前記参照領域が前記撮像領域に収まるようにするための、前記参照領域の拡縮率と前記光学系の焦点距離を算出する算出手段と、を有する撮像装置の制御方法であって、
   前記算出された焦点距離が、前記撮像装置の予想手ぶれ量に対応する、前記参照領域が前記撮像領域を超えない範囲であおり成分を前記幾何変形により補正可能な前記光学系の最短焦点距離以上の場合、制御手段が、前記光学系の焦点距離を前記算出された焦点距離に変更するとともに、前記拡縮率が適用された参照領域に前記幾何変形を適用するように前記幾何変形手段を制御するステップと、
   前記算出された焦点距離が前記最短焦点距離未満の場合、制御手段が、前記光学系の焦点距離を変更せず、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更するステップと、
   を有することを特徴とする撮像装置の制御方法。

Images