JP6529879B2 - 撮像装置、及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置、及び撮像装置の制御方法に関する。

撮像装置の姿勢変化に伴って生じる撮像面上の被写体像のブレの量（像移動量）を検出し、検出した像移動量を打ち消す撮像装置が実用化されている。このような撮像装置は、例えば、撮像面と被写体像との位置関係を補正する光学式ブレ補正、または有効領域を撮像面上で移動させる電子式ブレ補正などによって、撮像装置の姿勢変化に伴う像ブレを補正する。

光学式ブレ補正は、例えば、像ブレを打ち消す方向に移動可能に構成された補正光学系を備える撮像レンズにより像ブレを補正するレンズシフト式ブレ補正、及び撮像レンズの光軸に対して直交する方向に移動可能に構成された撮像面を備える撮像素子により像ブレを補正するイメージセンサシフト式ブレ補正などの方式がある。また、電子式ブレ補正では撮像装置は、撮像面上の画像を取得可能な有効領域を撮像面上で移動させることにより像ブレを補正する。

特開２０１４−０５３７２０号公報

さらに、適正な露光時間（シャッタースピード）よりも速いシャッタースピードで連写した複数枚の画像データを加算合成することによって像ブレを防ぐ為の撮影方法が実用化されている。このような撮影方法では、連写により得られた各画像データの位置合わせを行った上で、加算合成を行う。しかし、等距離射影方式を除く中心射影方式または等立体角射影方式などの撮像レンズによって撮像素子に結像された被写体像は、撮像面上の像の長さ（像高）に対する入射角が撮像面上において一様ではない。即ち、中心射影方式または等立体角射影方式などでは、撮像レンズに入射した光の入射角の変化に対して、撮像面上での被写体像の像移動量が一様ではない。特に、焦点距離が短い（広角の）中心射影式の撮像レンズによって撮像素子に結像された被写体像は、光軸からの距離に応じてある入射角に対する像高の差が大きくなる。この為、連写により得られた画像データの被写体像の位置を一律の移動量で移動させて他の画像データの被写体像の位置に合わせたとしても、被写体像の位置が一致しない箇所が生じる可能性がある。この結果、画角の全域に亘って適切に画像合成を行うことができない可能性がある。

本発明は、適切に画像合成を行うことができる撮像装置及び撮像装置の制御方法を提供することである。

一実施形態に係る撮像装置は、撮像素子と、撮影光学系と、撮像制御部と、第１の射影変換部と、合成部と、第２の射影変換部と、を具備する。撮像素子は、光を電気信号に変換する画素が配列された撮像面を備える。撮影光学系は、前記撮像面に、中心射影方式である第１の射影方式の被写体像を結像させる。撮像制御部は、前記撮像素子により前記被写体像に応じた第１の射影画像を複数取得する第１の射影変換部は、複数の前記第１の射影画像を、前記撮影光学系への光の入射角の変化量に対する前記撮像面上での像高の変化量のばらつきが前記第１の射影画像よりも小さい、等距離射影方式である第２の射影方式の画像である複数の第２の射影画像にそれぞれ変換する。合成部は、複数の前記第２の射影画像を合成して合成画像を取得する。第２の射影変換部は、前記合成画像を前記第２の射影方式とは異なる射影方式の画像に変換する。

適切に画像合成を行うことができる撮像装置及び撮像装置の制御方法を提供することができる。

図１は、一実施形態に係る撮像装置の構成例について説明する為の図である。 図２は、一実施形態に係る撮像装置のブレ補正マイコンの構成例について説明する為の図である。 図３は、等距離射影方式の光学系における入射角と像高との関係を示す図である。 図４は、一実施形態に係る撮像装置の動作の例について説明する為の図である。 図５は、一実施形態に係る撮像装置における露出条件を決定する動作の例について説明する為の図である。 図６Ａは、中心射影から等距離射影に画像を変換する例について模式的に示す説明図である。 図６Ｂは、等距離射影から中心射影に画像を変換する例について模式的に示す説明図である。 図７Ａは、一実施形態に係る撮像装置における広角長秒撮影の画像処理について説明する為の説明図である。 図７Ｂは、一実施形態に係る撮像装置における広角長秒撮影の画像処理について説明する為の説明図である。 図７Ｃは、一実施形態に係る撮像装置における広角長秒撮影の画像処理について説明する為の説明図である。 図７Ｄは、一実施形態に係る撮像装置における広角長秒撮影の画像処理について説明する為の説明図である。 図８は、他の実施形態に係る撮像装置の構成例について説明する為の図である。 図９は、他の実施形態に係る撮像装置の動作の例について説明する為の図である。 図１０は、他の実施形態に係る撮像装置における露出条件を決定する動作の例について説明する為の図である。 図１１は、他の実施形態に係る撮像装置の構成例について説明する為の図である。

以下、図を参照しながら、一実施形態に係る撮像装置、及び撮像装置の制御方法について詳細に説明する。

（第１の実施形態）
以下図１乃至図７を用いて第１の実施形態に係る撮像装置１の例について説明する。図１は、撮像装置１の構成例を示す。撮像装置１は、適正露光時間を決定し、適正露光時間より短い露光時間で連写を行って取得した複数の画像を合成して合成画像を生成する。これにより、撮像装置１は、適正な露出の画像を適正露光時間より早いシャッタースピードで取得することにより、像ブレを低減することができる。

撮像装置１は、上記のように画像処理により像ブレを低減する像ブレ防止処理を実行可能なレンズ交換式カメラである。撮像装置１は、交換レンズ２及びカメラ本体３を備える。

交換レンズ２は、カメラ本体３に対して着脱自在に構成されている。交換レンズ２は、カメラ本体３に装着された場合にカメラ本体３と互いに通信可能な状態で接続される。これにより、交換レンズ２とカメラ本体３とは協働して動作する。交換レンズ２は、光学系１１、変倍部１２、及びレンズコントロールユニット（ＬＣＵ）１３を備える。

光学系１１は、中心射影方式の撮像レンズである。光学系１１は、図示しない被写体からの光束をカメラ本体３の撮像素子２１の撮像面上に結像させる。光学系１１は、例えば、複数のレンズと、レンズを介して撮像素子２１に入射する光束の量を調整する絞りと、光学系１１の焦点距離を変更する為のレンズ（ズームレンズ）１４と、を備える。光学系１１は、ズームレンズ１４の位置を光学系１１の光軸方向に移動させることによって光学系１１の焦点距離（画角）を変更する。さらに、光学系１１は、ピント位置を変更する為の合焦用のフォーカスレンズをさらに備える構成であってもよい。なお、光学系１１は、等距離射影方式を除く他の射影方式の撮像レンズであれば、如何なるものであってもよい。

変倍部１２は、ズームレンズ１４の位置を変更する為の機構である。変倍部１２は、例えば、交換レンズ２の外周に設けられたズームリングを備え、ズームリングの操作に応じてズームレンズ１４の位置を変更することにより、光学系１１の画角を変更する。

ＬＣＵ１３は、例えば、ＣＰＵ、及びメモリなどを含むコントローラであり、交換レンズ２の動作を制御する。例えば、ＬＣＵ１３は、カメラ本体３のシステムコントローラ２３からの指示に応じて、光学系１１のレンズ、及び絞りの駆動を制御する。また、ＬＣＵ１３は、システムコントローラ２３からの指示に応じて、ズームレンズ１４の位置を変更することにより、光学系１１の画角を変更してもよい。

ＬＣＵ１３は、交換レンズ２に関する種々の情報（光学特性情報）をメモリに保持する。ＬＣＵ１３は、例えば、光学特性情報として、交換レンズ２の機種名、焦点距離、ズーム位置の数（ズームレンズ１４を停止可能な位置の数）、射影方式、及び光学系１１の現在の設定を示す情報等をメモリに保持する。ＬＣＵ１３は、システムコントローラ２３からの指示に応じて、メモリに記憶されている光学特性情報をカメラ本体３に供給する。

カメラ本体３は、撮像素子２１、ブレ補正部２２、システムコントローラ２３、ブレ補正マイクロコンピュータ（マイコン）２４、ジャイロセンサ２５、電子ビューファインダ（ＥＶＦ）２６、記録媒体２７、及び操作部２８を備える。

撮像素子２１は、光を光電変換し電荷を蓄える画素が複数配列されて構成された撮像面を備える。撮像素子２１は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子２１は、光学系１１によって撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子２１は、アナログ電気信号である画像信号をディジタル信号である画像データに変換して出力する。

ブレ補正部２２は、ブレ補正マイコン２４で生成される駆動信号に応じて撮像素子２１の撮像面を光学系１１の光軸と直交する面内で移動させることにより、撮像装置１の姿勢変化に伴って生じる撮像面上の被写体像のブレを補正する。

システムコントローラ２３は、例えばＣＰＵ、及びメモリなどを含み、カメラ本体３の動作を制御するコントローラである。例えば、システムコントローラ２３は、撮像素子２１で得られた画像データを読み出し、読み出した画像データに対して表示や記録に必要な各種の画像処理を施す。また、システムコントローラ２３は、交換レンズ２のＬＣＵ１３に対し、露出調整のための絞りの駆動やピント調整のためのレンズの駆動を指示する。また、システムコントローラ２３は、ＥＶＦ２６における画像表示の制御、記録媒体２７への画像ファイルの記録の制御、操作部２８の操作に従って動作モードを切り替える制御、及び撮影動作の開始又は終了の制御などを行う。

また、システムコントローラ２３は、交換レンズ２から光学特性情報を取得する。例えば、システムコントローラ２３は、起動時、及び／または定期的に交換レンズ２から光学特性情報を取得することにより、交換レンズ２の光学特性を逐次認識する。システムコントローラ２３は、取得した光学特性情報をブレ補正マイコン２４に入力する。

また、システムコントローラ２３は、第１の射影変換部３１、合成部３２、及び第２の射影変換部３３を備える。

第１の射影変換部３１は、撮像素子２１から読み出した画像データの射影方式を変換する射影変換を行う。第１の射影変換部３１は、第１の射影画像（ここでは中心射影画像）を、光学系１１への光の入射角の変化量に対する撮像面上での像高の変化量のばらつきが第１の射影画像よりも小さい第２の射影方式（ここでは等距離射影画像）である第２の射影画像に変換する。即ち、第１の射影変換部３１は、撮像素子２１から読み出した画像データを、光軸中心における入射角の変化量に対する像高の変化量と、光軸中心から離れた位置における入射角の変化量に対する像高の変化量と、の差がより小さい射影方式の画像データに変換する。具体的には、第１の射影変換部３１は、撮像素子２１から読み出した中心射影方式の画像データを等距離射影方式の画像データに変換する。

合成部３２は、第１の射影変換部３１により射影方式が変換された複数の画像データを合成し、合成画像を取得する。例えば、合成部３２は、第１の射影変換部３１により等距離射影方式に変換された複数の画像データを合成し、等距離射影方式の合成画像を取得する。

第２の射影変換部３３は、合成部３２により合成された合成画像の射影方式を変換する射影変換を行う。第２の射影変換部３３は、合成部３２により合成された合成画像の射影方式をファイル化して記録する射影方式に変換する。例えば、第２の射影変換部３３は、合成部３２により合成された合成画像の射影方式を元の射影方式に戻す。即ち、第２の射影変換部３３は、等距離射影方式の合成画像を元の射影方式である中心射影方式の合成画像に戻す。なお、第２の射影変換部３３は、合成部３２により合成された合成画像の射影方式を元の射影方式ではない他の射影方式に変換する構成であってもよい。

システムコントローラ２３は、第１の射影変換部３１、合成部３２、及び第２の射影変換部３３により像ブレ防止処理としての広角長秒撮影を行う。広角長秒撮影を行う場合、システムコントローラ２３は、撮像素子２１による露光結果に基づいて適正露出が得られる適正露光時間を認識し、適正露光時間よりも短い露光時間で連続して複数枚の画像データを取得する連写を行う。システムコントローラ２３は、連写により得られた複数枚の画像データの射影方式を第１の射影変換部３１により射影変換する。システムコントローラ２３は、第１の射影変換部３１により射影変換した複数枚の画像データを合成して合成画像を取得する。システムコントローラ２３は、合成部３２により合成した合成画像を第２の射影変換部３３により射影変換することにより、任意の射影方式の画像データを取得する。

ブレ補正マイコン２４は、像ブレ補正（手ブレ補正）に関する制御を行うマイクロコンピュータである。ブレ補正マイコン２４は、ジャイロセンサ２５から角速度信号を取得し、システムコントローラ２３から交換レンズ２の光学特性情報を取得する。ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいてブレ補正部２２を制御することにより、像ブレを補正する。例えば、ブレ補正マイコン２４は、取得した角速度信号及び光学特性情報に基づいて撮像面上での被写体像の像ブレの方向と像移動量とを算出する。ブレ補正マイコン２４は、算出した像ブレの方向と像移動量とに応じて像ブレを打ち消す方向に撮像面を移動させるようにブレ補正部２２を制御することにより、像ブレを補正する。即ち、ブレ補正マイコン２４は、光学系１１により撮像面上に結像された被写体像と撮像面との位置関係を調整することにより、像ブレを補正する。

ジャイロセンサ２５は、カメラ本体３の姿勢の変化に伴って生じるカメラ本体３の回転運動を角速度信号として検出する。ジャイロセンサ２５は、例えば、撮像素子２１の撮像面の水平方向を軸としたピッチ方向における回転運動、及び撮像面の垂直方向を軸としたヨー方向における回転運動を検出し、角速度信号を生成する。さらに、ジャイロセンサ２５は、光学系１１の光軸を軸としたロール方向における回転運動を検出し、角速度信号を生成する。

ＥＶＦ２６は、種々の画面を表示する。ＥＶＦ２６は、例えば液晶ディスプレイ、または有機ＥＬディスプレイなどの表示装置と、接眼光学系と、を備える。ＥＶＦ２６は、システムコントローラ２３によって生成された画面を表示装置に表示する。これにより、ＥＶＦ２６は、撮像素子２１により撮像された画像、及び設定の為のメニュー画面などを表示装置に表示することができる。なお、ＥＶＦ２６は、上記のようにファインダ接眼部内に設けられた表示装置によって構成されていてもよいし、カメラ本体３に設けられた表示パネルによって構成されていてもよい。

記録媒体２７は、画像ファイルを記録する記録媒体である。記録媒体２７は、例えばメモリカードである。

操作部２８は、ユーザーによって操作される操作部材を備える。例えば、操作部２８は、操作部材としてレリーズボタン、及び動画記録ボタンなどを備える。レリーズボタンは、カメラ本体３による静止画撮影処理を実行させる為のボタンである。また、動画記録ボタンは、カメラ本体３に動画記録処理を実行させる為のボタンである。またさらに、操作部２８は、カメラ本体３の動作モード、または露出制御などの種々の設定を変更する為のボタンを操作部材として備えていてもよい。例えば、操作部２８は、第１の射影変換部３１、合成部３２、及び第２の射影変換部３３による画像合成の実施／非実施の設定を変更する為のボタンを操作部材として備えていてもよい。

次に、ブレ補正マイコン２４の詳細について説明する。図２は、ブレ補正マイコン２４の構成の例を示す図である。図２に示すように、ブレ補正マイコン２４は、アナログデジタル変換器（ＡＤＣ）４１と、基準値減算部４２と、補正量算出部４３と、ブレ補正制御部４４とを備える。図２に示した構成により、撮像面における１方向の像ブレ補正の制御を行うことができる。即ち、ブレ補正マイコン２４は、像ブレ補正を行う方向毎に図２に示す構成を備えることにより、複数の方向の像ブレ補正の制御を行うことができる。ここでは、説明を簡単にするためにブレ補正マイコン２４の１方向の像ブレ補正の制御について説明する。

ＡＤＣ４１は、ジャイロセンサ２５から出力されたアナログの角速度信号をディジタル信号に変換し、ディジタルの角速度を出力する。

基準値減算部４２は、ＡＤＣ４１から出力された角速度信号の値から基準値を減算する。基準値は、カメラ本体３が静止状態であるときの角速度信号の値である。ＡＤＣ４１の出力から基準値を減算することにより、基準値減算部４２は、符号を持った角速度の値を出力する。このとき、角速度の値の符号は、回転方向を示すことになる。

補正量算出部４３は、システムコントローラ２３から供給された光学系１１の光学特性情報と、基準値減算部４２から出力された角速度の値と、に基づいて、カメラ本体３の姿勢変化に伴って生じる撮像面上の被写体像のブレの量である像移動量と、像ブレの方向と、を算出する。例えば、補正量算出部４３は、システムコントローラ２３から供給された光学系１１の光学特性情報に基づいて、対角画角（焦点距離）と射影方式とを認識する。補正量算出部４３は、対角画角と射影方式とに基づいて、入射角の変化に応じた撮像面上での被写体像の像移動量及び像ブレの方向を算出し、算出した像移動量及び像ブレの方向を補正量として出力する。

図３は、上記したような中心射影方式及び等距離射影方式の光学系に光が入射した際の入射角と像高（ここでは光軸中心からの位置）との関係を示す図である。なお、ここでの光軸中心とは、光学系の光軸と交わる撮像素子２１の撮像面上における位置のことを言う。

中心射影方式は、例えば一般的な撮像レンズである。中心射影方式のレンズでは、例えば、光学系の焦点距離をｆとした場合、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・ｔａｎθの関係が成り立つ。この為、中心射影方式では、光軸中心における入射角の変化量に対する像高の変化量よりも、光軸中心から離れた位置における入射角の変化量に対する像高の変化量が大きい。補正量算出部４３は、基準値減算部４２から出力された角速度に基づいて、入射角の変化量であるΔθを算出する。さらに、入射角の変化に伴う像移動量をΔｈとすると、補正量算出部４３は、Δｈ＝ｆ・ｔａｎΔθに基づいて像移動量Δｈを算出する。

等距離射影方式は、例えば所謂魚眼レンズと呼ばれる光学系に用いられる。等距離射影方式のレンズでは、入射角θと像高ｈとが比例する。例えば、光学系１１の焦点距離をｆとした場合、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・θの関係が成り立つ。この為、等距離射影方式では、光軸中心における入射角の変化量に対する像高の変化量と、光軸中心から離れた位置における入射角の変化量に対する像高の変化量とが同じである。即ち、等距離射影方式では、光軸中心における入射角の変化量に対する像高の変化量と、光軸中心から離れた位置における入射角の変化量に対する像高の変化量と、の差が中心射影方式よりも小さい。補正量算出部４３は、基準値減算部４２から出力された角速度に基づいて、入射角の変化量であるΔθを算出する。さらに、入射角の変化に伴う像移動量をΔｈとすると、補正量算出部４３は、Δｈ＝ｆ・Δθに基づいて像移動量Δｈを算出する。

ブレ補正制御部４４は、補正量算出部４３から出力された補正量に応じてブレ補正部２２を制御する。ブレ補正制御部４４は、補正量算出部４３から出力された補正量が示す像移動量及び像ブレの方向に基づいて、被写体像のブレを打ち消すようにブレ補正部２２を動作させる為の駆動信号を生成する。ブレ補正制御部４４は、駆動信号をブレ補正部２２に対して入力することによりブレ補正部２２における像ブレ補正を制御する。駆動信号は、ブレ補正部２２に設けられたモータを駆動するための駆動パルス又はブレ補正部２２による像ブレ補正の目標駆動位置といった情報を含む信号である。

以下、図４乃至図７を用いて本実施形態における撮像処理について説明する。
図４は、広角長秒撮影を行う際の撮像装置１の動作を示すフローチャートである。図５は、露出条件決定処理を行う際の撮像装置１の動作を示すフローチャートである。図６Ａは、中心射影から等距離射影に画像を変換する例について模式的に示す説明図である。図６Ｂは、等距離射影から中心射影に画像を変換する例について模式的に示す説明図である。図７Ａ、図７Ｂ、図７Ｃ、及び図７Ｄは、広角長秒撮影における画像処理について説明する為の説明図である。

カメラ本体３のシステムコントローラ２３は、所定の条件が揃った場合に広角長秒撮影を実行する。例えば、システムコントローラ２３は、光学系１１の焦点距離が広角（例えば所定の焦点距離未満）である場合に図４に示される広角長秒撮影を実行する。なお、図４では、広角長秒撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び撮像素子２１の露光制御などが並行して実行されている。

広角長秒撮影を実行する場合、カメラ本体３のシステムコントローラ２３は、交換レンズ２による自動合焦の制御、及び撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を実行させる。システムコントローラ２３は、撮像素子２１による露光の結果に基づいて、露光時間、及び連写枚数などの露出条件を決定する（ステップＳ１１）。

システムコントローラ２３は、撮像素子２１による露光の結果に基づいて、まず適正露出が得られる露光時間（適正露光時間）を算出する。さらに、システムコントローラ２３は、像ブレを抑えることができる露光時間（許容露光時間）を算出する。システムコントローラ２３は、許容露光時間で露光を行った場合に得られる画像を合成する場合に、適正露出を得る為に必要な合成枚数を算出する。システムコントローラ２３は、合成枚数分の画像を取得するように連写枚数を決定する。

撮像素子２１における露光が完了すると、システムコントローラ２３は、映像の読み出しを行う（ステップＳ１２）。上記したように、光学系１１が中心射影方式で構成されたレンズである場合、システムコントローラ２３は、中心射影方式の画像データ６１を撮像素子２１から取得する。

システムコントローラ２３の第１の射影変換部３１は、ステップＳ１２で取得した中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する（ステップＳ１３）。即ち、第１の射影変換部３１は、中心射影方式の画像データ６１を等距離射影変換する。

図６Ａに示されるように、中心射影方式によると、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・ｔａｎθの関係が成り立つ。また、等距離射影方式によると、像高ｈと焦点距離ｆと入射角θとの間には、ｈ＝ｆ・θの関係が成り立つ。中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する場合、第１の射影変換部３１は、システムコントローラ２３により取得した光学特性情報に基づいて、中心射影方式の画像データ６１の各像点に対応する入射角θを認識する。例えば、第１の射影変換部３１は、光学特性情報が示すズームポジションに応じて、光学系１１の焦点距離を認識する。第１の射影変換部３１は、光学系１１の焦点距離に応じて、各像点に対応する入射角θを認識する。

第１の射影変換部３１は、焦点距離に応じて決まる画像データ６１の対角画角から、各像点に対応する入射角θを算出する。即ち、第１の射影変換部３１は、光学系１１の光学特性情報に基づいて対角画角を取得し、取得した対角画角に基づいて、各像点に対応する入射角θを算出する。

第１の射影変換部３１は、等距離射影変換を行う場合、画像データ６１上の光学系１１の光軸中心の位置を中心として各像点の座標を変換する。例えば、図６Ａに示されるように、第１の射影変換部３１は、中心射影方式の画像データ６１においてｈ＝ｆ・ｔａｎθの位置にある各像点をｆ・θの位置に座標変換することにより、中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する。

なお、第１の射影変換部３１は、中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換するのではなく、中心射影方式の画像データ６１を他の射影方式の画像データに変換する構成であってもよい。

システムコントローラ２３は、連写が終了したか否か判断する（ステップＳ１４）。例えば、システムコントローラ２３は、ステップＳ１１で決定した連写枚数分だけ連写を行ったか否か判断する。連写が終了していないと判断した場合（ステップＳ１４、ＮＯ）、システムコントローラ２３は、ステップＳ１２の処理に移行する。これにより、システムコントローラ２３は、ステップＳ１１で決定した連写枚数分だけ連写を行うまでステップＳ１２乃至Ｓ１４の処理を繰り返す。

上記のステップＳ１２乃至ステップＳ１４の処理を繰り返し実行することにより、システムコントローラ２３は、図７Ａに示されるように複数の中心射影の画像データ６１を取得する。また、システムコントローラ２３は、複数の中心射影の画像データ６１をそれぞれ等距離射影変換することにより、図７Ｂに示されるように複数の等距離射影の画像データ６２を取得する。

ステップＳ１４で連写が終了したと判断した場合（ステップＳ１４、ＹＥＳ）、システムコントローラ２３の合成部３２は、画像合成を行って合成画像６３を取得する（ステップＳ１５）。システムコントローラ２３は、ステップＳ１３で変換された複数の等距離射影の画像データ６２を合成して図７Ｃに示される１枚の合成画像６３を取得する。システムコントローラ２３は、例えば、複数の画像データ６２の間でパターンマッチング等の画像合成技術を用いることによって位置合わせをした上で合成する。具体的には、システムコントローラ２３は、位置合わせを行った複数の画像データ６２を加算合成することにより、等距離射影の合成画像６３を取得する。

さらに、システムコントローラ２３の合成部３２は、合成画像６３をトリミングする（ステップＳ１６）。例えば、システムコントローラ２３は、複数の画像データ６２の全てが重なった領域を合成画像６３上に切り出し領域６４として設定し、設定した切り出し領域６４をトリミングする。また、切り出し領域６４は、予め設定される構成であってもよい。切り出し領域６４は、中心が光学系１１の光軸と重なるものであれば、どのように設定されるものであってもよい。

システムコントローラ２３の第２の射影変換部３３は、ステップＳ１６でトリミングした等距離射影方式の合成画像６３を中心射影方式の画像データ６５に変換し（ステップＳ１７）、広角長秒撮影を終了する。即ち、第２の射影変換部３３は、図７Ｄに示されるように、等距離射影方式の合成画像６３を元の射影方式である中心射影方式に変換することにより、適正露光時間より短い露光時間で、適正な露出の画像データ６５を得ることができる。

等距離射影方式の合成画像６３を中心射影方式の画像データ６５に変換する場合、第２の射影変換部３３は、等距離射影方式の合成画像６３の各像点に対応する入射角θを認識する。第２の射影変換部３３は、合成画像６３上の光学系１１の光軸中心の位置を中心として各像点の座標を変換する。例えば、図６Ｂに示されるように、第２の射影変換部３３は、等距離射影方式の合成画像６３においてｈ＝ｆ・θの位置にある各像点をｆ・ｔａｎθの位置に座標変換することにより、等距離射影方式の合成画像６３を中心射影方式の画像データ６５に変換する。

システムコントローラ２３は、上記の処理によって得られた画像データ６５を記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成する。システムコントローラ２３は、画像ファイルを記録媒体２７に記録する。

次に、図５を用いて露出条件決定処理について説明する。
まず、システムコントローラ２３は、ＡＥ制御により、適正露出が得られる、撮像素子２１の感度、露光時間、及び絞り値を決定する（ステップＳ２１）。システムコントローラ２３は、撮像素子２１による露光の結果に基づいて、感度、露光時間、及び絞り値を決定する。即ち、システムコントローラ２３は、撮像素子２１による露光の結果を露出条件決定処理用の参照画像として撮像素子２１から取得し、参照画像に基づいて感度、露光時間、及び絞り値を決定する。露出条件は、手ブレ補正が有効か否かによって異なる。

なお、システムコントローラ２３は、撮像素子２１の感度、露光時間、及び絞り値のうちのいずれかまたは複数がマニュアル操作によって指定されている場合、指定された値に決定する。例えば、システムコントローラ２３は、露光時間が指定されている場合、指定された露光時間に対応した感度及び絞り値を決定する。また、システムコントローラ２３は、絞り値が指定されている場合、指定された絞り値に対応した感度及び露光時間を決定する。

システムコントローラ２３は、手ブレ補正が有効かを判断する（ステップＳ２２）。即ち、システムコントローラ２３は、ブレ補正マイコン２４及びブレ補正部２２による像ブレ補正を行う設定になっているか否か判断する。

ステップＳ２２で手ブレ補正が有効であると判断した場合（ステップＳ２２、ＹＥＳ）、システムコントローラ２３は、水平画角誤差量を算出する（ステップＳ２３）。水平画角誤差量は、画角の中心における像移動量と画角の周辺（例えば縁部）における像移動量との水平方向での差である。システムコントローラ２３は、例えば、光学系１１の焦点距離をｆとし、入射角のブレ量をΔθとした場合、入射角θの像点における水平画角誤差量をｆｔａｎ（θ＋Δθ）―ｆｔａｎΔθに基づいて算出する。例えば、システムコントローラ２３は、参照画像から水平画角誤差量を算出する。この差分は、中心射影方式の光学系１１により結像された被写体像のブレ量に応じた像移動量が、画角の中心と画角の周辺とで異なることに起因するブレ補正部２２によるブレ補正のブレ残りである。

システムコントローラ２３は、水平画角誤差量と、光学系１１の焦点距離と、基準ブレ量と、に基づいて、許容露光時間を算出する（ステップＳ２４）。許容露光時間は、水平画角誤差量が基準ブレ量以下になる露光時間である。基準ブレ量は、例えば手持ち撮影時の標準的なブレ量であり、例えば１ピクセル以下であってもよいし、撮影モードに応じたピクセル数であってもよい。例えば、システムコントローラ２３は、ステップＳ２３において比較に用いた参照画像の露光時間を認識し、露光時間に応じたブレ量を認識する。システムコントローラ２３は、露光時間に応じたブレ量を逆算することにより、ブレ量が基準ブレ量以下になる露光時間を許容露光時間として算出する。

また、ステップＳ２２で手ブレ補正が有効ではないと判断した場合（ステップＳ２２、ＮＯ）、システムコントローラ２３は、光学系１１の焦点距離に基づいて許容露光時間を推定する（ステップＳ２５）。一般的に３５ｍｍ判換算の焦点距離をｆとした場合に１／ｆよりも短い露光時間であれば手ブレが発生しないとされている。例えば、システムコントローラ２３は、光学系１１の焦点距離に基づいて１／ｆを許容露光時間として推定する。また、例えば、システムコントローラ２３は、光学系１１の焦点距離に基づいて１／（２・ｆ）を許容露光時間として推定する構成であってもよい。少なくとも、システムコントローラ２３は、光学系１１の焦点距離に基づいて許容露光時間を推定する構成であれば如何なる構成であってもよい。

システムコントローラ２３は、許容露光時間を算出または推定すると、撮影枚数を決定する（ステップＳ２６）。例えば、システムコントローラ２３は、許容露光時間で取得した画像を何枚合成すれば適正露出が得られるか判断する。例えば、合成手法が加算合成である場合、システムコントローラ２３は、適正露光時間を許容露光時間で割った数を撮影枚数として決定する。なお、適正露光時間が許容露光時間で割り切れない場合、システムコントローラ２３は、切り上げして画像の露出を画像処理によって下げる、または切り下げして画像の露出を画像処理によってあげる。

以上のステップＳ２１乃至Ｓ２６の処理によって、システムコントローラ２３は、露光時間、及び連写枚数などの露出条件を決定する。

上記したように、撮像装置１は、複数枚の画像の合成を行う場合、取得した第１の射影方式の画像データを、光軸中心における入射角の変化量に対する像高の変化量と、光軸中心から離れた位置における入射角の変化量に対する像高の変化量と、の差がより小さい第２の射影方式の画像データに変換する。撮像装置１は、第２の射影方式の複数の画像データを位置合わせして合成して第２の射影方式の合成画像を生成し、合成画像を第１の射影方式または他の射影方式の画像データに変換する。これにより、等距離射影方式以外の光学系が用いられた場合であっても、複数の画像データの位置合わせを行う場合に生じる被写体像の位置の差を低減することができる。この結果、撮像装置１は、適切に画像合成を行うことができる。

なお、ブレ補正部２２によるブレ補正を行いつつ連写を行った場合、１つ前の画像の撮像時に撮像面が移動している可能性がある。この為、露光開始時に撮像面の中心と光学系１１の光軸中心とが一致しない場合がある。この為、第１の射影変換部３１は、中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する前に、中心射影方式の画像データ６１上での光学系１１の光軸中心の位置を画像データ６１の画角の中心に変換する光軸中心変換を行う。この場合、第１の射影変換部３１は、光軸中心変換機能を内包する。

第１の射影変換部３１は、センサシフト方式のブレ補正による撮像面の移動量を算出することによって、光学系１１の光軸中心の移動位置を算出する。センサシフト方式のブレ補正では、手ブレに伴う角度変化により生じる像の移動を打ち消すように、撮像面を移動させる。この為、撮像面の移動に応じて撮像面上での光学系１１の光軸中心の位置が移動する。第１の射影変換部３１は、各画像データ６１の撮像時の撮像面の移動量に基づいて画像データ６１上での光学系１１の光軸中心の位置を算出する。

第１の射影変換部３１は、画角の中心と光学系１１の光軸の中心とがずれた画像データ６１を、画角の中心と光学系１１の光軸の中心とが一致した画像データ６１に変換する光軸中心変換を行なう。

例えば、撮像面上でＸ方向（水平方向）への角度ずれをθｘとし、Ｙ方向（垂直方向）への角度ずれをθｙとし、画像データ６１の中心を（０，０）とする。ここで、水平方向にΔθｘ、垂直方向にΔθｙの角度変化が生じた場合、光学系１１の光軸の中心は、画角内の（Δθｘ、Δθｙ）に移動する。

第１の射影変換部３１は、光学系１１の光軸の中心を撮影視野で切り出された画像の中心になるように座標変換を行う。例えば、第１の射影変換部３１は、光学系１１の光軸の中心を画像のＸ方向及びＹ方向の中心に変換する。この場合、第１の射影変換部３１は、像点（Δθｘ、Δθｙ）を光軸中心（０，０）として、座標（ｆ・ｔａｎθｘ，ｆ・ｔａｎθｙ）の像点を座標（ｆ・ｔａｎ（θｘ−Δθｘ），ｆ・ｔａｎ（θｙ−Δθｙ）に移動する。

上記の処理により、第１の射影変換部３１は、画角の中心と光学系１１の光軸の中心とがずれた画像を、画角の中心と光学系１１の光軸の中心とが一致した画像に変換する。なお、第１の射影変換部３１による光軸中心変換は、上記した方法に限られるものではない。第１の射影変換部３１は、如何なる方法で光軸中心変換を行う構成であってもよい。

また、第１の射影変換部３１が第１の画像データ６１に対して光軸中心変換を行うのではなく、合成部３２が画像合成の前に第２の画像データ６２に対して光軸中心変換を行う構成であってもよい。この場合、合成部３２は、光軸中心変換機能を内包する。

このような構成によると、撮像装置１のシステムコントローラ２３は、露光開始時に既に撮像素子２１の撮像面がシフトされている場合、撮像された画像データにおいて光学系１１の光軸中心と重なる座標を特定し、特定した座標を画像データの画角の中心に変換する光軸中心変換を行った上で中心射影方式の画像データを等距離射影方式の画像データに変換する。これにより、撮像装置１は、露光開始時に既に撮像素子２１の撮像面がシフトされている場合であっても、適切に画像合成を行うことができる。

また、上記のように、連写によるブレの抑制と、撮像面のシフトによるブレの抑制とを併用することにより、画像合成の負荷を軽減し、且つ画像合成の精度を向上させることができる。

なお、第１の射影変換部３１によるステップＳ１３の処理、または第２の射影変換部３３によるステップＳ１８の処理が実行されることにより画像データが引き伸ばされる可能性がある。この為、第１の射影変換部３１及び第２の射影変換部３３は、引き伸ばされた画像データのシャープネスを調整する、または再サンプリングなどの既知の手法によって引き伸ばしに伴う画像の劣化を補正する構成であってもよい。

なお、上記の例では、撮像装置１は、撮像素子２１の撮像面をブレ補正部２２によりシフトさせることにより像ブレ補正を行う構成として説明したが、この構成に限定されない。撮像装置１は、補正光学系を備える交換レンズ２がカメラ本体３に装着されている場合、補正光学系を駆動することにより撮像面上の被写体像の位置を移動させることにより像ブレ補正するレンズシフト方式の構成であっても本発明を適用することができる。

（第２の実施形態）
以下図８乃至図１０を用いて第２の実施形態に係る撮像装置１Ａの例について説明する。なお、第１の実施形態に係る撮像装置１と同様の構成については同じ参照符号を付し、その詳細な説明を省略する。

図８は、撮像装置１Ａの構成例を示す。撮像装置１Ａは、電子式ブレ補正を行うレンズ交換型カメラである。撮像装置１Ａは、レンズ２及びカメラ本体３Ａを備える。カメラ本体３Ａは、撮像素子２１、システムコントローラ２３Ａ、ＥＶＦ２６、記録媒体２７、及び操作部２８を備える。即ち、カメラ本体３Ａは、カメラ本体３に対してブレ補正部２２、ブレ補正マイコン２４、及びジャイロセンサ２５を備えていない。

システムコントローラ２３Ａは、システムコントローラ２３と同様に、例えばＣＰＵ、及びメモリなどを含み、撮像装置１Ａの動作を制御するコントローラである。システムコントローラ２３Ａは、撮像素子２１による露光の制御、画像データの読み出し、及び読み出した画像データに対する画像処理を行う。システムコントローラ２３Ａは、第１の射影変換部３１Ａ、合成部３２Ａ、第２の射影変換部３３Ａ、ブレ検出部３４Ａ、及びブレ補正部３５Ａを備える。

ブレ検出部３４Ａは、連続して取得した複数の画像データに基づいて、撮像装置１の姿勢変化に伴う像移動量を検出する。例えば、ブレ検出部３４Ａは、連続して取得した複数の画像データからパターンマッチングにより移動ベクトルを検出することにより像移動量を検出する。

ブレ補正部３５Ａは、検出された像移動量に基づいて、撮像素子２１により取得した画像データにおける有効領域を特定する。有効領域は、画像データのファイルとして残す領域を示す。ブレ補正部３５Ａは、有効領域内の画像を画像データ６１として切り出す。

例えば、ブレ補正部３５Ａは、補正を行わない場合、即ち像移動量が無い場合に有効領域の中心（画角の中心）と光学系１１の光軸中心とが一致した有効領域を設定する。さらに、ブレ補正部３５Ａは、像移動量に応じて有効領域を移動させる。具体的には、ブレ補正部３５Ａは、像が移動した方向及び長さと同じ方向及び長さで有効領域を移動させる。これにより、ブレ補正部３５Ａは、連続して取得した複数の画像データ６１における被写体像の位置のブレに伴う変化を抑えることができる。さらに、ブレ補正部３５Ａは、ブレ検出部３４Ａから供給された像移動量を露光開始から累積して計算することによって、各画像データ６１の画角の中心と、光学系１１の光軸中心とのずれを認識する。

第１の射影変換部３１Ａは、ブレ補正部３５Ａによって設定された撮像素子２１の有効領域から読み出した画像データ６１の射影方式を変換する射影変換を行う。第１の射影変換部３１Ａは、射影変換処理を行う場合、画像データ６１上における光学系１１の光軸中心の位置を特定し、特定した光軸中心を中心として中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する。

合成部３２Ａは、第１の射影変換部３１Ａにより射影方式が変換された複数の画像データ６２を合成し、合成画像６３を取得する。例えば、合成部３２Ａは、第１の射影変換部３１により等距離射影方式に変換された複数の画像データ６２を合成し、等距離射影方式の合成画像６３を取得する。

第２の射影変換部３３Ａは、合成部３２Ａにより合成された合成画像６３の射影方式を変換する射影変換を行う。第２の射影変換部３３Ａは、合成部３２Ａにより合成された合成画像６３の射影方式をファイル化して記録する射影方式に変換する。例えば、第２の射影変換部３３Ａは、合成部３２Ａにより合成された合成画像６３の射影方式を元の射影方式に戻す。即ち、第２の射影変換部３３Ａは、等距離射影方式の合成画像６３を元の射影方式である中心射影方式に戻す。なお、第２の射影変換部３３Ａは、合成部３２Ａにより合成された合成画像の射影方式を元の射影方式ではない他の射影方式に変換する構成であってもよい。

システムコントローラ２３Ａは、第１の射影変換部３１Ａ、合成部３２Ａ、及び第２の射影変換部３３Ａにより像ブレ防止処理としての広角長秒撮影を行う。広角長秒撮影を行う場合、システムコントローラ２３Ａは、撮像素子２１による露光結果に基づいて適正露出が得られる適正露光時間を認識し、適正露光時間よりも短い露光時間で連続して複数枚の画像データ６１を取得する連写を行う。システムコントローラ２３Ａは、連写により得られた複数枚の画像データ６１の射影方式を第１の射影変換部３１Ａにより射影変換する。システムコントローラ２３Ａは、第１の射影変換部３１Ａにより射影変換した複数枚の画像データ６２を合成して合成画像６３を取得する。システムコントローラ２３は、合成部３２により合成した合成画像６３を第２の射影変換部３３により射影変換することにより、任意の射影方式の画像データ６５を取得する。

図９は、広角長秒撮影を行う際の撮像装置１Ａの動作を示すフローチャートである。図１０は、露出条件決定処理を行う際の撮像装置１Ａの動作を示すフローチャートである。

カメラ本体３Ａのシステムコントローラ２３Ａは、所定の条件が揃った場合に広角長秒撮影を実行する。例えば、システムコントローラ２３Ａは、光学系１１の焦点距離が広角（例えば所定の焦点距離未満）である場合に図９に示される広角長秒撮影を実行する。なお、図９では、広角長秒撮影に関する動作について示しているが、手ブレ補正に関わる制御、及び撮像素子２１の露光制御などが並行して実行されている。

広角長秒撮影を実行する操作が行われた場合、カメラ本体３Ａのシステムコントローラ２３Ａは、交換レンズ２による自動合焦の制御、及び撮像素子２１による露光制御などの制御を行うことにより、撮像素子２１により露光を実行させる。システムコントローラ２３Ａは、撮像素子２１による露光の結果に基づいて、露光時間、及び連写枚数などの露出条件を決定する（ステップＳ３１）。

撮像素子２１における露光が完了すると、システムコントローラ２３は、映像の読み出しを行う（ステップＳ３２）。上記したように、光学系１１が中心射影方式で構成されたレンズである場合、システムコントローラ２３Ａは、中心射影方式の画像データ６１を撮像素子２１から取得する。

システムコントローラ２３Ａの第１の射影変換部３１Ａは、連続して取得した複数の画像データ６１に基づいて、撮像装置１の姿勢変化に伴う像移動量を検出する（ステップＳ３３）。例えば、第１の射影変換部３１Ａは、連続して取得した複数の画像データからパターンマッチングにより移動ベクトルを検出することにより像移動量を検出する。

システムコントローラ２３Ａの第１の射影変換部３１Ａは、ステップＳ３２で取得した中心射影方式の画像データ６１に対して、ステップＳ３３で検出された像移動量に基づいて上記のように説明した光軸中心変換を行う（ステップＳ３４）。なお、第１の射影変換部３１Ａは、撮像面上の有効領域を設定する為にブレ検出部３４Ａによって検出された像移動量を光軸中心変換に用いる構成であってもよい。この場合、ステップＳ３３の処理を省略することができる。

システムコントローラ２３Ａの第１の射影変換部３１Ａは、ステップＳ３４で光軸中心変換を行った中心射影方式の画像データ６１を等距離射影方式の画像データ６２に変換する射影変換を行う（ステップＳ３５）。

システムコントローラ２３Ａは、連写が終了したか否か判断する（ステップＳ３６）。例えば、システムコントローラ２３Ａは、ステップＳ３１で決定した連写枚数分だけ連写を行ったか否か判断する。連写が終了していないと判断した場合（ステップＳ３６、ＮＯ）、システムコントローラ２３Ａは、ステップＳ３２の処理に移行する。これにより、システムコントローラ２３Ａは、ステップＳ３１で決定した連写枚数分だけ連写を行うまでステップＳ３２乃至Ｓ３５の処理を繰り返す。

ステップＳ３６で連写が終了したと判断した場合（ステップＳ３６、ＹＥＳ）、システムコントローラ２３Ａの合成部３２Ａは、第１の実施形態と同様の方法によって画像合成を行って合成画像６３を取得する（ステップＳ３７）。

さらに、システムコントローラ２３Ａの合成部３２Ａは、合成画像６３をトリミングする（ステップＳ３８）。

システムコントローラ２３Ａの第２の射影変換部３３Ａは、ステップＳ３８でトリミングした等距離射影方式の合成画像６３を中心射影方式の画像データ６５に変換し（ステップＳ３９）、広角長秒撮影を終了する。即ち、第２の射影変換部３３は、等距離射影方式の合成画像６３を元の射影方式である中心射影方式に変換することにより、適正露光時間より短い露光時間で、適正な露出の画像データ６５を得ることができる。

システムコントローラ２３Ａは、上記の処理によって得られた画像データ６５を記録用の画像フォーマットに変換することによって、記録用の画像ファイルを生成する。システムコントローラ２３Ａは、画像ファイルを記録媒体２７に記録する。

次に、図１０を用いて露出条件決定処理について説明する。
まず、システムコントローラ２３Ａは、図５のステップＳ２１と同様に、ＡＥ制御により、撮像素子２１の感度、露光時間、及び絞り値を決定する（ステップＳ４１）。

システムコントローラ２３Ａは、図５のステップＳ２５と同様に、光学系１１の焦点距離に基づいて許容露光時間を推定する（ステップＳ４２）。

システムコントローラ２３Ａは、図５のステップＳ２６と同様に、許容露光時間を推定すると、撮影枚数を決定する（ステップＳ４３）。

以上のステップＳ４１乃至Ｓ４３処理によって、システムコントローラ２３Ａは、露光時間、及び連写枚数などの露出条件を決定する。

上記した構成によっても、第１の実施形態と同様に、撮像装置１Ａは、連写によるブレの抑制と、撮像面のシフトによるブレの抑制とを併用することにより、画像合成の負荷を軽減し、且つ画像合成の精度を向上させることができる。

（第３の実施形態）
以下図１１を用いて第３の実施形態に係る撮像装置１Ｂの例について説明する。なお、第１の実施形態に係る撮像装置１と同様の構成については同じ参照符号を付し、その詳細な説明を省略する。

図１１は、撮像装置１Ｂの構成例を示す。撮像装置１Ｂは、電子式ブレ補正を行うレンズ交換型カメラである。撮像装置１Ｂは、レンズ２及びカメラ本体３Ｂを備える。カメラ本体３Ｂは、撮像素子２１、システムコントローラ２３Ｂ、ジャイロセンサ２５、ＥＶＦ２６、記録媒体２７、及び操作部２８を備える。即ち、カメラ本体３Ｂは、カメラ本体３に対してブレ補正部２２、及びブレ補正マイコン２４を備えていない。

システムコントローラ２３Ｂは、システムコントローラ２３と同様に、例えばＣＰＵ、及びメモリなどを含み、撮像装置１Ｂの動作を制御するコントローラである。システムコントローラ２３Ｂは、撮像素子２１による露光の制御、画像データの読み出し、及び読み出した画像データに対する画像処理を行う。システムコントローラ２３Ｂは、第１の射影変換部３１Ｂ、合成部３２Ｂ、像移動量検出部３６Ｂ、及び光軸中心変換部３７Ｂを備える。

像移動量検出部３６Ｂは、ジャイロセンサ２５から供給される角速度信号、光学系１１の焦点距離、及び光学系１１の射影方式などを示す光学特性情報に基づいて撮像素子２１の撮像面上における被写体像の像移動量を検出する。例えば、像移動量検出部３６Ｂは、角速度信号が示す撮像素子２１の撮像面の垂直方向を軸としたヨー方向における回転運動の量に応じて、撮像面上における被写体像の水平方向の像移動量を検出する。また、像移動量検出部３６Ｂは、角速度信号が示す撮像素子２１の撮像面の水平方向を軸としたピッチ方向における回転運動の量に応じて、撮像面上における被写体像の垂直方向の像移動量を検出する。また、像移動量検出部３６Ｂは、角速度信号が示す光学系１１の光軸を軸としたロール方向における回転運動の量に応じて、撮像面上における被写体像のロール方向の像回転量を検出する。

第１の射影変換部３１Ｂは、画像データ６１の射影方式を変換する射影変換を行う。第１の射影変換部３１Ｂは、画像データ６１における光学系１１の光軸中心の位置を例えば像移動距離に基づいて特定し、特定した光軸中心を中心として画像データ６１を等距離射影方式の画像データ６２に変換する。

光軸中心変換部３７Ｂは、像移動量検出部３６Ｂにより算出された像移動量に基づいて画像データ６２における光軸中心を移動する光軸中心変換を行う。画像データ６２が等距離射影である為、光軸中心変換部３７Ｂは、焦点距離から求められる画角から、角度変化に換算した座標を求める。光軸中心変換の方法は、第２の実施形態と同様の方法である。

合成部３２Ｂは、光軸中心変換部３７Ｂにより光軸中心変換が行われた複数の画像データ６２の光軸中心を合わせた状態で加算合成し、合成画像６３を取得する。合成部３２Ｂは、合成画像６３を所定の画角で切り出す。

第２の射影変換部３３Ｂは、合成部３２Ｂにより合成された合成画像６３の射影方式を変換する射影変換を行う。第２の射影変換部３３Ｂは、合成部３２Ｂにより合成された合成画像６３の射影方式をファイル化して記録する射影方式に変換する。例えば、第２の射影変換部３３Ｂは、合成部３２Ｂにより合成された合成画像６３の射影方式を元の射影方式に戻す。即ち、第２の射影変換部３３Ｂは、等距離射影方式の合成画像６３を元の射影方式である中心射影方式に戻す。なお、第２の射影変換部３３Ｂは、合成部３２Ｂにより合成された合成画像の射影方式を元の射影方式ではない他の射影方式に変換する構成であってもよい。

上記した構成によると、撮像装置１Ｂは、ジャイロセンサ２５から供給される角速度信号に基づいて算出された像移動量に基づいて、第１の射影変換部３１Ｂによる射影変換、及び光軸中心変換部３７Ｂによる光軸中心変換を行う。これにより、例えば、被写体が暗いなどの原因により参照画像がローコントラストである場合であっても、撮像装置１Ｂは、適切に射影変換、及び光軸中心変換を行うことができる。

なお、上記した実施形態では、撮像装置１は、画像の合成として、手ブレ抑制の為の連写画像の合成を例に挙げて説明したが、この構成に限定されない。撮像装置１は、複数回の撮像動作によって得られた複数の画像を重ね合わせて合成するものであれば、如何なる画像合成に本発明を適用してもよい。例えば、撮像装置１は、露出の異なる複数の画像を取得して合成するＨＤＲ処理、または多重露出などに本願の構成を適用してもよい。

また、上記の実施形態では、撮像装置１のシステムコントローラ２３は、光学系１１の焦点距離が広角（例えば所定の焦点距離未満）である場合に図４に示される広角長秒撮影を実行する構成として説明したが、この構成に限定されない。システムコントローラ２３は、広角長秒撮影を行う設定になっているか否か、焦点距離が閾値未満か否か、露光時間が閾値以上か否か、及び予測されるブレ量が閾値以上か否かなどの種々の条件に基づいて、広角長秒撮影を行うか否か判断する構成であってもよい。また、システムコントローラ２３は、これらの条件の全てが満たされた場合、またはこの中の任意の条件が満たされた場合に広角長秒撮影を行う構成であってもよい。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…撮像装置、２…交換レンズ、３…カメラ本体、１１…光学系、１２…変倍部、１３…レンズコントロールユニット、１４…ズームレンズ、２１…撮像素子、２２…ブレ補正部、２３…システムコントローラ、２４…ブレ補正マイクロコンピュータ、２５…ジャイロセンサ、２６…電子ビューファインダ、２７…記録媒体、２８…操作部、３１…第１の射影変換部、３２…合成部、３３…第２の射影変換部、３４Ａ…ブレ検出部、３５Ａ…ブレ補正部、３６Ｂ…像移動量検出部、３７Ｂ…光軸中心変換部、４１…アナログデジタル変換器、４２…基準値減算部、４３…補正量算出部、４４…ブレ補正制御部。

Claims (18)

1. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、
   前記撮像面に、中心射影方式である第１の射影方式の被写体像を結像させる撮影光学系と、
   前記撮像素子により前記被写体像に応じた第１の射影画像を複数取得する撮像制御部と、
   複数の前記第１の射影画像を、前記撮影光学系への光の入射角の変化量に対する前記撮像面上での像高の変化量のばらつきが前記第１の射影画像よりも小さい、等距離射影方式である第２の射影方式の画像である複数の第２の射影画像にそれぞれ変換する第１の射影変換部と、
   複数の前記第２の射影画像を合成して合成画像を取得する合成部と、
   前記合成画像を前記第２の射影方式とは異なる射影方式の画像に変換する第２の射影変換部と、
   を具備する撮像装置。
2. 前記合成部は、複数の前記第２の射影画像の位置合わせを行った上で合成する請求項１に記載の撮像装置。
3. 前記被写体像の像移動量に基づいて前記第１の射影画像または前記第２の射影画像に対して画角の中心と前記撮影光学系の光軸中心とを合わせる光軸中心変換を行う光軸中心変換部をさらに具備する請求項１または２に記載の撮像装置。
4. 前記第２の射影変換部は、前記合成画像を第１の射影方式の画像に戻す請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像制御部は、予め設定された基準に沿った適正露出の画像を得る為の適正露光時間を算出し、前記適正露光時間よりも短い露光時間で複数の前記第１の射影画像を取得し、
   前記合成部は、前記複数の前記第２の射影画像を加算合成する、
   請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像制御部は、前記被写体像の像移動量に基づいてブレ量が基準未満に収まる許容露光時間を算出し、前記適正露光時間を前記許容露光時間で割ることにより取得する前記第１の射影画像の枚数を決定する請求項５に記載の撮像装置。
7. 前記撮像制御部は、前記撮影光学系の焦点距離に基づいてブレ量が基準未満に収まる許容露光時間を算出し、前記適正露光時間を前記許容露光時間で割ることにより取得する前記第１の射影画像の枚数を決定する請求項５に記載の撮像装置。
8. 前記被写体像の像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整するブレ補正部をさらに具備する請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記像移動量は、角速度センサの検出に基づいて算出される請求項３、６、及び８のいずれか１項に記載の撮像装置。
10. 前記像移動量は、複数の前記第１の射影画像の間の差分に基づいて算出される請求項３、６、及び８のいずれか１項に記載の撮像装置。
11. 光を電気信号に変換する画素が配列された撮像面を備える撮像素子と、中心射影方式である第１の射影方式の被写体像を前記撮像面に結像させる撮影光学系と、を具備する撮像装置の制御方法であって、
    前記撮像素子により前記被写体像に応じた第１の射影画像を複数取得し、
    複数の前記第１の射影画像を、前記撮影光学系への光の入射角の変化量に対する前記撮像面上での像高の変化量のばらつきが前記第１の射影画像よりも小さい、等距離射影方式である第２の射影方式の画像である複数の第２の射影画像にそれぞれ変換し、
    複数の前記第２の射影画像を合成して合成画像を取得し、
    前記合成画像を前記第２の射影方式とは異なる射影方式の画像に変換する、
    撮像装置の制御方法。
12. 複数の前記第２の射影画像の位置合わせを行った上で前記合成を行う請求項１１に記載の撮像装置の制御方法。
13. 前記被写体像の像移動量に基づいて前記第１の射影画像または前記第２の射影画像に対して画角の中心と前記撮影光学系の光軸中心とを合わせる光軸中心変換を行う請求項１１または１２に記載の撮像装置の制御方法。
14. 前記合成画像を元の射影方式である前記第１の射影方式の画像に戻す請求項１１乃至１３のいずれか１項に記載の撮像装置の制御方法。
15. 予め設定された基準に沿った適正露出の画像を得る為の適正露光時間を算出し、前記適正露光時間よりも短い露光時間で複数の前記第１の射影画像を取得し、取得した複数の前記第１の射影画像を複数の前記第２の射影画像にそれぞれ変換し、前記複数の前記第２の射影画像を加算合成する請求項１１乃至１４のいずれか１項に記載の撮像装置の制御方法。
16. 前記被写体像の像移動量に基づいてブレ量が基準未満に収まる許容露光時間を算出し、前記適正露光時間を前記許容露光時間で割ることにより取得する前記第１の射影画像の枚数を決定する請求項１５に記載の撮像装置の制御方法。
17. 前記撮影光学系の焦点距離に基づいてブレ量が基準未満に収まる許容露光時間を算出し、前記適正露光時間を前記許容露光時間で割ることにより取得する前記第１の射影画像の枚数を決定する請求項１５に記載の撮像装置の制御方法。
18. 前記被写体像の像移動量に基づいて前記被写体像と前記撮像面との位置関係を調整する像ブレ補正を行う請求項１１乃至１７のいずれか１項に記載の撮像装置の制御方法。