JP2011151795A - 撮像装置、撮像方法、および、撮像プログラム - Google Patents

Abstract

【課題】動画撮影時に、画像間の位置ずれを補正してから画像合成する場合にも、滑らかな動画表示を行う。
【解決手段】連続的な撮像により得られた複数の画像間の位置ずれを検出し、検出した位置ずれに基づいて、複数の画像間の位置ずれを補正してから合成することによって、合成画像を生成する。この時、動画撮影時には、静止画撮影時に位置ずれを検出（Ｓ８０）する方法とは異なる位置ずれ検出方法にて、複数の画像間の位置ずれを検出する（Ｓ１００）。
【選択図】図５

Description

本発明は、複数の画像を合成することによって、合成画像を生成する技術に関する。

従来、露出条件の異なる低解像度画像と高解像度画像を取り込んで、両画像間の位置ずれを補正してから合成することによって、ダイナミックレジンの広い合成画像を生成する技術が知られている（特許文献１参照）。

特開２００８−１８１１９６号公報

しかしながら、動画に対して上述した合成画像を生成する処理を行う場合、処理によって画像のフレームレートが低下したり、滑らかな動画表示ができなくなったりするという問題があった。

本発明は、上述した問題に鑑みてなされたものであり、動画撮影時に画像合成をおこなう場合にも、滑らかな動画表示を行うことを目的とする。

本発明のある態様に係る撮像装置は、連続的な撮像により得られた複数の画像を合成して、合成画像を生成することができる撮像装置であって、前記複数の画像間の位置ずれを検出する第１の位置ずれ検出部と、前記第１の位置ずれ検出部による位置ずれ検出方法とは異なる位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出する第２の位置ずれ検出部と、静止画の撮像であるか否かを判定する撮像モード判定部と、静止画の撮像であると判定されると、前記第１の位置ずれ検出部に前記複数の画像間の位置ずれを検出させ、静止画の撮像ではないと判定されると、前記第２の位置ずれ検出部に前記複数の画像間の位置ずれを検出させる制御部と、検出された位置ずれに基づいて、前記複数の画像間の位置ずれを補正する位置ずれ補正部と、位置ずれが補正された複数の画像を合成して、合成画像を生成する合成部と、を備える。

本発明の別の態様に係る撮像方法は、連続的な撮像により得られた複数の画像を合成して、合成画像を生成する撮像方法であって、静止画の撮像であるか否かを判定するステップと、静止画の撮像であると判定とすると、第１の位置ずれ検出方法によって、前記複数の画像間の位置ずれを検出するステップと、静止画の撮像ではないと判定すると、前記第１の位置ずれ検出方法とは異なる第２の位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出するステップと、検出した位置ずれに基づいて、前記複数の画像間の位置ずれを補正するステップと、位置ずれが補正された複数の画像を合成して、合成画像を生成するステップと、を備える。

本発明のさらに別の態様に係る撮像プログラムは、連続的な撮像により得られた複数の画像を合成して、合成画像を生成する処理をコンピュータに実行させるための撮像プログラムであって、静止画の撮像であるか否かを判定するステップと、静止画の撮像であると判定とすると、第１の位置ずれ検出方法によって、前記複数の画像間の位置ずれを検出するステップと、静止画の撮像ではないと判定すると、前記第１の位置ずれ検出方法とは異なる第２の位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出するステップと、検出した位置ずれに基づいて、前記複数の画像間の位置ずれを補正するステップと、位置ずれが補正された複数の画像を合成して、合成画像を生成するステップと、をコンピュータに実行させる。

本発明によれば、動画撮影時に画像合成をおこなう場合でも、滑らかな動画表示を行うことができる。

第１の実施形態に係る撮像装置であるデジタルスチルカメラの構成を示すブロック図である。 動きベクトル算出部の詳細な構成を示すブロック図である。 図３（ａ）〜図３（ｈ）は、フレーム全体の動きベクトルを算出する方法を説明するための図である。 注目画素の近傍に位置する１６個の動きベクトルＢ０〜Ｂ１５の一例を示す図である。 第１の実施形態における撮像装置によって行われる合成画像生成処理の手順を示すフローチャートである。 局所動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細を示すフローチャートである。 重み付き合成の詳細な処理を示すフローチャートである。 相関係数値Ｋと合成比αとの関係を示す図である。 第１の画像データと第２の画像データとの間の位置ずれを補正した後でも、位置ずれが残っている状態で、様々な合成処理を行った場合の合成画像の例を示す図である。 フレーム全体の動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細を示すフローチャートである。 第２の実施形態における撮像装置によって行われるメインの処理を示すフローチャートである。 画素選択合成処理の詳細を示すフローチャートである。

−第１の実施形態−
図１は、第１の実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮伸長部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、振動検出センサ１１８と、動きベクトル算出部１１９と、合成処理部１２０と、を有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、レンズの焦点距離情報などをマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、画像圧縮伸長部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、振動検出センサ１１８と、動きベクトル算出部１１９と、合成処理部１２０に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、画像圧縮伸長部１１０、合成処理部１２０において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、ホワイトバランス補正部１０７１（以下、ＷＢ補正部１０７１）、同時化処理部１０７２、色再現処理部１０７３、および、ノイズ低減処理部１０７４（以下、ＮＲ処理部１０７４）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。ＷＢ補正部１０７１は、画像データのホワイトバランスを補正する処理を行う。同時化処理部１０７２は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。色再現処理部１０７３は、画像の色味を変化させる色再現処理を行い、ＮＲ処理部１０７４は、ノイズを低減する処理を行う。ノイズ低減処理後の画像データは、ＳＤＲＡＭ１０６に記憶される。

振動検出センサ１１８は、いわゆる手ブレを含むカメラ本体１の動きを検出する。動きベクトル算出部１１９は、連続的な撮影により得られた複数の画像間の動きベクトルを算出する。動きベクトル算出部１１９の詳細な構成については、図２を用いて後述する。

合成処理部１２０は、連続的に撮影された複数の画像を合成する。特に、合成処理部１２０は、被写体輝度に応じた標準露光時間よりも短い露光時間で撮影された画像データと、標準露光時間よりも長い露光時間で撮影された画像データとを合成することによって、ダイナミックレンジの広い合成画像を生成する。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

画像圧縮伸長部１１０は、静止画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。

画像圧縮伸長部１１０は、また、動画データの記録時には、ＳＤＲＡＭ１０６から動画データを読み出し、読み出した動画データを、例えば、Ｈ．２６４方式に従って圧縮して、圧縮した動画データをＳＤＲＡＭ１０６に一旦記憶する。画像圧縮伸長部１１０は、さらに、マイクロコンピュータ１１５からの指令に基づいて、圧縮データを展開（伸長）する処理を行う。

記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー表示等の動画の表示が含まれる。記録媒体１１２に記録された圧縮データを再生する場合、画像圧縮伸長部１１０は、記録媒体１１２に記録されている圧縮データを読み出して展開（伸長）処理を施した上で、展開したデータを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張されたデータをＳＤＲＡＭ１０６から読み出し、読み出したデータを映像信号へ変換した後でＬＣＤ１１４へ出力して表示を行う。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されると、当該デジタルカメラの電源がオンとなる。再度、電源ボタンが押されると、当該デジタルカメラの電源はオフとなる。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランス補正値やローパスフィルタ係数、デジタルカメラの動作に必要な各種パラメータや、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、動きベクトル算出部１１９の詳細な構成を示すブロック図である。動きベクトル算出部１１９は、評価フレーム取得部２０と、輝度信号抽出部２１と、評価フレーム領域設定部２２と、比較フレーム取得部２３と、輝度信号抽出部２４と、比較フレーム領域設定部２５と、フレーム間相関処理部２６と、信頼度判定部２７と、領域別動きベクトル算出部２８と、フレーム全体動きベクトル算出部２９と、局所動きベクトル算出部３０とを備える。

ＳＤＲＡＭ１０６には、連続的に撮影された少なくとも２つの画像データが格納されている。この画像データは、例えば、被写体輝度に応じた標準露光時間よりも短い露光時間で撮影された画像データと、標準露光時間よりも長い露光時間で撮影された画像データである。評価フレーム取得部２０は、ＳＤＲＡＭ１０６に格納されている２つの画像データから、動きベクトルを算出する際に基準とする画像データを読み出す。基準とする画像データは、２つの画像データのうち、いずれの画像データでもよい。ここでは、基準とする画像データを評価フレームと呼ぶ。

輝度信号抽出部２１は、評価フレーム取得部２０で取得された評価フレームの輝度信号を抽出する。

評価フレーム領域設定部２２は、評価フレーム取得部２０で取得された評価フレームを所定の大きさのブロックに分割し、分割した複数のブロック内において、所定の大きさの領域を、動きベクトル算出領域に設定する。

図３（ａ）は、評価フレーム領域設定部２２によって複数のブロック３２に分割された評価フレーム３１の一例を示す図である。また、図３（ｃ）は、評価フレーム領域設定部２２によって、１つのブロック３２内に設定された動きベクトル算出領域３５の一例を示す図である。動きベクトル算出領域３５は、評価フレーム内の全てのブロック３２に対して設定する。

比較フレーム取得部２３は、ＳＤＲＡＭ１０６に格納されている複数の画像データから、評価フレームと比較する画像データを読み出す。この画像データは、評価フレームと合成するための画像データである。ここでは、評価フレームと比較する画像データを比較フレームと呼ぶ。

輝度信号抽出部２４は、比較フレーム取得部２３で取得された比較フレームの輝度信号を抽出する。

比較フレーム領域設定部２５は、比較フレーム取得部２３で取得された比較フレームを所定の大きさのブロックに分割するとともに、分割したブロックそのものを、動きベクトル算出領域と比較する比較領域に設定する。比較フレームを分割するブロックの大きさは、評価フレームを分割するブロックの大きさと同じとする。

図３（ｂ）は、比較フレーム領域設定部２５によって複数のブロック３４に分割された比較フレーム３３の一例を示す図であり、図３（ｄ）は、比較領域３４を示す図である。

フレーム間相関処理部２６は、評価フレーム３１の各ブロック３２ごとに、比較フレーム３３との間の相関を求める。ここでは、評価フレーム３１のブロック３２内に設定した動きベクトル算出領域３５を、そのブロック３２と対応する位置に存在する、比較フレーム３３の比較領域３４内で走査しながら相関係数値を演算する。図３（ｅ）は、動きベクトル算出領域３５を、比較フレーム３３の比較領域３４内で走査する様子を示す図である。相関係数値として、例えば、動きベクトル算出領域３５内における各画素の画素値と、比較領域３４内で動きベクトル算出領域３５と比較する領域の各画素の画素値との差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)を求める。ＳＡＤが小さいほど、相関関係が高く、ＳＡＤが大きいほど、相関関係が低い。

領域別動きベクトル算出部２８は、フレーム間相関処理部２６で演算された相関係数値のうち、最も値が小さい領域を、動きベクトル算出領域３５の移動先の領域と判断して、その移動量を、動きベクトル算出領域３５が含まれるブロック３２の動きベクトルとする。図３（ｆ）は、比較領域３４内において、動きベクトル算出領域３５に対応する領域３６から、相関係数値が最も小さい領域３７に向かう動きベクトル３８の一例を示す図である。

上述した動きベクトルの算出は、評価フレーム領域設定部２２で分割した全てのブロックに対して行う。図３（ｇ）は、全てのブロックに対して算出された動きベクトルの一例を示す図である。

信頼度判定部２７は、領域別動きベクトル算出部２８で算出された各ブロックの動きベクトルの信頼度を判定する。例えば、動きベクトルを求める際に算出した相関係数値が所定のしきい値以上の場合には、その動きベクトルの信頼度は低いと判定し、相関係数値が所定のしきい値未満の場合には、その動きベクトルの信頼度は高いと判定する。なお、信頼度の判定方法は、上述した方法に限定されることはなく、また、信頼度を２段階ではなく、３段階以上で判定してもよい。

フレーム全体動きベクトル算出部２９は、領域別動きベクトル算出部２８で算出された各ブロックの動きベクトルと、信頼度判定部２７で判定された信頼度に基づいて、フレーム全体の動きベクトルを算出する。ここでは、全てのブロック３２の動きベクトルのうち、信頼度が低いと判定された動きベクトルを除外した他の動きベクトルの平均ベクトルを、フレーム全体の動きベクトルとする。図３（ｈ）は、フレーム全体の動きベクトル３８の一例を示す図である。

なお、信頼度が低いと判定された動きベクトルの重みを低く、信頼度が高いと判定された動きベクトルの重みを高くして、全ての動きベクトルの重み付き加算平均演算を行い、演算によって得られた動きベクトルを、フレーム全体の動きベクトルとしてもよい。

局所動きベクトル算出部３０は、領域別動きベクトル算出部２８で算出された各ブロックの動きベクトルに基づいて、例えば、Ｃｕｂｉｃ補間などの方法を用いて、各画素の動きベクトルを算出する。本実施形態におけるＣｕｂｉｃ補間では、処理対象である注目画素の近傍に位置する１６個の動きベクトルを用いて、注目画素の動きベクトルを算出する。

図４は、注目画素４０の近傍に位置する１６個の動きベクトルＢ０〜Ｂ１５の一例を示す図である。注目画素４０の動きベクトルＢoutは、次式（１）の補間演算によって求められる。ただし、式（１）において、Ｋ_x0、Ｋ_x1、Ｋ_x2、Ｋ_x3、Ｋ_y0、Ｋ_y1、Ｋ_y2、Ｋ_y3は、注目画素４０の位置座標に応じて定まる補間係数である。

Ｂout＝Ｋ_x0（Ｋ_y0×Ｂ０＋Ｋ_y1×Ｂ４＋Ｋ_y2×Ｂ８＋Ｋ_y3×Ｂ１２）＋Ｋ_x1（Ｋ_y0×Ｂ１＋Ｋ_y1×Ｂ５＋Ｋ_y2×Ｂ９＋Ｋ_y3×Ｂ１３）＋Ｋ_x2（Ｋ_y0×Ｂ２＋Ｋ_y1×Ｂ６＋Ｋ_y2×Ｂ１０＋Ｋ_y3×Ｂ１４）＋Ｋ_x3（Ｋ_y0×Ｂ３＋Ｋ_y1×Ｂ７＋Ｋ_y2×Ｂ１１＋Ｋ_y3×Ｂ１５） （１）
局所動きベクトル算出部３０は、評価フレーム３１の全ての画素について、上述した方法により、動きベクトルを算出する。ここでは、各画素の動きベクトルを総称して、局所動きベクトルと呼ぶ。局所動きベクトルの算出では、評価フレーム３１の全ての画素に対して動きベクトルを算出する必要があるため、フレーム全体の動きベクトルを算出する場合に比べて、処理時間が長くなる。ただし、局所動きベクトルの算出精度は、フレーム全体の動きベクトルの算出精度よりも高い。

図５は、第１の実施形態における撮像装置によって行われる合成画像生成処理の手順を示すフローチャートである。第１の実施形態における撮像装置は、被写体輝度に応じた標準露光時間よりも短い露光時間で撮影された画像データと、標準露光時間よりも長い露光時間で撮影された画像データとを合成することによって、ダイナミックレンジの広い合成画像を生成する処理を行う。

ステップＳ１０では、ＡＦ処理およびＡＥ処理を行う。具体的には、まず、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。ドライバ１０１３は、この指令に基づいて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行う。ＡＥ処理では、ＡＥ処理部１０８において、被写体輝度を算出し、算出した被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶されている露出条件決定テーブルを参照することにより、撮影時のＩＳＯ感度、絞り、およびシャッター速を決定する。ただし、ステップＳ１０の処理で用いる露出条件決定テーブルでは、被写体輝度に応じた標準のシャッター速よりも速いシャッター速が定められている。

ステップＳ２０では、撮影を行う。撮影（静止画撮影）に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、決定したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、決定したＩＳＯ感度に応じた画像データを得る。ここでは、この画像データを第１の画像データと呼ぶ。上述したように、ステップＳ１０で求めたシャッター速は、被写体輝度に応じた標準のシャッター速よりも速いため、被写体輝度に応じた標準露光時間よりも短い露光時間での撮影が行われる。

ステップＳ３０では、合成処理部１２０において、ステップＳ２０の撮影により得られた第１の画像データ（ＲＡＷデータ）をＳＤＲＡＭ１０６から読み込む。

ステップＳ４０では、露光条件を変えて撮影を行うために、ＡＦ処理およびＡＥ処理を再び行う。ＡＦ処理は、ステップＳ１０の処理と同じであるが、ＡＥ処理では、被写体輝度に応じた標準のシャッター速よりも遅いシャッター速が定められた露出条件決定テーブルを用いる。

ステップＳ５０では、撮影を行う。上述したように、ステップＳ４０で求めたシャッター速は、被写体輝度に応じた標準のシャッター速よりも遅いため、被写体輝度に応じた標準露光時間よりも長い露光時間での撮影が行われる。この撮影により得られた画像データを、第２の画像データと呼ぶ。

ステップＳ６０では、合成処理部１２０において、ステップＳ５０の撮影により得られた第２の画像データ（ＲＡＷデータ）をＳＤＲＡＭ１０６から読み込む。

ステップＳ７０では、静止画の撮影であるか否かを判定する。この判定は、操作部１１６で設定されたモードが静止画撮影モードであるか否かに基づいて行う。静止画の撮影であると判定すると、ステップＳ８０に進む。ステップＳ８０では、動きベクトル算出部１１９の局所動きベクトル算出部３０において、Ｓ３０で読み込んだ第１の画像データと、ステップＳ６０で読み込んだ第２の画像データとの間の局所動きベクトルを算出する。

ステップＳ９０では、第１の画像データと第２の画像データとを合成する。ここでは、ステップＳ８０で算出した局所動きベクトルに基づいて、第１の画像データと第２の画像データとの間の位置ずれを補正した後、位置ずれ補正後の第１の画像データおよび第２の画像データを、それぞれの重みに応じた合成比率で合成する重み付き合成を行う。局所動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細については、図６に示すフローチャートを用いて後述する。

一方、ステップＳ７０において、静止画の撮影ではなく、動画の撮影であると判定すると、ステップＳ１００に進む。動画の撮影には、動画データを記録媒体１１２に記録する動画撮影モードにおける撮影と、動画をリアルタイムにＬＣＤ１１４に表示するライブビュー表示モードにおける撮影とが含まれる。

ステップＳ１００では、動きベクトル算出部１１９のフレーム全体動きベクトル算出部２９において、Ｓ３０で読み込んだ第１の画像データと、ステップＳ６０で読み込んだ第２の画像データとの間のフレーム全体の動きベクトルを算出する。

ステップＳ１１０では、第１の画像データと第２の画像データとを合成する。ここでは、ステップＳ１００で算出したフレーム全体動きベクトルに基づいて、第１の画像データと第２の画像データとの間の位置ずれを補正した後、位置ずれ補正後の第１の画像データおよび第２の画像データを、同一の合成比（合成比α＝０．５）で合成する単純合成処理を行う。フレーム全体の動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細については、図１０に示すフローチャートを用いて後述する。

ステップＳ１２０では、画像処理部１０７において、合成画像データに対して、ホワイトバランス補正処理、同時化処理、色再現処理、ノイズ低減処理などの様々な画像処理を施す。

ステップＳ１３０では、合成画像データが静止画データであるか、動画データであるか、または、ライブビュー画像データであるかを判定する。ここで、動画データとは、記録媒体１１２に記録するための動画データである。静止画データであると判定すると、ステップＳ１４０に進む。

ステップＳ１４０では、画像圧縮伸長部１１０において、合成画像データをＪＰＥＧ圧縮方式に従って圧縮する。ステップＳ１５０では、圧縮された画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加した後、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。

ステップＳ１３０において、合成画像データが動画データであると判定すると、ステップＳ１６０に進む。ステップＳ１６０では、画像圧縮伸長部１１０において、合成画像データを所定の動画圧縮形式に従って圧縮する。ステップＳ１７０では、圧縮されたデータに対して、動画ファイルを構成するために必要なヘッダを付加した後、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。

ステップＳ１３０において、合成画像データがライブビュー画像データであると判定すると、ステップＳ１８０に進む。ステップＳ１８０では、合成画像データに対して、ライブビュー表示用の画像サイズに変更する処理など、ライブビュー表示用の画像処理を施す。ステップＳ１９０では、ライブビュー表示用の画像処理が施された画像データを、ＬＣＤ１１４に表示させる。

図６は、図５に示すフローチャートのステップＳ９０の処理、すなわち、局所動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細を示すフローチャートである。ステップＳ６００では、処理対象画素の位置座標を示すパラメータｉ，ｊをそれぞれ０に初期化する。パラメータｉは、画像データのｘ軸方向の位置座標を表し、パラメータｊは、ｙ軸方向の位置座標を表す。

ステップＳ６１０では、画素（ｉ，ｊ）の動きベクトル（ｘ，ｙ）を取得する。例えば、動きベクトル算出部１１９の局所動きベクトル算出部３０によって算出された各画素の動きベクトルをＳＤＲＡＭ１０６に記憶させておき、ＳＤＲＡＭ１０６から、画素（ｉ，ｊ）の動きベクトル（ｘ，ｙ）を読み込む。

ステップＳ６２０では、第１の画像データから、画素（ｉ，ｊ）の画素値を読み込む。

ステップＳ６３０では、第２の画像データにおいて、画素（ｉ，ｊ）を動きベクトル（ｘ、ｙ）だけずらした画素（ｉ＋ｘ，ｊ＋ｙ）が第２の画像データ上に存在するか否かを判定する。画素（ｉ＋ｘ，ｊ＋ｙ）が第２の画像データ上に存在すると判定すると、ステップＳ６４０に進み、存在しないと判定すると、ステップＳ６５０に進む。

ステップＳ６４０では、第２の画像データから、画素（ｉ＋ｘ，ｊ＋ｙ）の画素値を読み込む。

一方、ステップＳ６５０では、第１の画像データの画素（ｉ，ｊ）の画素値を、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）の画素値として設定する。

ステップＳ６６０では、第１の画像データの画素（ｉ，ｊ）と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）とを合成する。上述したように、図６に示すフローチャートのステップＳ９０では、重み付き合成を行う。重み付き合成の詳細な処理を図７に示すフローチャートを用いて説明する。

図７に示すフローチャートのステップＳ７１０では、処理対象画素（ｉ，ｊ）の相関係数値Ｋを算出する。すなわち、第１の画像データの画素（ｉ，ｊ）の画素値と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）の画素値の差分の絶対値を、相関係数値Ｋとして算出する。

ステップＳ７２０では、ステップＳ７１０で算出した相関係数値Ｋに基づいて、合成比αを算出する。

図８は、相関係数値Ｋと合成比αとの関係を示す図である。図８において、ＴＨは所定のしきい値であり、Ｋ_maxは相関係数値Ｋとして取り得る最大値である。図８に示すように、相関係数値Ｋが所定のしきい値ＴＨ以下の場合には、合成比αは０．５であり、相関係数値Ｋが所定のしきい値ＴＨよりも大きくなると、合成比αも０．５より大きくなる。Ｆｌａｓｈメモリ１１７には、相関係数値Ｋと合成比αとの関係を定めたテーブルが格納されており、このテーブルを参照することによって、合成比αを算出する。

ステップＳ７３０では、次式（２）によって、第１の画像データの画素（ｉ，ｊ）と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）とを合成する。ただし、Ａは、第１の画像データの画素（ｉ，ｊ）の画素値、Ｂは第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）の画素値、Ｃは、合成後の画素の画素値である。

Ｃ＝α×Ａ＋（１−α）×Ｂ （２）
図８および式（２）から分かるように、第１の画像データの画素（ｉ，ｊ）と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）との間の相関が高く、相関係数値Ｋが所定のしきい値ＴＨ以下の場合には、同一の合成比（合成比α＝０．５）で合成する単純合成処理が行われる。一方、相関係数値Ｋが所定のしきい値ＴＨより大きくなると、第１の画像データの画素（ｉ，ｊ）を合成する比重を大きくして、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）の影響を小さくする。

図９は、第１の画像データと第２の画像データとの間の位置ずれを補正した後でも、自動車の像の位置ずれが残っている状態で、合成処理を行った場合の合成画像の例を示す図である。図９（ａ）は、合成比α＝０．５で単純合成を行った場合の結果、図９（ｂ）は、０．５より大きい合成比αで重み付き合成を行った場合の結果、図９（ｃ）は、合成比α＝１で合成した場合の結果である。図９（ａ）と図９（ｂ）とを比較して分かるように、０．５より大きい合成比αで重み付き合成を行った場合には、単純合成を行った場合に比べて、像ブレが軽減される。また、合成比αを１にした場合には、第１の画像データだけが用いられることになり、像ブレは無くなる。

図６に示すフローチャートに戻って説明を続ける。ステップＳ６７０では、パラメータｉに１を加算する。

ステップＳ６８０では、パラメータｉが第１の画像データのｘ軸方向の画素数Ｍ以上であるか否かを判定する。パラメータｉがＭ未満であると判定するとステップＳ６１０に戻り、Ｍ以上であると判定すると、ステップＳ６９０に進む。

ステップＳ６９０では、パラメータｉを０に設定するとともに、パラメータｊに１を加算する。

ステップＳ７００では、パラメータｊが第１の画像データのｙ軸方向の画素数Ｎ以上であるか否かを判定する。パラメータｊがＮ未満であると判定するとステップＳ６１０に戻り、Ｎ以上であると判定すると、フローチャートの処理を終了する。

図１０は、図５に示すフローチャートのステップＳ１１０の処理、すなわち、フレーム全体の動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理の詳細を示すフローチャートである。図６に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。

ステップＳ１０００では、フレーム全体の動きベクトル（ｘ、ｙ）を取得する。例えば、動きベクトル算出部１１９のフレーム全体動きベクトル算出部２９によって算出されたフレーム全体の動きベクトルをＳＤＲＡＭ１０６に記憶させておき、ＳＤＲＡＭ１０６から、フレーム全体の動きベクトル（ｘ，ｙ）を読み込む。

ステップＳ６００では、処理対象画素の位置座標を示すパラメータｉ，ｊをそれぞれ０に初期化して、ステップＳ６２０に進む。ステップＳ６２０以後の処理は、図６に示すフローチャートと同じである。

以上、第１の実施形態における撮像装置は、連続的な撮像により得られた複数の画像間の位置ずれを補正し、位置ずれ補正後の複数の画像を合成して、合成画像を生成することができる撮像装置であって、動画の撮影では、静止画の撮影時に行う位置ずれ検出方法とは異なる位置ずれ検出方法によって、複数の画像間の位置ずれを検出する。特に、動画の撮影では、静止画の撮影時に行う位置ずれ検出方法よりも処理時間の短い位置ずれ検出方法によって、複数の画像間の位置ずれを検出するので、動画の撮影において、合成画像を生成するために要する時間を短縮して、フレームレートの低下を抑制し、滑らかな動画を表示することができる。

また、静止画撮影時の位置ずれ検出精度は、動画撮影時の位置ずれ検出精度よりも高いので、ユーザによって細部まで観察されることが多い静止画の画質を低下させることなく、動画のフレームレートの低下を抑制することができる。

特に、静止画撮影時には、複数の画像間の位置ずれ量として、画像上の位置に応じた複数の位置ずれ量を検出し、動画撮影時には、複数の画像間の位置ずれ量として、代表となる１つの位置ずれ量を検出するので、ユーザによって細部まで観察されることが多い静止画の画質を低下させることなく、動画のフレームレートの低下を抑制することができる。

−第２の実施形態−
第２の実施形態における撮像装置の構成は、図１に示す第１の実施形態における撮像装置の構成と同じである。

図１１は、第２の実施形態における撮像装置によって行われるメインの処理を示すフローチャートである。図５に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略する。

ステップＳ１０からステップＳ６０までの処理は、図５に示すフローチャートの処理と同じである。ステップＳ６０に続くステップＳ１１００では、現在の処理が静止画の撮影であるか、動画の撮影であるか、または、ライブビュー表示であるかを判定する。この判定における動画の撮影とは、動画データを記録媒体１１２に記録するための撮影である。静止画の撮影であると判定すると、ステップＳ８０に進む。ステップＳ８０では、動きベクトル算出部１１９の局所動きベクトル算出部３０において、局所動きベクトルを算出する。

ステップＳ１１１０では、第１の画像データと第２の画像データとを合成する。ここでは、ステップＳ８０で算出した局所動きベクトルに基づいて、第１の画像データと第２の画像データとの間の位置ずれを補正した後、位置ずれ補正後の第１の画像データおよび第２の画像データ間の相関係数値に基づいて、２つの画像データを合成する。ここでは、相関係数値が所定のしきい値より大きい場合に、第１の画像データの合成比αを１とし、第２の画像データの合成比（１−α）を０とする画素選択合成を行う。局所動きベクトルに基づいて位置ずれを補正してから、画像データを合成する処理は、図６に示すフローチャートの処理と同じである。

画素選択合成処理の詳細について、図１２に示すフローチャートを用いて説明する。ステップＳ１２１０では、処理対象画素（ｉ，ｊ）の相関係数値Ｋを算出する。すなわち、第１の画像データの画素（ｉ，ｊ）の画素値と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）の画素値の差分の絶対値を、相関係数値Ｋとして算出する。

ステップＳ１２２０では、ステップＳ１２１０で算出した相関係数値Ｋが所定のしきい値Ｋth以下であるか否かを判定する。相関係数値Ｋが所定のしきい値Ｋth以下であると判定すると、ステップＳ１２３０に進む。ステップＳ１２３０では、合成比αを０．５に設定する。

一方、ステップＳ１２２０において、相関係数値Ｋが所定のしきい値Ｋthより大きいと判定すると、ステップＳ１２４０に進む。ステップＳ１２４０では、合成比αを１に設定する。

ステップＳ１２５０では、上述した式（２）によって、第１の画像データの画素（ｉ，ｊ）と、第２の画像データの画素（ｉ＋ｘ，ｊ＋ｙ）とを合成する。

図１１に示すフローチャートのステップＳ１１００において、動画の撮影であると判定すると、ステップＳ１００に進む。ステップＳ１００では、動きベクトル算出部１１９のフレーム全体動きベクトル算出部２９において、ステップＳ３０で読み込んだ第１の画像データと、ステップＳ６０で読み込んだ第２の画像データとの間のフレーム全体の動きベクトルを算出する。

ステップＳ１１２０では、第１の画像データと第２の画像データとを合成する。この処理は、図５に示すフローチャートのステップＳ１１０の処理と同じである。すなわち、ステップＳ１００で算出したフレーム全体動きベクトルに基づいて、第１の画像データと第２の画像データとの間の位置ずれを補正した後、位置ずれ補正後の第１の画像データおよび第２の画像データを、合成比α＝０．５で合成する単純合成処理を行う。

ステップＳ１１００において、現在の処理がライブビュー表示であると判定すると、ステップＳ１１３０に進む。ステップＳ１１３０では、動きベクトル算出部１１９のフレーム全体動きベクトル算出部２９において、ステップＳ３０で読み込んだ第１の画像データと、ステップＳ６０で読み込んだ第２の画像データとの間のフレーム全体の動きベクトルを算出する。ただし、ここでは、評価フレームおよび比較フレームを複数のブロックに分割（図３（ａ）、（ｂ）参照）する際に、ステップＳ１００で評価フレームおよび比較フレームを複数のブロックに分割する際のブロックの大きさよりも大きくする。これにより、ブロック数が少なくなるので、各ブロックの動きベクトル（図３（ｇ）参照）を算出するための処理負荷が小さくなり、フレーム全体の動きベクトルの算出時間を短縮することができる。

この場合、ライブビュー表示における位置ずれ検出精度は、動画データ記録のための動画撮影時における位置ずれ検出精度よりも低いため、合成画像において、像ブレが生じやすくなる。しかしながら、ライブビュー表示では、動画データを記録媒体１１２に記録することがなく、ユーザがじっくりと画像を確認することはないため、視認上、問題になることはない。また、位置ずれ検出精度を低くして、処理時間を短くすることにより、ライブビュー表示のフレームレートを向上させることができる。

ステップＳ１１４０では、第１の画像データと第２の画像データとを合成する。この合成処理は、ステップＳ１１２０の処理と同じ合成処理、すなわち、単純合成処理である。

ステップＳ１２０以後の処理は、図５に示すフローチャートの処理と同じである。

以上、第２の実施形態における撮像装置によれば、ライブビュー表示時には、動画記録時の位置ずれ検出精度よりも低い位置ずれ検出精度にて、複数の画像間の位置ずれを検出する。これにより、ライブビュー表示時に、合成画像を生成するまでに要する時間を短くして、フレームレートを向上させることができる。

なお、上述した第１〜第２の実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。例えば、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを撮像プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている撮像プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この撮像プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該撮像プログラムを実行するようにしても良い。

本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図１１に示すフローチャートでは、動画撮影時およびライブビュー表示時のいずれも、合成処理として、単純合成処理を行った（ステップＳ１１２０，Ｓ１１４０）。しかしながら、ライブビュー表示に対して、像ブレの少ない画像データが望まれる動画撮影時には、重み付き合成を行うようにしてもよい。

また、図１１に示すフローチャートのステップＳ１１１０の画素選択合成では、相関係数値Ｋが所定のしきい値Ｋthより大きい場合に、合成比αを１に設定し、相関係数値Ｋが所定のしきい値Ｋth以下の場合に、合成比αを０．５に設定した。しかしながら、相関係数値Ｋが所定のしきい値Ｋthの時に、合成比αを１とし、相関係数値Ｋが所定のしきい値Ｋthより小さくなるにつれて、合成比αを１から少しずつ小さくして、最終的に０．５となるように設定してもよい。

上述した第１および第２の実施形態では、ＲＡＷデータに対して合成処理を施すものとして説明したが、ＲＡＷデータに対して、同時化処理などの画像処理を施してから、合成処理を行うようにしてもよい。

図２に示す動きベクトル算出部１１９の構成について、輝度信号抽出部２１，２４の代わりに、例えば、評価フレームおよび比較フレームの色信号を抽出する色信号抽出部を設けてもよい。すなわち、評価フレームと比較フレームとの間の相関は、輝度以外の要素に基づいて求めても良い。

上述した実施形態では、ダイナミックレンジを拡大した画像を生成するために、露光時間の異なる複数の画像を合成する例を挙げて説明したが、本発明は、ダイナミックレンジの拡大のための画像合成に限定されることはない。例えば、ノイズ低減のために、複数の画像を合成して、合成画像を生成する技術に本発明を適用することもできる。

１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ/デジタル変換部
１０６…ＳＤＲＡＭ
１０７…画像処理部
１０８…ＡＥ処理部
１０９…ＡＦ処理部
１１０…画像圧縮展開部
１１２…記録媒体
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１６…操作部
１１７…Ｆｌａｓｈメモリ
１１８…振動検出センサ
１１９…動きベクトル算出部
１２０…合成処理部
１０１０…レンズ
１０１１…Ｆｌａｓｈメモリ
１０１２…マイクロコンピュータ

Claims (9)

1. 連続的な撮像により得られた複数の画像を合成して、合成画像を生成することができる撮像装置であって、
   前記複数の画像間の位置ずれを検出する第１の位置ずれ検出部と、
   前記第１の位置ずれ検出部による位置ずれ検出方法とは異なる位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出する第２の位置ずれ検出部と、
   静止画の撮像であるか否かを判定する撮像モード判定部と、
   静止画の撮像であると判定されると、前記第１の位置ずれ検出部に前記複数の画像間の位置ずれを検出させ、静止画の撮像ではないと判定されると、前記第２の位置ずれ検出部に前記複数の画像間の位置ずれを検出させる制御部と、
   検出された位置ずれに基づいて、前記複数の画像間の位置ずれを補正する位置ずれ補正部と、
   位置ずれが補正された複数の画像を合成して、合成画像を生成する合成部と、
   を備えることを特徴とする撮像装置。
2. 前記第２の位置ずれ検出部は、前記第１の位置ずれ検出部による位置ずれ検出方法よりも処理時間が短い位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の位置ずれ検出部は、前記複数の画像間の位置ずれとして、画像上の複数の位置に応じた複数の位置ずれを検出し、
   前記第２の位置ずれ検出部は、前記複数の画像間の位置ずれとして、代表となる１つの位置ずれを検出することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第１の位置ずれ検出部の位置ずれ検出精度は、前記第２の位置ずれ検出部の位置ずれ検出精度よりも高いことを特徴とする請求項１から請求項３のいずれか一項に記載に記載の撮像装置。
5. 前記合成部は、前記撮像モード判定部によって静止画の撮像であると判定された場合に、静止画の撮像ではないと判定された場合よりも、像ブレの少ない合成画像を生成するための合成処理を行うことを特徴とする請求項１から請求項４のいずれか一項に記載に記載の撮像装置。
6. 前記第２の位置ずれ検出部は、ライブビュー表示時には、動画記録時の位置ずれ検出方法とは少なくとも一部が異なる位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出することを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 前記複数の画像は、異なる露光量で撮像された画像であることを特徴とする請求項１から請求項６のいずれか一項に記載の撮像装置。
8. 連続的な撮像により得られた複数の画像を合成して、合成画像を生成する撮像方法であって、
   静止画の撮像であるか否かを判定するステップと、
   静止画の撮像であると判定とすると、第１の位置ずれ検出方法によって、前記複数の画像間の位置ずれを検出するステップと、
   静止画の撮像ではないと判定すると、前記第１の位置ずれ検出方法とは異なる第２の位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出するステップと、
   検出した位置ずれに基づいて、前記複数の画像間の位置ずれを補正するステップと、
   位置ずれが補正された複数の画像を合成して、合成画像を生成するステップと、
   を備えることを特徴とする撮像方法。
9. 連続的な撮像により得られた複数の画像を合成して、合成画像を生成する処理をコンピュータに実行させるための撮像プログラムであって、
   静止画の撮像であるか否かを判定するステップと、
   静止画の撮像であると判定とすると、第１の位置ずれ検出方法によって、前記複数の画像間の位置ずれを検出するステップと、
   静止画の撮像ではないと判定すると、前記第１の位置ずれ検出方法とは異なる第２の位置ずれ検出方法にて、前記複数の画像間の位置ずれを検出するステップと、
   検出した位置ずれに基づいて、前記複数の画像間の位置ずれを補正するステップと、
   位置ずれが補正された複数の画像を合成して、合成画像を生成するステップと、
   をコンピュータに実行させるための撮像プログラム。