JP5613145B2 - 撮影装置およびプログラム - Google Patents

Description

本発明は、固体撮像素子を用いた撮影装置に関するものである。

従来から、固体撮像素子を用いた撮像装置においては、撮像素子から出力される画像信号と、撮像素子を駆動するためのパルスとが回路内に混在している。また、撮像装置内では信号処理用に様々なパルスが混在する。これらのパルスは共通の基準クロックから作られ、互いに同期した信号であることが多い。それらの同期した信号の高周波成分が配線パターン間の容量結合等により画像信号に混入すると、この画像信号に基づく画像上で目に見える線状や点状の固定パターンノイズが発生するので、この固定パターンノイズが画質劣化の要因となる場合がある。

そこで、従来、連続撮影の際に、被写体像を二次元光検出素子に導くミラーを所定角度ずつ回転させることにより、被写体像の位置が所定量ずつずれた複数枚の画像を撮影し、各撮影画像上の特定の被写体像を基準としてこれら各撮影画像を合成して合成画像を生成する撮像装置が提案されている（例えば、特許文献１を参照）。

この従来の撮像装置によれば、ミラーの回転により各撮影画像において合成の基準となる特定の被写体像と固定パターンノイズとの位置関係が互いに異なるものになるので、各撮影画像上に発生する固定パターンノイズを合成画像上で分散させて、合成画像上で固定パターンノイズの影響を低減させることができる。

特開２００７−２１４６６２号公報

しかしながら、この従来の撮像装置では、連続撮影中に撮像装置の使用者による手ぶれが発生した場合、この手ぶれによってミラーの回転による各撮影画像上の被写体像の位置のずれが打ち消される場合がある。この場合、各撮影画像において合成の基準となる特定の像と固定パターンノイズとの位置関係が同じものになってしまう。つまり、この従来の撮像装置では、手ぶれが生じた場合に、各撮影画像を合成しても合成画像上で固定パターンノイズを分散させることができない場合がある。

そこで、本発明の目的は、撮影中に手ぶれが生じた場合であっても、撮影画像上の固定パターンノイズの影響を確実に低減させることにある。

本発明の１つの態様は、
撮像素子により被写体像を複数回撮影することにより、固定パターンノイズが発生した複数の画像を生成する撮影手段と、
手ぶれによる前記撮像素子の撮影範囲のずれを補正し、かつ撮影の度に前記撮像素子の撮影範囲が異なるように、前記撮像手段の光軸と前記撮像素子との相対的な位置関係を変化させる補正手段と、
前記複数の画像で共通する被写体を検出する検出手段と、
前記複数の画像のうち前記被写体が写っていない画像を除く複数の画像を、前記検出手段により検出された被写体の位置を合成位置の基準として平均的に合成する合成手段と、
を備える。

本発明の他の態様は、
コンピュータに、
手ぶれによる前記撮像素子の撮影範囲のずれを補正し、かつ撮影の度に前記撮像素子の撮影範囲が異なるように、前記撮像手段の光軸と前記撮像素子との相対的な位置関係を変化させる補正処理と、
前記複数の画像で共通する被写体を検出する検出処理と、
前記複数の画像のうち前記被写体が写っていない画像を除く複数の画像を、前記検出処理により検出された被写体の位置を合成位置の基準として平均的に合成する合成処理と、
を実行させる。

本発明によれば、撮影中に手ぶれが生じた場合であっても、撮影画像上の固定パターンノイズの影響を確実に低減させることができる。

本発明の実施形態に係る撮影装置の機能的構成の一例を示すブロック図である。 手ぶれ補正系の詳細を示す図である。 本発明の実施形態に係る撮像装置が実行する連写合成モードの処理の流れの一例を示すフローチャートである。 撮影装置の光軸に対する主要被写体、撮像素子の相対的な位置関係の一例を示す図である。 ヨー方向における撮影装置の光軸から主要被写体の中心までの距離Ａ（ｔ）を模式的に示す図である。 ヨー方向における撮影装置の光軸から撮像素子の中心までの距離Ｂ（ｔ）を模式的に示す図である。 （Ａ）本実施形態に係る連写撮影により得られた１枚目の画像の一例を示す図である。（Ｂ）本実施形態に係る連写撮影により得られた２枚目の画像の一例を示す図である。（Ｃ）本実施形態に係る連写撮影により得られた３枚目の画像の一例を示す図である。 主要被写体を基準として連写撮影により得られた各画像を並べた様子を示す図である。 本実施形態に係る撮影装置により生成された合成画像の一例を示す図である。 平均化処理が施された合成画像の一例を示す図である。

以下、図面に基づき、本発明の一実施形態に係る撮影装置１００について説明する。

図１は、本実施形態に係る撮影装置１００の機能的構成を示すブロック図である。図１を用いて、本実施形態に係る撮影装置１００の構成を説明する。撮影装置１００は、デジタルカメラなどにより構成することができる。

撮影装置１００は、制御部１０と、ＲＡＭ１１と、ＲＯＭ１２と、光学レンズ装置１３と、光学系制御部１４と、光学系駆動部１５と、絞り１６と、絞り制御部１７と、絞り駆動部１８と、撮像素子１９と、ドライバ２０と、手ぶれ補正系２１と、前処理部２２と、画像入力コントローラ２３と、画像メモリ２４と、画像処理部２５と、ＡＦ／ＡＥ評価部２６と、特徴抽出部２７と、画像合成部２８と、表示制御部２９と、表示部３０と、記録媒体３１と、操作部３２と、を備える。

制御部１０は、撮影装置１００全体の動作を制御する。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などから構成される。

ＲＡＭ１１は、制御部１０が各処理を実行する際にワーキングエリアとして機能する。ＲＡＭ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。ＲＯＭ１２は、撮影装置１００が撮像素子シフト式手ぶれ補正制御用のプログラムや、図４のフローチャートに示される各処理を実行するのに必要なプログラムなどを記憶する。ＲＯＭ１２は、フラッシュメモリなどから構成される。制御部１０は、ＲＡＭ１１をワーキングエリアとして、ＲＯＭ１２に記憶されているプログラムとの協働により各処理を実行する。

光学レンズ装置１３は、フォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、被写体像を撮像素子１９の受光面に結像させるためレンズである。

光学系制御部１４は、制御部１０による制御に従って光学系駆動部１５を制御することにより、光学系駆動部１５に、光学レンズ装置１３のフォーカスレンズを光軸方向に進退させる。これにより、フォーカスレンズの位置が変化して焦点が調節される。光学系駆動部１５は、ステッピングモータなどで構成される。光学系制御部１４は、光学系駆動部１５を制御する制御回路などで構成される。

絞り羽根１６は、撮像素子１９に入射する被写体像の光量を調節する絞りとして機能する機構である。絞り羽根１６は、絞りを例えばＦ３．１〜Ｆ８の範囲で段階的に切り換える。

絞り制御部１７は、制御部１０による制御に従って絞り駆動部１８を制御することにより、絞り駆動部１８に、絞り羽根１６を駆動させる。

撮像素子１９は、光学レンズ装置１３から入射されて受光面に結像した被写体像を光電変換（撮影）することにより画像信号を蓄積する素子である。撮像素子１９の受光面には、光電変換素子であるフォトダイオードが行列状に配置されている。撮像素子１９は、露光時間を調節する電子シャッタ機能を有している。撮影時には、この電子シャッタ機能により露光時間であるシャッタ速度が調節される。なお、撮像素子１９の露光時間は、電子シャッタ機能に代えて、機械式シャッタにより制御してもよい。撮像素子１９は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサなどから構成される。なお、撮像素子１９は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサにより構成してもよい。

ドライバ２０は、制御部１０による制御に従って、撮像素子１９に蓄積された画像信号をアナログ信号として一定時間毎に順次出力させる。また、撮像素子１９の電子シャッタによるシャッタ速度は、制御部１０がドライバ２０に対して設定するパラメータを調節することよって、例えば１／４秒〜１／５１２秒の範囲で変化させることができる。

手ぶれ補正系２１は、制御部１０による撮像素子シフト式手ぶれ補正制御などに従って、撮影装置１００の光軸に直行する面内において撮像素子１９を移動させる。これにより、手ぶれが発生しても撮像素子１９上に結像される被写体像の位置がほぼ変化しないように、撮像素子１９の位置が補正される。なお、手ぶれ補正の手法は、別途設けた手ぶれ補正レンズを光軸に対して直行する面内で移動させる光学系シフト式手ぶれ補正制御でもよい。

図２は、手ぶれ補正系２１の詳細を示す図である。図２に示されるように、手ぶれ補正系２１は、手ぶれセンサ２１１と、手ぶれ補正制御回路２１２と、画素ずらし制御回路２１３と、加算回路２１４と、アクチュエータ２１５と、を含む。

手ぶれセンサ２１１は、ユーザが撮影装置１００を構える姿勢などが変化したことにより手ぶれが発生した場合などにおいて、ピッチ方向及びヨー方向における撮像装置１００の角速度を検出する。手ぶれセンサ２１１は、検出した角速度を電気信号に変換して、この電気信号を検出信号Ｄとして出力する。手ぶれセンサ２１１は、角速度センサなどから構成される。

手ぶれ補正制御回路２１２は、手ぶれセンサ２１１から供給された検出信号Ｄが示す角速度を時間的に積分することにより、撮像装置１００の振れ角である角変移量を算出する。そして、手ぶれ補正制御回路２１２は、制御部１０による撮像素子シフト式手ぶれ補正制御に従って、算出した撮像素子１９の角変位量とフォーカスレンズの焦点距離とに基づいて、手ぶれによって生じた撮像素子１９の位置の変化量を画素単位で算出する。手ぶれ補正制御回路２１２は、算出した位置の変化量を打ち消すための手ぶれ補正情報を算出して、算出した手ぶれ補正情報を示す補正信号Ｒを出力する。

画素ずらし制御回路２１３は、後述する連写合成モードにおける各撮影の開始時点においてのみ、光軸に直行する面内において撮像素子１９を所定距離だけ移動させる指示を示すオフセット信号Ｏを出力する。このオフセット信号Ｏは、検出信号Ｄが示す撮影装置１００の角速度の大きさに左右されない定常的な信号である。

加算回路２１４は、手ぶれ補正制御回路２１２から供給された補正信号Ｒと、画素ずらし制御回路２１３から供給されたオフセット信号Ｏとを加算して、加算した信号を制御信号Ｃとして出力する。つまり、この制御信号Ｃが示す補正情報は、補正信号Ｒが示す手ぶれ補正情報に対し、オフセット信号Ｏが示す画素ずらし情報を反映させた補正情報となる。

アクチュエータ２１５は、加算回路２１４から供給される制御信号Ｃに従って撮像素子１９を駆動することにより、撮影装置１００の光軸に直行する面内において撮像素子１９を移動させる。

図１に戻り、前処理部２２は、撮像素子１９から供給されたアナログ信号に対し、相関二重サンプリング処理、利得制御処理、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各信号前処理を施してディジタル信号を生成して、生成したディジタル信号を出力する。前処理部２２は、Ａ／Ｄ変換器などにより構成される。

画像入力コントローラ２３は、前処理部２２から出力されたディジタル信号を画像メモリ２４に記憶させる。

画像メモリ２４は、前処理部２２により生成されたディジタル信号や、画像処理部２５により生成される画像データを一時的に記憶する。画像メモリ２４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

画像処理部２５は、画像メモリ２４に記憶されたディジタル信号を読み出して、読み出したディジタル信号に、ホワイトバランス制御処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施して、輝度信号と色差信号とが重畳した画像データを生成する。この画像データにより被写体像が表現される。画像処理部２５は、シャッタボタンが全押し操作されたときは、比較的高画質で大容量の撮影画像用の画像データを生成する。一方、画像処理部２５は、ライブビュー画像を表示するときは、比較的低画質で小容量のライブビュー画像用の画像データを生成する。画像処理部２５は、生成した画像データを画像メモリ２４に再度記憶させる。また、画像処理部２５は、所定の圧縮形式により、画像データに対し圧縮処理を施す。画像処理部２５は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などから構成される。

本実施形態においては、撮像装置１００内で同期したパルスの高周波成分が配線パターン間の容量結合等により撮像素子１９から出力される画像信号に混入する。これによって、撮影動作により生成された画像データにより表現される各画像の同じ位置に、縦線上の固定パターンノイズが発生する。

ＡＦ／ＡＥ評価部２６は、画像メモリ２４に順次記憶されたライブビュー画像用の各画像データから高周波数成分であるＡＦ評価値を抽出して、抽出したＡＦ評価値を制御部１０に順次供給する。また、ＡＦ／ＡＥ評価部２６は、画像メモリ２４に記憶された画像データの輝度の積分値を演算し、演算した輝度の積分値を測光データとして制御部１０に供給する。

特徴抽出部２７は、画像メモリ２４に記憶された画像データから、予め指定された被写体の種別に対応した特徴部分を検出する。指定される被写体の種別は可変である。指定される被写体の種別としては、例えば、人物の全体像や顔などがある。特徴抽出部２７により検出される被写体の種別は、ユーザが操作部３２を介して設定するか、撮像装置１００の撮影モード（風景撮影モード、人物撮影モードなど）に応じて設定される。

そして、特徴抽出部２７は、画像メモリ２４に記憶された画像データにより表現される画像上の所定サンプリング点で、指定された被写体の種別に対応する特徴部分の抽出を行う。具体的には、特徴抽出部２７は、画像メモリ２４に記憶された画像データとモデルデータとのマッチング処理によりこれらの類似度を算出し、算出した類似度が所定の閾値以上のサンプリング点における画像成分を特徴部分として抽出する。ＲＯＭ１２には、予め複数の被写体の種別の特徴部分の情報がモデルデータとして記憶されている。例えば、人物の顔に関するモデルデータとしては、顔画像を表現する画像データや、顔の目、口などの局所的な特徴データがある。

特徴抽出部２７が行うマッチング処理としては、例えば、特開平９−１３０７１４号公報に記載の手法を利用することができる。この手法は、被写体距離に応じたサイズのテンプレート画像（モデルデータ）を画像内で走査させながら、各場所で正規化相関係数などを計算することにより画像の局所部分とモデルデータとの類似度分布を算出する。なお、マッチング処理はこの手法に限られるものでなく、公知の方法を適宜利用できる。

画像合成部２８は、被写体抽出部２７により抽出された特徴部分を基準として、すなわち各特徴部分の位置を一致させた状態で、複数の画像データにより表現される各画像を合成することにより、合成画像を表現する合成画像データを生成する。

表示制御部２９は、制御部１０による制御に従って、画像メモリ２４に記憶されている画像データを読み出し、読み出した画像データをアナログ信号に変換して出力する。表示制御部２９は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換器などから構成される。

表示部３０は、表示制御部２９から供給されたアナログ信号により表現される画像などを表示する。表示部３０は、撮影装置１００の筐体の背面に設けられた液晶ディスプレイなどから構成される。

記録媒体３１は、画像処理部２５により生成された画像データを記録する。記録媒体３１は、撮影装置１００に着脱可能な半導体メモリカードなどから構成される。

操作部３２は、ユーザから各種ボタンの操作を受け付ける。操作部３２は、電源ボタン、シャッタボタン、ズームボタン、カーソルキー、決定ボタン、メニューボタンなどを備える。操作部３２は、ユーザから受け付けた各種のキー操作を示す信号を制御部１０に供給する。シャッタボタンは、撮影準備（ＡＦ処理など）を指示するための半押し操作と、撮影を指示するための全押し操作とをユーザから受け付けることが可能な構成である。制御部１０は、操作部３２からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。

図３は、撮影装置１００の本実施形態に係る連写合成モードにおける動作を示すフローチャートである。図３を用いて、本実施形態に係る連写合成モードにおいて撮影装置１００が実行する動作を説明する。

本実施形態においては、ユーザが撮影装置１００を自身の手によって構えている状態で静止している主要被写体を撮影するものとする。また、本実施形態においては、撮影中に手ぶれが常時発生しており、撮影装置１００の姿勢が常時変化しているものとする。

ユーザによるメニューボタン等の操作により連写合成モードが設定されると、制御部１０は、ＲＯＭ１２に記憶されている連写合成モード用のプログラムを読み出して、このプログラムとの協働により図３のフローチャートにより示される処理を開始する。

まずステップＳ１において、制御部１０は、ライブビュー表示を開始する。具体的には、制御部１０は、画像処理部２５に、ライブビュー画像用の画像データを生成させる。そして、制御部１０は、生成されたライブビュー画像用の画像データを表示制御部２９に供給することにより、表示制御部２９に、ライブビュー画像を表示部３０に表示させる。以降、制御部１０は、画像処理部２５が順次生成するライブビュー画像用の画像データを表示制御部２９に順次供給することにより、ライブビュー画像を表示部３０に表示させる。

次にステップＳ２において、制御部１０は、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。具体的には、制御部１０は、操作部３２からのシャッタボタンの半押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが半押し操作されているか否かを判断する。制御部１０は、シャッタボタンが半押し操作されていないと判断した場合（ステップＳ２：ＮＯ）、操作部３２からのシャッタボタン半押し操作に応じた信号を検知するまで待機状態になる。一方、制御部１０は、シャッタボタンが半押し操作されていると判断した場合（ステップＳ２：ＹＥＳ）、ステップＳ３に処理を進める。

次にステップＳ３において、制御部１０は、ＡＦ処理を行う。具体的には、制御部１０は、光学系制御部１４を介して光学系駆動部１５を制御することにより、光学系駆動部１５にフォーカスレンズを光軸方向に進退させて、ＡＦ／ＡＥ評価部２６から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。

次にステップＳ４において、制御部１０は、ＡＥ処理を行う。具体的には、制御部１０は、ＲＯＭ１２から読み出したプログラム線図と、ＡＦ／ＡＥ評価部２６から供給された測光データとに基づいて、シャッタ速度、絞り値、ＩＳＯ感度からなる露出条件を決定する。そして、制御部１０は、決定された露出条件を示す制御信号を各部に供給することにより、適正な露出が得られるように各部を制御する。

次にステップＳ５において、制御部１０は、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。具体的には、制御部１０は、操作部３２からのシャッタボタンの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタンが全押し操作されているか否かを判断する。制御部１０は、シャッタボタンが全押し操作されていないと判断した場合（ステップＳ５：ＮＯ）、ステップＳ２に処理を戻す。一方、制御部１０は、シャッタボタンが全押し操作されていると判断した場合（ステップＳ５：ＹＥＳ）、ステップＳ６に処理を進める。撮影装置１００は、ユーザによる１回のシャッタボタンの全押し操作に応答して、連続して３回の撮影を実行する。

次にステップＳ６において、制御部１０は、１回目の撮影を実行する。具体的に、制御部１０は、ドライバ２０に、ステップＳ５において決定されたシャッタ速度で撮像素子１９を露光させることにより撮像素子１９に画像信号を蓄積させる。露光時間が経過した後、制御部１０は、ドライバ２０に、撮像素子１９に蓄積された画像信号をアナログ信号として出力させる。前処理部２２は、このアナログ信号からディジタル信号を生成して出力する。画像入力コントローラ２３は、このディジタル信号を画像メモリ２４に記憶させる。画像処理部２５は、画像メモリ２４に記憶されたディジタル信号から画像データを生成し、生成された画像データを画像メモリ２４に再度記憶させる。

また、制御部１０は、１回目の撮影中に手ぶれ補正制御を行う。

図４は、撮影装置１００の光軸に対する主要被写体の相対的な位置関係と、撮影装置１００の光軸に対する撮像素子１９の相対的な位置関係とを示す図である。

図４において、横軸は、１回目の撮影開始時点からの経過時間ｔを示す時間軸である。原点Ｏ（経過時間ｔ＝０）は、１回目の撮影の開始時点を示す。この横軸における１目盛り分の時間Ｔは、１回あたりの撮影動作に要する時間である。また、縦軸は、ヨー方向における撮影装置１００の光軸に対する主要被写体または撮像素子１９の相対的な距離を示す。縦軸は、ヨー方向における右方向が正に、ヨー方向における左方向が負に設定されている。この横軸の単位は、１個の画素分の距離である。ここで、１個の画素分の距離とは、撮像素子１９の撮影範囲が１個の画素分ずれるように、撮像素子１９を実空間において移動させるために必要となる距離のことである。

図４には、ヨー方向における撮影装置１００の光軸から主要被写体の中心までの距離Ａ（ｔ）が破線によって示されている。図５は、距離Ａ（ｔ）を模式的に示す図である。図５において、符号４０は、主要被写体を示す。手ぶれの発生に伴う撮像装置１００の姿勢の変化のため、ヨー方向における撮影装置１００の光軸から主要被写体までの距離Ａ（ｔ）は時々刻々と変化している。経過時間ｔにおける主要被写体の位置は、ヨー方向において、撮影装置１００の光軸に対してＡ（ｔ）個の画素分の距離だけずれていることになる。

本実施形態においては、１回目の撮影開始時点（ｔ＝０）において、主要被写体の位置は光軸上にあるものとする。また、上述の通り、主要被写体は静止している。図４に示されるように、ヨー方向における撮影装置１００の光軸から主要被写体の中心までの距離Ａ（ｔ）の値は常時正である。そのため、図４に示される例は、手ぶれにより撮影装置１００の姿勢が変化したため、連写撮影中における撮影装置１００の光軸が、撮影開始時点よりもＡ（ｔ）個の画素分の距離だけ左方向にずれていることを意味している。言い換えると、連写撮影中において、常時、主要被写体が撮影装置１００に対し相対的に右方向にずれていることを意味する。

図４には、ヨー方向における撮影装置１００の光軸から撮像素子１９の中心までの距離Ｂ（ｔ）が実線によって示されている。図６は、距離Ｂ（ｔ）を模式的に示す図である。手ぶれの発生に伴う撮像素子シフト式手ぶれ補正制御のために、ヨー方向における撮影装置１００の光軸から撮像素子１９の中心までの距Ｂ（ｔ）は時々刻々と変化している。経過時間ｔにおける撮像素子１９の位置は、ヨー方向において、撮影装置１００の光軸に対してＢ（ｔ）個の画素分の距離だけずれていることになる。１回目の撮影開始時点（ｔ＝０）において、撮影装置１００内における撮像素子１９の中心は、撮像素子１９の中心が光軸上にある。

次に、１回目の撮影時の手ぶれ補正制御に際して、手ぶれ補正系２１における処理の様子を説明する。

１回目の撮影中に、手ぶれセンサ２１１は、手ぶれによる撮像装置１００の角速度を示す検出信号Ｄを一定時間毎に出力する。

手ぶれ補正制御回路２１２は、手ぶれセンサ２１１から供給される検出信号Ｄに基づき、手ぶれによる撮像素子１９の位置の変化量を打ち消すための手ぶれ補正情報（撮像素子１９を移動させる方向や移動量等）を算出する。そして、手ぶれ補正制御回路２１２は、算出した手ぶれ補正情報を示す補正信号Ｒを一定時間毎に出力する。撮像素子１９上の任意の画素の位置を（ｎ，ｍ）とする。撮影装置１００の光軸が、主要被写体４０に対してＡ（ｔ）個の画素分の距離だけ左方向にずれている場合、補正信号Ｒが示す補正情報は（Ａ（ｔ），０）となる。そのため、補正信号Ｒは、「各画素の位置（ｎ，ｍ）を（ｎ＋Ａ（ｔ），ｍ）へと移動させる」、つまり「撮像素子１９をＡ（ｔ）個の画素分の距離だけ右方向に移動させる」という指示を示す。

一方、画素ずらし制御回路２１３は、１回目の撮影開始時点（ｔ＝０）においてのみ、画素ずらし情報（−３，０）を示すオフセット信号Ｏを出力する。１回目の撮影時点において出力されるこのオフセット信号Ｏは、「撮像素子１９を、連写撮影の撮影回数と同じ画素数分の距離だけ左方向に移動させる」という指示を示している。本実施形態においては、連写撮影の撮影回数は３回である。そのため、このオフセット信号Ｏは、「各画素の位置（ｎ，ｍ）を（ｎ−３，ｍ）へと移動させる」、つまり「撮像素子１９を３個の画素分の距離だけ左方向へと移動させる」という指示を示す。

１回目の撮影開始時点（ｔ＝０）で、加算回路２１４は、補正信号Ｒが示す手ぶれ補正情報とオフセット信号Ｏが示す画素ずらし情報とを反映させた信号を、制御信号Ｃとして出力する。そのため、１回目の撮影開始時点での制御信号Ｃが示す補正情報は、（Ａ（ｔ）−３，０）である。つまり、１回目の撮影開始時点での制御信号Ｃは、「撮像素子１９を（Ａ（ｔ）−３）個の画素分の距離だけ右方向に移動する」という指示を示す。

１回目の撮影開始時点（ｔ＝０）で、アクチュエータ２１５は、加算回路２１４から供給される制御信号Ｃに従って、光軸に直行する面内において撮像素子１９を（Ａ（ｔ）−３）個の画素分の距離だけ右方向に移動させる。

１回目の撮影開始時点（ｔ＝０）においては、まだ手ぶれが発生していないので、補正信号Ｒが示す補正情報は（０，０）となる。そのため、図４に示されるように、１回目の撮影開始時点（ｔ＝０）では、オフセット信号Ｏの影響によって、撮影装置１００の光軸に対して、撮像素子１９が３個の画素分の距離だけ左方向にずれている状態になっている。そして、上述の通り、１回目の撮影開始時点（ｔ＝０）において主要被写体の位置は光軸上にあるため、この時点では主要被写体に対し撮像素子１９が３個の画素分の距離だけ左方向にずれている状態になっている。

１回目の撮影開始時点から２回目の撮影開始時点までの間（０＜ｔ＜Ｔ）においては、画素ずらし制御回路２１３はオフセット信号Ｏの出力を停止する。従って、加算回路２１４からは、手ぶれセンサ２１１から供給された検出信号Ｄに基づいて手ぶれ補正制御回路２１２が出力した補正信号Ｒが、そのまま制御信号Ｃとしてアクチュエータ２１５に入力される。そして、この間において、制御信号Ｃに従ってアクチュエータ２１５が、手ぶれによる撮像素子１９の位置の変化量を打ち消すように撮像素子１９を移動させることになる。これにより、図４に示されるように、１回目の撮影開始時点から２回目の撮影開始時点までの間（０＜ｔ＜Ｔ）、主要被写体に対し撮像素子１９が３個の画素分の距離だけ左方向にずれている状態が維持されたまま、撮像素子１９の位置が主要被写体の位置に対して追従することとなる。

図７（Ａ）に、１回目の撮影により生成された画像データにより表現される１枚目の画像の一例である画像Ｐ１が示されている。１枚目の画像Ｐ１には、撮影された主要被写体４０とともに固定パターンノイズ５１が写っている。この１枚目の画像Ｐ１が、後述する画像データの合成処理における基準画像となる。

図３に戻り、ステップＳ７において、制御部１０は、撮影回数ｎとして「１」を設定する。具体的には、制御部１０は、撮影回数ｎが１であることを示す情報をＲＡＭ１１に記憶させる。

次にステップＳ８において、制御部１０は、２回目の撮影を実行する。２回目の撮影の具体的な処理内容は、１回目の撮影のものと同様である。また、制御部１０は、２回目の撮影中に手ぶれ補正制御を行う。

２回目の撮影時の手ぶれ補正制御に際して、手ぶれ補正系２１における処理の様子を説明する。

２回目の撮影中に、手ぶれセンサ２１１は、手ぶれによる撮像装置１００の角速度を示す検出信号Ｄを一定時間毎に出力する。

手ぶれ補正制御回路２１２は、手ぶれセンサ２１１から供給される検出信号Ｄに基づき、手ぶれによる撮像素子１９の位置の変化量を打ち消すための手ぶれ補正情報を算出する。そして、手ぶれ補正制御回路２１２は、算出した手ぶれ補正情報を示す補正信号Ｒを一定時間毎に出力する。

一方、画素ずらし制御回路２１３は、２回目の撮影開始時点（ｔ＝Ｔ）において、画素ずらし情報（１，０）を示すオフセット信号Ｏを出力する。２回目の撮影開始時点において画素ずらし制御回路２１３が発生するこのオフセット信号Ｏは、「各画素の位置（ｎ，ｍ）を（ｎ＋１，ｍ）へと移動させる」、つまり「撮像素子１９を１個の画素分の距離だけ右方向へと移動させる」という指示を示す。

２回目の撮影開始時点（ｔ＝Ｔ）で、加算回路２１４は、補正信号Ｒが示す手ぶれ補正情報とオフセット信号Ｏが示す画素ずらし情報とを反映させた信号を、制御信号Ｃとして出力する。そのため、２回目の撮影開始時点での制御信号Ｃが示す補正情報は、（Ａ（ｔ）＋１，０）である。つまり、２回目の撮影開始時点での制御信号Ｃは、「撮像素子１９を（Ａ（ｔ）＋１）個の画素分の距離だけ右方向に移動させる」という指示を示す。

２回目の撮影開始時点（ｔ＝Ｔ）で、アクチュエータ２１５は、加算回路２１４から供給される制御信号Ｃに従って、光軸に直行する面内において撮像素子１９を（Ａ（ｔ）＋１）個の画素分の距離だけ右方向に移動させる。

図４に示されるように、このオフセット信号Ｏの影響によって、撮像素子１９の撮影範囲は、１回目の撮影中（０≦ｔ＜Ｔ）に主要被写体の位置に対する撮像素子１９の位置が３画素分の距離ずれていた状態から、２回目の撮影開始時点（ｔ＝Ｔ）で主要被写体の位置に対する撮像素子１９の位置が２画素分の距離ずれる状態へと補正される。

２回目の撮影開始時点から３回目の撮影開始時点までの間（Ｔ＜ｔ＜２Ｔ）においては、画素ずらし制御回路２１３はオフセット信号Ｏの出力を停止する。従って、加算回路２１４からは、手ぶれセンサ２１１から供給された検出信号Ｄに基づいて手ぶれ補正制御回路２１２が出力した補正信号Ｒが、そのまま制御信号Ｃとしてアクチュエータ２１５に入力される。そして、この間において、制御信号Ｃに従ってアクチュエータ２１５が、手ぶれによる撮像素子１９の位置の変化量を打ち消すように撮像素子１９を移動させる。これにより、図４に示されるように、２回目の撮影開始時点から３回目の撮影開始時点までの間（０＜ｔ＜Ｔ）、主要被写体に対し撮像素子１９が２個の画素分の距離だけ左方向にずれている状態が維持されたまま、撮像素子１９の位置が主要被写体の位置に対して追従することとなる。すると、２回目の撮影中における撮像素子１９の撮影範囲は、１回目の撮影中における撮像素子１９の撮影範囲に比べ、１個の画素分だけ常時ずれていることになる。

図７（Ｂ）に、２回目の撮影により生成された画像データにより表現される２枚目の画像の一例である画像Ｐ２が示されている。画像Ｐ２の被写体は、画像Ｐ１の被写体と同じである。２枚目の画像Ｐ２には、撮影された主要被写体４０とともに、固定パターンノイズ５２が写っている。この２枚目の画像Ｐ２の撮影範囲（２回目の撮影における撮影範囲）は、１枚目の画像Ｐ１の撮影範囲（１回目の撮影における撮影範囲）とは１画素分ずれている。そのため、２枚目の画像Ｐ２内における主要被写体４０の位置は、１枚目の画像Ｐ１内における主要被写体４０の位置と１画素分だけずれている。

一方、固定パターンノイズ５１，５２は、撮像素子１９内に所定の画素領域上の所定領域に発生するものである。そのため、互いに撮影範囲が異なる１枚目の画像Ｐ１と２枚目の画像Ｐ２との間において、固定パターンノイズ５１，５２が発生する位置は同じものとなる。そのため、１枚目の画像Ｐ１における主要被写体４０と固定パターンノイズ５１との間の距離と、２枚目の画像Ｐ２における主要被写体４０と固定パターンノイズ５２との間の距離は、１画素分だけ異なっている。

図３に戻り、ステップＳ９において、制御部１０は、直前のステップＳ８の処理により新たに撮影された画像に主要被写体が写っているか否かを判断する。具体的には、制御部１０は、画像メモリ２４に記憶されている新たに撮影された画像と基準画像（１枚目の撮影画像）とで近似する画像部分があるか否かを判断する。制御部１０は、近似する画像部分があると判断した場合、新たに撮影された画像に主要被写体が写っていると判断する。一方、制御部１０は、近似する画像部分がないと判断した場合、新たに撮影された画像に主要被写体が写っていないと判断する。このステップＳ９における判断がＹＥＳとなるのは、例えば、手ぶれにより撮影装置１００の位置が非常に大きく変化したために、手ぶれ補正による撮像素子１９の移動よっても、手ぶれによる撮像素子１９の撮影範囲の変化が打ち消せない場合が考えられる。

制御部１０が、新たに撮影された画像と基準画像（１枚目の撮影画像）とで近似する画像部分があるかないかを判断する方法は任意であるが、例えば、以下のような手法が考えられる。なお、理解を容易にするため、各撮影画像が６４０×４８０の画素から構成されるものとして説明する。まず、制御部１０は、４×４の画素から構成される２００×１２５のブロックに画像を分割する。そして、制御部１０は、新たに撮影された画像と基準画像とのそれぞれについて、各ブロックに含まれる画素の輝度の総和をブロック毎に求める。そして、制御部１０は、新たに撮影された画像の輝度の総和と基準画像の輝度の総和との差分の絶対値をブロック毎に求める。ここで、制御部１０は、絶対値が所定の値以下であるブロックを近似ブロックに設定する。そして、制御部１０は、近似ブロックの密度が高い画像部分を検出する。例えば、制御部１０は、近似ブロックが縦方向、横方向ともに４つ以上連続する近似ブロック群があるか否かを判断する。制御部１０は、近似ブロック群がないと判断した場合は、近似する画像部分がないと判断する。一方、制御部１０は、近似ブロック群があると判断した場合は、近似する画像部分があると判断し、当該近似ブロック群を近似する画像部分として設定する。

制御部１０は、新たに撮影された画像に主要被写体が写っていると判断した場合（ステップＳ９；ＹＥＳ）、ステップＳ１１に処理を進める。一方、制御部１０は、新たに撮影された画像に主要被写体が写っていないと判断した場合（ステップＳ９；ＮＯ）、ステップＳ１０に処理を進める。

ステップＳ１０において、制御部１０は、直前のステップＳ８の処理により生成された画像データを画像メモリ２４から消去する。

ステップＳ１１において、制御部１０は、撮影回数ｎをインクリメントする。具体的には、制御部１０は、ＲＡＭ１１に記憶されている撮影回数ｎに１を加算する処理を行う。

ステップＳ１２において、制御部１０は、撮影回数ｎが３以上であるか否かを判断する。具体的には、制御部１０は、ＲＡＭ１１に記憶されている撮影回数ｎを確認することにより、撮影回数ｎが３以上であるか否かを判断する。制御部１０は、撮影回数ｎが３より小さいと判断した場合、ステップＳ８に処理を戻す。一方、制御部１０は、撮影回数ｎが３以上であると判断した場合、ステップＳ１３に処理を進める。

撮影回数ｎが２である場合にステップＳ８に処理が戻ると、制御部１０は、３回目の撮影を実行する。３回目の撮影の具体的な処理内容は、１回目の撮影のものと同様である。また、制御部１０は、３回目の撮影中に手ぶれ補正制御を行う。

次に、３回目の撮影時の手ぶれ補正制御に際して、手ぶれ補正系２１における処理の様子を説明する。

３回目の撮影中に、手ぶれセンサ２１１は、手ぶれによる撮像装置１００の角速度を示す検出信号Ｄを一定時間毎に出力する。

手ぶれ補正制御回路２１２は、手ぶれセンサ２１１から供給される検出信号Ｄに基づき、手ぶれによる撮像素子１９の位置の変化量を打ち消すための手ぶれ補正情報を算出する。そして、手ぶれ補正制御回路２１２は、算出した手ぶれ補正情報を示す補正信号Ｒを一定時間毎に出力する。

一方、画素ずらし制御回路２１３は、３回目の撮影開始時点（ｔ＝２Ｔ）において、画素ずらし情報（１，０）を示すオフセット信号Ｏを出力する。３回目の撮影開始時点において画素ずらし制御回路２１３が発生するこのオフセット信号Ｏは、「各画素の位置（ｎ，ｍ）を（ｎ＋１，ｍ）へと移動させる」、つまり「撮像素子１９を１個の画素分の距離だけ右方向へと移動させる」という指示を示す。

３回目の撮影開始時点（ｔ＝２Ｔ）で、加算回路２１４は、補正信号Ｒが示す手ぶれ補正情報とオフセット信号Ｏが示す画素ずらし情報とを反映させた信号を、制御信号Ｃとして出力する。そのため、３回目の撮影開始時点での制御信号Ｃが示す補正情報は、（Ａ（ｔ）＋１，０）である。つまり、３回目の撮影開始時点での制御信号Ｃは、「撮像素子１９を（Ａ（ｔ）＋１）個の画素分の距離だけ右方向に移動させる」という指示を示す。

３回目の撮影開始時点（ｔ＝２Ｔ）で、アクチュエータ２１５は、加算回路２１４から供給される制御信号Ｃに従って、光軸に直行する面内において撮像素子１９を（Ａ（ｔ）＋１）個の画素分の距離だけ右方向に移動させる。

図４に示されるように、このオフセット信号Ｏの影響によって、撮影範囲は、２回目の撮影中（Ｔ≦ｔ＜２Ｔ）に主要被写体の位置に対する撮像素子１９の位置が２画素分の距離ずれていた状態から、３回目の撮影開始時点（ｔ＝２Ｔ）において主要被写体の位置に対する撮像素子１９の位置が１画素分の距離ずれる状態へと補正される。

３回目の撮影開始時点以降（２Ｔ＜ｔ）においては、画素ずらし制御回路２１３はオフセット信号Ｏの出力を停止する。従って、加算回路２１４からは、手ぶれセンサ２１１から供給された検出信号Ｄに基づいて手ぶれ補正制御回路２１２が出力した補正信号Ｒが、そのまま制御信号Ｃとしてアクチュエータ２１５に入力される。そして、この間において、制御信号Ｃに従ってアクチュエータ２１５が、手ぶれによる撮像素子１９の位置の変化量を打ち消すように撮像素子１９を移動させる。これにより、図４に示されるように、３回目の撮影開始時点以降（２Ｔ＜ｔ）、主要被写体に対し撮像素子１９が１個の画素分の距離だけ左方向にずれている状態が維持されたまま、撮像素子１９の位置が主要被写体の位置に対して追従することとなる。すると、３回目の撮影中における撮像素子１９の撮影範囲は、２回目の撮影中における撮像素子１９の撮影範囲に比べ、１個の画素分だけ常時ずれていることになる。

図７（Ｃ）に、３回目の撮影により生成された画像データにより表現される３枚目の画像の一例である画像Ｐ３が示されている。画像Ｐ３の被写体は、画像Ｐ１，Ｐ２の被写体と同じである。３枚目の画像Ｐ３には撮影された主要被写体４０とともに、固定パターンノイズ５３が写っている。この３枚目の画像Ｐ３の撮影範囲（３回目の撮影における撮影範囲）は、２枚目の画像Ｐ２の撮影範囲（２回目の撮影における撮影範囲）とは１画素分ずれている。そのため、３枚目の画像Ｐ３内における主要被写体４０の位置は、２枚目の画像Ｐ２内における主要被写体４０の位置と１画素分だけずれている。また、３枚目の画像Ｐ３内における主要被写体４０の位置は、１枚目の画像データＰ１内における主要被写体４０の位置と２画素分だけずれているものとなる。

一方、互いに撮影範囲が異なる１〜３枚目の画像データＰ１，Ｐ２，Ｐ３において、固定パターンノイズ５１，５２，５３が発生する位置は同じものとなる。そのため、２枚目の画像Ｐ２における主要被写体４０と固定パターンノイズ５２と間の距離と、３枚目の画像Ｐ３における主要被写体４０と固定パターンノイズ５３と間の距離とは、１画素分異なることとなる。また、１枚目の画像Ｐ１における主要被写体４０と固定パターンノイズ５１と間の距離と、３枚目の画像Ｐ３における主要被写体４０と固定パターンノイズ５３と間の距離とは、２画素分異なることとなる。

図８に、上述の３枚の画像Ｐ１，Ｐ２，Ｐ３を、主要被写体４０の水平方向における中心位置を基準として時系列的に並べた様子を示す。図８から明らかなように、画像Ｐ１における主要被写体４０の位置から固定パターンノイズ５１の位置までの距離と、画像Ｐ２における主要被写体４０の位置から固定パターンノイズ５２の位置までの距離と、画像Ｐ３における主要被写体４０の位置から固定パターンノイズ５３の位置までの距離とは、互いに異なっている。

図３に戻り、ステップＳ１２で撮影回数ｎが３以上であると判断されると、ステップＳ１３において、制御部１０は、画像メモリ２４に記憶されている各画像データにより表現される画像からそれぞれ特徴部分を抽出する。具体的には、制御部１０は、特徴抽出部２７に、画像メモリ２４に記憶された画像データとＲＯＭ１２に記憶されているモデルデータとのマッチング処理により類似度を算出させ、算出した類似度が所定の閾値以上のサンプリング点における画像成分を特徴部分として抽出させる。例えば、検出する被写体の種別として人物の顔が指定されている場合、顔の目、口などの局所的な特徴部分が抽出される。

次にステップＳ１４において、制御部１０は、合成画像データを生成する。具体的には、制御部１０は、画像合成部２８に、ステップＳ１３において抽出された各特徴部分の位置を一致させた状態で、画像メモリ２４に記憶されている各画像データにより表現される各画像を合成させることにより、合成画像データを生成させる。このとき、画像合成部２８は、各画像データにより表現される各画像の特徴部分が完全に重なり合うように、画像間の位置や大きさを調整し、特徴部分の位置を一致させた状態で各画像データを合成する。例えば、画像Ｐ１，Ｐ２，Ｐ３からそれぞれ主要被写体４０の目、口などの特徴部分が抽出されている場合には、この特徴部分を一致させた状態で画像Ｐ１，Ｐ２，Ｐ３が合成される。

図９は、画像Ｐ１，Ｐ２，Ｐ３を合成した合成画像ＣＰを示す図である。図９に示されるように、主要被写体４０の特徴部分を一致させた状態で各画像を合成するので、主要被写体４０は完全に一致した状態で重ね合わせられるが、固定パターンノイズ５１，５２，５３は１画素分ずつずれた状態で重ね合わせられる。

画像合成部２８は、一旦、合成画像における各画素の輝度値と色差値を、元の各画像上で対応する位置にある各画素の輝度値および色差値を合計した値とする。この結果、例えば、合成画像ＣＰにおいて主要被写体４０の領域を構成する各画素の輝度値と色差値は、元の画像Ｐ１，Ｐ２，Ｐ３のものに比べて３倍の値になる。一方、図９に示されるように、合成画像ＣＰにおける固定パターンノイズ５１，５２，５３は、その構成画素の輝度値と色差値が合成前のものと変わらず、その位置が分散された状態となる。しかし、このままでは、元の画像Ｐ１，Ｐ２，Ｐ３に比べて、単に合成画像ＣＰ上で固定パターンノイズの数が増えただけになってしまう。

そこで、ステップＳ１５において、制御部１０は、合成画像データを平均化する。具体的には、制御部１０は、画像合成部２８に、合成画像における全ての画素の輝度値と色差値を平均化する処理を施させる。この平均化処理に際して画像合成部２８は、合成画像における全ての画素の輝度値と色差値とを３（合成する画像の枚数）で除した値を、合成画像における全ての画素の新たな輝度値と色差値とする。例えば合成画像ＣＰの場合、平均化処理によって、主要被写体４０の領域を構成する各画素の輝度値と色差値は、元の画像Ｐ１，Ｐ２，Ｐ３のものと同じ値になる。一方、固定パターンノイズ５１，５２，５３の構成画素の輝度値と色差値は、合成前のものに比べて１／３の値となる。

図１０に、合成画像ＣＰに平均化処理が施した画像である合成画像ＣＰａが示されている。図１０に示されるように、固定パターンノイズ５１，５２，５３の輝度値と色差値は、合成前のものに比べて１／３の値となったため、元の画像Ｐ１，Ｐ２，Ｐ３に比べて固定パターンノイズ５１，５２，５３が目立たなくなっている。

図３に戻り、ステップＳ１６において、制御部１０は、平均化処理が施された合成画像データを記録媒体３１に記録させる。

以上で、制御部１０は、図３に示される連写合成モードの処理を終了させる。

以上説明したように、本実施形態に係る撮影装置１００は、手ぶれが発生した場合における連写撮影時の各撮影開始時点で、手ぶれ補正情報を示す補正信号Ｒに画素ずらし情報を示すオフセット信号Ｏを反映させた制御信号Ｃに基づき、撮像素子１９を移動させるようにした。これにより、手ぶれによる撮像素子１９の撮影範囲の変化がほぼ打ち消されるとともに、撮影の度に撮影範囲が１画素分だけ変化することとなる。

ここで、撮影範囲が異なっても、撮影された各画像上では同じ位置に固定パターンノイズが発生する。このため、本実施形態に係る撮影装置１００によれば、手ぶれが発生した場合においても、連写撮影された各画像上で特徴部分（主要被写体）と固定パターンノイズとの距離を互いに異なるものにすることができる。その結果、手ぶれが発生した場合であっても、特徴部分を基準として連写撮影された各画像を合成することにより、固定パターンノイズが分散された合成画像を得ることができる。

そして、本実施形態に係る撮影装置１００においては、合成画像に対して平均化処理を施すようにした。このようにすれば、合成画像において分散されている各固定パターンノイズの輝度値と色差値とが、元の各画像における固定パターンノイズの輝度値と色差値よりも小さくなるので、合成画像において固定パターンノイズを目立たなくすることができる。

以上より、本実施形態に係る撮影装置１００によれば、撮影中に手ぶれが生じた場合であっても、撮影画像上に発生する固定パターンノイズの影響を確実に低減させることができる。

また、本実施形態に係る撮影装置１００は、撮像素子シフト式手ぶれ補正制御に従う補正信号Ｒにより撮像素子１９を移動させて手ぶれを補正するようにした。このようにすれば、連写撮影された各画像において手ぶれを要因とする被写体像のぶれがなくなるので、各画像の画質の劣化を防止できる。そして、本実施形態に係る撮影装置１００においては、これら画質の劣化のない各画像データの合成により合成画像データが生成される。その結果、合成画像データにより表現される合成画像の画質も劣化することがなくなる。

また、本実施形態に係る撮影装置１００は、連写撮影における１回目の撮影開始時に、オフセット信号Ｏにより撮像素子１９を連写撮影回数と同じ画素数分の距離だけ左方向へ移動させるようにした。撮像素子１９の位置は、アクチュエータ２１５が撮像素子１９を移動させることができる限界位置を超えることができない。しかし、このようにすれば、連写撮影中の２回目以降の各撮影におけるオフセット信号Ｏの影響によって、撮像素子１９を右方向へ順次移動させていく際に、撮影装置１００の内部において撮像素子１９を移動させることができる範囲に予め余裕を持たせることができる。つまり、撮像素子１９が２回目以降の各撮影時に右方向に順次移動していく際に、限界位置を超えることにより手ぶれ補正制御が不可能になる可能性を低減できる。これは、連写撮影における撮影回数が多く、撮像素子１９の右方向への移動量の総和が多くなる場合に特に有効となる。

本実施形態に係る撮影装置１００は、連写撮影により得られた画像のうち、主要被写体が写っていない画像を消去するようにした。このようにすれば、合成に際しての基準となる特徴情報を持つ主要被写体が写っていない画像を、合成対象から除くことがでる。その結果、合成に適正な画像データのみを用いて合成画像データを生成できる。

本実施形態に係る撮影装置１００は、１回目の撮影時に生成するオフセット信号Ｏが示す撮像素子１９の移動方向を左方向とし、２回目以降の撮影時に生成するオフセット信号Ｏが示す撮像素子１９の移動方向を右方向とした。しかし、これとは逆に、１回目の撮影時に生成するオフセット信号Ｏが示す撮像素子１９の移動方向を右方向とし、２回目以降の撮影時に生成するオフセット信号Ｏが示す撮像素子１９の移動方向を左方向としてもよい。

本実施形態に係る撮影装置１００は、連写撮影により生成された各画像の特徴部分の位置を一致させた状態でこれら各画像を合成させることにより、合成画像データを生成させるようにした。しかし、制御部１０は、画像合成部２８に、１枚目の画像と、２枚目の画像を右方向に１画素ずらした画像と、３枚目の画像を右方向に２画素ずらした画像とを合成させることにより、合成画像を生成させるようにしてもよい。この手法によっても、各画像において水平方向における主要被写体の位置を一致させた状態で、各画像を合成することができる。

本実施形態に係る撮影装置１００は、１回目の撮影時に生成するオフセット信号Ｏが示す画素ずらし情報を３画素とした。しかし、１回目の撮影時に生成するオフセット信号Ｏが示す画素ずらし情報は、４画素以上（例えば１００画素）であってもよい。

本実施形態に係る撮影装置１００は、２回目以降の撮影時に生成するオフセット信号Ｏが示す画素ずらし情報を１画素とした。しかし、２回目以降のオフセット信号Ｏが示す画素ずらし情報は、２画素以上であってもよい。

本実施形態に係る撮影装置１００は、連写撮影として３回の連続撮影を行うようにした。しかし、連写撮影による撮影回数は３回でなくともよい。つまり、合成画像データの生成に用いる画像データの枚数は３枚でなくともよい。

本実施形態に係る撮影装置１００は、手ぶれによる撮影装置１００の姿勢の変化を、手ぶれセンサ２１１の角速度センサにより検出した。しかし、撮影装置１００の位置や姿勢の変化を、撮影画像上の動きベクトルにより検出してもよい。動きベクトルの検出方法は、公知の方法を適宜利用することができる。

本実施形態に係る撮影装置１００は、合成画像データが生成された後に、合成画像データに平均化処理を施すようにした。しかし、画像データが１枚生成された時点で、新たに生成された画像データの各画素の輝度値と色差値を１／３の値にする平均化処理を施してから、平均化処理が施された各画像データを合成することにより、合成画像データを生成してもよい。

本実施形態においては、各画像データの合成における基準画像を、連写撮影により生成された１枚目の画像とした。しかし、合成に際しての基準画像を、２枚目以降の画像としてもよい。

本発明は、カメラ付き携帯電話機やカメラ付きゲーム機など、電子カメラを内蔵する機器にも適用することができる。また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。

本発明の目的は、以下の様にして達成することも可能である。まず、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータが記録媒体に格納されたプログラムコードを読み出す。この場合、記録媒体から読み出されたプログラムコード自体が本実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。ここでプログラムコードを記録する記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

１００・・・撮影装置、１０・・・制御部、１１・・・ＲＡＭ、１２・・・ＲＯＭ、１３・・・光学レンズ装置、１４・・・光学系制御部、１５・・・光学系駆動部、１６・・・絞り羽根、１７・・・絞り制御部、１８・・・絞り駆動部、１９・・・撮像素子、２０・・・ドライバ、２１・・・手ぶれ補正系、２２・・・前処理部、２３・・・画像入力コントローラ、２４・・・画像メモリ、２５・・・画像処理部、２６・・・ＡＦ／ＡＥ評価部、２７・・・特徴抽出部、２８・・・画像合成部、２９・・・表示制御部、３０・・・表示部、３１・・・記録媒体、３２・・・操作部。

Claims (9)

1. 撮像素子により被写体像を複数回撮影することにより、固定パターンノイズが発生した複数の画像を生成する撮影手段と、
   手ぶれによる前記撮像素子の撮影範囲のずれを補正し、かつ撮影の度に前記撮像素子の撮影範囲が異なるように、前記撮像手段の光軸と前記撮像素子との相対的な位置関係を変化させる補正手段と、
   前記複数の画像で共通する被写体を検出する検出手段と、
   前記複数の画像のうち前記被写体が写っていない画像を除く複数の画像を、前記検出手段により検出された被写体の位置を合成位置の基準として平均的に合成する合成手段と、
   を備えることを特徴とする撮影装置。
2. 前記補正手段は、
   手ぶれを検出して、手ぶれによる前記撮像素子の位置のずれを補正するための手ぶれ補正情報を出力する第１の出力手段と、
   前記撮像素子の位置をずらすための画素ずらし情報を出力する第２の出力手段と、
   前記手ぶれ補正情報と前記画素ずらし情報とを反映させて、前記撮像素子の移動情報を算出する算出手段と、
   前記算出手段により算出された移動情報に従って、前記撮像素子を移動させる駆動手段と、を有し、
   前記駆動手段により撮像素子を移動させることによって、前記撮像手段の光軸と前記撮像素子との相対的な位置関係を変化させる
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記第２の出力手段は、
   前記撮像素子が１回目の撮影を行うときに前記撮像素子を所定の方向に移動させる画素ずらし情報を出力するとともに、前記撮像素子が２回目以降の各撮影を行うときに前記撮像素子を前記所定の方向とは逆方向に移動させる画素ずらし情報を出力する
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記第２の出力手段は、
   前記撮像素子が１回目の撮影を行うときに前記撮像素子を前記所定の方向に第１の移動量だけ移動させる画素ずらし情報を出力するとともに、前記撮像素子が２回目以降の各撮影を行うときに前記撮像素子を前記逆方向に前記第１の移動量より小さい第２の移動量だけ移動させる画素ずらし情報を出力する
   ことを特徴とする請求項３に記載の撮影装置。
5. 前記第２の出力手段は、
   前記撮像素子が各撮影を開始する時点においてのみ前記画素ずらし情報を出力する
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記撮影手段により生成された複数の画像のうち前記被写体が写っていない画像を消去する消去手段を、さらに備え、
   前記合成手段は、
   前記複数の画像のうち前記消去手段により消去されなかった画像を平均的に合成する
   ことを特徴とする請求項１から５いずれか１項に記載の撮影装置。
7. 前記検出手段は、
   前記撮影手段により生成された複数の画像から前記共通する被写体の特徴部分を抽出する抽出手段をさらに含み、
   前記合成手段は、
   前記抽出手段により抽出された特徴部分の位置を前記合成位置の基準として前記複数の画像を平均的に合成する
   ことを特徴とする請求項１から６いずれか１項に記載の撮影装置。
8. 前記合成手段は、
   前記合成画像の輝度値と色差値が、それぞれ前記複数の画像の輝度値の平均値と色差値の平均値になるように、前記複数の画像を合成する
   ことを特徴とする請求項１から７いずれか１項に記載の撮影装置。
9. コンピュータに、
   手ぶれによる前記撮像素子の撮影範囲のずれを補正し、かつ撮影の度に前記撮像素子の撮影範囲が異なるように、前記撮像手段の光軸と前記撮像素子との相対的な位置関係を変化させる補正処理と、
   前記複数の画像で共通する被写体を検出する検出処理と、
   前記複数の画像のうち前記被写体が写っていない画像を除く複数の画像を、前記検出処理により検出された被写体の位置を合成位置の基準として平均的に合成する合成処理と、
   を実行させるプログラム。

Images