JP5656598B2 - 撮像装置、その制御方法、プログラム及び画像処理装置 - Google Patents

Description

本発明は、連続して撮影された複数枚の露出不足の画像を合成することにより、目標とする露出の画像を得る撮像装置、その制御方法、プログラム及び画像処理装置に関する。

近年、スチルカメラ、ビデオカメラ等の手持ち撮影時に発生する手ぶれを補正する技術について様々なものが提案されている。特に、手ぶれを起こしにくいシャッタースピードで複数枚の画像を撮影し（低露光画像）、撮影後の処理で各画像の位置合わせを行いながら合成することで、手ぶれの少ない画像を撮影する技術が提示されている。

例えば特許文献１には、順次撮像した画像を、経時的な位置ずれに対応して座標変換を行った後に合成する技術が開示されている。また、特許文献２には、複数枚の露出不足の画像を合成することにより、手ブレの影響の少ない目標とする露出の画像を得る撮像装置であって、撮像部の感度の上限値に基づいて、連続して撮影される各１枚の画像の撮影条件と、連続して撮影する画像の枚数とを制御する技術が開示されている。

特許第３１１０７９７号公報 特開２００９−１５２８０３号公報

しかしながら、上記のように連続して撮影された複数枚の露出不足の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る撮影手法では、以下のような問題が発生する。
一つ目は被写体動きによる被写体ぶれである。手ぶれのように面全体のずれは位置合わせすることで、ある程度補正可能だが、被写体動きは合成することで被写体ぶれとなって表れてしまう。
二つ目は画像の明るさである。各画像のシャッタースピードは、適正露光となるシャッタースピードと合成枚数の積で決定される。適正露光のシャッタースピードが１／１０（ｓ）、合成枚数が１０枚としたとき、各画像のシャッタースピードは１／１００（ｓ）となる。しかしながら、適正露光の決定は、画像中の任意の測光枠に対して行うので、撮影した画像を全て合成すると、測光枠では適正露光と同じ明るさになるが、枠外では白飛びや明るさが不足する可能性がある。そのため、完成された合成画像は必ずしも撮影者が望んだ明るさになるとは限らない。
つまり、被写体ぶれが起こらないような合成枚数と、所望の明るさになるような合成枚数とが一致しない問題が生じてしまう。

そこで、本発明は、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成できるようにすることを目的とする。

本発明の撮像装置は、連続して撮影された複数枚の画像を合成する撮像装置であって、被写体を撮影する撮影手段と、前記撮影手段で連続して撮影された画像を格納する格納手段と、前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第１合成画像を生成する第１合成手段と、前記第１合成手段で生成された、前記合成枚数の異なる複数の第１合成画像を選択可能に表示手段に表示する表示制御手段と、前記表示手段に表示された前記複数の第１合成画像の中から被写体ぶれがない画像を選択する第１選択手段と、前記表示手段に表示された前記複数の第１合成画像の中から所望の明るさの画像を選択する第２選択手段と、前記第１選択手段で選択された第１合成画像の合成枚数と、前記第２選択手段で選択された第１合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第２合成画像を生成する第２合成手段とを備えたことを特徴とする。

本発明によれば、連続して撮影された複数枚の画像を合成することにより、手ぶれの影響の少ない目標とする露出の画像を得る場合に、被写体ぶれが少なく、かつ、所望の明るさとなるような合成画像を簡単な操作で生成することができる。

第１の実施形態に係る撮像装置のシステム構成を示す図である。 第１の実施形態に係る撮像装置が実行する処理を示すフローチャートである。 第１の実施形態に係る撮像装置における動作を説明するための図である。 第１の実施形態に係る撮像装置における表示例を示す図である。 第１の実施形態に係る撮像装置における他の表示例を示す図である。 第２の実施形態に係る撮像装置のシステム構成を示す図である。 第３の実施形態に係る撮像装置における表示例を示す図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は第１の実施形態に係る撮像装置（デジタルカメラ）のシステム構成を示す図、図２は撮像装置が実行する処理を示すフローチャート、図３は撮像装置における動作を説明するための図、図４は撮像装置における表示例を示す図である。第１の実施形態では、手ぶれの影響の少ない目標とする露出の画像を得るために、１０枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して１０倍のシャッタースピードとする。そして、被写体ぶれが少なくなる合成枚数と所望の明るさとなる合成枚数を、簡易合成結果を見ながら簡単な操作で決定する形態を説明する。

図１を参照して各内部モジュールについて説明する。１００はレンズである。１０１はシャッターである。１０２は被写体を撮影する撮影手段であるセンサであり、レンズ１００を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター１０１の他にセンサ１０２の読み出しによる電子シャッターを含むものとする。１０３はＡＤ変換部であり、センサ１０２で取得したアナログの電気信号をデジタル化する。１０４はカメラ信号処理部、１０５はメモリ（バッファＡ）であり、ＡＤ変換部１０３でデジタル化された画像に対してカメラ信号処理部１０４がリサイズや現像等の各種画像処理を行い、メモリ１０５に格納、保持する。

１０７は縮小部であり、メモリ１０５に保持されている画像に対して所定の倍率で縮小を行う。１０８はゲイン補正部であり、メモリ１０５に保持されている画像に対してゲイン補正を行う。１０６はスイッチであり、メモリ１０５から読み出した画像を縮小部１０７に入力するか、ゲイン補正部１０８に入力するかを切り替える。１０９はスイッチであり、縮小部１０７で縮小された画像を出力するか、ゲイン補正部１０８でゲイン補正された画像を出力するかを切り替える。スイッチ１０６、１０９の切り替え方は、後述する簡易合成か本合成かによって決定するものである。

１１０は合成部、１１１はメモリ（バッファＢ）である。本撮像装置の合成手法は、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。１枚目に撮影された画像が合成部１１０に入力されると、合成部１１０はその画像をメモリ１１１に保持する。次に、２枚目に撮影された画像が合成部１１０に入力されると、メモリ１１１に保持されている１枚目の画像と２枚目の画像の合成処理を行い、２枚合成画像をメモリ１１１に保持する。３枚目以降の画像は、２枚目の画像と同じ処理を繰り返し、３枚合成画像、４枚合成画像、・・・、１０枚合成画像を生成していく。

１１２はスイッチ、１１５は記録部であり、合成部１１０で生成された合成画像を記録部１１５を介して記録するか否かを切り替える。１１３はスイッチ、１１４はメモリ（バッファＣ）であり、合成部１１０で生成された合成画像をメモリ１１４に保持するか否かを切り替える。

１１６は表示部であり、メモリ１１４に保持されている合成画像を表示する。１１７は操作部である。１１８は撮像装置の全体を制御するコントローラ（マイコン）である。詳細は後述するが、コントローラ１１８は、表示部１１６の表示制御を行い、簡易合成画像を表示させる。そして、操作部１１７で表示部１１６に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ１０５からの読み出し枚数、ゲイン補正部１０８でのゲイン量を制御する。

１１９はゲイン補正部であり、メモリ１１４に保持されている合成画像に対してゲイン補正を行う。１２０はスイッチであり、メモリ１１４から読み出した合成画像をそのまま表示部１１６に入力するか、ゲイン補正部１１９でゲイン補正を行ってから表示部１１６に入力するかを切り替える。

次に、図２のフローチャート及び図３、図４を用いて第１の実施形態に係る撮像装置の動作を説明する。図３において、３０１はセンサ１０２で連続して撮影され、メモリ１０５（バッファＡ）に保持される各フレームの画像を示す。本実施形態では、６枚目の画像を取り込む際に被写体動きが発生したものとする。また、３０２は各フレームに対して簡易合成を行い、メモリ１１４に保持した各画像を示し、上段が合成するフレーム番号、下段が合成した枚数を示す。３０３は実際に本合成した画像を示す。

ステップＳ２０１において、レンズ１００を通して入力され、所定のシャッタースピードでセンサ１０２に取り込んだ信号をＡＤ変換部１０３でデジタル化、カメラ信号処理部１０４で各種画像処理を行い、ステップＳ２０２に移行する。

ステップＳ２０２において、カメラ信号処理部１０４で処理した画像をメモリ１０５（バッファＡ）に保持し、ステップＳ２０３に移行する。

ステップＳ２０３において、合成する全画像、ここでは１０枚の画像をメモリ１０５（バッファＡ）に取り込むまでステップＳ２０１、Ｓ２０２の処理を繰り返し、全画像の取り込みが終了したら、ステップＳ２０４に移行する。このとき、図３の３０１のように、メモリ１０５（バッファＡ）には、フレーム０〜９までの１０枚の画像が保持されることになる。

ステップＳ２０４〜Ｓ２０７は簡易合成処理であり、縮小部１０７で縮小された縮小画像を合成し、合成枚数の異なる複数の簡易合成画像（第１合成画像）を生成する。

ステップＳ２０４において、メモリ１０５（バッファＡ）の出力が縮小部１０７の入力となるようにスイッチ１０６を切り替える。そして、メモリ１０５（バッファＡ）から読み出した画像に対して、縮小部１０７で縮小処理を行い、縮小画像を生成して、ステップＳ２０５に移行する。なお、縮小の具体的なやり方は本実施形態では問わないが、本実施形態では、バイキュービック法により縮小処理を行うものとする。

ステップＳ２０５において、縮小画像を用いた簡易合成画像を生成する。まず、縮小部１０７の出力が合成部１１０の入力となるようにスイッチ１０９を切り替える。さらに合成部１１０の出力がメモリ１１４（バッファＣ）の入力となるようにスイッチ１１３を切り替え、合成部１１０の出力が記録部１１５の入力とならないようにスイッチ１１２を切り替える。合成部１１０に入力される縮小画像が、１枚目に撮影された画像である場合、合成部１１０は、その縮小画像をメモリ１１１（バッファＢ）に保持すると同時に、１枚簡易合成画像としてメモリ１１４（バッファＣ）に保持して、ステップＳ２０７に移行する。ステップＳ２０７において、簡易合成処理が終了したかどうかの判定を行い、メモリ１０５（バッファＡ）に簡易合成していない画像がある場合、ステップＳ２０４に移行する。

次にステップＳ２０４において、２枚目に撮影された画像を合成部１１０に入力する。合成部１１０は、メモリ１１１（バッファＢ）に保持されている１枚簡易合成画像と２枚目の縮小画像の合成処理を行って２枚簡易合成画像とし、再びメモリ１１１（バッファＢ）に保持する。同時に、メモリ１１４（バッファＣ）に保持して、ステップＳ２０７に移行する。この処理を３枚簡易合成画像、４枚簡易合成画像、・・・と繰り返し、メモリ１０５（バッファＡ）に簡易合成していない画像がなくなると簡易合成を終了し、ステップＳ２０８に移行する。このとき、図３の３０２のように、メモリ１１４（バッファＣ）には１０枚の簡易合成画像が保持されることになる。

ステップＳ２０８において、メモリ１１４（バッファＣ）に保持されている簡易合成画像を表示部１１６に表示するようにスイッチ１２０を切り替え、ステップＳ２０９に移行する。図４において、４００は表示部１１６の表示画面を示す。また、４０１〜４１０が簡易合成画像を示し、４０１が１枚簡易合成画像、４０２が２枚簡易合成画像、・・・、４１０が１０枚簡易合成画像となる。４０１は１枚簡易合成画像（つまり、１枚目に撮影された画像）であり、暗い画像となっている。４０５は５枚簡易合成画像であり、簡易合成画像４０１〜４０４よりは明るいが、若干暗めの画像である。４０６は６枚簡易合成画像であり、簡易合成画像４０１〜４０５より明るいが、６枚目に人物や木等の被写体ぶれが生じたため、合成することにより被写体の像がぶれた画像となっている。簡易合成画像４０６以降は、像はぶれているが、明るさが増した画像となっていく。

ステップＳ２０９、Ｓ２１０において、撮影者は、表示部１１６を見ながら、被写体ぶれしていない画像を選択し（第１選択）、また、所望の明るさとなる画像を選択し（第２選択）、ステップＳ２１１に移行する。図４の場合、被写体ぶれしていない画像は簡易合成画像４０１〜４０５が該当するが、撮影者が、その中で最も明るい画像である５枚簡易合成画像４０５を選択したものとする。また、撮影者が、所望の明るさとなる画像として８枚簡易合成画像４０８を選択したものとする。なお、ここで言う所望の明るさとは、撮影者が好む明るさのことを指すものであり、画像を選択する基準は撮影者によるものである。なお、撮影者が被写体ぶれしていない画像を選択しない、所望の明るさとなる画像を選択しない場合であれば、１０枚の画像を合成するものとする。

また、被写体ぶれしていない画像の選択と所望の明るさとなる画像の選択の両方又はいずれか一方は撮像装置が自動的に決定する形態でも良い。例えば、被写体ぶれしていない画像は撮影者が選択するが、所望の明るさとなる画像の選択は、簡易合成画像の輝度ヒストグラムや白飛び量等から適切な枚数を自動的に計算して決定しても良い。また逆に、所望の明るさとなる画像の選択は撮影者が選択するが、被写体ぶれしていない画像の選択は、簡易合成時に行う位置合わせ時の情報等から適切な枚数を自動的に計算するようにしても良い。

また、図４以外の表示方法として、図５に示す表示画面５０１、５０２に示すように、表示部１１６に簡易合成画像４０１〜４１０が１枚ずつスクロール表示される形態でも良い。

ステップＳ２１１において、ステップＳ２０９で決定した被写体ぶれしていない画像とステップＳ２１０で決定した所望の明るさとなる画像から、本合成に使用する画像の枚数と各画像のゲイン補正量を計算し、ステップＳ２１２に移行する。被写体ぶれしない画像を得るには５枚合成すれば良いが、明るさとしては８枚分の画像を合成する必要がある。そこで、本合成を行う際は、メモリ１０５（バッファＡ）に保持されている各画像に対して、（所望の明るさとなる合成枚数／被写体ぶれのしていない合成枚数）＝８／５倍のゲインをかけるように、コントローラ１１８がゲイン補正部１０８のゲイン量を制御する（図３）。

また、実際に本合成を行う前に、本合成画像により近い画像を簡易的に表示するようにしても良い。すなわち、５枚簡易合成画像がメモリ１１４（バッファＣ）に保持されているので、スイッチ１２０の入力をゲイン補正部１１９の出力と接続し、ゲイン補正部１１９で８／５倍のゲインをかけた５枚簡易合成画像を表示部１１６に表示する。

ステップＳ２１２〜Ｓ２１４は本合成処理である。ここでは、ステップＳ２０９で選択された簡易合成画像の合成枚数と、ステップＳ２１０で選択された簡易合成画像の明るさで、メモリ１０５（バッファＡ）に保存されている画像を合成し、本合成画像（第２合成画像）を生成する。

ステップＳ２１２において、メモリ１０５（バッファＡ）の出力がゲイン補正部１０８の入力となるようにスイッチ１０６を切り替える。そして、ステップＳ２１１で決定した画像の枚数と各画像のゲイン補正量に従って、メモリ１０５（バッファＡ）から読み出した画像に対してゲイン補正部１０８でゲイン補正を行い、ステップＳ２１３に移行する。

ステップＳ２１３において、ゲイン補正部１０８の出力が合成部１１０の入力となるようにスイッチ１０９を切り替える。さらに合成部１１０の出力が記録部１１５の入力とならないようにスイッチ１１２を切り替える。合成部１１０に入力される画像が、１枚目に撮影された画像である場合、合成部１１０は、その画像に対してゲイン補正部１０８でゲイン補正し、メモリ１１１（バッファＢ）に保持する。ステップＳ２１４において、５枚の画像合成が終了したかどうかの判定を行い、メモリ１０５（バッファＡ）に合成していない画像がある場合、ステップＳ２１２に移行する。

次にステップＳ２１２において、２枚目に撮影された画像を合成部１１０に入力する。合成部１１０は、メモリ１１１（バッファＢ）に保持されている１枚目の画像と、ゲイン補正部１０８でゲイン補正した２枚目の画像の合成処理を行い、再びメモリ１１１（バッファＢ）に保持し、ステップＳ２１４に移行する。この処理を３枚合成画像、４枚合成画像、５枚合成画像と繰り返し、５枚の画像を合成し終えたら本合成を終了し、ステップＳ２１５、Ｓ２１７に移行する。なお、スイッチ１１３の状態は任意とする。スイッチ１１３をメモリ１１４（バッファＣ）に書きこむように接続すれば、表示部１１６には合成途中の画像が表示されることになる。一方、メモリ１１４（バッファＣ）に書きこまないように接続すれば、表示部１１６には何も表示されない。また、その際、合成途中を意味するＯＳＤ等を表示部１１６に表示するようにしても良い。

ステップＳ２１５、Ｓ２１７において、合成部１１０の出力が記録部１１５の入力となるようにスイッチ１１２を切り替え、５枚合成した画像（本合成画像）を記録部１１５に送り、ＳＤカードを始めとした記録媒体に記録する。

また、ステップＳ２１６、Ｓ２１８において、合成部１１０の出力がメモリ１１４（バッファＣ）の入力となるようにスイッチ１１３を切り替え、５枚合成した画像（本合成画像）をメモリ１１４（バッファＣ）に保持し、その画像を表示部１１６に表示する。記録と表示が完了したら、ステップＳ２１９に移行し、本処理を終了する。

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。

また、本実施形態では、撮影された画像を表示用に縮小して合成する簡易合成画像と記録用の本合成画像の合成を、スイッチ１０６の切り替えによって同一の合成回路によって実現している。この構成を用いて本合成画像のための合成を行わずに済むタイミングで簡易合成を行うことで、別途簡易合成用の合成画像等を必要とすることなく、本発明を実施可能としている。

（第２の実施形態）
上記第１の実施形態は、メモリ１０５（バッファＡ）から読み出した合成前の画像に対してゲイン補正を行う形態であったが、第２の実施形態は、合成後の画像に対してゲイン補正を行う形態である。なお、撮像装置の構成及び基本的な動作は第１の実施形態と同様であり、以下では相違点を中心に説明する。第２の実施形態でも、第１の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、１０枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して１０倍のシャッタースピードとする。そして、６枚目の画像を取り込む際に被写体動きが発生したものとする。

図６は第２の実施形態に係る撮像装置のシステム構成を示す図である。図６を参照して各内部モジュールについて説明する。６００はレンズである。６０１はシャッターである。６０２は被写体を撮影する撮影手段であるセンサであり、レンズ６００を通して入力される光信号をアナログの電気信号に変換する。なお、本文中でのシャッターは、メカシャッター６０１の他にセンサ６０２の読み出しによる電子シャッターを含むものとする。６０３はＡＤ変換部であり、センサ６０２で取得したアナログの電気信号をデジタル化する。６０４はカメラ信号処理部、６０５はメモリ（バッファＡ）であり、ＡＤ変換部６０３でデジタル化された画像に対してカメラ信号処理部６０４がリサイズや現像等の各種画像処理を行い、メモリ６０５に格納、保持する。

６０７は縮小部であり、メモリ６０５に保持されている画像に対して所定の倍率で縮小を行う。６０９はスイッチであり、縮小部６０７で縮小された画像を出力するか、メモリ６０５に保持されている画像を出力するかを切り替える。

６１０は合成部、６１１はメモリ（バッファＢ）である。本撮像装置の合成手法は、第１の実施形態と同様、連続して撮像した複数枚の画像に対して、順次位置合わせを行いながら合成する手法とする。

６０８はゲイン補正部であり、合成部６１０の出力に対してゲイン補正を行う。６１２はスイッチであり、合成部６１０で合成された画像を出力とするか、ゲイン補正部６０８でゲイン補正された画像を出力とするかを切り替える。

６１２はスイッチ、６１５は記録部であり、合成部６６０で生成された合成画像を記録部６１５を介して記録するか否かを切り替える。６１３はスイッチ、６１４はメモリ（バッファＣ）であり、合成部６１０で生成された合成画像をメモリ６１４に保持するか否かを切り替える。

６１６は表示部であり、メモリ６１４に保持されている合成画像を表示する。６１７は操作部である。６１８は撮像装置の全体を制御するコントローラ（マイコン）である。詳細は後述するが、コントローラ６１８は、表示部６１６の表示制御を行い、簡易合成画像を表示させる。そして、操作部６１７で表示部６１６に表示されている画像から撮影者が画像を選択すると、合成に使用する画像と枚数を決定し、メモリ６０５からの読み出し枚数、ゲイン補正部６０８でのゲイン量を制御する。

６１９はゲイン補正部であり、メモリ６１４に保持されている合成画像に対してゲイン補正を行う。６２０はスイッチであり、メモリ６１４から読み出した合成画像をそのまま表示部６１６に入力するか、ゲイン補正部６１９でゲイン補正を行ってから表示部６１６に入力するかを切り替える。

次に、第２の実施形態に係る撮像装置の動作を説明する。簡易合成画像を生成し、画像を選択するところまでは、第１の実施形態と同じである（図２のフローチャートのステップＳ２０１〜Ｓ２１０）。本合成時は、メモリ６０５（バッファＡ）の出力が合成部６１０の入力となるようにスイッチ６０９を切り替え、合成部６１０の出力がゲイン補正部６０８の入力となるようにスイッチ６２１を切り替える。また、合成途中の画像は記録しないので、合成が終了するまでは、スイッチ６２１の出力が記録部１１５の入力とならないようにスイッチ６１２を切り替える。合成部６１０に入力される画像が、１枚目に撮影された画像である場合、合成部６１０は、その画像をメモリ６１１（バッファＢ）に保持する。次に、５枚の画像合成が終了したかどうかの判定を行い、メモリ６０５（バッファＡ）に合成していない画像がある場合、２枚目に撮影された画像を合成部６１０に入力する。合成部６１０は、メモリ６１１（バッファＢ）に保持されている１枚目の画像と、２枚目の画像の合成処理を行い、再びメモリ６１１（バッファＢ）に保持する。この処理を３枚合成画像、４枚合成画像、５枚合成画像と繰り返す。５枚の画像を合成し終えたら、ゲイン補正部６０８で８／５倍のゲインをかけて本合成画像を生成する。その後、スイッチ６１２を記録部６１５と接続し、記録媒体への記録を行う。また、合成部６１０の出力がメモリ６１４（バッファＣ）に保持されるようにスイッチ６１３を切り替え、５枚合成した画像（本合成画像）をメモリ６１４（バッファＣ）に保持し、その画像を表示部６１６に表示する。

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。これにより、ユーザは簡単な操作で、例えば被写体ぶれが少なくなる合成枚数の合成画像を、所望の明るさで取得することができる。

（第３の実施形態）
第３の実施形態は、簡易合成画像の表示の中から、被写体ぶれしていない画像と所望の明るさとなる画像の選択をする際に、明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する形態である。なお、撮像装置の構成及び基本的な動作は第１の実施形態と同様であり、以下では相違点を中心に説明する。第３の実施形態でも、第１、２の実施形態と同様、手ぶれの影響の少ない目標とする露出の画像を得るために、１０枚の画像を連続して撮影する。その際、各画像のシャッタースピードは、任意の測光枠で決定した適正露光となるシャッタースピードに対して１０倍のシャッタースピードとする。そして、３枚目の画像を取り込む際に被写体動きが発生したものとする。

図７は、表示部１６１に簡易合成画像を表示した表示画面７００を示す。第１の実施形態の図４と同様で、７０１が１枚簡易合成画像、７０２が２枚簡易合成画像、・・・、７１０が１０枚簡易合成画像を示す。仮に１０枚撮影した画像の中で、被写体ぶれしていない画像として２枚目、所望の明るさとなる画像として９枚目を選択してしまうと、画像にかけるゲインが９／２倍となり、ノイズが大きくなりすぎてしまう。そこで、被写体ぶれしていない画像として２枚目を選択したときは、ノイズが目立たないゲイン量を本装置内部で算出する。そのゲイン量が３倍だとすると、６枚合成まではノイズが目立たないことになる。そして、表示部１１６から画像を選択する際に、１枚簡易合成画像７０１から６枚簡易合成画像７０６は選択可能とし、７枚簡易合成画像７０７から１０枚簡易合成画像７１０は選択できないように表示する。

以上のように、本実施形態では、撮影された複数枚の画像を順次簡易合成した結果を表示し、その画像を参照してユーザが所望の合成枚数、所望の明るさとなる合成枚数を指定できるようにする。さらにこのとき、合成枚数の指定画像と所望の明るさとなる合成枚数の指定画像との明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限する。これにより、ユーザに合成の自由度を与えながらも、画像の破たんの少ない合成画像を生成することができる。

本実施形態では、ノイズが大きくなりすぎてしまう画像を選択できないように表示していたが、これに限らず、単にノイズが目立たないゲイン量で済む画像を強調表示する等して全画像を選択可能にしても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００、６００：レンズ、１０１、６０１：シャッター、１０２、６０３：センサ、１０３、６０３：ＡＤ変換部、１０４、６０４：カメラ信号処理部、１０５、６０５：メモリ（バッファＡ）、１０６：スイッチ、１０７、６０７：縮小部、１０８、６０８：ゲイン補正部、１０９、６０９：スイッチ、１１０、６１０：合成部、１１１、６１１：メモリ（バッファＢ）、１１２、６１２：スイッチ、１１３、６１３：スイッチ、１１４、６１４：メモリ（バッファＣ）、１１５、６１５：記録部、１１６、６１６：表示部、１１７、６１７：操作部、１１８、６１８：コントローラ、１１９、６１９：ゲイン補正部、１２０、６２０：スイッチ、６２１：スイッチ

Claims (11)

1. 連続して撮影された複数枚の画像を合成する撮像装置であって、
   被写体を撮影する撮影手段と、
   前記撮影手段で連続して撮影された画像を格納する格納手段と、
   前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
   前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第１合成画像を生成する第１合成手段と、
   前記第１合成手段で生成された、前記合成枚数の異なる複数の第１合成画像を選択可能に表示手段に表示する表示制御手段と、
   前記表示手段に表示された前記複数の第１合成画像の中から被写体ぶれがない画像を選択する第１選択手段と、
   前記表示手段に表示された前記複数の第１合成画像の中から所望の明るさの画像を選択する第２選択手段と、
   前記第１選択手段で選択された第１合成画像の合成枚数と、前記第２選択手段で選択された第１合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第２合成画像を生成する第２合成手段とを備えたことを特徴とする撮像装置。
2. 前記格納手段に格納された画像を前記縮小手段を通して取得するか、前記縮小手段を通さずに取得するかを選択するスイッチを有し、
   前記第１合成手段と前記第２合成手段は同一の合成回路であることを特徴とする請求項１に記載の撮像装置。
3. 前記第２合成手段は、ゲイン補正を行うことにより、前記第２選択手段で選択された第１合成画像の明るさの第２合成画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２選択手段は、前記第１選択手段で選択された第１合成画像の明るさとの明るさの差分が所定範囲内となるように、選択可能な画像の範囲を制限することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記表示制御手段は、前記第２合成手段で合成が行われる前に、前記第１選択手段で選択された第１合成画像に、前記第２選択手段で選択された第１合成画像の明るさになるようにゲイン補正を行って前記表示部に表示することを特徴とする請求項２に記載の撮像装置。
6. 前記第１選択手段及び前記第２選択手段のうち少なくともいずれか一方は撮影者の操作に従って画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１選択手段及び前記第２選択手段のうち少なくともいずれか一方は自動的に画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 連続して撮影された複数枚の画像を合成する撮像装置の制御方法であって、
   被写体を撮影する撮影手段で連続して撮影された画像を格納手段に格納する格納ステップと、
   前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小ステップと、
   前記縮小ステップで生成された縮小画像を合成し、合成枚数の異なる複数の第１合成画像を生成する第１合成ステップと、
   前記第１合成ステップで生成された、前記合成枚数の異なる複数の第１合成画像を選択可能に表示手段に表示する表示ステップと、
   前記表示ステップで前記表示手段に表示された前記複数の第１合成画像の中から被写体ぶれがない画像を選択する第１選択ステップと、
   前記表示ステップで前記表示手段に表示された前記複数の第１合成画像の中から所望の明るさの画像を選択する第２選択ステップと、
   前記第１選択ステップで選択された第１合成画像の合成枚数と、前記第２選択ステップで選択された第１合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第２合成画像を生成する第２合成ステップとを有することを特徴とする撮像装置の制御方法。
9. 連続して撮影された複数枚の画像を合成する撮像装置を制御するためのプログラムであって、
   被写体を撮影する撮影手段で連続して撮影された画像を格納する格納手段と、
   前記撮影手段で連続して撮影された画像をそれぞれ縮小し、縮小画像を生成する縮小手段と、
   前記縮小手段で生成された縮小画像を合成し、合成枚数の異なる複数の第１合成画像を生成する第１合成手段と、
   前記第１合成手段で生成された、前記合成枚数の異なる複数の第１合成画像を選択可能に表示手段に表示する表示制御手段と、
   前記表示手段に表示された前記複数の第１合成画像の中から被写体ぶれがない画像を選択する第１選択手段と、
   前記表示手段に表示された前記複数の第１合成画像の中から所望の明るさの画像を選択する第２選択手段と、
   前記第１選択手段で選択された第１合成画像の合成枚数と、前記第２選択手段で選択された第１合成画像の明るさで、前記格納手段に格納された前記連続して撮影された画像を合成し、第２合成画像を生成する第２合成手段としてコンピュータを機能させるためのプログラム。
10. 連続して撮影された複数枚の画像を合成する画像処理装置であって、
    前記複数枚の画像を用いて合成枚数の異なる複数の第１合成画像を生成する第１生成手段と、
    前記複数の第１合成画像を選択可能に表示する表示手段と、
    前記表示手段に表示された前記複数の第１合成画像から被写体ぶれがない画像を選択する第１選択手段と、
    前記表示手段に表示された前記複数の第１合成画像から所望の明るさの画像を選択する第２選択手段と、
    前記第１選択手段で選択された第１合成画像の合成枚数と、前記第２選択手段で選択された第１合成画像の明るさに基づき、前記複数枚の画像を用いて、第２合成画像を生成する第２合成手段とを備えたことを特徴とする画像処理装置。
11. 前記第２合成手段は、ゲイン補正を行うことにより、前記第２選択手段で選択された第１合成画像の明るさの第２合成画像を生成することを特徴とする請求項１０に記載の画像処理装置。

Images