JP4497001B2 - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Description

本発明は、複数回の撮影により生成した画像を合成して合成画像を生成する画像処理装置、電子カメラ、および画像処理プログラムに関する。

従来より、分割露光による撮像を繰り返して生成した複数枚の画像を合成し、最終的に１枚の合成画像を得る構成とした電子カメラが知られている（例えば、特許文献１参照）。
特許文献１の電子カメラにおいては、ダイナミックレンジの制限された複数の画像を生成し、これらを合成することにより、ダイナミックレンジの拡張された画像を得ることができる。また、画像の合成を行う場合には、撮像を複数回繰り返す際の撮影時のカメラの振動等による各画像のずれを補正するために位置合わせが行われる。
特開２００４−１５９２９２号公報

しかし、上述した位置合わせによるずれの補正は、被写体自身の動きが大きい場合、特に、複数回撮影の間に形が変化してしまうような場合に、位置合わせ演算に時間がかかるなど効果的に合成することができないばかりか、最終的に得られた画像上に異なった形の複数の被写体が現出してしまうなど、合成による新たな不都合を生じさせる結果となってしまっていた。

本発明は、被写体に応じて効果的に画像を合成して高画質の合成画像を生成することができる画像処理装置、電子カメラ、および画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、被写界の像を、繰り返し撮像して得られた所定数以上の画像から、１フレームの基準画像を決定する決定部と、前記所定数以上の画像のうちの前記基準画像を除いた画像からなる比較画像のそれぞれについて、前記基準画像を比較対象として近似度合の評価を行う評価部と、前記比較画像から、前記評価部による評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と前記基準画像とを用いて、合成画像を生成する合成部とを備えたことを特徴とする。

なお、前記合成部は、前記選択画像の各々に対して、前記基準画像を基準として位置合わせ処理を行い、当該位置合わせ処理を施された各々の前記選択画像と、前記基準画像との加算処理によって前記合成画像を生成しても良い。
また、前記評価部は、前記被写界中の主要被写体の前記比較画像のそれぞれにおける動き量と、前記主要被写体の前記比較画像のそれぞれにおける変形度合と、前記比較画像のそれぞれのフォーカス状態と、前記比較画像のそれぞれの明度との少なくとも１つをファクターとして前記評価を行っても良い。

また、前記評価部は、前記比較画像のそれぞれを複数の領域に分割し、各領域における被写体の動き量と、前記各領域における前記被写体の変形度合と、前記各領域におけるフォーカス状態と、前記各領域における明度分布との少なくとも１つをファクターとして前記評価を行っても良い。

また、前記決定部は、前記所定数以上の画像のそれぞれにおける明るさと、コントラストと、高周波成分との少なくとも１つに基づいて、前記基準画像を決定しても良い。
また、前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部を有し、前記決定部は、前記繰り返し撮像動作の最初に撮像された画像を前記基準画像として決定し、前記評価部は、前記撮像部による繰り返し撮像動作と並行して、前記近似度合の評価を行っても良い。

また、前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部と、予備発光を行う照明部とを備え、前記撮像部は、前記照明部による予備発光時に焦点調節を行い、その後、前記被写界の像を繰り返し撮像し、前記所定数以上の画像の生成を終了するまでの間、焦点状態を固定しても良い。

また、前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部を有し、前記決定部は、前記繰り返し撮像動作の最初に撮像された画像の中から、所定の被写体を設定し、前記撮像部は、前記繰り返し撮像動作の行われている間、前記所定の被写体に対して、継続的に自動合焦動作を行っても良い。

本発明の電子カメラは、上述した何れかの画像処理装置を備えた電子カメラであって、被写界の像を繰り返し撮像し、複数の画像を連続的に生成する予備撮像動作を行うとともに、前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する本撮像動作を行う撮像部と、前記予備撮像動作により連続的に生成された前記複数の画像のそれぞれから、所定の特徴量を抽出する抽出部と、前記抽出部により抽出したそれぞれの前記特徴量を比較して、その変化量が所定の閾値より小さい場合には、前記合成部による画像の合成を行うと判定する判定部とを有し、前記判定部が、前記合成部による画像の合成を行うと判定した場合、前記決定部は、前記本撮像動作によって得られた前記所定数以上の画像から、１フレームの基準画像を決定し、前記評価部は、前記所定数以上の画像のうちの前記基準画像を除いた画像からなる比較画像のそれぞれについて、前記基準画像を比較対象として近似度合の評価を行い、前記合成部は、前記比較画像から、前記評価部による評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と前記基準画像とを用いて合成画像を生成することを特徴とする。

なお、上記発明に関する構成を、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。

本発明の画像処理装置、電子カメラ、および画像処理プログラムによれば、被写体に応じて効果的に画像を合成して高画質の合成画像を生成することができる。

《第１実施形態》
以下、本発明の第１実施形態について説明する。
第１実施形態の電子カメラ１は、図１の機能ブロック図に示すように、制御部（回路）２、撮像部（回路）３、画像処理部（回路）４、記録部（回路）５、照明部（回路）６、測光部（回路）８を備え、これらの各部はバスを介して相互に接続される。また、電子カメラ１は、不図示の電源ボタンやレリーズボタンなどを含む操作部７を備える。

コントローラとして機能する制御部２は、不図示のＣＰＵやメモリなどを備え、メモリには各部を制御するためのプログラムを予め記録している。また、制御部２は、本発明の特徴である基準画像の決定、画像の評価、合成する画像の選択なども行う（詳細は後述する）。また、制御部２は、撮影回数をカウントする不図示のカウンタを備える。また、制御部２は、測光部８による測光データをもとに、撮像部３による撮像パラメータ（例えば、絞り値）を設定する。

撮像部３は、不図示の撮影レンズ、シャッタ、撮像素子、絞りなどを含み、制御部２で設定された撮影パラメータで被写体像を撮像して画像を生成する。不図示のシャッタを開放する時間を調整することで、撮像素子に露光する露光量を調節することができる。なお、このシャッタは、撮像素子の電子シャッタ機能によって実現する構成としても良いし、両者を併用する構成としても良い。

また、画像処理部４は、撮像部３により生成された画像信号に対してホワイトバランス調整などの所定の画像処理を施すとともに、本発明の特徴である画像の合成を行う。また、記録部５は、画像処理部４により画像処理が施された画像データを記録し、メモリカードなどのリムーバブルメモリを着脱可能である。
以上説明した構成の電子カメラ１の撮影時の動作について、図２のフローチャートおよび図３のタイミングチャートを用いて説明する。以下では、本発明の特徴である画像を合成する場合の処理について説明する。

操作部７を介して、ユーザにより撮影開始が指示されると、ステップＳ１において、制御部２は、全露光時間とその分割数Ｎとを決定する。制御部２は、全露光時間とその分割数Ｎとを、測光部８による測光データ、撮像部３の撮像素子により得られる画像信号レベル、撮像部３の撮像素子の感度やノイズ性能、分割露光時間の長さ（すなわち、シャッタ速度）等の諸条件により決定する。ここでは、このような諸条件によって、露光時間の分割数Ｎが、例えば、Ｎ＝４と決定されたものとして説明を行う。これは、例えば、ある撮影パラメータによって、撮像素子により撮像された被写体像の信号レベルが、適正レベルの約１／４のレベルである場合に相当する。

ステップＳ２において、制御部２は、制御部２内の不図示のカウンタを初期化し、カウント値ｎをｎ＝０とする。
ステップＳ３において、制御部２は、図３に示すパルス信号Ａのタイミングでの撮像部３の画像信号出力を禁止する。すなわち、制御部２は、図３に示すパルス信号を一定の周期（例えば、３２ｍｓ）で撮像部３に出力する。そして、撮像部３は、例えば、パルス信号Ｂのタイミングで撮像部３の撮像素子より、蓄積電荷の読み出しを行い、画像信号の出力を行う。図３の例においては、シャッタ開放状態にある場合には、パルス信号の入力があっても蓄積電荷の読み出し、画像信号の出力を行わない構成とされており、制御部２は、パルス信号Ａのタイミングでの蓄積電荷の読み出し、画像信号を禁止する。

ステップＳ４において、制御部２は、撮像部３の不図示のシャッタを時間ｔ開放した後閉じる。時間ｔは、全露光時間をステップＳ１で決定した分割数Ｎで除した時間である。本実施形態では分割数Ｎで均等に除す例を示すが、この限りではない。
ステップＳ５において、制御部２は、シャッタ閉動作に続くパルス信号のタイミングでの蓄積電荷の読み出し、画像信号の出力を許可する。これは図３に示すパルス信号Ｂのタイミングで、蓄積電荷の読み出し、画像信号の出力を行うためである。例えば、シャッタ開放時間が５０ｍｓであった場合には、パルス信号Ｂのタイミングでも蓄積電荷の読み出し、画像信号の出力が禁止され、パルス信号Ｂに続くパルス信号Ｃのタイミングで、蓄積電荷の読み出し、画像信号の出力が許可されることとなる。

ステップＳ６において、制御部２は、撮像部３にパルス信号Ｂのタイミングでの蓄積電荷の読み出し、画像信号の出力を行わせ、画像データの記録を行う。撮像部３は、パルス信号Ｂのタイミングで撮像部３の撮像素子の画像信号の出力を行う。すなわち、シャッタが閉じた後の、次のパルス信号のタイミングで、シャッタが閉じる前に撮像素子に蓄積された蓄積電荷を読み出して、画像信号として出力する。撮像部３により出力される画像信号は、Ａ／Ｄ変換を始めとする信号処理が施された後、画像処理部４に入力され、これより出力される画像データは制御部２内の不図示のメモリに記録される。

ステップＳ７において、制御部２は、制御部２内の不図示のカウンタのカウント値を１増やし、ｎ＝ｎ＋１とする。
ステップＳ８において、制御部２は、ｎ＝Ｎ×２であるか否かを判定する。ここで、「Ｎ×２」とは、請求項の「所定数以上」の一例である。また、本実施形態における、「Ｎ＋１」は請求項の「所定数」の一例である。ｎ＝Ｎ×２とするのは、後述する画像の評価および選択において、合成に適した画像を選択する際に、予備を含めた画像が必要であることに起因する（詳細は後述する）。なお、本実施形態では、Ｎ×２としたが、この限りではない。制御部２は、ｎ＝Ｎ×２になるまでステップＳ３からステップＳ８の処理を繰り返し、ｎ＝Ｎ×２に達すると、ステップＳ９に進む。この時点で、制御部２内の不図示のメモリには、（Ｎ×２）フレームの画像が記録されることになる。

ステップＳ９において、制御部２は、基準画像を決定する。制御部２は、制御部２内のメモリに記録される連続撮影画像のそれぞれについて、画像データレベル（明るさ）と、コントラストと、空間周波数の高周波成分との少なくとも１つを求め、最も合成に適した画像を基準画像として決定する。例えば、画像データレベルが飽和レベルに達していない、最も明るい画像、最もコントラスト値が高い画像、最も高周波成分が多い画像などが基準画像として設定される。

ステップＳ１０において、制御部２は、画像の評価を行う。制御部２は、ステップＳ９で決定した基準画像を比較の対象とし、不図示のメモリに記録された（Ｎ×２）フレームの画像のうち、基準画像を除くそれぞれの画像（比較画像）の基準画像に対する近似度合について、被写界中の主要被写体の画像における動き量、画像のフォーカス状態、被写体の変形度合、および画像の明度をファクターとして評価を行う。制御部２は、それぞれのファクターについて数値化して評価を行う。なお、主要被写体は、基準画像の中からユーザが指示して選択する、あるいは、基準画像の中央部に位置する被写体が自動的に主要被写体として設定される等の方法によって設定される。

・主要被写体の動き量について
静止する背景に対して主要被写体（人物）が動いている場合、主要被写体の動き情報を基に、主要被写体を基準にして画像全体の位置合わせを行って合成画像を得る場合、主要被写体の位置は一致させることができるが、その分、背景が多重像となった合成画像が得られてしまう。多重像の間隔は、主要被写体の動き量が大きいほど大きくなり、合成画像の画質が劣化することになる。したがって、動き量が小さいほど評価値を高くする。なお、動き量は、画面中の主要被写体領域のみではなく、画面中の他の領域を含んだ領域で評価するものであっても良い。

・フォーカス状態について
フォーカスがぼけると、画像の位置合わせ（動き補償処理）おけるブロックマッチングの精度が低下し、結果としてぼけた合成画像が得られてしまう。ブロックマッチング処理は、動き補償処理において良く用いられる一般的な技術であり、例えば、特開平５−４０８２８号公報に技術の一例が開示されている。したがって、フォーカス状態の変化が小さいほど評価値を高くする。なお、フォーカス状態の変化についても、主要被写体領域のみではなく、その他の領域を含んだ領域で評価するものであっても良い。

また、フォーカス状態の変化を抑えるために、ステップＳ２で説明したカウンタの初期化の後に、照明部６による予備発光を行って焦点調節を行い、その後、ステップＳ８でｎ＝Ｎ×２になるまで焦点状態を固定するようにしても良い。このように焦点状態を保持することにより、フォーカス状態の変化を抑えることができる。このような処理は自動で行われるようにしても良いし、ユーザ操作に応じて行われるようにしても良い。
・被写体の変形度合について
ブロックマッチング処理による基準画像のブロックの比較処理において、拡大、縮小処理を含む構成とすれば、被写体の変形度合の大きさが大きくなければ、時間と共に変形（大きさの変化を含む）する被写体が含まれる複数フレームの画像についても合成することができる。

しかし、基準画像中の被写体に対する、残りの画像の被写体の変形（大きさの変化を含む）度合が大きいと、ブロックマッチング処理に誤りが発生する可能性が高くなり、結果として、例えば被写体部が多重像となった合成画像が得られてしまう。
このように、ブロックマッチング処理が対応できなくなる確率は、被写体の変形度合（変倍度合）が大きくなるほど大きくなる。したがって、被写体の変形度合（変倍度合）が小さいほど、評価値を高くする。

被写体の変形度合は、例えば、基準画像中の被写体に対して変倍処理を施した変倍被写体像と、比較対象となる画像中の被写体像との画像データの差分値を算出し、変倍処理の倍率と画像データの差分値とを基に判断する。変倍処理の倍率が１で、画像データの差分値が０の場合には、基準画像中の被写体と、比較対象となる画像中の被写体とが同じであることを示しており、評価値が最も高く設定される。

この評価は、合成画像の高品質化を図るために基準画像中の全ての被写体について行っても良いし、演算時間の短縮化を図るために、例えば主要被写体など一部の被写体についてのみ行っても良い。
・画像の明度について
ブロックマッチング処理による基準画像のブロックの比較処理において、基準画像と、比較対象となる画像との間で、明るさの変化がある場合には、ブロックマッチング処理が正常に行われなくなる。

このため、基準画像の明るさを基準として、比較対象となる画像の明るさを評価し、明るさが同じ場合の評価値を最も高く設定し、明るさの変化量が大きいほど、評価値を低く設定する。この評価は、画面全体の平均的な明るさについて行っても良いし、主要被写体が含まれる領域など画面内の一部の被写体領域についてのみ行っても良い。
ステップＳ１１において、制御部２は、ステップＳ１０で行った評価結果に応じて、合成する画像を選択する。制御部２は、不図示のメモリに記録された（Ｎ×２）フレームの画像のうち、評価の高い順に３フレーム（すなわち、（Ｎ−２）フレーム）の画像（選択画像）を選択し、基準画像と合わせて４フレームの画像を合成する画像として選択し、画像処理部４に供給する。

ステップＳ１２において、制御部２は、ステップＳ１１で決定した４フレームの画像の間で、基準画像を基準とした位置合わせ処理を行った上で、合成する。
基準画像は、複数のブロックに分割され、分割された各ブロックと、合成に用いられる残りの画像との間で、ブロックマッチング処理が行われ、基準画像の各ブロックの動きベクトルが、各画像に対して求められる。

このようにして求められた動きベクトルをもとに、合成に用いられる残りの各画像の領域と、基準画像のある領域との対応付けを行い、動きベクトルによって対応付けられた各画像の領域を、対応する基準画像の領域位置に移動した上で、領域内の各画素ごとに、画像データの加算処理が行われる。
ここで、例えばブロックの大きさを小さくし、ブロックマッチング処理による基準画像のブロックとの比較処理において、拡大、縮小処理を行い、各画像の領域を、対応する基準画像の領域位置に移動する際に補間処理を行う構成とすれば、時間と共に変形（大きさの変化を含む）する被写体が含まれる複数フレームの画像についても合成することができる。

ステップＳ１３において、制御部２は、ステップＳ１２の処理の結果得られた合成画像を、記録部５に記録し、一連の処理を終了する。
以上説明したように、第１実施形態によれば、被写界の像を、繰り返し撮像して得られた所定数以上の画像から、１フレームの基準画像を決定し、所定数以上の画像のうちの基準画像を除いた画像からなる比較画像のそれぞれについて、基準画像を比較対象として近似度合の評価を行う。そして、比較画像から、評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と基準画像とを用いて、合成画像を生成する。さらに、合成画像の生成は、選択画像の各々に対して、基準画像を基準として位置合わせ処理を行い、当該位置合わせ処理を施された各々の選択画像と、基準画像との加算処理によって行う。したがって、合成に適した画像から順に（評価の順位の高い順に）選択して合成することにより、被写体に応じて効果的に画像を合成して高画質の合成画像を生成することができる。例えば、連続して撮像した画像のうち、１フレームの画像において動き量が大きくなり、次の画像で元の状態に戻った場合には、動き量が大きい画像は、評価の順位が低くなり、結果として合成の対象から除くことができる。

上述のブロックマッチング処理には、膨大な演算が必要となる。評価値の高い順に合成に用いる画像を選択する構成とすれば、基準画像に対して動き（変形）の少ない順に合成に用いる画像が選択されるので、ブロックマッチングの探索エリアを小さくすることができ、演算時間を短くすることができる。また、フォーカス状態の変化が少ない順、明るさの変化量が小さい順、あるいは、被写体の変形（変倍）度合が小さい順に合成に用いるフレーム画像が選択されるので、ブロックマッチング処理の精度を向上させることができる。

さらに、明るさの十分な画像を生成することができ、複数フレームの画像データの加算によるランダムノイズ除去効果も期待できる。
また、第１実施形態によれば、被写界中の主要被写体の比較画像のそれぞれにおける動き量と、主要被写体の比較画像のそれぞれにおける変形度合と、比較画像のそれぞれのフォーカス状態と、比較画像のそれぞれの明度との少なくとも１つをファクターとして前記評価を行う。したがって、被写体の動きや被写体の変化などに応じて、合成に用いる画像を選択することができる。例えば、これらの評価値を用いて、画像の位置合わせ処理が可能か否かを判断し、位置合わせ処理が可能と判断された画像のみを用いて位置合わせ処理、合成処理を行うようにしても良い。

また、第１実施形態によれば、所定数以上の画像のそれぞれにおける明るさと、コントラストと、高周波成分との少なくとも１つに基づいて、複数フレームの画像の位置合わせの基準となる基準画像を決定する。したがって、基準画像を適切に決定することができるので、合成により生成される画像の画質を向上させることができる。複数フレームの画像取得時に、照明部による発光を行う場合には、この際に撮像された画像を基準画像として、比較画像（あるいは選択画像）の明度を基準画像に合うように補正した上で、位置合わせ処理を行う構成とすれば、明るい画像が基準となるので、ブロックマッチング処理の精度が向上する。

また、第１実施形態によれば、予備発光を行う照明部を備え、照明部による予備発光時に焦点調節を行い、その後、被写界の像を繰り返し撮像し、所定数以上の画像の生成を終了するまでの間、焦点状態を固定する。したがって、合成に用いる複数の画像を生成する最中にフォーカス状態を一定に保つことができるので、合成に適した画像を生成することが可能になる。

勿論、画面中の注目被写体（主要被写体）に対して、追尾をしながら自動合焦動作を連続して行うように構成しても良い。このような構成とすれば、各フレーム画像において注目被写体に焦点の合った画像が得られ、合成に適した注目被写体の像が得られると共に、ブロックマッチング処理の精度が向上する。この場合、注目被写体は分割数以上の撮像動作の最初に撮像された画像の中から制御部２によって設定されることが望ましい。

なお、低解像度の暗画像を複数フレーム取得し、分割露光の最後でストロボを発光して主要被写体（人物）の高解像度画像を得て、各画像を加算合成することにより、Ｓ／Ｎ比を改善し、主要被写体の明画像を得ること考える場合にも、本実施形態を適用することができる。このような場合には、分割露光の最後でストロボを発光して得た主要被写体（人物）の高解像度画像を除く画像に対して本実施形態で説明した各処理を行い、合成後の画像にこの高解像度画像を合成すれば良い。

また、第１実施形態では、画像データレベル（明るさ）と、コントラストと、高周波成分との少なくとも１つを求め、最も合成に適した画像を基準画像として決定する例を示したが、コントラストが最も大きい画像を基準画像としても良いし、連続撮影の撮影順序に応じて基準画像を決定しても良いし、いくつかの方法を組み合わせるようにしても良い。
例えば、連続撮影の一番最初に撮影された画像を基準画像とすれば、図２の撮像動作（ステップＳ３〜ステップＳ８）と、画像の評価動作（ステップＳ１０）とを並行して行うことができ、合成画像生成までの時間を短縮化することができる。また、連続撮影期間中のほぼ中央の時間に撮影された画像を基準画像とすれば、時間的に前後して撮影された画像を合成に用いる画像とすることができる。このような構成とすれば、例えば連続撮影の最後に得られた画像を基準画像とする場合と比較して、動き量、変形（変倍）量、明るさの変化量の小さなフレーム画像を合成に用いることができる。

《第２実施形態》
以下、本発明の第２実施形態について説明する。
第２実施形態の電子カメラは、第１実施形態の電子カメラ１と同様の構成である。したがって、構成の図示および説明を省略し、以下では、第１実施形態と同様の符号を用いる。

まず、第２実施形態の特徴である撮影開始前の処理について、図４のフローチャートを用いて説明する。第２実施形態では、合成に用いる画像を取得する連続撮影開始前に、画像の合成を行うか否かを判定する。例えば、静止した背景の中でボール（主要被写体）が転がる場合に、ぶれ補正を行うために背景部分で位置合わせをして画像合成を行うと、背景部分は位置合わせによってぶれを補正することができる。しかし、転がるボールは分割露光の間に移動し続けた画像が合成されるため、ボールの速度によっては、合成後の画像に複数のボールが現出してしまう。同様に、主要被写体が変形する場合や、明るさが急激に変化する場合、被写体までの距離が急激に変化する場合も同様のことが言える。そこで、第２実施形態では、撮影開始前に被写体の状況を把握し、状況に応じて画像の合成を行うか否かを判定する。

電子カメラ１の不図示の電源ボタンがＯＮされると、制御部２はこれを検知し、ステップＳ２１において、撮像部３を介して予備撮像を開始する。予備撮像とは、構図確認用のいわゆるスルー画像の撮像であり、撮像部３は、被写界の像を繰り返し撮像し、複数の画像を連続的に生成する。
ステップＳ２２において、制御部２は、複数の画像のそれぞれから特徴量を抽出する。制御部２は、所定のフレーム数（例えば４フレーム）の画像を撮像部３を介して生成すると、それらの画像から、特徴量として被写界中の主要被写体の各画像における動き量と、被写体の各画像における変形（変倍を含む）度合と、各画像のフォーカス状態と、各画像の明度との少なくとも１つを抽出する。主要被写体は、第１実施形態に記載の手法と同様の手法によって抽出することができる。

例えば、動き量は、複数の画像から移動する主要被写体を検出し、複数の画像間で主要被写体の各領域の対応付けを行った上で、主要被写体の同一点がどれだけ移動したかを算出する。これは例えば複数の主要被写体における画像間の動き量の平均、または画面全体における画像間の動き量の平均、またはそれに類する計算により求める。また、変形度合は、第１実施形態に記載の手法や画像内のある領域について他の領域との境界情報を求め、その境界情報が複数の画像間で変化した度合、例えば縦横比や近似多角形の頂点数などから求める。また、フォーカス状態は、被写界内の複数の位置におけるフォーカス位置を算出し、複数の画像間でのフォーカス位置の変化を算出する。フォーカス位置は、オートフォーカス用のセンサ出力の解析などにより求める。求められたフォーカス位置情報は、各画像に関連付けて、各画像データとともに記録部５に記録することもできる。また、撮像部３によって生成された画像の画像データから、各画像のフォーカス状態を求める構成としても良い。制御部２は、それぞれの特徴量を数値化して求める。

ステップＳ２３において、制御部２は、特徴量の変化量を求める。
ステップＳ２４において、制御部２は、変化量が閾値以下であるか否かを判定する。変化量が閾値より大きい場合、画像合成の結果として前述のボールの例のような不自然さが発生することが予想される。閾値の決定には、実験の結果などを加味し、被写体の変化が目立つか目立たないかといった境界に設定することが好ましい。

ステップＳ２４において、変化量が閾値以下であると判定すると、ステップＳ２５において、制御部２は、制御部２内の画像合成実施フラグをＯＮする。
一方、ステップＳ２４において、変化量が閾値以下でないと判定すると、ステップＳ２６において、制御部２は、画像合成実施フラグをＯＦＦする。制御部２は、画像合成実施フラグをＯＦＦすることにより、予備撮像（スルー画撮像）に続く本撮影時の画像合成を禁止する。

次に、電子カメラ１の本撮影時の動作について、図５のフローチャートを用いて説明する。なお、図５のフローチャートを実行する前に、上述した図４のフローチャートの各処理が行われているものとする。
操作部７を介して、ユーザにより本撮影の開始が指示されると、ステップＳ３１において、制御部２は、画像合成実施フラグがＯＮであるか否かを判定する。

ステップＳ３１において、画像合成実施フラグがＯＮであると判定すると、ステップＳ３２において、制御部２は、撮像・画像の合成を行う。
ステップＳ３２において、制御部２は、第１実施形態において、図２のフローチャートを用いて説明した一連の処理を行う。ただし、ステップＳ１０の画像の評価については、以下の処理を行う。すなわち、ステップＳ１０において、制御部２は、不図示のメモリに記録された（Ｎ×２）フレームの各画像を複数の領域に分割し、各領域における主要被写体の変形度合および各領域における明度分布をファクターとし、ステップＳ９で決定した基準画像を比較の対象として評価を行う。制御部２は、それぞれのファクターについて数値化して評価を行う。

・主要被写体の変形（変倍）度合について
各領域ごとに動きベクトルを算出し、動きベクトルの大きさのばらつきおよび動きベクトルの向きのばらつきをそれぞれ分散として求め、この分散を基に主要被写体の変形度合を求める。変形度合が大きいほど合成におけるブロックマッチングの精度が低下し、結果としてぼけた合成画像が得られてしまう。したがって、変形度合の変化が小さいほど評価値を高くする。

・明度分布について
各領域ごとに画像データレベル（明るさ）を求め、他の画像との差分を基に、明度分布の変化を検出する。明度分布の変化が大きいほど、合成におけるブロックマッチングの精度が低下し、結果としてぼけた合成画像が得られてしまう。したがって、明度分布の変化が小さいほど評価値を高くする。

なお、各領域の評価を行う際に、各領域の評価を平均して画面全体の評価値を求めるようにしても良いし、画面内の一部の領域の評価値を画面全体に反映させるようにしても良い。
一方、ステップＳ３１において、画像合成実施フラグがＯＦＦであると判定すると、制御部２は、ステップＳ３３からステップＳ３６において、画像合成を行わず通常の撮影を行う。すなわち、全露光時間の間、継続的に露光を行うことにより被写界の像を撮像し、１フレームの画像を生成する。

ステップＳ３３において、制御部２は、図２のステップＳ３と同様に、パルス信号Ａのタイミングでの蓄積電荷の読み出し、画像信号を禁止する。
ステップＳ３４において、制御部２は、図２のステップＳ４と同様に、シャッタを時間ｔ１開放した後閉じる。ただし、時間ｔ１とはシャッタスピードなどに基づいて決定される全露光時間である。

ステップＳ３５において、制御部２は、図２のステップＳ５と同様に、パルス信号Ｂのタイミングでの蓄積電荷の読み出し、画像信号の出力を許可する。
ステップＳ３６において、制御部２は、図２のステップＳ６と同様に、パルス信号Ｂのタイミングでの蓄積電荷の読み出し、画像信号の出力を行わせ、記録部５への画像データの記録を行う。

なお、ステップＳ３１において、画像合成実施フラグがＯＦＦであると判定された場合に、画像合成が実施されない旨を告知する構成としても良い。この告知が図４のステップＳ２６で行われる構成とすれば、予備撮像の段階が告知がなされるのでより一層好適である。
以上説明したように、第２実施形態によれば、比較画像のそれぞれを複数の領域に分割し、各領域における被写体の変形度合と、各領域における明度分布とをファクターとして前記評価を行う。したがって、被写体の動きや被写体の変化などに応じて、評価の高い順に合成に用いる画像を選択することができる。

また、第２実施形態によれば、被写界の像を繰り返し撮像し、複数の画像を連続的に生成する予備撮像を行い予備撮像により連続的に生成された複数の画像のそれぞれから、所定の特徴量を抽出し、抽出したそれぞれの特徴量を比較して、その変化量が所定の閾値より小さい場合には、画像の合成を行うと判定する。そして、画像の合成を行うと判定した場合、被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成し、得られた所定数以上の画像から、１フレームの基準画像を決定し、所定数以上の画像のうちの基準画像を除いた画像からなる比較画像のそれぞれについて、基準画像を比較対象として近似度合の評価を行い、比較画像から、評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と記基準画像とを用いて合成画像を生成する。したがって、被写体が合成に適した場合にのみ分割露光と画像の合成とを行うことができる。

また、第２実施形態によれば、所定の特徴量として、被写界中の主要被写体の各画像における動き量と、被写体の各画像における変形度合と、各画像のフォーカス状態と、各画像の明度との少なくとも１つを抽出する。したがって、被写体の動きや被写体の変化などに応じた特徴量を用いて、合成を行うか否かの判定を行うことができる。
また、第２実施形態において、全露光時間、分割数、シャッタ速度、連続撮影における各撮影の撮影間隔などに応じて、所定の閾値を決定することができる。したがって、画像の合成を行うか否かの判定を行うための閾値を適切な値に設定することが可能になる。

また、第２実施形態によれば、画像の合成を行うと判定しない場合、全露光時間の間、継続的に露光を行うことにより被写界の像を撮像し、１フレームの画像を生成する。したがって、合成に適さない場合には、通常の撮影を行うことにより不都合を抑えた撮影を行うことができる。また、流し撮りなどのユーザの意図に沿った撮影を行うことができる。
なお、第２実施形態では、予備撮像の結果に基づいて画像の合成を行うか否かを判定したが、判定に、モード（シャッタ優先モードなど）や、シャッタスピードなどを加味するようにしても良い。

また、予備撮像の際に、第１実施形態で説明したような露光時間を所定の分割数で分割して分割露光を行うようにしても良い。
なお、上記第１実施形態および第２実施形態では、本発明の一例として電子カメラを用いて説明を行ったが、これらの電子カメラの行った処理の一部（例えば、図２のステップＳ９〜ステップＳ１２の処理）をコンピュータで実現するようにしても良い。この場合、コンピュータには、本発明の画像処理プログラムを予めインストールしておけば良い。

また、上記第１実施形態および第２実施形態で説明した各処理を組み合わせて実行するようにしても良い。例えば、第２実施形態において、画像の評価を行う際に、第１実施形態と同様に主要被写体の動き量や画像のフォーカス状態などをファクターとしても良い。
また、上記実施形態においては、分割露光によって得られた複数フレームの画像の位置合わせを行った上で、画像データを加算する装置について説明したが、複数フレームの画像の位置合わせを行った上で、画像データを加算平均、または加重平均するノイズリデューサのような画像処理装置に対しても、本発明を同様に適用できる。

電子カメラ１の機能ブロック図である。 電子カメラ１の動作を示すフローチャートである。 電子カメラ１の処理におけるタイミングチャートである。 電子カメラ１の動作を示す別のフローチャートである。 電子カメラ１の動作を示す別のフローチャートである。

符号の説明

１，電子カメラ ２，制御部 ３，撮像部 ４，画像処理部 ５，記録部 ６，照明部 ７，操作部 ８，測光部

Claims (14)

1. 被写界の像を、繰り返し撮像して得られた所定数以上の画像から、１フレームの基準画像を決定する決定部と、
   前記所定数以上の画像のうちの前記基準画像を除いた画像からなる比較画像のそれぞれについて、前記基準画像を比較対象として近似度合の評価を行う評価部と、
   前記比較画像から、前記評価部による評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と前記基準画像とを用いて、合成画像を生成する合成部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記合成部は、前記選択画像の各々に対して、前記基準画像を基準として位置合わせ処理を行い、当該位置合わせ処理を施された各々の前記選択画像と、前記基準画像との加算処理によって前記合成画像を生成する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記評価部は、前記被写界中の主要被写体の前記比較画像のそれぞれにおける動き量と、前記主要被写体の前記比較画像のそれぞれにおける変形度合と、前記比較画像のそれぞれのフォーカス状態と、前記比較画像のそれぞれの明度との少なくとも１つをファクターとして前記評価を行う
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記評価部は、前記比較画像のそれぞれを複数の領域に分割し、各領域における被写体の動き量と、前記各領域における前記被写体の変形度合と、前記各領域におけるフォーカス状態と、前記各領域における明度分布との少なくとも１つをファクターとして前記評価を行う
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記決定部は、前記所定数以上の画像のそれぞれにおける明るさと、コントラストと、高周波成分との少なくとも１つに基づいて、前記基準画像を決定する
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部を有し、
   前記決定部は、前記繰り返し撮像動作の最初に撮像された画像を前記基準画像として決定し、
   前記評価部は、前記撮像部による繰り返し撮像動作と並行して、前記近似度合の評価を行う
   ことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部と、
   予備発光を行う照明部とを備え、
   前記撮像部は、前記照明部による予備発光時に焦点調節を行い、その後、前記被写界の像を繰り返し撮像し、前記所定数以上の画像の生成を終了するまでの間、焦点状態を固定する
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する撮像部を有し、
   前記決定部は、前記繰り返し撮像動作の最初に撮像された画像の中から、所定の被写体を設定し、
   前記撮像部は、前記繰り返し撮像動作の行われている間、前記所定の被写体に対して、継続的に自動合焦動作を行う
   ことを特徴とする画像処理装置。
9. 請求項１から請求項５の何れか１項に記載の画像処理装置を備えた電子カメラであって、
   被写界の像を繰り返し撮像し、複数の画像を連続的に生成する予備撮像動作を行うとともに、前記被写界の像を、繰り返し撮像し、前記所定数以上の画像を生成する本撮像動作を行う撮像部と、
   前記予備撮像動作により連続的に生成された前記複数の画像のそれぞれから、所定の特徴量を抽出する抽出部と、
   前記抽出部により抽出したそれぞれの前記特徴量を比較して、その変化量が所定の閾値より小さい場合には、前記合成部による画像の合成を行うと判定する判定部とを有し、
   前記判定部が、前記合成部による画像の合成を行うと判定した場合、前記決定部は、前記本撮像動作によって得られた前記所定数以上の画像から、１フレームの基準画像を決定し、前記評価部は、前記所定数以上の画像のうちの前記基準画像を除いた画像からなる比較画像のそれぞれについて、前記基準画像を比較対象として近似度合の評価を行い、前記合成部は、前記比較画像から、前記評価部による評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と前記基準画像とを用いて合成画像を生成する
   ことを特徴とする電子カメラ。
10. 処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
    被写界の像を、繰り返し撮像して得られた所定数以上の画像を取得する取得ステップと、
    前記所定数以上の画像から、１フレームの基準画像を決定する決定ステップと、
    前記所定数以上の画像のうちの前記基準画像を除いた画像からなる比較画像のそれぞれについて、前記基準画像を比較対象として近似度合の評価を行う評価ステップと、
    前記比較画像から、前記評価ステップにおける評価の高い順に、（前記所定数−２）フレームの画像を選択画像として選択し、当該選択画像と前記基準画像とを用いて、合成画像を生成する合成ステップと
    を備えたことを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムにおいて、
    前記合成ステップでは、前記選択画像の各々に対して、前記基準画像を基準として位置合わせ処理を行い、当該位置合わせ処理を施された各々の前記選択画像と、前記基準画像との加算処理によって前記合成画像を生成する
    ことを特徴とする画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムにおいて、
    前記評価ステップでは、前記被写界中の主要被写体の前記比較画像のそれぞれにおける動き量と、前記主要被写体の前記比較画像のそれぞれにおける変形度合と、前記比較画像のそれぞれのフォーカス状態と、前記比較画像のそれぞれの明度との少なくとも１つをファクターとして前記評価を行う
    ことを特徴とする画像処理プログラム。
13. 請求項１１に記載の画像処理プログラムにおいて、
    前記評価ステップでは、前記比較画像のそれぞれを複数の領域に分割し、各領域における被写体の動き量と、前記各領域における前記被写体の変形度合と、前記各領域におけるフォーカス状態と、前記各領域における明度分布との少なくとも１つをファクターとして前記評価を行う
    ことを特徴とする画像処理プログラム。
14. 請求項１０に記載の画像処理プログラムにおいて、
    前記決定ステップでは、前記所定数以上の画像のそれぞれにおける明るさと、コントラストと、高周波成分との少なくとも１つに基づいて、前記基準画像を決定する
    ことを特徴とする画像処理プログラム。

Images