JP7191680B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、撮像画像を評価する画像処理装置に関する。

デジタルスチルカメラ等の撮像装置には、移動する被写体等を連続撮像（連写）して得られる複数の撮像画像のそれぞれを焦点状態等の画質の観点から評価する処理を行えるものがある。このような処理を行うことで、連写により得られる多数の撮像画像のうち保存すべきものと消去すべきものとを分類することができ、保存する撮像画像データの増大を抑えることができる。

特許文献１には、連写により得られた複数の撮像画像のそれぞれから得た焦点評価値を用いて、保存用と消去用の撮像画像を判定する撮像装置が開示されている。

特開２００４－３２０４８７号公報

しかしながら、特許文献１にて開示された撮像装置では、複数の撮像画像のうち最も焦点評価値が高い撮像画像を保存用として他の撮像画像を全て消去用とするにすぎず、個々の撮像画像を評価して保存するか否かを判定するわけではない。また、移動する被写体を追って撮像装置が動くと、焦点評価値が変動して、判定精度が低くなるおそれがある。

本発明は、連続撮像により得られた複数の撮像画像のそれぞれを高精度で評価しつつ、複数の撮像画像の相対評価を行えるようにした画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理装置は、連続撮像により生成された複数の撮像画像のそれぞれに対する合焦領域に関する第１の評価値を得る第１の評価手段と、複数の撮像画像のそれぞれに対して、該複数の撮像画像に対して得られた第１の評価値およびそれらの差分に応じた第２の評価値を与える第２の評価手段と、第２の評価値を用いて、複数の撮像画像に対する相対評価を行う第３の評価手段とを有し、第２の評価手段は、第１の評価値が一様な分布を有する場合は、撮像画像に対して、該撮像画像の第１の評価値と複数の撮像画像における第１の評価値の統計量との差に応じた第２の評価値を与え、第１の評価値が一様な分布を有しない場合は、分布数がより多い第１の評価値が得られた撮像画像により高い第２の評価値を与えることを特徴とする。

なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、撮像により生成された複数の撮像画像のそれぞれに対する合焦領域に関する第１の評価値を得るステップと、複数の撮像画像のそれぞれに対して、該複数の撮像画像に対して得られた第１の評価値およびそれらの差分に応じた第２の評価値を与えるステップと、第２の評価値を用いて、複数の撮像画像に対する相対評価を行うステップとを有し、第２の評価値を与えるステップにおいて、第１の評価値が一様な分布を有する場合は、撮像画像に対して、該撮像画像の第１の評価値と複数の撮像画像における第１の評価値の統計量との差に応じた第２の評価値を与え、第１の評価値が一様な分布を有しない場合は、分布数がより多い第１の評価値が得られた撮像画像により高い第２の評価値を与えることを特徴とする。

なお、コンピュータに、上記画像処理方法に従う画像処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、連続撮像により得られた複数の撮像画像のそれぞれを高精度で評価しつつ、複数の撮像画像の相対評価を行うことができる。

本発明の実施例であるカメラの構成を示すブロック図。 カメラにおける撮像素子の構成を示す図。 実施例における画像評価処理を示すフローチャート。 実施例における各種画像の例を示す図。 実施例におけるデフォーカスマップ画像を用いた画像評価を説明する図。 実施例における重心ベクトルを説明する図。 実施例における合焦面積の変化を示す図。 実施例において合焦領域の画像端へのかかり率の変化を示す図。 実施例における連写画像評価値を示す表図。 実施例における画像評価処理を示すフローチャート。 実施例における重心評価処理を示すフローチャート。 実施例における合焦面積評価処理を示すフローチャート。 実施例における画像端かかり率評価処理を示すフローチャート。 実施例における被写体出入り評価処理を示すフローチャート。 実施例における各評価値のヒストグラムを示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例である撮像装置としてのカメラの構成を示している。交換型またはカメラ一体型のレンズユニット１００は、不図示のフォーカスレンズ、ズームレンズ、絞り等を含む撮像光学系を有する。撮像センサ（撮像素子）１０１は、ＣＭＯＳセンサ等により構成され、撮像光学系により形成された被写体像を撮像（光電変換）する。２像生成部１０２は、撮像センサ１０１の複数の画素のそれぞれから出力された対のサブ画素信号を用いて、焦点検出用の対の位相差像信号（以下、２像信号という）を生成する。

デフォーカス検出部１０３は、２像信号に対して光学的な歪み成分を補正する処理を行い、該２像信号に対して相関演算を行ってこれら２像信号間の位相差を検出し、該位相差からデフォーカス量を算出（検出）する処理を行う。さらにデフォーカス検出部１０３は、算出したデフォーカス量を用いて撮像範囲（撮像画像）内のデフォーカス量の分布を示すデフォーカスマップ画像（デフォーカスマップ情報）を生成し、これを一時的に画像メモリ１０７に保持する。

画像処理装置（第１の評価手段、第２の評価手段および第３の評価手段）としての画像評価部１１１は、入力されたデフォーカスマップ画像等を用いて撮像画像を評価する処理を行う。この画像評価部１１１が行う処理の詳細については後述する。

撮像信号処理部１０４は、撮像センサ１０１から出力された撮像信号に対して各種信号処理を行って映像データを生成し、これを一時的に画像メモリ１０７に保持する。映像データ処理部１０５は、映像データに対して、動画や静止画としてのデータフォーマットに変換する処理や、映像データ内の顔や目等の位置を検出する処理や、映像データ内の被写体像の輪郭を抽出して該輪郭のみを含む輪郭画像を生成する処理等を行う。記録部１０６は、映像データや静止画データを半導体メモリ等の記録媒体に記録する。

ＣＰＵ１０９は、上述した各部の動作を制御する。またＣＰＵ１０９は、合焦動作や絞り動作のためにレンズ駆動部１１０を介してレンズユニット１００内のフォーカスレンズや絞りの駆動を制御する。メモリ１０８は、ＣＰＵ１０９が扱うコンピュータプログラムやデータを保持する。

次に、撮像センサ１０１の構成について図２を用いて説明する。図２は、撮像センサ１０１の全体を示すとともに、その一部を拡大して示している。撮像センサ１０１には、ベイヤー配列でＲ、ＧおよびＢの画素がそれぞれ複数配置されている。各画素には、１つのマイクロレンズ２０１と、２分割された光電変換部（サブ画素）２０２，２０３が設けられている。光電変換部２０２，２０３には、マイクロレンズ２０１を介して、撮像光学系の射出瞳のうち互いに異なる領域を通過した光束が入射する。すなわち、瞳分割が行われる。

光電変換部２０２，２０３はそれぞれ、入射した光束を光電変換してＡサブ画素信号とＢサブ画素信号を出力する。２像生成部１０２は、複数の画素における光電変換部２０２からのＡサブ画素信号を合成してＡ像信号を生成し、光電変換部２０３からのＢサブ画素信号を合成してＢ像信号を生成する。Ａ像信号とＢ像信号は、前述した２像信号として、デフォーカス検出部１０３による位相差検出方式の焦点検出に用いられる。デフォーカス検出部１０３は、撮像センサ１０１における複数の画素領域のそれぞれでの焦点検出により得られたデフォーカス量を用いて前述したデフォーカスマップ画像を生成する。

また、Ａサブ画素信号とＢサブ画素信号が加算されることで１つの画素から出力される画素信号が生成され、複数の画素からの画素信号が合成されることで画像生成用の撮像信号が生成される。撮像信号は、前述したように撮像信号処理部１０４に入力される。

次に、図３のフローチャートを用いて、本実施例のカメラにおいて静止画の連続撮像（連写）時に行われる処理について説明する。コンピュータとしてのＣＰＵ１０９と画像評価部１１１は、コンピュータプログラムに従って本処理を実行する。

ステップＳ３００において、レリーズスイッチのユーザ操作により連写の開始が指示されると、ＣＰＵ１０９は、オートフォーカス（ＡＦ）動作を行いつつ連写を開始する。

連写における１回目の撮像が行われて撮像画像が生成されると、ＣＰＵ１０９は、ステップＳ３０１においてデフォーカス検出回路１０３に焦点検出を行わせて撮像画像全体に対するデフォーカスマップ画像を生成させる。また、画像評価部１１１は、映像データ処理部１０５に前述した輪郭画像を生成させる。デフォーカスマップ画像と輪郭画像は画像メモリ１０７に保存される。

次にステップＳ３０２では、画像評価部１１１は、デフォーカスマップ画像と輪郭画像から主たる合焦領域を特定し、該合焦領域の面積を算出する。具体的には、画像評価部１１１は、撮像光学系の絞り値や許容錯乱円径を用いて焦点深度を算出し、デフォーカスマップ画像におけるデフォーカス量が焦点深度内にある領域を抽出する。さらに画像評価部１１１は、抽出した領域のうち主被写体の領域である合焦領域を輪郭画像から切り出して、合焦領域のみを含む合焦領域画像を生成する。画像評価部１１１は、合焦領域画像から合焦領域の面積を算出し、これをメモリ１０８に保存する。

このステップＳ３０２での処理を図４（ａ）～（ｄ）を用いて説明する。図４（ａ）は撮像画像を示し、図４（ｂ）は撮像画像に対応するデフォーカスマップ画像を示している。デフォーカスマップ画像内において模様が同じ領域はデフォーカス量が同じ領域である。このデフォーカスマップ画像では、車とその車が走っている道路の領域（黒塗り領域）が合焦領域であり、手前の地面や遠くの木や家の領域（斜め線やドットの領域）がそれぞれ異なるデフォーカス量を有するデフォーカス領域である。

図４（ｃ）は撮像画像から生成された輪郭画像を示している。図４（ｄ）は、デフォーカスマップ画像における車と道路を含む領域のうち主被写体である車の領域である合焦領域を図４（ｃ）の輪郭画像から切り出した合焦領域画像であり、画像評価部１１１はこの車の領域の面積を算出する。

次にステップＳ３０３では、画像評価部１１１は、合焦領域画像における合焦領域の重心位置を算出し、これをメモリ１０８に保持する。

次にステップＳ３０４では、画像評価部１１１は、合焦領域のうち撮像画像の端（以下、画像端という）にかかっている部分の長さの画像端の全長に対する比率（以下、画像端かかり率という）を算出し、これをメモリ１０８に保持する。

図５（ａ）～（ｄ）を用いて、ステップＳ３０３およびＳ３０４での処理について説明する。図５（ａ），（ｃ）は、連写体中の別々の撮像により得られた撮像画像から生成された合焦領域画像を示す。図５（ｂ），（ｄ）はそれぞれ、説明のために図５（ａ），（ｃ）に示した合焦領域画像を白黒反転した画像を示しており、図中の白い領域が合焦領域５０１，５０２である。合焦領域５０１，５０２の面積は、デフォーカスマップ画像の解像度の単位でカウントされる。この理由については後述する。また、図５（ｂ）中の×印５０２が合焦領域の重心位置である。重心位置の座標は、デフォーカスマップ画像の左上の頂点を原点（０，０）として定義される。

一方、図５（ｄ）において、合焦領域５０２のうち右画像端にかかっている部分の長さ５０３は、該右画像端の全長に対して６５％である。この場合、合焦領域の画像端かかり率が６５％となる。

デフォーカスマップ画像の解像度について説明する。撮像画像の解像度は、２０メガピクセル等、非常に高い。しかし、デフォーカスマップ画像の解像度は、撮像画像の解像度以下でもよい。例えば、デフォーカスマップ画像の水平対垂直のアスペクト比が３：２である場合は、デフォーカスマップ画像の解像度は３３画素×２２画素であればよい。また、上記アスペクト比が４：３や１６：９であればそれぞれ、デフォーカスマップ画像の解像度は３２画素×２４画素や３２画素×１８画素であればよい。

以上説明したステップＳ３０２～Ｓ３０４の処理（第１の評価）で得られた合焦領域の面積、重心位置および画像端かかり率は、合焦領域に関する第１の評価値（以下、合焦領域評価値ともいう）として以下の処理で用いられる。

次にステップＳ３０５において、画像評価部１１１は、連写における撮像回数Ｎが２回以上であるか否かを判定する。画像評価部１１１は、撮像回数Ｎが１回である場合はステップＳ３０１に戻り、２回目の撮像を行うとともに、その撮像より得られた撮像画像に対してステップＳ３０２～Ｓ３０４の処理を行う。

一方、撮像回数が２回目以上である場合は、画像評価部１１１はステップＳ３０６に進み、前回と今回の撮像によりそれぞれ得られた合焦領域画像における合焦領域評価値の差分（変化量）を算出する。詳しくは後述するが、画像評価部１１１は、この合焦領域評価値の差分を撮像画像を評価するために用いるため、該合焦領域評価値の差分をメモリ１０８に保存する。

次にステップＳ３０７では、ＣＰＵ１０９は、レリーズスイッチのユーザ操作が無くなって連写が終了したか否かを判定する。ＣＰＵ１０９は、連写が終了していない場合は再度ステップＳ３０１に戻って、画像評価部１１１とともにステップＳ３０１～Ｓ３０６の処理を繰り返す。このように、本実施例では、撮像画像を連続して生成する連写を行いながら、各撮像画像の合焦領域評価値を算出し、さらに前後の撮像画像間の合焦領域評価値の差分も算出する。

連写が終了すると、画像評価部１１１はステップＳ３０８に進み、連写により得られた全ての撮像画像に対する第３の評価値としての合焦領域評価値の平均値を算出し、これをメモリ１０８に保存する。なお、本実施例では、合焦領域評価値の平均値を用いるが、合焦領域評価値の平均値以外の統計量（中央値や最頻値等）を用いてもよい。

次にステップＳ３０９では、画像評価部１１１は、ここまでで得られた合焦領域評価値とそれらの差分、さらには合焦領域評価値の平均値を用いて各撮像画像に対する評価（評価点付け）を行う。評価点が高いほど、良好な撮像画像であることを示す。

さらに次にステップＳ３１０では、画像評価部１１１は、各撮像画像に対する評価点を各撮像画像の付加情報（Ｅｘｉｆ情報等）として画像メモリ１０７に記録する。なお、評価点を撮像画像のファイルとは別のファイルに記録するようにしてもよい。そして、ＣＰＵ１０９は連写を終了する。

次に前述した合焦領域評価値その他の評価値の詳細について具体的に説明する。図６（ａ）～（ｄ）は、右から左に走行する車を連写して得られた１枚目から４枚目の撮像画像のそれぞれから生成された合焦領域画像を示している。各合焦領域画像において合焦領域は車の形状を有し、白い×印は合焦領域の重心位置である。図６（ａ）に示す合焦領域の重心位置と図６（ｂ）に示す合焦領域の重心位置との差分を、図６（ｅ）に重心位置の移動量と移動方向を示すベクトル（以下、重心ベクトルという）６０１として矢印で示している。同様に、図６（ｂ）に示す合焦領域の重心位置と図６（ｃ）に示す合焦領域の重心位置との差分を、図６（ｆ）に重心ベクトル６０２として矢印で示している。さらに、図６（ｃ）に示す合焦領域の重心位置と図６（ｄ）に示す合焦領域の重心位置との差分を、図６（ｇ）に重心ベクトル６０３として矢印で示している。

図６（ｇ）において、重心ベクトル６０３が図６（ｅ），（ｆ）に示した重心ベクトル６０１，６０２に比べて小さくなっている。これは、図６（ｃ）において合焦領域が画像端にかかり、図６（ｄ）において画像端から大きくはみ出したことで、合焦領域の面積が小さくなり、重心位置の移動量が少なくなったことによるものである。

図７は、図６（ａ）～（ｇ）に示した例における連写枚数（撮像回数）Ｎに対する合焦領域の面積の変化をグラフにより示している。横軸が連写枚数を、縦軸が合焦領域の面積を示している。グラフの線の傾きが合焦領域の面積の変化を示す。連写１枚目から２枚目においては合焦領域の面積は変化せず、３枚目で少し減少し、４枚目で大きく減少している。

図８（ａ），（ｂ）は、連写枚数Ｎに対する画像端かかり率をグラフにより示している。横軸が礼者枚数を、縦軸が画像端かかり率を示している。グラフの線の傾きが合焦領域の面積の変化を示す。図８（ａ）は矩形の合焦領域画像の４つの画像端（辺）のうち上画像端、下画像端および右画像端に対する画像端かかり率を、図８（ｂ）は左画像端に対する画像端かかり率を示している。図８（ａ）では、連写枚数Ｎによらず合焦領域が上画像端、下画像端および右画像端にかからないため、画像端かかり率はすべて０であり、その差分も０である。

一方、図８（ｂ）では、連写１枚目および２枚目では合焦領域が左画像端にかかっていないために画像端かかり率は０であるが、３枚目で合焦領域が左画像端にかかって画像端かかり率が増加し、４枚目でさらに増加している。このときの画像端かかり率の差分（増加量）は、連写２枚目から３枚目の差分より３枚目から４枚目の方が大きい。

図９（ａ）は、図３のステップＳ３０２～Ｓ３０４において算出される連写１枚目の撮像画像（Ｎ１）から４枚目の撮像画像（Ｎ４）までの撮像画像ごとの合焦領域評価値（面積、重心位置および画像端かかり率）をまとめて示している。図９（ｂ）は、連続する撮像画像間の合焦領域評価値の差分（変化量）をまとめて示している。また、図９（ａ），（ｂ）の最下段には、図３のステップＳ３０８において算出される合焦領域評価値の平均値を示している。

画像評価部１１１は、図９（ａ），（ｂ）に示した合焦領域評価値に関するデータを用いてステップＳ３０９で撮像画像の評価（第２の評価）を行う。図１０は、ステップＳ３０９で行われる画像評価処理を示すフローチャートである。

ステップＳ１００１において画像評価処理を開始した画像評価部１１１は、ステップＳ１００２にて合焦領域の重心位置（以下、合焦重心位置という）と重心ベクトルを用いた評価処理を行う。この合焦重心位置評価処理を図１１のフローチャートを用いて説明する。

ステップＳ１１０１において本処理を開始した画像評価部１１１は、ステップＳ１１０２において、連写により得られた全ての撮像画像を合焦重心位置で分類したヒストグラムを作成する。すなわち、合焦重心位置（階級）ごとの撮像画像の枚数（度数）を示すヒストグラムを作成する。

図１５（ａ）は、図６（ａ）～（ｄ）に示した４枚の撮像画像を合焦重心位置で分類したヒストグラムを示す。この例では、図９（ｂ）に示したように、撮像画像Ｎ１～Ｎ４間の重心ベクトルの大きさが所定値（例えば、３）より大きく、該撮像画像間で合焦重心位置が明確に移動していることが分かるため、これらの合焦重心位置は別々の階級に分類される。この結果、４枚の撮像画像における合焦重心位置が一様に分布するヒストグラムが作成される。一方、重心ベクトルの大きさが所定値より小さい場合は、撮像画像間で合焦重心位置の移動が小さいので、それらの合焦重心位置は同じ階級に分類される。

図１１における次のステップＳ１１０３では、画像評価部１１１は、ヒストグラムにおいて合焦重心位置が一様な分布（特定の分布）を有するか否かを判定する。画像評価部１１１は、合焦重心位置が一様な分布を有すると判定した場合はステップＳ１１０４に進み、各撮像画像に対して、全ての撮像画像における合焦重心位置の平均値との差に応じた評価点（第２の評価値）を与える。一方、画像評価部１１１は、合焦重心位置が一様な分布を有していないと判定した場合はステップＳ１１０５に進み、合焦重心位置ごとの撮像画像枚数（分布数）がより多い撮像画像に対してより高い評価点を与える。

こうして合焦重心位置評価処理を終了した画像評価部１１１は、図１０のＳ１００３に進み、合焦領域の面積（以下、合焦領域面積という）およびそれらの差分による評価処理を行う。この合焦領域面積評価処理を図１２のフローチャートを用いて説明する。

ステップＳ１２０１において本処理を開始した画像評価部１１１は、ステップＳ１２０２において、連写により得られた全ての撮像画像を合焦領域面積で分類したヒストグラムを作成する。すなわち、合焦領域面積（階級）ごとの撮像画像の枚数（度数）を示すヒストグラムを作成する。図１５（ｂ）は、図６（ａ）～（ｄ）に示した４枚の撮像画像を合焦領域面積で分類したヒストグラムを示す。

この例では、図９（ｂ）に示したように、３枚の撮像画像Ｎ１～Ｎ３の合焦領域面積間の差分が所定量（例えば、３０）より少ないために該合焦領域面積は同じ階級に分類される。一方、撮像画像Ｎ４の合焦領域面積の撮像画像Ｎ３の合焦領域面積に対する差分が所定量より多いために、撮像画像Ｎ４の合焦領域面積は、Ｎ１～Ｎ３の合焦領域面積とは別の階級に分類される。この結果、４枚の撮像画像における合焦領域面積が一様に分布しないヒストグラムが作成される。

次に図１２のステップＳ１２０３において、画像評価部１１１は、ヒストグラムにおいて合焦領域面積が一様な分布を有するか否かを判定する。画像評価部１１１は、図１５（ｂ）に示したように合焦領域面積が一様な分布を有さないと判定した場合はステップＳ１２０５に進み、合焦領域面積ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点（第２の評価値）を与える。一方、画像評価部１１１は、合焦領域面積が一様な分布を有すると判定した場合はステップＳ１２０４に進み、各撮像画像に対して、全ての撮像画像における合焦領域面積の平均値との差に応じた評価点を与える。

こうして合焦領域面積評価処理を終了した画像評価部１１１は、図１０のＳ１００４に進み、画像端かかり率およびそれらの差分による評価処理を行う。この画像端かかり率評価処理を図１３のフローチャートを用いて説明する。

ステップＳ１３０１において本処理を開始した画像評価部１１１は、ステップＳ１３０２において、連写により得られた全ての撮像画像における合焦領域の画像端かかり率のヒストグラムを作成する。すなわち、画像端かかり率（階級）ごとの撮像画像の枚数（度数）を示すヒストグラムを作成する。図１５（ｃ），（ｄ）は、図６（ａ）～（ｄ）に示した４枚の撮像画像を画像端かかり率で分類したヒストグラムを示す。図１５（ｃ）は、上、下および右画像端に対する画像端かかり率を示し、図１５（ｄ）は、左画像端に対する画像端かかり率を示す。図１５（ｃ）では、図９（ａ）に示したように、４枚の撮像画像（Ｎ１～Ｎ４）の画像端かかり率は全て０％であり、局所的な分布を有する。

一方、図１５（ｄ）では、図９（ａ）に示したように、２枚の撮像画像Ｎ１，Ｎ２の画像端かかり率は０％であり、撮像画像Ｎ３，Ｎ４の画像端かかり率はそれぞれ２０％と６０％である。図９（ｂ）に示したように、０％、２０％および６０％間の差分が所定量（例えば、５％）より多いため、４枚の撮像画像における合焦領域の画像端かかり率が一様な分布を有するヒストグラムが作成される。

次に図１３のステップＳ１３０３において、画像評価部１１１は、ヒストグラムにおいて画像端かかり率が一様な分布を有するか否かを判定する。画像評価部１１１は、「一様な分布」に該当するか否かを、統計的処理によって分散や平均値等を計算することで判別する。画像評価部１１１は、画像端かかり率が合焦領域面積が一様な分布を有すると判定した場合はステップＳ１３０４に進み、各撮像画像に対して、全ての撮像画像における画像端かかり率の平均値との差に応じた評価点（第２の評価値）を与える。

一方、画像評価部１１１は、画像端かかり率が一様な分布を有さないと判定した場合はステップＳ１３０５に進み、画像端かかり率ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点を与える。こうして画像端かかり率評価処理を終了した画像評価部１１１は、図１０のＳ１００５に進む。

ここで、ステップＳ１１０４，Ｓ１２０４およびＳ１３０４において合焦領域評価値とその平均値との差に応じて撮像画像に評価点を与える処理について説明する。ここでは、ステップＳ１１０４において合焦重心位置とその平均値との差に応じて評価点を与える場合を例として説明する。合焦領域面積および画像端かかり率とその平均値との差に応じて評価点を与える場合も同様である。

図９（ａ）には、合焦重心位置の平均値として（１３，１２）が示され、撮像画像Ｎ１の合焦重心位置として（２４，１２）が示されている。これらの差分は（１１，０）である。同様に、撮像画像Ｎ２についての差分は（３，０）、撮像画像Ｎ３についての差分は（－４，０）、撮像画像Ｎ４についての差分は（－９，０）である。

画像評価部１１１は、合焦重心位置の絶対値と平均値とを比較し、平均値により近い合焦重心位置の絶対値を有する撮像画像に対してより高い評価点を与える。すなわち、評価点が高い順に、Ｎ２，Ｎ３，Ｎ４およびＮ１となる。具体的な評価点はどのようなものでもよいが、例えば、連写により得られた撮像画像枚数に相当する値を最高評価点とすると、Ｎ２に４点、Ｎ３に３点、Ｎ４に２点、Ｎ１に１点を与える。

次に、ステップＳ１１０５，Ｓ１２０５およびＳ１３０５において合焦領域評価値ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点を与える処理について説明する。ここでは、ステップＳ１２０５において合焦領域面積ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点を与える場合を例として説明する。合焦重心位置および画像端かかり率ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点を与える場合も同様である。

図１５（ｂ）に示したように３枚の撮像画像の合焦領域面積が互いに同じであり、これらとは異なる面積に１枚の撮像画像の合焦領域面積がある。このような場合、例えば、連写により得られた撮像画像枚数に相当する値を最高評価点とすると、３枚の撮像画像に対して４点を与え、１枚の撮像画像に対して１点を与える。

より多数の撮像画像があり、合焦領域面積の分布が広がる場合等においても、合焦領域面積ごとの撮像画像枚数がより多い撮像画像に対してより高い評価点を与える。

図１０のステップＳ１００５では、画像評価部１１１は、被写体出入りによる評価処理を行う。この被写体出入り価処理を図１４のフローチャートを用いて説明する。

ステップＳ１４０１において本処理を開始した画像評価部１１１は、ステップＳ１４０２において、連写により得られた撮像画像間での合焦領域面積の差分が所定量より大きいか否かを判定する。画像評価部１１１は、差分が所定量以下である（すなわち合焦領域面積の変化が少ない）場合はステップＳ１４０４に進み、被写体出入りが小さいと認定して本処理を終了する。

一方、画像評価部１１１は、合焦領域面積の差分が所定量より大きい場合はステップＳ１４０３に進み、画像端かかり率が所定率より大きいか否かを判定する。例えば１枚目と２枚目の撮像画像間で合焦領域面積が大きく異なっているが、合焦領域が画像端にかかっていない場合は、画像評価部１１１はステップＳ１４０８に進む。ステップＳ１４０８では、画像評価部１１１は、フォーカスボケによる合焦領域面積の変化であるとみなしてステップＳ１４０９に進む。ステップＳ１４０９では、画像評価部１１１は、ステップＳ１００３で算出した合焦領域面積による評価点を２倍に増加させる処理を行う。そして本処理を終了する。

またステップＳ１４０３において合焦領域が画像端にかかっている場合には、画像評価部１１１はステップＳ１４０６に進み、合焦領域面積の変化が被写体出入りが大きいことによるものであるとみなしてステップＳ１４０７に進む。ステップＳ１４０１７では、画像評価部１１１は、合焦領域面積による評価点を０倍として減少させ、画像端かかり率による評価点を２倍に増加させる処理を行う。そして本処理を終了する。なお、ここに挙げた評価点の倍率は例に過ぎず、他の倍率を設定してもよい。

図１０のステップＳ１００６では、画像評価部１１１は、撮像画像ごとにステップＳ１００２からＳ１００５までの評価の結果である評価点を合算した合計評価点を算出する。さらに画像評価部１１１は、全ての撮像画像を合計評価点で分類したヒストグラムを作成する。

そして次にステップＳ１００７において、画像評価部１１１は、４枚の撮像画像を合計評価点が高い順に順位付け（ランク付け）する相対評価を行う。具体的には、４枚の撮像画像に対して、上位からＡ，Ｂ，ＣおよびＤとランク付けする。以上により、画像評価部１１１は画像評価処理を終了する。

本実施例によれば、連写により得られた複数の撮像画像のそれぞれを高精度で評価しつつ、複数の撮像画像の相対評価を行うことができる。

なお、上記実施例では、合焦領域に関する評価値を用いて画像評価を行う場合について説明したが、他の要素に関する評価値を併せ用いてもよい。例えば、被写体である人物の目が開いている撮像画像に対しては評価点を高くし、目が閉じている撮像画像に対しては評価点を低くしてもよい。このように合焦領域に関する評価値以外の評価値を併せ用いることで、より高精度な画像評価を行うことができる。

また上記実施例では、撮像装置に搭載されたコンピュータとしての画像評価部１１１が画像評価処理としての画像処理を行う場合について説明したが、撮像装置とは別のパーソナルコンピュータが撮像装置から取り込んだ撮像画像に対して画像評価部１１１と同様な画像処理を行ってもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ レンズユニット
１０１ 撮像センサ
１０３ デフォーカス検出部
１０９ ＣＰＵ
１１１ 画像評価部

Claims (9)

1. 連続撮像により生成された複数の撮像画像のそれぞれに対する合焦領域に関する第１の評価値を得る第１の評価手段と、
   前記複数の撮像画像のそれぞれに対して、該複数の撮像画像に対して得られた前記第１の評価値およびそれらの差分に応じた第２の評価値を与える第２の評価手段と、
   前記第２の評価値を用いて、前記複数の撮像画像に対する相対評価を行う第３の評価手段とを有し、
   前記第２の評価手段は、
   前記第１の評価値が一様な分布を有する場合は、前記撮像画像に対して、該撮像画像の前記第１の評価値と前記複数の撮像画像における前記第１の評価値の統計量との差に応じた前記第２の評価値を与え、
   前記第１の評価値が一様な分布を有しない場合は、分布数がより多い前記第１の評価値が得られた前記撮像画像により高い前記第２の評価値を与えることを特徴とする画像処理装置。
2. 前記第１の評価手段は、前記複数の撮像画像のそれぞれに対して生成されたデフォーカスマップ情報を用いて前記合焦領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の評価値は、前記合焦領域の面積であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の評価値は、前記合焦領域の重心位置であることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第１の評価値は、前記合焦領域が前記撮像画像の端にかかる比率であることを特徴とする請求項１または２に記載の画像処理装置。
6. 前記第２の評価手段は、
   前記差分が所定量より大きい場合は、前記第２の評価値を増加または減少させることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 被写体像を撮像する撮像素子と、
   請求項１から６のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
8. 連続撮像により生成された複数の撮像画像のそれぞれに対する合焦領域に関する第１の評価値を得るステップと、
   前記複数の撮像画像のそれぞれに対して、該複数の撮像画像に対して得られた前記第１の評価値およびそれらの差分に応じた第２の評価値を与えるステップと、
   前記第２の評価値を用いて、前記複数の撮像画像に対する相対評価を行うステップとを有し、
   前記第２の評価値を与えるステップにおいて、
   前記第１の評価値が一様な分布を有する場合は、前記撮像画像に対して、該撮像画像の前記第１の評価値と前記複数の撮像画像における前記第１の評価値の統計量との差に応じた前記第２の評価値を与え、
   前記第１の評価値が一様な分布を有しない場合は、分布数がより多い前記第１の評価値が得られた前記撮像画像により高い前記第２の評価値を与えることを特徴とする画像処理方法。
9. コンピュータに、請求項８に記載の画像処理方法に従う画像処理を実行させることを特徴とするコンピュータプログラム。

Images