JP6288952B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関する。

被写界深度は、被写体距離、絞り値、画角（焦点距離）、撮像素子の大きさなど様々な要因の組み合わせによって決まるため、画面内の所望の領域が合焦した画像を撮影するには経験や知識が必要であり、容易ではない。

特許文献１には、合焦距離や被写界深度を変えながら同じシーンを複数回撮影し、得られた画像内で合焦している領域を抽出して合成することで、１枚の画像を生成する撮像装置が記載されている。この撮像装置によれば、撮影後に、距離の異なる複数の被写体に合焦した画像を得ることができる。

また、非特許文献１は、撮像素子の前にマイクロレンズアレイを配置した撮像装置と、絞りの開口位置を変化させて撮影を行う撮像装置について記載している。この撮像装置で撮影した画像からは、ライトフィールドフォトグラフィ技術により、撮影後に画像の合焦距離や被写界深度を変更することができる。

特開２００９−８８７４２号公報

Liang, Chia-Kai, et al. "Programmable aperture photography: multiplexed light field acquisition." ACM Transactions on Graphics (TOG). Vol. 27. No. 3. ACM, 2008.

特許文献１記載の撮像装置では、フォーカスレンズの位置（合焦位置）や絞り値の様々な組み合わせについて撮影する必要がある。この場合、組み合わせの数が少ないと、フォーカスレンズ位置の間隔が大きくなり、所望の被写体に合焦した画像が得られない場合がある。また、組み合わせを多くすると、撮影枚数が多くなるため、撮影期間中に被写体が移動する可能性が大きくなり、自然な合成画像を得ることが難しくなる。また、どの被写体にもフォーカスが合っていない画像も撮影することになるため、効率が悪い。

また、非特許文献１記載の撮像装置では、撮影した画像の複数の画素値から最終的な画像の１画素を生成する構成のため、撮像素子の画素数に対して得られる画像データの画素数が大幅に小さくなる。また、画像生成に複雑な算出が必要になるため、レスポンスが低下する。

本発明はこのような従来技術の課題に鑑みなされたものであり、距離の異なる複数の被写体に合焦した高解像度の画像を効率良く得ることができる撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮像画像から注目被写体を検出する検出手段と、撮像画像から被写体距離の頻度分布を求め、頻度分布における注目被写体に対応する被写体距離の頻度が多くなるように重み付けする第１の算出手段と、重み付け後の頻度分布を平滑化して得られる出現頻度のピークに基づいて複数の被写体距離を選択する選択手段と、選択された複数の被写体距離を合焦距離とする複数の撮像画像を取得する制御手段と、を有することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、距離の異なる複数の被写体に合焦した高解像度の画像を効率良く得ることができる撮像装置およびその制御方法を提供できる。

本発明の実施形態にかかる撮像装置の一例としてのデジタルカメラの機能構成例を模式的に示すブロック図 実施形態に係るデジタルカメラが備える撮像素子の画素の構成例を模式的に示す図 実施形態に係る撮像素子の画素とカラーフィルタとの配置関係を模式的に示す図 実施形態に係る撮像素子と、撮像光学系に含まれるレンズとの関係を模式的に示す図 実施形態に係るデジタルカメラにおいて、ステレオ画像から、被写体像のずれ量を算出する方法を説明する図 実施形態に係るデジタルカメラの、撮影時における被写体との距離の例を示す図 実施形態に係るデジタルカメラにおいて、合焦距離を決めるために電子ビューファインダー表示動作中に取得した撮影画像と距離画像の例を示す図 実施形態に係るデジタルカメラで得られる距離ヒストグラムの例を示す図 実施形態に係るデジタルカメラの撮影・記録動作を説明するためのフローチャート 実施形態に係るデジタルカメラが合焦距離を変更して撮影した複数枚の撮影画像と距離画像の例を示す図 実施形態に係るデジタルカメラが記録する画像ファイルの構造例を示す図 実施形態において合成比率演算部が算出した合成比率の例を示す図 実施形態に係るデジタルカメラにおける撮影画像の合成による被写界深度の拡大結果を模式的に示す図 第３の実施形態に係るデジタルカメラが電子ビューファインダー表示動作中に撮影した撮影画像の例を示す図 第３の実施形態に係るデジタルカメラにおける距離ヒストグラムの例を示す図 第４の実施形態に係るデジタルカメラが電子ビューファインダー表示動作中に撮影した撮影画像の例と、被写体ごとに分割された領域の例を示す図 図１６の被写体ごとの領域に対して生成された距離ヒストグラムの例を示す図 第５の実施形態に係るデジタルカメラにおける被写界深度の調整方法を説明するための図 第５の実施形態に係るデジタルカメラにおける合成処理を説明するためのフローチャート 第６の実施形態に係るデジタルカメラが記録する画像ファイルの構造例を示す図 第６の実施形態において合成比率演算部が算出した合成比率の例を示す図

（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。まず、本発明の第１の実施形態にかかる撮像装置の構成と全体的な処理動作について、図１〜図５を参照して説明する。

図１は、本発明の第１の実施形態にかかる撮像装置の一例としてのデジタルカメラの機能構成例を模式的に示すブロック図である。
デジタルカメラ１００は、デジタルスチルカメラとデジタルビデオカメラのいずれであってもよいが、本実施形態においてはデジタルスチルカメラであるものとする。撮像光学系１０１は、ズームレンズやフォーカシングレンズを含むレンズ群（以下、撮像レンズと称する）と、絞りにより構成される。

撮像素子１０２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサーである。撮像素子１０２は、撮像光学系１０１の撮像レンズによって結像された被写体像を、２次元的に配置された複数の画素で光電変換して画像信号（電気信号）を生成し、生成した画像信号を出力する。撮像素子１０２にはベイヤー配列のカラーフィルタが設けられ、各画素の出力からベイヤー配列の画像信号を生成する。詳細については後述するが、本実施形態の撮像素子１０２は、１画素に複数の光電変換部を有し、瞳分割された画像信号を出力する。

Ａ／Ｄ変換部１０３は、撮像素子１０２が出力する画像信号をアナログ信号からデジタル信号に変換し、信号処理部１０６および瞳分割画像取得部１０８に出力する。
システム制御部１０４は例えばＣＰＵなどのプログラマブルプロセッサであり、不揮発性記憶装置に記憶されたプログラムを実行することによりデジタルカメラ１００全体の動作を制御する。

メモリ１０５は、システム制御部１０４などが処理を行うための一時的な記憶領域や、プログラムを読み込む領域などとして用いられる。メモリ１０５は各種の設定値やプログラムなどを記憶する不揮発性の領域を有してもよい。

信号処理部１０６は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された、ベイヤー配列の画像信号に対して、所定の信号処理を行う。
画像処理部１０７は、信号処理部１０６が出力する画像信号に対して、色補間やホワイトバランス調整などの画像処理を行う。

瞳分割画像取得部１０８は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像信号から、左右に視差を有するステレオ画像を生成する。

距離画像生成部１０９は、瞳分割画像取得部１０８が生成したステレオ画像から、各画素について被写体距離を算出して、距離画像を生成する。距離画像の例は後で図示する。被写体距離の算出方法としては例えば位相差検出方式を用いることができる。

ここで、撮像素子１０２の構成と、各画素における被写体距離の算出例について、図２と図３を参照して説明する。
図２は、撮像素子１０２に複数配置される画素の構成例を模式的に示す図であり（ａ）は平面図、（ｂ）は垂直断面図である。１つの画素７０３は１つのマイクロレンズ７００に対応し、左右２つの光電変換部７０１および７０２を有する。このような構成により、光電変換部７０１と７０２は撮像レンズの射出瞳の異なる領域から出射する光束を受光する。以下では、説明の便宜上、左右の光電変換部７０１，７０２の一方をＡ画素、他方をＢ画素と称して区別する。

また、Ａ画素により形成される画像（＝Ａ画素の出力信号のみを集めて形成される画像）をＡ画像と称し、Ｂ画素により形成される画像をＢ画像と称する。なお、通常の画像を生成する場合には、１画素内の２つの光電変換部で得られる信号を加算して、画素単位の信号とする。Ａ画像とＢ画像は視差（位相差）を有する１対のステレオ画像を形成する。このように、本実施形態のデジタルカメラ１００が有する撮像素子１０２は、１対のステレオ画像を出力可能な撮像素子である。

図３は、撮像素子１０２における画素とカラーフィルタとの配置関係を模式的に示す平面図である。なお、図３においては、撮像素子１０２の有する画素のうち、縦２画素×横２画素の部分を抜き出して示している。
撮像素子１０２の各画素には、２つの光電変換部に対応して、同色のカラーフィルタが２つ設けられる。図３では、左下の画素にはＲ（赤色）のカラーフィルタ８０１Ｒ，８０２Ｒが、左上と右下の画素にはＧ（緑）のカラーフィルタ８０１Ｇ，８０２Ｇが、右上の画素にはＢ（青）のカラーフィルタ８０１Ｂ，８０２Ｂが設けられている。カラーフィルタ８０１Ｒ，８０１Ｇ，８０１Ｂは光電変換部７０１に、カラーフィルタ８０２Ｒ，８０２Ｇ，８０２Ｂは光電変換部７０２に対応して設けられる。このように、撮像素子１０２にはＲ画素、Ｂ画素、Ｇ画素が一般的なベイヤー配列で配置される。

ここで、瞳分割機能を有する撮像素子１０２で得られる画像信号を使用した、被写体距離の算出方法の概略を、図４を参照して説明する。図４は、撮像素子１０２と、撮像光学系１０１に含まれるレンズ４００との関係を模式的に示す図である。図４に示すように、デジタルカメラ１００は、撮像光学系１０１に含まれるレンズ４００の互いに異なる２つの射出瞳領域（ここでは、上側の領域Ａと下側の領域Ｂ）を通過した２つの光束を、撮像素子１０２で受光する。ここで、レンズ４００による結像が撮像素子１０２の受光面よりも前（＝レンズ４００の側）に存在すると、図４中の射出瞳の上側の領域Ａを通る光束は、撮像素子１０２の受光面において、Ａ’に示すように下側にシフトする。一方、図４中の射出瞳の下側の領域Ｂを通過する光束は、Ｂ’に示すように上側にシフトする。

撮像素子１０２は、一方の射出瞳を通過した光束を２つの光電変換部の一方で受光し、他方の射出瞳を通過した光束を他方の光電変換部で受光することで、Ａ画像用の画像信号とＢ画像用の画像信号を出力する。距離画像生成部１０９は、瞳分割画像取得部１０８が生成したステレオ画像（Ａ画像とＢ画像）とのずれ量（すなわち、光束の分割方向の相対的な位置ずれ量）を算出する。そして、距離画像生成部１０９は、算出したデフォーカス量と、レンズや絞りの各情報とを使用して、デジタルカメラ１００と被写体との距離を算出する。

ここで、視差を有する（位相の異なる）一対のステレオ画像から、被写体像のずれ量（位相差）を算出する方法を説明する。図５（ａ）は基準画像を、図５（ｂ）は参照画像を示す。距離画像生成部１０９は、基準画像の相関演算領域５００と、参照画像の相関演算領域５０１〜５０５との相関の評価値を、参照画像の相関演算領域５０１〜５０５を順次シフトしながら算出する。

具体的には、まず、距離画像生成部１０９は、基準画像の相関演算領域５００内の各画素について、参照画像の相関演算領域５０１〜５０５の同じ位置に存在する画素との輝度値の差分を求め、相関演算領域ごとに総和を得る。この値が相関の評価値となる。基準画像の相関演算領域５００と像が一致する参照画像の相関演算領域があれば、その領域に対する相関の評価値は０となる。従って、相関の評価値が最小になるシフト数における画素が、参照画像における対応点となる。ずれ量０で相関の評価値が最小であれば被写体は合焦距離にあり、それ以外の場合には、相関値が最小となるずれの方向が合焦距離より手前にあるか奥にあるかを示し、ずれ量が合焦距離から被写体までの距離を示す。

距離画像生成部１０９は、１画素ずつ基準画像の相関演算領域をずらして相関演算を行うことで、被写体までの距離に応じた画素値で構成される距離画像を生成する。生成される距離画像の例は後述する図７で示す。

図１に戻って、第１の算出手段としてのヒストグラム生成部１１０は、距離画像生成部１０９の出力する距離画像から、距離毎の画素の出現頻度を示す距離ヒストグラムを生成する。

表示用画像生成部１１１は、撮像画像に、絞り数値や、ＩＳＯ感度や、ヒストグラム生成部１１０が生成したヒストグラムなどの情報を重畳した表示用画像を生成する。なお、撮像画像とは、撮像素子１０２によって生成され、Ａ／Ｄ変換部１０３、信号処理部１０６、および画像処理部１０７によって所定の信号処理と画像処理が施された画像をいう。

表示部１１２は、ＴＦＴ液晶表示パネルなどの画像表示デバイスを有する。そして、表示部１１２は、表示用画像生成部１１１が生成した表示用画像を、Ｄ／Ａ変換部（図略）を介して表示する。
なお、表示用画像生成部１１１は、撮像画像をリアルタイムで処理し、表示部１１２は、表示用画像生成部１１１が生成した表示用画像を、リアルタイムで表示できる。これにより、表示部１１２は、電子ビューファインダー（ＥＶＦ）機能を実現することができる。

操作部１１３は、表示部１１２と一体となったタッチ式表示パネルなどの入力デバイスを有する。操作部１１３に対するユーザ操作によって、電子ビューファインダー表示動作から静止画撮影動作への移行、記録媒体に格納されている静止画の再生動作、合成処理による撮影後の被写界深度の調整動作などの実行が、システム制御部１０４に指示される。

符号化復号化部１１４は、静止画撮影により得られた撮影画像と、対応する距離画像を符号化する。また、符号化復号化部１１４は、静止画再生時に記録媒体１１５から読み出された符号化画像データを復号化するほか、合成処理によって得られた合成画像を符号化する。詳細は後述する。

記録媒体１１５は、例えば着脱可能な半導体メモリカードであり、記録媒体コントローラ（図略）により制御され、静止画撮影時または合成処理時に符号化された画像データを格納する。

第２の算出手段としての合成比率演算部１１６は、合成処理時に合成対象となる撮影画像の合成比率を、合成対象の撮影画像の合焦距離と、距離画像の画素値に応じて算出する。また、ユーザが被写界深度の範囲を指定する実施形態では、指定された被写界深度に応じた合成比率を算出する。

画像合成部１１７は、合成処理時に合成比率演算部１１６が算出した合成比率と、合成対象となる撮影画像に対する距離画像の画素値をもとに、複数枚の撮影画像を合成して合成画像を生成する。

次に、本実施形態のデジタルカメラ１００が撮影後の被写界深度の調整に用いる複数枚の撮影画像を撮影するために合焦距離を決定する方法について、図６〜図８を参照して説明する。

図６は、撮影時のデジタルカメラ１００と被写体６０１〜６０３の距離の例を示す図である。撮影者６００が保持するデジタルカメラ１００の撮像素子１０２（撮像面）から８ｍの距離に人物６０１が、４ｍの距離に花６０２が、撮像光学系１０１にとって無限遠とみなされる距離に背景６０３がそれぞれ存在している。

図７は、合焦距離を決めるために電子ビューファインダー表示動作中に取得した撮影画像と距離画像の例である。
７１１、７２１は合焦距離８ｍにおける撮影画像と、対応する距離画像である。撮影画像７１１では、合焦距離に位置する人物６０１に合焦していて、手前の花６０２や奥の背景６０３はボケて写っている。対応する距離画像７２１は画素ごとに被写体までの距離を示す。矩形７２０は被写体までの距離と画素値（例えば輝度値）の関係を示しており、合焦距離を中央値として手前の被写体が明るく、奥の被写体が暗く表現される。そのため、距離画像７２１では手前の花が明るく、奥の背景が暗くなっている。

図８は、距離画像７２１からヒストグラム生成部１１０により得られた距離ヒストグラムである。８１０は距離の出現頻度を示し、８２０は８１０を平滑化フィルタで平滑化したものである。システム制御部１０４は、このヒストグラムから、出現頻度のピークに対応する距離Ｄ１、Ｄ２、Ｄ３を、合成画像の生成に用いる画像の撮影時の合焦距離として決定する。ここで、距離Ｄ１は４ｍ（花）、Ｄ２は８ｍ（人物）、Ｄ３は無限遠（背景）に対応している。なお、平滑化は必須ではなく、頻度分布から直接、合焦距離を決定しても良い。

本実施形態のデジタルカメラ１００では、手前から奥に優先順位を割り付け、Ｄ１、Ｄ２、Ｄ３の順で合焦距離を変化させて撮影を行う。合焦距離の短い方から撮影するのは、先に撮影される被写体のシャッタータイムラグを小さく抑えられるからである。距離が短い被写体のほうが、被写界深度が浅く、被写体の動きの影響が大きく、また、撮影者にとって重要な被写体である可能性が高いため、まず近い被写体に合焦させた撮影を行う方がよいと考えられる。このようにして、撮影後に被写界深度を調整する際に、撮影タイミングの差が画像合成に与える影響を抑えている。

なお、ここで挙げた例では合焦距離を３点選択しているが、２点以上あれば撮影後の被写界深度の調整に用いることがはでき、点数が多いほうが撮影後に行う被写界深度の調整の自由度が増す。一方、点数を多くすると撮影時のタイムラグは大きくなってしまう。この点数は、ユーザから操作部１１３を介して予め設定させてもよい。または、システム制御部１０４によって、距離ヒストグラムから検出されたピークの個数から自動的に増減させてもよい。また、距離ヒストグラムのピークがなだらかである場合は、合焦距離を微調整できるようにピーク周辺を刻んで点数を増やしてもよい。また、ピークが存在しない部分では、ヒストグラムの高さに応じた刻み幅で撮影する合焦距離を設けてもよい。また、露出条件や撮像光学系１０１の駆動速度から、１フレームの撮影にかかる時間が短ければ撮影間のタイムラグが小さくなり画像合成の影響が小さくなるので、点数を増やしてもよい。また、記録される画像の解像度が高ければ、合焦精度が要求されるため点数を増やしてもよい。

次に、本実施形態のデジタルカメラ１００が後から被写界深度を調整できる画像を撮影・記録する処理について、図９のフローチャートを参照して説明する。本実施形態のデジタルカメラ１００は、起動後または操作部１１３を通じたユーザの指示により、この画像の撮影・記録処理を行う。

Ｓ９０１では、電子ビューファインダー表示動作を行う。電子ビューファインダー表示動作では、システム制御部１０４の制御に従った連続した撮影動作、信号処理部１０６、画像処理部１０７による所定の信号処理と画像処理により、表示用画像の生成並びに表示を行う。また、距離画像生成部１０９による距離画像の生成も行う。

Ｓ９０２で、システム制御部１０４は、操作部１１３を通じてユーザから静止画撮影指示が行われたかどうかを判定する。指示が行われていなければ、Ｓ９０３でシステム制御部１０４は撮影終了が指示されたかを判定し、指示されていれば処理を終了する。撮影終了が指示されていなければ、システム制御部１０４は処理をＳ９０１に戻す。

一方、Ｓ９０２で静止画撮影指示が行われていれば、Ｓ９０４でシステム制御部１０４は、直前の電子ビューファインダー表示動作で取得した距離画像から、ヒストグラム生成部１１０を用いて距離ヒストグラムを取得する。そして、システム制御部１０４は、距離ヒストグラムを元に、撮影を行う複数の合焦距離を選択してリスト化し、優先順位を割り付ける。

Ｓ９０５でシステム制御部１０４は、合焦距離のリストに含まれる複数の合焦距離のうち、優先順位の最も高い合焦距離に撮像光学系１０１を合焦させて撮影を行い、撮影を行った合焦距離をリストから削除する。撮影した画像は信号処理部１０６および画像処理部１０７による所定の信号処理および画像処理と、符号化復号化部１１４による符号化を行った後、システム制御部１０４がメモリ１０５に格納する。

Ｓ９０６でシステム制御部１０４は、合焦距離のリストに要素が残っているかを判定し、残っていれば再度Ｓ９０５からの処理を実施する。
一方、合焦距離のリストに要素が残っていなければ、Ｓ９０７でシステム制御部１０４は、撮影した複数枚の画像をグループ化として、例えば１つのファイルとして記録媒体１１５に記録し、Ｓ９０１に処理を戻す。

図１０は、図９のフローチャートに従って、複数の合焦距離で撮影された複数枚の画像と、対応する距離画像の例を模式的に示す図である。
６１１、６２１は図７で示した７１１、７２１と同じく、合焦距離８ｍの撮影画像と距離画像である。撮影画像６１１では、合焦距離に位置する人物６０１に合焦していて、手前の花６０２や奥の背景６０３はボケている。対応する距離画像６２１は画素値によって被写体までの距離を示している。矩形６２０は図７で示した矩形７２０と同じく、被写体までの距離と距離画像の画素値との関係を示しており、合焦距離を中央値として手前の被写体が明るく、奥の被写体が暗く表現されていることを示している。従って、距離画像６２１では人物６０１より手前にある花が明るく、奥の背景が暗くなっている。

同様に、６１２、６２２は合焦距離４ｍの撮影画像と距離画像である。撮影画像６１２では、花に合焦していて、奥の人物とさらに奥の背景はボケている。距離画像６２２では人物が暗く、背景はさらに暗くなっている。

また、６１３、６２３は合焦距離無限遠の撮影画像と距離画像である。撮影画像６１３では、背景に合焦していて、手前と人物とさらに手前の花はボケている。距離画像６２３では人物が明るく、花はさらに明るくなっている。

次に、本実施形態のデジタルカメラ１００が合成画像を生成するために撮影した複数枚の撮影画像と、対応する距離画像とを記録媒体１１５に記録する形式について、図１１を参照して説明する。
図１１は撮影画像６１１、６１２、６１３と距離画像６２１、６２２、６２３の符号化データをグループ化して１つのファイルとした画像ファイルの構造例を示す図である。
ＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）マーカ１００１と、次に現れるＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）マーカ１００６との間の領域に、１つの合焦距離に対応した画像データが格納されている。なお、ここでは撮影画像と対応する距離画像とを合わせて１フレームの画像データとして取り扱う。

撮影画像６１１に対する付属情報１００２には、サムネイル画像や、撮影画像６１１を撮影したときの合焦距離などの撮影条件などの情報が格納されている。
グループ情報１００３は、この画像ファイルに含まれる全てのフレーム画像の構成を示す情報であり、格納されているフレーム数、各フレーム画像のファイル内の位置（オフセット位置）や識別子などが格納されている。グループ情報１００３は、最初のフレーム画像データにのみ含まれる。
符号化画像データ１００４および１００５は、距離画像６２１および撮影画像６１１の符号化データである。

ＳＯＩマーカ１００７とＥＯＩマーカ１０１１との間の領域に、２フレーム目の画像データが格納されている。
撮影画像６１２に対する付属情報１００８には、サムネイル画像や、撮影画像６１２を撮影したときの合焦距離などの撮影条件などが格納されている。
符号化画像データ１００９および１０１０は、距離画像６２２および撮影画像６１２の符号化データである。

ＳＯＩマーカ１０１２とＥＯＩマーカ１０１６との間の領域に、３フレーム目の画像データが格納されている。
撮影画像６１３に対する付属情報１０１３には、サムネイル画像や、撮影画像６１３を撮影したときの合焦距離などの撮影条件などが格納されている。
符号化画像データ１０１４および１０１５は、距離画像６２３および撮影画像６１３の符号化データである。

次に、本実施形態のデジタルカメラ１００が、合焦距離を変えて撮影した１グループの画像から合成画像を生成する際の合成比率を算出する方法と、合成画像の生成方法について図１２、図１３を参照して説明する。

図１２は被写界深度を拡大するために合焦距離の異なる複数の撮影画像を合成する場合に、合成比率演算部１１６が算出した合成比率の例を示す図である。
図１２（ａ）の合成比率曲線８３０は、被写界深度を４ｍ近傍から８ｍ近傍までの範囲に拡大する際の、撮影画像６１１（合焦距離８ｍ）に対する撮影画像６１２（合焦距離４ｍ）の合成比率の例を示す。合成比率は、合成する撮影画像６１２に対応する距離画像６２２の画素値に応じて、即ち、画素ごとの被写体距離に応じて変化する。

この例では、被写体距離（４＋α１）ｍ以下の画素については撮影画像６１２の合成比率を１００％として、撮影画像６１２の画素をそのまま合成後の画素として用いる。また、（４＋α１）ｍから（４＋β１）ｍの被写体距離（α１＜β１）については、距離が増加するにつれて撮影画像６１１の比率を高めながら撮影画像６１１の画素と撮影画像６１２の画素とを合成する。また、（４＋β１）ｍ以上の距離では撮影画像６１１の合成比率を１００％として、撮影画像６１１の画素をそのまま合成後の画素として用いる。

これにより、４ｍ近傍より手前に存在する被写体が写った領域には撮影画像６１２のみが用いられ、（４＋β１）ｍより奥に存在する被写体が写った領域は撮影画像６１１のみが用いられる。また、（４＋α１）ｍから（４＋β１）ｍの被写体距離については、撮影画像６１２と６１１とが合成される。α１とβ１の値は、被写界深度や２つの画像の合焦距離の間隔などの条件に応じて予め設定しておくことができる。

合成比率曲線８３１は、撮影画像６１１および６１２の合成画像に撮影画像６１３を合成して被写界深度をさらに無限遠近傍の範囲まで拡大する際の、合成画像に対する撮影画像６１３の合成比率の例を示す。合成比率曲線８３１は、合焦距離が無限遠の撮影画像６１３に対応する距離画像６２３の画素値に対して、即ち、画素毎の被写体までの距離に応じて変化する。

この例では、（無限遠−α２）以上の距離に対しては撮影画像６１３の合成比率を１００％として、撮影画像６１３の画素をそのまま合成後の画素として用いる。また、（無限遠−α２）から（無限遠−β２）の距離（α２＜β２）に対しては距離が小さいほど撮影画像６１３の合成比率を低くし（合成画像の比率を高くし）する。そして、（無限遠−β２）以下の距離では合成比率０％として、合成画像の画素をそのまま合成後の画素として用いる。これにより、（無限遠−β２）より手前に存在する被写体が写った領域は合成画像がそのまま用いられ、（無限遠−α２）以上の距離に存在する被写体が写った領域は撮影画像６１３がそのまま用いられる。また、（無限遠−β２）から（無限遠−α２）の被写体距離については、距離が大きいほど撮影画像６１３の合成比率を高くして合成された画素が合成後の画素として用いられる。α２とβ２の値は、被写界深度や２つの画像の合焦距離の間隔などの条件に応じて予め設定しておくことができる。

ここで示した例において、合成比率演算部１１６は、撮影画像６１１と撮影画像６１２の合成には距離画像６２２を、それらの合成画像と撮影画像６１３の合成には距離画像６２３を用いている。合成比率演算部１１６は、合成する２つの画像の被写界深度に予め定めた値以上の差がある場合には、被写界深度の浅い撮影画像に対する距離画像を用いる。これは、被写界深度の浅い画像のほうが、合焦距離と離れた被写体のデフォーカス量が大きくなるため、被写体までの距離の精度が高くなるためである。また、３枚以上の画像の合成は基準となる撮影画像に対して、合焦距離が近い撮影画像から順に合成する。これにより、上述したように２枚の画像に対する合成比率の算出と合成を繰り返すことで、３枚以上の画像の合成による被写界深度の拡大を実現することができる。

なお、本実施形態では、２枚以上の撮影画像を合成した合成画像は、他の１枚の撮影画像よりも被写界深度が深くなるため、合成画像と撮影画像の合成には撮影画像に対する距離画像を用いる。もし、２枚の合成画像よりも大きい被写界深度を持つ撮影画像を合成する場合には、合成画像に対する距離画像を生成して合成に用いてもよい。このような距離画像は、合成画像に用いられた撮像画像の距離画像から生成することができる。具体的には、合焦距離の長い撮像画像の距離画像から、中央値より大きい画素値を持つ（合焦距離より遠くの被写体に対応した）画素を抜き出す。また、合焦距離の短い撮像画像の距離画像から、中央値より小さい画素値を持つ（合焦距離より近くの被写体に対応した）画素を抜き出す。そして、他の画素については中央値とすることで、距離画像を生成することができる。

図１３は撮影画像の合成による被写界深度の拡大結果を模式的に示す図である。
被写界深度を４ｍ近傍から８ｍ近傍までの範囲に拡大する際には、撮影画像６１１に対して撮影画像６１２を合成することで、合成画像６１４を出力する。この合成処理は、合成比率演算部１１６の算出した合成比率と、撮影画像６１２に対応する距離画像６２２の画素値に基づいて行われる。合成画像６１４では８ｍ近傍の人物６０１と４ｍ近傍の花６０２の両方に合焦しているが、無限遠の背景には合焦していない。

さらに、被写界深度を無限遠近傍までの範囲に拡大する際には、合成画像６１４に対して撮影画像６１３を合成することで、合成画像６１５を出力する。この合成処理は、合成比率演算部１１６の算出した合成比率と、撮影画像６１３に対応する距離画像６２３の画素値に基づいて行われる。合成画像６１５では人物６０１および花６０２に加え、背景６０３にも合焦している。

以上説明したように、本実施形態によれば、被写界深度を拡大した合成画像を生成するための複数の画像を撮影する際の合焦距離を、被写体距離の頻度分布のピークに基づいて決定する。そのため、シーン内の主要被写体について合焦した合成画像を効率的に得ることができる。また、その結果、合成画像における主要被写体の合焦精度、すなわち画質を向上させることもできる。

また、視差を有する１対の画像から生成した距離画像を用いることにより、被写体距離の頻度分布を容易に求めることができる。特に、撮像面位相差検出方式の焦点検出が可能な撮像素子を有する撮像装置では、距離画像を生成するための特別な構成を必要としないため、利点が大きい。

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、撮影画像から注目被写体を検出して、複数枚の画像を撮影する際に注目被写体の合焦距離を優先する点が第１の実施形態と異なる。以下、第１の実施形態との相違点について着目して本実施形態を説明する。

本実施形態のデジタルカメラは、画像処理部１０７が、注目被写体の検出機能を有する。この検出機能は、信号処理および画像処理された撮影画像から、人物や顔などの画像パターンを検出する機能であっても、撮影時刻の異なる撮影画像の比較により動き量や変化量の大きい領域を検出する機能であってもよい。なお、画像処理部１０７とは別に、注目被写体の検出を行う機能ブロックを設けてもよい。

本実施形態では、Ｓ９０１の電子ビューファインダー表示動作において、画像処理部１０７が撮影画像に対して注目被写体の検出機能を適用する。そして、注目被写体の領域が検出された場合には、システム制御部１０４が、検出された注目被写体の領域に対応する距離画像の領域から、注目被写体に対するフォーカスのずれ量を検出する。そして、システム制御部１０４は、注目被写体の領域に対して合焦するよう、撮像光学系１０１の合焦距離を制御する。これにより、電子ビューファインダーには、注目被写体に合焦した画像が表示される。

そして、Ｓ９０２で静止画撮影指示が検出されると、システム制御部１０４は、第１の実施形態と同様にして、撮影すべき合焦距離を決定する。ただし、第１の実施形態では、頻度分布でのピークに対応した被写体距離から合焦距離を決定したが、本実施形態では、注目被写体に対する合焦距離を含み、かつ注目被写体に対する合焦距離に最大の優先度を割り当てるようにする。従って、注目被写体の領域に対する合焦距離は、距離画像における頻度分布とは関係なしに、撮影すべき合焦距離として決定してもよい。

つまり、Ｓ９０４でシステム制御部１０４は、距離ヒストグラムのピークに基づいて決定した複数の合焦距離と、注目被写体に対する合焦距離とを選択し、注目被写体に対する合焦距離から順に優先順位を割り付ける。なお、複数の注目被写体が検出されている場合には、距離の近い方から、領域が大きい方から、画面中央に近い方からといったように、位置や大きさに関する条件の１つ以上を考慮して優先順位を割り付けてもよい。

注目被写体は撮影者にとって重要な被写体である可能性が高いため、このような優先順序の割り当てにより、注目被写体に対するシャッタータイムラグを抑制することで、より望ましい合成画像を得ることができる可能性を高めることができる。また、電子ビューファインダー表示動作においては、撮像光学系１０１が注目被写体に合焦した状態で撮影を行っている可能性が高いため、静止画撮影指示に応答した最初の撮影時にフォーカシングレンズの移動に要する時間を抑えることができる。

なお、最初の静止画撮影時におけるシャッターラグを抑制する効果は、現在の合焦位置に最も近い合焦距離の撮影から実行するように優先順位を割り当てることでも実現することができる。このような優先順位の割り当ては、本実施形態とは独立して実施可能である。

また、注目被写体の領域を自動検出する機能は必須ではなく、自動で検出する代わりに、ユーザに電子ビューファインダー表示画面の領域を指定させた領域を注目被写体の領域としてもよい。

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、撮影画像から注目被写体を検出して、その領域に対する重み付けを行った上で、距離ヒストグラムを生成する点が第２の実施形態と異なる。以下、第２の実施形態との相違点に着目して説明する。

本実施形態における、被写界深度を拡大した合成画像を生成するための複数の画像を撮影する際の合焦距離を決定する方法について、図１４と図１５を参照して説明する。
図１４は、電子ビューファインダー表示動作中に撮影した撮影画像の例である。

撮影画像１２１１は合焦距離８ｍで撮影されており、図７に示した、第１の実施形態での合焦距離８ｍの撮影画像７１１に対し、人物６０１の周囲に別の人物６０４、６０５、６０７、６０８が写っている。これらの人物６０４，６０５，６０７，６０８は、人物６０１に比べて少しだけ遠くに存在するものとする。合焦距離に位置する人物６０１に合焦していて、手前の花６０２や奥の背景６０３はボケているのは図７の撮影画像７１１と同じである。本実施形態の撮影画像１２１１では、人物６０１は注目被写体として取り扱われており、表示画面上では注目被写体を示す枠６１０が表示されている点で第１の実施形態と異なる。

複数の人物のなかから撮影者にとって重要な人物を抽出するため、本実施形態のデジタルカメラは、画像処理部１０７が注目被写体の検出機能だけでなく、被写体の識別機能を有する。本実施形態でも、被写体の識別機能を提供する被写体識別部を画像処理部１０７とは別個に設けてもよい。被写体の識別機能は、検出された注目被写体の領域から画像パターンの特徴量を抽出し、予め収集して記録媒体などに格納しておいた人物の特徴量と比較することで、個人を識別する。

図１５は撮影画像１２１１に対する距離画像からヒストグラム生成部１１０により得られた距離ヒストグラムである。図１５（ａ）は第１の実施形態のデジタルカメラで生成した距離ヒストグラム、図１５（ｂ）が本実施形態のデジタルカメラで生成した距離ヒストグラムである。

図１５（ａ）に示す１３１０は距離毎の画素の出現頻度を示し、１３２０は１３１０を平滑化したものである。ここで、人物６０１に対する合焦距離はＤ２’であるが、距離が近い他の人物が多数存在することによって、平滑後の頻度ピークは距離Ｄ２となり、ずれが生じている。なお、撮影者にとって重要な被写体は人物６０１であって、他の人物の影響を抑えて、人物６０１に対する合焦距離が選択されることが望ましいものとする。そこで本実施形態では、注目被写体の領域の距離に重み付けして距離ヒストグラムを生成することにより、注目被写体と距離が近い他の被写体の影響を抑制する。

具体的には、注目被写体の領域に対応する距離画像の領域に含まれる画素値（被写体距離）の頻度が、実際の頻度よりも大きくなるように重み付けする。重み付けの方法には特に制限は無いが、通常は１頻度／１画素であるところを、１画素当たりの頻度を１より大きくすることができる。あるいは、注目被写体の合焦距離に対する頻度に１より大きな係数を乗じてもよい。これらの方法により、本来の合焦距離Ｄ２の頻度が大きくなり、前後の近傍に存在する被写体の影響を抑制して、合焦距離Ｄ２が選択される可能性を高めることができる。

図１５（ｂ）に、注目被写体の検出された領域に対する頻度分布に重み付けして生成した距離ヒストグラム１３１１と、平滑化したヒストグラム１３２１とを示している。ここでは、画像処理部１０７の被写体識別機能が、人物６０１の顔部分の画像パターンから抽出される特徴量と、予め記録媒体に格納されている、撮影者にとって重要な人物の特徴量とから、人物６０１が撮影者にとって重要な人物であると識別されたものとする。図１５（ａ）に比べて図１５（ｂ）のヒストグラムでは、人物６０１に対する合焦距離の出現頻度が重み付けにより大きくなり、合焦距離Ｄ２がピークとして検出され、撮影に用いる合焦距離として選択されるようになる。
なお、具体的な重み付けの値については、例えば実験的に定めることができる。

このように、本実施形態によれば、注目被写体に対応する距離の頻度に重み付けを行うことで、注目被写体の前後近傍に周囲に他の被写体が存在する場合にも、注目被写体に合焦した画像を撮影することが可能になる。なお、人物の識別を行うことは必須ではなく、検出された注目被写体の領域を重要な被写体と見なして重み付けを行ってもよい。また、自動で検出する代わりに、ユーザに電子ビューファインダー表示画面の領域を指定させた領域を注目被写体の領域としてもよい。

（第４の実施形態）
次に、第４の実施形態について説明する。本実施形態では、複数枚の画像を撮影する際に、被写体に応じて合焦距離に加えて撮影時の被写界深度も変化させる点が第２の実施形態とは異なる。以下、第２の実施形態との相違点に着目して説明する。

本実施形態のデジタルカメラが被写界深度を拡大した合成画像の生成に用いる複数枚の撮影画像を撮影する際の合焦距離と被写界深度を決定する方法について、図１６と図１７を参照して説明する。

図１６（ａ）は、電子ビューファインダー表示動作中に撮影した撮影画像の例を模式的に示す図である。
撮影画像１４１１では、画面のほぼ中央に人物１４０１，１４０２が存在し、近景１４０３に花畑、背景１４０４に空が存在する。ここで、人物１４０１，１４０２は被写体のなかで比較的小さく、奥行き方向の広がりを持っていないため、浅い被写界深度でも合焦させられる。それに対して、花畑１４０３は奥行き方向の広がりが大きく、被写界深度を深くしないと合焦する範囲が狭くなってしまう。被写界深度を良好に拡大できるよう、本実施形態では、被写体の奥行き方向の広がりの大きさに応じた被写界深度を実現するように、撮影時の条件を設定する。

本実施形態の画像処理部１０７は、撮影シーン内の被写体を判別する機能を有する。この判別機能を提供する機能ブロックを画像処理部１０７とは別個に設けてもよい。被写体の判別は例えば、撮影画像を複数の領域（例えば同一サイズの矩形領域）に分割して、領域ごとの特徴を、予め登録した被写体の特徴と比較することで実現できる。画像処理部１０７（被写体判別部）は、領域内の画素について、輝度、色（色相、彩度）、空間周波数スペクトル、隣接する領域との差異、差異の少ない領域同士を足し合わせた大きさ、合焦距離などを取得する。そして、空や草花、ビル、人物など、予め定めた代表的な被写体ごとに予め定めておいた特徴を満たす領域を、特定の種類の被写体の領域と判定する。これにより、撮影画像は被写体毎の領域に分割することができる。

図１６（ｂ）〜（ｄ）は、撮影画像１４１１の被写体検出結果の例であり、被写体の種類に応じて分割された領域をブロック単位で示している。具体的には、図１６（ｂ）は注目被写体である人物、図１６（ｃ）は近景の花畑、図１６（ｄ）は背景の空と判別された矩形領域を示す。

図１７は、被写体ごとに分割された領域それぞれに対して、ヒストグラム生成部１１０が距離画像をもとに生成した距離ヒストグラムの例を示している。図１７（ａ）は図１６（ｂ）の人物被写体（注目被写体）の領域に関する距離ヒストグラムであり、奥行き方向の広がりは小さく、距離Ｄ１をピークとした狭い距離範囲に出現頻度が集中している。

本実施形態では、距離ヒストグラムのピークを中心に所定の幅Ａを前後にとった範囲（Ｄ１±Ａ）で出現頻度の分散を求める。図１７（ａ）の距離ヒストグラムは分散が比較的小さく、被写体の奥行きがあまりないため、被写界深度が浅くても被写体の合焦範囲が十分あると判定できる。この場合、システム制御部１０４は、合焦距離Ｄ１で撮影を行う場合には、撮影条件を、例えばプログラムモードで決定される条件よりも、例えば撮像光学系１０１の絞りの開口を大きくし、シャッター速度を高くして、被写界深度を浅くする。

また、図１７（ｂ）は図１６（ｃ）の近景領域に関する距離ヒストグラムである。この距離ヒストグラムにおけるＤ２±Ａの範囲の出現頻度の分散は比較的大きいため、被写体の奥行きが比較的大きいと判定できる。この場合、被写界深度が浅いと被写体の奥行き方向における合焦範囲が狭くなるため、システム制御部１０４は、合焦距離Ｄ２で撮影を行う場合には、例えば絞りの開口を小さくし、シャッター速度を低くして、被写界深度を深くする。

図１７（ｃ）に示す、図１６（ｄ）の背景領域についても、距離ヒストグラムのピーク前後の範囲における分散を求める。なお、図１７（ｃ）の例では、（Ｄ３＋Ａ）が最大距離ＭＡＸを超えるため、（Ｄ３−Ａ）からＭＡＸまでの範囲で分散を求める。背景領域に関する分散は比較的小さいため、人物領域と同様に、被写界深度を浅くした撮影を行う。

奥行きに広がりを持つ被写体について、奥行き方向に十分な合焦範囲がある撮像画像を得ることを実現する効果は、ピーク前後の頻度分布の分散の大きな被写体の撮影時における被写界深度を調整することで実現できる。従って、図１７（ａ），（ｃ）に示すような、被写界深度を深くしなくてもよい被写体については、被写界深度を浅くするような制御を行わなくてもよい。ただし、被写界深度を浅くすることにより、より速いシャッター速度を用いることが可能であるため、被写体ぶれや手ブレの発生を抑制できる効果がある。

また、撮像光学系１０１の焦点距離や撮像素子の大きさ等のカメラパラメータと、プログラムＡＥモードなどによって定まる絞り値と被写体距離との関係から求まる被写界深度が、被写体の奥行き方向における合焦範囲の確保に十分である場合がある。このような場合も、被写界深度が深くなるように撮影条件を変更しなくてもよい。奥行きが大きな被写体の撮影を行う合焦距離において、現在の撮影パラメータによる被写界深度が被写体の奥行き方向における合焦範囲の確保に十分かどうか判定し、不十分と判定される場合だけ被写界深度をさらに深くするように撮影条件を変更してもよい。また、どの程度撮影条件を変更すべきかの判定を、現在の撮影パラメータによる被写界深度に応じて決定してもよい。

本実施形態によれば、被写界深度を広げた合成画像を生成するために合焦距離の異なる複数の画像を撮影する場合に、被写体の奥行き方向への広がりを考慮して撮影条件を設定する。特に、奥行き方向における合焦範囲が十分に確保できるように撮影条件を設定することで、合成画像における被写界深度の拡張を効果的に行うことができる。

（第５の実施形態）
本実施形態は、合焦距離の異なる複数の画像を合成して被写界深度を広げた合成画像を生成する際に、被写界深度（合焦している被写体距離の範囲）を具体的な数値で指定可能とすることを特徴とする。例えば上述の特許文献１記載の撮像装置では、被写体までの距離を考慮せずに合成を行うため、例えば４ｍから８ｍの範囲に合焦させるなど、具体的な距離をもとに被写界深度を調整した画像を得ることができない。

次に、本実施形態のデジタルカメラ１００が提供する、調整後の被写界深度を設定するためのＧＵＩの例について、図１８を参照して説明する。なお、図１８に示すＧＵＩは、システム制御部１０４が、操作部１１３の操作に応じて不揮発性メモリに予め記憶されたＧＵＩデータを読み出して表示用画像生成部１１１を通じて表示部１１２に表示させる。

図１８において、９００は図１の表示部１１２及び操作部１１３を兼ねるタッチ式表示パネル（タッチパネルディスプレイ）である（以下、パネルと略称する）。図１８（ａ）において、パネル９００には記録媒体１１５から読み出し再生された撮影画像６１１に、被写界深度のコントローラ９１０と、決定ボタン９２０と、キャンセルボタン９３０が重畳表示されている。コントローラ９１０には、デジタルカメラ１００からの距離（被写体距離）を示すスケール９１１と、設定する被写界深度の奥側と手前側の距離を示す２つの三角形のスライダ９１２，９１３が表示される。図１８（ａ）に示す状態では、被写界深度の範囲として、８ｍ手前から８ｍの近傍が設定されている。

図１８（ｂ）は、ユーザが指９５０で被写界深度の手前側の距離を調整するスライダ９１３をタッチしている状態を示している。タッチされたことのフィードバックとして、スライダ９１３の表示色が変化している。
図１８（ｂ）の状態からユーザがスライダ９１３をドラッグし、４ｍの手前に対応する位置に移動させた状態を図１８（ｃ）に示す。スライダ９１２，９１３の位置が変化すると、システム制御部１０４は現在のスライダ９１２，９１３の位置に対応する被写界深度の範囲を特定する。ここでは、スライダ９１３のドラッグにより、４ｍのやや手前から、８ｍの近傍までが被写界深度の範囲になったものとする。そして、システム制御部１０４は、撮影画像６１１と同じグループに属する、他の合焦距離で撮影した撮像画像６１２，６１３を用いて、指定された被写界深度の範囲を実現した合成画像を生成してパネル９００に表示させる（図１８（ｃ））。このように、ユーザは、スライダ９１２，９１３をドラッグさせることで、被写界深度の設定を変更するとともに、変更後の設定に対応した合成画像を確認することができる。図１８（ｃ）の状態から指９５０を離すと、スライダ９１３の色が元に戻る（図１８（ｄ））。

ここでは例としてスライダ９１３を用いて被写界深度の手前側の端位置を変更した場合について説明したが、スライダ９１２を調整して、被写界深度の奥側の端位置を変更することも可能である。例えば、被写界深度を無限遠にまで拡大することもできる。また、逆に被写界深度を元の範囲に狭めることや、４ｍ近傍のみを被写界深度の範囲としたり、無限遠近傍のみを被写界深度の範囲としたりすることもできる。また、具体的な数値を直接指定するようにしてもよい。

なお、被写界深度の範囲を設定、変更するためのＧＵＩはスライダに限らず、範囲を設定可能な任意の形態のＧＵＩを用いることができる。タッチパネルを用いずに、ハードウェアボタンやキーを用いたり、音声を用いたりすることも可能である。また、範囲の両端を設定する方法だけでなく、被写界深度の中心距離のみを設定するなどの方法を用いてもよい。

決定ボタン９２０がタッチされた場合、システム制御部１０４は、現在表示している合成画像を符号化して、記録媒体１１５に記録する。また、キャンセルボタン９３０がタッチされた場合、システム制御部１０４は、表示されている合成画像を破棄し、被写界深度の調整ＧＵＩの表示を終了し、上位のメニュー画面などに戻ってもよい。

次に、操作部１１３を通じたユーザの指示により被写界深度の設定が変更された際に、変更後の設定に応じた合成画像を生成するための合成処理について、図１９のフローチャートを参照して説明する。

Ｓ１２０１で、システム制御部１０４は、１つの画像ファイルに記録されている複数の撮影画像のうち、先頭に記録されているものを基準画像として、この基準画像を合成結果の初期状態とする。また、システム制御部１０４は、合成された画像を列挙する合成対象リストを、基準画像だけが登録された状態に初期化する。

Ｓ１２０２でシステム制御部１０４は、図１８（ａ）に示したように、表示用画像生成部１１１を通じて、合成結果を被写界深度範囲の設定用ＧＵＩとともに表示部１１２（パネル９００）で表示する。最初にＳ１２０２が実行される場合には、合成画像でなく基準画像をそのまま表示する。

Ｓ１２０３でシステム制御部１０４は、操作部１１３（パネル９００）を通じたユーザの指示を待機する。
Ｓ１２０４でシステム制御部１０４は、ユーザ指示が決定ボタン９２０のタッチによる決定指示もしくは、キャンセルボタン９３０のタッチによるキャンセル指示であるか、他の指示かを判定する。

システム制御部１０４は、ユーザ指示が決定指示でもキャンセル指示でもない場合、スライダ９１２または９１３による被写界深度の調整指示と判定し、Ｓ１２０５でスライダ９１２と９１３の位置に応じて合成対象リストを更新する。例えば、図１８（ｃ）で示したように設定された場合には、合焦距離８ｍで撮影された撮影画像６１１と、合焦距離４ｍで撮影された撮影画像６１２とが登録された状態に合成リストを変更する。なお、被写界深度の範囲と、合成リストに登録すべき撮影画像の合焦距離との関係は、予め記憶されているものとする。

Ｓ１２０６でシステム制御部１０４は、合成リストに登録された撮影画像の合成比率を第１の実施形態で説明したようにして合成比率演算部１１６を用いて算出する。そしてシステム制御部１０４は、合成比率に従って画像合成部１１７で合成画像を生成し、処理をＳ１２０２に戻す。これにより、図１８（ｃ）に示したように、被写界深度の設定変更の結果をその場でユーザにフィードバックすることができる。なお、合成する撮影画像が３枚以上の場合、上述の実施形態で説明したように、合焦距離が近い１対の画像から合成画像を生成し、以降は直近に生成された合成画像と、合成されていない撮像画像のうち合焦距離の短いものとの合成を繰り返して実行する。

一方、Ｓ１２０４のユーザ指示が決定指示もしくはキャンセル指示であれば、システム制御部１０４は、Ｓ１２０７でユーザ指示が決定指示で、かつ、合成リストに基準画像以外の画像が登録されているか判定する。

ユーザ指示が決定指示で、かつ、合成リストに基準画像以外の画像が登録されていれば、システム制御部１０４はＳ１２０８で、合成画像を符号化復号化部１１４で符号化し、記録媒体１１５に記録して、被写界深度の調整処理を終える。
また、ユーザ指示がキャンセル指示であるか、合成リストに登録されているのが基準画像のみであれば、システム制御部１０４は、被写界深度の調整処理を中断して処理を終える。

このように、本実施形態によれば、合成画像の被写界深度を例えば４ｍから８ｍの範囲など、具体的な距離で指定したり変更したりすることが可能なＧＵＩを提供したので、ユーザは具体的な値で被写界深度を調整することができる。また、変更された被写界深度を反映した合成画像をフィードバックするので、ユーザは所望の画像を容易に得ることができる。

（第６の実施形態）
次に、第６の実施形態について説明する。本実施形態では、合成比率の算出を、基準となる１つの距離画像を用いて行う点が上述の実施形態とは異なる。以下では、第１の実施形態との相違点に着目して説明する。

本実施形態のデジタルカメラ１００は、第１の実施形態と同様にして決定した複数の合焦距離で撮影した画像を１つのファイルに記録する際、基準となる１つの画像についてのみ距離画像を記録する。基準画像はファイルの先頭に記録される画像であり、例えば合焦距離の最も短い画像である。

図２０は、本実施形態のデジタルカメラ１００による画像ファイルの構造を示し、図１１と同じ構成要素には同じ参照数字を付してある。図１１との対比から明らかなように、距離画像の符号化画像データ１００４が最初に記録されている撮影画像に対してのみ記録されている。また、グループ情報１３０３が、第１の実施形態で説明した情報に加え、各フレーム画像に距離画像が含まれるか否かを示す情報を有している。

次に、本実施形態のデジタルカメラ１００における、撮影画像の合成比率の算出方法について図２１を参照して説明する。上述の通り、画像ファイルには１つの距離画像のみが記録されており、この距離画像を用いて合成比率を算出する。

図２１は本実施形態の合成比率演算部１１６が算出する合成比率の例を示す図である。
合成比率曲線１４１０は、被写界深度を４ｍ近傍から８ｍ近傍までの範囲に拡大する際の、撮影画像６１１（合焦距離８ｍ）に対する撮影画像６１２（合焦距離４ｍ）の合成比率の例を示す。合成比率曲線１４１０は、第１の実施形態とは異なり、基準となる撮影画像６１１に対応する距離画像６２１の画素値に対して変化する。

この例では、（８−α１）ｍ以上の距離に対しては撮影画像６１２の合成比率を０％とする。そして、（８−α１）ｍから（４＋β１）ｍの距離では、距離が小さいほど撮影画像６１２の比率を高め、（４＋β１）ｍ以下の距離では撮影画像６１２の合成比率を１００％とする。これにより、４ｍ近傍より手前の被写体が写った領域には撮影画像６１２の画素がそのまま合成後の画素として用いられ、８ｍ近傍より奥の被写体が写った領域は撮影画像６１１の画素がそのまま合成後の画素として用いられる。そして、（８−α１）ｍから（４＋β１）ｍの距離では、距離が小さいほど撮影画像６１２の合成比率を高くして合成された画素が合成後の画素として用いられる。なお、α１とβ１の値は、被写界深度や２つの画像の合焦距離の間隔などの条件に応じて予め設定しておくことができる。

合成比率曲線１４１１は、撮影画像６１１および６１２の合成画像に撮影画像６１３を合成して被写界深度をさらに無限遠近傍の範囲まで拡大する際の、合成画像に対する撮影画像６１３の合成比率の例を示す。合成比率曲線１４１１についても、基準となる撮影画像６１１に対応する距離画像６２１の画素値に対して変化する。

この例では、（８＋α２）ｍ以下の距離に対しては撮影画像６１３の合成比率を０％として、合成画像の画素をそのまま合成後の画素として用いる。また、（８＋α２）ｍから（無限遠−β２）ｍの距離については、距離が大きいほど撮影画像６１３の合成比率を高め、（無限遠−β２）ｍ以上の距離では撮影画像６１３の合成比率を１００％として、撮影画像６１３の画素をそのまま合成後の画素として用いる。これにより、（８＋α２）ｍより手前の被写体が写った領域には合成画像がそのまま用いられ、（無限遠近傍−β２）以遠の被写体が写った領域は撮影画像６１３がそのまま用いられる。また、（８＋α２）ｍから（無限遠−β２）ｍの距離では、距離が大きいほど撮影画像６１３の合成比率を高くして合成された画素が合成後の画素として用いられる。なお、α２とβ２の値は、被写界深度や２つの画像の合焦距離の間隔などの条件に応じて予め設定しておくことができる。

本実施形態によれば、距離画像を基準画像についてのみ生成すればよいため、距離画像の生成に係る処理コストを削減することができる。また、画像ファイルの容量を低減することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 撮像画像から注目被写体を検出する検出手段と、
   前記撮像画像から被写体距離の頻度分布を求め、前記頻度分布における前記注目被写体に対応する被写体距離の頻度が多くなるように重み付けする第１の算出手段と、
   前記重み付け後の頻度分布を平滑化して得られる出現頻度のピークに基づいて複数の被写体距離を選択する選択手段と、
   前記選択された複数の被写体距離を合焦距離とする複数の撮像画像を取得する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記複数の被写体距離のうち、距離の近い順に前記複数の撮像画像を取得することを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記注目被写体に合焦した撮影画像から順に前記複数の撮像画像を取得することを特徴とする請求項１記載の撮像装置。
4. 前記選択手段は、前記ピークが第１の急峻さである場合よりも、前記第１の急峻さよりなだらかな第２の急峻さである場合に、前記ピークの周辺で選択する被写体距離の数を増加させることを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記選択手段が選択した複数の被写体距離の各々について、対応する被写体の奥行き方向の広がりの大きさを前記頻度分布に基づいて判定する判定手段をさらに有し、
   前記制御手段は、前記判定手段によって前記奥行き方向の広がりが大きいと判定された被写体に対応する被写体距離を合焦距離とする撮像画像を取得する際には、被写界深度が深くなる方向に撮影条件を変更することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記第１の算出手段は、ステレオ画像を構成する１対の撮像画像から生成された距離画像に基づいて前記頻度分布を求めることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 複数の光電変換部を有する画素が複数配置され、前記１対の撮像画像を出力可能な撮像素子をさらに有することを特徴とする請求項６記載の撮像装置。
8. 前記複数の撮像画像の少なくとも２つを合成し、被写界深度を拡大した合成画像を生成する合成手段をさらに有することを特徴とする請求項６または請求項７に記載の撮像装置。
9. 前記合成手段は、ユーザによって設定された被写界深度の範囲に応じて前記複数の撮像画像から合成に用いる撮像画像を決定することを特徴とする請求項８に記載の撮像装置。
10. 前記距離画像の画素値に基づいて画素ごとに合成比率を算出する第２の算出手段をさらに有し、
    前記合成手段は前記合成比率に従って前記複数の撮像画像の少なくとも２つを合成し、前記合成画像を生成することを特徴とする請求項８または請求項９に記載の撮像装置。
11. 前記第２の算出手段は、合成する２つの撮像画像の一方に対応する距離画像の画素値に基づいて、該２つの撮像画像の前記合成比率を算出することを特徴とする請求項１０記載の撮像装置。
12. 前記第２の算出手段は、前記複数の撮像画像のうち、予め定められた１つに対応する距離画像の画素値に基づいて、前記合成比率を算出することを特徴とする請求項１０記載の撮像装置。
13. 検出手段が、撮像画像から注目被写体を検出する検出工程と、
    第１の算出手段が、前記撮像画像から被写体距離の頻度分布を求め、前記頻度分布における前記注目被写体に対応する被写体距離の頻度が多くなるように重み付けする第１の算出工程と、
    選択手段が、前記重み付け後の頻度分布を平滑化して得られる出現頻度のピークに基づいて複数の被写体距離を選択する選択工程と、
    制御手段が、前記選択された複数の被写体距離を合焦距離とする複数の撮像画像を取得する制御工程と、
    を有することを特徴とする撮像装置の制御方法。