JP6495446B2 - ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法 - Google Patents

Description

本発明は、異なる合焦距離で撮影した複数枚の画像を合成することにより、ぼけを強調した画像を作成するぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法に関する。

焦点位置を変化させて異なる合焦距離で撮影した複数枚の画像から、主要被写体の前景および背景のぼけを強調した（その結果、主要被写体が引き立つようにした）ぼけ強調画像を画像処理によって作成する技術が従来より提案されている。

例えば、日本国特開２００８−２７１２４１号公報には、第１の方法として、異なる合焦距離で撮影した複数枚の画像の、対応する画素のコントラストを比較することにより画素毎のぼかし量を算出し、主要被写体に最も合焦した画像に対してぼかし処理を行うことでぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、ぼかし処理により、ぼけが滑らかに変化するぼけ強調画像が得られる。

また、日本国特開２０１４−１５０４９８号公報には、撮像により作成された入力画像に、撮影光学系の特性と撮影条件とを用いて輝度調整やぼけ形状の調整を行った後に、ぼけが大きいレンズの光学系を再現するフィルタ処理を行うことにより実際のレンズで撮影した画像のぼけと等しい形状のぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、原理上、実際のレンズで撮影した画像と等しいぼけをもつぼけ強調画像を作成することができる。

一方、上述した日本国特開２００８−２７１２４１号公報には、第２の方法として、異なる合焦距離で撮影した複数枚の画像の、対応する画素のコントラストをそれぞれ算出して、主要被写体が合焦するよう撮影された画像でのコントラストが最大の画素は主要被写体が合焦する画像の画素を選択し、主要被写体以外が焦点位置となる合焦距離で撮影された画像でのコントラストが最大の画素は、画素のコントラストが最大の合焦距離と主要被写体に関して対称となる合焦距離で撮影された画像の画素を選択して画像合成することでぼけ強調画像を作成する方法が記載されている。この方法を用いた場合には、実際のレンズでぼかした画像を利用するために、理想的なぼけ形状のぼけ強調画像を得ることができる。

しかしながら、上記日本国特開２００８−２７１２４１号公報に記載されたような、ぼかし処理によってぼけ強調画像を作成する第１の方法では、ぼけの形状が実際のレンズで撮影された画像と異なってしまい、自然な画像にならないことがある。

また、上記日本国特開２０１４−１５０４９８号公報に記載された方法では、実際のレンズで撮影した画像と等しい自然なぼけをもつぼけ強調画像を得るためには、レンズの光学特性を非常に高い精度で特定する必要があり、かつ、十分に高い精度で演算を行う必要があるために、演算時間が長くなり、処理負荷も大きくなってしまう。

さらに、上記日本国特開２００８−２７１２４１号公報に記載されたような、合成によりぼけ強調画像を作成する第２の方法では、ぼけが連続的に変化する自然な合成画像を作成するためには、合焦距離を細かいステップで変化させた各焦点位置で画像を撮影する必要があるために、撮影枚数が多くなってしまう。そして、撮影枚数が多くなると、画像を記憶するために大容量のメモリが必要となり、処理時間が長くなり、最も古い画像と最も新しい画像との時間差が大きくなるために被写体の動きが大きくなって多重像が発生してしまう。

本発明は上記事情に鑑みてなされたものであり、自然なぼけをもつぼけ強調画像を比較的少ない枚数の画像に基づいて得ることができるぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法を提供することを目的としている。

本発明のある態様によるぼけ強調画像処理装置は、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系と、上記撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御部と、上記撮像制御部の制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成部と、を有し、上記撮像制御部は、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
となるように制御する。

本発明のある態様によるぼけ強調画像処理プログラムは、コンピュータに、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、を実行させるためのぼけ強調画像処理プログラムであって、上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
となるように制御するステップである。

本発明のある態様によるぼけ強調画像処理方法は、主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、を含むぼけ強調画像処理方法であって、上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
となるように制御するステップである。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、レンズに関する基本的な用語を説明するための図。 上記実施形態１において、撮像装置がレンズ交換式のデジタルカメラである場合の焦点調整機構の構成例を示す図。 上記実施形態１において、ぼけ強調画像を作成するために取得される複数枚の画像の焦点位置の例を示す図。 上記実施形態１において、主要被写体の錯乱円の直径ｄとレンズ繰出量δとの関係を説明するための図。 上記実施形態１において、主要被写体の合焦距離Ｌが、大きいＦＲの場合、中程度ＭＤの場合、小さいＮＲの場合のそれぞれにおいて、ぼけ強調画像を作成するために取得される各画像のレンズ繰出量δの例を示す線図。 上記実施形態１の重み算出部において算出される画像合成用の重みの例を示す線図。 本発明の実施形態２における撮像装置の構成を示すブロック図。 上記実施形態２に関連して、上記図７に示す重みで画像合成を行ったときに発生するぼけの様子を示す図。 上記実施形態２において、推定レンズ繰出量δ_ｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ_０に対してδ_ｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、ぼけが小さい方の動き補正画像をぼかし処理して画像合成を行う様子を示す図。 上記実施形態２において、基準画像でぼけが小さい領域だけにぼかし処理を行うときの、画像合成用の重みの例を示す線図。 本発明の実施形態３において、画像合成により主要被写体の輪郭が背景ににじむ状態が発生する様子を説明するための図。 上記実施形態３において、フィルタを適用する領域内の画素に対して、推定レンズ繰出量が基準レンズ繰出量から離れるにつれて重みを大きくする例を示す線図。 上記実施形態３において、フィルタを適用する領域内の各画素の推定レンズ繰出量が、領域中心画素の推定レンズ繰出量よりも小さいときに重みを大きくする例を示す線図。 上記実施形態３において、動き補正画像に対して設定される初期重みを示す線図。 上記実施形態３において、画素から主要被写体までの距離に応じて決定される係数を示す線図。 上記実施形態３において、ぼかし基準画像における主要被写体の輪郭から所定半径の領域を示す図。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態は、ぼけ強調画像処理装置を撮像装置（さらに具体的には、後述する図３に示すように、レンズ交換式のデジタルカメラ）に適用したものとなっている。

この撮像装置は、撮像部１０と、画像合成部２０と、を備えている。

撮像部１０は、焦点位置の調整（焦点調整）を行って画像を撮影するものであり、レンズ１１および撮像素子１２を有する撮像系１４と、この撮像系１４を制御する撮像制御部１３と、を備えている。

レンズ１１は、被写体の光学像を撮像素子１２上に結像する撮像光学系である。

撮像素子１２は、レンズ１１により結像された被写体の光学像を光電変換して、電気的な画像を作成し出力する。

撮像制御部１３は、ぼけ強調画像を作成するのに適した複数の焦点位置（この焦点位置は、後述する図２に示す合焦距離Ｌを用いて表しても良いし、後で数式１８を参照して説明するようにレンズ繰出量δを用いて表しても構わない）を算出して、撮像素子１２に対してレンズ１１を光軸Ｏ方向に沿って前後に駆動することにより、算出された焦点位置への調整を行う。そして、撮像制御部１３は、各焦点位置において撮像素子１２を制御し撮像を行わせることにより、複数枚の画像を取得させる。ここに、撮像制御部１３は、撮像素子１２から取得した画像に基づいて撮像制御を行う。

ここで、図２は、レンズ１１に関する基本的な用語を説明するための図である。

無限遠の被写体からの光線がレンズ１１により結像されて合焦する結像面に撮像素子１２をおいたときに、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離が焦点距離ｆである。

また、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離を変更することにより、焦点調整が行われる。このとき、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離が焦点距離ｆよりも大きくなるほど、撮像素子１２上に結像される光学像において合焦している被写体までの光軸Ｏに沿った距離（合焦距離Ｌ）が短くなる。

また、合焦距離Ｌの被写体の光学像が結像する位置に撮像素子１２があるとき、レンズ１１から撮像素子１２までの光軸Ｏに沿った距離から、レンズ１１の焦点距離ｆを差し引いた距離を、レンズ繰出量δ（ここに、レンズ繰出量は奥行きに一対一に対応する）と呼ぶ。

このとき、レンズの公式は、次の数式１に示すように書くことができる。

［数１］

なお、デジタルカメラ等の撮像装置においては、被写体が特に近距離にある場合を除いて、Ｌ≫（ｆ＋δ）が成り立つことが多い。従って、合焦距離Ｌを、撮像装置から合焦する被写体までの距離と考えることができる。

図３は、撮像装置がレンズ交換式のデジタルカメラである場合の焦点調整機構の構成例を示す図である。

この図３に示すデジタルカメラは、カメラ本体４０と、このカメラ本体４０に対してレンズマウント等を介して着脱自在な交換レンズ３０と、を備えている。ここに、カメラ本体４０に交換レンズ３０が装着されたときには、カメラ本体４０と交換レンズ３０とは通信接点５０を介して通信することができる。ここに、通信接点５０は、交換レンズ３０側に設けられた通信接点、およびカメラ本体４０に設けられた通信接点を含んで構成されている。

交換レンズ３０は、絞り３１と、撮影レンズ３２と、絞り駆動機構３３と、光学系駆動機構３４と、レンズＣＰＵ３５と、エンコーダ３６と、を備えている。

図１に示したレンズ１１は、この図３に示す構成例においては、絞り３１と撮影レンズ３２とを含む部分が該当する。

絞り３１は、撮影レンズ３２を通過する光の範囲を、絞り開口の大きさを変化させることによって制御するものである。

撮影レンズ３２は、１枚以上（一般的には複数枚）の光学レンズを組み合わせて構成されていて、例えばフォーカスレンズを含み、焦点調整できるように構成されている。

絞り駆動機構３３は、レンズＣＰＵ３５の制御に基づき、絞り３１を駆動して絞り開口の大きさを調節する。

光学系駆動機構３４は、レンズＣＰＵ３５の制御に基づき、撮影レンズ３２の例えばフォーカスレンズを光軸Ｏ方向に移動させることで、焦点調整を行う。

エンコーダ３６は、カメラ本体４０の後述するボディＣＰＵ４７から送信されたデータ（命令も含む）を通信接点５０を介して受信し、一定の規則に基づいて別の形式に変換し、レンズＣＰＵ３５へ出力する。

レンズＣＰＵ３５は、エンコーダ３６を介してボディＣＰＵ４７から受信したデータに基づいて、交換レンズ３０内の各部を制御するレンズ制御部である。

カメラ本体４０は、シャッタ４１と、撮像素子４２と、シャッタ駆動回路４３と、撮像素子駆動回路４４と、入出力回路４５と、通信回路４６と、ボディＣＰＵ４７と、を備えている。

シャッタ４１は、絞り３１および撮影レンズ３２を通過する光束が撮像素子４２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。

撮像素子４２は、図１に示した撮像素子１２に対応するものであり、例えば２次元状に配列された複数の画素を有し、撮像素子駆動回路４４を介したボディＣＰＵ４７の制御に基づき、絞り３１、撮影レンズ３２、および開状態のシャッタ４１を介して結像された被写体の光学像を光電変換して画像を作成するものである。

シャッタ駆動回路４３は、入出力回路４５を介してボディＣＰＵ４７から受信した命令に基づき、シャッタ４１を閉状態から開状態へ移行して露光を開始し、所定の露光時間が経過した時点でシャッタ４１を開状態から閉状態へ移行して露光を終了するように、シャッタ４１を駆動する。

撮像素子駆動回路４４は、入出力回路４５を介してボディＣＰＵ４７から受信した命令に基づき、撮像素子４２の撮像動作を制御して露光および読み出しを行わせる。

入出力回路４５は、シャッタ駆動回路４３、撮像素子駆動回路４４、通信回路４６、およびボディＣＰＵ４７における信号の入出力を制御する。

通信回路４６は、通信接点５０と、入出力回路４５と、ボディＣＰＵ４７との間に接続されていて、カメラ本体４０側と交換レンズ３０側との通信を行う。例えば、ボディＣＰＵ４７からレンズＣＰＵ３５への命令は、この通信回路４６を介して通信接点５０側へ送信される。

ボディＣＰＵ４７は、所定の処理プログラムに従ってカメラ本体４０内の各部を制御するシーケンスコントローラであり、上述したレンズＣＰＵ３５へ命令を送信することで、交換レンズ３０も制御するようになっており、撮像装置全体を統括的に制御する制御部である。

ここに、図１に示した撮像制御部１３は、上述したような、絞り駆動機構３３、光学系駆動機構３４、レンズＣＰＵ３５、エンコーダ３６、通信接点５０、シャッタ４１、シャッタ駆動回路４３、撮像素子駆動回路４４、入出力回路４５、通信回路４６、ボディＣＰＵ４７等を含んでいる。

この図３に示すデジタルカメラで取得された画像からぼけ強調画像を作成する合成処理は、デジタルカメラ内で行っても構わないし、記録媒体あるいは通信回線を介して外部の機器（例えばパーソナルコンピュータ等）へ出力し、外部の機器で行っても良い。従って、図３には図１の画像合成部２０に対応する構成を明示的に記載していない。

次に、図４は、ぼけ強調画像を作成するために取得される複数枚の画像の焦点位置の例を示す図である。

この図４に示すような、ぼけ強調画像を作成するのに適した複数枚の画像の焦点位置は、撮像制御部１３によって算出されるようになっている。ここに、図４には、一例として、焦点位置が異なる５枚の画像ｌ_２〜ｌ_−２を取得する例（撮影枚数Ｎ＝５となる例）を示している。

まず、撮像素子１２およびレンズ１１の各構成や配置によって決定される画角内には、様々な被写体が存在するが、その中のユーザが狙いとする被写体が主要被写体である。具体的に、図４には、撮像部１０に対して、例えば中程度の距離にある被写体ＯＢＪ０、近い距離にある近接被写体ＯＢＪ１、やや遠い距離にある遠方被写体ＯＢＪ２、実質的に無限遠の距離にある無限遠被写体ＯＢＪ３が画角内に存在している。そして、例えば、被写体ＯＢＪ０を主要被写体としている。

この主要被写体は、撮像装置においては、例えばユーザがフォーカスエリアを用いて合焦させた（例えば、撮像装置のレリーズボタンを半押ししてフォーカスロックした）被写体、あるいは撮像装置が顔認識処理を行って主要被写体であると推定した被写体などとして認識される。

撮像制御部１３は、まず、公知のコントラストＡＦ、位相差ＡＦ、あるいはユーザによるマニュアルフォーカスなどにより、主要被写体が合焦するようにレンズ１１を駆動して焦点調整する。例えば、コントラストＡＦを用いた場合には、主要被写体のコントラストが最も高くなるように焦点調整が行われる。

そして、撮像制御部１３は、主要被写体が合焦する焦点位置で撮像素子１２に撮像を行わせ、画像Ｉ_０を取得する。そして、この主要被写体が合焦する焦点位置において撮像された画像Ｉ_０を、基準画像と呼ぶことにする。

次に、撮像制御部１３は、決定された基準画像Ｉ_０の焦点位置に応じて、撮像装置から無限遠の距離にある被写体（図４に示す例では、無限遠被写体ＯＢＪ３）の、基準画像Ｉ_０における錯乱円の直径を算出する。この錯乱円の直径は、基準画像Ｉ_０の焦点位置と、レンズ１１の焦点距離ｆと、絞り開口の直径Ｄ（図５参照）と、撮像素子１２のサイズおよび画素数と、に基づいて算出される。

続いて、撮像制御部１３は、基準画像Ｉ_０における無限遠被写体の錯乱円の直径が大きいほど撮影される画像の枚数が多くなるように、撮影枚数Ｎを算出する。ここに、撮像制御部１３が算出する撮影枚数Ｎは３以上の奇数であり、Ｎ＝２ｎ＋１（ｎは自然数）として表される。

これらＮ枚の画像の内の、１枚は基準画像Ｉ_０であり、ｎ枚は焦点位置が撮像部１０に対して主要被写体より遠く、合焦距離Ｌが基準画像Ｉ_０よりも大きい画像であり、ｎ枚は焦点位置が撮像部１０に対して主要被写体より近く、合焦距離Ｌが基準画像Ｉ_０よりも小さい画像である。

以下では、撮影される画像を、合焦距離Ｌが大きい順に、Ｉ_−ｎ，…，Ｉ_−１，Ｉ_０，Ｉ_１，…，Ｉ_ｎと記載することにする（ｎ＝２の場合を示す図４参照）。

この記載法によれば、添え字が０である画像が基準画像Ｉ_０、添え字が負である画像が基準画像Ｉ_０よりも合焦距離Ｌが大きい画像、添え字が正である撮影画像が基準画像Ｉ_０よりも合焦距離Ｌが小さい画像である。

また、画像Ｉ_ｋ（ｋは−ｎ〜ｎの何れか）における主要被写体の錯乱円の直径をｄ_ｋとする。ここで、ｄ_０は主要被写体に合焦する基準画像Ｉ_０における主要被写体の錯乱円の直径であるために、許容錯乱円の直径以下となるが、ほぼ０であると見なして良いために、特に必要がない限りｄ_０＝０であるとして扱うものとする。

次に、図５は、主要被写体の錯乱円の直径ｄとレンズ繰出量δとの関係を説明するための図である。

図５に示すように、主要被写体に合焦するときのレンズ繰出量（基準レンズ繰出量）をδ_０とし、例えば、レンズ繰出量δが基準レンズ繰出量δ_０よりも小さい場合の主要被写体の錯乱円の直径ｄを考える。レンズ１１における絞り開口の直径をＤとし、絞り開口を通過して撮像素子１２上に結像する光線の光軸Ｏに対する最大角度をθとすると、錯乱円の直径ｄは次の数式２により表される。

［数２］

一方、数式２の右辺に表れるｔａｎθは、次の数式３により与えられる。

［数３］

従って、数式２および数式３からｔａｎθを消去して、レンズ繰出量δを与える式として整理すれば、次の数式４を得る。

［数４］

また、レンズ繰出量δが基準レンズ繰出量δ_０よりも大きい場合には、数式２における（δ_０−δ）が（δ−δ_０）に置き換わるだけであるので、レンズ繰出量δを与える式として次の数式５を得る。

［数５］

従って、数式４および数式５をまとめれば、主要被写体の錯乱円の直径がｄとなるためのレンズ繰出量δは、次の数式６に示すように表される。

［数６］

こうして、画像Ｉ_ｋを撮影するときのレンズ繰出量δ_ｋは、画像Ｉ_ｋの合焦距離Ｌが、基準画像Ｉ_０の合焦距離Ｌ（以下、基準合焦距離Ｌ_０という）よりも大きい場合（−ｎ≦ｋ＜０）と、基準合焦距離Ｌ_０以下である場合（０≦ｋ≦ｎ）と、に分けて記載すれば、次の数式７に示すようになる。

［数７］

この数式７の右辺に示す各量の内で、レンズ１１の焦点距離ｆおよび絞り開口の直径Ｄは、撮影時における撮影レンズ３２および絞り３１の状態からそれぞれ決定される。また、主要被写体に合焦するときの基準レンズ繰出量δ_０は、上述したように、ＡＦ処理、あるいはマニュアルフォーカスなどにより決定される。

従って、画像Ｉ_ｋを撮影するときのレンズ繰出量δ_ｋを求めるためには、画像Ｉ_ｋに対応する主要被写体の錯乱円の直径ｄ_ｋを決定すれば良い。

この主要被写体の錯乱円の直径ｄ_ｋの算出方法について、合焦距離Ｌが基準合焦距離Ｌ_０よりも大きい第１の場合と、小さい第２の場合とに分けて、以下に説明する。

まず、第１の場合、つまり、合焦距離Ｌが基準合焦距離Ｌ_０よりも大きいｎ枚の画像Ｉ_−１〜Ｉ_−ｎにおける主要被写体の錯乱円の直径ｄ_−１〜ｄ_−ｎについて考える。

このときまず、合焦距離Ｌが基準合焦距離Ｌ_０よりも大きいｎ枚の画像中の、最も合焦距離Ｌが大きい画像Ｉ_−ｎの合焦距離Ｌを無限遠に設定する。この合焦距離Ｌが無限遠の画像Ｉ_−ｎを撮影するときには撮像素子１２はレンズ１１から焦点距離ｆの位置にあるために、レンズ繰出量δ_−ｎ＝０となり、錯乱円の直径ｄ_−ｎは、次の数式８に示すようになる。

［数８］

合焦距離Ｌが基準合焦距離Ｌ_０よりも大きい残りのｎ−１枚の画像は、合焦距離Ｌが基準合焦距離Ｌ_０に近い画像ほど（つまり、主要被写体の錯乱円の直径ｄが小さい画像ほど）、合焦距離Ｌが隣接する画像同士の主要被写体の錯乱円の直径ｄの差分絶対値が小さくなるように、すなわち、次の数式９の条件を満たすように、錯乱円の直径ｄ_ｋを算出する。

［数９］
｜ｄ_０−ｄ_−１｜
≦｜ｄ_−１−ｄ_−２｜
≦…
≦｜ｄ_{−（ｎ−１）}−ｄ_−ｎ｜
このような錯乱円の直径ｄ_ｋの具体例としては、公比ＲをＲ≧２．０であるパラメータとして、錯乱円の直径ｄ_ｋが等比数列をなすようにすることが挙げられる。

より具体的に、ｄ_−ｎを基準として、ｄ_{−（ｎ−１）}からｄ_−１までを、
ｄ_{−（ｎ−１）}＝ｄ_−ｎ／Ｒ
ｄ_{−（ｎ−２）}＝ｄ_{−（ｎ−１）}／Ｒ
・・・
ｄ_−１＝ｄ_−２／Ｒ
のように順に算出すること、つまり、ｄ_ｋ（ｋ＝−（ｎ−１），−（ｎ−２），…，−１）を次の数式１０に示すような漸化式を用いて算出する方法が挙げられる。

［数１０］
ｄ_ｋ＝ｄ_ｋ−１／Ｒ
あるいは、数式１０に示した漸化式に替えて、次の数式１１によりｄ_ｋを算出しても構わない。

［数１１］
ｄ_ｋ＝ｄ_−ｎ／Ｒ^ｎ＋ｋ
なお、公比Ｒが２．０未満の数、例えば１．９であっても、撮影枚数Ｎを低減する効果を奏することはできる。従って、数式９に示した条件式の内の、最初の不等式、
｜ｄ_０−ｄ_−１｜
≦｜ｄ_−１−ｄ_−２｜
については満たさなくても構わないという条件緩和を行えば、公比Ｒ＞１とすることもできる。

上述では公比Ｒをパラメータ（つまり、与えられた既知の値）として用いて、主要被写体の錯乱円の直径ｄ_ｋを求めたが、パラメータに設定するのは公比Ｒに限るものではない。

例えば、ｄ_−１をパラメータ（つまり、与えられた既知の値）として用いるようにしても良い。この場合にはまず、公比Ｒを次の数式１２に示すように算出する。

［数１２］

ここに、ｄ_−１＜ｄ_−ｎであるために、算出された公比Ｒは、Ｒ＞１．０となる。なお、より好ましくは、Ｒ≧２．０となるように、パラメータｄ_−１を与えると良い。

そして、パラメータｄ_−１と算出された公比Ｒとを用いて、ｋ＝−２，−３，…，−（ｎ−１）における錯乱円の直径ｄ_ｋ（ｄ_−ｎは既に既知であるために、算出を省略した）を、
ｄ_−２＝Ｒ×ｄ_−１
ｄ_−３＝Ｒ×ｄ_−２
・・・
ｄ_{−（ｎ−１）}＝Ｒ×ｄ_{−（ｎ−２）}
のように順に算出する方法、ひいては、次の数式１３に示すように算出する方法を用いても良い。

［数１３］
ｄ_ｋ＝Ｒ^−ｋ−１×ｄ_−１
あるいは、錯乱円の直径ｄ_−ｎを基準として、数式１２により算出された公比Ｒを用いて、ｋ＝−（ｎ−１），−（ｎ−２），…，−２における錯乱円の直径ｄ_ｋを、
ｄ_{−（ｎ−１）}＝ｄ_−ｎ／Ｒ
ｄ_{−（ｎ−２）}＝ｄ_{−（ｎ−１）}／Ｒ
・・・
ｄ_−２＝ｄ_−３／Ｒ
のように順に算出する方法、ひいては、次の数式１４に示すように算出する方法を用いても構わない。

［数１４］
ｄ_ｋ＝ｄ_−ｎ／Ｒ^ｎ＋ｋ
次に、第２の場合、つまり、合焦距離Ｌが基準合焦距離Ｌ_０よりも小さいｎ枚の画像Ｉ_１〜Ｉ_ｎにおける主要被写体の錯乱円の直径ｄ_１〜ｄ_ｎについて考える。

このときには、合焦距離Ｌが基準合焦距離Ｌ_０よりも小さいｎ枚の画像（Ｉ_１〜Ｉ_ｎ）の主要被写体の錯乱円の直径ｄ_１〜ｄ_ｎが、上述した合焦距離Ｌが基準合焦距離Ｌ_０よりも大きいｎ枚の画像Ｉ_−１〜Ｉ_−ｎにおける主要被写体の錯乱円の直径ｄ_−１〜ｄ_−ｎとそれぞれ等しくなるように、撮像制御部１３が設定する。

すなわち、撮像制御部１３は、ｋ＝１，２，…，ｎに対して、次の数式１５に示すように設定する。

［数１５］
ｄ_ｋ＝ｄ_−ｋ
ここに、主要被写体の合焦距離である基準合焦距離Ｌ_０よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、主要被写体の光学像の錯乱円の直径ｄが等しい２つの画像が、対画像である。

従って、数式９の条件を、合焦距離Ｌが基準合焦距離Ｌ_０よりも小さいｎ枚の画像Ｉ_１〜Ｉ_ｎにおける条件に言い換えれば、撮像制御部１３は、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、（ｎ−１）以下の任意のｋに対して、
｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
となるように制御していることになる。あるいは、上述した条件緩和の下では、この式が２以上（ｎ−１）以下の任意のｋ（つまり、ｋ＝２，…，ｎ−１）に対して成立すれば良い。

こうして、Ｎ枚の撮影画像Ｉ_−ｎ〜Ｉ_ｎにおける主要被写体の錯乱円の直径ｄ_−ｎ〜ｄ_ｎを求めたら、撮像制御部１３はさらに、上述した数式７に基づいて、レンズ繰出量δ_−ｎ〜δ_ｎを算出する。

図６は、主要被写体の合焦距離Ｌが、大きいＦＲの場合、中程度ＭＤの場合、小さいＮＲの場合のそれぞれにおいて、ぼけ強調画像を作成するために取得される各画像のレンズ繰出量δの例を示す線図である。

まず、主要被写体を被写体ＯＢＪ２に設定した場合、つまり、主要被写体の合焦距離Ｌが大きいＦＲの場合には、δ_−１〜δ_１の３つのレンズ繰出量が設定されている。

また、主要被写体を被写体ＯＢＪ０に設定した場合、つまり、主要被写体の合焦距離Ｌが中程度ＭＤの場合には、δ_−２〜δ_２の５つのレンズ繰出量が設定されている。

そして、主要被写体を被写体ＯＢＪ１に設定した場合、つまり、主要被写体の合焦距離Ｌが小さいＮＲの場合には、δ_−３〜δ_３の７つのレンズ繰出量が設定されている。

ここに、合焦距離Ｌが無限遠となる画像Ｉを撮像するためのレンズ繰出量δは０であるから、ＦＲの場合にはδ_−１＝０、ＭＤの場合にはδ_−２＝０、ＮＲの場合にはδ_−３＝０となる。

また、主要被写体の合焦距離Ｌが小さいほど、レンズ繰出量δのダイナミックレンジが次のように大きくなる。

「ＦＲの場合の｜δ_１｜」
＜「ＭＤの場合の｜δ_２｜」
＜「ＮＲの場合の｜δ_３｜」
さらに、レンズ繰出量δのダイナミックレンジが大きい程、設定されるレンズ繰出量δの数が大きくなっているのは、次の理由による。

すなわち、異なる合焦距離Ｌで撮影した画像の画素値を混合して合成するときに、画素値を混合する画像の何れかでぼけが小さい画素ほど、ぼけが急激に変化するのが目立ち、不自然な画像が生成され易い。

そこで、ぼけが小さい領域では、細かいステップで焦点調整を行って錯乱円の直径ｄの差が小さい画像を取得し、錯乱円の直径ｄの差が小さい画像同士を合成することで、合成によるぼけ量の変化を小さくして、合成画像が不自然となることを防ぐようにしている。

一方、ぼけが大きい領域では、錯乱円の直径ｄの差が大きい画像同士で画素値を混合して合成しても、ぼけ量の変化が目立ち難く、合成画像が不自然になり難い。従って、大きなステップで焦点調整を行って撮影枚数Ｎを少なくするようにしている。

さらに、上述したように、主要被写体の錯乱円の直径ｄ_ｋが一定の公比Ｒで変化する等比数列をなすようにした場合は、合成によるぼけ量変化を許容範囲に抑えた条件の下で、撮影枚数Ｎを効果的に低減することができる。

その後、撮像制御部１３は、算出したレンズ繰出量δ_−ｎ〜δ_ｎに基づきレンズ１１を駆動して、撮像素子１２にＮ枚の画像Ｉ_−ｎ〜Ｉ_ｎを撮影させる。

こうして撮像部１０によって取得されたＮ枚の画像は、画像合成部２０に入力されて、画像合成処理が行われ、ぼけ強調画像が作成される。

図１に示したように、画像合成部２０は、動き補正部２１と、コントラスト算出部２２と、重み算出部２３と、混合部２４と、を備えている。

画像合成部２０に画像が入力されると、まず、動き補正部２１が、基準画像Ｉ_０以外の画像の、基準画像Ｉ_０に対する動きを算出する。

具体的に、動き補正部２１は、基準画像Ｉ_０の各画素に対する、基準画像Ｉ_０以外の画像の動きベクトルを、例えば、ブロックマッチング、あるいは勾配法などにより算出する。この動きベクトルの算出は、基準画像Ｉ_０以外の全ての画像Ｉ_−ｎ〜Ｉ_−１，Ｉ_１〜Ｉ_ｎに対して行われる。

さらに、動き補正部２１は、算出した動きベクトルに基づいて動き補正を行い、全ての画像における対応画素の座標が一致するように（具体的には、基準画像Ｉ_０における各画素の座標に、基準画像Ｉ_０以外の画像における対応各画素の座標が一致するように）画像を変形する。この動き補正により、撮像画像Ｉ_−ｎ〜Ｉ_ｎから、動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’が作成される。なお、動きベクトルを算出する基準として基準画像Ｉ_０を用いているために、基準画像Ｉ_０は動き補正を行う必要がなく、Ｉ_０’＝Ｉ_０となる。

次に、コントラスト算出部２２が、動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’のそれぞれに対して、画像を構成する各画素のコントラストを算出する。

このコントラストとしては、高周波成分の絶対値などが挙げられる。例えば、ある画素を着目画素として、着目画素を中心とした所定サイズの画素領域（例えば、３×３画素領域、あるいは５×５画素領域など）にラプラシアンフィルタなどのハイパスフィルタを作用させ、着目画素位置においてフィルタ処理の結果として得られた高周波成分の絶対値をさらに取ることで、着目画素のコントラストが算出される。

そして、処理対象画像における着目画素の位置を、例えばラスタスキャン順に移動させながらフィルタ処理および絶対値処理を行うことにより、処理対象画像における全画素のコントラストを得ることができる。

このようなコントラストの算出を、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’に対して行う。

続いて、重み算出部２３が、動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’を合成してぼけ強調画像を作成するための重みｗ_−ｎ〜ｗ_ｎを算出する。この重みｗ_−ｎ〜ｗ_ｎは、基準画像Ｉ_０（上述したように、動き補正基準画像Ｉ_０’と等しい）において合焦している被写体は合焦しているままとし、合焦している被写体の前景および背景におけるぼけが強調されるような重みとして算出される。

対応する画素位置が一致している動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’における、ある画素位置の画素をｉとして表すものとする。

そして、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の中で、ある画素ｉのコントラストが最大となる動き補正画像がＩ_ｋ’であるものとする。

このとき、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’における画素ｉに対する重みｗ_−ｎ（ｉ）〜ｗ_ｎ（ｉ）を設定する第１の重み設定方法は、動き補正画像Ｉ_−ｋ’における画素ｉの重みｗ_−ｋ（ｉ）を１に設定し、それ以外の動き補正画像における画素ｉの重みｗ_−ｎ（ｉ）〜ｗ_{−（ｋ＋１）}（ｉ），ｗ_{−（ｋ−１）}（ｉ）〜ｗ_ｎ（ｉ）を全て０に設定することである。

この第１の重み設定方法は、ある画素ｉのコントラストが最大となる動き補正画像Ｉ_ｋ’と動き補正基準画像Ｉ_０’を挟んで順序ｋが対称となる順序−ｋの動き補正画像Ｉ_−ｋ’を、合成後のぼけ強調画像における画素ｉを取得する画像として選択することを意味している。

また、上述した第１の重み設定方法では、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の中から１つの動き補正画像を、画素ｉのコントラスト最大値を与える動き補正画像であると近似した（つまり、画素ｉの奥行きが、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の何れか１つの画像における画素ｉの奥行きに一致するという近似を行った）。しかし、より精密には、画素ｉのコントラスト最大値を与えるのは、順序ｋが隣接する２つの動き補正画像の中間（両端も含む）であると考えられる。

そこで、より精密化を図った第２の重み設定方法は、例えば、以下のようになる。

画素ｉのコントラストが最大となる動き補正画像がＩ_ｋ’であるときには、画素ｉの真の合焦距離Ｌ（画素ｉに結像した光線を発した被写体までの合焦距離Ｌ）に対応するレンズ繰出量は、δ_ｋに一致するか、δ_ｋとδ_ｋ−１との間にあるか、またはδ_ｋとδ_ｋ＋１との間にある。

そこで重み算出部２３は、この画素ｉの真の合焦距離Ｌに対応するレンズ繰出量の推定値をδ_ｅｓｔ（ｉ）とおいて、この推定レンズ繰出量δ_ｅｓｔ（ｉ）を、動き補正画像Ｉ_ｋ’における画素ｉのコントラストおよびレンズ繰出量δ_ｋと、動き補正画像Ｉ_ｋ−１’における画素ｉのコントラストおよびレンズ繰出量δ_ｋ−１と、動き補正画像Ｉ_ｋ＋１’における画素ｉのコントラストおよびレンズ繰出量δ_ｋ＋１と、に基づいて、例えば最小二乗法によるフィッティングやその他の適宜のフィッティングにより算出する。

こうして算出した画素ｉの真の合焦距離Ｌに対応するレンズ繰出量の推定値である推定レンズ繰出量δ_ｅｓｔ（ｉ）は、δ_ｋとδ_ｋ＋ｍ（ｍ＝１または−１）との間にあるために、これらの内分比に基づき、つまり、｜δ_ｋ＋ｍ−δ_ｅｓｔ（ｉ）｜と｜δ_ｅｓｔ（ｉ）−δ_ｋ｜の比に基づき、動き補正画像Ｉ_−ｋ’における画素ｉの重みｗ_−ｋ（ｉ）と動き補正画像Ｉ_{−（ｋ＋ｍ）}’における画素ｉの重みｗ_{−（ｋ＋ｍ）}（ｉ）とを次の数式１６に示すように算出すると共に、これら動き補正画像Ｉ_−ｋ’および動き補正画像Ｉ_{−（ｋ＋ｍ）}’以外の動き補正画像における画素ｉの重みを０に設定する。

［数１６］

このような第２の重み設定方法により設定される重みの、Ｎ＝５の場合の例を図７に示す。ここに、図７は、重み算出部２３において算出される画像合成用の重みの例を示す線図である。

この第２の重み設定方法を用いることにより、画像Ｉ_ｎの合焦距離Ｌから画像Ｉ_−ｎの合焦距離Ｌの間の、任意の合焦距離Ｌにある被写体のぼけをより正確に再現して、ぼけが連続的に変化する合成画像を作成することができる。

その後、混合部２４が、重み算出部２３により算出された重みｗ_−ｎ（ｉ）〜ｗ_ｎ（ｉ）を用いてＮ枚の動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の画素値を混合してＩ_−ｎ’〜Ｉ_ｎ’を合成し、１枚の合成画像を作成する。

ここに、重みｗ_−ｎ（ｉ）〜ｗ_ｎ（ｉ）は、Ｎ枚の動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’のそれぞれにおける全画素に対して算出され、Ｎ枚の重みマップｗ_−ｎ〜ｗ_ｎとして作成されている。

そして、この混合部２４が合成処理を行うに際しては、Ｎ枚の動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’およびＮ枚の重みマップｗ_−ｎ〜ｗ_ｎのそれぞれを多重解像度分解して、解像度毎に合成し、合成後に多重解像度画像の再構築を行うことで、画像を合成する際の境界をより目立ち難くするようにしている。

具体的に、混合部２４は、画像Ｉ_−ｎ’〜Ｉ_ｎ’については、ラプラシアンピラミッドを作成することにより多重解像度分解する。また、混合部２４は、重みマップｗ_−ｎ〜ｗ_ｎについては、ガウシアンピラミッドを作成することにより多重解像度分解する。

すなわち、混合部２４は、画像Ｉ_ｋ’からｌｅｖ段のラプラシアンピラミッドを作成して、画像Ｉ_ｋ’と同解像度の成分Ｉ_ｋ’^（１）から、最も低解像度の成分Ｉ_ｋ’^{（ｌｅｖ）}までの各成分を得る。このとき、成分Ｉ_ｋ’^{（ｌｅｖ）}は、最も低解像度である解像度に動き補正画像Ｉ_ｋ’を縮小した画像であり、その他の成分Ｉ_ｋ’^（１）〜Ｉ_ｋ’^{（ｌｅｖ−１）}は各解像度での高周波成分である。

同様に、混合部２４は、重みマップｗ_ｋからｌｅｖ段のガウシアンピラミッドを作成して、重みマップｗ_ｋと同解像度の成分ｗ_ｋ ^（１）から、最も低解像度の成分ｗ_ｋ ^{（ｌｅｖ）}までの各成分を得る。このとき、成分ｗ_ｋ ^（１）〜ｗ_ｋ ^{（ｌｅｖ）}は各解像度に縮小した重みマップである。

そして、混合部２４は、多重解像度のｍ階層目の合成を、成分Ｉ_−ｎ’^（ｍ）〜Ｉ_ｎ’^（ｍ）と、各対応する成分ｗ_−ｎ ^（ｍ）〜ｗ_ｎ ^（ｍ）の重みとを用いて、次の数式１７に示すように行い、ｍ階層目の合成結果Ｉ_{Ｂｌｅｎｄ} ^（ｍ）を得る。

［数１７］

ここで、Ｉ_{Ｂｌｅｎｄ} ^{（ｌｅｖ）}はＩ_ｋ’^{（ｌｅｖ）}の解像度での合成結果であり、Ｉ_{Ｂｌｅｎｄ} ^（１）〜Ｉ_{Ｂｌｅｎｄ} ^{（ｌｅｖ−１）}は合成画像の各解像度での高周波成分である。

こうして算出された各成分Ｉ_{Ｂｌｅｎｄ} ^（１）〜Ｉ_{Ｂｌｅｎｄ} ^{（ｌｅｖ）}は、ラプラシアンピラミッドとなっているために、Ｉ_{Ｂｌｅｎｄ} ^（１）〜Ｉ_{Ｂｌｅｎｄ} ^{（ｌｅｖ）}に対してラプラシアンピラミッドの再構築処理を行うことで、多重解像度合成による合成画像を得る。

画像合成部２０は、このようにして混合部２４により合成した画像を、ぼけ強調画像として出力する。

このような実施形態１によれば、主要被写体の光学像の錯乱円の直径ｄが、２以上（ｎ−１）以下の任意のｋに対して、
｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
を満たすように撮像を行っているために、自然なぼけをもつぼけ強調画像を比較的少ない枚数の画像に基づいて得ることができる。

このときさらに、合焦距離が基準合焦距離よりも大きい画像に対して錯乱円の直径ｄ_ｋが比Ｒを用いた次の関係
ｄ_ｋ＝ｄ_ｋ−１／Ｒ
を満たすようにすることで、撮影枚数をより有効に低減することができる。

そして、撮影する複数枚の画像の中に、無限遠の合焦距離で撮影された画像が含まれるようにしたために、主要被写体より遠くの任意の奥行きにある画素のぼけを適切に作成することができる。

こうして、ぼけ強調画像を作成する際に、基準画像から離れるにつれて主要被写体の錯乱円の直径ｄの増加量が大きくなるように焦点調整を行うことで、なるべく少ない撮影枚数で、ぼけの大きなレンズで撮影した画像とぼけの形状、大きさがほぼ同等であるぼけ強調画像を作成することができる。

［実施形態２］
図８から図１１は本発明の実施形態２を示したものであり、図８は撮像装置の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、ぼけ量が離散的に異なる動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の画素を用いて混合部２４により画像合成を行っていた。しかし、この画像合成を図７に示す重みで行った場合には、例えば図９に示すように、画素値を混合した領域において、ぼけが小さい画像の輪郭が残ったままぼけが大きい画像の大きさで輪郭が広がり、芯がある不自然なぼけが発生してしまう。

ここに、図９は、図７に示す重みで画像合成を行ったときに発生するぼけの様子を示す図である。

そこで、本実施形態は、動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’にさらにぼかし処理を行って得られたぼかし画像Ｉ_−ｎ”〜Ｉ_ｎ”を用いて混合部２４により画像合成を行うようにしたものとなっている。

まず、本実施形態の画像合成部２０は、図８に示すように、上述した実施形態１の画像合成部２０の構成に加えてさらに、基準画像を構成する各画素の奥行きを算出する奥行き算出部２５と、ぼかし部２６と、を備えている。

動き補正部２１により作成された動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’は、コントラスト算出部２２に加えてさらに、奥行き算出部２５とぼかし部２６とへ出力される。

奥行き算出部２５は、奥行き推定部として機能するようになっており、まず、コントラスト算出部２２と同様に動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の各画素のコントラストを算出する（あるいは、コントラスト算出部２２から動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の各画素のコントラストを取得しても構わない）。このとき、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の中で、ある画素ｉのコントラストが最大となる動き補正画像（つまり、Ｎ枚の動き補正画像における画素ｉの高周波成分を比較して、最も高周波成分の絶対値が大きい動き補正画像）がＩ_ｋ’であるものとする。

すると、奥行き算出部２５は、重み算出部２３が上述した第２の重み設定方法を用いる場合に推定したレンズ繰出量δ_ｅｓｔ（ｉ）を、上述と同様の方法を用いて推定する（あるいは、重み算出部２３により既に推定されている場合には、重み算出部２３から取得するようにしても構わない）。

ここで、レンズ繰出量がδであるときの合焦距離Ｌは、数式１に示したレンズの公式を変形することによって得られ、次の数式１８に示すようになる。

［数１８］

この数式１８によればレンズ繰出量δから合焦距離Ｌが一意に決まるために、各画素の推定レンズ繰出量δ_ｅｓｔ（ｉ）を算出すれば、画素毎の奥行きに対応する推定合焦距離Ｌ_ｅｓｔ（ｉ）（上述した真の合焦距離Ｌの推定値）が得られることになる。

ぼかし部２６は、奥行き算出部２５により算出された奥行きに対応する推定合焦距離Ｌ_ｅｓｔ（ｉ）を複数枚の画像の合焦距離と比較して、推定合焦距離Ｌ_ｅｓｔ（ｉ）を挟んだ合焦距離の２つの画像の内の、合焦距離が推定合焦距離Ｌ_ｅｓｔ（ｉ）よりも主要被写体側にある動き補正画像をまず選択する。さらに、ぼかし部２６は、選択した動き補正画像に対して、基準画像Ｉ_０’を挟んで順序が対称となる動き補正画像（選択した動き補正画像と相対する動き補正画像）をさらに選択し、選択した順序が対称となる動き補正画像における対象画素に対してぼかし処理を行いぼかし画像を作成する。ぼかし部２６は、このような処理を、複数の画素に対して行うことにより、複数枚のぼかし画像を作成する。

具体的に、ぼかし部２６は、奥行き算出部２５により算出された画素ｉの推定レンズ繰出量δ_ｅｓｔ（ｉ）に基づいて、推定レンズ繰出量δ_ｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ_０に対してδ_ｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、画素ｉのぼけが小さい方の画像にぼかし処理を行う。

すなわち、ぼかし部２６は、δ_０≦δ_ｅｓｔ（ｉ）である場合には、δ_ｋ≦_δｅｓｔ（ｉ）＜δ_ｋ＋１（０≦ｋ≦（ｎ−１））となるｋと順序が対称となる−ｋの動き補正画像Ｉ_−ｋ’を選択し、δ_ｅｓｔ（ｉ）＝δ_ｎである場合には、Ｉ_−ｎ’をＩ_−ｋ’として選択する。

また、ぼかし部２６は、δ_ｅｓｔ（ｉ）＜δ_０である場合には、δ_ｋ−１＜δ_ｅｓｔ（ｉ）≦δ_ｋ（−（ｎ−１）≦ｋ≦０）となるｋと順序が対称となる−ｋの動き補正画像Ｉ_−ｋ’を選択し、δ_ｅｓｔ（ｉ）＝δ_−ｎである場合には、Ｉ_ｎ’をＩ_−ｋ’として選択する。

さらに、ぼかし部２６は、選択した動き補正画像Ｉ_−ｋ’における画素ｉのぼけ量が、δ_ｅｓｔ（ｉ）−δ₀＝δ₀−δ_{ｔａｒｇｅｔ}（ｉ）となるレンズ繰出量δ_{ｔａｒｇｅｔ}（ｉ）で撮影したときの画素ｉのぼけ量と同じ大きさになるように、動き補正画像Ｉ_−ｋ’における画素ｉを中心とした所定サイズ（例えば、３×３画素、あるいは５×５画素などであるが、ぼけの大きさに応じてサイズを変化させることになる）のぼかしフィルタを掛けてぼかし処理を行い、画素ｉがぼかされたぼかし画像Ｉ_−ｋ”を作成する。

このとき、ぼかし部２６は、ぼかし処理を行うぼかしフィルタの大きさを与える直径ｂ_{ｒｅｂｌｕｒ}（ｉ）を、次のように算出する。

まず、ぼかし部２６は、レンズ繰出量δをδ_{ｔａｒｇｅｔ}（ｉ）およびδ_−ｋとして撮影したときの画素ｉの錯乱円直径ｂ_{ｔａｒｇｅｔ}（ｉ）およびｂ_−ｋ（ｉ）を、次の数式１９を用いて算出する。

［数１９］

ここに、数式１９は、レンズ繰出量をδとしてδ_ｅｓｔ（ｉ）で合焦する画素ｉを撮影したときの、画素ｉのぼけ量としての錯乱円直径ｂ（ｉ）を与える式である。

さらに、ぼかし部２６は、算出したｂ_{ｔａｒｇｅｔ}（ｉ）およびｂ_−ｋ（ｉ）を用いて、次の数式２０によりｂ_{ｒｅｂｌｕｒ}（ｉ）を算出する。

［数２０］

こうして、ぼかし部２６は、算出したｂ_{ｒｅｂｌｕｒ}（ｉ）の直径をもつぼかしフィルタで動き補正画像Ｉ_−ｋ’をぼかすことにより、レンズ繰出量をδ_{ｔａｒｇｅｔ}（ｉ）として撮影したときの画素ｉのぼけ量と同じ大きさのぼけ量を有するぼかし画像Ｉ_−ｋ”を作成することができる。

ここで、ｂ_{ｒｅｂｌｕｒ}（ｉ）の直径をもつぼかしフィルタにより動き補正画像Ｉ_−ｋ’をぼかしたときのぼけ量と、レンズ繰出量をδ_{ｔａｒｇｅｔ}（ｉ）として撮影したときの画素ｉのぼけ量とが厳密に等しい大きさとなるためには、画像Ｉ_−ｋ’のぼけ形状がぼかしフィルタと同じガウシアンぼけでなくてはならない（すなわち、ぼかしフィルタとしてガウシアンを想定している）が、この条件が厳密に成立しない場合でも、数式２０で算出した直径をもつぼかしフィルタでぼかし処理を行えば、ぼけ量の大きさを近似的に等しくすることができる。

重み算出部２３は、ぼかし部２６により作成されたぼかし画像Ｉ_−ｋ”における画素ｉに対して重み１を与え、その他の画像における画素ｉに対して重み０を与えるように、重みを設定する。

こうして混合部２４は、算出されたぼかし画像および重みを用いて、上述した実施形態１と同様に画像合成処理を行い、合成画像を作成する。

図１０は、推定レンズ繰出量δ_ｅｓｔ（ｉ）を挟み込んでレンズ繰出量δが隣接する２つの動き補正画像と主要被写体の錯乱円直径が等しく、レンズ繰出量がδ_０に対してδ_ｅｓｔ（ｉ）と反対側にある２つの動き補正画像の内の、ぼけが小さい方の動き補正画像をぼかし処理して画像合成を行う様子を示す図である。

図１０に示す例においては、２つの動き補正画像Ｉ_−ｐ’，Ｉ_−ｐ−１’の内の、ぼけが小さい方の例えば動き補正画像Ｉ_−ｐ’に対して、ぼけが大きくなるほど大きくぼかすようにぼかし処理してぼかし画像Ｉ_−ｐ”を作成し、ぼけが大きい方の動き補正画像Ｉ_−ｐ−１’と合成して、ぼけ強調画像ＳＩを作成している。

ところで、図９を参照して説明したような画素値を混合したことによるぼけの芯や、ぼけ量が異なる画像を合成したことによるぼけの不連続な変化は、ぼけが小さい領域において目立ち易い。

このとき、ぼけが小さい領域では、ぼけ量の不連続性を補正するためにかけるフィルタサイズが小さいために、フィルタ処理を短い時間で行うことができる。

これに対して、ぼけが大きい領域では、ぼけ量の不連続性を補正するためにかけるフィルタサイズが大きくなるために、フィルタ処理に要する時間が長くなるだけでなく、さらに、実際のレンズ１１で撮影した画像のぼけと、フィルタ処理を含む画像処理で最終的に得られた画像のぼけと、の形状の違いが顕著になる。そして、ぼけが大きい領域では、ぼけの芯やぼけの不連続な変化が比較的目立たない。

そこで、ぼけ量の変化を補正するためのフィルタ処理を、画像全体に対して行うのに代えて、基準画像でぼけが小さい領域だけに対して行うようにすると、処理時間を短縮しながら、実際のレンズ１１で撮影した画像のぼけとの形状の違いが生じるのを実効的に軽減することができて良い。

図１１は、基準画像でぼけが小さい領域だけにぼかし処理を行うときの、画像合成用の重みの例を示す線図である。この図１１には、Ｎ＝５の場合の例を示している。

例えば、この図１１に示すように、基準画像Ｉ_０における、ぼけ量が小さい領域（錯乱円の直径ｄに対応するレンズ繰出量がδ_−１以上かつδ_１以下の領域）のみに対して、動き補正基準画像Ｉ_０’（基準画像Ｉ_０と等しい）にぼかし処理を行ってぼかし基準画像Ｉ_０”としてから重み１を与えて合成処理し、基準画像Ｉ_０におけるぼけ量が大きい領域（錯乱円の直径ｄに対応するレンズ繰出量がδ_−１未満またはδ_１よりも大きい領域）については、上述した実施形態１と同様に画素値を混合することでぼけ強調画像を得るようにすると良い。

このような、基準画像でぼけ量が小さい領域のみに対してぼかし処理を行うようにすることで、ぼけの芯やぼけの不連続な変化を目立たないようにして、自然なぼけ強調画像を得ることができる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、２枚の画像におけるある画素の画素値を混合しようとする際に、該画素のぼけが小さい方の画像にぼかし処理を行ってぼけが大きい方の画像にぼけの大きさを近づけてから画素値の混合を行うようにしたために、ぼけの芯が発生するのを軽減することができる。

また、基準画像でぼけが小さい領域だけにぼかし処理を行うようにした場合には、処理負荷を軽減し、かつ処理時間を短縮しながら、視覚的にあまり不自然でないぼけ強調画像を得ることができる。

合焦距離が奥行きと主要被写体側に最も近い画像から、基準画像Ｉ_０を挟んで順序が対称となる動き補正画像を選択し、選択した画像における対象画素に対してぼかし処理を行いぼかし画像を作成するようにしたために、対象画素の奥行きに応じたぼかし画像を得ることができる。

こうして、画像を合成する境界で、ぼけの大きさが等しくなるようにフィルタ処理を行った画像を合成することで、画像を合成してもぼけの芯がないぼけ強調画像を作成することができる。

［実施形態３］
図１２から図１７は本発明の実施形態３を示したものである。本実施形態の撮像装置の構成は上述した実施形態２の図８に示した構成と同様であるので改めての図示を省略して適宜引用するが、本実施形態の撮像装置は作用が異なるものとなっている。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態では、奥行き算出部２５、ぼかし部２６、重み算出部２３、および混合部２４の作用が、上述した実施形態１または実施形態２と異なっている。

例えば、上述した実施形態１では、動き補正部２１により動き補正を行った動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’を混合部２４により混合した。

これに対して本実施形態３では、ぼかし部２６により、動き補正基準画像Ｉ_０’（上述したように、動き補正基準画像Ｉ_０’は基準画像Ｉ_０と等しい）に対してぼかし処理を行ったぼかし基準画像Ｉ_０”を作成し、作成したぼかし基準画像Ｉ_０”を混合部２４により背景画像と合成するようにしている。従って、ぼかし部２６は、基準画像ぼかし部として機能する。

さらに、上述した実施形態１では、真の合焦距離Ｌが主要被写体の基準合焦距離Ｌ_０よりも大きい背景に対して、基準合焦距離Ｌ_０よりも小さい合焦距離Ｌで取得された画像に重みを付けて合成することにより、ぼけ強調画像を作成していた（図７参照）。

しかし、基準合焦距離Ｌ_０よりも小さい合焦距離Ｌで取得された画像は、主要被写体の輪郭がぼけて広がっているために、この画像の画素値を混合して作成したぼけ強調画像では、主要被写体のぼけが背景にじみ出してしまう。

ここに、図１２は、画像合成により、主要被写体の輪郭が背景ににじむ状態が発生する様子を説明するための図である。

図示のように、主要被写体である被写体ＯＢＪ０に合焦した基準画像Ｉ_０中の被写体ＯＢＪ０に重み付けを行い、基準合焦距離Ｌ_０よりも小さい合焦距離Ｌで取得された動き補正画像Ｉ_ｋ’（図１２に示す例では動き補正画像Ｉ_ｎ’）中の無限遠被写体ＯＢＪ３に重み付けを行って、混合し画像合成したぼけ強調画像ＳＩには、主要被写体である被写体ＯＢＪ０の輪郭のにじみＢＬが発生している。

そこで、本実施形態は、主要被写体の輪郭近傍における合成時の重みを調整することで、こうしたにじみＢＬの発生を抑制するようにしたものとなっている。

奥行き算出部２５は、上述した実施形態２と同様に、コントラストが最大となる動き補正画像がＩ_ｋ’である画素ｉに対して、動き補正画像Ｉ_ｋ−１’，Ｉ_ｋ’，Ｉ_ｋ＋１’のコントラストに基づいて、画素ｉの被写体の真の合焦距離Ｌに対応すると推定される推定レンズ繰出量δ_ｅｓｔ（ｉ）を算出する。

ここで、本実施形態における奥行き算出部２５は、推定奥行き信頼度算出部として機能して、算出した推定レンズ繰出量δ_ｅｓｔ（ｉ）の信頼度を評価し、奥行き補正部として機能して、信頼度に応じて推定レンズ繰出量δ_ｅｓｔ（ｉ）の補間を行うようになっている。なお、以下に説明する推定奥行き信頼度算出部および奥行き補正部の機能は、上述した実施形態２に対して適用しても構わない。

まず、信頼度は、例えば複数枚の画像の同一画素における高周波成分の分布に基づく、次のような評価法を用いる。

第１の信頼度評価法は、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’において、画素ｉのコントラストが所定値よりも小さいときに、算出された推定レンズ繰出量δ_ｅｓｔ（ｉ）の信頼度が低いと評価する方法である。このときさらに、信頼度を、高い／低いの２値評価するだけでなく、画素ｉの最も高いコントラストの値の大小に応じて、信頼度の評価値を決定すると良い。

被写体にエッジ等のコントラストが存在する場合には、全ての動き補正画像Ｉ_−ｎ’〜Ｉ_ｎ’の何れかにおいて、高いコントラストが得られるはずである。従って、何れの画像でも高いコントラストが得られない場合には、算出された推定レンズ繰出量δ_ｅｓｔ（ｉ）は、画素ｉの被写体の真の合焦距離Ｌに対応するレンズ繰出量δ_{ＧｒｏｕｎｄＴｒｕｔｈ}と大きく異なる場合が多いと考えられる。

また、第２の信頼度評価法は、次のような方法である。画素ｉの最も高いコントラストが得られる動き補正画像がＩ_ｋ１’であり、画素ｉの２番目に高いコントラストが得られる動き補正画像がＩ_ｋ２’であるものとする。このとき、｜ｋ１−ｋ２｜≠１であれば、コントラストの極大値が２つあると推定される。従って、この場合に、算出された推定レンズ繰出量δ_ｅｓｔ（ｉ）の信頼度が低いと評価する方法である。

ここでは信頼度評価法の例を２つ挙げたが、その他の信頼度評価法を用いても構わない。

そして、推定レンズ繰出量δ_ｅｓｔ（ｉ）の信頼度が低いと評価された場合には、画素ｉにおける推定レンズ繰出量δ_ｅｓｔ（ｉ）の補間を行う。

第１の補間法は、画素ｉの近傍において信頼度が高いと評価された（２値評価でない場合には、信頼度が最も高いと評価された）１つの画素ｊの推定レンズ繰出量δ_ｅｓｔ’（ｊ）で、画素ｉの推定レンズ繰出量δ_ｅｓｔ（ｉ）を置き換える方法である。

また、第２の補間法は、画素ｉの近傍において信頼度が高いと評価された複数の画素の推定レンズ繰出量を重み付け平均した推定レンズ繰出量δ_ｅｓｔ’（ｉ）で、画素ｉの推定レンズ繰出量δ_ｅｓｔ（ｉ）を置き換える方法である。このときの重みとしては、例えば、画素ｉと近傍画素との空間距離が近いほど大きな重みを与えても良い。あるいは、信頼度が２値評価でない場合には、信頼度の高さに応じた重みを与えるようにしても構わない。さらに、空間距離の近さと信頼度の高さとの両方に応じた重みを与えるようにしても良いし、その他の重み付けを採用しても構わない。

その他の重み付けの一例としては、画素ｉの画素値との画素値差分が小さい近傍画素の重みを重くする方法が挙げられる。画像中に複数の被写体が存在する場合に、同一被写体を構成する画素同士は画素値の相関性が高い（つまり、画素値差分が小さい）（これに対して、異なる被写体同士を比較すると、画素値が大きく異なることが多い）。そして、画像を被写体毎の領域に分割したときに、分割された１つの被写体領域内の各画素における合焦距離Ｌは概略一定であると考えられる。そこで、画素値が画素ｉの画素値に近い近傍画素の重みを大きくして、近傍画素の推定レンズ繰出量を重み付け平均した推定レンズ繰出量δ_ｅｓｔ’（ｉ）を画素ｉの推定レンズ繰出量に置き換えることを、被写体領域内の各画素について行うことにより、被写体領域毎にほぼ一定のレンズ繰出量δを得ることができる。これによって、被写体領域毎に、ほぼ一定の強さでぼけを強調することができ、被写体領域内のぼけ強調度が各画素に異なってしまう状態となるのを低減することができる。

次に、ぼかし部２６は、奥行き算出部２５により算出された画素ｉの推定レンズ繰出量δ_ｅｓｔ’（ｉ）に基づいて、次の数式２１に示すような錯乱円直径ｂ_ｅｓｔ（ｉ）を算出する。

［数２１］

ここで算出した錯乱円直径ｂ_ｅｓｔ（ｉ）は、基準画像Ｉ_０において、画素ｉに結像する被写体の像が広がっている範囲の直径を示している。

そこで、ぼかし部２６は、基準画像ぼかし部として機能して、基準画像Ｉ_０の各画素において、錯乱円直径ｂ_ｅｓｔ（ｉ）に比例した半径ｒ_ｆｉｌｔ（ｉ）＝κ×ｂ_ｅｓｔ（ｉ）（κは比例定数）を持つフィルタＦｉｌｔにより動き補正基準画像Ｉ_０’に対するフィルタ処理を行い、基準画像Ｉ_０の画素毎のぼけ量に応じてぼけを強調したぼかし基準画像Ｉ_０”を作成する。

ここで、フィルタＦｉｌｔは、画素ｉとの距離がｒ_ｆｉｌｔ（ｉ）以下である画素の集合Ｎ_ｉに属する画素ｊのフィルタ重みをｗ_ｆｉｌｔ（ｉ，ｊ）として、次の数式２２
［数２２］

により、基準画像Ｉ_０における画素ｊの画素値Ｉ_０’（ｊ）を重み付け平均して、ぼかし基準画像Ｉ_０”における画素ｉの画素値Ｉ_０”（ｉ）を得るフィルタである。

なお、比例定数κは、奥行きが無限遠である画素、すなわち推定レンズ繰出量δ_ｅｓｔ’（ｉ）＝０となる画素ｉでのぼかし基準画像Ｉ_０”（ｉ）の錯乱円直径ｄが、合焦距離Ｌを最も短くして撮影した画像を動き補正した動き補正画像Ｉ_ｎ’における、対応する画素ｉの錯乱円直径ｄと等しくなるように値を算出する。

ここで、画素の集合Ν_ｉに属する画素ｊのフィルタ重みｗ_ｆｉｌｔ（ｉ，ｊ）を、図１３に示すように、推定レンズ繰出量δ_ｅｓｔ’（ｊ）が基準レンズ繰出量δ_０から離れるにつれて（例えば比例して）大きくなるように算出することで、背景領域の画素に対するフィルタＦｉｌｔが主要被写体の画素値を混合することを防ぎ、ぼかし基準画像Ｉ_０”において主要被写体の色が背景ににじみ出すのを防ぐことができる。ここに図１３は、フィルタを適用する領域内の画素に対して、推定レンズ繰出量が基準レンズ繰出量から離れるにつれて重みを大きくする例を示す線図である。

また、フィルタ重みｗ_ｆｉｌｔ（ｉ，ｊ）の別の例として、図１４に示すように、画素ｉに対するフィルタＦｉｌｔでは、画素ｉの推定レンズ繰出量δ_ｅｓｔ’（ｉ）よりも推定レンズ繰出量δ_ｅｓｔ’（ｊ）が小さい（つまり、画素ｉよりも奥側にある）画素ｊのフィルタ重みｗ_ｆｉｌｔ（ｉ，ｊ）を大きくし、画素ｉの推定レンズ繰出量δ_ｅｓｔ’（ｉ）よりも推定レンズ繰出量δ_ｅｓｔ’（ｊ）が大きい（つまり、画素ｉよりも手前側にある）画素ｊのフィルタ重みｗ_ｆｉｌｔ（ｉ，ｊ）を小さくするように、フィルタ重みｗ_ｆｉｌｔ（ｉ，ｊ）を設定しても良い。ここに図１４は、フィルタを適用する領域内の各画素の推定レンズ繰出量が、領域中心画素の推定レンズ繰出量よりも小さいときに重みを大きくする例を示す線図である。これにより、主要被写体の色が背景ににじみ出すことを防ぐだけでなく、主要被写体と背景の中間の距離にある被写体の色が背景ににじみ出すことも防ぐことができる。

なお、図１３に示した重み下限値εは、画素の集合Ｎｉに属する全ての画素ｊに対して、推定レンズ繰出量δ_ｅｓｔ’（ｊ）が基準レンズ繰出量δ_０に等しい（δ_ｅｓｔ’（ｊ）＝δ_０）ときに、数式２２の分母が０にならないようにするための微小な値である。

また、図１４に示したレンズ繰出量幅δ_{ｍａｒｇｉｎ}は、推定レンズ繰出量δ_ｅｓｔ’（ｉ）の算出誤差に相当する値をパラメータとして与えたものである。

重み算出部２３は、合成重み算出部として機能して、基準画像Ｉ_０における主要被写体の輪郭から半径Ｒ_ｔｈ（図１７参照）画素以内にある画素において、ぼかし基準画像Ｉ_０”の合成重みを大きくするように、基準画像Ｉ_０以外の動き補正画像Ｉ_−ｎ’〜Ｉ_−１’，Ｉ_１’〜Ｉ_ｎ’の合成重みと、ぼかし基準画像Ｉ_０”の合成重みと、を算出する。図１７は、ぼかし基準画像における主要被写体の輪郭から所定半径の領域を示す図である。

ここに、半径Ｒ_ｔｈは、画像Ｉ_ｎにおける主要被写体（例えば被写体ＯＢＪ０）の錯乱円半径ｄ_ｎ／２に相当する画素数を設定すると良い。例えば重みｗ_ｋ（ｉ）（−ｎ≦ｋ≦ｎ）を以下のように算出すると、主要被写体から半径Ｒ_ｔｈ画素以内にある画素において、ぼかし基準画像Ｉ_０”の合成重みを大きくし、主要被写体から半径Ｒ_ｔｈ画素より離れた画素での合成重みを小さくすることができる。

まず、推定レンズ繰出量δ_ｅｓｔ’（ｊ）が、基準レンズ繰出量δ_０からパラメータとして定めるδ_{ｄｅｐｔｈ}の範囲にある画素ｊ、すなわち、次の数式２３に示す条件を満たす画素ｊを主要被写体を構成する画素（基準画像Ｉ_０における合焦領域を構成する画素）とし、主要被写体画素全体の集合をΜとする。

［数２３］

次に、画素ｉから主要被写体までの距離Ｒ_{ＭａｉｎＯｂｊｅｃｔ}（ｉ）を、画素ｉと、ｊ∈Μである画素ｊとの、画像上の距離の最小値とする。

さらに図１５に示すように、画素ｉの推定レンズ繰出量δ_ｅｓｔ’（ｉ）に応じて、動き補正画像Ｉ_−ｎ’〜Ｉ_−１’，Ｉ_１’〜Ｉ_ｎ’の画素ｉに対する初期重みｗ_ｋ’（ｉ）（−ｎ≦ｋ≦ｎ、ただしｋ≠０）を算出する。ここに、図１５は、動き補正画像に対して設定される初期重みを示す線図である。

その後、Ｒ_ｔｈ’≧Ｒ_ｔｈを満たすパラメータＲ_ｔｈ’を用いて、画素ｉから主要被写体までの距離Ｒ_{ＭａｉｎＯｂｊｅｃｔ}（ｉ）によって決まる係数α（ｉ）を図１６に示すように求める。ここに、図１６は、画素から主要被写体までの距離に応じて決定される係数を示す線図である。

そして、求めた係数α（ｉ）を上述した初期重みｗ_ｋ’（ｉ）に乗算して、動き補正画像Ｉ_−ｎ’〜Ｉ_−１’，Ｉ_１’〜Ｉ_ｎ’の画素ｉに対する重みｗ_ｋ（ｉ）（−ｎ≦ｋ≦ｎ、ただしｋ≠０）を算出する。

また、ぼかし基準画像Ｉ_０”については、合成する全画像の重みの和が１となるように、重みｗ_０（ｉ）を算出する。

これらをまとめると、次の数式２４に示すように重みｗ_ｋ（ｉ）（−ｎ≦ｋ≦ｎ）を算出することになる。

［数２４］

混合部２４は、算出された重みｗ_ｋ（ｉ）（−ｎ≦ｋ≦ｎ）を用いて、基準画像以外の動き補正画像Ｉ_−ｎ’〜Ｉ_−１’，Ｉ_１’〜Ｉ_ｎ’と、ぼかし基準画像Ｉ_０”とを合成して、ぼけ強調画像を作成する。

数式２４により算出した重みｗ_ｋ（ｉ）を用いて画像を合成することにより、背景領域内における主要被写体の近傍ではぼかし基準画像Ｉ_０”の重みが大きくなり、主要被写体の色が背景ににじみ出さないように基準画像をぼかしたぼかし基準画像Ｉ_０”の画素を使用して合成が行われることになる。これにより、図１７に示すように、主要被写体の色がぼけ強調画像の背景ににじみ出すのを防ぐことができる。

本実施形態では、背景の一部のみをぼかし処理してぼけ強調画像を作成し、背景の大部分の領域では撮影された画像を合成してぼけを強調するために、背景の大部分の領域において、ぼけが大きなレンズで撮影したかのような自然な玉ぼけを作成することができる。

また、ぼかし基準画像Ｉ_０”を作成する際に、重みｗ_０（ｉ）≠０である画素ｉでのみフィルタ処理を行うことにより、画像を大きくぼかす領域を最小限にすることができ、処理時間を短縮することができる。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、各画素において、算出された奥行きに合焦するレンズ繰出位置が、主要被写体に合焦するレンズ繰出位置から離れるにつれて大きくなる重みで、奥行きが奥にある画素のフィルタ重みを大きくしたフィルタにより基準画像に対してぼかし処理を行ってぼかし基準画像を作成し、基準画像における合焦領域からの画像上の距離が近い画素において、ぼかし基準画像の合成重みを大きくし、算出した合成重みを用いて、ぼかし基準画像と、基準画像とは異なる画像と、を合成するようにしたために、主要被写体の輪郭が背景ににじみ出すのを抑制することができる。

つまり、主要被写体色が背景ににじみ出さないようにフィルタ処理したぼかし基準画像を主要被写体近傍の画素値として合成することで、ぼけ強調画像で主要被写体色が背景ににじみ出すことを防ぐことができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

Claims (9)

1. 主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系と、
   上記撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御部と、
   上記撮像制御部の制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成部と、
   を有し、
   上記撮像制御部は、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
   ｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
   となるように制御することを特徴とするぼけ強調画像処理装置。
2. 上記画像合成部は、
   上記基準画像を構成する各画素の奥行きを算出する奥行き算出部と、
   上記奥行き算出部により算出された奥行きを上記複数枚の画像の合焦距離と比較して、上記合焦距離が上記奥行きと上記主要被写体側に最も近い画像を選択し、選択した画像を含む上記対画像の内の、上記選択した画像と相対する画像における対象画素に対してぼかし処理を行いぼかし画像を作成することを、複数の画素に対して行うことにより複数枚のぼかし画像を作成するぼかし部と、
   を有し、上記ぼかし部によって作成された複数枚のぼかし画像を合成して上記ぼけ強調画像を作成することを特徴とする請求項１に記載のぼけ強調画像処理装置。
3. 上記画像合成部は、
   上記基準画像を構成する各画素の奥行きを算出する奥行き算出部と、
   上記各画素において、算出された上記奥行きに合焦するレンズ繰出位置が、主要被写体に合焦するレンズ繰出位置から離れるにつれて大きくなる重みで、奥行きが奥にある画素のフィルタ重みを大きくしたフィルタにより上記基準画像に対してぼかし処理を行い、ぼかし基準画像を作成する基準画像ぼかし部と、
   上記基準画像における合焦領域からの画像上の距離が近い画素において、上記ぼかし基準画像の合成重みを大きくする合成重み算出部と、
   をさらに備え、
   上記合成重み算出部により算出された合成重みを用いて、上記ぼかし基準画像と、上記基準画像とは異なる画像と、を合成することを特徴とする請求項１に記載のぼけ強調画像処理装置。
4. 上記奥行き算出部は、
   上記複数枚の画像の同一画素におけるコントラストを比較して、最もコントラストが大きい画像の合焦距離を該画素の推定奥行きとする奥行き推定部と、
   上記複数枚の画像の同一画素におけるコントラストの分布に基づいて、上記推定奥行きの信頼度を算出する推定奥行き信頼度算出部と、
   上記推定奥行きの信頼度が低い画素の奥行きを、信頼度が高い近傍の画素の推定奥行きに置き換える奥行き補正部と、
   をさらに備えたことを特徴とする請求項２に記載のぼけ強調画像処理装置。
5. 上記奥行き算出部は、
   上記複数枚の画像の同一画素におけるコントラストを比較して、最もコントラストが大きい画像の合焦距離を該画素の推定奥行きとする奥行き推定部と、
   上記複数枚の画像の同一画素におけるコントラストの分布に基づいて、上記推定奥行きの信頼度を算出する推定奥行き信頼度算出部と、
   上記推定奥行きの信頼度が低い画素の奥行きを、信頼度が高い近傍の画素の推定奥行きに置き換える奥行き補正部と、
   をさらに備えたことを特徴とする請求項３に記載のぼけ強調画像処理装置。
6. 上記撮像制御部は、上記複数枚の画像の中に、無限遠の合焦距離で撮影された画像が含まれるように上記撮像系を制御することを特徴とする請求項１に記載のぼけ強調画像処理装置。
7. 合焦距離が上記基準画像の合焦距離よりも大きい画像に対して、合焦距離が上記主要被写体の合焦距離に近い順にｋ＝−１，−２，…，−ｎとしたときに、上記撮像制御部は、上記直径ｄ_ｋが比Ｒを用いた次の関係
   ｄ_ｋ＝ｄ_ｋ−１／Ｒ
   を満たすように、上記撮像系を制御することを特徴とする請求項１に記載のぼけ強調画像処理装置。
8. コンピュータに、
   主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、
   上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、
   を実行させるためのぼけ強調画像処理プログラムであって、
   上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
   ｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
   となるように制御するステップであることを特徴とするぼけ強調画像処理プログラム。
9. 主要被写体を含む被写体の光学像を結像して、該光学像を撮像し画像を作成する撮像系を制御して、上記主要被写体の光学像の錯乱円の直径ｄが許容錯乱円の直径以下の直径ｄ_０となる基準画像を該撮像系に撮像させ、さらに、上記直径ｄが上記基準画像とは異なる画像を上記撮像系に撮像させる撮像制御ステップと、
   上記撮像制御ステップの制御に基づき上記撮像系により撮像された複数枚の画像を合成して、上記基準画像よりも画像のぼけが強調されたぼけ強調画像を作成する画像合成ステップと、
   を含むぼけ強調画像処理方法であって、
   上記撮像制御ステップは、上記直径ｄが上記基準画像とは異なる画像として、該主要被写体の合焦距離よりも、合焦距離が大きい１枚の画像、および合焦距離が小さい１枚の画像で構成され、上記直径ｄが等しい対画像を、１対以上のｎ（ｎは複数）対撮像させるように制御し、かつ、２対以上の対画像を撮像させる場合には、合焦距離が上記主要被写体の合焦距離に近い対画像順に上記直径ｄを直径ｄ_ｋ（ここに、ｋ＝１，…，ｎ）と表したときに、２以上（ｎ−１）以下の任意のｋに対して、
   ｜ｄ_ｋ−１−ｄ_ｋ｜≦｜ｄ_ｋ−ｄ_ｋ＋１｜
   となるように制御するステップであることを特徴とするぼけ強調画像処理方法。

Images