JP6071257B2 - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関する。

従来より、コンピュータビジョン等の分野では、撮像した画像から距離情報を得ることが求められている。

例えば、視差を有した複数の画像から相関を用いて対応点探索を行って距離情報を推定する技術が開示されている（例えば、特許文献１、非特許文献１参照）。

また、焦点位置の異なる複数の画像から合焦度の変化量を計算して距離情報を推定する技術が開示されている（例えば、特許文献２参照）。

特許文献１ではさらに、結像光学系の被写界深度から外れた対象物に対しても精度よく距離情報を推定するために、複数の焦点位置で画像を撮像することでそのような対象物が被写界深度から外れないようにして距離情報を推定する技術が開示されている。

図２１は、複数の焦点位置を説明するための図である。図２１において、距離測定装置９１１７は、視差を有した複数の画像を撮像する。距離測定装置９１１７の結像光学系の被写界深度は、以下の式で計算される。

ここで、Ｄ_ｆは前方被写界深度、Ｄ_ｂは後方被写界深度、Ｄは被写界深度、ｒは許容錯乱円径、Ａｖは絞り値、Ｚは被写体距離、ｆは焦点距離である。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、１ｍ〜２０ｍの距離範囲で被写界深度から外れる被写体が存在しないように複数の焦点位置を決定したとする。このとき、式１，２より、各々の焦点位置に対応する被写界深度の範囲は図２１に示される矢印の範囲となる。図２１における矢印９１０１〜９１１６は各被写界深度範囲の境界を示している。

特開平６−７４７６２号公報 特開２０１０−１８３１７４号公報 Gary Bradski, Adrian Kaebler（著）、松田晃一（訳）、「詳解ＯｐｅｎＣＶ」、オライリー・ジャパン、オーム社、２００９年８月、ｐ．３７７―４６６

しかしながら、上述の特許文献１に開示された従来技術では、距離測定装置の結像光学系の絞り値や距離測定する距離範囲によっては距離測定する焦点位置の数が増大してしまい、処理時間の増大を招いてしまう。

例えば図２１に示されるような、距離測定する焦点位置が１５か所の場合、デジタルカメラなど即時性が要求される装置に対し、従来技術は不向きである。

また、非特許文献１に開示された従来技術では、結像光学系の被写界深度から外れた対象物に対して精度よく距離情報を推定することができない。

さらに、特許文献２に開示された従来技術では、距離測定装置の結像光学系の絞り値や距離測定する距離範囲によっては被写界深度が深くなり、焦点位置の違いによる合焦度の変化量が小さくなってしまい、距離精度が低下してしまう。

そこで、本発明の目的は、結像光学系の絞り値や測定距離範囲の影響で、撮像する焦点位置の数が増大したり、距離精度が低下したりすることがない画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、請求項１の画像処理装置は、光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出手段と、前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出手段と、前記第１の算出手段により算出された前記第１の距離情報と、前記第２の算出手段により算出された前記第２の距離情報とを用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成手段と、を備え、前記生成手段は、被写界深度が第１の被写界深度である場合に、前記第１の被写界深度より浅い第２の被写界深度である場合に比べて、前記第１の距離情報により大きい重みがつくように、前記合成距離情報を生成することを特徴とする。

本発明によれば、結像光学系の絞り値や測定距離範囲の影響で、撮像する焦点位置の数が増大したり、距離精度が低下したりすることがない画像処理装置及びその制御方法、並びにプログラムを提供することができる。

本発明の実施の形態に係る画像処理装置の概略構成を示す図である。 図１における信号処理部の概略構成を示す図である。 被写界深度Ｄに対する合成係数を決定するグラフを示す図であり、（Ａ）は連続的に変化するように合成係数を決定する場合のグラフを示し、（Ｂ）合成係数を２値のいずれかに決定する場合のグラフを示している。 図２におけるステレオ方式距離画像生成部の概略構成を示す図である。 左右の視点が形成する撮像系をピンホールモデルで表現した図である。 ホモグラフィＨ_ｌおよびＨ_ｒの写像手順を説明するための図である。 撮像された画像を、ステレオ平行化された左右画像へ写像する手順を説明するための図である。 ステレオ対応点探索で用いるブロックマッチング手法を説明するための図である。 図１におけるシステム制御部により実行される合成距離画像生成処理の手順を示す図である。 画像上におけるＡＦ測距枠の位置を説明するための図である。 図９におけるステップＳ１０５のステレオ方式距離画像生成処理の手順を示すフローチャートである。 図９におけるステップＳ１０６のＤＦＤ方式距離画像生成処理の手順を示すフローチャートである。 図１２におけるステップＳ３０４の合焦評価値演算処理の手順を示すフローチャートである。 図１３の合焦評価値演算処理の処理概要を説明するための図である。 被写界深度Ｄに対するＫ１を決定するグラフを示す図である。 Ｋ２を決定するグラフを示す図である。 画面上におけるＡＦ測距枠の位置を説明するための図である。 図１におけるシステム制御部により実行される合成距離画像生成処理の手順を示す図である。 Ｋ２＿Ｃ、Ｋ２＿Ｌ、Ｋ２＿Ｒを決定するグラフを示す図である。 Ｋ１＿Ｃ、Ｋ１＿ＬＲを決定するグラフを示す図である。 複数の焦点位置を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら詳述する。

［第１の実施の形態］
図１は、本発明の実施の形態に係る画像処理装置１００の概略構成を示す図である。

図１において、結像光学系１０１はレンズや絞りなどからなり、フォーカス調節や焦点距離調整を行う。撮像素子１０２は光学像を電気信号に変換する。この撮像素子１０２には例えばＣＣＤが用いられる。上記結像光学系１０１は、被写体像を結像する光学結像手段に対応する。また、撮像素子１０２は、結像光学系１０１により結像された被写体像を撮像する撮像手段に対応する。

Ａ／Ｄ変換部１０３は撮像素子１０２から出力されたアナログ画像信号をデジタル画像信号に変換する。信号処理部１０４はＡ／Ｄ変換部１０３から出力されたデジタル画像信号に対して信号処理を施す。

表示部１０９は撮像素子１０２で撮像された画像などを表示する。ＡＦ評価値取得部１０８は結像光学系１０１のオートフォーカス（ＡＦ）調整用のＡＦ評価値を取得する。メモリ制御部１０５はメモリ（例えばＤＲＡＭ）１０６との間で画像信号データなどの記憶または読み出しを行う。

操作部１１０はユーザからの指示を受け付ける。システム制御部１０７は画像処理装置１００全体の動作を制御する。

このように構成された画像処理装置１００において、結像光学系１０１のフォーカス調整をオートフォーカスで実現するためには、一般によく知られている山登りコントラストＡＦの技術を利用すればよい。

つまり、結像光学系１０１を通過した被写体光束を撮像素子１０２で受光し、ＡＦ測距枠として指定した領域内で撮像出力のコントラスト（ＡＦ評価値）が極大となるようにフォーカス調整することでオートフォーカスを実現することができる。

また、フォーカス調整された結像光学系１０１の焦点位置から、ＡＦ測距枠中の合焦被写体までの距離Ｚを求めることができる。

図２は、図１における信号処理部１０４の概略構成を示す図である。

図２において、基準画像２０１はステレオ方式距離画像生成部２１０とＤＦＤ（Depth From Defocus）方式距離画像生成部２２４が参照する画像である。また、ステレオ方式参照画像２０２はステレオ方式距離画像生成部２１０が参照する画像であり、この画像は基準画像２０１に対して視差を有している。

ＤＦＤ方式参照画像２２１，２２２は、ＤＦＤ方式距離画像生成部２２４が参照する画像であり、これらの画像は基準画像２０１とは異なる焦点位置で撮像されている。

ステレオ方式距離画像生成部２１０は、視差を有する複数の画像から相関を用いて対応点探索を行うことで距離情報を推定し、ステレオ方式距離画像２０９を生成する。

ＤＦＤ方式距離画像生成部２２４は、焦点位置の異なる複数の画像から合焦度の変化量を計算して距離情報を推定し、ＤＦＤ方式距離画像２２３を生成する。

距離画像合成部２４３は、ステレオ方式距離画像（第１距離画像）２０９とＤＦＤ方式距離画像（第２距離画像）２２３を合成することで、合成距離画像２４１を生成する。

この距離画像合成部２４３において、画像の合成は、以下の式４を用いて行われる。

ここで、（ｘ，ｙ）は画素位置、Ｚ_ＭＩＸ（ｘ，ｙ）は合成距離画像の（ｘ，ｙ）での画素値、Ｚ_ＳＴＲ（ｘ，ｙ）はステレオ方式距離画像の（ｘ，ｙ）での画素値、Ｚ_ＤＦＤ（ｘ，ｙ）はＤＦＤ方式距離画像の（ｘ，ｙ）での画素値、Ｋは合成係数である。

距離画像合成部２４３は、コントラストＡＦでフォーカスが合った被写体を主要被写体として選択し、主要被写体の被写界深度に応じて合成係数Ｋを決定する。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、主要被写体の被写体距離を９ｍとすると、被写界深度は式１〜式３により、６．８０ｍとなる。同様に、主要被写体の被写体距離を１ｍとすると、被写界深度は０．０７５ｍとなる。このように、まず被写体像に示される複数の被写体から選択された主要被写体の被写界深度に応じて合成係数が算出される。そして、第１距離画像と第２距離画像とを、算出された合成係数を用いて合成することで合成距離画像が生成される。

さらに、合成係数ｋは、主要被写体の被写界深度が増加するにしたがって単調増加する係数である。式４に示されるように、ステレオ方式距離画像及びＤＦＤ方式距離画像における位置（ｘ，ｙ）に応じて対応するステレオ方式距離画像の画素及びＤＦＤ方式距離画像の画素の、各々の画素値の加重平均を新たな画素値とした画像が合成距離画像として生成される。そして、当該加重平均において合成係数ｋはステレオ方式距離画像への画素値に対する重み係数である。

また、ＤＦＤ方式距離画像への画素値に対する重み係数（１−ｋ）は、合成係数ｋが増加するにしたがって単調減少する。

なお、上述した単調増加は、書物によっては広義の単調増加または単調非減少と表現されることがある。同様に単調減少は、書物によっては広義の単調減少または単調非増加と表現されることがある。

図３は、被写界深度Ｄに対する合成係数を決定するグラフを示す図であり、（Ａ）は連続的に変化するように合成係数を決定する場合のグラフを示し、（Ｂ）合成係数を２値のいずれかに決定する場合のグラフを示している。

図３（Ａ）（Ｂ）において、例えば主要被写体の被写界深度が６．８０ｍであれば合成係数は１．０となり、式４から合成距離画像はステレオ方式距離画像優先となる。また、主要被写体の被写界深度が０．０７５ｍであれば合成係数は０．０となり、式４から合成距離画像はＤＦＤ方式距離画像優先となる。

さらに、図３（Ａ）において、被写界深度が４．０ｍ〜５．０ｍの場合は、ＤＦＤ方式距離画像優先からステレオ方式距離画像優先へと徐々に変化する。

図４は、図２におけるステレオ方式距離画像生成部２１０の概略構成を示す図である。

図４におけるステレオ方式距離画像生成部２１０の説明に先立ち、ステレオ方式距離画像の生成について非特許文献１では、以下のステップでステレオ方式距離画像を生成することができることが示されている。

まず、左右の異なる視点で撮像された２つの画像に対して、結像光学系１０１により生じる歪み補正を行う。次いで、左右の異なる視点間でカメラの角度と距離を調整するために、左右画像を写像する（ステレオ平行化）。そして、左右のカメラのビューで同じ特徴を求めることで、視差画像を生成する（ステレオ対応点探索）。左右のカメラの幾何学的な位置情報を用いて、視差画像を距離画像に変換する（３Ｄ再投影）。

図４において、左右のカメラで撮像された画像は、基準画像２０１とステレオ方式参照画像２０２である。

また、ホモグラフィ推定部２０３はステレオ平行化のためのホモグラフィを推定する。ここでのホモグラフィ推定処理においては、結像光学系１０１による歪みが補正された座標系を用いる必要がある。

その座標変換式は以下の式５である。

ここで、（ｘ，ｙ）は歪まされた点の元の位置であり、（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）は補正の結果得られる新しい位置である。さらに、ｒは歪まされた点の元の位置におけるレンズ中心からの距離であり、ｋ１、ｋ２、ｋ３はレンズの形状から決定される歪み補正係数である。

ここでの歪み補正は半径方向歪みのみを補正するものとしたが、それだけに限定されるものではなく、例えば円周方向歪みも補正するようにしてもよい。

図５は、左右の視点が形成する撮像系をピンホールモデルで表現した図である。

図５においてＯ_ｌ及びＯ_ｒは左右の視点の投影中心位置、Ｐは被写***置、ｐ_ｌ及びｐ_ｒは左右の視点の投影平面に投影される被写体の結像位置、ｅ_ｌ及びｅ_ｒは左右の視点におけるエピポール、ｐ_ｌ、ｅ_ｌ及びｐ_ｒ、ｅ_ｒは左右の視点におけるエピポーラ線である。

エピポーラ拘束により、１つの画像内の特徴点が与えられると、もう１つの画像内で対応する点は対応するエピポーラ線上に存在する。

このため、ステレオ対応点探索はエピポーラ線に沿って対応点探索することになるが、２つの画像でエピポーラ線を平行にして対応点の高さを合わせると水平方向の１次元での対応点探索となる。この場合、２次元で探索するよりも計算量が大幅に軽減されるし、結果の信頼度も高い。

２つの画像でエピポーラ線を平行にして対応点の高さを合わせる座標変換が、ステレオ平行化である。ステレオ平行は以下の順に処理が実行される。
（１−１）２つの画像で対応する８点以上の特徴点を求める。
（１−２）対応する８点以上の特徴点から基礎行列Ｆを求める。
（１−３）基礎行列Ｆからエピポールｅ_ｌおよびｅ_ｒを求める。
（１−４）エピポールｅ_ｒから右画像のステレオ平行化のためのホモグラフィＨ_ｒを推定する。
（１−５）対応する特徴点、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。

上記（１−１）の処理では、２つの画像間でブロックマッチング手法による２次元の対応点探索を行うことで、必要な対応する特徴点を求める。画素単位で対応点探索するステレオ対応点探索とは異なり、画像一面内で対応する特徴点を最低８点だけ求めればよいので、２次元であっても計算量は少なく、結果の信頼度にも大きな影響はない。

ブロックマッチング手法は、後述するステレオ対応点探索の手法と同様である。ただしステレオ対応点探索のブロックマッチング手法は１次元方向のみの探索なので、ここではその探索範囲を２次元方向に拡張したブロックマッチング手法が適用される。

次の（１−２）の処理では、８点の特徴点から３×３行列の基礎行列Ｆを求める。また、特徴点の座標は式５で歪み補正されたものを用いる。以下の式６は一般にエピポーラ方程式と呼ばれている方程式である。

ここで、Ｅは、３×３行列の基本行列である。また３×３行列のカメラ内部行列Ｍを用いると、一般に以下の式７で３次元物理座標ｐを投影平面の２次元ピクセル座標ｑに変換できることが知られている。

またカメラ内部行列Ｍを用いると、一般に以下の式８で基本行列Ｅを基礎行列Ｆに変換できることが知られている。

上述した式６から式８を用いると、基礎行列Ｆに関する以下の式９を導くことができる。

基礎行列Ｆは３×３行列で、かつスカラの自由度を持つので、９個の行列要素のうちの８個が変数となる。このため式９に左右画像において対応する特徴点のｑ_ｌ及びｑ_ｒの８点分を代入すれば、単なる連立１次方程式となり、この連立１次方程式を解くことで基礎行列Ｆを求めることができる。

このように、本実施の形態では、基礎行列Ｆを求めるのに左右画像において対応する８店の特徴点のｑ_ｌ及びｑ_ｒを用いているが、これに限定されるものではない。例えば非特許文献１で開示されているように８点以上の特徴点を用いた最小二乗法によって基礎行列Ｆを推定してもよい。

次の（１−３）の処理では、基礎行列Ｆからエピポールｅ_ｌ及びｅ_ｒを求める。基礎行列Ｆとエピポールｅ_ｌ及びｅ_ｒの関係は一般に以下の式１０で表されることが知られており、この式１０に求めた基礎行列Ｆを代入することでエピポールｅ_ｌ及びｅ_ｒを求めることができる。

（１−４）の処理では、エピポールｅ_ｒからホモグラフィＨ_ｒを推定する。

図６は、ホモグラフィＨ_ｌおよびＨ_ｒの写像手順を説明するための図である。

図６において、網掛けされた三角形は、右画像の投影平面におけるオブジェクトの結像イメージを示している。

そして、図６（Ａ）では、エピポールｅ_ｒのピクセル座標（ｘ_ｅ，ｙ_ｅ）が示されている。まず、エピポールｅ_ｒをｘ軸上の（ｋ，０）に写像する回転行列Ｒを求める。つまり、以下の式１１のようになる。

式１１をエピポールｅ_ｒに適用すると、以下の式１２のようになる。

図６（Ｂ）は、（Ａ）に対して回転行列Ｒを適用したピクセル座標系を示している。次に、ｘ軸上に写像されたエピポール（ｋ，０）を無限遠点（±∞，０）に写像するホモグラフィＧを求める。つまり、ホモグラフィＧは以下の式１３のようになる。

このようなホモグラフィは、すべてのエピポーラ線をｘ軸に対して平行な直線に写像する。

図６（Ｃ）は、（Ｂ）に対してホモグラフィＧを適用したピクセル座標系を示している。（Ｃ）におけるエピポーラ線はｘ軸に対して平行な直線に写像されている。

式１１から式１３により、ホモグラフィＨ_ｒは以下の式１４のようになる。

（１−５）の処理では、特徴点の対応、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。このようなホモグラフィＨ_ｌは、左画像のすべてのエピポーラ線をｘ軸に対して平行な直線に写像し、左右画像の対応するエピポーラ線の高さを揃える。

左画像のすべてのエピポーラ線をｘ軸に対して平行な直線に写像する手順は、（１−４）の処理と同様の手順で実現することができる。また同様の手順で左画像に対して求められた行列を、Ｇ’及びＲ’とする。

左右画像の対応するエピポーラ線の高さを揃えることは、左右画像間に存在し、対応する特徴点において、特徴点間距離の総和が最小になるようなホモグラフィＫを推定することで実現することができる。つまり、推定したいホモグラフィＨ_ｌは以下の式１５ようになる。

さらに、ホモグラフィＫを推定するために、以下の式１６を用いる。

なお式１６のｄｄ（Ｑ，Ｒ）は、２つのピクセル座標ＱＲ間の距離自乗和を表している。また対応する特徴点の組は（ｑ^ｌ _ｉ，ｑ^ｒ _ｉ）は、（１−１）の処理で求められたものを用いればよい。

図４の説明に戻り、逆写像処理部２０４，２０５は、ステレオ平行化のためのホモグラフィを用いて、左画像（基準画像２０１）および右画像（ステレオ方式参照画像２０２）をステレオ平行化する。このステレオ平行化のための逆写像処理の手法は非特許文献１に示される手法と同様である。

図７は、撮像された画像（図では生画像）を、ステレオ平行化された左右画像へ写像する手順を説明するための図である。

図７において、逆写像処理は、（Ｃ）に示されるステレオ平行化された画像内の各整数座標に対して、（Ｂ）に示される歪み補正された画像内の座標を求め、それらを用いて（Ａ）に示される生画像内の小数点座標を参照することで実現できる。

つまり、この小数点座標を用いて生画像内で画素補間処理を行い、（Ｃ）に示されるステレオ平行化画像内での画素値を求める。

なお、図中のＤＩＳＴ（）は、式５の（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）から（ｘ，ｙ）を求める式（２）の逆変換処理である。また、（Ｄ）は切り出された視差画像を示している。

図４の説明に戻り、ステレオ対応点探索部２０６はステレオ平行化された左画像と右画像から視差画像を生成する。ステレオ対応点探索の手法は非特許文献１に示される手法と同様である。

図８は、ステレオ対応点探索で用いるブロックマッチング手法を説明するための図である。

ブロックマッチングは差分絶対値和（ＳＡＤ）ウィンドウを行方向にスライドすることで行われる。具体的にブロックマッチングは、左の画像内でそれぞれの特徴に対して、右の画像で対応する行から最もよくマッチするものを探す。

左右画像はステレオ平行化されていて各行がエピポーラ線になっており、右の画像内でマッチングする箇所は左の画像内の同じ行にあるため、探索方向は図８に示されるように、例えば（ｘ_０，ｙ_０）から行方向だけに限定することができる。

左の画像内のある特徴点のｘ座標ｘ_ｌに対して、対応する右の画像内の対応点のｘ座標ｘ_ｒまでの距離ｄ＝（ｘ_ｌ−ｘ_ｒ）が、ｘ座標ｘ_ｌに対応する視差量となる。

図８では、基準画像２０１が左の画像の場合を示しているが、基準画像が右の画像の場合は、右の画像内の特徴点を基準に視差量を計算する。つまり、右の画像内のある特徴点のｘ座標ｘ_ｒに対して、対応する左の画像内の対応点のｘ座標ｘ_ｌまでの距離ｄ＝（ｘ_ｌ−ｘ_ｒ）を、ｘ座標ｘ_ｒに対応する視差量とする。

図４の説明に戻り、３Ｄ再投影部２０７は視差画像からステレオ方式距離画像２０９を生成する。

３Ｄ再投影の手法は非特許文献１の手法と同様である。三角測量の手法により、距離Ｚと視差量ｄの関係は一般に以下の式１７で表されることが知られている。

ここで、ｆは撮像系の焦点距離、Ｔは左右２つの視点の投影中心の距離である。この式１７を用いて３Ｄ再投影部２０７により生成されたステレオ方式距離画像２０９は、メモリ制御部１０５によってメモリ１０６に記憶される。

以上説明した構成により実行される処理について、以下フローチャートを用いて説明する。

図９は、図１におけるシステム制御部１０７により実行される合成距離画像生成処理の手順を示す図である。

図９において、まずステレオ方式参照画像を撮像し、更新する（ステップＳ１０１）。焦点位置は、ステップＳ１０１の撮像前に予めＡＦ評価値取得部１０８によるコントラストＡＦで調整しておく。図１０は画像上におけるＡＦ測距枠の位置を説明するための図であり、ＡＦ測距枠３０１が示されている。

このステップＳ１０１の処理は、ユーザによって撮像指示が操作部１１０で操作されるまで行われる。

撮像指示が操作部１１０で操作されると（ステップＳ１０２でＹＥＳ）、基準画像を撮像し、更新する（ステップＳ１０３）。このようにユーザにより撮像指示が操作されるまでの間、ユーザはフレーミング動作で画像処理装置１００の位置を移動させている。そして、撮像指示が操作された後は画像処理装置１００の位置を確定させるため、撮像指示が操作された前後で撮像したステレオ方式参照画像と基準画像との間にはユーザのフレーミング動作に応じた視差が発生している。

続いて、焦点位置を変えて、ＤＦＤ方式参照画像を撮像する（ステップＳ１０４）。撮像時の焦点位置は、被写体距離が１ｍと２０ｍに対応する焦点位置としている。

次いで、ステレオ方式距離画像生成部２１０によるステレオ方式距離画像生成処理によって、異なる視差を有する複数の画像からステレオ方式距離画像が生成される（ステップＳ１０５）。このステップＳ１０５は、撮像手段により撮像された異なる視差を有する複数の画像からステレオ方式距離画像を生成する第１距離画像生成手段に対応する。

さらに、ＤＦＤ方式距離画像生成部２２４によるＤＦＤ方式距離画像生成処理によって、撮像手段により撮像された画像内の各位置で合焦度が異なる複数の画像からＤＦＤ方式距離画像が生成される（ステップＳ１０６）。このステップＳ１０６は、撮像手段により撮像された画像内の各位置で合焦度が異なる複数の画像からＤＦＤ方式距離画像を生成する第２距離画像生成手段に対応する。

そして、生成されたステレオ方式距離画像とＤＦＤ方式距離画像は、距離画像合成部２４３により合成され、合成距離画像が生成され（ステップＳ１０７）、本処理を終了する。ここでは、上述したように合成係数が算出され、合成距離画像を生成するので、このステップＳ１０７は、算出手段及び生成手段に対応する。

図１１は、図９におけるステップＳ１０５のステレオ方式距離画像生成処理の手順を示すフローチャートである。

図１１において、まず視差画像を生成する（ステップＳ２０１）。上述したように、視差画像は、逆写像処理部２０４，２０５でステレオ平行化された左右画像を、ステレオ対応点探索部２０６で処理することで生成される。

次いで、ＡＦ測距枠３０１でオートフォーカスされた被写体の被写体距離Ｚ_０と視差量ｄ_０から、投影中心の並進移動量を取得する（ステップＳ２０２）。上記式１７から、並進移動量Ｔ＝（Ｚ_０ｄ_０／ｆ）となる。なお、被写体距離Ｚ_０は、ステップＳ１０１の撮像前に予めＡＦ評価値取得部１０８によるコントラストＡＦで算出されている。また、視差量ｄ_０は、ステップＳ２０１の視差画像から抽出される。

そして、視差画像の画素ごとに式１７を適用することで距離画像を生成し（ステップＳ２０３）、本処理を終了する。

図１２は、図９におけるステップＳ１０６のＤＦＤ方式距離画像生成処理の手順を示すフローチャートである。

図１２において、ＤＦＤ方式距離画像生成部２２４は、基準画像及び参照画像のうちから、画像の合焦度を示す合焦評価値を求めるための処理に用いる処理対象画像を指定する（ステップＳ３０３）。なお、ここではＤＦＤ方式距離画像生成部２２４は、基準画像及び参照画像のすべてを結像光学系１０１の焦点位置及び絞り値の一方が異なる画像からなる処理対象画像として順次指定してゆくものとする。

次いで、ＤＦＤ方式距離画像生成部２２４は、合焦評価値演算処理を実行し、処理対象画像について画像内の各領域または位置での合焦評価値をそれぞれ求める（ステップＳ３０４）。

ここで、画像内の各領域とは、撮像画像を複数の領域に（ＸＹ平面上で）２次元的に分割した領域を指すものとする。各領域の最小単位は１画素となる。なお、画像内の位置とは、その処理対象画像を撮像した撮像素子内に含まれる画素エリア（または単一の画素）の、撮像素子内でのＸＹ位置を示すものとする。合焦評価値を求める領域または位置は、全ての処理対象画像に渡り共通している。以下の説明では、領域または位置を、単に領域と表現する。

またステップＳ３０４では、ＤＦＤ方式距離画像生成部２２４は、処理対象画像での各領域または位置と合焦評価値との対応関係を示す合焦評価値マップを生成する。各々の合焦評価値は、画像の合焦度が高いほど高い値を示すものとする。

次いで、ＤＦＤ方式距離画像生成部２２４は、全ての処理対象画像で合焦評価値演算処理が終了したか否かを判別する（ステップＳ３０５）。

ステップＳ３０５の判別の結果、全ての処理対象画像で合焦評価値演算処理が終了していないときは（ステップＳ３０５でＮＯ）、上記ステップＳ３０３に戻る。

一方、ステップＳ３０５の判別の結果、全ての処理対象画像で合焦評価値演算処理が終了したときは（ステップＳ３０５でＹＥＳ）、以下の処理を行う。

すなわち、ＤＦＤ方式距離画像生成部２２４は、基準画像に対応する第１の合焦評価値マップと、参照画像に対応する第２の合焦評価値マップと、各々の画像の撮像時の焦点位置情報とを用いる。これらを用いることで、ＤＦＤ方式距離画像生成部２２４は、基準画像内の各領域に対応する被写体距離をそれぞれ推測し（ステップＳ３０６）、本処理を終了する。

具体的にＤＦＤ方式距離画像生成部２２４は、第１の合焦評価値マップと第２の合焦評価値マップとの間で対応する画像上の領域ごとに合焦評価値の差分をとって、各々の領域で合焦評価値の変化量を求める。なお、参照画像が複数存在する場合には、ＤＦＤ方式距離画像生成部２２４は各々の参照画像と基準画像との間で合焦評価値の変化量を求めるものとする。

ここで、基準画像内のある領域において、注目被写体が合焦状態であって、参照画像がぼけているケースを考える。このケースでは、第１の合焦評価値マップで注目被写体に対応する領域の合焦評価値は高い値を示すが、第２の合焦評価値マップで注目被写体に対応する領域の合焦評価値は第１の合焦評価値マップと比べて非常に低い値を示す。

そのため、このケースでは、注目被写体が対応する領域の合焦評価値の変化量は大きな値を示すこととなる。

一方、基準画像及び参照画像の両方で注目被写体がぼけているケースでは、第１の合焦評価値マップ及び第２の合焦評価値マップの両方で、注目被写体に対応する領域の合焦評価値の値がいずれも小さくなる。

そのため、このケースでは、注目被写体が対応する領域の合焦評価値の変化量は相対的に小さな値を示す。

よって、基準画像での合焦評価値が高く、参照画像では合焦評価値が大きく減少する領域は、焦点位置の移動により合焦状態から非合焦状態となった箇所と推測できる。

逆に、基準画像での合焦評価値が低く、参照画像では合焦評価値が大きくなる領域は、参照画像の焦点位置で合焦状態となった箇所と推測できる。

このとき、基準画像と参照画像との間で焦点位置の移動方向とその移動量とを参照すれば、注目する被写体の存在する領域が、基準画像の焦点位置を基準として前ピンまたは後ピンのいずれかにあるかが判別できる。また基準画像の焦点面とどの程度離れているのかを、ＤＦＤ方式距離画像生成部２２４が判別できる。

同様に、基準画像での合焦評価値が低く、参照画像との間で合焦評価値の変化量も小さい領域は、基準画像での焦点位置と参照画像での焦点位置とのいずれもが合焦面から遠い箇所と推測できる。

また、基準画像での合焦評価値が高く、参照画像との間で合焦評価値の変化量が小さい領域は、基準画像での焦点位置および参照画像での焦点位置の両方でほぼ合焦状態にある箇所と推測できる。

上述したステップＳ３０６でのＤＦＤ方式距離画像生成部２２４は、上記の推測結果に基づいて、基準画像内の各領域に対応する被写体距離の情報をそれぞれ生成する。

例えば、ＤＦＤ方式距離画像生成部２２４は、合焦評価値の高さと変化量とに基づいて、基準画像の焦点位置で合焦した被写体との相対距離またはその度数で各々の被写体距離を表現してもよい。

または、ＤＦＤ方式距離画像生成部２２４は、画像の各位置で合焦状態となる画像を特定し、合焦状態となる画像に対応する被写体距離の値をそのまま被写体距離を表現してもよい。

図１３は、図１２におけるステップＳ３０４の合焦評価値演算処理の手順を示すフローチャートである。

図１３においては、ＤＦＤ方式距離画像生成部２２４が、処理対象画像に各々の周波数特性が異なる一対のエッジ抽出処理を施すとともに、これらのエッジ抽出処理で求まる一対のエッジ量の差分を用いて合焦評価値を求める。

まず、ＤＦＤ方式距離画像生成部２２４は、処理対象画像に第１のエッジ抽出処理を施し、抽出したエッジ成分の強度と画像での位置との対応関係を示す第１エッジ画像を生成する（ステップＳ４０１）。

次いで、ＤＦＤ方式距離画像生成部２２４は、ステップＳ４０１での抽出結果よりも低域側の周波数成分が含まれるように、処理対象の画像に第２のエッジ抽出処理を施す。そして、ＤＦＤ方式距離画像生成部２２４は、抽出したエッジ成分の強度と画像での位置との対応関係を示す第２エッジ画像を生成する（ステップＳ４０２）。

そして、ＤＦＤ方式距離画像生成部２２４は、第１エッジ画像及び第２エッジ画像を、それぞれ例えば２０画素×２０画素程度のサイズに領域分割するとともに、各領域ごとにそれぞれ特徴量を求める（ステップＳ４０３）。

次いで、ＤＦＤ方式距離画像生成部２２４は、第１エッジ画像の各領域の特徴量と、第２エッジ画像の各領域の特徴量とを、対応する領域ごとに差分を求めることで（ステップＳ４０４）、その変位を求める。

ＤＦＤ方式距離画像生成部２２４は、ステップＳ４０４で求めた各領域の特徴量の差分値を、第１エッジ画像または第２エッジ画像から求めたエッジ量を用いて正規化する（ステップＳ４０５）。

ＤＦＤ方式距離画像生成部２２４は、ステップＳ４０５で求めた全ての正規化された特徴量の平均値を求め、この平均値を正規化された特徴量の基準値として設定する（ステップＳ４０６）。ただし、既に別の入力画像を用いて、この基準値が求まっている場合には、ＤＦＤ方式距離画像生成部２２４は、その値を基準値としてもよい。

ＤＦＤ方式距離画像生成部２２４は、各々の領域の正規化された特徴量（ステップＳ４０５）と正規化された特徴量の基準値（ステップＳ４０６）とを比較し、各領域の合焦評価値を求め（ステップＳ４０７）、本処理を終了する。

以上説明した各ステップでの処理に関して、図１４を用いて説明する。

図１４は、図１３の合焦評価値演算処理の処理概要を説明するための図である。

まず、ステップＳ４０１について、ＤＦＤ方式距離画像生成部２２４は、以下の（Ａ１）、（Ａ２）の各処理を実行する。

（Ａ１）ＤＦＤ方式距離画像生成部２２４は、処理対象画像に対して、ガウシアン型平滑化フィルタによるフィルタ演算を行う。一例として、ステップＳ４０１でのＤＦＤ方式距離画像生成部２２４は、Ｐ（ｒ）∝ｅｘｐ（−ｒ^２／２σ^２）の平滑化フィルタを用いるものとする。

なお、ステップＳ４０１での平滑化フィルタの強度とフィルタ半径とに関係するパラメータσの値は任意に設定できる。この処理により、図１４に示されるように、元画像から平滑化された第１ボケ画像が生成される。以下の説明では、パラメータσを「フィルタ半径」という。

（Ａ２）ＤＦＤ方式距離画像生成部２２４は、元画像の各画素値から第１ボケ画像で対応する位置にある画素値をそれぞれ減算するとともに、減算後の画素値の絶対値をとる。これにより、ＤＦＤ方式距離画像生成部２２４は、元画像を平滑化したときに失われるエッジ成分を抽出することで、図１４に示されるような第１エッジ画像を生成する。

ステップＳ４０２で生成される第２エッジ画像も同様に生成されるが、ステップＳ４０１におけるＡ１の処理と比較して、平滑化フィルタのフィルタ半径σが大きい平滑化が行なわれる。

従って、ステップＳ４０２では、Ａ１の処理と比べて平滑化の度合いが強くなる。すなわち、第２ボケ画像は、第１ボケ画像と比べて高域側の周波数成分がより少なく、また低域側の周波数成分がより多く含まれるので、第１ボケ画像よりもエッジがなまった状態となる。

ここで、画像のピントが合っていない領域では、フィルタ半径σの値を少し変えてもエッジ量はほとんど変化しない。

一方、画像のピントが合っている領域では、フィルタ半径σの値を少し変えただけでもエッジ量は大きく変化する。

そこで、ステップＳ４０１，４０２で、フィルタ半径σの値を互いに近い値に設定すると、後述の特徴量の差分をとったときに合焦領域と非合焦領域とでエッジ量の変位の振る舞いが大きく異なり、合焦度の測定が比較的容易となる。

一例として、ステップＳ４０１ではフィルタ半径σを０．５とし、ステップＳ４０２ではフィルタ半径σの値を０．６としてもよい。

次に、ステップＳ４０３の処理の一例について説明する。ステップＳ４０３において、合焦度算出部２７は、各エッジ画像の領域毎にその領域に含まれる全画素のエッジ量を積算し、この積算値を領域の画素数で割った値を特徴量として算出する。すなわち、ここでの特徴量は領域内のエッジ量の平均値である。これにより、各領域の特徴をそれぞれ１つの値で表すことができる。

次に、ステップＳ４０４の処理について説明する。上述したように、ピントが合っていない領域では、フィルタ半径σの値を少しだけ変えてもエッジ量はほとんど変化しないが、画像のピントが合っている領域では、フィルタ半径σの値を少し変えただけでもエッジ量は大きく変化する。

そのため、平滑化フィルタのフィルタ半径を小さい範囲で変化させたときの各領域におけるエッジ量の変位をみれば、領域ごとの合焦度の強弱を判定できることが分かる。

次に、ステップＳ４０５の処理について説明する。例えば、ＤＦＤ方式距離画像生成部２２４は、領域ごとの差分値を、第１エッジ画像で対応する領域の特徴量で割ることにより、差分値を正規化してもよい。

なお、ここでの特徴量として、第２エッジ画像で対応する領域の特徴量や、同じ領域における第１エッジ画像の特徴量と第２エッジ画像の特徴量との平均値を用いてもよい。

そして、ＤＦＤ方式距離画像生成部２２４は、Ｓ４０５の正規化後の値を各々の領域における合焦量とする。

上記のステップＳ４０４の段階では、画像に含まれるエッジ量の値が元々大きい箇所でのエッジの変位と、画像に含まれるエッジ量の値が小さい箇所でのエッジの変位をそのまま比べると、前者の方の変位量が大きくなる可能性が高い。なお、エッジ量の値が大きい箇所は、高輝度なので画素値が大きい箇所であり、エッジ量の値が小さい箇所は、低輝度なので画素値が小さい箇所となっている。

すなわち、画像はボケていても輝度差が大きな箇所では合焦度を高く評価してしまう可能性がある。そのため、ステップＳ４０５でのＤＦＤ方式距離画像生成部２２４は、エッジ画像のエッジ量で差分値を正規化することで、画像の輝度差が合焦度に及ぼす影響を抑制している。

次に、ステップＳ４０７の処理について説明する。ステップＳ４０７では、各々の領域の正規化された特徴量と正規化された特徴量の基準値とを比較するが、この比較には、例えば、合焦量と基準値との減算値または除算値を用いてもよい。

このようにして合焦評価値を求めることにより、ＤＦＤ方式距離画像生成部２２４は合焦評価値マップを取得できる。なお、異なる画像から求めた合焦評価値マップを比較する場合、ＤＦＤ方式距離画像生成部２２４は、画像間の輝度差を考慮して必要に応じて合焦評価値マップの正規化を行うものとする。

以上説明した第１の実施の形態によれば、結像光学系の絞り値や測定距離範囲の影響で、撮像する焦点位置の数が増大したり、距離精度が低下したりすることがない。

［第２の実施の形態］
第２の実施の形態では、合成係数Ｋの決定方法が第１の実施の形態と異なっている。

第２の実施の形態における距離画像合成部２４３は、式４を用いて距離画像を合成することは第１の形態と同じであり、合成係数Ｋは以下の式１８で決定する。

距離画像合成部２４３は、コントラストＡＦでフォーカスが合った被写体を主要被写体として選択し、主要被写体の被写界深度に応じて合成係数Ｋ１を決定する。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、主要被写体の被写体距離を９ｍとすると、被写界深度は式１〜式３により、６．８０ｍとなる。

図１５は、被写界深度Ｄに対するＫ１を決定するグラフを示す図である。

図１５において、例えば主要被写体の被写界深度が６．８０ｍであれば合成係数Ｋ１は１．０となる。また、被写界深度が４．０ｍ〜５．０ｍの場合は、Ｋ１の値が０から１へと単調増加する。

また、距離画像合成部２４３は、コントラストＡＦでフォーカスが合った被写体を主要被写体として選択し、主要被写体の被写界深度の範囲に応じて合成係数Ｋ２を決定する。

図１６は、Ｋ２を決定するグラフを示す図である。

図１６において、主要被写体４０２はコントラストＡＦでフォーカスが合った被写体である。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、主要被写体４０２の被写体距離を９ｍとすると、式１〜式３から、範囲４０３が主要被写体４０２の被写界深度の範囲となる。

合成係数Ｋ２を決定するために必要となる距離Ｚについては、ステレオ方式距離画像２０９を参照する。このように、被写界深度の範囲でとり得る値が、この範囲外でとり得る値と比較して大きくなる値を用いて合成係数Ｋが算出される。

以上説明した第２の実施の形態によれば、結像光学系の絞り値や測定距離範囲の影響で、撮像する焦点位置の数が増大したり、距離精度が低下したりすることがない。さらに、ステレオ方式距離画像について、主要被写体の被写界深度から外れた距離範囲がＤＦＤ方式距離画像に切り替わるので、そのような距離範囲の距離精度を向上させることができる。

［第３の実施の形態］
第３の実施の形態における画像処理装置１００は、ＡＦ測距枠の数と位置、システム制御部１０７の動作を説明するためのフローチャート、距離画像合成部２４３が第１の実施の形態と異なっている。

図１７は画面上におけるＡＦ測距枠の位置を説明するための図である。

図１７において、ＡＦ測距枠として、主要被写体用の中央測距枠５０１、非主要被写体用の左測距枠５０２、及び非主要被写体用の右測距枠５０３が示されている。第３の実施の形態では、これらの各ＡＦ測距枠が用いられる。

図１８は、図１におけるシステム制御部１０７により実行される合成距離画像生成処理の手順を示す図である。

図１８において、まずＤＦＤ方式参照画像を撮像する（ステップＳ５０１）。ここでの撮像での焦点位置は、被写体距離が１ｍと２０ｍに対応する位置である。

次いで、主要被写体用の中央測距枠５０１でコントラストＡＦされた焦点位置で基準画像を撮像する（ステップＳ５０２）。

続けて、非主要被写体用の左測距枠５０２でコントラストＡＦされた焦点位置で基準画像を撮像する（ステップＳ５０３）。さらに非主要被写体用の右測距枠５０３でコントラストＡＦされた焦点位置で基準画像を撮像する（ステップＳ５０４）。

次いで、表示部１０９にユーザに視点の移動を促す内容を表示する（ステップＳ５０５）。そして、主要被写体用の中央測距枠５０１でコントラストＡＦされた焦点位置でステレオ方式参照画像を撮像する（ステップＳ５０６）。

続けて、非主要被写体用の左測距枠５０２でコントラストＡＦされた焦点位置でステレオ方式参照画像を撮像する（ステップＳ５０７）。さらに非主要被写体用の右測距枠５０３でコントラストＡＦされた焦点位置でステレオ方式参照画像を撮像する（ステップＳ５０８）。

そして、中央測距枠５０１の焦点位置の基準画像とＤＦＤ方式参照画像を用いて、ＤＦＤ方式距離画像を生成する（ステップＳ５０９）。

さらに、主要被写体用の中央測距枠５０１におけるステレオ方式距離画像を生成する（ステップＳ５１０）。

続けて、非主要被写体用の左測距枠５０２におけるステレオ方式距離画像を生成する（ステップＳ５１１）。さらに非主要被写体用の右測距枠５０３におけるステレオ方式距離画像を生成する（ステップＳ５１２）。

生成された３つの測距枠の各焦点位置におけるステレオ方式距離画像とＤＦＤ方式距離画像を、距離画像合成部２４３を用いて合成して、合成距離画像を生成し（ステップＳ５１３）、本処理を終了する。

距離画像の合成は、以下の式１９〜式２４を用いて行われる。

式１９〜式２４での記号の意味は以下の通りである。
（ｘ，ｙ）：画素位置
Ｚ_ＭＩＸ（ｘ，ｙ）：合成距離画像
Ｚ_{ＭＩＸ＿Ｌ}（ｘ，ｙ）、Ｚ_{ＭＩＸ＿Ｒ}（ｘ，ｙ）：左右の中間合成距離画像
Ｚ_{ＳＴＲ＿Ｃ}（ｘ，ｙ）：中央測距枠５０１のステレオ方式距離画像
Ｚ_{ＳＴＲ＿Ｌ}（ｘ，ｙ）：左測距枠５０２のステレオ方式距離画像
Ｚ_{ＳＴＲ＿Ｒ}（ｘ，ｙ）：右測距枠５０３のステレオ方式距離画像
Ｚ_ＤＦＤ（ｘ，ｙ）：ＤＦＤ方式距離画像
Ｋ＿Ｃ：中央測距枠５０１の合成係数
Ｋ＿Ｌ：左測距枠５０２の合成係数
Ｋ＿Ｒ：右測距枠５０３の合成係数
図１９は、Ｋ２＿Ｃ、Ｋ２＿Ｌ、Ｋ２＿Ｒを決定するグラフを示す図である。

図１９において、主要被写体６０２は中央測距枠５０１におけるコントラストＡＦでフォーカスが合った被写体である。非主要被写体６０５は左測距枠、非主要被写体６０８は右測距枠におけるコントラストＡＦでフォーカスが合った被写体である。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、主要被写体６０２の被写体距離を９ｍ、非主要被写体６０５の被写体距離を１５ｍ、非主要被写体６０８の被写体距離を１ｍとする。このとき、式１〜式３から、各被写体の被写界深度の範囲は範囲６０３，６０６，６０９となる。

図２０は、Ｋ１＿Ｃ、Ｋ１＿ＬＲを決定するグラフを示す図である。

非主要被写体の場合は主要被写体の場合に比べて、ステレオ方式優先となる被写界深度が主要被写体より深くなっている。

例えば、許容錯乱円径を０．０３３２８ｍｍ、絞り値を２．８、焦点距離を５０ｍｍとし、主要被写体６０２の被写体距離を９ｍとすると、式１〜式３から、主要被写体６０２の被写界深度は、６．８０ｍとなる。この場合、対応する合成係数Ｋ１＿Ｃは、図２０に示されるように１．０となる。

また、非主要被写体６０５の被写体距離を１５ｍ、非主要被写体６０８の被写体距離を１ｍとすると、式１〜式３から、各非主要被写体の被写界深度は、２４．４ｍ、０．０７５ｍとなる。この場合、非主要被写体６０５に対応する合成係数Ｋ１＿ＬＲは、１．０であり、非主要被写体６０８に対応する合成係数Ｋ１＿ＬＲは、０．０となる。このように、主要被写体とは異なる非主要被写体の被写界深度をさらに用いて合成係数が算出される。

また、第３の実施の形態では、非主要被写体に対応する他の第１距離画像として、左測距枠５０２のステレオ方式距離画像、及び右測距枠５０３のステレオ方式距離画像がさらに生成される。また、非主要被写体の被写界深度に応じて他の合成係数Ｋ＿Ｌ、Ｋ＿Ｒがさらに算出される。

そして、左測距枠５０２のステレオ方式距離画像、右測距枠５０３のステレオ方式距離画像とＤＦＤ方式距離画像を他の合成係数を用いて合成することで、左右の中間合成距離画像としてＺ_{ＭＩＸ＿Ｌ}（ｘ，ｙ）、Ｚ_{ＭＩＸ＿Ｒ}（ｘ，ｙ）が生成される。

この左右の中間合成距離画像と中央測距枠５０１のステレオ方式距離画像とを合成係数Ｋ＿Ｃを用いてさらに合成することで合成距離画像が生成される。

以上説明した第３の実施の形態によれば、結像光学系の絞り値や測定距離範囲の影響で、撮像する焦点位置の数が増大したり、距離精度が低下したりすることがない。

さらに、主要被写体の被写界深度から外れていて、かつ被写界深度が深くなる距離範囲において、ＤＦＤ方式ではなくステレオ方式を優先するため、撮像する焦点位置の数を大きく増大させることなく、そのような距離範囲の距離精度を向上させることができる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 画像処理装置
１０１ 結像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ 信号処理部
１０５ メモリ制御部
１０６ メモリ
１０７ システム制御部
１０８ ＡＦ評価値取得部
１０９ 表示部
１１０ 操作部
２０１ 基準画像
２０２ ステレオ方式参照画像
２０３ ホモグラフィ推定部
２０４，２０５ 逆画像処理部
２０６ ステレオ対応点探索部
２０７ ３Ｄ再投影部
２０８ 視差画像
２０９ ステレオ方式距離画像
２１０ ステレオ方式距離画像生成部
２２１，２２２ ＤＦＤ方式参照画像
２２３ ＤＦＤ方式距離画像
２２４ ＤＦＤ方式距離画像生成部
２４１ 合成距離画像
２４３ 距離画像合成部

Claims (16)

1. 光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出手段と、
   前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出手段と、
   前記第１の算出手段により算出された前記第１の距離情報と、前記第２の算出手段により算出された前記第２の距離情報とを用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成手段と、
   を備え、
   前記生成手段は、被写界深度が第１の被写界深度である場合に、前記第１の被写界深度より浅い第２の被写界深度である場合に比べて、前記第１の距離情報により大きい重みがつくように、前記合成距離情報を生成することを特徴とする画像処理装置。
2. 前記被写界深度を検出する検出手段を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記被写界深度に基づいて決まる重みを用いて、前記第１の距離情報および前記第２の距離情報が示す距離を対応する領域同士で加重平均することにより、前記合成距離情報の各領域の距離情報を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記被写界深度に対して前記第１の距離情報につける重みが単調増加となるように当該重みを設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記被写界深度が第１の閾値が示す被写界深度より深い場合、前記第１の距離情報のみを用いて前記合成距離情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記被写界深度が第２の閾値が示す被写界深度より浅い場合、前記第２の距離情報のみを用いて前記合成距離情報を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記撮像手段により撮像される画像の１つを基準画像とし、該基準画像を撮像したときの被写界深度に基づいて前記第１の距離情報につける重みを決めることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記第1の距離情報の各領域に対応する距離情報が前記被写界深度内に含まれる場合、当該距離情報が前記被写界深度内に含まれない場合に比べて大きい重みを当該距離情報につけることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、異なる複数の焦点位置又は異なる絞り値で撮像された画像における複数の被写界深度に基づいて、前記第１の距離情報の各領域に対応する距離情報が前記複数の被写界深度のうちのいずれかに含まれる場合、当該距離情報が前記複数の被写界深度のいずれにも含まれない場合に比べて大きい重みを当該距離情報につけることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記被写界深度は、被写体距離、前記光学結像手段と前記撮像手段で決定される焦点距離、絞り値、及び許容錯乱円径により定まることを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 前記撮像手段で撮像して得られる合焦度が異なる複数の画像は、前記光学結像手段の焦点位置及び絞り値の一方がそれぞれ異なる画像からなることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出手段と、
    前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出手段と、
    前記第１の算出手段により算出された前記第１の距離情報と、前記第２の算出手段により算出された前記第２の距離情報とのいずれか１つを選択的に用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成手段と、
    を備え、
    前記生成手段は、被写界深度が第１の被写界深度である場合に前記第１の距離情報を選択し、前記第１の被写界深度より浅い第２の被写界深度である場合に前記第２の距離情報を選択することを特徴とする画像処理装置。
13. 光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出ステップと、
    前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記第１の距離情報と、前記第２の算出ステップにより算出された前記第２の距離情報とを用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成ステップと、
    を備え、
    前記生成ステップでは、被写界深度が第１の被写界深度である場合に、前記第１の被写界深度より浅い第２の被写界深度である場合に比べて、前記第１の距離情報により大きい重みがつくように、前記合成距離情報を生成することを特徴とする画像処理装置の制御方法。
14. 光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出ステップと、
    前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記第１の距離情報と、前記第２の算出ステップにより算出された前記第２の距離情報とのいずれか１つを選択的に用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成ステップと、
    を備え、
    前記生成ステップでは、被写界深度が第１の被写界深度である場合に前記第１の距離情報を選択し、前記第１の被写界深度より浅い第２の被写界深度である場合に前記第２の距離情報を選択することを特徴とする画像処理装置の制御方法。
15. 画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記制御方法は、
    光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出ステップと、
    前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記第１の距離情報と、前記第２の算出ステップにより算出された前記第２の距離情報とを用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成ステップと、
    を備え、
    前記生成ステップでは、被写界深度が第１の被写界深度である場合に、前記第１の被写界深度より浅い第２の被写界深度である場合に比べて、前記第１の距離情報により大きい重みがつくように、前記合成距離情報を生成することを特徴とするプログラム。
16. 撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記制御方法は、
    光学結像手段により結像された被写体像を撮像手段により異なる視点で撮像した複数の画像から、該被写体像に示される被写体の第１の距離情報を算出する第１の算出ステップと、
    前記光学結像手段により結像された被写体像を前記撮像手段により撮像して得られる合焦度が異なる複数の画像から、前記被写体の第２の距離情報を算出する第２の算出ステップと、
    前記第１の算出ステップにより算出された前記第１の距離情報と、前記第２の算出ステップにより算出された前記第２の距離情報とのいずれか１つを選択的に用いて、前記被写体の各領域に対応する距離情報が２次元上に並んだ合成距離情報を生成する生成ステップと、
    を備え、
    前記生成ステップでは、被写界深度が第１の被写界深度である場合に前記第１の距離情報を選択し、前記第１の被写界深度より浅い第２の被写界深度である場合に前記第２の距離情報を選択することを特徴とするプログラム。

Images