JP5824364B2 - 距離推定装置、距離推定方法、集積回路、コンピュータプログラム - Google Patents

Description

本発明は、動画又は連続静止画の撮影時における、画像中の全ての被写体との距離を推定する装置及び方法に関するものである。

一般的に、センシングによる距離推定方式としては、主に、以下の２つに大別される。

一つは、アクティブセンシング型である。このアクティブセンシング型の方式としては、例えば、レーザや超音波を使ったタイムオブフライト法や、顕微鏡等でよく使われる共焦点法、複数の光源を用いる照度差ステレオ法などがある。

もう一つは、パッシブセンシング型である。このパッシブセンシング型での方式としては、ステレオ画像を撮影して、各撮影画像に写っている物***置の差から、距離を推定する方法と、同時に撮影する画像は１枚だが、レンズ焦点の違いを用いる焦点法とがある。

焦点法は、主に、カメラのオートフォーカス（以下「ＡＦ（Auto Focus）」という。）機能を実現するのに使われている技術である。焦点法での方法としては、コンパクトデジタルカメラのコントラストＡＦ（Auto Focus）などで用いられるＤＦＦ法（Depth From Focus）、一眼レフカメラのＡＦなどで用いられる瞳分割位相差検出法、それにＤＦＤ法（Depth From Defocus）がある。

ＤＦＦ法では、画像中の１点について、その１点でのコントラストを算出し、少しずつ、フォーカス変位をさせて、合焦状態に近いと判定されたときに、フォーカス変位を止め、距離を確定させる。

このＤＦＦ法では、合焦状態になるまで、逐次、フォーカス変位をさせる必要があるうえ、画像中の全画素で、この方法を実施することになる。このため、距離測定に、多大な時間を要する。すなわち、移動物体の計測には向かない。

また、ＡＦでの場合のように、特定の物体の距離を測定する場合には、上記のような方法で実現できるが、画像中における全ての画素について、距離推定を行おうとすると、必然的に、合焦位置の異なる画像を多数撮影しなければならない。つまり、それらの、多数撮影された画像の中から、各画素で合焦する画像を選択し、距離推定しなければならないという欠点がある。

瞳分割位相差検出法では、位相差検出センサの結像間隔を測定することで、直接、距離を推定することができ、距離推定に時間を要しないが、位相差検出センサを、画像中の全ての画素に割り当てられるよう並べることは不可能である。このため、予め、画像中の限られたポイントでしか、距離の推定ができない。また、この機能を実現するための機構サイズは、他の方式と比べて、どうしても大きくなってしまう。

ＤＦＤ法は、互いに異なる２つのフォーカス位置の２枚の画像を撮影し、それぞれの画像と、レンズのボケパラメータとから、合焦距離を直接求める方法である（例えば、非特許文献１及び２参照）。

ここで、ボケパラメータとは、輝度情報のボケを示す値であり、レンズのポイントスプレッドファンクション（ＰＳＦ：Point Spread Function）の分散と相関のある値である。

ここで、ＰＳＦとは、理想的な点像が、光学系を通過した場合の、光線の広がりを表す関数である。デフォーカス特性とも称する。

ＤＦＤ法では、上述の瞳分割位相差検出法と同じく、距離推定に時間を要しないうえ、撮影する枚数は、最小限の２枚でよいが、レンズのボケパラメータを事前に入手しておく必要がある。なお、実際のボケ画像には、レンズによるボケだけでなく、撮像素子の開口によるボケや、フィルム特性によるボケなどが存在する。このため、これらのボケも、予め取得して、考慮する必要がある。

ＤＦＤ法の問題点として、互いに異なる２つのフォーカス位置の２枚の画像を撮影したときに、その２枚の間で、像倍率の変化がないようにしなければならないことがある。一方で、通常の光学系では、このような設計にはなっていないことが多い。すなわち、像側テレセントリック光学系を採用する必要がある（例えば、非特許文献３参照）。

また、これ以外にも、比較的小さなボケでしか、距離推定精度が保てないとの問題がある。

この問題の要因の１つ目としては、画像処理により、マッチングを取り、距離を推定するため、パワーの小さい場合、すなわち、ボケの大きい場合の距離推定精度が、相対的にで難くなることがある。

２つ目としては、これは、理想的なレンズモデル、例えば、ガウシアンモデルやピルボックスモデルでは起こらない問題だが、実レンズ（組みレンズ）のボケモデルでは、ボケが大きくなるほど、ボケの変化が小さくなる傾向があることによるものである。つまり、このため、ボケの変化量の小さな、ボケの大きい領域では、距離推定精度が低下してしまうとの問題がある。

このような問題に対し、通常の光学系では、ボケの性質を決定する瞳（開口）形状が円形で、ボケの変化が小さいために、距離推定精度が低いという考えがある。そして、この考えに基づく方法として、構造化瞳マスクを用いて、ボケの変化の大きいモデルを用いて、距離推定する方法が提案されている（例えば、非特許文献４参照）。

構造化瞳マスクを採用することで、円形開口の場合よりも、奥行き方向に対して、ボケの変化の区別が、より、つき易く、距離推定精度が向上する。

また、距離推定と同時に、Ａｌｌ−ｉｎ−ｆｏｃｕｓ画像（以下、「全焦点画像」という。）も生成することができる。

そして、この考え方を、さらに発展させたものとして、瞳形状をさらに工夫することで、画像の部分領域ごとに、より高精度な距離測定を行うＣｏｄｅｄ Ａｐｅｒｔｕｒｅ方式も提案されている（例えば、非特許文献５参照）。

これらの、瞳形状を工夫する手法の問題点としては、距離推定精度は向上するが、光量が減り、かつ、全焦点画像の画質もやや低下するという問題がある。

この問題については、これらのアプローチが、瞳形状の工夫により、光学系全体としての周波数伝達特性において、ゼロ点を生成し、距離推定精度を向上させるという考え方を採用している点に着目される。すなわち、このため、被写体によらずに、ロバストな距離推定ができる反面、全焦点画像の復元にあたって、ゼロ点により失われた情報（周波数領域でゼロとなる成分）がある。このため、その情報は、後段の信号処理でも復元できないという、根源的な問題を内包している。上述の問題が生じるのは、このことがあるからである。

この問題を解決するためのアプローチとして、次の手法がある。その手法とは、２枚の、互いに異なる絞り形状で撮影した２つの画像を、ペアとして用いることで、距離推定精度の向上と、全焦点画像の復元性能劣化防止を両立する手法である。この手法による、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ方式も提案されている（例えば、非特許文献６参照）。これは、２枚の、互いに異なる絞り形状で、被写体を撮影することで、お互いのゼロ点を補い合う効果を期待したものである。

一方、いかなる光学系、いかなる距離においても、必ず、お互いに、ゼロ点を補い合える、瞳形状の組み合わせを設定するのは困難である。

また、特定の光学系という前提を置いても、やはり、いかなる距離においても、必ずお互いに、ゼロ点を補い合える瞳形状を設計することは困難である。

すなわち、通常の光学系よりも、復元後の全焦点画像が劣化することは避けられない。

一方、全焦点画像を最初に取得し、取得された全焦点画像と、その後の通常撮影による画像とを組み合わせて、焦点の違いから、物体との距離を推定するアプローチもある（例えば、非特許文献７及び特許文献１参照）。

Ｆｏｃａｌ Ｓｔａｃｋと呼ばれる方式が古くから存在するが、これは、合焦位置の互いに異なる複数枚の画像を撮影し、それぞれ、合焦していると思われる領域を、それぞれの画像から抽出・合成し、ＥＤＯＦ（Extended Depth of Field (Focus)）画像（被写界深度拡張画像）すなわち全焦点画像を得る方式である。

このようにして取得した全焦点画像と、さらにもう１枚、任意の距離、例えば、最も手前（近端）の距離に焦点を合わせたときの、実際の画像を用いて、距離を推定する。

近端に焦点を合わせたときの、各被写体距離におけるボケパラメータを、予め、測定等により取得しておく。全焦点画像に対して、各被写体距離別のボケを、前述のボケパラメータを用いてシミュレーションした複数画像の各々と、前述の近端実画像とを、画像の領域ごとに比較し、最も類似した画像により示される距離を、その被写体の距離として判定する。

このような方式を実現するのに必要な構成を、図８を用いて説明する。

図８は、全焦点画像と、特定の距離に焦点を合わせたときの、実際の画像とを用いて、距離を推定する距離推定装置９の構成を示したブロック図である。

距離推定装置９は、全焦点画像生成部９１、特定深度合焦画像取得部９１０１、ボケパラメータ群取得部９１０２、ボケ画像群生成部９１０３、類似ボケ判定部９１０４、及び距離マップ生成部９１０５を備える。

全焦点画像生成部９１は、全焦点画像（図８の画像９１ａ）を生成する。

なお、全焦点画像生成部９１の具体的な構成としては、被写界深度拡張（以下、「ＥＤＯＦ」という。）技術により、全焦点画像を得る方法での構成が知られている。全焦点画像生成部９１では、例えば、この構成が採用されてもよい。

なお、一般的には、主に、以下の５つの方式がある。

１つ目は、Ｆｏｃａｌ Ｓｔａｃｋと呼ばれる方式で、合焦位置の互いに異なる複数枚の画像を撮影し、それぞれ、合焦していると思われる領域を、それぞれの画像から抽出・合成する方式である。このことで、ＥＤＯＦ画像（被写界深度拡張画像）、すなわち、全焦点画像を得る。

２つ目は、位相板と呼ばれる光学素子を挿入することで、深度方向のボケを均一化し、予め、測定、又は、シミュレーションにより得られたボケパターンによって、画像復元処理を行い、ＥＤＯＦ画像、すなわち、全焦点画像を得る方式である。これは、Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇと称されている（例えば、非特許文献８参照）。

３つ目は、露光時間中に、フォーカスレンズ、又は、撮像素子を動かすことで、深度方向に、一律に合焦した画像を畳み込み（つまり各深度でボケを均一化することと同義）、予め、測定又はシミュレーションにより得られたボケパターンによって、画像復元処理を行い、ＥＤＯＦ画像、すなわち、全焦点画像を得る方式である。これは、Ｆｌｅｘｉｂｌｅ ＤＯＦと称されている（例えば、非特許文献９参照）。

４つ目は、Ｆｏｃａｌ Ｓｔａｃｋに近いアプローチだが、複数枚の画像を撮像するのではなく、レンズの軸上色収差を利用して、１枚の色画像から、深度推定、又は、画像のシャープネス検知を行い、画像処理により、全体が鮮鋭な画像を、全焦点画像として得る方式（例えば、非特許文献１０参照）である。

５つ目は、多重焦点レンズを使って、深度方向のボケを均一化し、予め、測定、又は、シミュレーションにより得られたボケパターンによって、画像復元処理を行い、全焦点画像を得る方式（例えば、非特許文献１１参照）である。

上記に挙げた５つの方式のうち、どの方式でも、全焦点画像生成部９１を実現可能である。

特定深度合焦画像取得部９１０１は、全焦点画像生成部９１にて、全焦点画像を生成する際に使用した画像群の中から、任意の１枚を選択するか、あるいは、別途、新たな画像を撮影する。特定深度合焦画像取得部９１０１は、このことで、特定深度、すなわち、距離に合焦した画像（画像９１０１ａ）を取得する。

なお、このように、特定深度合焦画像取得部９１０１は、設定した特定深度に、カメラを合焦させ、その合焦深度に合焦された画像を取得する。

ボケパラメータ群取得部９１０２は、記録されたボケパラメータを読み出す。すなわち、特定深度合焦画像取得部９１０１にて設定した特定深度に、カメラを合焦させたとき、任意の深度（距離）別に、どのようなボケが発生するかを示すボケパラメータ（データ９１０２ａ）を、予め、数値的に記録しておく。この記録は、例えば、ボケパラメータ群取得部９１０２により行われる。そして、ボケパラメータ群取得部９１０２は、こうして記録されたボケパラメータを読み出す。又は、レンズのボケ方を定式化できる場合には、その式を用いて、ボケパラメータ（データ９１０２ａ）を算出する。

ボケ画像群生成部９１０３は、全焦点画像生成部９１から、全焦点画像を受け取る。また、ボケパラメータ群取得部９１０２から、任意の深度別ボケパラメータを受け取る。そして、全焦点画像に対して、任意の深度別に、ボケパラメータを畳み込む。このようにして得られた、任意の深度別ボケ画像群は、全ての被写体が、その深度に存在することを仮定したときのシミュレーション画像群であるとの意味を有する。

類似ボケ判定部９１０４は、ボケ画像群生成部９１０３にて得られた、任意の深度別ボケ画像群の各々の画像（それぞれの深度（距離）での画像９１０３ａ）と、特定深度合焦画像取得部９１０１にて得られた、特定深度に合焦した実撮影画像（画像９１０１ａ）とを、それら２つの画像に含まれる領域単位で比較し、ボケの類似性を判定する。その結果、画像に含まれる領域単位で、どの深度（距離）の画像（画像９１０３ａ）と、実撮影画像（画像９１０１ａ）との間での類似が生じているかが判定される。具体的には、以下の（式１）を用いて、評価関数を計算する。

なお、ここで、深度（距離）をｄ、全焦点画像の輝度値をＡ、特定深度に合焦した実撮影画像の輝度値をＦ１、任意の深度別ボケパラメータをＫ（ｄ）、評価関数をＦｃ（ｄ）とする。また、式中の“＊”は、畳み込み演算を表しているものとする。ここで、これらの変数のうち、ＡとＦ１とは、画像の縦×横×色の３次元行列である。Ｆｃ（ｄ）は、画像の縦×横の２次元行列であり、また、ボケパラメータＫ（ｄ）は、ボケの変化が十分に記述できる大きさの、縦×横の正方サイズと、色の３つの次元を有する３次元行列である。類似ボケ判定部９１０４は、このように算出した各画素単位の評価関数Ｆｃ（ｄ）に対して、最も評価関数が小さくなるようなｄを、画像に含まれる領域単位で算出する。

距離マップ生成部９１０５は、このようにして求めた、画像に含まれる領域単位でのｄを、画像上にマッピングし、このマッピングで得られたマップを、距離マップとして出力する。

米国特許出願公開第２００７／００１９８８３号明細書

A.P.Pentland, "A New Sense for Depth of Field", IEEE Trans. PAMI, vol.9, no.4, pp.523-531 (1987) M.Subbarao and G.Surya, "Depth from Defocus: A spatial domain approach", International Journal of Computer Vision, vol.13, no.3, pp.271-294 (1994) M.Watanabe and S.K.Nayar, "Minimal operator set for passive depth from defocus", Proc. Of IEEE Conf. Computer Vision and Pattern Recognition, pp.431-438 (1996) 日浦慎作, 松山隆司, "構造化瞳をもつ多重フォーカス距離画像センサ", 電子情報通信学会論文誌, D-II vol.J82-D-II, no.11, pp.1912-1920 (1999) A.Levin, R.Fergus, F.Durand and W.T.Freeman, "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70-1 - 70-9 (2007) C.Zhou, S.Lin and S.Nayar, "Coded Aperture Pairs for Depth from Defocus", IEEE International Conference on Computer Vision (ICCV) Sensing II (2009) E.Wong, "A New Method for Creating a Depth Map for Camera Auto Focus Using an All in Focus Picture and 2D Scale Space Matching", Acoustics, Speech and Signal Processing, ICASSP 2006 Proceedings, IEEE International Conference on Vol.3, III, pp.1184-1187 (2006) E.R.Dowski and W.T.Cathey, "Extended depth of field through wave-front coding", Applied Optics, Vol.34, No.11, P.1859-1866 (1995) H.Nagahara, S.Kuthirummal, C.Zhou and S.Nayar, "Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct.16th, Morning Session 2: Computational Photography (2008) C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colour channels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008) W.Chi and N.George, "Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003)

このように、距離画像を生成することで、全焦点画像の画質劣化なく、画像中のすべての被写体との距離を算出することができる。

しかしながら、このような、従来のアプローチの場合、円形開口を前提とする。このため、距離推定の精度は、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅや、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓよりも、一般的には劣る。また、比較的小さなボケでしか、距離推定精度が保てない問題は、そのまま残る。

前記で挙げた例では、近端付近に合焦しているとすると、その付近での距離推定精度は高いが、遠端付近での距離推定精度は低くなってしまう。実使用上では、この距離推定精度の偏りの問題の方が大きい。

本発明は、前記従来の課題を解決するもので、距離推定精度の偏りのない距離推定装置及び距離推定方法を提供することを目的とする。

上記の課題を解決するために、本発明のある局面に係る距離推定装置は、第１の深度に対して合焦している第１の深度合焦画像を取得する第１の深度合焦画像取得部と、前記第１の深度とは異なる第２の深度に対して合焦している第２の深度合焦画像を取得する第２の深度合焦画像取得部と、前記第１の深度合焦画像の合焦範囲ないし前記第２の深度合焦画像の合焦範囲よりも広い範囲において合焦している全焦点画像を生成する全焦点画像生成部と、前記全焦点画像の深度範囲内で複数の深度を設定し、前記第１の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第１の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第１の距離マップを生成する第１の生成部と、前記第２の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第２の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第２の距離マップを生成する第２の生成部と、生成された前記第１の距離マップと前記第２の距離マップとから、距離マップを合成する距離マップ合成部とを備える距離推定装置である。

なお、こうして、ボケ画像が選定される。選定されるボケ画像は、そのボケ画像での深度が、画像領域における深度と推定されるボケ画像である。すなわち、そのボケ画像の全体（または、その画像領域の部分）が、上述された、最も類似した画像であるボケ画像が選定される。これにより、そのボケ画像での深度が、その画像領域での深度と推定される、上述されたような適切なボケ画像が選定されて、適切な動作がされる。なお、このように、全焦点画像は、第１の深度合焦画像の第１の合焦範囲よりも広く、かつ、第２の深度合焦画像の第２合焦範囲よりも広くて、第１の合焦範囲を包含すると共に、第２の合焦範囲も包含する第３の合焦範囲の画像である。

これにより、第１の生成部において、第１の深度合焦画像と全焦点画像とから、第１の深度の第１の被写体の距離が特定される。また、第２の生成部において、第２の深度合焦画像と全焦点画像とから、第２の深度の第２の被写体の距離が特定される。そして、合成後の距離マップが生成される。すなわち、生成された、合成後の距離マップにより示される、第１の被写体の距離の精度は、第１の深度合焦画像と全焦点画像とから特定される、当該第１の被写体の距離の精度よりも高い。また、同様に、合成後の距離マップにより示される、第２の被写体の距離の精度は、第２の深度合焦画像と全焦点画像とから特定される、当該第２の被写体の距離の精度よりも高い。これにより、示される、何れの被写体の距離の精度も高くされて、特定される距離の精度の偏りがなくせる。すなわち、特定される、何れの被写体の距離の精度も高くされ、確実に、特定の精度が高くできる。

つまり、例えば、生成される前記全焦点画像は、少なくとも、前記第１の深度と、前記第２の深度との間のすべての深度において合焦している画像であり、前記第１の生成部は、前記第１の深度で合焦している状態において、少なくとも、前記第１の深度と、前記第２の深度との間のそれぞれの深度におけるボケ度合いを示すボケパラメータの組である第１のボケパラメータ群を取得する第１のボケパラメータ群取得部と、生成された前記全焦点画像に対して、取得された前記第１のボケパラメータ群に含まれる、各深度における前記ボケパラメータを畳み込み、各深度における前記ボケ画像が含まれてなる第１のボケ画像群を生成する第１のボケ画像群生成部と、取得された前記第１の深度合焦画像と、生成された前記第１のボケ画像群に含まれる、それぞれの深度における前記ボケ画像とを、画像領域ごとに比較し、前記画像領域ごとに、前記最も類似した画像である前記ボケ画像を判定する第１の類似ボケ判定部と、前記画像領域ごとに、判定された前記ボケ画像の深度を、当該画像領域における距離として示す前記第１の距離マップを生成する第１の距離マップ生成部とを含み、前記第２の生成部は、前記第２の深度で合焦している状態において、少なくとも、前記第１の深度と、前記第２の深度との間のそれぞれの深度におけるボケ度合いを示すボケパラメータの組である第２のボケパラメータ群を取得する第２のボケパラメータ群取得部と、生成された前記全焦点画像に対して、取得された前記第２のボケパラメータ群に含まれる、各深度における前記ボケパラメータを畳み込み、各深度における前記ボケ画像が含まれてなる第２のボケ画像群を生成する第２のボケ画像群生成部と、取得された前記第２の深度合焦画像と、生成された前記第２のボケ画像群に含まれる、それぞれの深度における前記ボケ画像とを、画像領域ごとに比較し、前記画像領域ごとに、前記最も類似した画像である前記ボケ画像を判定する第２の類似ボケ判定部と、前記画像領域ごとに、判定された前記ボケ画像の深度を、当該画像領域における距離として示す前記第２の距離マップを生成する第２の距離マップ生成部とを含んでもよい。

本構成によって、従来の、１枚のボケ画像のみによる距離推定時の精度と比べて、距離推定精度の偏りが小さくなる。すなわち、どの深度においても、距離推定精度を、一定水準以上に保つことが可能になる。

しかも、単に、第１の生成部に、第１のボケパラメータ群取得部等を含むなどだけの構成にされた、構成が比較的簡単にできる。

好ましくは、例えば、取得された前記第１の深度合焦画像の第１の画像特徴を抽出する第１の画像特徴抽出部と、取得された前記第２の深度合焦画像の第２の画像特徴を抽出する第２の画像特徴抽出部とを備え、前記距離マップ合成部は、前記第１の画像特徴と、前記第２の画像特徴とに基づき、合成後の前記距離マップを合成んでもよい。

本構成によって、さらに、画像特徴に基づいて、合焦の度合いが推定できる。このことから、画像領域ごとに、より小さなボケを有する方を判定でき、最終的に得られる距離マップとして、より、距離推定精度の高い距離マップを選択し、合成することが可能になる。

さらに好ましくは、例えば、前記距離マップ合成部は、抽出された前記第１の画像特徴に基づき定められる第１の重み係数を、生成された、更新前の前記第１の距離マップにおける値に乗ずることにより、更新前の前記第１の距離マップを、更新後の前記第１の距離マップへと更新する第１のマップ重み付け部と、抽出された前記第２の画像特徴に基づき定められる第２の重み係数を、生成された、更新前の前記第２の距離マップにおける値に乗ずることにより、更新前の前記第２の距離マップを、更新後の前記第２の距離マップへと更新する第２のマップ重み付け部と、更新後の前記第１の距離マップにおける値と、更新後の前記第２の距離マップにおける値とを加算することにより、前記距離マップを合成する距離マップ加算部とを含んでもよい。

本構成によって、さらに、画像特徴に基づいて、合焦の度合いが推定できることから、画像領域ごとに、より小さなボケを有する方を、相対的に判定することができる。これにより、距離推定精度の高い距離マップの方に、より大きな値での重み付けを行うことが可能になり、最終的に得られる距離マップも、距離推定精度が、より高まる。

なお、本発明は、このような特徴的な処理部を備える距離推定装置として実現することができるだけでなく、距離推定装置に含まれる特徴的な処理部が実行する処理をステップとする距離推定方法として実現することができる。また、距離推定方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明のように、距離マップ算出に際して、合焦位置の異なる複数枚の画像から距離マップを算出し合成することで、距離推定精度の偏りを防止することができる。

何れの領域（図２Ｂの画像２Ｉ等における、領域１ＲＦ、１ＲＮなどを参照）でも、高い精度の距離が特定される。これにより、領域により、特定される距離の精度が不均一になり、領域により、特定の精度が偏ってしまうことが回避され、特定の精度が均一にできる。

何れの領域についても、高い精度の距離が特定されて、確実に、特定される距離の精度が高くできる。

図１は、本発明の実施の形態１に係る距離推定装置のブロック構成図である。 図２Ａは、本発明の実施の形態１および２に係る全焦点画像の一例を示す図である。 図２Ｂは、本発明の実施の形態１および２に係る第１の特定深度合焦画像の一例を示す図である。 図２Ｃは、本発明の実施の形態１および２に係る第２の特定深度合焦画像の一例を示す図である。 図３Ａは、本発明の実施の形態１に係る第１の距離マップの一例を示す図である。 図３Ｂは、本発明の実施の形態１に係る第２の距離マップの一例を示す図である。 図３Ｃは、本発明の実施の形態１に係る距離マップ合成部において合成された距離マップの一例を示す図である。 図４は、本発明の実施の形態２に係る距離推定装置のブロック構成図である。 図５Ａは、本発明の実施の形態２に係る第１の特定深度合焦画像に対して、輝度分散にて輪郭の強さを抽出した一例を示す図である。 図５Ｂは、本発明の実施の形態２に係る第２の特定深度合焦画像に対して、輝度分散にて輪郭の強さを抽出した一例を示す図である。 図５Ｃは、本発明の実施の形態２に係る第１の特定深度合焦画像に対して、輝度勾配にて輪郭の強さを抽出した一例を示す図である。 図５Ｄは、本発明の実施の形態２に係る第２の特定深度合焦画像に対して、輝度勾配にて輪郭の強さを抽出した一例を示す図である。 図６は、本発明の実施の形態２に係る距離マップ合成部の詳細を示した距離推定装置のブロック構成図である。 図７は、本発明の実施の形態２に係る距離マップ合成部において合成された距離マップの一例を示す図である。 図８は、従来の距離推定装置のブロック構成図である。 図９は、本距離推定装置の処理の流れを示すフローチャートである。

以下、本発明の各実施の形態について、図面を参照しながら説明する。

実施形態の距離推定装置１ｘは、第１の深度（図２Ｂの画像２Ｉなどでの、３つのぬいぐるみのうちの、真ん中にある、領域１ＲＦのぬいぐるみでの深度）に対して合焦している第１の画像２Ｉ（図２Ｂ、図１）を取得する第１の特定深度合焦画像取得部２を備える（図９のステップＳ１）。第１の深度とは異なる第２の深度（右側にある、領域１ＲＮのぬいぐるみでの深度）に対して合焦している第２の画像３Ｉ（図２Ｃ、図１）を取得する第２の特定深度合焦画像取得部３を備える（Ｓ２）。また、第１の画像２Ｉの合焦範囲ないし第２の画像３Ｉの合焦範囲よりも広い範囲において合焦している全焦点画像（第１の画像２Ｉの合焦範囲を包含し、かつ、第２の画像３Ｉの合焦範囲も包含する合焦範囲の画像）である画像１Ｉ（図２Ａ、図１）を生成する全焦点画像生成部１を備える（Ｓ３）。また、生成された画像１Ｉの深度範囲内（例えば、画像１Ｉにおける、上述の合焦範囲）における複数の深度がある。そして、第１の深度（領域１ＲＦでの深度）に合焦しているときの、前記複数の深度における複数のボケ画像（複数の画像６Ｉ）を、画像１Ｉから生成し、第１の画像２Ｉに含まれるそれぞれの画像領域（例えば領域１ＲＦ）での画像に最も類似した画像であるボケ画像（画像６Ｉ）を、前記複数のボケ画像の中から選別（特定）し、選別した前記ボケ画像の深度（データ８Ｄを参照）を、当該画像領域（領域１ＲＦ）における距離として示す第１の距離マップ（データ１０Ｄ（図１、図３Ａなど）を参照）を生成する第１の生成部１０ｗを備える（Ｓ４）。第２の深度（領域１ＲＮ）に合焦しているときの、前記複数の深度における複数のボケ画像（複数の画像７Ｉ）を、画像１Ｉから生成し、第２の画像３Ｉに含まれるそれぞれの画像領域（例えば領域１ＲＮ）での画像に最も類似した画像であるボケ画像を、複数のボケ画像の中から選別し、選別したボケ画像の深度（データ９Ｄを参照）を、当該画像領域（領域１ＲＮ）における距離として示す第２の距離マップ（データ１１Ｄ（図１、図３Ｂなど）を参照）を生成する第２の生成部１１ｗを備える（Ｓ５）。生成された第１の距離マップと第２の距離マップとから、距離マップ（合成後の距離マップ１４Ｄ）を合成する距離マップ合成部１４（Ｓ６）を備える。なお、こうして、ボケ画像が選定される。選定されるボケ画像は、そのボケ画像での深度が、画像領域における深度と推定されるボケ画像である。すなわち、そのボケ画像の全体（または、その画像領域の部分）が、上述された、最も類似した画像であるボケ画像が選定される。これにより、そのボケ画像での深度が、その画像領域での深度と推定される、上述されたような適切なボケ画像が選定されて、適切な動作がされる。

つまり、生成された、合成後の距離マップにより、それぞれの画像領域での距離が示される。示される距離は、その距離の画像領域について、第１の距離マップにより示される距離の精度と、その画像領域について、第２の距離マップにより示される距離の精度とのうちの、より低い方の精度よりも高い精度である。

すなわち、例えば、第２の画像３Ｉ（図２Ｃ、図１）は、第１の画像２Ｉ（図２Ｂ、図１）において合焦されてない被写体（右側にある、領域１ＲＮのぬいぐるみ）に合焦された画像でもよい。

そして、第１の画像２Ｉと、全焦点画像である画像１Ｉとから特定される、その被写体（右側のぬいぐるみ）の距離である第１の距離（データ８Ｄにより特定される距離）の精度は、第２の精度よりも低い第１の精度でもよい。

そして、第２の画像３Ｉと、全焦点画像である画像１Ｉとから特定される、その被写体（右側のぬいぐるみ）の距離である第２の距離（データ９Ｄにより特定される距離）の精度は、上述された、比較的高い第２の精度でもよい。

そして、第１の生成部（１０ｗ）は、第１の距離（８Ｄ）を特定してもよい。

第２の生成部（１１ｗ）は、第２の距離（９Ｄ）を特定してもよい。

そして、合成後の距離マップ（１４Ｄ）により特定される、上記の被写体（真ん中のぬいぐるみ）の距離の精度は、比較的高い第１の精度以下ではあるものの、比較的低い第２の精度よりも高くてもよい。

これにより、第１の画像２Ｉで合焦された被写体（真ん中にある、領域１ＲＦのぬいぐるみ）の距離として、高い精度の距離が特定されるだけではなくなる。すなわち、第１の画像２Ｉで合焦されてない上述の被写体（右側のぬいぐるみ）についても、高い精度の距離が特定される。これにより、何れの被写体についても、高い精度の距離が特定され、確実に、特定される距離の精度が高くできる。

なお、換言すれば、何れの被写体の領域でも、高い精度の距離が特定されて、領域により、精度が不均一になり、特定される距離の精度が偏ってしまうことが回避され、精度が均一にできる。

ひいては、領域によって、距離の精度が不均一で、領域によって、精度が偏った距離マップが生成されてしまうことが回避され、精度が均一で、偏りのなり距離マップ（図１のデータ１４Ｄの距離マップ）が生成できる。

すなわち、何れの領域について特定される距離の精度も高くされ、より確実に、距離の特定の精度が高くできる。

本距離推定装置１ｘは、これらの構成、作用、効果の点で、先行例とは相違する。

（実施の形態１）
本発明の実施の形態１における距離推定装置及び距離推定方法について、図１、図２Ａ〜図２Ｃ、図３Ａ〜図３Ｃを参照しながら説明する。以下、距離推定装置と距離推定方法は、基本的な構成要素は同じものとして、装置として説明していく。

図１は、本実施の形態１における距離推定装置（距離推定装置１ｘ）を示したブロック構成図である。

距離推定装置は、全焦点画像生成部１、第１の特定深度合焦画像取得部２、第１のボケパラメータ群取得部４、第１のボケ画像群生成部６、第１の類似ボケ判定部８、第１の距離マップ生成部１０、第２の特定深度合焦画像取得部３、第２のボケパラメータ群取得部５、第２のボケ画像群生成部７、第２の類似ボケ判定部９、第２の距離マップ生成部１１、及び距離マップ合成部１４を備える。

全焦点画像生成部１は、少なくとも、第１の特定深度と、第２の特定深度との間の全ての深度において合焦している画像（画像１Ｉ）を生成する。

なお、全焦点画像生成部１の構成は、図８に示した全焦点画像生成部１の構成に準じた構成などである。すなわち、例えば、全焦点画像生成部１の構成は、Ｆｏｃａｌ Ｓｔａｃｋ、Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ、Ｆｌｅｘｉｂｌｅ ＤＯＦ、軸上色収差利用方式、多重焦点レンズ利用方式などの中から、どの方式を用いた構成でも良い。

第１の特定深度合焦画像取得部２は、第１の特定深度に対して合焦している画像である第１の特定深度合焦画像（画像２Ｉ）を取得する。

第２の特定深度合焦画像取得部３は、第２の特定深度に対して合焦している画像である第２の特定深度合焦画像（画像３Ｉ）を取得する。

これら、第１の特定深度合焦画像取得部２と、第２の特定深度合焦画像取得部３とのそれぞれの構成は、例えば、図８に示した特定深度合焦画像取得部９１０１の構成に準じた構成などである。

第１のボケパラメータ群取得部４は、第１の特定深度で合焦している状態において、少なくとも、第１の特定深度と、第２の特定深度との間の各特定深度におけるボケ度合いを示すボケパラメータ（データ４ｐ）の組である第１のボケパラメータ群を取得する。

第２のボケパラメータ群取得部５は、第２の特定深度で合焦している状態において、少なくとも、第１の特定深度と第２の特定深度の間の各特定深度におけるボケ度合いを示すボケパラメータ（データ５ｐ）の組である第２のボケパラメータ群を取得する。

第１のボケパラメータ群取得部４と、第２のボケパラメータ群取得部５との構成は、例えば、図８に示したボケパラメータ群取得部９１０２の構成に準じた構成などである。

第１のボケ画像群生成部６は、全焦点画像生成部１が生成した全焦点画像（画像１Ｉ）に対して、第１のボケパラメータ群取得部４が取得した第１ボケパラメータ群に含まれる、各特定深度におけるボケパラメータを畳み込み、各特定深度におけるボケ画像（画像６Ｉ）の組である第１のボケ画像群を生成する。

第２のボケ画像群生成部７は、全焦点画像生成部１が生成した全焦点画像（画像１Ｉ）に対して、第２のボケパラメータ群取得部５が取得した第２ボケパラメータ群に含まれる、各特定深度におけるボケパラメータを畳み込み、各特定深度におけるボケ画像（画像７Ｉ）の組である第２のボケ画像群を生成する。

第１のボケ画像群生成部６と、第２のボケ画像群生成部７とのそれぞれの構成は、例えば、図８に示したボケ画像群生成部９１０３の構成に準じた構成などである。

第１の類似ボケ判定部８は、第１の特定深度合焦画像取得部２が取得した第１の特定深度合焦画像（先述の画像２Ｉ）と、第１のボケ画像群生成部６が生成した第１のボケ画像群に含まれる、各特定深度におけるボケ画像（画像６Ｉ）とを、画像領域ごとに比較する。そして、画像領域ごとに、第１の特定深度合焦画像（先述の画像２Ｉ）に最も類似したボケ画像を判定する。

第２の類似ボケ判定部９は、第２の特定深度合焦画像取得部３が取得した第２の特定深度合焦画像（画像３Ｉ）と、第２のボケ画像群生成部７が生成した第２のボケ画像群に含まれる、各特定深度におけるボケ画像（画像７Ｉ）とを、画像領域ごとに比較し、画像領域ごとに、第２の特定深度合焦画像（画像３Ｉ）に最も類似したボケ画像を判定する。

なお、第１の類似ボケ判定部８と、第２の類似ボケ判定部９とのそれぞれの構成は、例えば、図８に示した類似ボケ判定部１０４の構成に準じた構成などである。

第１の距離マップ生成部１０は、画像領域ごとに、第１の類似ボケ判定部８が判定した、最も類似したボケ画像の特定深度（データ８Ｄを参照）を、当該画像領域における距離として示す第１の距離マップ（データ１０Ｄ）を生成する。

第２の距離マップ生成部１１は、画像領域ごとに、第２の類似ボケ判定部９が判定した、最も類似したボケ画像の特定深度（データ９Ｄを参照）を、当該画像領域における距離として示す第２の距離マップ（データ１１Ｄ）を生成する。

なお、第１の距離マップ生成部１０と、第２の距離マップ生成部１１とのそれぞれの構成は、図８に示した距離マップ生成部１０５の構成に準じた構成などである。

距離マップ合成部１４は、第１の距離マップ生成部１０から出力される距離マップ（データ１０Ｄ）と、第２の距離マップ生成部１１から出力される距離マップ（データ１１Ｄ）を合成し、最終的な距離マップ（データ１４Ｄ）を出力する。具体的には、２枚の距離マップの間での平均和を計算する。

図２Ａは、全焦点画像生成部１が生成する全焦点画像（画像１Ｉ）の一例を示す図である。

図２Ｂは、第１の特定深度合焦画像取得部２が取得する第１の特定深度合焦画像（画像２Ｉ）の一例を示す図である。

図２Ｃは、第２の特定深度合焦画像取得部３が取得する第２の特定深度合焦画像（画像３Ｉ）の一例を示す図である。

ここで、第１の特定深度合焦画像（図２Ｂの画像２Ｉ）での、合焦された深度（距離）である第１の深度（第１の距離）がある。この第１の深度（第１の距離）の方が、他方の第２の特定深度合焦画像（図２Ｃの画像３Ｉ）での、合焦された深度（距離）である第２の深度（第２の距離）に比べて、より遠方での深度（距離）であるものとする。

上述の図２Ａ〜図２Ｃに示した３つの画像（画像１Ｉ、２Ｉ、３Ｉ）に基づいて、距離マップを生成すると、図３Ａ〜図３Ｂに示す２つの距離マップ（データ１０Ｄの距離マップ、データ１１Ｄの距離マップ）が得られる。

図３Ａおよび図３Ｂは、それぞれ、第１の距離マップ（データ１０Ｄの距離マップ）および第２の距離マップ（データ１１Ｄの距離マップ）の一例を示す図である。

図３Ｃは、距離マップ合成部１４において、生成された、これら２つの距離マップから合成された距離マップ（データ１４Ｄの距離マップ）の一例を示す図である。

図３Ａに示す第１距離マップでは、３体のぬいぐるみのうち、遠方に位置する、左から２番目の熊のぬいぐるみ付近（領域１ＲＦ）の距離推定精度が、比較的高い。

これに対して、図３Ｂに示す第２距離マップでは、近傍に位置する、一番右の子犬のぬいぐるみ付近（領域１ＲＮ）の距離推定精度が、比較的高い。

すなわち、先述された通りであり、比較的小さなボケ（図２Ｂにおける、領域１ＲＦでのボケ、図２Ｃにおける、領域１ＲＮでのボケ）でしか、距離推定精度が保てない。このため、例えば、近端付近に合焦しているとすると（図２Ｃにおける領域１ＲＮを参照）、その付近での距離推定精度は高いが（図３Ｂの領域１ＲＮを参照）、遠端付近での距離推定精度は低くなってしまう（図３Ｂの領域１ＲＦを参照）。

図３Ｃに示す距離マップは、これら、図３Ａにおける第１距離マップ、および、図３Ｂにおける第２距離マップの間での平均和を示す。この図３Ｃの距離マップにおいては、上述された、図３Ａおよび図３Ｂの２つの距離マップのうちのそれぞれの距離マップでの欠点を、その距離マップとは別のもう１つの距離マップが補い、互いに欠点を補い合う形となる。これにより、平均和をとる前の距離マップ（図３Ａ、図３Ｂの距離マップ）での推定精度と比較して、図３Ｃの距離マップでの推定精度は、より高い推定精度であり、推定精度が、向上している。

本実施の形態１の構成とすることで、２つの距離マップ（図３Ａの距離マップ、図３Ｂの距離マップ）の間での平均化の効果による、距離推定エラーの低減が見込める。

また、図２Ｂおよび図２Ｃに示すように、第１の特定深度が遠端側（例えば領域１ＲＦでの深度）で、第２の特定深度が近端側（例えば領域１ＲＮでの深度）であったとする。

すると、図３Ａおよび図３Ｂに示すように、第１の距離マップ生成部１０で生成される距離マップ（図３Ａ）においては、遠端側（領域１ＲＦ）での距離精度が高く、近端側（領域１ＲＮ）の距離精度は低い。

また第２の距離マップ生成部１１で生成される距離マップ（図３Ｂ）においては、近端側（領域１ＲＮ）での距離精度が高く、遠端側（領域１ＲＦ）での距離精度は低い。これを平均化することで、それぞれの精度の低下を防止することができる。

（実施の形態２）
本発明の実施の形態２における距離推定装置及び距離推定方法について、図４、図５Ａ〜図５Ｄ、図６、図７を参照しながら説明する。以下、距離推定装置と距離推定方法は、基本的な構成要素は同じものとして、装置として説明していく。

図４は、本実施の形態２における距離推定装置（距離推定装置１ｙ）を示したものであり、この距離推定装置は、図１に示した実施の形態１における距離推定装置の構成に加えて、さらに、第１の画像特徴抽出部１２、及び、第２の画像特徴抽出部１３を備える。また、実施の形態２における距離推定装置は、距離マップ合成部１４（図１）の代わりに、距離マップ合成部１４Ｂ（図４）を備える。

各構成要素１〜１１については、実施の形態１に準じる。

第１の画像特徴抽出部１２は、第１の特定深度合焦画像取得部２で取得した第１の特定深度合焦画像（図１の画像２Ｉを参照）から、第１の画像特徴を抽出する。例えば、第１の画像特徴を示すデータ１２Ｄ（図４）が生成される。

また第２の画像特徴抽出部１３は、第２の特定深度合焦画像取得部３で取得した第２の特定深度合焦画像（図１の画像３Ｉを参照）から、第２の画像特徴を抽出する。例えば、第２の画像特徴を示すデータ１３Ｄが生成される。

ここで、画像特徴とは、任意のカットオフ周波数を持つハイパスフィルタのような、画像の高周波成分（輪郭の強さ）を抽出する処理により抽出される特徴量である。

なお、これらの特徴量を算出する演算として、具体的には、１次微分（輝度勾配＝Ｇｒａｄｉｅｎｔ）に分類されるものとして、単純差分、斜め差分のＲｏｂｅｒｔｓ Ｏｐｅｒａｔｏｒ、Ｓｏｂｅｌ Ｏｐｅｒａｔｏｒなどがある。また、２次微分に分類されるものとして、ラプラシアンフィルタなどがある。

また、輪郭を表す標準パターンを幾つか用意し、画像の一部分と比較して、最も似たものを選んでいくテンプレート・マッチング法も知られており、その一例として、Ｐｒｅｗｉｔｔの方法などがある。

なお、これ以外にも、所定の部分画像に対して、輝度値の分散値を算出する輝度分散法（＝Ｖａｒｉａｎｃｅ）などもある。ここでは、多くの方法のうちで、適切などの手法を用いても良い。

図５Ａおよび図５Ｂは、それぞれ、図２Ｂおよび図２Ｃに示した、第１の特定深度合焦画像、および、第２の特定深度合焦画像に対して、輝度分散にて、輪郭の強さをそれぞれ抽出した図である。

図５Ｃおよび図５Ｄは、それぞれ、図２Ｂおよび図２Ｃに示した、第１の特定深度合焦画像、および、第２の特定深度合焦画像に対して、輝度勾配にて、輪郭の強さをそれぞれ抽出した図である。

これら図５Ａ〜図５Ｄで示されるように、特定深度が、遠端側（領域１ＲＦを参照）であれば（図２Ｂ、図５Ａ、図５Ｃ）、合焦距離である遠端側付近の輪郭が、より強く検出される。すなわち、遠端の距離付近に存在する物体の、画像上の位置情報を（適切に）取得できる。そして、特定深度が、近端側（領域１ＲＮを参照）であれば（図２Ｃ、図５Ｂ、図５Ｄ）、合焦距離である近端側付近の輪郭が、より強く検出される。すなわち、近端の距離付近に存在する物体の、画像上の位置情報を（適切に）取得できる。

距離マップ合成部１４Ｂは、第１の画像特徴と、第２の画像特徴とに基づき、第１の距離マップと、第２の距離マップとから、距離マップを合成する。

図６は、距離マップ合成部１４Ｂの詳細を示した距離推定装置のブロック構成図である。

距離マップ合成部１４Ｂは、第１のマップ重み付け部１５と、第２のマップ重み付け部１６と、距離マップ加算部１７とを含む。

第１のマップ重み付け部１５は、第１の画像特徴抽出部１２が抽出した第１の画像特徴（データ１２Ｄ）に基づき定められる重み係数を、第１の距離マップ生成部１０が生成した第１の距離マップに乗ずることにより、第１の距離マップを更新する。例えば、第１の距離マップ生成部１０により生成された、更新前の第１の距離マップのデータ１０Ｄから、更新後の第１の距離マップのデータ１０Ｄｘが生成される。

第２のマップ重み付け部１６は、第２の画像特徴抽出部１３が抽出した第２の画像特徴（データ１３Ｄ）に基づき定められる重み係数を、第２の距離マップ生成部１１が生成した第２の距離マップに乗ずることにより、第２の距離マップを更新する。例えば、第２の距離マップ生成部１１により生成された、更新前の第２の距離マップのデータ１１Ｄから、更新後の第２の距離マップのデータ１１Ｄｘが生成される。

距離マップ加算部１７は、第１のマップ重み付け部１５が更新した後の第１の距離マップ（データ１０Ｄｘ）と、第２のマップ重み付け部１６が更新した後の第２の距離マップ（データ１３Ｄｘ）とを加算することにより、距離マップを合成する（データ１７Ｄを参照）。

実施の形態１の図３Ａ〜図３Ｃの説明で述べたように、例えば、第１の特定深度が遠端側で、第２の特定深度が近端側であったとする。

すると、第１の距離マップ生成部１０で生成される距離マップでは、遠端側の距離精度が高く、近端側の距離精度は低い。

また、第２の距離マップ生成部１１で生成される距離マップでは、近端側の距離精度が高く、遠端側の距離精度は低いという性質がある。

したがって、第１のマップ重み付け部１５、および、第２のマップ重み付け部１６は、前記のようにして得られた、遠端側および近端側のうちのそれぞれでの、輪郭抽出画像での、輪郭の強さの比に基づいて定められる重み係数を算出する。

つまり、第１の画像特徴の大きさをａとし、第２の画像特徴の大きさをｂとした場合に、第１のマップ重み付け部１５は、重み係数を、ａ／（ａ＋ｂ）と算出し、第２のマップ重み付け部１６は、重み係数を、ｂ／（ａ＋ｂ）と算出する。

第１のマップ重み付け部１５、および、第２のマップ重み付け部１６は、算出した重み係数を、第１の距離マップ、および、第２の距離マップに、それぞれ乗算することにより、第１の距離マップおよび第２の距離マップを更新する。

距離マップ加算部１７は、それぞれ更新された、第１の距離マップおよび第２の距離マップを加算することにより、最終的に、距離推定精度の比較的高い距離マップを合成することができる。

図７は、本実施の形態２の構成により得られた距離マップを示す図である。

図３Ｃに示した、実施の形態１の構成により得られた距離マップでの距離推定精度と比べて、図７では、より、近端側・遠端側の距離推定精度が向上していることがわかる。

なお、こうして、次の動作などが行われてもよい。

すなわち、画像（例えば、図２Ｂ、図１の画像２Ｉ）が取得されてもよい。

そして、取得された画像に写された被写体（例えば、図２Ｂの画像２Ｉ等での、３つのぬいぐるみのうちの真ん中のぬいぐるみ）の深度（図１のデータ８Ｄ）が特定されてもよい。

具体的には、何れの深度でも合焦した画像（全焦点画像）１Ｉ（図２Ａ、図１）から、複数の深度のうちのそれぞれの深度でのボケ度合いのボケが生じたボケ画像（図１の画像６Ｉ）が取得されてもよい。

それら複数のボケ画像のうちから、何れの深度でも合焦したのではない、上述の画像（画像２Ｉ）における、被写体（真ん中のぬいぐるみ）の画像（領域１ＲＦの画像）に最も類似する、その被写体（真ん中のぬいぐるみ）の画像が含まれるボケ画像での深度が、その被写体の深度と特定されてもよい。なお、こうして、ボケ画像の全体（または一部）が、上述された、最も類似する画像でもよい。そして、そのボケ画像の深度が、その被写体の深度と特定されてもよい。

しかしながら、被写体として、第１の被写体（例えば、真ん中のぬいぐるみ）と共に、第２の被写体（例えば、３つのぬいぐるみのうち、右のぬいぐるみ）もあってもよい。

つまり、第２の被写体の深度は、第１の被写体の第１の深度（比較的遠い距離の深度）とは異なる第２深度（比較的近い距離の深度）でもよい。

そして、上述のようにして、画像（画像２Ｉ）から特定される、第１の被写体（真ん中のぬいぐるみ）の深度の精度は、高い精度である一方で、第２の被写体（右側のぬいぐるみ）の深度の精度は、低い精度であることが考えられる。

そこで、上述された、何れの深度でも合焦したのではなく、ある深度のみで合焦された、通常の画像（画像２Ｉなど）として、第１の画像２Ｉ（図２Ｂ）が取得されるだけでなく（図１の第１の特定深度合焦画像取得部２などを参照）、第２の画像３Ｉ（図２Ｃ）も取得されてもよい（第２の特定深度合焦画像取得部３などを参照）。

つまり、取得される第１の画像２Ｉで合焦された深度（真ん中のぬいぐるみの深度）とは異なる深度（右のぬいぐるみの深度）に合焦された第２の画像３Ｉも取得されてもよい。

そして、第１の被写体（真ん中のぬいぐるみ）の深度が、第１の画像２Ｉ（及び画像１Ｉ）から特定される一方で、第２の被写体（右のぬいぐるみ）の深度が、第２の画像から特定されてもよい。

これにより、第２の被写体（右側のぬいぐるみ）の深度は、第１の画像２Ｉで合焦された深度でないにも関わらず、この第２の被写体の深度は、第２の画像３Ｉから特定される。これにより、この第２の被写体（右側のぬいぐるみ）の深度についても、高い精度の深度（図１のデータ９Ｄ）が特定される。これにより、何れの被写体でも、高い精度の距離が特定され、より確実に、特定される深度（距離）の精度が高くできる。

なお、換言すれば、何れの領域（領域１ＲＮ、１ＲＦ）でも、高い精度の距離が特定できる。

これにより、特定が行われる被写体（領域）により、精度が不均一になり、精度が偏ってしまうことが回避されて、被写体（領域）に関わらず、特定される深度の精度が均一にできる。

なお、上述のように、第１の被写体（真ん中のぬいぐるみ）の深度は、第１の画像２Ｉで合焦された深度（遠い距離の深度）と同じ深度（遠い距離の深度）である。

そして、第２の被写体（右のぬいぐるみ）の深度は、第２の画像３Ｉで合焦された深度（近い距離の深度）と同じ深度（近い深度）である。

そこで、深度が互いに異なる２つの被写体のうちから、第１の画像２Ｉで合焦された深度と同じ深度の一方の被写体（真ん中のぬいぐるみ）が、第１の被写体として特定されてもよい。

そして、それら２つの被写体のうちから、第２の画像３Ｉで合焦された深度と同じ深度の他方の被写体（右のぬいぐるみ）が、上述の第２の被写体として特定されてもよい。

そして、第１の被写体（真ん中のぬいぐるみ）の深度については、特定された第１の画像２Ｉから特定される深度と、他方の第２の画像３Ｉから特定される深度とのうちで、第１の画像２Ｉからの深度が、より優れた方（より精度が高い方）の深度と特定されてもよい。

すなわち、特定された第２の被写体（右のぬいぐるみ）の深度については、第２の画像３Ｉからの深度が、より優れた方の深度と特定されてもよい。

そして、重み係数（先述）として、比較的大きな値の重み係数を乗じる処理などの、より優れた方（精度が高い方）の深度にされるのが適切な処理が、特定された、より優れた方の深度に対して、行われてもよい。

これにより、例えば、先述された、重み係数を利用する処理がされて、特定される深度（データ１７Ｄ等を参照）の精度が、図３Ｃで示される精度よりも更に高い、図７で示される精度にされるなどして、特定される深度の精度が、より十分に、高くできる。

しかも、距離推定装置１ｘにより、より優れた方の深度が特定され、ユーザが、より優れた方の深度を指定する面倒な操作などをしなくても足りて、操作が簡単にできる。

なお、このような、より優れた方の深度の特定の処理がされなくてもよい。

すなわち、例えば、先述のように、第１の画像２Ｉから特定された深度と、第２の画像３Ｉから特定された深度との間での平均の深度が特定されてもよい（図１の距離マップ合成部１４などを参照）。

つまり、こうして、このような、平均の深度などの、これら第１、第２の画像２Ｉ、３Ｉからの２つの深度のうちで、より優れた方の深度ではない、優れない方の深度よりは優れ、（ある程度）優れた深度が特定されてもよい。

こうして特定された、（ある程度）優れた深度に対して、先述された、より優れた深度にされる方が適切な処理がされてもよい（先述された、実施の形態１などを参照）。

つまり、先述のように、合成部（距離マップ合成部１４）により、合成後の画像（データ１０Ｄ）が生成されてもよい。ここで、生成される、合成後の画像により、２以上の画像領域（領域１ＲＦ、１ＲＮ）のそれぞれでの画像領域での距離が示される。そして、示される何れの距離の精度も、第１の画像２Ｉから特定される、その画像領域の距離の精度と、第２の画像３Ｉから特定される、その画像領域の距離の精度とのうちの、低い方の精度よりも高い精度である。つまり、合成後の画像は、何れの領域での精度も高く、確実に、示される距離の精度が高い画像である。

なお、このように、２つの画像（第１、第２の画像２Ｉ、３Ｉ）のうちのそれぞれの画像（例えば第１の画像２Ｉ）について、その画像における、合焦がされた深度と同じ深度の被写体（ピントが合った被写体、第１の画像２Ｉでは真ん中のぬいぐるみ）が特定されてもよい。

この特定の処理は、例えば、単なる、従来例における処理が流用されただけの処理でもよい。

具体的には、先述のように、ピントが合った被写体の画像（例えば、図２Ｂの画像２Ｉでの、真ん中のぬいぐるみの画像）では、画質が、比較的鮮明な画質である。このため、その画像では、比較的多くの個数のエッジが表れたり、表れたエッジの勾配が、比較的急峻であったり、様々な輝度値の画素があって、輝度値の分散の値が、比較的大きな値であったりする。

すなわち、ピントが合った画像では、コントラストが、比較的高い。

そこで、先述のように、画像（画像２Ｉ）における、コントラストが比較的高い画像の被写体（真ん中のぬいぐるみ）が、その画像における、合焦がされた深度と同じ深度の被写体（ピントが合った被写体）として特定されてもよい。

そして、その画像（画像２Ｉ）から特定された、こうして特定された被写体（ピントが合った被写体）の深度が、先述された、より優れた方の深度として特定されてもよい。

なお、上述されたそれぞれの領域（領域１ＲＦ、１ＲＮ）は、例えば、２以上の画素が含まれてなる領域でもよいし、１つの画素のみが含まれてなる領域などでもよい。

なお、具体的には、第１の生成部１０ｗと、第２の生成部１１ｗとの両方を含んでなる１つの生成部が設けられてもよい。

つまり、この１つの生成部により、第１の画像２Ｉの処理と、第２の画像３Ｉの処理とのうちの何れの処理も行われてもよい。

なお、同様に、第１の特定深度合焦画像取得部２と、第２の特定深度合焦画像取得部３との両方を含んでなる１つの特定深度合焦画像取得部が設けられてもよいし、第１のボケ画像群生成部６と、第２のボケ画像群生成部７との両方を含んでなる１つのボケ画像群生成部が設けられるなどしてもよい。

以上、本発明の実施の形態に係る距離推定装置について説明したが、本発明は、これらの実施の形態に限定されるものではない。

例えば、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明にかかる距離推定装置及び距離推定方法は、複数の合焦位置で撮像された画像を用いて複数の距離マップを用いて距離推定することで、従来の課題であった距離推定精度の偏りを防止することができる。

これらの構成は、例えば民生用又は業務用撮像装置（デジタルスチルカメラ）などの分野において有用である。

特定される距離の精度の偏りがなくせる。

１ 全焦点画像生成部
１ｘ 距離推定装置
２ 第１の特定深度合焦画像取得部
３ 第２の特定深度合焦画像取得部
４ 第１のボケパラメータ群取得部
５ 第２のボケパラメータ群取得部
６ 第１のボケ画像群生成部
７ 第２のボケ画像群生成部
８ 第１の類似ボケ判定部
９ 第２の類似ボケ判定部
１０ 第１の距離マップ生成部
１０ｗ 第１の生成部
１１ 第２の距離マップ生成部
１１ｗ 第２の生成部
１２ 第１の画像特徴抽出部
１３ 第２の画像特徴抽出部
１４ 距離マップ合成部
１５ 第１のマップ重み付け部
１６ 第２のマップ重み付け部
１７ 距離マップ加算部
９１ 全焦点画像生成部
９１０１ 特定深度合焦画像取得部
９１０２ ボケパラメータ群取得部
９１０３ ボケ画像群生成部
９１０４ 類似ボケ判定部
９１０５ 距離マップ生成部

Claims (11)

1. 第１の深度に対して合焦している第１の深度合焦画像を取得する第１の深度合焦画像取得部と、
   前記第１の深度とは異なる第２の深度に対して合焦している第２の深度合焦画像を取得する第２の深度合焦画像取得部と、
   前記第１の深度合焦画像の合焦範囲ないし前記第２の深度合焦画像の合焦範囲よりも広い範囲において合焦している全焦点画像を生成する全焦点画像生成部と、
   前記全焦点画像の深度範囲内で複数の深度を設定し、前記第１の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第１の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第１の距離マップを生成する第１の生成部と、
   前記第２の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第２の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第２の距離マップを生成する第２の生成部と、
   生成された前記第１の距離マップと前記第２の距離マップとから、距離マップを合成する距離マップ合成部と
   を備える距離推定装置。
2. 生成される前記全焦点画像は、少なくとも、前記第１の深度と、前記第２の深度との間のすべての深度において合焦している画像であり、
   前記第１の生成部は、
   前記第１の深度で合焦している状態において、少なくとも、前記第１の深度と、前記第２の深度との間のそれぞれの深度におけるボケ度合いを示すボケパラメータの組である第１のボケパラメータ群を取得する第１のボケパラメータ群取得部と、
   生成された前記全焦点画像に対して、取得された前記第１のボケパラメータ群に含まれる、各深度における前記ボケパラメータを畳み込み、各深度における前記ボケ画像が含まれてなる第１のボケ画像群を生成する第１のボケ画像群生成部と、
   取得された前記第１の深度合焦画像と、生成された前記第１のボケ画像群に含まれる、それぞれの深度における前記ボケ画像とを、画像領域ごとに比較し、前記画像領域ごとに、前記最も類似した画像である前記ボケ画像を判定する第１の類似ボケ判定部と、
   前記画像領域ごとに、判定された前記ボケ画像の深度を、当該画像領域における距離として示す前記第１の距離マップを生成する第１の距離マップ生成部とを含み、
   前記第２の生成部は、
   前記第２の深度で合焦している状態において、少なくとも、前記第１の深度と、前記第２の深度との間のそれぞれの深度におけるボケ度合いを示すボケパラメータの組である第２のボケパラメータ群を取得する第２のボケパラメータ群取得部と、
   生成された前記全焦点画像に対して、取得された前記第２のボケパラメータ群に含まれる、各深度における前記ボケパラメータを畳み込み、各深度における前記ボケ画像が含まれてなる第２のボケ画像群を生成する第２のボケ画像群生成部と、
   取得された前記第２の深度合焦画像と、生成された前記第２のボケ画像群に含まれる、それぞれの深度における前記ボケ画像とを、画像領域ごとに比較し、前記画像領域ごとに、前記最も類似した画像である前記ボケ画像を判定する第２の類似ボケ判定部と、
   前記画像領域ごとに、判定された前記ボケ画像の深度を、当該画像領域における距離として示す前記第２の距離マップを生成する第２の距離マップ生成部とを含む
   請求項１記載の距離推定装置。
3. さらに、
   取得された前記第１の深度合焦画像の第１の画像特徴を抽出する第１の画像特徴抽出部と、
   取得された前記第２の深度合焦画像の第２の画像特徴を抽出する第２の画像特徴抽出部とを備え、
   前記距離マップ合成部は、
   前記第１の画像特徴と、前記第２の画像特徴とに基づき、合成後の前記距離マップを合成する
   請求項１記載の距離推定装置。
4. 前記距離マップ合成部は、
   抽出された前記第１の画像特徴に基づき定められる第１の重み係数を、生成された、更新前の前記第１の距離マップにおける値に乗ずることにより、更新前の前記第１の距離マップを、更新後の前記第１の距離マップへと更新する第１のマップ重み付け部と、
   抽出された前記第２の画像特徴に基づき定められる第２の重み係数を、生成された、更新前の前記第２の距離マップにおける値に乗ずることにより、更新前の前記第２の距離マップを、更新後の前記第２の距離マップへと更新する第２のマップ重み付け部と、
   更新後の前記第１の距離マップにおける値と、更新後の前記第２の距離マップにおける値とを加算することにより、合成後の前記距離マップを合成する距離マップ加算部とを含む
   請求項３記載の距離推定装置。
5. それぞれの前記画像特徴は、前記第１の深度合焦画像と、前記第２の深度合焦画像とのうちで、その画像特徴がある方である、一方の合焦画像におけるコントラストである請求項３記載の距離推定装置。
6. それぞれの前記画像特徴は、前記第１の深度合焦画像と、前記第２の深度合焦画像とのうちで、その画像特徴がある方である、一方の合焦画像における、輝度値の分散の値である請求項３記載の距離推定装置。
7. 前記距離マップ合成部は、
   前記コントラストが、比較的高い第１のコントラストである場合には、当該コントラストである前記画像特徴がある前記一方の合焦画像から特定された前記距離の値に対して比較的大きな第１の値を乗じ、比較的低い第２のコントラストである場合には、比較的小さい第２の値を乗じることで、重み付けを行い、距離マップを合成する、
   請求項５記載の距離推定装置。
8. 前記第２の深度合焦画像は、前記第１の深度合焦画像において合焦されてない被写体に合焦された画像であり、
   前記第１の深度合焦画像と、前記全焦点画像とから特定される、前記被写体の第１の前記距離の精度は、比較的低い精度であり、
   前記第２の深度合焦画像と、前記全焦点画像とから特定される、前記被写体の第２の前記距離の精度は、比較的高い精度であり、
   前記第１の生成部は、第１の前記距離を特定し、
   前記第２の生成部は、第２の前記距離を特定し、
   合成後の前記距離マップにより特定される、前記被写体の距離の精度は、前記比較的高い精度以下で、かつ、前記比較的低い精度よりも高い請求項１記載の距離推定装置。
9. 第１の深度に対して合焦している第１の深度合焦画像を取得する第１の深度合焦画像取得ステップと、
   前記第１の深度とは異なる第２の深度に対して合焦している第２の深度合焦画像を取得する第２の深度合焦画像取得ステップと、
   前記第１の深度合焦画像の合焦範囲ないし前記第２の深度合焦画像の合焦範囲よりも広い範囲において合焦している全焦点画像を生成する全焦点画像生成ステップと、
   前記全焦点画像の深度範囲内で複数の深度を設定し、前記第１の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第１の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第１の距離マップを生成する第１の生成ステップと、
   前記第２の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第２の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第２の距離マップを生成する第２の生成ステップと、
   生成された前記第１の距離マップと前記第２の距離マップとから、距離マップを合成する距離マップ合成ステップと
   を含む距離推定方法。
10. 第１の深度に対して合焦している第１の深度合焦画像を取得する第１の深度合焦画像取得部と、
    前記第１の深度とは異なる第２の深度に対して合焦している第２の深度合焦画像を取得する第２の深度合焦画像取得部と、
    前記第１の深度合焦画像の合焦範囲ないし前記第２の深度合焦画像の合焦範囲よりも広い範囲において合焦している全焦点画像を生成する全焦点画像生成部と、
    前記全焦点画像の深度範囲内で複数の深度を設定し、前記第１の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第１の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第１の距離マップを生成する第１の生成部と、
    前記第２の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第２の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第２の距離マップを生成する第２の生成部と、
    生成された前記第１の距離マップと前記第２の距離マップとから、距離マップを合成する距離マップ合成部と
    を備える集積回路。
11. 第１の深度に対して合焦している第１の深度合焦画像を取得する第１の深度合焦画像取得ステップと、
    前記第１の深度とは異なる第２の深度に対して合焦している第２の深度合焦画像を取得する第２の深度合焦画像取得ステップと、
    前記第１の深度合焦画像の合焦範囲ないし前記第２の深度合焦画像の合焦範囲よりも広い範囲において合焦している全焦点画像を生成する全焦点画像生成ステップと、
    前記全焦点画像の深度範囲内で複数の深度を設定し、前記第１の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第１の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第１の距離マップを生成する第１の生成ステップと、
    前記第２の深度に合焦しているときの、前記複数の深度における複数のボケ画像を、前記全焦点画像から生成し、前記第２の深度合焦画像に含まれるそれぞれの画像領域での画像に最も類似した画像である前記ボケ画像を、前記複数の深度における前記複数のボケ画像の中から選別し、選別した前記ボケ画像の深度を、当該画像領域における距離として示す第２の距離マップを生成する第２の生成ステップと、
    生成された前記第１の距離マップと前記第２の距離マップとから、距離マップを合成する距離マップ合成ステップと
    をコンピュータに実行させるためのコンピュータプログラム。

Images