JP2011007599A

JP2011007599A - 被写体距離推定装置

Info

Publication number: JP2011007599A
Application number: JP2009150666A
Authority: JP
Inventors: Takashi Maekawa; 貴志前川
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2009-06-25
Filing date: 2009-06-25
Publication date: 2011-01-13

Abstract

【課題】像倍率を変えずに合焦位置の異なる画像を得ることができ、光路長を長く取る必要がなく、演算量を低減でき、搭載機器の低背化、小型化を図ることが可能な被写体距離推定装置を提供する。
【解決手段】撮像レンズ１１１，１２１と、撮像レンズを通過した被写体像を撮像する撮像素子１１２，１２３と、撮像レンズ１２１と撮像素子１２３の光路中に挿入される高屈折率材料体１２２と、撮像素子１１２，１２３から得られた画像データを処理・解析する距離推定部１３と、を有し、距離推定部１３は、高屈折率材料体１２２の挿入によって、撮像素子に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、その複数の撮像画像の焦点のボケ状態を比較することにより、被写体距離が予め定められた所定値以下であるか否かを判定する。
【選択図】図１

Description

本発明は、撮像画像を用いた被写体距離推定装置に関するものである。

従来、対象物までの距離を計測し、距離に応じた警告を行うシステムがいくつか提案されている。
そのうち、カメラ画像のみを用いて被写体までの距離を推定するパッシブ方式の測距技術として、いくつかの手法が知られている（たとえば特許文献１参照）。

その一つに、ステレオ法が挙げられる。
これは対象となる被写体を複数のカメラで撮像し、カメラ間距離（基線長）と画像上での差異（視差）を用い、三角測距の原理で距離を推定するものである。
この手法を用いたシステムとしては、たとえば車の前方監視用ステレオカメラが知られており、前方障害物等の検出に利用されている。

また、その他の手法の一つにＤＦＤ（Depth from Defocus）法が挙げられる。
これは画像のボケ量と被写体距離との相関から距離を推定するものであるが、ステレオ法のような基線長を必要とせず、システムの小型化に有利である。
この手法を用いたシステムとしては、たとえば顕微鏡を使った３次元画像生成などに応用されている。

ＤＦＤ法においては、単一の画像から距離を推定することは困難なため、ボケ量の異なる複数枚の画像を用いる方法が一般的である。
ボケ量の異なる複数枚の画像を得るために、特許文献１ではプリズムを使用した３ＣＣＤ構成としている。
また、特許文献２においても、同様にハーフミラーを使用した２ＣＣＤ構成としている。

特許第２９６３９９０号特許第３３５６２２９号

しかしながら、ＤＦＤにおいて上述のようにプリズムやハーフミラーを使用した構成では、光路長が長くなり、また、特に低背化が困難であり、搭載場所が限られる小型カメラ、特に携帯電話用カメラや車載用カメラなどには不向きである。
また、焦点距離の短い広角カメラにおいてはプリズムやハーフミラーの配置そのものが困難となる。
さらには、プリズムやハーフミラーで分光すると撮像系の感度低下につながるので、特に夜間など暗い状況下でノイズが発生しやすくなる問題がある。
また、通常のＤＦＤ法においては距離推定にかかる演算量が膨大になり、システムの小型化や低コスト化に問題がある。

先行技術（たとえば特許文献１）では、光学系を介して収束する光線をプリズム等によって複数に分離して、分離した光線から互いに相違する合焦位置の画像を撮像素子によってそれぞれ取り込み、得られた画像に含まれるボケを比較・解析し、その量から合焦位置を求め、被写体の距離を演算する手法が提案されている。
しかしながら、より広い距離範囲の被写体距離を計測するには撮像素子の位置を大きく異ならせる必要があり、光学系の光路長は長くなってしまう。

本発明は、像倍率を変えずに合焦位置の異なる画像を得ることができ、光路長を長く取る必要がなく、演算量を低減でき、搭載機器の低背化、小型化を図ることが可能な被写体距離推定装置を提供することにある。

本発明の第１の観点の被写体距離推定装置は、撮像レンズと、前記撮像レンズを通過した被写体像を撮像する撮像素子と、前記撮像レンズと前記撮像素子の光路中に挿入される高屈折率材料体と、前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、前記距離推定部は、前記高屈折率材料体の挿入によって、前記撮像素子に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、当該複数の撮像画像の焦点のボケ状態を比較することにより、被写体距離が予め定められた所定値以下であるか否かを判定する。

好適には、前記撮像レンズと前記撮像素子は、前記被写体距離が前記予め定められた所定値の場合に前記複数の撮像画像の焦点のボケ状態が等しくなるように配置され、前記距離推定部は、前記複数の撮像画像のボケの大小により前記被写体距離が前記所定値以下か否かを推定する。

好適には、前記距離推定部は、前記複数の撮像画像をそれぞれ周波数解析することにより前記焦点のボケ状態の比較を行う。

好適には、前記撮像レンズはテレセントリック性を有する。

好適には、前記光学系と撮像素子は、光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組よりなり、前記高屈折率材料体の有無およびもしくは前記高屈折率材料体の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある。

好適には、前記高屈折率材料体は、前記光路中に挿入退出可能である。

好適には、前記距離推定部が、前記被写体距離が予め定められた所定値以下と推定した場合に警告を行う警告部を有する。
好適には、前記警告部は、視覚的または聴覚的な警告を行う。

本発明によれば、像倍率を変えずに合焦位置の異なる画像を得ることができ、光路長を長く取る必要がなく、演算量を低減でき、搭載機器の低背化、小型化を図ることができる。

本発明の第１の実施形態に係る被写体距離推定装置の構成例を示すブロック図である。本第１の実施形態に係る被写体距離推定装置における撮像系を模式的に示す図である。被写体が基準距離Ｌ０にある場合を示す図である。被写体が基準距離Ｌ０より近い距離Ｌ１（Ｌ１＜Ｌ０）にある場合を示す図である。被写体が基準距離Ｌ０より遠い距離Ｌ２（Ｌ０＜Ｌ２）にある場合を示す図である。本実施形態に係る距離推定部における距離推定処理のフローチャートである。画像ＩＭ２の方が画像ＩＭ１よりボケ量が大きい場合の、それぞれの画像のＭＴＦ特性を示す図である。本発明の第２の実施形態に係る被写体距離推定装置の構成例を示すブロック図である。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の第１の実施形態に係る被写体距離推定装置の構成例を示すブロック図である。

本被写体距離推定装置１０は、図１に示すように、第１の撮像装置１１、第２の撮像装置１２、距離推定部１３、および警告部１４を有する。

第１の撮像装置１１は、第１の撮像レンズ１１１、第１の撮像素子１１２、および第１の画像処理部１１３を有する。

第１の撮像レンズ１１１は、被写体ＯＢＪの像を、第１の撮像素子１１２の撮像面（結像面）に結像する。
第１の撮像レンズ１１１は、テレセントリック性を有する。

第１の撮像素子１１２は、ＣＣＤ（CCD：Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-oxide Semiconductor）センサにより形成され、複数の画素がマトリクス状に配列されている。
撮像素子１１２は、アナログの画像信号をデジタルの画像信号に変換して画像処理部１１３に出力する。

第１の画像処理部１１３は、カラー補間Ｍ、ホワイトバランス、ＹＣｂＣｒ変換処理等の処理を行い、処理後の画像データを距離推定部１３に出力する。

第２の撮像装置１２は、第２の撮像レンズ１２１、高屈折率材料体１２２、第２の撮像素子１２３、および第２の画像処理部１２４を有する。

第２の撮像レンズ１２１は、被写体ＯＢＪの像を、高屈折率材料体１２２を介して第２の撮像素子１２３の撮像面（結像面）近傍に結像する。
第２の撮像レンズ１２１は、焦点距離が第１の撮像装置１１の第１の撮像レンズ１１１の焦点距離と等しい。
第２の撮像レンズ１２１は、テレセントリック性を有する。

高屈折率材料体１２２は、たとえば平行板により形成され、第２の撮像レンズ１２１と第２の撮像素子１２３との間の光路に配置され（挿入され）、画像のボケ量を変化させて、第２の撮像素子１２３の撮像面に入射させる。
高屈折率材料体１２２は、被写体ＯＢＪ像の第２の撮像素子１２３における結像位置を、第１の撮像系１１の状態と変化させる目的で配置されている。

第２の撮像素子１２３は、ＣＣＤやＣＭＯＳセンサにより形成され、複数の画素がマトリクス状に配列されている。
第２の撮像素子１２３は、アナログの画像信号をデジタルの画像信号に変換して第２の画像処理部１２４に出力する。

第２の画像処理部１２４は、カラー補間Ｍ、ホワイトバランス、ＹＣｂＣｒ変換処理等の処理を行い、処理後の画像データを距離推定部１３に出力する。

このように、本第１の実施形態においては、撮像レンズ（光学系）と撮像素子は、光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組（ここでは２組）よりなり、高屈折率材料体１２２の有無およびもしくは高屈折率材料体１２２の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある。

距離推定部１３は、第２の撮像装置１２において高屈折率材料体１２２の挿入によって、第１および第２の撮像素子１１２，１２３に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得する。
そして、距離推定部１３は、その複数の撮像画像の焦点のボケ状態を比較することにより、被写体距離が予め定められた所定値以下であるか否かを判定する機能を有する。
距離推定部１３は、複数の撮像画像をそれぞれ周波数解析あるいは畳み込み演算することにより前記焦点のボケ状態の比較を行う。
距離推定部１３は、複数画像、たとえば画像ＩＭ１、ＩＭ２の周波数特性Ｇ_１（ｕ，ｖ）、Ｇ_２（ｕ，ｖ）からボケ量評価値Ｓ（Ｇ_１），Ｓ（Ｇ_２）を算出し、その大小より被写体が所定距離より近傍か遠方かを判定する機能を有している。

また、本実施形態においては、撮像レンズと撮像素子は、被写体距離が予め定められた所定値の場合に複数の撮像画像の焦点のボケ状態が等しくなるように配置されている。
そして、距離推定部１３は、複数の撮像画像のボケの大小により被写体距離が所定値以下か否かを推定する機能を有している。

また、距離推定部１３は、被写体ＯＢＪが基準距離Ｌ０より近傍にあると判定した場合、被写体ＯＢＪが近いため衝突等のおそれがあるとして、警告部１４に対して警告処理通知を行う。
距離推定部１３は、被写体ＯＢＪが基準距離Ｌ０より遠方にあると判定した場合、特に危険等が無いので警告部１４に対して警告処理通知は行わない。

警告部１４は、距離推定部１３の警告処理通知の指示に従って、表示部材１４１への視覚的な警告や、スピーカー１４２等を用いた聴覚的な警告を行う。
警告部１４は、距離推定部１３からの警告処理通知が無い場合には、特に危険等が無いものとして警告処理は行わない。

図２は、本第１の実施形態に係る被写体距離推定装置１０における撮像系を模式的に示す図である。
ここで、本第１の実施形態に係る被写体距離推定装置１０における撮像系の機能を、図２に関連付けて説明する。

本第１の実施形態においては、図２に示すように、焦点距離の等しい２つの撮像レンズ１１１，１２１を用い、略同一の視野の画像を撮像する。
第１の撮像レンズ１１１および第２の撮像レンズ１２１はそれぞれ複数枚のレンズで構成しても良い。
第１および第２の撮像素子１１２，１２３は、物理的に二つを並べても良いし、一つの撮像素子の撮像面を中央で分割して仮想的に二つとみなしても良い。
本第１の実施形態においては、一方の光路上、すなわち第２の撮像装置１２の光路上には、画像のボケ量を変化させる目的で、平行板である高屈折率材料体１２２が挿入されている。
いま、高屈折率材料体１２２の屈折率をｎ、厚みをｄ（ｍｍ）とすると、光路長の伸びａ（ｍｍ）は一般的に次式で表される。

高屈折率材料体１２２は結像位置のみを変化させる目的なので、平行板であることを基本とするが、レンズや撮像素子の配置場所の都合で、光路を僅かに屈折させる必要がある場合には、完全な平行板である必要はない。
また、高屈折率材料体１２２は複数枚で構成されていても良い。
光路長が伸びることで撮像レンズと撮像素子との間隔を変化させた場合と同等の効果が得られ、他方と略同じ視野でありながらボケ量のみが異なる画像を得ることができる。
撮像レンズを像側テレセントリック系のレンズ構成にすれば像倍率の変化がなくなるため、第１の撮像素子１１２と第２の撮像素子１２３の画像視野は略等しくボケ量だけが異なった画像となり、距離推定において有利である。

次に、ボケ量の異なる２枚の画像から、被写体の距離が基準距離Ｌ０より近傍にあるか遠方にあるかの判別を行う方法について、その原理を図３、図４、および図５に関連付けて説明する。
図３は、被写体が基準距離Ｌ０にある場合を示す図である。
図４は、被写体が基準距離Ｌ０より近い距離Ｌ１（Ｌ１＜Ｌ０）にある場合を示す図である。
図５は、被写体が基準距離Ｌ０より遠い距離Ｌ２（Ｌ０＜Ｌ２）にある場合を示す図である。

図２において、被写体が基準距離Ｌ０にある場合に画像ＩＭ１と画像ＩＭ２のボケ量が略等しくなるように、第１の撮像レンズ系と撮像素子１１２、および第２の撮像レンズ系と高屈折率材料体１２２と撮像素子１２３を配置する。

被写体が基準距離Ｌ０にある場合は、図３に示す通り、画像ＩＭ１と画像ＩＭ２はどちらも合焦していないが、ボケ量は略等しい。

図４に示すように、被写体が基準距離Ｌ０より近い距離Ｌ１（Ｌ１＜Ｌ０）にある場合のボケ量は次のようになる。
この場合、撮像素子１１２上の画像ＩＭ１と撮像素子１２３上の画像ＩＭ２はボケ量を比較すると、画像ＩＭ２の方がボケ量は大きい。
距離Ｌ１の値によっては、画像ＩＭ１は合焦している場合もある。

図５に示すように、被写体が基準距離Ｌ０より遠い距離Ｌ２（Ｌ０＜Ｌ２）にある場合のボケ量は次のようになる。
この場合、撮像素子１１２上の画像ＩＭ１と撮像素子１２３上の画像ＩＭ２はボケ量を比較すると、画像ＩＭ１の方がボケ量は大きい。
距離Ｌ２の値によっては、画像ＩＭ２は合焦している場合もある。

以上より、複数（たとえば２枚）の画像のボケ量の大小を比較することにより、被写体が基準距離Ｌ０より近傍にあるか遠方にあるかを判定することができる。

次に、２枚の画像のボケ量の大小を比較する方法について図１、図６、および図７に関連付けて説明する。
以下の説明では、２枚の画像のボケ量の比較に周波数領域での演算を用いているが、この方法がボケ量の比較方法を限定するものではない。
ここで、第１の撮像レンズ１１１と第１の撮像素子１１２とをまとめて第１の撮像系とし、第２の撮像レンズ１２１と高屈折率材料体１２２と第２の撮像素子１２３とをまとめて第２の撮像系とする。

一般的に、光学系の焦点ずれによりボケた画像の周波数特性Ｇ（ｕ，ｖ）は、原画像の周波数特性Ｆ（ｕ，ｖ）と、光学系の伝達関数ＯＴＦ（Optical Transfer Function)との積により表現されることが知られている。
ＯＴＦは被写体距離ｌによって変化する。
また、ＯＴＦの絶対値を取ったものがＭＴＦ（Modulation Transfer Function）、ＯＴＦを逆フーリエ変換したものが点像分布関数ＰＳＦ（Point Spread Function)として知られている。

今、第１の撮像系の伝達関数をＯＴＦ_１（ｕ，ｖ，ｌ）、第１の撮像系の出力画像の周波数特性をＧ_１（ｕ，ｖ）、第２の撮像系の伝達関数をＯＴＦ_２（ｕ，ｖ，ｌ）、第２の撮像系の出力画像の周波数特性をＧ_２（ｕ，ｖ）とする。

第１の撮像系と第２の撮像系の入力画像が略等しいとみなせる場合、つまり、第１の撮像レンズ１１１と第２の撮像レンズ１２１の焦点距離が同じで共に像側テレセントリック系のレンズであり、かつ被写体距離が充分遠い場合には、第１の撮像系と第２の撮像系の入力画像は略等しいと見なせ、これをＦ（ｕ，ｖ）とおくと、次式が成立する。

ここで、図３のように、被写体距離が基準距離Ｌ０にある場合に第１の撮像系および第２の撮像系のボケ量が等しくなるように配置されている場合は特に、次の関係を満足する。

したがって、第１の撮像系の出力画像の周波数特性Ｇ_１（ｕ，ｖ）と第２の撮像系の出力画像の周波数特性Ｇ_２（ｕ，ｖ）は次の関係を満足する。

図６は、本実施形態に係る距離推定部における距離推定処理のフローチャートである。

距離推定部１３では、画像ＩＭ１、ＩＭ２の周波数特性Ｇ_１（ｕ，ｖ）、Ｇ_２（ｕ，ｖ）からボケ量評価値Ｓ（Ｇ_１），Ｓ（Ｇ_２）を算出し、その大小より被写体が所定距離より近傍か遠方かを判定する（ＳＴ１〜ＳＴ３）。

一般的に、中高周波数域のＭＴＦが低いほど、画像のボケ量は大きくなることが知られている。
たとえば、画像ＩＭ２の方が画像ＩＭ１よりボケ量が大きい場合は、それぞれの画像のＭＴＦをＭＴＦ_１（ｕ，ｖ，Ｌ１）、ＭＴＦ_２（ｕ，ｖ，Ｌ１）とすると、図７に示すような特性となる。
つまり、ＭＴＦの大小を比較することでボケ量の大小も推定できる。

ここで、ＭＴＦとＯＴＦは次の関係を有する。

このような関係にあることを考慮し、ボケ量評価値Ｓ（Ｇ_１），Ｓ（Ｇ_２）は画像ＩＭ１，ＩＭ２の周波数特性Ｇ_１（ｕ，ｖ）、Ｇ_２（ｕ，ｖ）から次式で算出される。

距離推定部１３は、ステップＳＴ３において、ボケ量評価値Ｓ（Ｇ_１），Ｓ（Ｇ_２）の大小を比較し、Ｓ（Ｇ_２）がＳ（Ｇ_１）より小さい場合（Ｓ（Ｇ_２）＜Ｓ（Ｇ_１））の場合には、被写体ＯＢＪが基準距離Ｌ０より近傍にあると判定する（ＳＴ４）。
この場合、被写体ＯＢＪが近いため衝突等のおそれがあるとして、距離推定部１３は、警告部１４に対して警告処理通知を行う（ＳＴ５）。
これに基づき警告部１４では、表示部材への視覚的な警告や、スピーカー等を用いた聴覚的な警告を行う。

逆に、Ｓ（Ｇ_２）がＳ（Ｇ_１）以上の場合（Ｓ（Ｇ_２）≧Ｓ（Ｇ_１））の場合には、被写体ＯＢＪが基準距離Ｌ０より遠方にあると判定する（ＳＴ６）。
この場合は特に危険等が無いので警告部１４に対する警告処理通知は行わない。
そして、ステップＳＴ７において、距離推定処理が終了したと判断すると、距離推定部１３は、距離推定処理を終わらせる。

なお特に、車両における衝突防止警告などにおいては、障害物がある一定距離から近いかどうかが重要であるため、上記のような簡素な構成でシステムを構成することで小型化、低コスト化ができる。

本第１の実施形態によれば、以下の効果を得ることができる。
本実施形態では、光路中に高屈折率材料体を挿入することで、像倍率を変えずに合焦位置の異なる画像を得ることができ、被写体距離の推定が可能となる。よって、光路長を長く取る必要はなくなり、演算量を低減でき、低背化・小型化に有効である。

図８は、本発明の第２の実施形態に係る被写体距離推定装置の構成例を示すブロック図である。

本第２の実施形態においては、撮像レンズと撮像素子を一つずつとし、高屈折率材料体１１４を駆動装置１５により機械的に出し入れする、あるいは、高屈折率機能の発現、非発現を制御する。
この第２の実施形態のように、時系列的にボケ量の異なる画像を撮像するようにしても良い。
上記と同様に、撮像レンズや高屈折率材料体はそれぞれ複数枚で構成されていても良い。

本第２の実施形態によれば、上述した第１の実施形態の効果と同様の効果を得ることができる。

１０，１０Ａ・・・被写体距離推定装置、１１・・・第１の撮像装置、１１１・・・第１の撮像レンズ、１１２・・・第１の撮像素子、１１３・・・第１の画像処理部、１１４・・・高屈折率材料体、１２・・・第２の撮像装置、１２１・・・第２の撮像レンズ、１２２・・高屈折率材料体、１２３・・・第２の撮像素子、１２４・・・第２の画像処理部、１３・・・距離推定部、１４・・・警告部。

Claims

撮像レンズと、
前記撮像レンズを通過した被写体像を撮像する撮像素子と、
前記撮像レンズと前記撮像素子の光路中に挿入される高屈折率材料体と、
前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、
前記距離推定部は、
前記高屈折率材料体の挿入によって、前記撮像素子に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、当該複数の撮像画像の焦点のボケ状態を比較することにより、被写体距離が予め定められた所定値以下であるか否かを判定する
被写体距離推定装置。
前記撮像レンズと前記撮像素子は、
前記被写体距離が前記予め定められた所定値の場合に前記複数の撮像画像の焦点のボケ状態が等しくなるように配置され、
前記距離推定部は、
前記複数の撮像画像のボケの大小により前記被写体距離が前記所定値以下か否かを推定する
請求項１に記載の被写体距離推定装置。
前記距離推定部は、
前記複数の撮像画像をそれぞれ周波数解析することにより前記焦点のボケ状態の比較を行う
請求項１または２に記載の被写体距離推定装置。
前記撮像レンズはテレセントリック性を有する
請求項１から３のいずれか一に記載の被写体距離推定装置。
前記光学系と撮像素子は、
光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組よりなり、前記高屈折率材料体の有無およびもしくは前記高屈折率材料体の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある
請求項１から４のいずれか一に記載の被写体距離推定装置。
前記高屈折率材料体は、前記光路中に挿入退出可能である
請求項１から４のいずれか一に記載の被写体距離推定装置。
前記距離推定部が、前記被写体距離が予め定められた所定値以下と推定した場合に警告を行う警告部を有する
請求項１から６のいずれか一に記載の被写体距離推定装置。
前記警告部は、
視覚的または聴覚的な警告を行う
請求項７に記載の被写体距離推定装置。