JP2004279031A

JP2004279031A - 距離分布検知装置及び距離分布検知方法

Info

Publication number: JP2004279031A
Application number: JP2003066529A
Authority: JP
Inventors: Yoshiki Ninomiya; 芳樹二宮; Michihiko Ota; 充彦太田; Yoshikatsu Kimura; 好克木村
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2003-03-12
Filing date: 2003-03-12
Publication date: 2004-10-07

Abstract

【課題】ステレオ視による距離検知の際に、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッド（メモリ・オーバーヘッド、ＣＰＵ・オーバーヘッド等）を削減し、更に、それに伴う照合誤りを削減すること。
【解決手段】左右画像の相関を取る際の相関の領域サイズを４×４画素とした本実施の形態の場合には、近距離エリア用照合手段では、４画素（１列）を用いて照合を行い、中近距離エリア用の照合手段では８画素（２列）を用いて距離の照合を行い、中遠距離エリア用の照合手段では１２画素（３列）を用いて距離の照合を行い、遠距離エリア用の照合手段では、１６画素全て（４列）を用いて距離の照合を行う。これにより近距離に膨大になる距離データの削減、演算量の削減に伴う計算時間の削減が可能になる。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、車両前方監視等に利用されるステレオ視による距離分布検知装置及び距離分布検知方法に関する。
【０００２】
【従来の技術】
車両前方監視等に利用されるステレオ視による距離分布検知装置としては、例えば、特許文献１に記載された車輌用車外監視装置が一般に知られている。
【０００３】
特許文献１に記載の車輌用車外監視装置では、距離画像を求める際、領域サイズを固定にした相関法でステレオ照合を行っており、空間分解能は、遠方での物体検出に必要になる値に固定して距離を求めている。このため、領域サイズは４×４画素であり、視差の分解能も画像の１画素精度と高分解能に設定されている。
【０００４】
また、視差を求める際の相関は、処理量の比較的少ない差分絶対値和（ＳＡＤ）を用いて計っている。相関を計るその他の指標には、例えば、差の自乗和等があり、正規化相関等を用いる方法なども一般に広く使用されている。
【０００５】
差分絶対値和（ＳＡＤ）を用いてステレオ照合する際の点（ｘ，ｙ｜０≦ｘ＜Ｖ，０≦ｙ＜Ｈ）における相関指数Ｓの計算式を次式（１）に示す。
【数１】

【０００６】
ここで、
Ｓ：相関指数（この値を最小にするｄの値（０≦ｄ≦Ｄ_ｍａｘ）を点（ｘ，ｙ）における視差として求める。）
Ｉｒ：右カメラで撮影された画像の各比較点における比較量（明度等）
Ｉｌ：左カメラで撮影された同時刻画像の各比較点における比較量
Ｍ：相関領域サイズ（縦方向）
Ｎ：相関領域サイズ（横方向）
Ｈ：被解析画像サイズ（縦方向）
Ｖ：被解析画像サイズ（横方向）
Ｄ_ｍａｘ：視差探索幅
【０００７】
式（１）から判るように、画像解析の演算量は、ステレオ照合する際の相関の種類等に依存し、特に、相関領域（部分画像）の大きさ（Ｍ×Ｎ）、画像のサイズ（Ｖ×Ｈ）、及び、視差ｄの探索範囲の大きさＤ_ｍａｘ等に比例している。
【０００８】
また、上記の従来技術による方法では、遠方の物体検出に必要な固定値の空間分解能で全距離レンジに渡り距離を求めるため、相関領域サイズは４×４画素と小さく、視差の分解能も画像の１画素精度になっている。
【０００９】
特許文献２に記載の距離分布検知装置は、求まる距離に応じて視差の分解能を変化させて、計算コストの削減と照合誤りの低減を図っている。
【００１０】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開２００１−１２６０６５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、物体の見かけ上の大きさは距離に反比例しているため、特許文献１のように視差の分解能を一定にすると、距離の分解能は近距離ほど細かくなるため、領域サイズを固定した場合、近距離の物体に対しては必要以上に高い分解能で距離を演算する事になる。その結果、距離画像から物体を検出する後処理においては、近距離の物体に対しては膨大な距離値を扱う必要が生じ、処理量が膨大になる。
【００１２】
また、小さな領域サイズで相関演算を行うと、領域内のパターンの特徴が減少するため、照合誤りが発生しやすくなるという問題がある。また、分解能の高い距離値を求めること自体の計算コストが大きいという問題がある。
【００１３】
即ち、従来の方法では、ステレオ照合処理を距離レンジに依らず遠方で必要とされる空間分解能で一括して行うため、即ち、相関の領域サイズを一定、視差の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能（距離方向、視差角方向）が必要以上に細かくなってしまう点が、処理性能、及び、出力結果の信頼性の面で問題となっていた。
【００１４】
本発明は、上記の課題を解決するために成されたものであり、その目的は、上記のように、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッド（メモリ・オーバーヘッド、ＣＰＵ・オーバーヘッド等）を削減し、更に、それに伴う照合誤りを削減することである。
【００１５】
【課題を解決するための手段】
請求項１に記載の距離分布検出装置は、空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、前記画像の被解析単位となる部分画像を照合し、前記部分画像が属すると推定される距離レンジに応じて、前記部分画像のうち照合に用いる画素の密度を設定する画素密度設定手段を有することを特徴とする。
【００１６】
また、請求項２に記載の距離分布検知方法は、空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知方法において、前記画像の被解析単位となる部分画像を照合し、前記部分画像が属する距離レンジを推定する距離推定工程と、推定された前記距離レンジに応じて、前記部分画像のうち照合に用いる画素の数及び場所を設定する画素密度設定工程と、前記画素密度設定工程で設定された画素について、再び照合を行い、前記画素毎の距離を求める距離検出工程と、を有し、前記距離検出工程で求められた距離に基づいて、距離分布を検知することを特徴とする。
【００１７】
【発明の作用及び効果】
従来方法では、ステレオ照合処理を距離エリアに依らず遠方で必要な分解能で一括して行う、すなわち相関の領域サイズを一定、相関の計算間隔を一定、視差の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能が必要以上に細かくなるという問題があった。
【００１８】
そこで本発明は、求める距離に応じて必要な分解能が得られるように、エリア毎に相関をとるための領域の中で、照合を行う画素の密度、つまり画素の数、及び画素の位置を変化させることにより、各距離に応じて必要な分解能で距離値を得ることを可能にした。これにより、不必要に高い分解能で距離を計算する場合に比べて処理量を小さくでき、処理を高速化できる。
【００１９】
本発明の画素密度設定手段または画素密度設定工程は、相関をとる照合エリアの密度を変化させることで分解能を選択している。これは、照合エリアをある大きさとした場合、近距離に有る物体は画像中で大きく写るため、その照合エリア内の多くの画素を占めることが多い。また、遠距離に有る物体は画像中で小さく写るため照合エリア内では少ない画素を占めることが多い。従って、近距離エリアの照合の際には、照合エリア内の全ての画素を使わずに少ない画素数でも、つまり画素の密度を低くしても、距離を得ることができ、しかも全ての画素を使う場合に比べて、処理量を少なくすることができ、処理を高速化することが可能となる。
【００２０】
以上のように、本発明によれば、必要な分解能で距離値を得ることができるようになるので、距離画像に基づく物体検出や形状推定などの後処理が容易に行える。また、必要以上に高い分解能の距離値を求める従来手法と比べると処理時間が大幅に短縮化できる。また、距離の予測値による視差探索範囲の制御と照合の密度の制御によりさらなる高速化と照合誤りの削減が可能になる。
【００２１】
【発明の実施の形態】
以下に図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１に本発明の距離計測装置の第１の実施の形態の全体構成を示す。図２は本実施の形態における全体の処理の流れを示すフローチャートである。２台のカメラ１１，２１で撮像された画像（Ｓ１０）はＡ／Ｄ変換器１２，２２によりデジタル化（Ｓ２０）される。
【００２２】
デジタル化された左右画像は空間フィルタ３０へ入力され、空間フィルタ３０で、左右画像間の明度差の補償や濃度変化の強調による照合の改善等を目的とした空間フィルタ処理（Ｓ３０）を行う。このためには１次、２次微分フィルタや直流分除去フィルタ等が用いられる。
【００２３】
空間フィルタ処理された画像に対し、照合器４０では左右画像の照合を行う（Ｓ４０）。ついで照合結果を合成して、距離分布を検出して出力する（Ｓ５０）。
【００２４】
次に、照合器４０の処理について詳細に示す。照合は、左右画像間での対応点（右画像と同じ左画像の点）を探索する。探索方法は比較的演算量の少ない差分絶対値和（ＳＡＤ）を利用する。差分の二乗和や正規化相関を使ってもよい。ステレオ照合位置は照合度合いを表すＳＡＤの残差（ｓＣｏｒｒ）の最小値、照合度合いの一意性を示すＳＡＤの最小値での残差の勾配値（ｓＧｒａｄ）、対応の取れやすさを示すパターンの存在を表わす１次微分絶対値（ｓＣｈｄｉｖ）等からその照合度合い（信頼度）を評価し、照合が得られた時、その位置の距離値を算出する。
【００２５】
照合器４０では先ず画像中の物体のおおよその距離を求める（推定する）。ここでは、相関の領域サイズを４×４画素とする。本実施の形態では、４×４画素としているが、必要に応じて２×２や５×５画素などのサイズを用いてもよい。距離画像を計算する画素間隔も４画素間隔とした。これについても必要とする距離画像の分解能に合わせて決めればよい。本実施の形態では、図３に示すように６４０×４８０画素の画面に対し、４×４画素毎に相関を行う。始め、左画像の左上の４×４画素の領域の照合を行う。左画像の４×４画素の画像領域に対して、右画像の左上４×４画素の画像領域との相関をとる。次に、右画像の領域を４画素分移動して相関をとる。本実施の形態において、ここではおおよその距離を推定する右画像の相関をとる領域を１画素ずつではなく、４画素ずつずらしている。これにより、計算負荷を低減することができるためである。右画像の相関をとる領域が右端まで達したら、続いて左画像の相関をとる領域を右に４画素分移動し４×４画素の領域の照合を行う。また、右画像を左から順に４×４画素の相関をとる領域を、４画素ずつずらしていく。このようにして左画像の４×４画素の領域毎に順次相関を取っていき、右端まで達したら、再び左端の４画素分したの領域へ移動する。これを繰り返し、左画像の右下の領域、つまり全ての画素について照合を行う。
【００２６】
なお、本実施の形態では、照合に当たり、原画像を用い４×４画素の領域を用い、かつ４画素ずつ移動させて相関を求めているが、照合に当たり、あらかじめ原画像を１／４の解像度に圧縮した画像を用い、その圧縮した画像の１画素毎に相関を取るようにしても良い。その場合、以下の処理は原画像に対して行うようにすればよい。
【００２７】
次に照合が得られた領域について、得られた距離に基づいて詳細に照合を行う。ここでは、それぞれに求められた距離エリアに応じて照合に用いる画素の密度を変化させる。
【００２８】
照合する画素の密度を変化させる具体例を図４に示す。左右画像の相関を取る際の相関の領域サイズを４×４画素とした本実施の形態の場合には、近距離エリア用の照合では、図４（ａ）の黒く塗りつぶされた領域のみ４画素（１列）についてのみ距離の照合を行い、中近距離エリア用の照合では８画素（２列）についてのみ距離の照合を行い、中遠距離エリア用の照合では１２画素（３列）についてのみ距離の照合を行い、遠距離エリア用の照合では１６画素全て（４列）について距離の照合を行う。これにより近距離に膨大になる距離データの削減、演算量の削減に伴う計算時間の削減が可能になる。
【００２９】
照合に用いる画素の数や位置は上記に限らず、例えば図４（ｂ）の黒く塗られた画素のように、近距離エリア用が中心付近１画素、中近距離エリア用が中心付近２画素、中遠距離エリア用が中心付近４画素、遠距離エリア用が中心付近４画素と周辺４画素の合わせて８画素としてもよく、また、図４（ｃ）の黒く塗られた画素のように、近距離エリア用が１列４画素、中近距離エリア用が２列８画素、中遠距離エリア用が３列１２画素、遠距離エリア用が４列１６画素としてもよい。
【００３０】
また、それぞれの距離エリアに応じて、照合する視差の範囲を限定するようにしても良い。本実施の形態では、距離エリアに応じて、視差範囲を限定している。例えば、必要十分な空間分解能（距離精度）を０．３ｍとし、焦点距離Ｆ＝１６ｍｍ、基調線Ｂ＝０．３０ｍｍ、セルサイズα＝９．９μｍ（１／２インチＣＣＤ、６４０×４８０画素の場合）のステレオカメラの場合、視差１２８から１１２までは近距離エリア用の照合に、１１２から８０までは中近距離エリア用の照合に、８０から５６までは中遠距離エリア用の照合、視差５６以下は遠距離エリア用の照合に用いるようにしている。
【００３１】
また、おおよその距離を推定した際に照合が得られた視差に基づいて、視差範囲を限定するようにしても良い。例えば、視差が１１０で照合が得られた場合には、近距離エリア用の照合を行うが、視差範囲は１１０の前後５程度の範囲、つまり１０５から１１５までの範囲に視差を限定するようにしてもよい。このようにすることで、おおよその距離を求めた際の結果を元により精度の良い照合ができるようになる。
【００３２】
図５のフローチャートを参照して、照合器４０の処理の流れを説明する。まず、おおよその距離を把握するために画像の全領域に対して照合を行う（Ｓ４１）。ここでは、まず、照合に用いる左右の画像を得て、４×４画素毎に照合を行う。その結果、照合が得られた領域について、その得られた距離が、近距離エリア、中近距離エリア、中遠距離エリア、遠距離エリアのいずれのエリアにあるのかを判定する。ここで、Ｄ１より近い範囲を近距離エリア、Ｄ１〜Ｄ２の距離にある範囲を中近距離エリア、Ｄ２〜Ｄ３の距離にある範囲を中遠距離エリア、Ｄ３より遠い範囲を遠距離エリアとする。
【００３３】
遠距離エリアにあると判定された場合（Ｓ４２）には、遠距離エリア用の照合を行う。遠距離エリア用の照合では、視差探索領域を５２以下に限定する（Ｓ４２１）。そして、視差密度を４×４画素のうちの１６画素すべてに設定する（Ｓ４２２）。次に、設定された１６画素全てについて、その画素毎にを用いて照合処理を行い（Ｓ４２３，Ｓ４２４）、それぞれの画素毎の距離値を得る（Ｓ４２５）。
【００３４】
中遠距離エリアにあると判定された場合（Ｓ４３）には、中遠距離エリア用の照合を行う。中遠距離エリア用の照合では、視差探索領域を８０から５２までに限定する（Ｓ４３１）。そして、視差密度を４×４画素のうちの１２画素のみに設定する（Ｓ４３２）。次に、設定された１２画素について、その画素毎に照合処理を行い（Ｓ４３３，Ｓ４３４）、それぞれの画素毎の距離値を得る（Ｓ４３５）。
【００３５】
中近距離エリアにあると判定された場合（Ｓ４４）には、中近距離エリア用の照合を行う。中近距離エリア用の照合では、視差探索領域を１１２から８０までに限定する（Ｓ４４１）。そして、視差密度を４×４画素のうちの８画素のみに設定する（Ｓ４４２）。次に、設定された８画素について、その画素毎に照合処理を行い（Ｓ４４３，Ｓ４４４）、それぞれの画素毎の距離値を得る（Ｓ４４５）。
【００３６】
近距離エリアにあると判定された場合（Ｓ４４）には、近距離エリア用の照合を行う。近距離エリア用の照合では、視差探索領域を１２８から１１２までに限定する（Ｓ４５１）。そして、視差密度を４×４画素のうちの４画素のみに設定する（Ｓ４５２）。次に、設定された４画素について、その画素ごとに照合処理を行い（Ｓ４５３，Ｓ４５４）、それぞれの画素毎の距離値を得る（Ｓ４５５）。照合が得られた全ての領域に対して上記の照合を行う（Ｓ４６）。
【００３７】
以上のように、本実施の形態は、近い距離エリア用の照合手段ほど照合誤りが少なくなる点と処理時間が少ない点を利用するもので、推定される距離エリアに応じて、照合する領域の画素密度を変更することで、処理量を少なくし、処理を高速化することができるものである。
【００３８】
尚、本発明の距離分布検知装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図。
【図２】本発明の第１の実施の形態における全体の処理の流れを示すフローチャート。
【図３】本発明の第１の実施の形態における照合の流れを示す図。
【図４】本発明の第１の実施の形態における照合密度（画素の数、位置）の違いを示す図。
【図５】本発明の第１の実施の形態における照合処理の流れを示すフローチャート。

Claims

空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、
前記画像の被解析単位となる部分画像を照合し、前記部分画像が属すると推定される距離レンジに応じて、前記部分画像のうち照合に用いる画素の密度を設定する画素密度設定手段を有する
ことを特徴とする距離分布検知装置。
空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知方法において、
前記画像の被解析単位となる部分画像を照合し、前記部分画像が属する距離レンジを推定する距離推定工程と、
推定された前記距離レンジに応じて、前記部分画像のうち照合に用いる画素の数及び場所を設定する画素密度設定工程と、
前記画素密度設定工程で設定された画素について、再び照合を行い、前記画素毎の距離を求める距離検出工程と、
を有し、前記距離検出工程で求められた距離に基づいて、距離分布を検知することを特徴とする距離分布検知方法。