JP2004245701A

JP2004245701A - Distance distribution detecting apparatus

Info

Publication number: JP2004245701A
Application number: JP2003036011A
Authority: JP
Inventors: Yoshiki Ninomiya; 芳樹二宮; Michihiko Ota; 充彦太田; Yoshikatsu Kimura; 好克木村
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

<P>PROBLEM TO BE SOLVED: To reduce overhead of analysis processing caused for determining distance with space resolution higher than necessary when the distance is stereoscopically detected and to reduce collation error associated with this. <P>SOLUTION: Images photographed by two cameras 11 and 21 are digitized by A/C converters 12 and 22. The camera 11 photographs a right image, and the camera 21 photographs a left image. The photographed images are divided into three types of distance areas, and collation processing is performed on each distance area. A lower half part of the image is taken as a close-distance area (region 1). A quarter image located above the region 1 is taken as a intermediate-distance area (region 2). The upper quarter part of the remaining image is taken as a long-distance area. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車両前方監視等に利用されるステレオ視による距離分布検知装置に関する。
【０００２】
【従来の技術】
車両前方監視等に利用されるステレオ視による距離分布検知装置としては、例えば、特許文献１に記載された車輌用車外監視装置が一般に知られている。
【０００３】
特許文献１に記載の車輌用車外監視装置では、距離画像を求める際、領域サイズを固定にした相関法でステレオ照合を行っており、空間分解能は、遠方での物体検出に必要になる値に固定して距離を求めている。このため、領域サイズは４×４画素であり、視差の分解能も画像の１画素精度と高分解能に設定されている。
【０００４】
また、視差を求める際の相関は、処理量の比較的少ない差分絶対値和（ＳＡＤ）を用いて計っている。相関を計るその他の指標には、例えば、差の自乗和等があり、正規化相関等を用いる方法なども一般に広く使用されている。
【０００５】
差分絶対値和（ＳＡＤ）を用いてステレオ照合する際の点（ｘ，ｙ｜０≦ｘ＜Ｖ，０≦ｙ＜Ｈ）における相関指数Ｓの計算式を次式（１）に示す。
【数１】

【０００６】
ここで、
Ｓ：相関指数（この値を最小にするｄの値（０≦ｄ≦Ｄ_ｍａｘ）を点（ｘ，ｙ）における視差として求める。）
Ｉｒ：右カメラで撮影された画像の各比較点における比較量（明度等）
Ｉｌ：左カメラで撮影された同時刻画像の各比較点における比較量
Ｍ：相関領域サイズ（縦方向）
Ｎ：相関領域サイズ（横方向）
Ｈ：被解析画像サイズ（縦方向）
Ｖ：被解析画像サイズ（横方向）
Ｄ_ｍａｘ：視差探索幅
【０００７】
式（１）から判るように、画像解析の演算量は、ステレオ照合する際の相関の種類等に依存し、特に、相関領域（部分画像）の大きさ（Ｍ×Ｎ）、画像のサイズ（Ｖ×Ｈ）、及び、視差ｄの探索範囲の大きさＤ_ｍａｘ等に比例している。
【０００８】
また、上記の従来技術による方法では、遠方の物体検出に必要な固定値の空間分解能で全距離レンジに渡り距離を求めるため、相関領域サイズは４×４画素と小さく、視差の分解能も画像の１画素精度になっている。
【０００９】
特許文献２に記載の距離分布検知装置は、求まる距離に応じて視差の分解能を変化させて、計算コストの削減と照合誤りの低減を図っている。
【００１０】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開２００１−１２６０６５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、物体の見かけ上の大きさは距離に反比例しているため、特許文献１のように視差の分解能を一定にすると、距離の分解能は近距離ほど細かくなるため、領域サイズを固定した場合、近距離の物体に対しては必要以上に高い分解能で距離を演算する事になる。その結果、距離画像から物体を検出する後処理においては、近距離の物体に対しては膨大な距離値を扱う必要が生じ、処理量が膨大になる。
【００１２】
また、小さな領域サイズで相関演算を行うと、領域内のバターンの特徴が減少するため、照合誤りが発生しやすくなるという問題がある。また、分解能の高い距離値を求めること自体の計算コストが大きいという問題がある。
【００１３】
即ち、従来の方法では、ステレオ照合処理を距離レンジに依らず遠方で必要とされる空間分解能で一括して行うため、即ち、相関の領域サイズを一定、示唆の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能（距離方向、視差角方向）が必要以上に細かくなってしまう点が、処理性能、及び、出力結果の信頼性の面で問題となっていた。
【００１４】
本発明は、上記の課題を解決するために成されたものであり、その目的は、上記のように、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッド（メモリ・オーバーヘッド、ＣＰＵ・オーバーヘッド等）を削減し、更に、それに伴う照合誤りを削減することである。
【００１５】
【課題を解決するための手段】
上記課題を解決するため本発明の第１の手段は、空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする。
【００１６】
また、第２の手段は、上記の空間分解能選択手段は、近距離レンジに属する部分画像の距離解析結果に基づいて、近距離レンジよりも遠い距離レンジに属する部分画像の照合の際の視差探索領域を設定することを特徴とする。
【００１７】
【発明の作用及び効果】
従来方法では、ステレオ照合処理を距離エリアに依らず遠方で必要な分解能で一括して行う、すなわち相関の領域サイズを一定、相関の計算間隔を一定、視差の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能が必要以上に細かくなるという問題があった。
【００１８】
本発明の上記手段によれば、求める距離に応じて必要十分な分解能で照合ができ、各距離に応じて必要十分な距離値を得ることが出来る。また、画像の上下位置に基づいて、距離エリアを設定し、各距離で必要十分な分解能で照合が行えるため、照合誤りを削減することが出来る。また、不必要に高い分解能で距離を計算する場合に比べて処理量を小さくでき、処理を高速化できる。
【００１９】
さらに、上記第２の手段によれば、近い距離エリアの照合手段で遠方の距離値を求めそれを遠い距離エリア用の照合手段の予測値として探索視差範囲の制御（限定）を行い、また視差の分解能を制御（視差を計算する密度を変化）することにより、処理量をさらに小さくできる。また、視差の探索範囲を限定することにより、照合誤りによる距離値の誤りを削減できる
【００２０】
本発明の全ての構成で、必要な分解能で距離値（距離画像）を得ることができるようになるので、距離画像に基づく物体検出や形状推定などの後処理が容易に行える。また、必要以上に高い分解能の距離値を求める従来手法と比べると処理時間が大幅に短縮化できる。また、距離の予測値による視差探索範囲の制御と照合の密度の制御によりさらなる高速化と照合誤りの削減が可能になる。
【００２１】
【発明の実施の形態】
以下に図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１に距離計測装置の第１の実施の形態の全体構成を示す。２台のカメラ１１，２１から撮像された画像はＡ／Ｄ変換器１２，２２によりデジタル化される。カメラ１１は右画像、カメラ２１は左画像を撮影する。左右の画像は解像度変換３０へ入力される。
【００２２】
解像度変換器３０は、入力された画像を距離レンジで必要十分な空間分解能とするために３つの解像度の画像に変換する。本実施の形態では、３つの距離エリアとするため、３つの解像度の画像を得る。即ち、遠距離エリア照合用に入力画像そのままの解像度の画像、中距離エリア照合用に１／２の解像度の画像、近距離エリア照合用に１／４の解像度の画像を得る。
【００２３】
本実施の形態において、距離エリアは図２に示すように、撮影された画像を３種類の距離エリアに分ける。画像の下部分１／２を近距離エリア（領域１）とする。領域１よりも上に位置する画像１／４を中距離エリア（領域２）とする。残りの画像の上部分１／４を遠距離エリアとする。
【００２４】
次に、空間フィルタ４０で、左右画像間の明度差の補償や濃度変化の強調による照合の改善等を目的とした空間フィルタ処理を行う。このためには１次、２次微分フィルタや直流分除去フィルタ等が使われる。
【００２５】
空間フィルタ処理された画像に対し、照合器６０では左右画像の照合を行う。左右画像間での対応点（右画像と同じ左画像の点）を探索する。探索方法は比較的演算量の少ない差分絶対値和（ＳＡＤ）を利用する。差分の二乗和や正規化相関を使ってもよい。相関の領域サイズは３×３画素としているが、必要に応じて２×２や５×５画素などのサイズを用いてもよい。距離画像を計算する画素間隔は１画素間隔とした。これについても必要とする距離画像の分解能に合わせて決めればよい。ステレオ照合位置は照合度合いを表すＳＡＤの残差（ｓＣｏｒｒ）の最小値、照合度合いの一意性を示すＳＡＤの最小値での残差の勾配値（ｓＧｒａｄ）、対応の取れやすさを示すパターンの存在を表わす１次微分絶対値（ｓＣｈｄｉｖ）等からその照合度合い（信頼度）を評価し、照合が得られた時、その位置の距離値を算出する。
【００２６】
各距離エリア用の照合処理は、必要十分な距離画像の空間分解能を得るために、各距離エリアごとに視差探索領域を限定して照合を行う。例えば、視差探索範囲の限定は以下のように行う。必要十分な空間分解能（距離精度）を０．３ｍとし、焦点距離Ｆ＝１６ｍｍ、基調線Ｂ＝０．３０ｍｍ、セルサイズα＝９．９μｍ（１／２インチＣＣＤ、６４０×４８０画素の場合）のステレオカメラの場合、視差１２８から１１２までは近距離エリア用の照合手段、視差１１２から５６までは中距離用照合手段、視差５６以下は遠距離エリア用の照合手段が担当して用いる。
【００２７】
照合器５０での処理の流れを図３のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する。画素位置が領域１にある場合、近距離エリア用の照合処理を行う（Ｓ１０）。
【００２８】
近距離エリア用の照合処理は、視差探索領域を１２８から１１２までに限定する（Ｓ３１）。照合に用いる、１／４解像度の画像を得る（Ｓ３２）。照合処理（Ｓ３３）によって、距離値を得る（Ｓ３４）。画素位置が領域１にない場合には、領域２にあるかどうか判定する（Ｓ２０）。領域２にある場合には、中距離エリア用の照合処理を行う。
【００２９】
中距離エリア用の照合処理は、視差探索領域を１１２から５６までに限定する（Ｓ４１）。照合に用いる、１／２解像度の画像を得る（Ｓ４２）。照合処理（Ｓ４３）によって、距離値を得る（Ｓ４４）。画素位置が領域２にもない場合、即ち領域３にある場合には、遠距離エリア用の処理を行う。
【００３０】
遠距離エリア用の照合処理は、視差探索領域を５６以下に限定する（Ｓ５１）。照合には、原画像を用いる（Ｓ５２）。照合処理（Ｓ５３）によって、距離値を得る（Ｓ５４）。全ての画素について終了したが場合（Ｓ６０）、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布を検出する。
【００３１】
なお、本実施の形態では、照合器６０で、画像内における画素位置を判定し、該当する領域ごとの処理を行っているが、解像度変換に先立ち、原画像を領域ごとに分割しておいてもよい。また、画素の存在位置を領域１から判定しているが、領域３から判定するようにしても構わない。
【００３２】
（第２の実施の形態）
第２の実施の形態は、第１の実施の形態において、画面いっぱいに写るような近距離物体があるときにも対応できるようにするものである。近距離に大きな物体がある場合、領域３にも近距離の物体が写る（図４）。第１の実施の形態の場合、領域３に写った近距離物体は視差が限定されているため、照合が出来なくなる。第２の実施の形態では、まず近距離エリア（領域１）から照合を始め、中距離エリア（領域２）では、近距離エリア（領域１）での照合結果を参照して視差探索範囲を設定する。また同様に、遠距離エリア（領域３）では、中距離エリア（領域２）での照合結果を参照して視差探索領域を設定する。
【００３３】
照合器６０での処理の流れを図５のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する（Ｓ１０）。画素位置が領域１にある場合、近距離エリア用の照合処理を行う。
【００３４】
近距離エリア用の照合処理は、視差探索領域を１２８から１１２までに限定して照合を行う（Ｓ３１）。照合に用いる、１／４解像度の画像を得る（Ｓ３２）。照合処理（Ｓ３３）によって、距離値を得る（Ｓ３４）。画素位置が領域１にない場合には、領域２にあるかどうか判定する（Ｓ２０）。領域２にある場合には、中距離エリア用の照合処理を行う。
【００３５】
中距離エリア用の照合処理は、近距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において、照合が得られたかどうかを判定し（Ｓ７０）、最も遠い距離として視差１２０で照合が得られた場合、視差探索領域を１２０から５６までに限定して照合を行う（Ｓ４５）。これは領域２に存在する物体は、領域１に存在する物体よりも遠い位置にあるという仮定からである。なお、領域１２０からとしたが、かならずしも領域１で照合が得られた視差からではなく例えば視差１２２からにするなど幅を持たせることはもちろん構わない。近距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域１１２から５６を使用する（Ｓ４１）。照合に用いる１／２解像度の画像を得る（Ｓ４２）。照合処理（Ｓ４３）によって、距離値（Ｓ４４）を得る。画素位置が領域２にもない場合、即ち領域３にある場合には、遠距離エリア用の処理を行う。
【００３６】
遠距離エリア用の照合処理は、中距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において照合が得られたかどうか判定し（Ｓ８０）、最も遠い距離として視差１００で照合が得られた場合、視差探索領域を１００以下に限定して照合を行う（Ｓ５５）。これは領域３に存在する物体は、領域２に存在する物体よりも遠い位置にあるという仮定からである。なお、視差１００以下としたが、かならずしも領域２で照合が得られた視差からではなく例えば視差１０２からにするなど幅を持たせることはもちろん構わない。中距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域５６以下に限定して照合を行う（Ｓ５１）。照合には、原画像を用いる（Ｓ５２）。照合処理（Ｓ５３）によって、距離値（Ｓ５４）を得る。全ての画素について終了すると（Ｓ６０）、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布が検出される。。
【００３７】
このように本実施の形態によれば、近距離エリアで得られた照合結果を基に視差探索範囲を求めているので、近距離にある大きな物体を対応を取ることが可能になる。
【００３８】
尚、本発明の距離分布検知装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態の全体構成を示すブロック図。
【図２】本発明の第１の実施の形態での画像分割の例を示す図。
【図３】本発明の第１の実施の形態の照合器の動作を示すフローチャート。
【図４】本発明の第２の実施の形態で撮影された画像の例を示す図。
【図５】本発明の第２の実施の形態の照合器の動作を示すフローチャート。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a distance distribution detecting device based on stereo vision used for monitoring the front of a vehicle and the like.
[0002]
[Prior art]
As a distance distribution detecting device based on stereo vision used for monitoring the front of a vehicle, for example, a vehicle exterior monitoring device described in Patent Document 1 is generally known.
[0003]
In the vehicle exterior monitoring device described in Patent Literature 1, when obtaining a distance image, stereo matching is performed by a correlation method with a fixed region size, and the spatial resolution is set to a value required for object detection in a distant place. Fixed and seek distance. For this reason, the area size is 4 × 4 pixels, and the resolution of the parallax is set to one pixel accuracy and high resolution of the image.
[0004]
The correlation at the time of obtaining the parallax is measured by using a sum of absolute differences (SAD) having a relatively small processing amount. Other indices for measuring the correlation include, for example, the sum of squares of the difference, and a method using a normalized correlation or the like is generally and widely used.
[0005]
The following equation (1) shows the calculation formula of the correlation index S at the point (x, y | 0 ≦ x <V, 0 ≦ y <H) when performing stereo matching using the sum of absolute differences (SAD).
(Equation 1)

[0006]
here,
S: Correlation index (a value of d that minimizes this value (0 ≦ d ≦ D _max ) is obtained as a parallax at the point (x, y).)
Ir: comparison amount (lightness, etc.) at each comparison point of the image taken by the right camera
Il: comparison amount M at each comparison point of the same time image taken by the left camera M: correlation area size (vertical direction)
N: Correlation area size (horizontal direction)
H: Analyzed image size (vertical direction)
V: Analyzed image size (horizontal direction)
D _max : parallax search width
As can be seen from equation (1), the amount of calculation for image analysis depends on the type of correlation and the like when performing stereo matching, and in particular, the size (M × N) of the correlation area (partial image) and the size of the image ( V × H) and the size D _max of the search range of the parallax d and the like.
[0008]
Further, in the method according to the prior art described above, since the distance is obtained over the entire distance range with a fixed value of spatial resolution required for detecting a distant object, the correlation area size is as small as 4 × 4 pixels, and the resolution of the parallax is also small. It has one pixel accuracy.
[0009]
The distance distribution detection device described in Patent Literature 2 changes the resolution of parallax according to the distance to be obtained, thereby reducing calculation cost and collation errors.
[0010]
[Patent Document 1]
Japanese Patent Application Laid-Open No. Hei 5-26547 [Patent Document 2]
JP 2001-126565 A
[Problems to be solved by the invention]
However, since the apparent size of the object is inversely proportional to the distance, if the resolution of the parallax is constant as in Patent Document 1, the resolution of the distance becomes smaller as the distance becomes shorter. For an object at a short distance, the distance is calculated with an unnecessarily high resolution. As a result, in post-processing for detecting an object from a distance image, an enormous distance value needs to be handled for an object at a short distance, and the processing amount is enormous.
[0012]
Further, when the correlation calculation is performed with a small region size, the pattern feature in the region is reduced, so that there is a problem that a matching error is likely to occur. In addition, there is a problem that the calculation cost of obtaining a distance value with high resolution itself is large.
[0013]
That is, in the conventional method, since the stereo matching process is collectively performed at a required spatial resolution at a long distance without depending on the distance range, that is, the distance is obtained while the correlation region size is constant and the suggestive search resolution is constant. Therefore, the resolution (distance direction, parallax angle direction) of an obtained distance image of an object at a short distance becomes unnecessarily fine, which has been a problem in terms of processing performance and reliability of an output result. .
[0014]
The present invention has been made to solve the above-described problems, and has as its object the analysis processing overhead (memory overhead, memory overhead, memory overhead, etc.) generated by obtaining a distance with an unnecessarily high spatial resolution as described above. CPU, overhead, etc.) and the associated matching errors.
[0015]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a distance distribution detecting apparatus for obtaining a distance distribution of a captured object by analyzing images captured from a plurality of viewpoints having different spatial positions. When comparing the partial images to be analyzed units of the image and calculating the distance, the height of the spatial resolution in the distance direction or the parallax angle direction depends on the distance range to which the partial image is estimated to belong. The spatial resolution selecting means, wherein the lower area of the image is a short distance range, the upper area is a long distance range, and the height of the spatial resolution increases toward the top of the image. Is set continuously or stepwise so as to increase.
[0016]
A second means is that the spatial resolution selecting means is configured to search for parallax at the time of collation of a partial image belonging to a distance range longer than the short distance range based on a distance analysis result of the partial image belonging to the short distance range. It is characterized in that an area is set.
[0017]
Function and effect of the present invention
In the conventional method, the stereo matching process is performed collectively at a required resolution at a distance irrespective of the distance area, that is, to obtain a distance with a fixed correlation region size, a fixed correlation calculation interval, and a fixed parallax search resolution. However, there is a problem that the resolution of a distance image obtained from an object at a short distance becomes unnecessarily fine.
[0018]
According to the above-described means of the present invention, matching can be performed with a necessary and sufficient resolution according to a required distance, and a necessary and sufficient distance value can be obtained according to each distance. In addition, a distance area is set based on the vertical position of the image, and matching can be performed at a necessary and sufficient resolution at each distance, so that matching errors can be reduced. Further, the processing amount can be reduced as compared with the case where the distance is calculated with an unnecessarily high resolution, and the processing can be speeded up.
[0019]
Further, according to the second means, the far-distance value is obtained by the close-range area collation means, and the obtained value is used as the predicted value of the far-distance area collation means to control (limit) the search parallax range. By controlling the resolution of (i.e., changing the density for calculating parallax), the processing amount can be further reduced. In addition, by limiting the parallax search range, it is possible to reduce the error in the distance value due to a matching error.
In all configurations of the present invention, a distance value (distance image) can be obtained with a required resolution, so that post-processing such as object detection and shape estimation based on the distance image can be easily performed. In addition, the processing time can be significantly reduced as compared with the conventional method for obtaining a distance value with a higher resolution than necessary. Further, the control of the parallax search range based on the predicted value of the distance and the control of the density of collation can further increase the speed and reduce collation errors.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First Embodiment)
FIG. 1 shows the overall configuration of the first embodiment of the distance measuring device. Images captured by the two cameras 11 and 21 are digitized by A /

D converters

12 and 22. The camera 11 captures a right image, and the camera 21 captures a left image. The left and right images are input to the resolution converter 30.
[0022]
The resolution converter 30 converts the input image into images of three resolutions in order to obtain a necessary and sufficient spatial resolution in a distance range. In the present embodiment, images with three resolutions are obtained to make three distance areas. That is, an image of the resolution of the input image as it is for long distance area comparison, an image of 1/2 resolution for medium distance area comparison, and an image of 1/4 resolution for short distance area comparison are obtained.
[0023]
In the present embodiment, as shown in FIG. 2, the distance area divides a captured image into three types of distance areas. The lower half of the image is a short distance area (area 1). An image 1/4 located above the area 1 is defined as a medium distance area (area 2). The upper quarter of the remaining image is set as a long distance area.
[0024]
Next, the spatial filter 40 performs spatial filter processing for the purpose of compensating for the brightness difference between the left and right images and improving the matching by emphasizing the density change. For this purpose, a primary and secondary differential filter, a DC component removing filter, and the like are used.
[0025]
The collation unit 60 performs collation of the left and right images on the image subjected to the spatial filtering. The corresponding point between the left and right images (the same point in the left image as the right image) is searched. The search method uses a sum of absolute differences (SAD), which requires a relatively small amount of calculation. The sum of squares of differences or normalized correlation may be used. Although the area size of the correlation is set to 3 × 3 pixels, a size such as 2 × 2 or 5 × 5 pixels may be used as necessary. The pixel interval for calculating the distance image was one pixel interval. This may be determined according to the required resolution of the range image. The stereo collation position is the minimum value of the SAD residual (sCorr) representing the degree of collation, the gradient value (sGrad) of the residual at the minimum value of the SAD representing the uniqueness of the collation degree, and the pattern of the pattern showing the ease of correspondence. The collation degree (reliability) is evaluated from the first derivative absolute value (sChdiv) or the like representing the existence, and when the collation is obtained, the distance value of the position is calculated.
[0026]
In the matching processing for each distance area, in order to obtain a necessary and sufficient spatial resolution of the distance image, the matching is performed by limiting the parallax search area for each distance area. For example, the parallax search range is limited as follows. The necessary and sufficient spatial resolution (distance accuracy) is 0.3 m, focal length F = 16 mm, base line B = 0.30 mm, cell size α = 9.9 μm (1/2 inch CCD, 640 × 480 pixels) In the case of the stereo camera described above, the matching means for the short distance area is used for the parallaxes 128 to 112, the matching means for the medium distance is used for the parallaxes 112 to 56, and the matching means for the long distance area is used for the parallaxes of 56 or less.
[0027]
The flow of the process in the collator 50 is shown in the flowchart of FIG. First, it is determined in which area the pixel to be compared is located. If the pixel position is in the area 1, the collation processing for the short distance area is performed (S10).
[0028]
The collation processing for the short distance area limits the parallax search area to 128 to 112 (S31). An image of 1/4 resolution used for comparison is obtained (S32). A distance value is obtained by the matching process (S33) (S34). If the pixel position is not in the area 1, it is determined whether or not it is in the area 2 (S20). If it is in the area 2, the comparison processing for the middle distance area is performed.
[0029]
The matching process for the middle distance area limits the parallax search area to 112 to 56 (S41). A 1/2 resolution image to be used for comparison is obtained (S42). The distance value is obtained by the matching process (S43) (S44). If the pixel position is not in the area 2, that is, if the pixel position is in the area 3, processing for a long-distance area is performed.
[0030]
The matching processing for the long-distance area limits the parallax search area to 56 or less (S51). The original image is used for collation (S52). The distance value is obtained by the matching process (S53) (S54). If the processing has been completed for all pixels (S60), the distances calculated by the distance area matching means are combined to detect the distance distribution of the entire image.
[0031]
In the present embodiment, the matching unit 60 determines the pixel position in the image and performs the processing for each corresponding area. However, prior to the resolution conversion, the original image is divided for each area. Is also good. In addition, although the location of the pixel is determined from the area 1, the determination may be made from the area 3.
[0032]
(Second embodiment)
The second embodiment is intended to cope with the case where there is a short-distance object that appears in the entire screen in the first embodiment. When there is a large object at a short distance, an object at a short distance is also captured in the area 3 (FIG. 4). In the case of the first embodiment, since the parallax of the short-distance object shown in the area 3 is limited, the collation cannot be performed. In the second embodiment, first, the matching is started from the short distance area (area 1), and in the middle distance area (area 2), the parallax search range is set with reference to the matching result in the short distance area (area 1). I do. Similarly, in the long distance area (area 3), the parallax search area is set with reference to the matching result in the middle distance area (area 2).
[0033]
The flow of the process in the collator 60 is shown in the flowchart of FIG. First, it is determined in which area the pixel to be compared is located (S10). When the pixel position is in the area 1, the collation processing for the short distance area is performed.
[0034]
In the collation processing for the short distance area, collation is performed with the parallax search area limited to 128 to 112 (S31). An image of 1/4 resolution used for comparison is obtained (S32). A distance value is obtained by the matching process (S33) (S34). If the pixel position is not in the area 1, it is determined whether or not it is in the area 2 (S20). If it is in the area 2, the comparison processing for the middle distance area is performed.
[0035]
In the matching process for the middle-range area, the parallax search area is determined with reference to the parallax obtained by the matching process in the close-range area. For example, in the collation processing for the short distance area, it is determined whether or not the collation is obtained (S70). If the collation is obtained with the parallax 120 as the farthest distance, the parallax search area is limited to 120 to 56. Collation is performed (S45). This is because the object existing in the area 2 is located at a position farther than the object existing in the area 1. Note that, although the area is set to be from the area 120, it is needless to say that the area may have a width such as, for example, the parallax 122 instead of the parallax obtained by matching in the area 1. If no collation is obtained in the collation processing for the short distance area, the predetermined parallax search areas 112 to 56 are used (S41). An image of 1/2 resolution used for comparison is obtained (S42). The distance value (S44) is obtained by the matching process (S43). If the pixel position is not in the area 2, that is, in the area 3, the processing for the long distance area is performed.
[0036]
In the matching process for the long-distance area, the disparity search area is determined with reference to the disparity obtained in the matching process for the middle-distance area. For example, it is determined whether or not the collation is obtained in the collation processing for the short distance area (S80). If the collation is obtained with the parallax of 100 as the farthest distance, the collation is limited to the parallax search area of 100 or less ( S55). This is because the object existing in the area 3 is located at a position farther than the object existing in the area 2. Although the parallax is set to 100 or less, it is of course possible to give a width, for example, from parallax 102 instead of parallax obtained by matching in region 2. If no matching is obtained in the matching process for the medium distance area, the matching is limited to the predetermined parallax search area 56 or less (S51). The original image is used for collation (S52). The distance value (S54) is obtained by the matching process (S53). When the processing is completed for all pixels (S60), the distances calculated by the respective distance area matching means are combined to detect the distance distribution of the entire image. .
[0037]
As described above, according to the present embodiment, since the parallax search range is obtained based on the matching result obtained in the short distance area, it is possible to deal with a large object at a short distance.
[0038]
It should be noted that the distance distribution detecting device of the present invention is not limited to the illustrated example described above, and it is needless to say that various changes can be made without departing from the gist of the present invention.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an embodiment of the present invention.
FIG. 2 is a diagram showing an example of image division according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing the operation of the collator according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of an image captured according to a second embodiment of the present invention.
FIG. 5 is a flowchart showing an operation of the collator according to the second embodiment of the present invention.

Claims

空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、
前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、
前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって前記空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする距離分布検知装置。By analyzing images taken from a plurality of viewpoints having different spatial positions, in a distance distribution detecting device that obtains a distance distribution of a captured object,
When comparing the partial images to be analyzed units of the image and calculating the distance, the height of the spatial resolution in the distance direction or the parallax angle direction depends on the distance range to which the partial image belongs. Having a spatial resolution selecting means for selecting,
The spatial resolution selection means is continuous or stepwise so that the lower region of the image is a short distance range, the upper region is a long distance range, and the spatial resolution is increased toward the top of the image. A distance distribution detection device, characterized in that:

前記空間分解能選択手段は、近距離レンジに属する前記部分画像の距離解析結果に基づいて、前記近距離レンジよりも遠い距離レンジに属する前記部分画像の照合の際の視差探索領域を設定することを特徴とする請求項１に記載の距離分布検知装置。The spatial resolution selection unit may set a parallax search area at the time of matching of the partial images belonging to a distance range farther than the short distance range based on a distance analysis result of the partial images belonging to a short distance range. The distance distribution detecting device according to claim 1, wherein