JP3367170B2 - Obstacle detection device - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は障害物検出装置に係り、
より詳しくは、複数の障害物を分離して障害物領域を正
確に推定する障害物検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an obstacle detecting device,
More specifically, the present invention relates to an obstacle detection device that separates a plurality of obstacles and accurately estimates an obstacle region.

【０００２】[0002]

【従来の技術】自動車等において障害物との衝突を回避
するために、障害物を検出する障害物検出装置が開発さ
れている。この障害物検出装置は、物体との距離を計測
するレーザレーダ等のセンサを車両に固定して取り付
け、センサによって計測された距離値によって、障害物
を検出しているが、道路の同じ走行レーン上の先行車等
の障害物を検出する場合に道路の曲率が大きい（曲率半
径が小さい）場合には対応できない、他の走行レーンや
周辺の障害物の検出に使用できない、障害物の大きさ及
び形状等が検出できない等のため、適用範囲が制限され
るという問題がある。2. Description of the Related Art An obstacle detecting device for detecting an obstacle has been developed in order to avoid collision with an obstacle in an automobile or the like. This obstacle detection device has a sensor such as a laser radar that measures the distance to an object fixedly attached to the vehicle and detects an obstacle based on the distance value measured by the sensor. When detecting an obstacle such as the preceding vehicle above, when the curvature of the road is large (the radius of curvature is small), it cannot be supported, it cannot be used to detect other traveling lanes or surrounding obstacles, the size of the obstacle In addition, there is a problem that the applicable range is limited because the shape and the like cannot be detected.

【０００３】この問題を解決するため、ステレオ視と呼
ばれる異なる位置で撮影した複数のＴＶカメラ画像間の
照合処理によって得られる距離画像や、レーザレーダ等
を用いてレーザ光を２次元または１次元に走査したり、
レーザレーダ等のセンサを複数個配置したりすることに
より得られる距離画像に基づき、障害物を検出する方法
が開発されている。In order to solve this problem, a distance image obtained by collation processing between a plurality of TV camera images photographed at different positions, which is called stereoscopic vision, or a laser radar or the like is used to make laser light two-dimensional or one-dimensional. Scan,
A method for detecting an obstacle based on a distance image obtained by arranging a plurality of sensors such as a laser radar has been developed.

【０００４】この距離画像に基づき障害物を検出する方
法に関して、例えば、電子通信学会春季全国大会予稿集
（１９９２年Ｄ−４１０「三次元画像情報を用いた道路
形状と障害物の認識」）には、距離画像から地平面の小
領域毎の高さ方向の物体の分布を前方の距離を横軸とし
たヒストグラムで表し、ヒストグラムが大きな値を持つ
領域が連続する時、その領域を統合して一個の障害物と
みなす技術が示されている。Regarding a method of detecting an obstacle based on this range image, for example, in Proceedings of the Spring National Convention of the Institute of Electronics and Communication Engineers (1992 D-410 "Recognition of road shape and obstacle using three-dimensional image information"). Represents the distribution of the object in the height direction for each small area of the horizon from the distance image in a histogram with the front distance as the horizontal axis, and when areas with large histogram values are continuous, those areas are integrated. The technique to be regarded as one obstacle is shown.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、実際の
道路の状況には、車両周辺に電柱等の構造物があった
り、複数の２輪車、４輪車等が隣接して存在したり、画
像中で複数の車両等の障害物が重なっており、一方が他
方の一部を隠していたり、信号機、標識、看板等の空中
に浮遊して見える障害物が存在したりする。However, in an actual road situation, there are structures such as utility poles around the vehicle, a plurality of two-wheeled vehicles, four-wheeled vehicles, etc. are adjacent to each other, and There are obstacles such as a plurality of vehicles overlapped with each other, and one of them obscures a part of the other, and there are obstacles such as traffic lights, signs, and signs that appear to float in the air.

【０００６】一方、得られた距離画像は、障害物の全て
の点での距離値が求まらないことから距離値の欠落があ
り、また誤った距離値を持つ点が存在する等の特性を有
している。On the other hand, in the obtained range image, since the range values at all points of the obstacle cannot be obtained, there are missing range values, and there are points having incorrect range values. have.

【０００７】そのため、地平面の小領域毎のヒストグラ
ムから障害物領域を判断する従来の技術では、以下の問
題点が生じる。Therefore, the conventional technique for determining the obstacle region from the histogram for each small region on the ground plane has the following problems.

【０００８】障害物の連続性を地平面の小領域毎のヒ
ストグラムが大きな値を持つ領域の連続性で判断してい
るため、特に距離値が欠落したり誤差をもっている場合
には、障害物が隣接している時、その障害物が１つの障
害物なのか、複数の隣接した障害物なのかを判断するの
が困難である。Since the continuity of the obstacle is judged by the continuity of the area where the histogram for each small area of the horizon has a large value, the obstacle is detected especially when the distance value is missing or has an error. When adjacent, it is difficult to determine whether the obstacle is one obstacle or a plurality of adjacent obstacles.

【０００９】障害物の連続性を地平面の小領域毎のヒ
ストグラムが大きな値を持つ領域の連続性で判断してい
るため、障害物の重なりにより隠された障害物の距離値
が欠落することに対応できず、隠された障害物の領域判
定が困難である。Since the continuity of the obstacle is judged by the continuity of the area where the histogram for each small area of the horizon has a large value, the distance value of the hidden obstacle is missing due to the overlapping of the obstacles. Therefore, it is difficult to determine the area of hidden obstacles.

【００１０】地平面の小領域毎のヒストグラムに変換
して障害物領域を推定しているため、障害物の形状、特
にその障害物の高さや、空中に浮遊して見える障害物の
空間上の位置を判断するのが困難である。Since the obstacle area is estimated by converting it into a histogram for each small area on the ground plane, the shape of the obstacle, particularly the height of the obstacle and the space of the obstacle which appears to float in the air, are observed. It is difficult to determine the position.

【００１１】従って、画像を用いたステレオ視や、レー
ザ光等を走査することにより得た距離画像に基づき障害
物を検出するためには、従来技術のような地平面の小領
域毎のヒストグラムから判断する単純な方法では、上述
したような問題点が生じ、障害物の検出が正しく行なえ
ない。Therefore, in order to detect an obstacle based on a stereoscopic view using an image or a distance image obtained by scanning a laser beam or the like, in order to detect an obstacle, a histogram for each small area of the ground plane as in the prior art is used. The simple method of determining causes the above-mentioned problems and cannot correctly detect an obstacle.

【００１２】本発明は上記事情を鑑みてなされたもの
で、実際の道路における障害物の状況に対して、画像を
用いたステレオ視等により得られた距離値に欠落、誤差
を含む距離画像であっても、複数の障害物を分離して、
障害物領域を正確に推定できる障害物検出装置を提供す
ることを目的とする。The present invention has been made in view of the above circumstances, and a distance image including an error in a distance value obtained by stereoscopic vision using an image with respect to an actual obstacle situation on a road is displayed. Even if there are multiple obstacles,
An object of the present invention is to provide an obstacle detection device capable of accurately estimating an obstacle area.

【００１３】[0013]

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る障害物検出装置は、基準位置から障害
物の各点までの距離値の分布を有する距離画像を算出す
る距離画像算出手段と、前記距離画像算出手段で算出さ
れた距離画像を探索し、障害物領域の推定対象とする小
領域を選択する障害物選択手段と、前記障害物選択手段
で選択された小領域の距離値と該小領域との連続性を評
価するための評価部分の距離値との大きさの比較結果
と、前記小領域と前記評価部分との遠近関係とに基づい
て、小領域と評価部分との連続可能性を判定する障害物
連続性判定手段と、前記障害物連続性判定手段で判定さ
れた連続可能性の判定結果に基づいて、障害物領域を推
定する障害物領域推定手段と、を含んで構成したもので
ある。なお、第１の発明は、図１に示すように、基準位
置から障害物の各点までの距離値の分布を有する距離画
像を算出する距離画像算出手段Ａと、前記距離画像算出
手段Ａで算出された距離画像を探索し、障害物領域の推
定対象とする小領域を選択する障害物選択手段Ｂと、前
記障害物選択手段Ｂで選択された小領域の距離値と、該
小領域との連続性を評価するための評価部分の距離値と
の大きさを比較して、小領域と評価部分との連続可能性
（連続の可能性）を判定する障害物連続性判定手段Ｃ
と、前記障害物連続性判定手段Ｃで判定された連続可能
性の判定結果に基づいて、障害物領域を推定する障害物
領域推定手段Ｄと、を含んで構成したものである。In order to achieve the above object, the obstacle detecting device according to the present invention is designed to prevent an obstacle from a reference position.
Calculate a range image with a distribution of distance values to each point of an object
Distance image calculation means and the distance image calculation means
Small distance image that is the target of obstacle area estimation.
Obstacle selecting means for selecting a region, and the obstacle selecting means
The continuity between the distance value of the small area selected by and the small area is evaluated.
Comparison result of size with distance value of evaluation part to evaluate
And a perspective relationship between the small area and the evaluation portion.
An obstacle that determines the continuity of a small area and an evaluation part
Continuity judgment means and the obstacle continuity judgment means
The obstacle area is estimated based on the determined continuity possibility.
The obstacle area estimation means to determine
is there. In the first invention, as shown in FIG. 1, a distance image calculating unit A for calculating a distance image having a distribution of distance values from a reference position to each point of an obstacle, and the distance image calculating unit A. Obstacle selecting means B for searching the calculated distance image and selecting a small area to be an obstacle area estimation target, a distance value of the small area selected by the obstacle selecting means B, and the small area Obstacle continuity determination means C for determining the continuity (possibility of continuity) between the small area and the evaluation part by comparing the magnitude with the distance value of the evaluation part for evaluating the continuity of
And an obstacle area estimation means D for estimating an obstacle area based on the continuity possibility determination result determined by the obstacle continuity determination means C.

【００１４】[0014]

【作用】本発明に係る障害物検出装置によれば、小領域
の距離値と該小領域との連続性を評価するための評価部
分の距離値との大きさの比較結果と、前記小領域と前記
評価部分との遠近関係とに基づいて、小領域と評価部分
との連続可能性を判定することにより、幾つかの状況で
障害物領域を推定する効果を高めることができる。第１
の発明は、障害物の遠近関係に関しては、複数の障害物
は各々一塊として存在し、距離が近い障害物を通してこ
の障害物の後に位置する距離が遠い障害物の距離は観測
できない、という知識に基づくものである。例えば、図
２に示す場合１〜場合４については、ある検出対象とす
る障害物とその障害物に対して連続性を評価する評価部
分との連続可能性を、得られた距離値に基づいて以下の
ように判断することができる。 場合１：評価部分の距離値が検出対象の障害物の距離値
と等しい場合： 評価部分にも検出対象の障害物の一部分が連続して存在
している可能性が高い。 場合２：評価部分の距離値が検出対象の障害物の距離値
より遠い場合： 評価部分に検出対象の障害物が連続して存在している可
能性は低い。 場合３：評価部分の距離値が検出対象の障害物の距離値
より近い場合： 評価部分にも検出対象の障害物の一部分が連続して存在
している可能性がある。 場合４：評価部分の距離値が得られない場合： 評価部分にも検出対象の障害物の一部分が連続して存在
している可能性がある。 According to the obstacle detection device of the present invention, the small area
Evaluation unit for evaluating the continuity between the distance value of the object and the small area
Minute distance value and the size comparison result, the small area and the
Small area and evaluation part based on perspective relationship with evaluation part
In some situations by determining the likelihood of continuity with
The effect of estimating the obstacle area can be enhanced. First
In regard to the perspective relationship of obstacles, the invention of 1) is based on the knowledge that a plurality of obstacles exist as a single block, and the distance of an obstacle located behind this obstacle cannot be observed through the obstacles close in distance. It is based. For example, in case 1 to case 4 shown in FIG. 2, the continuity of the obstacle to be detected and the evaluation portion for evaluating the continuity with respect to the obstacle is determined based on the obtained distance value. It can be judged as follows. Case 1: When the distance value of the evaluation portion is equal to the distance value of the obstacle to be detected: It is highly possible that a part of the obstacle to be detected also exists continuously in the evaluation portion. Case 2: When the distance value of the evaluation portion is farther than the distance value of the obstacle of the detection target: It is unlikely that the obstacle of the detection target is present continuously in the evaluation portion. Case 3: When the distance value of the evaluation part is closer than the distance value of the obstacle to be detected: There is a possibility that a part of the obstacle to be detected also exists continuously in the evaluation part. Case 4: When the distance value of the evaluation portion cannot be obtained: There is a possibility that a part of the obstacle to be detected exists continuously in the evaluation portion.

【００１５】そこで本発明は、距離画像算出手段Ａで基
準位置から障害物の各点までの距離値の分布を有する距
離画像を算出し、障害物選択手段Ｂで距離画像算出手段
Ａで算出された距離画像を探索し、障害物領域の推定対
象とする少なくとも１つの小領域を選択する。障害物連
続性判定手段Ｃは、障害物選択手段Ｂで選択された小領
域の距離値と、この小領域との連続性を評価するための
評価部分の距離値との大きさを比較して、小領域と評価
部分との連続可能性を判定する。小領域の距離値と評価
部分の距離値とは、例えば上記の場合１〜場合４のよう
な関係があるので、これらの関係を利用して小領域の距
離値と評価部分の距離値との大きさを比較することで小
領域と評価部分との連続可能性を判定する。そして、障
害物領域推定手段Ｄで、障害物連続性判定手段Ｃで判定
された連続可能性の判定結果に基づいて、例えば、連続
可能性が高い領域を統合する等により、検出対象とする
障害物領域を推定する。Therefore, in the present invention, the distance image calculating means A calculates a distance image having a distribution of distance values from the reference position to each point of the obstacle, and the obstacle selecting means B calculates it by the distance image calculating means A. The distance image is searched, and at least one small area to be an obstacle area estimation target is selected. The obstacle continuity determining means C compares the distance value of the small area selected by the obstacle selecting means B with the distance value of the evaluation portion for evaluating the continuity with the small area. , The continuity of the small area and the evaluation portion is determined. Since the distance value of the small area and the distance value of the evaluation portion have a relationship such as the above cases 1 to 4, for example, the relationship between the distance value of the small area and the distance value of the evaluation portion is used. By comparing the sizes, the possibility of continuity between the small area and the evaluation portion is determined. Then, based on the determination result of the continuity possibility determined by the obstacle continuity determination means C by the obstacle region estimation means D, for example, by integrating the regions with high continuity possibility, the obstacle to be detected is detected. Estimate the object area.

【００１６】[0016]

【その他の発明】次に、障害物領域の推定精度を更に高
めるその他の発明について説明する。第２の発明は、図
３に示すように、第１の発明に検出対象とする障害物に
関する１種または多種の形状データを記憶する障害物形
状データ記憶手段Ｅを更に設けたものである。[Other Inventions] Next, other inventions for further increasing the accuracy of estimating the obstacle region will be described. As shown in FIG. 3, the second aspect of the present invention further includes an obstacle shape data storage means E for storing one or various types of shape data regarding the obstacle to be detected in the first aspect of the invention.

【００１７】本発明では、障害物形状データ記憶手段Ｅ
に、検出対象とする障害物に関する１種または多種の形
状データを予め記憶し、距離画像算出手段Ａで基準位置
から障害物の各点までの距離値の分布を有する距離画像
を算出し、障害物選択手段Ｂで距離画像算出手段Ａで算
出された距離画像を探索し、障害物領域の推定対象とす
る小領域を選択し、障害物連続性判定手段Ｃで、障害物
選択手段Ｂで選択された小領域の距離値と、この小領域
との連続性を評価するための評価部分の距離値との大き
さを比較して、小領域と評価部分との連続可能性を判定
し、障害物領域推定手段Ｄで、障害物連続性判定手段Ｃ
で判定された連続可能性の判定結果と障害物形状データ
記憶手段Ｅに記憶された障害物の形状データとに基づい
て、障害物領域を推定する。In the present invention, the obstacle shape data storage means E is used.
In advance, one or various shape data regarding the obstacle to be detected is stored in advance, and the distance image calculating means A calculates a distance image having a distribution of distance values from the reference position to each point of the obstacle, The object selecting means B searches the distance image calculated by the distance image calculating means A, selects a small area to be an obstacle area estimation target, and the obstacle continuity determining means C selects the obstacle selecting means B. The distance value of the small area and the distance value of the evaluation part for evaluating continuity with this small area are compared to determine the continuity of the small area and the evaluation part, The obstacle area estimation means D and the obstacle continuity determination means C
The obstacle area is estimated based on the determination result of the continuity determined in step 1 and the obstacle shape data stored in the obstacle shape data storage unit E.

【００１８】状況に応じて障害物の形状はある程度特定
でき、例えば、道路における障害物は、各種車両や歩行
者等その種類はある程度特定できる。そのため、障害物
の形状の知識を用いると障害物領域がより正確に推定で
きる。形状データとしては、障害物の実際の幅、高さ、
奥行き、四角形等の単純な形状や更に複雑な形状等を用
いることができる。Depending on the situation, the shape of the obstacle can be specified to some extent. For example, the types of obstacles on the road such as various vehicles and pedestrians can be specified to some extent. Therefore, if the knowledge of the shape of the obstacle is used, the obstacle area can be estimated more accurately. As the shape data, the actual width and height of the obstacle,
A simple shape such as depth and quadrangle, or a more complicated shape can be used.

【００１９】本発明では、例えば、図４に示すように、
障害物は長方形である、という形状データを使用して近
距離に存在する障害物の背後に位置する障害物を検出す
る場合、形状データ（形状知識）が無い場合と比較して
障害物の存在する領域の正確な推定が可能になる。In the present invention, for example, as shown in FIG.
When an obstacle located behind an obstacle existing at a short distance is detected using shape data that the obstacle is rectangular, the existence of the obstacle is greater than when there is no shape data (shape knowledge). It is possible to accurately estimate the area to be processed.

【００２０】本発明によれば、障害物領域を推定する際
に障害物の形状のデータを利用できるので、第１発明で
示した幾つかの状況で障害物領域を推定する効果が更に
高まる。According to the present invention, since the shape data of the obstacle can be used when estimating the obstacle area, the effect of estimating the obstacle area is further enhanced in some situations shown in the first invention.

【００２１】第３の発明は、図５に示すように、第１の
発明の障害物検出装置に距離値の信頼度の分布を算出す
る信頼度算出手段Ｆを更に設けたものである。As shown in FIG. 5, a third aspect of the invention is the obstacle detecting device of the first aspect of the present invention further provided with reliability calculation means F for calculating the distribution of reliability of distance values.

【００２２】本発明では、距離画像算出手段Ａで基準位
置から障害物の各点までの距離値の分布を算出すると共
に信頼度算出手段Ｆで距離値に対応する信頼度の分布を
算出し、距離値の分布及び信頼度の分布を有する距離画
像を求める。障害物選択手段Ｂで距離画像算出手段Ａで
算出された距離画像を探索し、障害物領域の推定対象と
する小領域を選択し、障害物連続性判定手段Ｃで、障害
物選択手段Ｂで選択された小領域の距離値と、この小領
域との連続性を評価する評価部分の距離値との大きさを
比較すると共に信頼度算出手段Ｆで算出された信頼度を
考慮して、小領域と評価部分との連続可能性を判定し、
障害物領域推定手段Ｄで、障害物連続性判定手段Ｃで判
定された連続可能性の判定結果に基づいて、検出対象と
する最も可能性が高い障害物領域を推定する。In the present invention, the distance image calculation means A calculates the distribution of distance values from the reference position to each point of the obstacle, and the reliability calculation means F calculates the distribution of reliability values corresponding to the distance values. A range image having a distribution of distance values and a distribution of reliability is obtained. The obstacle selecting means B searches the distance image calculated by the distance image calculating means A, selects a small area to be an obstacle area estimation target, and the obstacle continuity determining means C uses the obstacle selecting means B to select the small area. In consideration of the reliability calculated by the reliability calculation means F, the small value is compared with the distance value of the selected small area and the distance value of the evaluation portion for evaluating the continuity with the small area. Determine the continuity of the area and the evaluation part,
The obstacle area estimation means D estimates the obstacle area having the highest possibility of being a detection target based on the determination result of the continuity possibility determined by the obstacle continuity determination means C.

【００２３】算出された距離値の分布に対して信頼度の
分布を算出することは可能である。例えば、画像を用い
たステレオ視では、画像の小領域毎の相関計算によっ
て、複数画像間の対応関係を調べる方法があるが、この
方法では、対応を計算する過程での最大相関値、最大相
関値付近の相関値分布の勾配、最大相関値と２番目に高
い値を持つ相関値分布のピーク値の差または割合等の値
を演算することで、この対応関係の信頼性を評価でき
る。また、同様に、その距離画像の距離値がある距離範
囲に存在することを示す信頼度も相関値等から算出でき
る。It is possible to calculate the reliability distribution with respect to the calculated distance value distribution. For example, in stereo vision using images, there is a method of checking the correspondence between a plurality of images by calculating the correlation for each small region of the image. In this method, the maximum correlation value and maximum correlation in the process of calculating the correspondence are used. The reliability of this correspondence relationship can be evaluated by calculating the slope of the correlation value distribution near the value, the difference between the maximum correlation value and the peak value of the correlation value distribution having the second highest value, or the ratio. Similarly, the reliability indicating that the distance value of the distance image exists in a certain distance range can be calculated from the correlation value or the like.

【００２４】評価部分と小領域との距離値を用いた連続
の可能性の判断結果に対して、距離値に対応する信頼度
を用いることにより、例えば以下のようにより正しい連
続の可能性の判断ができる。By using the reliability corresponding to the distance value for the determination result of the possibility of continuity using the distance value between the evaluation portion and the small area, for example, the correct possibility of continuity is determined as follows. You can

【００２５】距離値の信頼度が大きいときは距離値に
基づいて判定された連続の可能性は大きい。When the reliability of the distance value is high, the possibility of continuity determined based on the distance value is high.

【００２６】距離値の信頼度が小さいときは距離値に
基づいて判定された連続の可能性は小さい。When the reliability of the distance value is small, the possibility of continuity determined based on the distance value is small.

【００２７】本発明によれば、第１発明の場合に加え
て、小領域と評価領域との連続可能性を判定する際に、
距離値の信頼度を利用できるので、第１発明で示した幾
つかの状況で障害物領域を推定する効果が更に高まる。According to the present invention, in addition to the case of the first invention, when determining the continuity of the small area and the evaluation area,
Since the reliability of the distance value can be used, the effect of estimating the obstacle area is further enhanced in some situations described in the first invention.

【００２８】また、第１〜第３の発明に信頼度算出手段
Ｆを更に設け、障害物選択手段で、障害物の推定対象と
する少なくとも１つの小領域を選択する際にも、信頼度
を用いて、より信頼度の大きな距離値を有する小領域を
選択することにより、信頼度が小さい誤った距離値を有
する障害物領域推定の選択を抑制することができる。Further, the reliability calculation means F is further provided in the first to third inventions, and the reliability is also set when the obstacle selecting means selects at least one small area to be an obstacle estimation target. By using this to select a small area having a distance value with a higher reliability, it is possible to suppress selection of obstacle area estimation having an incorrect distance value with a low reliability.

【００２９】そして、第４の発明は、図６に示すよう
に、第１の発明の障害物検出装置に、濃淡画像の特徴か
ら障害物領域の連続可能性を判定する濃淡画像基準連続
判定手段Ｇを更に設けたものである。As shown in FIG. 6, the fourth aspect of the present invention is the obstacle detecting device of the first aspect of the present invention, wherein the grayscale image reference continuity determining means for determining the continuity of the obstacle region from the characteristics of the grayscale image. G is further provided.

【００３０】本発明では、距離画像算出手段Ａで基準位
置から障害物の各点までの距離値の分布を算出し、障害
物選択手段Ｂで距離画像算出手段Ａで算出された距離画
像を探索し、障害物領域の推定対象とする小領域を選択
し、障害物連続性判定手段Ｃで、障害物選択手段Ｂで選
択された小領域の距離値と、この小領域との連続性を評
価する評価部分の距離値との大きさを比較して、小領域
と評価部分との連続可能性を判定すると共に、濃淡画像
規準連続性判定手段Ｇで、濃淡画像の特徴から障害物領
域の連続可能性を判定し、障害物領域推定手段Ｄで、障
害物連続性判定手段Ｃで判定された連続可能性の判定結
果と濃淡画像規準連続性判定手段Ｇで判定された連続可
能性の判定結果とに基づいて、検出対象とする最も可能
性が高い障害物領域を推定する。In the present invention, the distance image calculation means A calculates the distribution of distance values from the reference position to each point of the obstacle, and the obstacle selection means B searches for the distance image calculated by the distance image calculation means A. Then, a small area to be estimated as an obstacle area is selected, and the obstacle continuity determination means C evaluates the distance value of the small area selected by the obstacle selection means B and the continuity with this small area. By comparing the size of the evaluation area with the distance value, the continuity of the small area and the evaluation area is determined, and the grayscale image standard continuity determination means G determines the continuity of the obstacle area from the characteristics of the grayscale image. The possibility is determined, and the obstacle area estimation unit D determines the continuity determination result determined by the obstacle continuity determination unit C and the continuity possibility determination result determined by the grayscale image standard continuity determination unit G. The most likely obstacle area to detect based on To estimate.

【００３１】濃淡画像としては、ＴＶカメラを用いたス
テレオ視による距離画像を用いる場合は、ＴＶカメラか
ら撮影した濃淡画像をそのまま利用でき、レーザ光等で
走査して距離画像を算出する場合には、別途用意したＴ
Ｖカメラで撮影した濃淡画像を利用する。As the grayscale image, when a stereoscopic range image using a TV camera is used, the grayscale image taken from the TV camera can be used as it is, and when a range image is calculated by scanning with a laser beam or the like. , T prepared separately
A grayscale image taken by a V camera is used.

【００３２】障害物領域の連続可能性を判断するための
情報としては、距離値以外に濃淡画像上での特徴（濃淡
値、濃淡値の分布、エッジ等）を用いるのが有効であ
る。濃淡値や濃淡値の分布が連続していれば、障害物が
連続している可能性が高まり、エッジが存在すれば、エ
ッジの境界で障害物が不連続である可能性があると判断
でき、またエッジが連続していれば障害物が連続してい
る可能性が高まる。As the information for determining the continuity of the obstacle area, it is effective to use the features (shading value, distribution of shading values, edges, etc.) on the shading image in addition to the distance value. If the gray value or the distribution of gray values is continuous, it is more likely that the obstacles are continuous, and if there is an edge, it can be judged that the obstacle may be discontinuous at the edge boundary. If the edges are continuous, the possibility that obstacles are continuous is increased.

【００３３】そこで、本発明では、障害物領域推定手段
で障害物領域を推定する時、障害物連続性判定手段の距
離画像に基づく障害物領域の連続可能性の判定結果に加
え、濃淡画像基準連続性判定手段の濃淡画像から得られ
る画像特徴に基づく障害物領域の連続可能性判定結果を
用いて、可能性の高い障害物領域を推定している。Therefore, in the present invention, when the obstacle region estimating means estimates the obstacle region, in addition to the determination result of the continuity of the obstacle region based on the distance image of the obstacle continuity determining means, the grayscale image reference is used. An obstacle region with a high possibility is estimated by using the continuity determination result of the obstacle region based on the image feature obtained from the grayscale image of the continuity determination means.

【００３４】本発明によれば、第１発明の場合に加え
て、障害物領域を推定する際に、濃淡画像の特徴から得
られた障害物領域の連続可能性の判定結果が利用できる
ので、第１発明で示した幾つかの状況で障害物領域を推
定する効果が更に高まる。According to the present invention, in addition to the case of the first invention, when estimating the obstacle region, the judgment result of the continuity of the obstacle region obtained from the characteristics of the grayscale image can be used. In some situations shown in the first invention, the effect of estimating the obstacle area is further enhanced.

【００３５】なお、上記第２〜４の発明は適宣組み合わ
せて、第１の発明と組み合わせるようにしてもよい。The second to fourth inventions may be combined appropriately and combined with the first invention.

【００３６】[0036]

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.

【００３７】図７は車両用障害物検出装置に第１〜第４
の発明を適用した第１実施例における障害物検出装置を
示すブロック図である。本実施例は、１対のＴＶカメラ
をＸ軸方向に一定間隔（ベースライン長）ａで配置した
平行ステレオ装置を利用して障害物を検出するものであ
る。FIG. 7 shows a vehicle obstacle detection device according to the first to fourth aspects.
FIG. 3 is a block diagram showing an obstacle detecting device in a first embodiment to which the invention of FIG. In this embodiment, an obstacle is detected by using a parallel stereo device in which a pair of TV cameras are arranged at a constant interval (baseline length) a in the X-axis direction.

【００３８】図に示すように、本実施例は、ＴＶカメラ
取り付け位置を基準位置として視差を利用して基準位置
から障害物までの距離値を小領域毎に演算すると共に、
距離値の信頼度を算出する信頼度算出手段２で算出され
た信頼度とこの距離値とを対にした多数の小領域からな
る画像を距離画像として記憶する距離画像算出手段１、
及びこの多数の小領域の中から障害物領域推定の対象と
する小領域を選択する障害物選択手段３を備えている。As shown in the figure, in this embodiment, the distance value from the reference position to the obstacle is calculated for each small area by using the parallax with the TV camera mounting position as the reference position.
A distance image calculation unit 1 that stores, as a distance image, an image composed of a large number of small areas each having a pair of the reliability calculated by the reliability calculation unit 2 that calculates the reliability of the distance value, and the distance value.
And an obstacle selecting means 3 for selecting a small region to be an obstacle region estimation target from the large number of small regions.

【００３９】距離画像算出手段１は、障害物選択手段３
で選択された小領域と、この小領域との連続性を評価す
るための評価部分との連続可能性を判定する障害物連続
性判定手段４、ＴＶカメラで撮像した濃淡画像の特徴か
ら小領域と評価部分との連続可能性を判定する濃淡画像
基準連続性判定手段５、障害物の形状データを予め記憶
させた障害物形状データ記憶手段６が接続されると共
に、障害物選択手段３によって選択された小領域につい
て、評価部分を変化させ、障害物連続性判定手段４によ
る各々の小領域に対する連続可能性の判定結果と、判断
濃淡画像基準連続性判定手段５の濃淡画像から得られる
画像特徴に基づく障害物領域の連続可能性判定結果と、
障害物形状データ記憶手段６に予め記憶した障害物の形
状データとを用いて可能性の高い領域を障害物領域とし
て推定する障害物領域推定手段７に接続されている。The distance image calculating means 1 is the obstacle selecting means 3
Obstacle continuity determination means 4 for determining the continuity of the small area selected in step 1 and the evaluation portion for evaluating the continuity between the small area and the small area based on the characteristics of the grayscale image captured by the TV camera. Image that determines the possibility of continuity between
The reference continuity determination means 5 and the obstacle shape data storage means 6 in which the shape data of the obstacles are stored in advance are connected, and the evaluation portion of the small area selected by the obstacle selection means 3 is changed to cause an obstacle. A continuity determination result for each small area by the object continuity determination means 4, and an obstacle area continuity determination result based on an image feature obtained from the grayscale image of the determination grayscale image reference continuity determination means 5;
The obstacle shape data storage means 6 is connected to an obstacle area estimation means 7 which estimates a highly probable area as an obstacle area by using the obstacle shape data stored in advance.

【００４０】なお、本実施例では距離値の分布を例えば
８画素×８画素又は４画素×４画素の小領域を単位とし
て算出しているが、その大きさはこれに限ることなく適
宣選択できる。In the present embodiment, the distribution of distance values is calculated in units of a small area of, for example, 8 pixels × 8 pixels or 4 pixels × 4 pixels, but the size is not limited to this and can be appropriately selected. it can.

【００４１】距離画像算出手段１は、図８に示すよう
に、平行ステレオ装置によりステレオ視して得られた右
入力画像Ｉ１及び左入力画像Ｉ２の各々の画像を入力す
る画像入力部１１、１２、相関演算検出の対象となる小
領域の画像であるテンプレートを、画像入力部１１から
入力した画像から切り出して記憶するテンプレートメモ
リ１３、テンプレートメモリ１３に記憶されたテンプレ
ートとの相関演算を行なうための画像を、画像入力部１
２から入力した画像から切り出して探索画像として記憶
する探索メモリ１４、テンプレートメモリ１３に記憶さ
れたテンプレートと探索メモリ１４に記憶された探索画
像との相関を示す相関値の演算を行なう相関値算出部１
５、相関値算出部１５で算出された相関値から最も相関
が高い位置を探索し、その小領域の距離値を算出する距
離値算出部１６、距離値算出部１６が算出した距離値と
信頼度算出手段２で各々の距離値に対応するように算出
された信頼度とを対にした多数の小領域を距離画像とし
て記憶し、障害物連続性判定手段４等からのアクセスに
応じて対応する小領域の距離値及び信頼値を対にして出
力する距離画像メモリ１７とを備えている。As shown in FIG. 8, the distance image calculation means 1 inputs the respective images of the right input image I1 and the left input image I2 obtained by stereoscopic viewing with a parallel stereo device, and image input units 11 and 12 for inputting the images. , A template memory 13 that cuts out and stores a template, which is an image of a small area to be subjected to correlation calculation detection, from an image input from the image input unit 11, and for performing correlation calculation with the template stored in the template memory 13. The image is input to the image input unit 1
A search memory 14 that is cut out from the image input from 2 and stored as a search image, a correlation value calculation unit that calculates a correlation value indicating the correlation between the template stored in the template memory 13 and the search image stored in the search memory 14. 1
5. A distance value calculation unit 16 that searches for a position with the highest correlation from the correlation values calculated by the correlation value calculation unit 15 and calculates the distance value of the small area, and the distance value calculated by the distance value calculation unit 16 and the reliability. A large number of small areas paired with the reliability calculated so as to correspond to each distance value by the degree calculation means 2 are stored as distance images, and the small areas are stored according to the access from the obstacle continuity determination means 4 and the like. And a distance image memory 17 for outputting the distance value and the reliability value of the small area as a pair.

【００４２】濃淡画像基準連続判定手段５は、図１１に
示すように、距離画像算出手段１の画像入力部１１から
入力した濃淡画像から画像の特徴を抽出する画像特徴抽
出部５１、画像特徴抽出部５１で抽出した画像の特徴を
記憶する特徴画像メモリ５２、障害物領域推定手段７の
アクセスに従い、小領域と評価部分間の連続可能性を判
定する特徴連続性判定部５３を備えている。この濃淡画
像基準連続判定手段５は、画像の特徴としてエッジを用
いて小領域と評価部分間の連続可能性を判定する。すな
わち、ある一続きのエッジが存在する場所に沿っては、
障害物は距離が滑らかに変化していることが多い、とい
う知識に基づき、画像上の障害物の連続可能性を判断す
る。As shown in FIG. 11, the gradation image reference continuity judging means 5 is an image characteristic extracting section 51 for extracting the characteristic of the image from the gradation image inputted from the image input section 11 of the distance image calculating means 1, and the image characteristic extracting section. A feature image memory 52 that stores the features of the images extracted by the unit 51, and a feature continuity determination unit 53 that determines the continuity between the small region and the evaluation portion according to the access of the obstacle region estimation unit 7. The grayscale image reference continuity determination means 5 determines the continuity of continuity between the small area and the evaluation portion by using the edge as a feature of the image. That is, along the place where a series of edges is,
The continuity of obstacles on the image is judged based on the knowledge that the obstacles often change in distance smoothly.

【００４３】また、障害物領域推定手段７は、図１２に
示すように、障害物選択手段３が選択した小領域のデー
タを記憶する選択障害物メモリ７１、障害物形状データ
記憶手段６に記憶した形状データに基づき選択障害物メ
モリ７１に記憶した小領域の１つ以上を含む領域を障害
物の領域候補として生成する領域候補生成部７２、領域
候補生成部７２で生成した障害物の領域候補に対し、障
害物連続性判定手段４と濃淡画像基準連続性判定手段５
とに領域候補に含まれる小領域と評価部分との連続可能
性の判定を要求するようアクセスし、判定値を得る連続
性評価部分設定部７３、連続性評価部分設定部７３にお
いて領域候補に含まれる評価部分の各々に対して得られ
た連続可能性の判定値を累積加算し、領域候補に対する
連続可能性の評価値を算出すると共に累積値が連続して
減少することを検出したときには累積加算を中断する累
積加算中断器を備えた連続性判定値累積加算部７４、領
域候補生成部７３で生成された１つ以上の領域候補に対
して、連続性判定値累積加算部７４で算出された連続可
能性の評価値に基づいて、最も高い連続可能性の評価値
を持つ領域候補を障害物の推定領域として選択する領域
選択部７５を備えている。As shown in FIG. 12, the obstacle area estimation means 7 stores in the obstacle shape data storage means 6 and the selected obstacle memory 71 which stores the data of the small area selected by the obstacle selection means 3. A region candidate generation unit 72 that generates a region including one or more of the small regions stored in the selected obstacle memory 71 based on the formed shape data as an obstacle region candidate, and an obstacle region candidate generated by the region candidate generation unit 72. On the other hand, the obstacle continuity determining means 4 and the grayscale image reference continuity determining means 5
Is included in the area candidates in the continuity evaluation portion setting unit 73 and the continuity evaluation portion setting unit 73 that are accessed to request the determination of the continuity of the small area included in the area candidate and the evaluation portion and obtain the determination value. The cumulative possibility judgment value obtained for each of the evaluated portions is cumulatively added, and the cumulative possibility evaluation value for the area candidate is calculated, and cumulative addition is detected when it is detected that the cumulative value continuously decreases. Calculated by the continuity determination value cumulative addition unit 74 for one or more region candidates generated by the continuity determination value cumulative addition unit 74 and region candidate generation unit 73, which includes a cumulative addition interrupter that interrupts An area selection unit 75 is provided that selects an area candidate having the highest evaluation value of continuity possibility as an estimated area of the obstacle based on the evaluation value of continuity possibility.

【００４４】次に、本実施例の動作を説明する。距離画
像算出手段１のテンプレートメモリ１３は、画像入力部
１１から入力された右入力画像から相関値演算を行なう
小領域であるテンプレートを切り出して記憶する。この
テンプレートの大きさ、形状、切り出し間隔等は、この
障害物検出装置を適用する環境の距離画像検出に適合し
たものを予め定めておく。本実施例ではテンプレートと
して正方形の小領域を採用した。Next, the operation of this embodiment will be described. The template memory 13 of the distance image calculation means 1 cuts out and stores a template, which is a small area for performing a correlation value calculation, from the right input image input from the image input unit 11. The size, shape, cutout interval, and the like of this template are determined in advance so as to be suitable for distance image detection of the environment to which this obstacle detection device is applied. In this embodiment, a small square area is used as the template.

【００４５】探索メモリ１４では、テンプレートメモリ
１３に記憶されたテンプレートに対して、エピポーラ条
件や障害物との最小距離の制約等で定まる、左入力画像
の探索範囲の小領域を切り出して探索画像として記憶す
る。In the search memory 14, for the template stored in the template memory 13, a small area in the search range of the left input image, which is determined by the epipolar condition, the constraint of the minimum distance to the obstacle, etc., is cut out as a search image. Remember.

【００４６】相関値算出部１５では、テンプレート内の
画像濃度値と探索画像内の各視差毎の画像濃度値との差
の絶対値の総和を相関値として検出する。この各視差毎
の相関値Ｃ（ｄ）は以下の（１）式により与えられる。The correlation value calculation unit 15 detects the sum of absolute values of the difference between the image density value in the template and the image density value for each parallax in the search image as a correlation value. The correlation value C (d) for each parallax is given by the following equation (1).

【００４７】[0047]

【数１】 [Equation 1]

【００４８】ここで、Ｉｔ（ｘ，ｙ）はテンプレート
（右入力画像）の座標（ｘ，ｙ）における濃度値、Ｉｓ
（ｘ＋ｄ，ｙ）は探索画像（左入力画像）の座標（ｘ＋
ｄ，ｙ）における濃度値、ｄは視差である。Here, It (x, y) is the density value at the coordinates (x, y) of the template (right input image), Is.
(X + d, y) is the coordinates (x +) of the search image (left input image)
The density value in d, y), and d is the parallax.

【００４９】距離値算出部１６では、相関値演算部１５
で算出した相関値Ｃ（ｄ）の最小値Ｃｍｉｎを検出し、
この最小値Ｃｍｉｎに対応する視差ｄｍから、以下の
（２）式により、小領域毎に距離値Ｄｉを算出する。In the distance value calculation unit 16, the correlation value calculation unit 15
The minimum value Cmin of the correlation value C (d) calculated in
From the parallax dm corresponding to this minimum value Cmin, the distance value Di is calculated for each small area by the following equation (2).

【００５０】Ｄｉ＝ａ・ｆ／ｄｍ・・・（２） ただし、ａはステレオ視のベースライン長、ｆはＴＶカ
メラに設けられているレンズの焦点距離である。Di = a · f / dm (2) where a is the stereoscopic baseline length, and f is the focal length of the lens provided in the TV camera.

【００５１】信頼度算出手段２は、距離画像算出手段１
の相関値算出部１５で算出された相関値Ｃ（ｄ）を入力
し、この相関値に基づいて各距離値Ｄｉに対応する信頼
度を算出する。この信頼度を算出するにあたっては、信
頼度の指標として以下の（３）、（４）、（５）式に基
づいて演算されたＣｆ１、Ｃｆ２、Ｃｆ３を用いる。The reliability calculation means 2 is the distance image calculation means 1
The correlation value C (d) calculated by the correlation value calculation unit 15 is input, and the reliability corresponding to each distance value Di is calculated based on this correlation value. In calculating the reliability, Cf1, Cf2, and Cf3 calculated based on the following expressions (3), (4), and (5) are used as the reliability index.

【００５２】 Ｃｆ１＝Ｃｍｉｎ・・・（３） Ｃｆ２＝（−２Ｃｍｉｎ＋Ｃｍｉｎ１＋Ｃｍｉｎ２）／２・・・（４） Ｃｆ３＝Ｃｍｉｎｐ２−Ｃｍｉｎ・・・（５） ここで、Ｃｍｉｎは相関値の最小値、Ｃｍｉｎ１は相関
値が最小値の小領域の左隣の小領域の相関値、Ｃｍｉｎ
２は相関値が最小値の小領域の右隣の小領域の相関値、
Ｃｍｉｎｐ２は２番目に小さな相関値のピーク値であ
る。Cf1 = Cmin ... (3) Cf2 = (-2Cmin + Cmin1 + Cmin2) / 2 ... (4) Cf3 = Cminp2-Cmin ... (5) Here, Cmin is the minimum value of the correlation value, and Cmin1 is The correlation value of the small area on the left of the small area having the minimum correlation value, Cmin
2 is the correlation value of the small area to the right of the small area with the smallest correlation value,
Cminp2 is the peak value of the second smallest correlation value.

【００５３】そして、この各々の指標Ｃｆ１、Ｃｆ２、
Ｃｆ３に対して、高い閾値と低い閾値との２つの閾値を
用意し、以下の〜のように信頼度Ｒを大、中、小の
３通りに定める。 各々の指標全てが高い閾値を越えた場合：信頼度大 各々の指標全てが高い閾値を越えないが、低い閾値を
越えた場合：信頼度中 各々の指標全てが低い閾値を越えない場合：信頼度小 距離画像算出手段１の距離画像メモリ１７では、距離値
画像算出部１６から出力された距離値Ｄｉと信頼度算出
手段２で算出された各々の距離値Ｄｉに対応する信頼度
Ｒとを小領域毎に対にして距離画像として記憶する。こ
の結果、テンプレートの切り出し間隔に対応した解像度
の距離画像が距離画像メモリ１７内に記憶されることに
なる。Then, the respective indicators Cf1, Cf2,
Two thresholds, a high threshold and a low threshold, are prepared for Cf3, and the reliability R is set to three types of large, medium, and small as in the following. When all of the indicators exceed the high threshold: high reliability When all of the indicators do not exceed the high threshold, but exceed the low threshold: When all of the indicators do not exceed the low threshold during reliability: Confidence In the distance image memory 17 of the small distance image calculation unit 1, the distance value Di output from the distance value image calculation unit 16 and the reliability R corresponding to each distance value Di calculated by the reliability calculation unit 2 are stored. Each small area is paired and stored as a distance image. As a result, the distance image having the resolution corresponding to the template cutout interval is stored in the distance image memory 17.

【００５４】距離画像メモリ１７では障害物連続性判定
手段４等のアクセスに応じて、対応する小領域の距離値
Ｄｉ及び信頼度Ｒを対にして出力する。また、以下で説
明するように、障害物領域推定手段７で障害物領域とし
て推定された領域内に含まれている小領域に、この領域
に含まれていることを示すマーク（またはラベル）を書
き込む。In the distance image memory 17, the distance value Di and the reliability R of the corresponding small area are output as a pair according to the access of the obstacle continuity determining means 4 and the like. Further, as described below, a mark (or label) indicating that the area is included in a small area included in the area estimated as the obstacle area by the obstacle area estimation unit 7 is provided. Write.

【００５５】障害物選択手段３は、距離画像算出手段１
が算出した距離画像から、以下の条件に従って障害物領
域推定の対象とする小領域を選択する。The obstacle selecting means 3 is the distance image calculating means 1
From the distance image calculated by, the small area to be the obstacle area estimation target is selected according to the following conditions.

【００５６】距離値が小さい（近い）小領域から優先
的に選択する。 他の障害物の領域に属さない小領域（マークが付けら
れていない）を選択する。A small area having a small (close) distance value is preferentially selected. Select a small area (not marked) that does not belong to the area of other obstacles.

【００５７】信頼度Ｒが大の小領域を選択する。 そして、障害物領域推定手段７では、障害物選択手段３
で選択した小領域に基づいて検出対象とする障害物の領
域推定を行なう。A small area having a high reliability R is selected. Then, in the obstacle area estimating means 7, the obstacle selecting means 3
The area of the obstacle to be detected is estimated based on the small area selected in.

【００５８】この障害物選択手段３及び障害物領域推定
手段７による小領域選択・領域推定処理の流れを図９に
基づいて更に説明する。The flow of the small area selection / area estimation processing by the obstacle selecting means 3 and the obstacle area estimating means 7 will be further described with reference to FIG.

【００５９】まず、障害物選択手段３は、距離画像メモ
リ１７に記憶されている多数の小領域の中から、最も近
い距離値Ｄｉを持ち、かつ信頼度Ｒが大の小領域を選択
する（ステップ１００）。この選択された小領域のデー
タ（距離値Ｄｉ、信頼度Ｒ及び距離画像上の位置）は障
害物領域推定手段７の選択障害物メモリに記憶される
（ステップ１０２）。First, the obstacle selecting means 3 selects a small area having the closest distance value Di and a large reliability R from a large number of small areas stored in the distance image memory 17 ( Step 100). The data of the selected small area (distance value Di, reliability R and position on the distance image) is stored in the selected obstacle memory of the obstacle area estimating means 7 (step 102).

【００６０】障害物領域推定手段７の障害物候補生成部
７２は、障害物形状データ記憶手段６に記憶されている
検出対象の障害物の形状データに関する知識に基づい
て、障害物選択手段３により選択された小領域を含む１
つの領域（図９に破線で示す）を障害物の領域候補とし
て生成する（ステップ１０４）。第１実施例では道路環
境での車両等の障害物を仮定して、障害物形状データ記
憶手段６には、「画面に投影された障害物の形は長方形
である」、「障害物の大きさ（横幅）は、道路を走行す
る車両の大きさ（横幅）程度である」等の検出対象とす
る障害物の知識が予め記憶されているので、領域候補生
成部７２で生成する領域候補は、選択した障害物を含
み、長方形で、最も大きいもので車両の横幅の大きさを
有するものとなる。The obstacle candidate generator 72 of the obstacle area estimating means 7 causes the obstacle selecting means 3 to execute the obstacle selecting means 3 based on the knowledge about the shape data of the obstacle to be detected stored in the obstacle shape data storing means 6. 1 including the selected small area
Two regions (shown by broken lines in FIG. 9) are generated as obstacle region candidates (step 104). In the first embodiment, assuming an obstacle such as a vehicle in a road environment, the obstacle shape data storage means 6 stores "the shape of the obstacle projected on the screen is a rectangle" and "the size of the obstacle." The width (width) is about the size (width) of the vehicle traveling on the road. ”Since knowledge of obstacles to be detected is stored in advance, the area candidates generated by the area candidate generation unit 72 are , Including the selected obstacle, is rectangular and has the largest width of the vehicle.

【００６１】連続性評価部分設定部７３では、領域候補
生成部７２で生成した各々の領域候補について領域を構
成する１つの小領域を評価部分として順次選び出し（ス
テップ１０６）、障害物連続性判定手段４と濃淡画像基
準連続判定手段５に連続可能性の判定要求のアクセスを
行い、各々の連続性判定手段４、５からの連続可能性判
定値を得る（ステップ１０８）。In the continuity evaluation portion setting unit 73, one small area constituting the area for each area candidate generated by the area candidate generating unit 72 is sequentially selected as an evaluation portion (step 106), and the obstacle continuity determining means is selected. 4 and the grayscale image standard continuity determination means 5 are accessed for continuity determination requests, and continuity determination values from the respective continuity determination means 4 and 5 are obtained (step 108).

【００６２】連続性判定値累積加算部７４は、連続性評
価部分設定部７３が１つの評価部分に対して得た連続可
能性判定値を累積加算して連続可能性評価値を求め（ス
テップ１１０）、ステップ１１２で領域候補内に評価部
分とする小領域が無いと判断されるまで、上記のステッ
プ１０６〜ステップ１１０を繰り返し、領域候補全体に
対する連続可能性の評価値を算出する。累積加算は、選
択された小領域の近隣から行い、順次遠い小領域へと行
う。この連続性判定値累積加算部７４に設けられた累積
加算中断器は、累積値の減少がある閾値を上回って連続
した時に、累積加算を中止する。これは、２つの障害物
が隣接して存在するとき、１つ障害物の領域を累積加算
していくと、２つの障害物の境界領域で連続可能性判定
値の累積値が連続して減少することを利用し、推定を終
了させて、２つの障害物を独立な領域として推定するも
のである。The continuity determination value cumulative addition unit 74 cumulatively adds the continuity determination values obtained by the continuity evaluation portion setting unit 73 for one evaluation portion to obtain a continuity evaluation value (step 110). ), The above steps 106 to 110 are repeated until it is determined in step 112 that there is no small area to be evaluated in the area candidate, and the evaluation value of continuity for all the area candidates is calculated. Cumulative addition is performed from the neighborhood of the selected small area, and sequentially to the distant small areas. The cumulative addition interrupter provided in the continuity determination value cumulative addition unit 74 suspends the cumulative addition when the cumulative value continues to exceed a certain threshold value. This is because when two obstacles are adjacent to each other, if the area of one obstacle is cumulatively added, the cumulative value of the continuity possibility determination values continuously decreases in the boundary area of the two obstacles. By utilizing this, the estimation is terminated and the two obstacles are estimated as independent regions.

【００６３】また、ステップ１１４で他の領域候補とす
る領域が存在するか否か判断し、他の領域候補とする領
域が存在する場合にはステップ１０４に戻って新たな領
域候補を生成し、上記の処理を繰り返す。Further, in step 114, it is judged whether or not there is an area to be another area candidate. If there is an area to be another area candidate, the procedure returns to step 104 to generate a new area candidate, The above process is repeated.

【００６４】領域選択部７５は、連続性判定値累積加算
部７４の出力する各々の領域候補に対する可能性の評価
値を入力し、最も大きな評価値を得た領域候補を選択し
て、障害物推定領域として出力する（ステップ１１
６）。また、次の障害物領域の推定が行えるように、障
害物領域として推定した領域に含まれる小領域の全てに
マークを付すように距離画像メモリ１７に書込みを行う
（ステップ１１８）。The area selection unit 75 inputs the evaluation value of the possibility for each area candidate output from the continuity judgment value cumulative addition unit 74, selects the area candidate having the largest evaluation value, and selects the obstacle. Output as an estimated area (step 11)
6). Further, the distance image memory 17 is written so that all small areas included in the area estimated as the obstacle area are marked so that the next obstacle area can be estimated (step 118).

【００６５】続いてステップ１２０で障害物選択手段３
で選択する小領域が無くなったか否か判断し、小領域が
存在する場合には、ステップ１００に戻って障害物選択
手段３は、最も近い距離値Ｄｉを持ち、信頼度Ｒ大でか
つマークが付されていない小領域を選択し、このステッ
プ１００〜ステップ１２０の一連の処理を、障害物選択
手段３で選択する小領域が存在しなくなるまで繰り返
す。Subsequently, at step 120, the obstacle selecting means 3
It is determined whether or not there is no small area to be selected. If there is a small area, the process returns to step 100, and the obstacle selecting means 3 has the closest distance value Di, the reliability R is large, and the mark is A small area which is not attached is selected, and the series of processing from step 100 to step 120 is repeated until there is no small area to be selected by the obstacle selecting means 3.

【００６６】障害物連続性判定手段４は、障害物領域推
定手段７からの小領域と連続性を評価する評価部分との
連続可能性の判定を求めるアクセスに対し、距離画像算
出手段１の距離画像メモリ１７を探索し、評価部分の距
離値Ｄｉ及び信頼度Ｒを入力し、障害物選択手段３で選
択された小領域の距離値Ｄｉ及び信頼度Ｒと比較し、判
定値を出力する。The obstacle continuity determining means 4 makes the distance of the distance image calculating means 1 in response to the access from the obstacle area estimating means 7 for determining the continuity of the small area and the evaluation portion for evaluating the continuity. The image memory 17 is searched, the distance value Di and the reliability R of the evaluation portion are input, the distance value Di and the reliability R of the small area selected by the obstacle selecting means 3 are compared, and the determination value is output.

【００６７】次に距離値に基づく連続可能性判定値につ
いて説明する。第１実施例では、障害物領域推定手段７
において、連続可能性判定値の累積値（連続可能性評価
値）によって最適な障害物領域の推定を行なうようにし
ているため、上述した場合１〜場合４の判断基準に基づ
いて定めた図１０に示す次の連続可能性判定値を用い
る。評価部分の距離値が領域内の小領域の距離値と等
しくかつ信頼度Ｒが大または中のとき（連続の可能性が
大きい場合）： 連続判定値＝Ｂ１（Ｒ：大）又はＢ２（Ｒ：中） ただし、Ｂ１、Ｂ２は大きい正の値でありＢ１＞Ｂ２ 評価部分の距離値が領域内の小領域の距離値より近く
かつ信頼度Ｒが大または中のとき（連続の可能性が不明
の場合）： 連続可能性判定値＝Ａ１（Ｒ：大）又はＡ２（Ｒ：中） ただし、Ａ１、Ａ２は零、又は絶対値の小さい正又は負
の値。 評価部分の距離値及び領域内の小領域の距離値の大き
さとは無関係に信頼度Ｒが小さいとき（連続可能性が不
明の場合）： 連続可能性判定値＝絶対値の小さい負の値Ｄ 評価部分の距離値が領域内の小領域の距離値より遠く
かつ信頼度Ｒが大または中のとき（連続の可能性が小さ
くかつ不連続の可能性が大きい場合）： 連続可能性判定値＝Ｃ１（Ｒ：大）又はＣ２（Ｒ：中） ただし、Ｃ１、Ｃ２は絶対値の大きな負の値であり、｜
Ｃ１｜＞｜Ｃ２｜ 続いて濃淡画像に基づく連続可能性判定値について説明
する。第１の実施例では、濃淡画像基準連続判定手段５
は、画像特徴としてエッジを用いて画像上の物体の連続
可能性を判断する。すなわち、ある一続きのエッジが存
在する場所に沿っては、障害物は距離が滑らかに変化し
ていることが多い、という知識に基づき、画像上の障害
物の連続可能性を判定するために、濃淡画像基準連続判
定手段５の画像特徴抽出部５１は、濃淡画像に高域通過
空間フイルタを施し、出力されるエッジ強度、エッジ勾
配値に基づき、ある閾値以上のエッジ強度を持ち、エッ
ジ勾配値がほぼ同じ値を有する部分を１つのエッジとし
て抽出する。特徴画像メモリ５２には、画像特徴抽出部
５１が抽出したエッジが記憶される。Next, the continuity determination value based on the distance value will be described. In the first embodiment, the obstacle area estimating means 7
In the above, since the optimum obstacle region is estimated by the cumulative value of the continuity possibility determination values (continuity possibility evaluation value), the determination is made based on the determination criteria of Case 1 to Case 4 described above. The following continuity determination value shown in is used. When the distance value of the evaluation portion is equal to the distance value of the small area within the area and the reliability R is large or medium (when the possibility of continuity is high): continuity determination value = B1 (R: large) or B2 (R However, when B1 and B2 are large positive values and the distance value of the B1> B2 evaluation part is closer to the distance value of the small area in the area and the reliability R is large or medium (the possibility of continuity is high). (Unknown): Continuity possibility determination value = A1 (R: large) or A2 (R: medium), where A1 and A2 are zero or a positive or negative value with a small absolute value. When the reliability R is small regardless of the distance value of the evaluation portion and the distance value of the small area within the area (when the continuity possibility is unknown): continuity possibility judgment value = negative absolute value D When the distance value of the evaluation part is farther than the distance value of the small area in the area and the reliability R is large or medium (when the possibility of continuity is low and the possibility of discontinuity is high): continuity possibility determination value = C1 (R: large) or C2 (R: medium) However, C1 and C2 are negative values with large absolute values, and |
C1 |> | C2 | Subsequently, the continuity determination value based on the grayscale image will be described. In the first embodiment, the grayscale image reference continuous determination means 5
Determines the continuity of objects on an image using edges as image features. That is, in order to determine the continuity of obstacles on an image based on the knowledge that the obstacles often change in distance smoothly along a place where a series of edges exist. The image feature extraction unit 51 of the grayscale image reference continuity determination means 5 applies a high-pass spatial filter to the grayscale image, has an edge strength of a certain threshold value or more based on the output edge strength and edge gradient value, and outputs the edge gradient. A portion having substantially the same value is extracted as one edge. The edge extracted by the image feature extraction unit 51 is stored in the feature image memory 52.

【００６８】特徴連続性判定部５３は、障害物領域推定
手段７からの小領域と連続性を評価する評価部分との連
続可能性の判定を求めるアクセスに対し、この小領域と
評価部分とに一続きのエッジが存在するか否かを、特徴
画像メモリ５２に記憶されたデータを探索することによ
り判定し、一続きのエッジが存在する場合は、連続して
いる可能性が大きいと判断し、大きな正の値を持つ連続
性判定値を出力し、一続きのエッジが存在しない場合
は、連続しているか否か不明であると判断して、零付近
の値を持つ連続性判定値を出力する。The feature continuity determination unit 53 determines whether the small area and the evaluation portion are accessed by the obstacle area estimation unit 7 in response to an access for determining the continuity of the small area and the evaluation portion for evaluating the continuity. Whether or not a continuous edge exists is determined by searching the data stored in the characteristic image memory 52, and if a continuous edge exists, it is determined that there is a high possibility that the edge is continuous. , A continuity judgment value with a large positive value is output, and if there is no continuous edge, it is judged that it is continuous or not, and the continuity judgment value with a value near zero is set. Output.

【００６９】以上のように構成された本実施例の障害物
検出装置について、図１３の障害物分布状況を用いて、
その動作を具体的に更に説明する。With respect to the obstacle detecting device of the present embodiment having the above-mentioned configuration, using the obstacle distribution situation of FIG.
The operation will be further specifically described.

【００７０】この障害物分布状況に対して、距離画像算
出手段１を用いて、画像入力部１１、１２からステレオ
視画像を入力し、右入力画像から定められた大きさ、
形、切り出し間隔でテンプレートを切り出して、テンプ
レートメモリ１３に記憶し、そのテンプレートに対応す
る探索範囲の画像を左入力画像から切り出して、探索メ
モリ１４に記憶し、相関値算出部１５で上記（１）式を
用いて相関値を算出し、距離値算出手段１６で相関値の
最小値を検出し、その視差から距離値Ｄｉを算出し、距
離画像メモリ１７に記憶すると、図１４に示す多数の小
領域を含む画像が距離画像として得られる。With respect to this obstacle distribution situation, a stereoscopic image is input from the image input units 11 and 12 using the distance image calculation means 1 and the size determined from the right input image,
The template is cut out at the shape and the cutout interval and stored in the template memory 13, the image in the search range corresponding to the template is cut out from the left input image, stored in the search memory 14, and stored in the correlation value calculation unit 15 in the above (1). ) Is used to calculate the correlation value, the distance value calculation means 16 detects the minimum correlation value, the distance value Di is calculated from the parallax, and the distance value Di is stored in the distance image memory 17. An image including a small area is obtained as a range image.

【００７１】この距離画像は、信頼度算出手段２で、距
離画像算出手段１の相関値算出部１６で算出された相関
値を入力し、算出した信頼度Ｒが大の小領域から成るも
のを示している。ここでは説明の都合上、信頼度Ｒが中
のものは存在せず、他の部分（網かけがされていない部
分）は信頼度Ｒが小（正しい距離値が得られない）と仮
定する。This distance image is input from the correlation value calculated by the correlation value calculating section 16 of the distance image calculating means 1 by the reliability calculating means 2, and the calculated reliability R is composed of a small area. Shows. Here, for the sake of explanation, it is assumed that there is no medium reliability R and that the reliability R is small (correct distance value cannot be obtained) in other portions (portions not shaded).

【００７２】この距離画像から、障害物選択手段３で、
まず図１５に示す小領域（Ａ）が検出対象の障害物領域
の一部として選択されたと仮定する。From this distance image, the obstacle selecting means 3
First, it is assumed that the small area (A) shown in FIG. 15 is selected as a part of the obstacle area to be detected.

【００７３】この小領域（Ａ）のデータは障害物領域推
定手段７の選択障害物メモリ７１に記憶される。領域候
補生成部７２では、障害物形状データ記憶手段６に記憶
された形状データに基づき、選択された小領域を含み、
かつ、長方形で、最も大きいもので車両の横幅の大きさ
を越えない障害物領域候補を１つ以上生成する。生成候
補領域の例を図１６に示す。The data of the small area (A) is stored in the selected obstacle memory 71 of the obstacle area estimating means 7. The area candidate generation unit 72 includes a small area selected based on the shape data stored in the obstacle shape data storage unit 6,
In addition, one or more obstruction region candidates that are rectangular and are the largest and do not exceed the width of the vehicle are generated. FIG. 16 shows an example of the generation candidate area.

【００７４】図１６の領域候補例１では、図１３から理
解されるように、略中央部に誤った距離値を持つ小領域
（Ｅ）が存在するが、小領域（Ａ）の距離値Ｄｉと等し
い距離値Ｄｉを持つ他の小領域部分が多く、図１０に示
す障害物との距離関係が等しくかつ信頼度が大のときの
大きな正の値Ｂ１が加算されるので、連続可能性評価値
（累積値）は大きな正の値を持つことになる。In the area candidate example 1 of FIG. 16, as can be understood from FIG. 13, there is a small area (E) having an erroneous distance value in the approximate center, but the distance value Di of the small area (A) is Since there are many other small area portions having a distance value Di equal to, the large positive value B1 when the distance relationship with the obstacle shown in FIG. 10 is equal and the reliability is large is added, the continuity possibility evaluation is performed. The value (cumulative value) will have a large positive value.

【００７５】これに対して、領域候補例２、領域候補例
３は、領域候補例１に加えて更に小領域（Ａ）と等しい
距離値Ｄｉをもつ小領域（Ｂ）、（Ｃ）を各々含む領域
候補の例である。On the other hand, in the area candidate example 2 and the area candidate example 3, in addition to the area candidate example 1, small areas (B) and (C) each having a distance value Di equal to that of the small area (A) are respectively provided. It is an example of a region candidate including.

【００７６】領域候補例２は、図１３から理解されるよ
うに、小領域（Ｂ）が誤ったっ距離値Ｄｉを持ってお
り、この距離値Ｄｉが領域（Ａ）の距離値Ｄｉと等しい
場合である。小領域（Ｂ）の周囲には、小領域（Ａ）と
等しい距離値Ｄｉを持つ小領域は存在しないので、小領
域（Ｂ）を含む領域候補は、距離が得られない部分（信
頼度が小の小領域）を多く含み、その部分では連続性判
定値累積加算部７４により図１０に示す小さな負の値Ｄ
が累積加算されるので、結果的に領域候補例１に対し
て、連続可能性評価値は小さくなくなる。As can be seen from FIG. 13, the area candidate example 2 has a case where the small area (B) has an erroneous distance value Di and this distance value Di is equal to the distance value Di of the area (A). Is. Since a small area having the distance value Di equal to that of the small area (A) does not exist around the small area (B), the area candidate including the small area (B) has a portion where the distance cannot be obtained (the reliability is high). A small negative area D), and the continuity determination value cumulative addition unit 74 includes a small negative value D shown in FIG.
Is cumulatively added, and as a result, the continuity possibility evaluation value for the area candidate example 1 is not small.

【００７７】領域候補例３も領域候補例２と同様に小領
域（Ｃ）を含む領域候補には、遠い距離値Ｄｉを持つ小
領域部分や、距離値Ｄｉが得られない小領域部分を含
み、これらの部分の累積値は負になるので、結果的に領
域候補例１に対して連続可能性評価値（累積値）は小さ
くなる。In the area candidate example 3 as well as the area candidate example 2, the area candidates including the small area (C) include a small area portion having a long distance value Di and a small area portion in which the distance value Di cannot be obtained. Since the cumulative value of these portions becomes negative, the continuity possibility evaluation value (cumulative value) becomes smaller for the area candidate example 1 as a result.

【００７８】領域候補例４は、図１３から理解されるよ
うに、２つの分離した障害物を１つの領域とする領域候
補である。この場合は、連続性の評価を小領域（Ａ）の
近隣から始めて進めていくと、小領域（Ｄ）を含む中間
領域で、遠い距離値Ｄｉを持つ小領域部分や、距離値Ｄ
ｉが得られ難い小領域部分があり、累積値が連続して減
少するため、連続性判定値累積加算部７４の累積加算中
断器がこの減少を検出し、累積加算を中止する。As will be understood from FIG. 13, the area candidate example 4 is an area candidate having two separated obstacles as one area. In this case, if the continuity evaluation is started from the neighborhood of the small area (A), the small area portion having the far distance value Di in the intermediate area including the small area (D) and the distance value D
Since there is a small area where it is difficult to obtain i and the cumulative value continuously decreases, the cumulative addition interrupter of the continuity determination value cumulative addition unit 74 detects this decrease and stops the cumulative addition.

【００７９】その結果、これらの４つの領域候補例で
は、領域候補例１が最も連続可能性の評価値が大きいた
め、障害物の推定領域となる。この推定された障害物領
域の小領域の全てにマークをつけ、障害物選択手段３
で、距離値の近い方の小領域を選択して、同様の障害物
領域推定処理を行うと、図１７の推定領域（近い）が結
果として得られる。距離値Ｄｉを１つだけ含むような領
域は、誤った距離値Ｄｉを持つ値によるものと判断でき
るので、除去される。As a result, among these four area candidate examples, since the area candidate example 1 has the largest evaluation value of the possibility of continuity, it becomes the obstacle estimated area. All the small areas of the estimated obstacle area are marked, and the obstacle selecting means 3 is selected.
Then, when a small area having a closer distance value is selected and the same obstacle area estimation processing is performed, the estimated area (close) in FIG. 17 is obtained as a result. A region including only one distance value Di can be determined to be due to a value having an incorrect distance value Di, and is therefore removed.

【００８０】遠い距離値Ｄｉについても、同様の推定処
理を行うと、近い小領域の距離値は、図１０に示す判定
値Ａ１のような小さな影響を与えるだけなので、図１７
の推定領域（遠い）が結果として得られる。When the similar estimation process is performed for the far distance value Di, the distance value of the small sub-region has a small influence like the judgment value A1 shown in FIG.
The estimated region of (far) is obtained as a result.

【００８１】ここでは説明を省いたが、信頼度Ｒが中の
データや、濃淡画像基準連続性判定手段５の判定結果を
用いると、さらに的確な障害物領域の推定が可能にな
る。Although not described here, if the data having the medium reliability R or the judgment result of the grayscale image reference continuity judging means 5 is used, the obstacle region can be more accurately estimated.

【００８２】従来技術においては、図１４に示す距離画
像では、地平面の領域毎のヒストグラムから障害物領域
を判断するため、近くの障害物の距離値の欠落と、２つ
の領域の中間の空白部分との区別が困難になり、その障
害物を２つの独立した障害物領域として取り出すことが
困難になる。また、距離値が誤ったデータの影響より、
障害物の正しい形状を推定することも困難になる。In the prior art, in the distance image shown in FIG. 14, since the obstacle area is judged from the histogram for each area of the horizon, the distance value of the nearby obstacle is missing and the blank area between the two areas is used. It becomes difficult to distinguish it from the part, and it becomes difficult to take out the obstacle as two independent obstacle regions. Also, due to the influence of data with incorrect distance values,
It is also difficult to estimate the correct shape of the obstacle.

【００８３】また、遠い障害物に対して、近い障害物の
影響で距離値が欠落していることに対応できないため、
正しい形状を推定することが困難になる。Further, since it is not possible to cope with the fact that the distance value is missing due to the influence of the near obstacle with respect to the far obstacle,
It becomes difficult to estimate the correct shape.

【００８４】これに対して、第１の実施例では、より正
しく障害物の領域推定を行うことができる。On the other hand, in the first embodiment, it is possible to more accurately estimate the area of the obstacle.

【００８５】次に、本発明の第２の実施例を説明する。
この実施例は、スキャン型のレーザレーダ（距離計）を
用いたものである。この場合の距離画像算出手段の構成
を図１８に示す。距離画像算出手段は、ポリゴンミラー
等でレーザ光を１次元または２次元に走査するレーザ光
走査部８１、レーザ光を投光するレーザ光投光部８２、
障害物で反射されたレーザ光を受光するレーザ光受光部
８３、受光したレーザ光の波形から距離値Ｄｉを算出す
る距離値算出部８４、距離値算出部８４が算出した距離
値Ｄｉと信頼度算出手段２が算出した信頼度Ｒとを対に
した小領域を距離画像として記憶し、障害物連続性判定
手段等のアクセスに応じて対応する小領域の距離値Ｄｉ
及び信頼度Ｒを出力する距離画像メモリ８５とを備えて
いる。Next, a second embodiment of the present invention will be described.
In this embodiment, a scan type laser radar (range finder) is used. The configuration of the distance image calculation means in this case is shown in FIG. The distance image calculation means includes a laser light scanning unit 81 that scans the laser light one-dimensionally or two-dimensionally with a polygon mirror or the like, a laser light projection unit 82 that projects the laser light,
Laser light receiving unit 83 that receives the laser beam reflected by the obstacle, distance value calculation unit 84 that calculates the distance value Di from the waveform of the received laser light, distance value Di calculated by distance value calculation unit 84, and reliability The small area paired with the reliability R calculated by the calculating means 2 is stored as a distance image, and the distance value Di of the corresponding small area is stored according to access by the obstacle continuity determining means or the like.
And a range image memory 85 for outputting the reliability R.

【００８６】この距離画像算出手段の動作を説明する
と、レーザ光をレーザ光投光部８２から投光し、それを
レーザ光走査部８１でポリゴンミラー等を回転させるこ
とによ投光角度を変化させて走査し、障害物から反射さ
れて戻ってきたレーザ光をレーザ光受光部８３で受光す
る。受光されたレーザ光の波形は、距離値算出部８４に
送られ、レーザ光をパルス波形に整形させ、パルス間か
ら受光波形の時間遅れを演算すること等により距離値Ｄ
ｉを算出する。算出した距離値Ｄｉは、レーザ光の走査
に同期させて、距離画像メモリ８５に記憶することによ
り、距離画像が作成される。レーザ光の場合の信頼度Ｒ
は、受光波形を信頼度算出手段２に送り、そこで波形の
大きさ等を判定することによって推定できる。距離画像
算出後の処理は、第１の実施例と同様であるので説明を
省略する。The operation of the distance image calculating means will be described. Laser light is projected from the laser light projector 82, and the laser light scanning unit 81 rotates a polygon mirror or the like to change the projection angle. The laser beam is reflected by the obstacle and returned, and is received by the laser beam receiver 83. The waveform of the received laser light is sent to the distance value calculation unit 84, the laser light is shaped into a pulse waveform, and the time delay of the received light waveform is calculated from between the pulses.
Calculate i. A distance image is created by storing the calculated distance value Di in the distance image memory 85 in synchronization with the scanning of the laser light. Reliability R in the case of laser light
Can be estimated by sending the received light waveform to the reliability calculation means 2 and determining the waveform size and the like there. The processing after the calculation of the distance image is the same as that in the first embodiment, so the description thereof will be omitted.

【００８７】なお、本実施例では、ＴＶカメラと上記で
説明した濃淡画像基準連続性判定手段を設け、濃淡画像
基準連続性判定手段の判定結果を用いると、更に的確な
障害物領域の推定が可能になる。In the present embodiment, if the TV camera and the grayscale image reference continuity determining means described above are provided and the determination result of the grayscale image reference continuity determining means is used, the obstacle area can be estimated more accurately. It will be possible.

【００８８】第１の実施例では、領域推定の連続可能性
の評価値を得るのに、予め定めた各々の評価部分の連続
可能性判定値の累積加算を用いた。これは演算時間の制
約を考慮し実装した、領域推定の可能性評価の１つの方
法である。これ以外に確率的な考えを導入して、領域に
ついての可能性評価値を演算し、最も高い確率値を有す
る領域を選択する方法でも良い。In the first embodiment, in order to obtain the evaluation value of the continuity of the area estimation, the cumulative addition of the continuity judgment values of the respective predetermined evaluation parts is used. This is one method of evaluating the possibility of region estimation, which is implemented in consideration of the constraint of calculation time. In addition to this, a method of introducing a probabilistic idea, calculating a possibility evaluation value for a region, and selecting a region having the highest probability value may be used.

【００８９】第１の実施例では、信頼度において、演算
時間の制約を考慮し、信頼度Ｒの値を大、中、小と簡単
化して表したが、連続的な値を採用し、処理を行う方法
でも良い。In the first embodiment, in the reliability, the value of the reliability R is simplified and expressed as large, medium, and small in consideration of the constraint of the calculation time. However, continuous values are adopted and the processing is performed. How to do is also good.

【００９０】第１の実施例では、距離画像算出におい
て、左右平行ステレオ視を用いたが、ステレオ計算より
距離を求められる他のステレオ視を用いても良い。ま
た、ステレオ視の照合法として、右入力画像を基準とす
る方法を示したが、左入力画像を基準とする方法、両方
の画像を基準とする方法を用いてもよい。また、ステレ
オ視の照合に演算時間の制約を考慮し、式（１）で示す
差分の絶対値の和を用いたが、積和演算等を用いてもよ
い。In the first embodiment, the left and right parallel stereoscopic vision is used in the distance image calculation, but other stereoscopic vision whose distance can be obtained by stereo calculation may be used. Further, as the stereoscopic matching method, the method using the right input image as a reference is shown, but the method using the left input image as a reference or the method using both images as a reference may be used. Further, the sum of absolute values of the differences shown in the equation (1) is used in consideration of the restriction of the calculation time for the stereoscopic matching, but the sum of products calculation or the like may be used.

【００９１】また、本発明の実施例は専用の演算器を用
いる構成で示したが、汎用のコンピュータを用いてソフ
トウェアで演算を実現したり、専用のＣＰＵを用いたフ
ァームウェアで実現しても良いことは当然である。Further, although the embodiment of the present invention has been shown as a configuration using a dedicated computing unit, the computation may be implemented by software using a general-purpose computer, or may be implemented by firmware using a dedicated CPU. It is natural.

【００９２】[0092]

【発明の効果】以上説明したように本発明によれば、障
害物領域の連続可能性を画像上で注目している小領域の
遠近関係も含めて判断するため、障害物が隣接したり、
重なっていたりする場合にも、空中に浮遊してみえる障
害物が存在する場合にも、距離値の欠落、誤りが存在す
る場合にも、従来手法に比べて、正しく障害物領域を推
定できる、という効果が得られる。As described above, according to the present invention, the continuity of obstacle areas is judged including the perspective relationship of small areas of interest on an image.
Even if they overlap, if there is an obstacle that seems to float in the air, or if there is a missing distance value or an error, the obstacle area can be estimated correctly compared to the conventional method, The effect is obtained.

【図面の簡単な説明】[Brief description of drawings]

【図１】第１の発明のブロック図である。FIG. 1 is a block diagram of a first invention.

【図２】検出対象とする障害物と評価部分との連続可能
性を説明するための線図である。FIG. 2 is a diagram for explaining the possibility of continuity between an obstacle to be detected and an evaluation portion.

【図３】第２の発明のブロック図である。FIG. 3 is a block diagram of a second invention.

【図４】形状知識がない場合の障害物領域と形状知識が
ある場合の障害物領域とを比較して説明する説明図であ
る。FIG. 4 is an explanatory diagram for comparing and explaining an obstacle region when there is no shape knowledge and an obstacle region when there is shape knowledge.

【図５】第３の発明のブロック図である。FIG. 5 is a block diagram of a third invention.

【図６】第４の発明のブロック図である。FIG. 6 is a block diagram of a fourth invention.

【図７】第１実施例のブロック図である。FIG. 7 is a block diagram of the first embodiment.

【図８】第１実施例の距離画像算出手段の詳細を示すブ
ロック図である。FIG. 8 is a block diagram showing details of distance image calculation means according to the first embodiment.

【図９】障害物選択手段及び障害物領域推定手段による
小領域選択・領域推定処理の流れを示す流れ図である。FIG. 9 is a flowchart showing a flow of small area selection / area estimation processing by the obstacle selection means and the obstacle area estimation means.

【図１０】領域推定の対象とする障害物と連続性の評価
部分との連続可能性を示す判定値の値を示す線図れあ
る。FIG. 10 is a diagram showing a value of a determination value indicating continuity of an obstacle as a region estimation target and a continuity evaluation portion.

【図１１】濃淡画像基準連続判定手段の詳細を示すブロ
ック図である。FIG. 11 is a block diagram showing details of a grayscale image reference continuity determination means.

【図１２】障害物領域推定手段の詳細を示すブロック図
である。FIG. 12 is a block diagram showing details of obstacle area estimation means.

【図１３】障害物分布状況の例を示す線図である。FIG. 13 is a diagram showing an example of an obstacle distribution situation.

【図１４】図１３の障害物分布状況から得られた距離画
像を示す線図である。14 is a diagram showing a distance image obtained from the obstacle distribution situation of FIG. 13. FIG.

【図１５】障害物選択手段で選択された小領域（Ａ）を
示す線図である。FIG. 15 is a diagram showing a small area (A) selected by an obstacle selecting means.

【図１６】障害物領域推定手段領域候補生成部で生成さ
れた生成候補領域の例を示す線図である。FIG. 16 is a diagram showing an example of generation candidate regions generated by an obstacle region estimation means region candidate generation unit.

【図１７】距離が近い障害物推定領域と距離が遠い障害
物推定領域とを示す線図である。FIG. 17 is a diagram showing an obstacle estimation region having a short distance and an obstacle estimation region having a long distance.

【図１８】第２実施例のブロック図である。FIG. 18 is a block diagram of a second embodiment.

【符号の説明】[Explanation of symbols]

１ 距離画像算出手段 ２ 信頼度算出手段 ３ 障害物選択手段 ４ 障害物連続性判定手段 ５ 濃淡画像基準連続性判定手段 ６ 障害物形状データ記憶手段 ７ 障害物領域推定手段 1 Distance image calculation means 2 Reliability calculation means 3 Obstacle selection means 4 Obstacle continuity determination means 5 Gray image standard continuity determination means 6 Obstacle shape data storage means 7 Obstacle area estimation means

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ３８０ Ｈ０４Ｎ 7/18 ４１５ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/16 G01S 17/93 G05D 1/02 G06T 7/00 H04N 7/18 ─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. ⁷ identification code FI G06T 7/00 G06F 15/62 380 H04N 7/18 415 (58) Fields investigated (Int.Cl. ⁷ , DB name) G08G 1 / 16 G01S 17/93 G05D 1/02 G06T 7/00 H04N 7/18

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 基準位置から障害物の各点までの距離値
の分布を有する距離画像を算出する距離画像算出手段
と、 前記距離画像算出手段で算出された距離画像を探索し、
障害物領域の推定対象とする小領域を選択する障害物選
択手段と、 前記障害物選択手段で選択された小領域の距離値と該小
領域との連続性を評価するための評価部分の距離値との
大きさの比較結果と、前記小領域と前記評価部分との遠
近関係とに基づいて、小領域と評価部分との連続可能性
を判定する障害物連続性判定手段と、 前記障害物連続性判定手段で判定された連続可能性の判
定結果に基づいて、障害物領域を推定する障害物領域推
定手段と、 を含む障害物検出装置。1. A distance image calculating means for calculating a distance image having a distribution of distance values from a reference position to each point of an obstacle, and searching for the distance image calculated by the distance image calculating means,
An obstacle selecting means for selecting a small area to be estimated target obstacle region, the distance evaluation portion for evaluating the continuity of the distance values and the small area of the small regions selected by the obstacle selecting means The result of the size comparison with the value and the distance between the small area and the evaluation part.
Based on the close relationship, obstacle continuity determination means for determining the continuity of the small area and the evaluation portion, based on the determination result of the continuity determined by the obstacle continuity determination means, the obstacle, An obstacle detection apparatus including an obstacle area estimation unit that estimates an object area. 【請求項２】 前記障害物連続性判定手段は、前記小領
域と前記評価部分との遠近関係について、 前記評価部分の距離値が前記小領域の距離値と等しい場
合には、前記評価部分に前記小領域の一部分が連続して
存在している可能性が高いと判定し、 前記評価部分の距離値が前記小領域の距離値より遠い場
合には、前記評価部分に前記小領域が連続して存在して
いる可能性は低いと判定し、 前記評価部分の距離値が前記小領域の距離値より近い場
合には、前記評価部分にも前記小領域の一部分が連続し
て存在している可能性があると判定し、 前記評価部分の距離値が得られない場合には、前記評価
部分にも前記小領域の一部分が連続して存在している可
能性があると判定する請求項１に記載の障害物検出装
置。 2. The obstacle continuity determining means is the small area.
Regarding the perspective relationship between the area and the evaluation part, when the distance value of the evaluation part is equal to the distance value of the small region.
In this case, a part of the small area is continuous with the evaluation area.
If the distance value of the evaluation portion is determined to be higher than the distance value of the small area,
If there is a small area in the evaluation area,
If the distance value of the evaluation part is closer than the distance value of the small area,
In this case, a part of the small area also continues in the evaluation area.
If it is determined that the distance value of the evaluation portion cannot be obtained, the evaluation is performed.
Part of the small area may also exist continuously in the part.
The obstacle detection device according to claim 1, wherein the obstacle detection device is determined to be capable.
Place 【請求項３】 前記距離画像算出手段により算出された
距離値に対応する信頼度の分布を算出する信頼度算出手
段を更に設け、 前記障害物連続性判定手段は、信頼度算出手段で算出さ
れた信頼度を更に考慮して、前記小領域と前記評価部分
との連続可能性を判定する請求項１または２に記載の障
害物検出装置。 3. The distance image calculation means calculates the distance image.
A reliability calculator that calculates the distribution of reliability corresponding to distance values
A step is further provided, and the obstacle continuity determination means is calculated by the reliability calculation means.
Further considering the reliability of the evaluation, the small area and the evaluation portion
The obstacle according to claim 1 or 2 for determining the possibility of continuity with
Damage detection device. 【請求項４】 検出対象とする障害物に関する１種また
は多種の形状データ を記憶する障害物形状データ記憶手
段を更に設け、 前記障害物領域推定手段は、前記障害物連続性判定手段
で判定された連続可能性の判定結果と前記障害物形状デ
ータ記憶手段に記憶された障害物の形状データとに基づ
いて、障害物領域を推定する請求項１から３のいずれか
１項に記載の障害物検出装置。 4. One type of obstacle to be detected or
Is an obstacle shape data memorizer that stores various shape data.
A step is further provided, and the obstacle area estimation means is the obstacle continuity determination means.
Continuity determination result and the obstacle shape data
Based on the obstacle shape data stored in the data storage means.
And estimating the obstacle area.
The obstacle detection device according to item 1. 【請求項５】 濃淡画像の特徴から障害物領域の連続可
能性を判定する濃淡画像基準連続性判定手段を更に設
け、 前記障害物領域推定手段は、前記障害物連続性判定手段
で判定された連続可能性の判定結果と前記濃淡画像基準
連続性判定手段で判定された連続可能性の判定結果とに
基づいて、障害物領域を推定する請求項１から４のいず
れか１項に記載の障害物検出装置。 5. An obstacle region can be continuously displayed based on the characteristics of a grayscale image.
A grayscale image standard continuity determination means for determining the performance is further installed.
The obstacle region estimation means is the obstacle continuity determination means.
Continuity determination result and the grayscale image reference
With the judgment result of continuity possibility judged by the continuity judgment means
The obstacle region is estimated based on any one of claims 1 to 4.
The obstacle detection device according to item 1.