JPH07129898A - 障害物検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数の障害物を分離して障害物領域を正確に
推定する。 【構成】 手段１で、手段１で算出した距離値と手段２
で算出された信頼度とを対にした距離画像を算出する。
手段３で距離画像から障害物領域の推定対象とする小領
域を選択し、手段７で選択された小領域を含む領域候補
を手段６の形状データに基づいて求める。手段４で領域
内の小領域と領域内の評価部分との連続の可能性を各々
の距離値及び信頼度の大きさから判定し、連続の可能性
が大きい小領域の値が大きくなる判定値を求め、手段５
で濃淡画像の特徴から領域内の小領域と領域内の評価部
分との連続の可能性を判定し、連続の可能性が大きい部
分の値が大きくなる判定値を求める。手段７において求
めた領域と手段４、５の判定値とに基づいて判定値が大
きい部分を障害物領域として推定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は障害物検出装置に係り、
より詳しくは、複数の障害物を分離して障害物領域を正
確に推定する障害物検出装置に関する。

【０００２】

【従来の技術】自動車等において障害物との衝突を回避
するために、障害物を検出する障害物検出装置が開発さ
れている。この障害物検出装置は、物体との距離を計測
するレーザレーダ等のセンサを車両に固定して取り付
け、センサによって計測された距離値によって、障害物
を検出しているが、道路の同じ走行レーン上の先行車等
の障害物を検出する場合に道路の曲率が大きい（曲率半
径が小さい）場合には対応できない、他の走行レーンや
周辺の障害物の検出に使用できない、障害物の大きさ及
び形状等が検出できない等のため、適用範囲が制限され
るという問題がある。

【０００３】この問題を解決するため、ステレオ視と呼
ばれる異なる位置で撮影した複数のＴＶカメラ画像間の
照合処理によって得られる距離画像や、レーザレーダ等
を用いてレーザ光を２次元または１次元に走査したり、
レーザレーダ等のセンサを複数個配置したりすることに
より得られる距離画像に基づき、障害物を検出する方法
が開発されている。

【０００４】この距離画像に基づき障害物を検出する方
法に関して、例えば、電子通信学会春季全国大会予稿集
（１９９２年Ｄ−４１０「三次元画像情報を用いた道路
形状と障害物の認識」）には、距離画像から地平面の小
領域毎の高さ方向の物体の分布を前方の距離を横軸とし
たヒストグラムで表し、ヒストグラムが大きな値を持つ
領域が連続する時、その領域を統合して一個の障害物と
みなす技術が示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、実際の
道路の状況には、車両周辺に電柱等の構造物があった
り、複数の２輪車、４輪車等が隣接して存在したり、画
像中で複数の車両等の障害物が重なっており、一方が他
方の一部を隠していたり、信号機、標識、看板等の空中
に浮遊して見える障害物が存在したりする。

【０００６】一方、得られた距離画像は、障害物の全て
の点での距離値が求まらないことから距離値の欠落があ
り、また誤った距離値を持つ点が存在する等の特性を有
している。

【０００７】そのため、地平面の小領域毎のヒストグラ
ムから障害物領域を判断する従来の技術では、以下の問
題点が生じる。

【０００８】障害物の連続性を地平面の小領域毎のヒ
ストグラムが大きな値を持つ領域の連続性で判断してい
るため、特に距離値が欠落したり誤差をもっている場合
には、障害物が隣接している時、その障害物が１つの障
害物なのか、複数の隣接した障害物なのかを判断するの
が困難である。

【０００９】障害物の連続性を地平面の小領域毎のヒ
ストグラムが大きな値を持つ領域の連続性で判断してい
るため、障害物の重なりにより隠された障害物の距離値
が欠落することに対応できず、隠された障害物の領域判
定が困難である。

【００１０】地平面の小領域毎のヒストグラムに変換
して障害物領域を推定しているため、障害物の形状、特
にその障害物の高さや、空中に浮遊して見える障害物の
空間上の位置を判断するのが困難である。

【００１１】従って、画像を用いたステレオ視や、レー
ザ光等を走査することにより得た距離画像に基づき障害
物を検出するためには、従来技術のような地平面の小領
域毎のヒストグラムから判断する単純な方法では、上述
したような問題点が生じ、障害物の検出が正しく行なえ
ない。

【００１２】本発明は上記事情を鑑みてなされたもの
で、実際の道路における障害物の状況に対して、画像を
用いたステレオ視等により得られた距離値に欠落、誤差
を含む距離画像であっても、複数の障害物を分離して、
障害物領域を正確に推定できる障害物検出装置を提供す
ることを目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に第１の発明は、図１に示すように、基準位置から障害
物の各点までの距離値の分布を有する距離画像を算出す
る距離画像算出手段Ａと、前記距離画像算出手段Ａで算
出された距離画像を探索し、障害物領域の推定対象とす
る小領域を選択する障害物選択手段Ｂと、前記障害物選
択手段Ｂで選択された小領域の距離値と、該小領域との
連続性を評価するための評価部分の距離値との大きさを
比較して、小領域と評価部分との連続可能性（連続の可
能性）を判定する障害物連続性判定手段Ｃと、前記障害
物連続性判定手段Ｃで判定された連続可能性の判定結果
に基づいて、障害物領域を推定する障害物領域推定手段
Ｄと、を含んで構成したものである。

【００１４】

【作用】第１の発明は、障害物の遠近関係に関しては、
複数の障害物は各々一塊として存在し、距離が近い障害
物を通してこの障害物の後に位置する距離が遠い障害物
の距離は観測できない、という知識に基づくものであ
る。例えば、図２に示す場合１〜場合４については、あ
る検出対象とする障害物とその障害物に対して連続性を
評価する評価部分との連続可能性を、得られた距離値に
基づいて以下のように判断することができる。 場合１：評価部分の距離値が検出対象の障害物の距離値
と等しい場合：評価部分にも検出対象の障害物の一部分
が連続して存在している可能性が高い。 場合２：評価部分の距離値が検出対象の障害物の距離値
より遠い場合：評価部分に検出対象の障害物が連続して
存在している可能性は低い。 場合３：評価部分の距離値が検出対象の障害物の距離値
より近い場合：評価部分にも検出対象の障害物の一部分
が連続して存在している可能性がある。 場合４：評価部分の距離値が得られない場合：評価部分
にも検出対象の障害物の一部分が連続して存在している
可能性がある。

【００１５】そこで本発明は、距離画像算出手段Ａで基
準位置から障害物の各点までの距離値の分布を有する距
離画像を算出し、障害物選択手段Ｂで距離画像算出手段
Ａで算出された距離画像を探索し、障害物領域の推定対
象とする少なくとも１つの小領域を選択する。障害物連
続性判定手段Ｃは、障害物選択手段Ｂで選択された小領
域の距離値と、この小領域との連続性を評価するための
評価部分の距離値との大きさを比較して、小領域と評価
部分との連続可能性を判定する。小領域の距離値と評価
部分の距離値とは、例えば上記の場合１〜場合４のよう
な関係があるので、これらの関係を利用して小領域の距
離値と評価部分の距離値との大きさを比較することで小
領域と評価部分との連続可能性を判定する。そして、障
害物領域推定手段Ｄで、障害物連続性判定手段Ｃで判定
された連続可能性の判定結果に基づいて、例えば、連続
可能性が高い領域を統合する等により、検出対象とする
障害物領域を推定する。

【００１６】

【その他の発明】次に、障害物領域の推定精度を更に高
めるその他の発明について説明する。第２の発明は、図
３に示すように、第１の発明に検出対象とする障害物に
関する１種または多種の形状データを記憶する障害物形
状データ記憶手段Ｅを更に設けたものである。

【００１７】本発明では、障害物形状データ記憶手段Ｅ
に、検出対象とする障害物に関する１種または多種の形
状データを予め記憶し、距離画像算出手段Ａで基準位置
から障害物の各点までの距離値の分布を有する距離画像
を算出し、障害物選択手段Ｂで距離画像算出手段Ａで算
出された距離画像を探索し、障害物領域の推定対象とす
る小領域を選択し、障害物連続性判定手段Ｃで、障害物
選択手段Ｂで選択された小領域の距離値と、この小領域
との連続性を評価するための評価部分の距離値との大き
さを比較して、小領域と評価部分との連続可能性を判定
し、障害物領域推定手段Ｄで、障害物連続性判定手段Ｃ
で判定された連続可能性の判定結果と障害物形状データ
記憶手段Ｅに記憶された障害物の形状データとに基づい
て、障害物領域を推定する。

【００１８】状況に応じて障害物の形状はある程度特定
でき、例えば、道路における障害物は、各種車両や歩行
者等その種類はある程度特定できる。そのため、障害物
の形状の知識を用いると障害物領域がより正確に推定で
きる。形状データとしては、障害物の実際の幅、高さ、
奥行き、四角形等の単純な形状や更に複雑な形状等を用
いることができる。

【００１９】本発明では、例えば、図４に示すように、
障害物は長方形である、という形状データを使用して近
距離に存在する障害物の背後に位置する障害物を検出す
る場合、形状データ（形状知識）が無い場合と比較して
障害物の存在する領域の正確な推定が可能になる。

【００２０】本発明によれば、障害物領域を推定する際
に障害物の形状のデータを利用できるので、第１発明で
示した幾つかの状況で障害物領域を推定する効果が更に
高まる。

【００２１】第３の発明は、図５に示すように、第１の
発明の障害物検出装置に距離値の信頼度の分布を算出す
る信頼度算出手段Ｆを更に設けたものである。

【００２２】本発明では、距離画像算出手段Ａで基準位
置から障害物の各点までの距離値の分布を算出すると共
に信頼度算出手段Ｆで距離値に対応する信頼度の分布を
算出し、距離値の分布及び信頼度の分布を有する距離画
像を求める。障害物選択手段Ｂで距離画像算出手段Ａで
算出された距離画像を探索し、障害物領域の推定対象と
する小領域を選択し、障害物連続性判定手段Ｃで、障害
物選択手段Ｂで選択された小領域の距離値と、この小領
域との連続性を評価する評価部分の距離値との大きさを
比較すると共に信頼度算出手段Ｆで算出された信頼度を
考慮して、小領域と評価部分との連続可能性を判定し、
障害物領域推定手段Ｄで、障害物連続性判定手段Ｃで判
定された連続可能性の判定結果に基づいて、検出対象と
する最も可能性が高い障害物領域を推定する。

【００２３】算出された距離値の分布に対して信頼度の
分布を算出することは可能である。例えば、画像を用い
たステレオ視では、画像の小領域毎の相関計算によっ
て、複数画像間の対応関係を調べる方法があるが、この
方法では、対応を計算する過程での最大相関値、最大相
関値付近の相関値分布の勾配、最大相関値と２番目に高
い値を持つ相関値分布のピーク値の差または割合等の値
を演算することで、この対応関係の信頼性を評価でき
る。また、同様に、その距離画像の距離値がある距離範
囲に存在することを示す信頼度も相関値等から算出でき
る。

【００２４】評価部分と小領域との距離値を用いた連続
の可能性の判断結果に対して、距離値に対応する信頼度
を用いることにより、例えば以下のようにより正しい連
続の可能性の判断ができる。

【００２５】距離値の信頼度が大きいときは距離値に
基づいて判定された連続の可能性は大きい。

【００２６】距離値の信頼度が小さいときは距離値に
基づいて判定された連続の可能性は小さい。

【００２７】本発明によれば、第１発明の場合に加え
て、小領域と評価領域との連続可能性を判定する際に、
距離値の信頼度を利用できるので、第１発明で示した幾
つかの状況で障害物領域を推定する効果が更に高まる。

【００２８】また、第１〜第３の発明に信頼度算出手段
Ｆを更に設け、障害物選択手段で、障害物の推定対象と
する少なくとも１つの小領域を選択する際にも、信頼度
を用いて、より信頼度の大きな距離値を有する小領域を
選択することにより、信頼度が小さい誤った距離値を有
する障害物領域推定の選択を抑制することができる。

【００２９】そして、第４の発明は、図６に示すよう
に、第１の発明の障害物検出装置に、濃淡画像の特徴か
ら障害物領域の連続可能性を判定する濃淡画像基準連続
判定手段Ｇを更に設けたものである。

【００３０】本発明では、距離画像算出手段Ａで基準位
置から障害物の各点までの距離値の分布を算出し、障害
物選択手段Ｂで距離画像算出手段Ａで算出された距離画
像を探索し、障害物領域の推定対象とする小領域を選択
し、障害物連続性判定手段Ｃで、障害物選択手段Ｂで選
択された小領域の距離値と、この小領域との連続性を評
価する評価部分の距離値との大きさを比較して、小領域
と評価部分との連続可能性を判定すると共に、濃淡画像
規準連続性判定手段Ｇで、濃淡画像の特徴から障害物領
域の連続可能性を判定し、障害物領域推定手段Ｄで、障
害物連続性判定手段Ｃで判定された連続可能性の判定結
果と濃淡画像規準連続性判定手段Ｇで判定された連続可
能性の判定結果とに基づいて、検出対象とする最も可能
性が高い障害物領域を推定する。

【００３１】濃淡画像としては、ＴＶカメラを用いたス
テレオ視による距離画像を用いる場合は、ＴＶカメラか
ら撮影した濃淡画像をそのまま利用でき、レーザ光等で
走査して距離画像を算出する場合には、別途用意したＴ
Ｖカメラで撮影した濃淡画像を利用する。

【００３２】障害物領域の連続可能性を判断するための
情報としては、距離値以外に濃淡画像上での特徴（濃淡
値、濃淡値の分布、エッジ等）を用いるのが有効であ
る。濃淡値や濃淡値の分布が連続していれば、障害物が
連続している可能性が高まり、エッジが存在すれば、エ
ッジの境界で障害物が不連続である可能性があると判断
でき、またエッジが連続していれば障害物が連続してい
る可能性が高まる。

【００３３】そこで、本発明では、障害物領域推定手段
で障害物領域を推定する時、障害物連続性判定手段の距
離画像に基づく障害物領域の連続可能性の判定結果に加
え、濃淡画像基準連続性判定手段の濃淡画像から得られ
る画像特徴に基づく障害物領域の連続可能性判定結果を
用いて、可能性の高い障害物領域を推定している。

【００３４】本発明によれば、第１発明の場合に加え
て、障害物領域を推定する際に、濃淡画像の特徴から得
られた障害物領域の連続可能性の判定結果が利用できる
ので、第１発明で示した幾つかの状況で障害物領域を推
定する効果が更に高まる。

【００３５】なお、上記第２〜４の発明は適宣組み合わ
せて、第１の発明と組み合わせるようにしてもよい。

【００３６】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００３７】図７は車両用障害物検出装置に第１〜第４
の発明を適用した第１実施例における障害物検出装置を
示すブロック図である。本実施例は、１対のＴＶカメラ
をＸ軸方向に一定間隔（ベースライン長）ａで配置した
平行ステレオ装置を利用して障害物を検出するものであ
る。

【００３８】図に示すように、本実施例は、ＴＶカメラ
取り付け位置を基準位置として視差を利用して基準位置
から障害物までの距離値を小領域毎に演算すると共に、
距離値の信頼度を算出する信頼度算出手段２で算出され
た信頼度とこの距離値とを対にした多数の小領域からな
る画像を距離画像として記憶する距離画像算出手段１、
及びこの多数の小領域の中から障害物領域推定の対象と
する小領域を選択する障害物選択手段３を備えている。

【００３９】距離画像算出手段１は、障害物選択手段３
で選択された小領域と、この小領域との連続性を評価す
るための評価部分との連続可能性を判定する障害物連続
性判定手段４、ＴＶカメラで撮像した濃淡画像の特徴か
ら小領域と評価部分との連続可能性を判定する濃淡画像
規準連続性判定手段５、障害物の形状データを予め記憶
させた障害物形状データ記憶手段６が接続されると共
に、障害物選択手段３によって選択された小領域につい
て、評価部分を変化させ、障害物連続性判定手段４によ
る各々の小領域に対する連続可能性の判定結果と、判断
濃淡画像基準連続性判定手段５の濃淡画像から得られる
画像特徴に基づく障害物領域の連続可能性判定結果と、
障害物形状データ記憶手段６に予め記憶した障害物の形
状データとを用いて可能性の高い領域を障害物領域とし
て推定する障害物領域推定手段７に接続されている。

【００４０】なお、本実施例では距離値の分布を例えば
８画素×８画素又は４画素×４画素の小領域を単位とし
て算出しているが、その大きさはこれに限ることなく適
宣選択できる。

【００４１】距離画像算出手段１は、図８に示すよう
に、平行ステレオ装置によりステレオ視して得られた右
入力画像Ｉ１及び左入力画像Ｉ２の各々の画像を入力す
る画像入力部１１、１２、相関演算検出の対象となる小
領域の画像であるテンプレートを、画像入力部１１から
入力した画像から切り出して記憶するテンプレートメモ
リ１３、テンプレートメモリ１３に記憶されたテンプレ
ートとの相関演算を行なうための画像を、画像入力部１
２から入力した画像から切り出して探索画像として記憶
する探索メモリ１４、テンプレートメモリ１３に記憶さ
れたテンプレートと探索メモリ１４に記憶された探索画
像との相関を示す相関値の演算を行なう相関値算出部１
５、相関値算出部１５で算出された相関値から最も相関
が高い位置を探索し、その小領域の距離値を算出する距
離値算出部１６、距離値算出部１６が算出した距離値と
信頼度算出手段２で各々の距離値に対応するように算出
された信頼度とを対にした多数の小領域を距離画像とし
て記憶し、障害物連続性判定手段４等からのアクセスに
応じて対応する小領域の距離値及び信頼値を対にして出
力する距離画像メモリ１７とを備えている。

【００４２】濃淡画像基準連続判定手段５は、図１１に
示すように、距離画像算出手段１の画像入力部１１から
入力した濃淡画像から画像の特徴を抽出する画像特徴抽
出部５１、画像特徴抽出部５１で抽出した画像の特徴を
記憶する特徴画像メモリ５２、障害物領域推定手段７の
アクセスに従い、小領域と評価部分間の連続可能性を判
定する特徴連続性判定部５３を備えている。この濃淡画
像基準連続判定手段５は、画像の特徴としてエッジを用
いて小領域と評価部分間の連続可能性を判定する。すな
わち、ある一続きのエッジが存在する場所に沿っては、
障害物は距離が滑らかに変化していることが多い、とい
う知識に基づき、画像上の障害物の連続可能性を判断す
る。

【００４３】また、障害物領域推定手段７は、図１２に
示すように、障害物選択手段３が選択した小領域のデー
タを記憶する選択障害物メモリ７１、障害物形状データ
記憶手段６に記憶した形状データに基づき選択障害物メ
モリ７１に記憶した小領域の１つ以上を含む領域を障害
物の領域候補として生成する領域候補生成部７２、領域
候補生成部７２で生成した障害物の領域候補に対し、障
害物連続性判定手段４と濃淡画像基準連続性判定手段５
とに領域候補に含まれる小領域と評価部分との連続可能
性の判定を要求するようアクセスし、判定値を得る連続
性評価部分設定部７３、連続性評価部分設定部７３にお
いて領域候補に含まれる評価部分の各々に対して得られ
た連続可能性の判定値を累積加算し、領域候補に対する
連続可能性の評価値を算出すると共に累積値が連続して
減少することを検出したときには累積加算を中断する累
積加算中断器を備えた連続性判定値累積加算部７４、領
域候補生成部７３で生成された１つ以上の領域候補に対
して、連続性判定値累積加算部７４で算出された連続可
能性の評価値に基づいて、最も高い連続可能性の評価値
を持つ領域候補を障害物の推定領域として選択する領域
選択部７５を備えている。

【００４４】次に、本実施例の動作を説明する。距離画
像算出手段１のテンプレートメモリ１３は、画像入力部
１１から入力された右入力画像から相関値演算を行なう
小領域であるテンプレートを切り出して記憶する。この
テンプレートの大きさ、形状、切り出し間隔等は、この
障害物検出装置を適用する環境の距離画像検出に適合し
たものを予め定めておく。本実施例ではテンプレートと
して正方形の小領域を採用した。

【００４５】探索メモリ１４では、テンプレートメモリ
１３に記憶されたテンプレートに対して、エピポーラ条
件や障害物との最小距離の制約等で定まる、左入力画像
の探索範囲の小領域を切り出して探索画像として記憶す
る。

【００４６】相関値算出部１５では、テンプレート内の
画像濃度値と探索画像内の各視差毎の画像濃度値との差
の絶対値の総和を相関値として検出する。この各視差毎
の相関値Ｃ（ｄ）は以下の（１）式により与えられる。

【００４７】

【数１】

【００４８】ここで、Ｉｔ（ｘ，ｙ）はテンプレート
（右入力画像）の座標（ｘ，ｙ）における濃度値、Ｉｓ
（ｘ＋ｄ，ｙ）は探索画像（左入力画像）の座標（ｘ＋
ｄ，ｙ）における濃度値、ｄは視差である。

【００４９】距離値算出部１６では、相関値演算部１５
で算出した相関値Ｃ（ｄ）の最小値Ｃｍｉｎを検出し、
この最小値Ｃｍｉｎに対応する視差ｄｍから、以下の
（２）式により、小領域毎に距離値Ｄｉを算出する。

【００５０】Ｄｉ＝ａ・ｆ／ｄｍ・・・（２） ただし、ａはステレオ視のベースライン長、ｆはＴＶカ
メラに設けられているレンズの焦点距離である。

【００５１】信頼度算出手段２は、距離画像算出手段１
の相関値算出部１５で算出された相関値Ｃ（ｄ）を入力
し、この相関値に基づいて各距離値Ｄｉに対応する信頼
度を算出する。この信頼度を算出するにあたっては、信
頼度の指標として以下の（３）、（４）、（５）式に基
づいて演算されたＣｆ１、Ｃｆ２、Ｃｆ３を用いる。

【００５２】 Ｃｆ１＝Ｃｍｉｎ・・・（３） Ｃｆ２＝（−２Ｃｍｉｎ＋Ｃｍｉｎ１＋Ｃｍｉｎ２）／２・・・（４） Ｃｆ３＝Ｃｍｉｎｐ２−Ｃｍｉｎ・・・（５） ここで、Ｃｍｉｎは相関値の最小値、Ｃｍｉｎ１は相関
値が最小値の小領域の左隣の小領域の相関値、Ｃｍｉｎ
２は相関値が最小値の小領域の右隣の小領域の相関値、
Ｃｍｉｎｐ２は２番目に小さな相関値のピーク値であ
る。

【００５３】そして、この各々の指標Ｃｆ１、Ｃｆ２、
Ｃｆ３に対して、高い閾値と低い閾値との２つの閾値を
用意し、以下の〜のように信頼度Ｒを大、中、小の
３通りに定める。 各々の指標全てが高い閾値を越えた場合：信頼度大 各々の指標全てが高い閾値を越えないが、低い閾値を
越えた場合：信頼度中 各々の指標全てが低い閾値を越えない場合：信頼度小 距離画像算出手段１の距離画像メモリ１７では、距離値
画像算出部１６から出力された距離値Ｄｉと信頼度算出
手段２で算出された各々の距離値Ｄｉに対応する信頼度
Ｒとを小領域毎に対にして距離画像として記憶する。こ
の結果、テンプレートの切り出し間隔に対応した解像度
の距離画像が距離画像メモリ１７内に記憶されることに
なる。

【００５４】距離画像メモリ１７では障害物連続性判定
手段４等のアクセスに応じて、対応する小領域の距離値
Ｄｉ及び信頼度Ｒを対にして出力する。また、以下で説
明するように、障害物領域推定手段７で障害物領域とし
て推定された領域内に含まれている小領域に、この領域
に含まれていることを示すマーク（またはラベル）を書
き込む。

【００５５】障害物選択手段３は、距離画像算出手段１
が算出した距離画像から、以下の条件に従って障害物領
域推定の対象とする小領域を選択する。

【００５６】距離値が小さい（近い）小領域から優先
的に選択する。 他の障害物の領域に属さない小領域（マークが付けら
れていない）を選択する。

【００５７】信頼度Ｒが大の小領域を選択する。 そして、障害物領域推定手段７では、障害物選択手段３
で選択した小領域に基づいて検出対象とする障害物の領
域推定を行なう。

【００５８】この障害物選択手段３及び障害物領域推定
手段７による小領域選択・領域推定処理の流れを図９に
基づいて更に説明する。

【００５９】まず、障害物選択手段３は、距離画像メモ
リ１７に記憶されている多数の小領域の中から、最も近
い距離値Ｄｉを持ち、かつ信頼度Ｒが大の小領域を選択
する（ステップ１００）。この選択された小領域のデー
タ（距離値Ｄｉ、信頼度Ｒ及び距離画像上の位置）は障
害物領域推定手段７の選択障害物メモリに記憶される
（ステップ１０２）。

【００６０】障害物領域推定手段７の障害物候補生成部
７２は、障害物形状データ記憶手段６に記憶されている
検出対象の障害物の形状データに関する知識に基づい
て、障害物選択手段３により選択された小領域を含む１
つの領域（図９に破線で示す）を障害物の領域候補とし
て生成する（ステップ１０４）。第１実施例では道路環
境での車両等の障害物を仮定して、障害物形状データ記
憶手段６には、「画面に投影された障害物の形は長方形
である」、「障害物の大きさ（横幅）は、道路を走行す
る車両の大きさ（横幅）程度である」等の検出対象とす
る障害物の知識が予め記憶されているので、領域候補生
成部７２で生成する領域候補は、選択した障害物を含
み、長方形で、最も大きいもので車両の横幅の大きさを
有するものとなる。

【００６１】連続性評価部分設定部７３では、領域候補
生成部７２で生成した各々の領域候補について領域を構
成する１つの小領域を評価部分として順次選び出し（ス
テップ１０６）、障害物連続性判定手段４と濃淡画像基
準連続判定手段５に連続可能性の判定要求のアクセスを
行い、各々の連続性判定手段４、５からの連続可能性判
定値を得る（ステップ１０８）。

【００６２】連続性判定値累積加算部７４は、連続性評
価部分設定部７３が１つの評価部分に対して得た連続可
能性判定値を累積加算して連続可能性評価値を求め（ス
テップ１１０）、ステップ１１２で領域候補内に評価部
分とする小領域が無いと判断されるまで、上記のステッ
プ１０６〜ステップ１１０を繰り返し、領域候補全体に
対する連続可能性の評価値を算出する。累積加算は、選
択された小領域の近隣から行い、順次遠い小領域へと行
う。この連続性判定値累積加算部７４に設けられた累積
加算中断器は、累積値の減少がある閾値を上回って連続
した時に、累積加算を中止する。これは、２つの障害物
が隣接して存在するとき、１つ障害物の領域を累積加算
していくと、２つの障害物の境界領域で連続可能性判定
値の累積値が連続して減少することを利用し、推定を終
了させて、２つの障害物を独立な領域として推定するも
のである。

【００６３】また、ステップ１１４で他の領域候補とす
る領域が存在するか否か判断し、他の領域候補とする領
域が存在する場合にはステップ１０４に戻って新たな領
域候補を生成し、上記の処理を繰り返す。

【００６４】領域選択部７５は、連続性判定値累積加算
部７４の出力する各々の領域候補に対する可能性の評価
値を入力し、最も大きな評価値を得た領域候補を選択し
て、障害物推定領域として出力する（ステップ１１
６）。また、次の障害物領域の推定が行えるように、障
害物領域として推定した領域に含まれる小領域の全てに
マークを付すように距離画像メモリ１７に書込みを行う
（ステップ１１８）。

【００６５】続いてステップ１２０で障害物選択手段３
で選択する小領域が無くなったか否か判断し、小領域が
存在する場合には、ステップ１００に戻って障害物選択
手段３は、最も近い距離値Ｄｉを持ち、信頼度Ｒ大でか
つマークが付されていない小領域を選択し、このステッ
プ１００〜ステップ１２０の一連の処理を、障害物選択
手段３で選択する小領域が存在しなくなるまで繰り返
す。

【００６６】障害物連続性判定手段４は、障害物領域推
定手段７からの小領域と連続性を評価する評価部分との
連続可能性の判定を求めるアクセスに対し、距離画像算
出手段１の距離画像メモリ１７を探索し、評価部分の距
離値Ｄｉ及び信頼度Ｒを入力し、障害物選択手段３で選
択された小領域の距離値Ｄｉ及び信頼度Ｒと比較し、判
定値を出力する。

【００６７】次に距離値に基づく連続可能性判定値につ
いて説明する。第１実施例では、障害物領域推定手段７
において、連続可能性判定値の累積値（連続可能性評価
値）によって最適な障害物領域の推定を行なうようにし
ているため、上述した場合１〜場合４の判断基準に基づ
いて定めた図１０に示す次の連続可能性判定値を用い
る。評価部分の距離値が領域内の小領域の距離値と等
しくかつ信頼度Ｒが大または中のとき（連続の可能性が
大きい場合）： 連続判定値＝Ｂ１（Ｒ：大）又はＢ２（Ｒ：中） ただし、Ｂ１、Ｂ２は大きい正の値でありＢ１＞Ｂ２ 評価部分の距離値が領域内の小領域の距離値より近く
かつ信頼度Ｒが大または中のとき（連続の可能性が不明
の場合）： 連続可能性判定値＝Ａ１（Ｒ：大）又はＡ２（Ｒ：中） ただし、Ａ１、Ａ２は零、又は絶対値の小さい正又は負
の値。 評価部分の距離値及び領域内の小領域の距離値の大き
さとは無関係に信頼度Ｒが小さいとき（連続可能性が不
明の場合）： 連続可能性判定値＝絶対値の小さい負の値Ｄ 評価部分の距離値が領域内の小領域の距離値より遠く
かつ信頼度Ｒが大または中のとき（連続の可能性が小さ
くかつ不連続の可能性が大きい場合）： 連続可能性判定値＝Ｃ１（Ｒ：大）又はＣ２（Ｒ：中） ただし、Ｃ１、Ｃ２は絶対値の大きな負の値であり、｜
Ｃ１｜＞｜Ｃ２｜ 続いて濃淡画像に基づく連続可能性判定値について説明
する。第１の実施例では、濃淡画像基準連続判定手段５
は、画像特徴としてエッジを用いて画像上の物体の連続
可能性を判断する。すなわち、ある一続きのエッジが存
在する場所に沿っては、障害物は距離が滑らかに変化し
ていることが多い、という知識に基づき、画像上の障害
物の連続可能性を判定するために、濃淡画像基準連続判
定手段５の画像特徴抽出部５１は、濃淡画像に高域通過
空間フイルタを施し、出力されるエッジ強度、エッジ勾
配値に基づき、ある閾値以上のエッジ強度を持ち、エッ
ジ勾配値がほぼ同じ値を有する部分を１つのエッジとし
て抽出する。特徴画像メモリ５２には、画像特徴抽出部
５１が抽出したエッジが記憶される。

【００６８】特徴連続性判定部５３は、障害物領域推定
手段７からの小領域と連続性を評価する評価部分との連
続可能性の判定を求めるアクセスに対し、この小領域と
評価部分とに一続きのエッジが存在するか否かを、特徴
画像メモリ５２に記憶されたデータを探索することによ
り判定し、一続きのエッジが存在する場合は、連続して
いる可能性が大きいと判断し、大きな正の値を持つ連続
性判定値を出力し、一続きのエッジが存在しない場合
は、連続しているか否か不明であると判断して、零付近
の値を持つ連続性判定値を出力する。

【００６９】以上のように構成された本実施例の障害物
検出装置について、図１３の障害物分布状況を用いて、
その動作を具体的に更に説明する。

【００７０】この障害物分布状況に対して、距離画像算
出手段１を用いて、画像入力部１１、１２からステレオ
視画像を入力し、右入力画像から定められた大きさ、
形、切り出し間隔でテンプレートを切り出して、テンプ
レートメモリ１３に記憶し、そのテンプレートに対応す
る探索範囲の画像を左入力画像から切り出して、探索メ
モリ１４に記憶し、相関値算出部１５で上記（１）式を
用いて相関値を算出し、距離値算出手段１６で相関値の
最小値を検出し、その視差から距離値Ｄｉを算出し、距
離画像メモリ１７に記憶すると、図１４に示す多数の小
領域を含む画像が距離画像として得られる。

【００７１】この距離画像は、信頼度算出手段２で、距
離画像算出手段１の相関値算出部１６で算出された相関
値を入力し、算出した信頼度Ｒが大の小領域から成るも
のを示している。ここでは説明の都合上、信頼度Ｒが中
のものは存在せず、他の部分（網かけがされていない部
分）は信頼度Ｒが小（正しい距離値が得られない）と仮
定する。

【００７２】この距離画像から、障害物選択手段３で、
まず図１５に示す小領域（Ａ）が検出対象の障害物領域
の一部として選択されたと仮定する。

【００７３】この小領域（Ａ）のデータは障害物領域推
定手段７の選択障害物メモリ７１に記憶される。領域候
補生成部７２では、障害物形状データ記憶手段６に記憶
された形状データに基づき、選択された小領域を含み、
かつ、長方形で、最も大きいもので車両の横幅の大きさ
を越えない障害物領域候補を１つ以上生成する。生成候
補領域の例を図１６に示す。

【００７４】図１６の領域候補例１では、図１３から理
解されるように、略中央部に誤った距離値を持つ小領域
（Ｅ）が存在するが、小領域（Ａ）の距離値Ｄｉと等し
い距離値Ｄｉを持つ他の小領域部分が多く、図１０に示
す障害物との距離関係が等しくかつ信頼度が大のときの
大きな正の値Ｂ１が加算されるので、連続可能性評価値
（累積値）は大きな正の値を持つことになる。

【００７５】これに対して、領域候補例２、領域候補例
３は、領域候補例１に加えて更に小領域（Ａ）と等しい
距離値Ｄｉをもつ小領域（Ｂ）、（Ｃ）を各々含む領域
候補の例である。

【００７６】領域候補例２は、図１３から理解されるよ
うに、小領域（Ｂ）が誤ったっ距離値Ｄｉを持ってお
り、この距離値Ｄｉが領域（Ａ）の距離値Ｄｉと等しい
場合である。小領域（Ｂ）の周囲には、小領域（Ａ）と
等しい距離値Ｄｉを持つ小領域は存在しないので、小領
域（Ｂ）を含む領域候補は、距離が得られない部分（信
頼度が小の小領域）を多く含み、その部分では連続性判
定値累積加算部７４により図１０に示す小さな負の値Ｄ
が累積加算されるので、結果的に領域候補例１に対し
て、連続可能性評価値は小さくなくなる。

【００７７】領域候補例３も領域候補例２と同様に小領
域（Ｃ）を含む領域候補には、遠い距離値Ｄｉを持つ小
領域部分や、距離値Ｄｉが得られない小領域部分を含
み、これらの部分の累積値は負になるので、結果的に領
域候補例１に対して連続可能性評価値（累積値）は小さ
くなる。

【００７８】領域候補例４は、図１３から理解されるよ
うに、２つの分離した障害物を１つの領域とする領域候
補である。この場合は、連続性の評価を小領域（Ａ）の
近隣から始めて進めていくと、小領域（Ｄ）を含む中間
領域で、遠い距離値Ｄｉを持つ小領域部分や、距離値Ｄ
ｉが得られ難い小領域部分があり、累積値が連続して減
少するため、連続性判定値累積加算部７４の累積加算中
断器がこの減少を検出し、累積加算を中止する。

【００７９】その結果、これらの４つの領域候補例で
は、領域候補例１が最も連続可能性の評価値が大きいた
め、障害物の推定領域となる。この推定された障害物領
域の小領域の全てにマークをつけ、障害物選択手段３
で、距離値の近い方の小領域を選択して、同様の障害物
領域推定処理を行うと、図１７の推定領域（近い）が結
果として得られる。距離値Ｄｉを１つだけ含むような領
域は、誤った距離値Ｄｉを持つ値によるものと判断でき
るので、除去される。

【００８０】遠い距離値Ｄｉについても、同様の推定処
理を行うと、近い小領域の距離値は、図１０に示す判定
値Ａ１のような小さな影響を与えるだけなので、図１７
の推定領域（遠い）が結果として得られる。

【００８１】ここでは説明を省いたが、信頼度Ｒが中の
データや、濃淡画像基準連続性判定手段５の判定結果を
用いると、さらに的確な障害物領域の推定が可能にな
る。

【００８２】従来技術においては、図１４に示す距離画
像では、地平面の領域毎のヒストグラムから障害物領域
を判断するため、近くの障害物の距離値の欠落と、２つ
の領域の中間の空白部分との区別が困難になり、その障
害物を２つの独立した障害物領域として取り出すことが
困難になる。また、距離値が誤ったデータの影響より、
障害物の正しい形状を推定することも困難になる。

【００８３】また、遠い障害物に対して、近い障害物の
影響で距離値が欠落していることに対応できないため、
正しい形状を推定することが困難になる。

【００８４】これに対して、第１の実施例では、より正
しく障害物の領域推定を行うことができる。

【００８５】次に、本発明の第２の実施例を説明する。
この実施例は、スキャン型のレーザレーダ（距離計）を
用いたものである。この場合の距離画像算出手段の構成
を図１８に示す。距離画像算出手段は、ポリゴンミラー
等でレーザ光を１次元または２次元に走査するレーザ光
走査部８１、レーザ光を投光するレーザ光投光部８２、
障害物で反射されたレーザ光を受光するレーザ光受光部
８３、受光したレーザ光の波形から距離値Ｄｉを算出す
る距離値算出部８４、距離値算出部８４が算出した距離
値Ｄｉと信頼度算出手段２が算出した信頼度Ｒとを対に
した小領域を距離画像として記憶し、障害物連続性判定
手段等のアクセスに応じて対応する小領域の距離値Ｄｉ
及び信頼度Ｒを出力する距離画像メモリ８５とを備えて
いる。

【００８６】この距離画像算出手段の動作を説明する
と、レーザ光をレーザ光投光部８２から投光し、それを
レーザ光走査部８１でポリゴンミラー等を回転させるこ
とによ投光角度を変化させて走査し、障害物から反射さ
れて戻ってきたレーザ光をレーザ光受光部８３で受光す
る。受光されたレーザ光の波形は、距離値算出部８４に
送られ、レーザ光をパルス波形に整形させ、パルス間か
ら受光波形の時間遅れを演算すること等により距離値Ｄ
ｉを算出する。算出した距離値Ｄｉは、レーザ光の走査
に同期させて、距離画像メモリ８５に記憶することによ
り、距離画像が作成される。レーザ光の場合の信頼度Ｒ
は、受光波形を信頼度算出手段２に送り、そこで波形の
大きさ等を判定することによって推定できる。距離画像
算出後の処理は、第１の実施例と同様であるので説明を
省略する。

【００８７】なお、本実施例では、ＴＶカメラと上記で
説明した濃淡画像基準連続性判定手段を設け、濃淡画像
基準連続性判定手段の判定結果を用いると、更に的確な
障害物領域の推定が可能になる。

【００８８】第１の実施例では、領域推定の連続可能性
の評価値を得るのに、予め定めた各々の評価部分の連続
可能性判定値の累積加算を用いた。これは演算時間の制
約を考慮し実装した、領域推定の可能性評価の１つの方
法である。これ以外に確率的な考えを導入して、領域に
ついての可能性評価値を演算し、最も高い確率値を有す
る領域を選択する方法でも良い。

【００８９】第１の実施例では、信頼度において、演算
時間の制約を考慮し、信頼度Ｒの値を大、中、小と簡単
化して表したが、連続的な値を採用し、処理を行う方法
でも良い。

【００９０】第１の実施例では、距離画像算出におい
て、左右平行ステレオ視を用いたが、ステレオ計算より
距離を求められる他のステレオ視を用いても良い。ま
た、ステレオ視の照合法として、右入力画像を基準とす
る方法を示したが、左入力画像を基準とする方法、両方
の画像を基準とする方法を用いてもよい。また、ステレ
オ視の照合に演算時間の制約を考慮し、式（１）で示す
差分の絶対値の和を用いたが、積和演算等を用いてもよ
い。

【００９１】また、本発明の実施例は専用の演算器を用
いる構成で示したが、汎用のコンピュータを用いてソフ
トウェアで演算を実現したり、専用のＣＰＵを用いたフ
ァームウェアで実現しても良いことは当然である。

【００９２】

【発明の効果】以上説明したように本発明によれば、障
害物領域の連続可能性を画像上で注目している小領域の
遠近関係も含めて判断するため、障害物が隣接したり、
重なっていたりする場合にも、空中に浮遊してみえる障
害物が存在する場合にも、距離値の欠落、誤りが存在す
る場合にも、従来手法に比べて、正しく障害物領域を推
定できる、という効果が得られる。

【図面の簡単な説明】

【図１】第１の発明のブロック図である。

【図２】検出対象とする障害物と評価部分との連続可能
性を説明するための線図である。

【図３】第２の発明のブロック図である。

【図４】形状知識がない場合の障害物領域と形状知識が
ある場合の障害物領域とを比較して説明する説明図であ
る。

【図５】第３の発明のブロック図である。

【図６】第４の発明のブロック図である。

【図７】第１実施例のブロック図である。

【図８】第１実施例の距離画像算出手段の詳細を示すブ
ロック図である。

【図９】障害物選択手段及び障害物領域推定手段による
小領域選択・領域推定処理の流れを示す流れ図である。

【図１０】領域推定の対象とする障害物と連続性の評価
部分との連続可能性を示す判定値の値を示す線図れあ
る。

【図１１】濃淡画像基準連続判定手段の詳細を示すブロ
ック図である。

【図１２】障害物領域推定手段の詳細を示すブロック図
である。

【図１３】障害物分布状況の例を示す線図である。

【図１４】図１３の障害物分布状況から得られた距離画
像を示す線図である。

【図１５】障害物選択手段で選択された小領域（Ａ）を
示す線図である。

【図１６】障害物領域推定手段領域候補生成部で生成さ
れた生成候補領域の例を示す線図である。

【図１７】距離が近い障害物推定領域と距離が遠い障害
物推定領域とを示す線図である。

【図１８】第２実施例のブロック図である。

【符号の説明】

１ 距離画像算出手段 ２ 信頼度算出手段 ３ 障害物選択手段 ４ 障害物連続性判定手段 ５ 濃淡画像基準連続性判定手段 ６ 障害物形状データ記憶手段 ７ 障害物領域推定手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０１Ｓ 17/93 Ｇ０５Ｄ 1/02 Ｓ 9323−3Ｈ Ｋ 9323−3Ｈ Ｇ０６Ｔ 1/00 7/00 Ｇ０８Ｇ 1/00 Ｊ 7531−3Ｈ Ｈ０４Ｎ 7/18 Ｄ 9287−5Ｌ Ｇ０６Ｆ 15/62 ４１５

Claims (1)

【特許請求の範囲】
1. 【請求項１】 基準位置から障害物の各点までの距離値
   の分布を有する距離画像を算出する距離画像算出手段
   と、 前記距離画像算出手段で算出された距離画像を探索し、
   障害物領域の推定対象とする小領域を選択する障害物選
   択手段と、 前記障害物選択手段で選択された小領域の距離値と、該
   小領域との連続性を評価するための評価部分の距離値と
   の大きさを比較して、小領域と評価部分との連続可能性
   を判定する障害物連続性判定手段と、 前記障害物連続性判定手段で判定された連続可能性の判
   定結果に基づいて、障害物領域を推定する障害物領域推
   定手段と、 を含む障害物検出装置。