JP3324821B2 - 車輌用車外監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ガイドレール等の道路
の境界となる連続した立体物としての側壁を検出する車
輌用車外監視装置に関する。

【０００２】

【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動車の衝突や道路
からの逸脱等の事故発生の危険性を判断したり、これら
の事故を自動的に回避する技術が従来より進められてお
り、自車輌が走行して行く道筋や走行可能な道路の範囲
を認識することが重要な課題の１つとなっている。

【０００３】道路の形状や走行可能範囲を認識する技術
としては、車輌に搭載したカメラ等の撮像装置により車
外の対象風景を撮像し、この撮像した画像を画像処理す
ることにより、道路上の白線、他の車輌、道路周辺の物
体を検出する技術が開発されており、さらに、道路の形
状や物体までの距離を求める計測技術が開発されてい
る。

【０００４】この画像による認識・計測技術は、単眼視
像からカメラ位置との関係を用いて対象物までの距離を
推定する技術と、複数のカメラにより、あるいは１つの
カメラの位置を変えることにより複数の画像を撮像し、
三角測量の原理で対象物までの距離を求める、いわゆる
ステレオ法による技術とに大別される。

【０００５】単眼視像による二次元画像から障害物や道
路形状を検出する技術は、種々提案されており、例え
ば、特開平１−２４２９１６号公報には、１台のＴＶカ
メラを車内のフロントウインド中央上部付近に取り付
け、これから得られる画像を用いて、画像中のあるサー
ベイ・ライン上の輝度分布パターンや、二次元的な輝度
分布パターンから障害物や道路の白線を検出し、ＴＶカ
メラの取り付け位置や、方向、視野等のパラメータから
カメラ位置を仮定し、障害物や白線の三次元位置を推定
する技術が開示されている。

【０００６】しかしながら、実際の道路上で撮影される
画像には、周囲の建物や木々等の様々な物体や背景が写
っており、この中から、道路の白線を二次元的な特徴パ
ターンのみによって的確に検出することは困難である。
さらに、一般の道路では白線が整備されていない箇所も
多くあり、この場合には、この技術は使用できないこと
になる。

【０００７】このように、白線が無い道路では、ガード
レール、植込み、パイロン列等、道路の境界となる連続
した立体物としての側壁を検出し、これによって道路の
形状や走行可能範囲を検出することが有効であると考え
られる。しかし、単眼視像を用いる技術では、このよう
な側壁を検出することは困難である。

【０００８】一方、複数の画像から三角測量の原理で距
離を求めるステレオ法の技術は、左右画像における同一
物体の位置の相対的なずれから距離を求めるので、正確
な距離を求めることができる。

【０００９】例えば、特開昭４８−２９２７号公報、特
開昭５５−２７７０８号公報には、２台のＴＶカメラを
車輌前方に取り付け、まず、各々の画像を空間微分して
明暗変化点のみを抽出し、片方のカメラの画像の走査を
所定時間だけ遅延させてもう一方の画像と重ね合わせ、
２つの画像で一致する部分のうち、立体物が持つ明暗変
化の特徴から、立体物だけを抽出する技術が開示されて
おり、さらに、計測自動制御学会論文集Ｖｏｌ．２１，
Ｎｏ．２（昭和６０年２月）の中に発表されている「障
害物の２次元的な分布の認識手法」には、通路パターン
認識装置により道路脇のガードレールを検出する技術が
記載されている。

【００１０】しかしながら、この技術では、検出される
ガードレールは、細かい部分毎の位置のデータの集まり
として出力されるに留まり、側壁を連続的に存在する立
体物として認識していない。従って、この検出結果の出
力を使って、前述のような事故発生の危険性の判断や事
故回避を実現しようとすると、繁雑なデータ処理が必要
になる。

【００１１】また、車輌の側面や四隅に超音波センサー
を取り付け、ガードレール等を検出する技術も開発され
ているが、超音波センサーは計測可能な距離が短く、車
輌の近傍のガードレールしか検出できない。このため、
一般道路を通常速度で走行する場合には、検出能力が不
足し、さらには、植込み等のように超音波では検出困難
な側壁には対処することができない。

【００１２】

【発明が解決しようとする課題】以上のように、実際の
複雑な状況においては、実際の道路上の画像には様々な
物が写っており、ガードレール、植込み、パイロン列等
の検出すべき物体を、前方にある別の物体が部分的に隠
している場合もある。このような状況下では、目的とす
る側壁だけを正確に検出することは極めて困難である。

【００１３】本発明は前記事情に鑑みてなされたもの
で、ガードレール、植え込み、パイロン列等の道路の境
界となる連続した立体物としての側壁を確実に検出する
ことができ、しかも、側壁の有無、位置、方向を処理が
容易なデータ形態で検出することのできる車輌用車外監
視装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】第１の発明は、車外の設
定範囲の対象を検出し、この対象に対する位置情報を出
力する計測手段と、前記計測手段からの位置情報に基づ
き、道路の境界となる連続した立体物としての側壁の有
無と、この側壁の位置を近似する直線式とを検出する側
壁直線検出手段と、前記側壁直線検出手段で検出した直
線式の周囲に空間領域を設定し、この空間領域内のデー
タのみを抽出して前記側壁が存在する範囲を検出する側
壁範囲検出手段とを備えたことを特徴とする。

【００１５】第２の発明は、車外の設定範囲内の対象を
検出し、この対象に対する三次元位置情報を出力する計
測手段と、前記計測手段からの三次元位置情報に基づい
て道路モデルを決定し、この道路モデルを道路形状とし
て検出する道路検出手段と、前記道路モデルに基づい
て、前記三次元位置情報の中から道路表面より上にある
データのみを抽出するデータ抽出手段と、前記データ抽
出手段で抽出したデータから、道路の境界となる連続し
た立体物としての側壁の有無と、この側壁の位置を近似
する直線式とを検出する側壁直線検出手段と、前記側壁
直線検出手段で検出した直線式の周囲に空間領域を設定
し、この空間領域内のデータのみを抽出して前記側壁が
存在する範囲を検出する側壁範囲検出手段とを備えたこ
とを特徴とする。

【００１６】第３の発明は、第２の発明において、前記
道路検出手段に、前記三次元位置情報に基づいて、道路
の白線の位置及び形状を推定する道路形状推定手段と、
前記道路形状推定手段で推定した道路の白線を包合する
三次元の空間領域を三次元ウインドウとして設定する三
次元ウインドウ設定手段と、前記三次元位置情報の中か
ら前記三次元ウインドウ内のデータのみを抽出し、前記
道路モデルを構成する三次元の直線要素を検出する直線
要素検出手段と、前記直線要素検出手段で検出した直線
要素の妥当性を判定し、判定基準に合致しない場合には
前記直線要素を修正あるいは変更して前記道路モデルを
決定する道路形状判定手段とを備えたことを特徴とす
る。

【００１７】第４の発明は、第１の発明または第２の発
明において、前記側壁直線検出手段は、前記側壁の存在
を探索する探索領域を設定し、この探索領域内のデータ
のみを抽出してハフ変換を行なうことにより、前記側壁
の存在の有無と、前記直線式とを検出するものであるこ
とを特徴とする。

【００１８】第５の発明は、第１の発明または第２の発
明において、前記側壁直線検出手段は、前記側壁の存在
を探索する探索領域を格子状に区分して設定し、この探
索領域内のデータのみを抽出して各格子内に含まれるデ
ータの個数を求め、各格子内のデータは各格子の中心位
置にまとまって存在するものとしてハフ変換を行なうこ
とにより、前記側壁の存在の有無と、前記直線式とを検
出するものであることを特徴とする。

【００１９】第６の発明は、第１の発明または第２の発
明において、前記側壁範囲検出手段は、前記空間領域内
のデータの個数を縦軸とし、自車輌との距離を横軸とす
るヒストグラムを作成し、このヒストグラムの度数の大
小から前記側壁が存在する範囲を検出するものであるこ
とを特徴とする。

【００２０】

【００２１】

【００２２】第７の発明は、第１の発明または第２の発
明において、前記計測手段は、車外の設定範囲を撮像し
て画像処理することにより、車外の対象に対する前記位
置情報を出力するものであることを特徴とする。

【００２３】第８の発明は、第１の発明または第２の発
明において、前記計測手段は、車外の設定範囲を走査し
てレーザ光を投射・受光することにより、車外の対象に
対する前記位置情報を出力するものであることを特徴と
する。

【００２４】

【作用】第１の発明では、車外の設定範囲の対象に対す
る位置情報に基づいて、道路の境界となる連続した立体
物としての側壁の有無と、この側壁の位置を近似する直
線式とを検出し、さらに、この直線式の周囲に空間領域
を設定し、この空間領域内のデータのみを抽出して前記
側壁が存在する範囲を検出する。

【００２５】第２の発明では、車外の設定範囲内の対象
に対する三次元位置情報に基づいて道路モデルを決定
し、この道路モデルに基づいて、前記三次元位置情報の
中から道路表面より上にあるデータのみを抽出する。そ
して、抽出したデータから、道路の境界となる連続した
立体物としての側壁の有無と、この側壁の位置を近似す
る直線式とを検出し、さらに、この直線式の周囲に空間
領域を設定し、この空間領域内のデータのみを抽出して
前記側壁が存在する範囲を検出する。

【００２６】第３の発明では、第２の発明において、前
記三次元位置情報に基づいて道路の白線の位置及び形状
を推定し、推定した道路の白線を包合する三次元の空間
領域を三次元ウインドウとして設定するとともに、前記
三次元位置情報の中から前記三次元ウインドウ内のデー
タのみを抽出して前記道路モデルを構成する三次元の直
線要素を検出し、検出した直線要素の妥当性を判定し、
判定基準に合致しない場合には前記直線要素を修正ある
いは変更して前記道路モデルを決定することにより、道
路形状を検出する。

【００２７】第４の発明では、第１の発明または第２の
発明において、前記側壁の存在を探索する探索領域を設
定し、この探索領域内のデータのみを抽出してハフ変換
を行なうことにより、前記側壁の存在の有無と、前記直
線式とを検出する。

【００２８】第５の発明では、第１の発明または第２の
発明において、前記側壁の存在を探索する探索領域を格
子状に区分して設定し、この探索領域内のデータのみを
抽出して各格子内に含まれるデータの個数を求め、各格
子内のデータは各格子の中心位置にまとまって存在する
ものとしてハフ変換を行なうことにより、前記側壁の存
在の有無と、前記直線式とを検出する。

【００２９】第６の発明では、第１の発明または第２の
発明において、前記空間領域内のデータの個数を縦軸と
し、自車輌との距離を横軸とするヒストグラムを作成
し、このヒストグラムの度数の大小から前記側壁が存在
する範囲を検出する。

【００３０】

【００３１】

【００３２】第７の発明は、第１の発明または第２の発
明において、車外の設定範囲を撮像して画像処理するこ
とにより、車外の対象に対する前記位置情報を出力す
る。

【００３３】第８の発明は、第１の発明または第２の発
明において、車外の設定範囲を走査してレーザ光を投射
・受光することにより、車外の対象に対する前記位置情
報を出力する。

【００３４】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１〜図３８は本発明の第１実施例に係り、図１
は車外監視装置の全体構成図、図２は車輌の正面図、図
３は車外監視装置の回路ブロック図、図４はカメラと被
写体との関係を示す説明図、図５はステレオ画像処理装
置の具体例を示す回路構成図、図６はシティブロック距
離計算回路の説明図、図７は最小値検出回路のブロック
図、図８は車載のＣＣＤカメラで撮像した画像の例を示
す説明図、図９は距離画像の例を示す説明図、図１０は
車輌の上面図、図１１は車輌の側面図、図１２は道路・
側壁検出装置の機能ブロック図、図１３は道路モデルの
例を示す説明図、図１４は三次元ウインドウの形状を示
す説明図、図１５は二次元ウインドウの形状を示す説明
図、図１６は直線要素とデータのずれ量を示す説明図、
図１７はずれ量と重み係数の関係を示す説明図、図１８
は検出した道路形状の例を示す説明図、図１９は側壁検
出における探索領域の形状を示す説明図、図２０は側壁
検出における画像の例を示す説明図、図２１は立体物デ
ータの分布状況を示す説明図、図２２はハフ変換での直
線の想定を示す説明図、図２３はパラメータ空間の投票
領域を示す説明図、図２４はパラメータ空間への投票結
果を示す説明図、図２５は側壁候補領域を示す説明図、
図２６はヒストグラムと側壁の存在範囲の関係を示す説
明図、図２７はステレオ画像処理装置の動作を示すフロ
ーチャート、図２８はシフトレジスタ内の保存順序を示
す説明図、図２９はシティブロック距離計算回路の動作
を示すタイミングチャート、図３０はずれ量決定部の動
作を示すタイミングチャート、図３１はステレオ画像処
理装置の動作を示すタイミングチャート、図３２〜図３
５は道路検出部の動作を示すフローチャートであり、図
３２は道路形状推定処理のフローチャート、図３３は三
次元ウインドウ発生処理のフローチャート、図３４は直
線要素検出処理のフローチャート、図３５は道路形状判
定処理のフローチャート、図３６〜図３８は側壁検出部
の動作を示すフローチャートであり、図３６は立体物デ
ータ抽出処理のフローチャート、図３７は側壁直線検出
処理のフローチャート、図３８は側壁範囲検出処理のフ
ローチャートである。

【００３５】図１において、符号１は自動車等の車輌で
あり、この車輌１に、車外の設置範囲内の対象を認識し
て監視する車外監視装置２が搭載されている。この車外
監視装置２は、車外の設定範囲内の対象を撮像するステ
レオ光学系１０と、このステレオ光学系１０によって撮
像した画像を処理し、三次元の距離分布情報を算出する
ステレオ画像処理装置２０と、このステレオ画像処理装
置２０からの距離情報を入力し、その距離情報から、道
路形状、及び、ガードレール、植込み、パイロン列等の
道路の境界となる連続した立体物としての側壁の三次元
位置を高速で検出する道路・側壁検出装置１００とを備
えており、例えば、図示しないアクチュエータ類を制御
する外部装置を接続することにより、認識された側壁に
車輌１が衝突あるいは接触する危険がある場合、運転者
に対する警告、車体の自動衝突回避等の動作を行なうこ
とができるようになっている。

【００３６】前記ステレオ光学系１０は、撮像した画像
を電気信号に変換する撮像装置として、例えば電荷結合
素子（ＣＣＤ）等の固体撮像素子を用いたＣＣＤカメラ
を用いて構成されており、図２に示すように、遠距離の
左右画像用としての２台のＣＣＤカメラ１１ａ，１１ｂ
（代表してＣＣＤカメラ１１と表記する場合もある）
が、それぞれ車室内の天井前方に一定の間隔をもって取
り付けられるとともに、近距離の左右画像用としての２
台のＣＣＤカメラ１２ａ，１２ｂ（代表してＣＣＤカメ
ラ１２と表記する場合もある）が、それぞれ、遠距離用
のＣＣＤカメラ１１ａ，１１ｂの内側に一定の間隔をも
って取り付けられている。

【００３７】また、図３に示すように、前記ステレオ画
像処理装置２０は、前記ステレオ光学系１０からの左右
２枚の画像信号を入力し、画像の微小領域毎に２枚の画
像で同一の物体が写っている部分を検出し、その画像上
の位置のずれ量から物体までの距離を算出する処理を画
像全体に渡って実行する距離検出回路２０ａ、この距離
検出回路２０ａの出力である距離情報を記憶する距離画
像メモリ２０ｂ等から構成されており、前記ステレオ光
学系１０と前記ステレオ画像処理装置２０とで、車外の
設定範囲の対象を検出し、この対象に対する位置情報を
出力する計測手段を構成するようになっている。

【００３８】また、道路・側壁検出装置１００は、距離
画像メモリ２０ｂに書き込まれた距離情報を読み出して
各種の計算処理を行なうマイクロプロセッサ１００ａを
中心に構成され、制御プログラムを格納する読み出し専
用メモリ（ＲＯＭ）１００ｂ、計算処理途中の各種パラ
メータを記憶する読み書き両用メモリ（ＲＡＭ）１００
ｃ、インターフェース回路１００ｄ、処理結果のパラメ
ータを記憶する出力用メモリ１００ｅ等から構成されて
おり、前記インターフェース回路１００ｄには、車輌１
に取り付けられた車速センサ３と、ステアリングの操舵
角を検出する舵角センサ４とが接続されている。

【００３９】前記マイクロプロセッサ１００ａは、前記
距離画像メモリ２０ｂを介して距離画像を入力して計算
処理を実行し、処理結果である道路形状や側壁のパラメ
ータを出力用メモリ１００ｅに出力する。道路・側壁検
出装置１００に接続される外部機器は、前記出力用メモ
リ１００ｅを介して、これらのパラメータを受け取るこ
とになる。

【００４０】ここで、前記ステレオ光学系１０として、
直近から例えば１００ｍ遠方までの距離計測を行なう場
合、車室内のＣＣＤカメラ１１、１２の取付位置を、例
えば、車輌１のボンネット先端から２ｍとすると、実際
には前方２ｍから１００ｍまでの位置を計測できれば良
い。

【００４１】すなわち、図４に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｚに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。

【００４２】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋δとなり、このδをずれ量とする
と、点Ｐまでの距離Ｚは、ずれ量δから以下の式で求め
ることができる。

【００４３】 Ｚ＝ｒ×ｆ／δ （１） この左右画像のずれ量δを検出するには、左右画像にお
ける同一物体の像を見つけ出す必要があり、本発明で
は、次に述べるステレオ画像処理装置２０において、画
像を小領域に分割し、それぞれの小領域内の輝度あるい
は色のパターンを左右画像で比較して一致する領域を見
つけ出し、全画面に渡って距離分布を求める。従って、
従来のように、エッジ、線分、特殊な形等、何らかの特
徴を抽出し、それらの特徴が一致する部分を見つけ出す
ことによる情報量の低下を避けることができる。

【００４４】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
i、Ｂiとすると、例えば、以下の（２）式に示すシティ
ブロック距離Ｈによって評価することができ、平均値の
採用による情報量の低下もなく、乗算がないことから演
算速度を向上させることができる。

【００４５】 Ｈ＝Σ｜Ａi−Ｂi｜ （２） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。

【００４６】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、前記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。

【００４７】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。

【００４８】前記ステレオ画像処理装置２０の具体的回
路例は、図５に示され、この回路例では、距離検出回路
２０ａに、前記ステレオ光学系１０で撮像したアナログ
画像をデジタル画像に変換する画像変換部３０、この画
像変換部３０からの画像データに対し、左右画像のずれ
量δを決定するためのシティブロック距離Ｈを画素を一
つずつずらしながら次々と計算するシティブロック距離
計算部４０、シティブロック距離Ｈの最小値ＨMIN 及び
最大値ＨMAX を検出する最小・最大値検出部５０、この
最小・最大値検出部５０で得られた最小値ＨMIN が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量δを決定するずれ量決定部６０が備えられており、
また、距離画像メモリ２０ｂとして、デュアルポートメ
モリ９０が採用されている。

【００４９】前記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、前記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。

【００５０】Ａ／Ｄコンバータ３１ａ，３１ｂは、例え
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。

【００５１】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、前記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。

【００５２】前記画像メモリ３３ａ，３３ｂは、後述す
るように、シティブロック距離計算部４０で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。

【００５３】前記シティブロック距離計算部４０では、
前記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。

【００５４】前記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。

【００５５】また、前記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量δの決定の
際に用いられる。

【００５６】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図６
に詳細が示されるように、演算器４６を１６個ピラミッ
ド状に接続したパイプライン構造で、例えば８画素分を
同時に入力して計算するようになっている。このピラミ
ッド型構造の初段は、絶対値演算器、２段〜４段は、そ
れぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。

【００５７】尚、図６においては、絶対値計算と１，２
段目の加算器は半分のみ表示している。

【００５８】また、前記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。

【００５９】尚、シティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサ等を用いなければなら
なくなる。

【００６０】前記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、前記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。

【００６１】図７に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量δがＤラッチ５５に保存されるように
なっている。

【００６２】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量δを保存しないこと以外は、
最小値検出回路５１と同様の構成である。

【００６３】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。

【００６４】前記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量δを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈaを保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈbを保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈcを保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量δ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。

【００６５】前記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、前記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、前記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で前記スイッチ回路６５を作動し、ずれ
量δまたは“０”が前記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。

【００６６】前記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
前記最大値検出回路５２が接続され、前記Ｂバス６２ｂ
には、前記最小値検出回路５１が接続されている。さら
に、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シ
フトレジスタ６４ａ，６４ｂが接続されている。

【００６７】また、前記スイッチ回路６５には、前記演
算器６１が接続されるとともに、前記ラッチ６３ａを介
して前記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて前記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。

【００６８】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量δを出力する。

【００６９】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量δとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量δを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。

【００７０】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMINの近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面等の緩やかに輝度の変わる物体に
対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。） 尚、このずれ量決定の処理も、通常のマイクロプロセッ
サでソフト的に行おうとすると、例えば２７ＭＩＰＳの
速さが必要となり、実行不可能である。

【００７１】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、距離画像メモリ２０ｂと
してのデュアルポートメモリ９０へ共通バス８０を介し
て書き込まれる。

【００７２】以上説明したステレオ画像処理装置２０か
ら出力される距離分布情報は、画像のような形態をして
おり（距離画像）、左右２台のＣＣＤカメラ１１ａ，１
１ｂで撮影した画像、例えば図８に示すような画像（図
８は片方のカメラで撮像した画像を示す）を前記ステレ
オ画像処理装置２０で処理すると、図９のような画像と
なる。

【００７３】図９に示す画像例では、画像サイズは横４
００画素×縦２００画素であり、距離データを持ってい
るのは黒点の部分で、これは図８の画像の各画素のう
ち、左右方向に隣合う画素間で明暗変化が大きい部分で
ある。画像上の座標系は、図９に示すように、左上隅を
原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、
単位は画素である。

【００７４】この距離画像は、前記道路・側壁検出装置
１００に読み込まれ、道路上の白線と、道路周辺に存在
する側壁が検出される。この場合、前記道路・側壁検出
装置１００では、物体の三次元的な位置情報を利用し、
道路と側壁の区別は道路表面からの高さによって行い、
側壁と背景の区別は距離の値によって行なう。

【００７５】このため、前記道路・側壁検出装置１００
では、まず、前記ステレオ画像処理装置２０からの距離
画像の座標系を、自車（車輌１）を取り巻く実空間の座
標系に変換し、検出した道路形状や側壁に対し、位置や
大きさを計算する。

【００７６】すなわち、図１０及び図１１に示すよう
に、実空間の座標系を車輌１固定の座標系とし、Ｘ軸を
車輌１の右側側方、Ｙ軸を車輌１の上方、Ｚ軸を車輌１
の前方、原点を２台のＣＣＤカメラ１１ａ（１２ｂ），
１１ｂ（１２ｂ）の中央の真下の道路面とすると、ＸＺ
平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致す
ることになり、画像中の距離情報（ｉ，ｊ，Ｚ）から被
写体の三次元位置（Ｘ，Ｙ，Ｚ）を算出するには、以下
の（３），（４）式により一種の座標変換を行なう。

【００７７】 Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ） （３） Ｘ＝ｒ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） （４） ここで、 ＣＨ ：ＣＣＤカメラ１１（ＣＣＤカメ
ラ１２）の取付け高さ、 ＰＷ ：１画素当たりの視野角、 ＪＶ，ＩＶ：車輌１の真正面の無限遠点の画像上の座標
である。

【００７８】また、実空間の三次元座標（Ｘ，Ｙ，Ｚ）
から画像上の位置（ｉ，ｊ）を算出する式も、前記
（３），（４）式を変形し、次のようになる。

【００７９】 ｊ＝（ＣＨ−Ｙ）／（Ｚ×ＰＷ）＋ＪＶ （５） ｉ＝（Ｘ−ｒ／２）／（Ｚ×ＰＷ）＋ＩＶ （６） 尚、ＣＣＤカメラ１１の取り付け位置を、前記実空間の
ＸＹＺ座標系で示すと、例えば、右側のＣＣＤカメラ１
１ｂは、Ｘ＝０．４５ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０
ｍであり、左側のＣＣＤカメラ１１ａは、Ｘ＝−０．４
５ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０ｍとなる。

【００８０】前記道路・側壁検出装置１００の認識機能
は、図１２に示すように、道路検出部１１０と、側壁検
出部１２０とに大別され、処理結果が、道路・側壁パラ
メータ記憶部１３０としての出力メモリ１００ｅに記憶
され、図示しない外部装置に読み込まれる。

【００８１】前記道路検出部１１０は、前記距離画像に
含まれる距離分布の情報（三次元位置情報）に基づいて
道路モデルを決定し、この道路モデルを道路形状として
検出する道路検出手段としての機能を有し、道路形状推
定部１１１、三次元ウインドウ発生部１１２、直線要素
検出部１１３、及び、道路形状判定部１１４から構成さ
れている。また、前記側壁検出部１２０は、立体物デー
タ抽出部１２１、側壁直線検出部１２２、及び、側壁範
囲検出部１２３から構成されている。

【００８２】道路形状推定部１１１は、前記距離画像に
含まれる距離分布の情報に基づいて、道路の白線の位置
及び形状を推定する道路形状推定手段としての機能を有
し、三次元ウインドウ発生部１１２は、推定した道路の
白線を包合する三次元の空間領域を三次元ウインドウと
して設定する三次元ウインドウ設定手段としての機能を
有している。

【００８３】また、直線要素検出部１１３は、前記距離
分布の情報の中から前記三次元ウインドウ内のデータの
みを抽出し、前記道路モデルを構成する三次元の直線要
素を検出する直線要素検出手段としての機能を有し、道
路形状判定部１１４は、検出した直線要素の妥当性を判
定し、判定基準に合致しない場合には前記直線要素を修
正あるいは変更し、前記道路モデルを決定する道路形状
判定手段としての機能を有している。

【００８４】また、立体物データ抽出部１２１は、決定
した道路モデルに基づいて、前記距離分布の情報の中か
ら道路表面より上にあるデータのみを抽出するデータ抽
出手段としての機能を有し、側壁直線検出部１２２は、
抽出した立体物データの中から、予め設定された側壁の
探索領域内のデータのみを抽出し、これをハフ変換で処
理して側壁の有無と側壁の位置を示す直線式とを検出す
る側壁直線検出手段としての機能を有している。

【００８５】また、側壁範囲検出部１２３は、側壁の位
置を示す直線式に基づいて、側壁が存在すると推定され
る側壁候補領域を設定し、この側壁候補領域内の立体物
データの分布状態から、側壁の前後端の位置を検出する
側壁範囲検出手段としての機能を有している。

【００８６】前記道路検出部１１０では、距離画像メモ
リ２０ｂに記憶された距離画像による三次元的な位置情
報を利用し、実際の道路上の白線だけを分離して抽出
し、内蔵した道路モデルのパラメータを、実際の道路形
状と合致するよう修正・変更して道路形状を認識する。

【００８７】実際の画像では、道路上の白線に先行車等
が重なって写るが、画像に写った道路の白線を二次元的
な特徴を頼りに検出する従来の多くの装置では、白線と
立体物とを二次元的な特徴によって分離することは困難
な場合が多いが、本発明では白線の三次元的な位置情報
を利用することにより、確実に白線と立体物とを分離す
ることができる。

【００８８】すなわち、三次元空間では白線は道路の平
面上にあり、一方、先行車等の立体物は道路平面より高
い位置にある。そこで、道路面からの高さによって白線
と立体物を区別するのである。

【００８９】さらに、道路検出部１１０には道路モデル
が内蔵されており、この道路モデルは、認識対象範囲ま
での道路の自車線を、設定した距離によって複数個の区
間に分け、各区間毎に左右の白線を、後述する三次元の
直線式で近似して折れ線状に連結したものであり、左右
の折れ線で囲まれた範囲を自分の走行車線と判断する。
道路形状の認識とは、三次元の直線式のパラメータを導
出するプロセスともいえる。

【００９０】図１３は道路モデルの例であり、例えば、
前方８４ｍまでの道路を、第０区間Ｒ0，第１区間Ｒ1，
第２区間Ｒ2，…，第６区間Ｒ6の７区間に分け、左カー
ブを近似表現したものである。この道路モデルでは、７
個の区間で道路を近似表現することにより、直線路のみ
でなくカーブやＳ字路も十分な精度で表現でき、また、
各区間は直線で表現されるため、計算処理や取扱いが簡
単である。さらに、後述するように、各区間は、水平方
向及び垂直方向の直線式で表され、道路の上り下りや凹
凸等の、道路の上下方向の形状も表現できる。

【００９１】尚、前記道路モデルの各区間を区切る距離
の値は、走行する道路のカーブの曲率に応じて変更する
必要がある。一般の高速道路ではカーブの半径は最小で
２３０ｍ程度に設計されているため、このような場合、
各区間の区切り距離を、１０ｍ，１７ｍ，２５ｍ，３５
ｍ，４８ｍ，６４ｍ，８４ｍにすると良好な結果が得ら
れる。

【００９２】次に、道路検出部１１０の機能を詳細に説
明する。道路形状推定部１１１では、前回（Δｔｓｅｃ
前）の道路形状の認識結果を基にし、車速センサ３、舵
角センサ４からの出力信号を使ってΔｔ秒間の車輌１の
動きを算出し、Δｔ秒後の車輌１の位置から見た道路形
状を推定する。

【００９３】すなわち、車速センサ３の出力信号をＶ
（ｍ／ｓｅｃ）、ステアリング・コラムに取り付けた舵
角センサ４の出力信号（操舵角）をη（ｒａｄ）とする
と、Δｔ秒間の車輌１の前進量ΔＺ（ｍ）と回転角（ヨ
ー角）Δθ（ｒａｄ）は、一般に次式で概算できる。

【００９４】 ΔＺ＝Ｖ×Δｔ （７） Δθ＝ΔＺ×ｔａｎ（η／ｒｓ）×１／ｗｂ （８） ここで、ｒｓ：ステアリングと前輪の回転比、 ｗｂ：車輌のホイールベースである。

【００９５】従って、前回の処理で検出した道路形状を
ΔＺだけ手前に移動し、さらに、Δθだけ車輌１の回転
と逆方向に道路形状を回転させることにより、Δｔ秒後
の道路の概略の位置と形状が推定できるのである。

【００９６】三次元ウインドウ発生部１１２では、推定
した道路形状ＲＤを表す左右の折れ線の内の一つの直線
要素Ｌｄを中心として、図１４に示すような直方体状の
三次元空間領域すなわち三次元ウインドウＷＤ3Aを設定
し、この設定した三次元ウインドウＷＤ3Aが、図１５に
示すように、二次元の画像上でどのように見えるかを計
算し、ウインドウ輪郭線の内側（図１５中の斜線部分）
を二次元ウインドウＷＤ2Aとし、この中のデータのみを
検出対象とする。

【００９７】三次元ウインドウＷＤ3Aから二次元ウイン
ドウＷＤ2Aを求めるには、三次元ウインドウＷＤ3Aの８
個の頂点の各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、前述した
（５）（６）式を用いて画像上の座標（ｉｎ，ｊｎ）を
計算し、これらの点を包絡する多角形を計算する。

【００９８】この三次元ウインドウＷＤ3Aは、長さを各
区間の区切り距離（例えば、第１区間Ｒ1では前方１０
〜１７ｍ）と等しくし、一方、高さと幅は、車速等の状
況に応じて変化させるが、道路形状の推定に誤差があ
り、実際の白線の位置とのずれが予想される場合には、
高さや幅を大きくして検出する範囲を広くする。しか
し、ウインドウを大きくし過ぎると、道路周辺の縁石や
草木等も検出してしまい、誤認識の原因となるため、ウ
インドウの大きさを適切に選定することは重要である。
一般の高速道路の走行では、試験の結果、高さ０．４ｍ
〜０．８ｍ、幅０．４〜１．６ｍの範囲で変化させると
良いことがわかっている。

【００９９】このように、二次元の画像上では道路の白
線と立体物が重なり合っていても、三次元ウィンドウを
設定して道路の表面付近のデータのみを抽出することに
より、白線を立体物と区別して検出できる。また、道路
周辺には縁石や草木等もあるが、三次元ウィンドウを設
定して白線があると推定される位置の近辺のデータのみ
を抽出することによって、道路上の白線をこれらの縁石
や草木等と区別して検出できる。さらには、二次元ウィ
ンドウを設定することにより、探索する領域及びデータ
数を少なくして処理時間を短縮することができるのであ
る。

【０１００】直線要素検出部１１３では、先に推定した
道路形状の直線要素Ｌｄに対し、被写体の三次元位置の
Ｘ方向のずれ量ΔＸ、Ｙ方向のずれ量ΔＹを計算し、こ
のずれ量ΔＸ，ΔＹに応じて設定した重み係数を各デー
タに掛け、最小自乗法により、水平方向（ＸＺ方向）及
び垂直方向（ＹＺ）方向の直線式を導出してパラメータ
を求める。

【０１０１】詳細には、まず、二次元ウインドウＷＤ2A
内の画素を順次サーベイして行き、距離データを持って
いる画素について、前述の（３），（４）式を用いて被
写体の三次元位置（Ｘ，Ｙ，Ｚ）を計算し、距離Ｚの値
が三次元ウインドウＷＤ3Aの長さの範囲（例えば、第１
区間Ｒ1ではＺ＝１０〜１７ｍ）の外にある距離データ
は検出対象から除外する。

【０１０２】すなわち、三次元ウインドウＷＤ3Aの向こ
う側や手前側にある物体の画像は、二次元ウインドウＷ
Ｄ2A内に写り込むため、二次元ウインドウＷＤ2A内でサ
ーベイされる被写体は、三次元ウインドウＷＤ3Aに包含
されるとは限らない。そこで、各画素の被写体の三次元
位置（Ｘ，Ｙ，Ｚ）を計算し、三次元ウインドウＷＤ3A
に含まれるか否かを判別するのである。

【０１０３】続いて、先に推定した道路形状の直線要素
Ｌｄと被写体の三次元位置を比較して図１６に示すよう
なデータＤiのＸ方向、Ｙ方向のずれ量ΔＸi、ΔＹiを
計算し、三次元ウインドウＷＤ3Aの幅、高さの範囲内に
あるデータのみを選別した後、Ｘ方向、Ｙ方向のずれ量
ΔＸi、ΔＹiに応じたデータＤiの重み係数を決定す
る。

【０１０４】前記重み係数は、図１７に示すように、例
えば、中心を１．０、周辺を０．０とする放物線状で、
Ｘ方向の重み係数ｆｘとＹ方向の重み係数ｆｙの積を、
そのデータＤiの重み係数としている。また、重み係数
が０．０以上となるＸ方向、Ｙ方向の範囲は、三次元ウ
インドウＷＤ3Aの幅、高さと同一とするか、あるいは、
これらより大きくする。

【０１０５】各データＤiに対して、前記重み係数を掛
けた後、最小自乗法を用いて、以下の（９），（１０）
式に示す水平方向及び垂直方向の直線式を導出し、パラ
メータａ，ｂ，ｃ，ｄを求め、これを新しい直線要素Ｌ
ｄの候補とする。

【０１０６】 水平方向：Ｘ＝ａ×Ｚ＋ｂ （９） 垂直方向：Ｙ＝ｃ×Ｚ＋ｄ （１０） 同時に、重み係数が設定値（例えば、０．０５〜０．１
程度）以上のデータについて、その個数と、それらのデ
ータが分布する距離Ｚの範囲を調べ、データ数が設定値
（例えば、１０個程度）以下の場合、または距離Ｚの範
囲が三次元ウインドウＷＤ3Aの長さ（例えば、第１区間
Ｒ1ではＺ＝１０ｍ〜１７ｍの長さ７ｍ）の1/2 以下の
場合には、正確な直線要素Ｌｄの候補は得られていない
と判断し、前記で求めた直線式は棄却し、候補なしとす
る。

【０１０７】以上の処理を、左右および手前側から遠方
側の区間に向かって順次行い、道路モデルを構成する全
ての直線要素Ｌｄの候補を求める。この場合、三次元ウ
ィンドウの幅の設定が大き過ぎると、道路周辺の縁石や
草木等が三次元ウィンドウの端に掛かって来る場合があ
るが、この直線要素検出部１１３では、各データに重み
係数を掛けて三次元ウィンドウの周辺部の重みを小さく
することにより、万一、縁石や草木等が掛かってきた場
合にも、これらの影響を小さくし、安定して白線の直線
式が導出できるのである。

【０１０８】道路形状判定部１１４では、各区間につい
て、左右両方の直線要素Ｌｄの候補について、水平方向
及び垂直方向の平行度から妥当性を判定する。その判定
の結果、妥当と判定した場合には、両方を新しい直線要
素Ｌｄの候補として採用し、一方、左右いずれかの直線
要素Ｌｄの候補が正確でないと判定した場合には、直線
要素Ｌｄの代用、補完を行なう。そして、求められた各
直線要素Ｌｄのパラメータを道路・側壁パラメータ記憶
部１３０に出力する。

【０１０９】具体的には、まず、左側の直線要素Ｌｄに
対する（９）式のパラメータ（以下、左側を表すＬ、右
側を表すＲを各パラメータに付加して示す）ａＬと、右
側の直線要素Ｌｄに対する（９）式のパラメータａＲと
の差異から、水平方向の平行度を調べ、設定値（例え
ば、５°程度）以上の場合には、左右いずれかの直線要
素Ｌｄは不正確であると判定する。同様にして、パラメ
ータｃＬとパラメータｃＲの差異から垂直方向の平行度
を調べ、設定値（例えば、１°程度）以上の場合は、い
ずれかの直線要素は不正確であると判定する。

【０１１０】この判定の結果、水平方向及び垂直方向い
ずれの平行度も条件を満たす場合には、両方が新しい直
線要素として採用されるが、左右いずれかの直線要素Ｌ
ｄが不正確と判定されると、左右の各々の直線要素Ｌｄ
の候補と先に推定した道路形状の位置とを比較し、ずれ
量が少ない方を新しい直線要素Ｌｄとして採用し、他方
は棄却して候補なしとする。

【０１１１】そして、平行度の判定により左右いずれか
の直線要素Ｌｄが候補なしとされた場合、あるいは、道
路上の白線が破線状であったり、障害物に隠れて見えな
いためにデータが不足して左右いずれかの直線要素Ｌｄ
が候補なしと判定された場合には、検出された側の直線
要素Ｌｄを車線の幅だけ並行移動して代用する。さら
に、左右両方の直線要素Ｌｄが候補なしの場合には、先
に推定した道路形状の直線要素Ｌｄを代用する。これに
より、部分的に直線要素の検出失敗や誤検出が発生して
も、全体としては安定した道路形状が得られるのであ
る。

【０１１２】図１８は、道路検出部１１０によって検出
された道路形状を図式化した説明図あり、左右の白線に
沿って直線要素が検出されている。尚、左右の直線要素
の間の横線は、各区間の境界である。

【０１１３】次に、側壁検出部１２０について説明す
る。この側壁検出部１２０では、側壁と道路との区別を
道路表面からの高さによって行ない、側壁と遠方の背景
との区別を、前後方向と横方向の距離によって行なうこ
とにより、側壁が存在すると推定される周辺のデータの
みを抽出し、続いて側壁のデータは水平方向に直線的に
並んでいる特徴に注目してこれをハフ変換によって検出
し、位置を求める。

【０１１４】詳細には、側壁は立体物の一種であるか
ら、まず、立体物データ抽出部１２１で、前述した道路
検出部１１０における検出結果のパラメータを読み込ん
で道路表面の高さＨを設定し、この道路表面の高さＨよ
り上にある立体物のデータを、距離画像の中から抽出す
る。尚、白線が無い道路では、道路表面は車輌１に水平
であると仮定して道路表面の高さを設定する。

【０１１５】距離画像における被写体は、画像上の座標
（ｉ，ｊ）と距離データＺから、前述の（３），（４）
式を使って実空間の三次元位置（Ｘ，Ｙ，Ｚ）が算出さ
れ、さらに、先に検出した道路形状の式（１０）を使っ
て、距離Ｚに於ける道路表面の高さＹｒが計算される。
被写体の道路表面からの高さＨは、次の（１１）式で計
算することができる。

【０１１６】 Ｈ＝Ｙ−Ｙｒ （１１） 高さＨが０．１ｍ程度以下の被写体は、道路上の白線や
汚れ、影等と考えられるため、この被写体のデータは棄
却する。また、車輌の高さより上にある被写体も、歩道
橋や標識等と考えられるので棄却し、道路上の立体物の
データのみを選別する。

【０１１７】前記立体物データ抽出部１２１では、画面
に写っている広範囲の立体物のデータが抽出される。こ
れら全てを処理することは合理的でないため、側壁直線
検出部１２２では、側壁を探索する領域に制限を設け
る。

【０１１８】この場合、距離画像が計測される範囲を上
から見ると、ＣＣＤカメラ１１の視野に制限されて図１
９のようになっており、道路を通常走行している場合に
は、側壁は車輌１の左側と右側に、車輌１と概ね平行に
存在する。一方、遠くの側壁は、距離データの精度の面
から検出が困難になり、且つ、検出の必要性も小さい。
そこで、これらを考慮し、図示したような左側と右側の
２つの探索領域ＳＬ，ＳＲを設定し、左側と右側の側壁
を別々に検出して行く。

【０１１９】すなわち、各探索領域ＳＬ，ＳＲに含まれ
る立体物データを抽出するには、前記立体物データ抽出
部１２１で抽出された各データの被写体の三次元位置
（Ｘ，Ｚ座標）を計算し、この三次元位置（Ｘ，Ｚ）と
各探索領域ＳＬ，ＳＲとを、それぞれ比較して判定する
のである。

【０１２０】例えば図２０に示すような状況では、画像
上に前記各探索領域ＳＬ，ＳＲを図示すると破線枠のよ
うになり、これらの探索領域内にも、目的とする側壁の
他に歩行者や電柱等様々な立体物が存在する。さらに、
距離画像にはノイズ状の偽データも含まれており、実際
には物体が存在しない空間にデータのみが分散して存在
する。これらのデータを模式的に示すと図２１のように
なり、この中で側壁は、そのデータが直線状に並んでい
る特徴がある。そこで、ハフ変換を使用してデータの列
の直線式を検出することによって側壁の検出を行なう。

【０１２１】このハフ変換による直線式の検出について
説明すると、まず、図２２の立体物データＰi（座標Ｘ
i，Ｚi）に対し、このデータＰiの点を通る直線Ｆiを想
定する。この直線の式は、以下の（１２）式で示され
る。

【０１２２】 Ｘ＝ａｆi×Ｚ＋ｂｆi （１２） 次に図２３に示すように、縦軸が式（１２）の傾きａ
ｆ、横軸が切片ｂｆのパラメータ空間を設定し、式（１
２）のパラメータａｆi，ｂｆiに相当する位置に投票を
行う。

【０１２３】ここで、傾きａｆiの値は、前述したよう
に側壁は車輌１と概ね平行と考えられるため、高速道路
では、例えば±１０゜（ａｆi：±０．１８）程度、一
般道路では、例えば±２０゜(ａｆi：±０．３６）程度
の範囲で変化させれば実用上十分である。また、切片ｂ
ｆi の値は、左側の側壁を検出する場合、車輌１の左脇
である例えばＸ＝−１ｍから−１０ｍ程度の範囲、右側
の側壁を検出する場合には、例えばＸ＝＋１ｍから＋１
０ｍ程度の範囲に制限する。このように、制限範囲を例
えば±１０ｍ程度にするのは、あまり遠く離れた側壁の
検出は実用面の必要性が小さいためである。

【０１２４】このような制限により、パラメータ空間上
で投票が行われる範囲は、図２３に示すような矩形領域
となり、この矩形領域はさらに格子状に分割されて各格
子毎に投票される。式（１２）の傾きａｆiは、所定の
変化範囲内（例えば±１０゜〜±２０゜）であり、格子
間隔Δａｆ毎に順次変化させて設定する。切片ｂｆi
は、設定された傾きａｆiと立体物データＰiの座標（Ｘ
i，Ｚi）を式（１２）に代入して算出され、これが前記
制限範囲内であればパラメータ空間の該当する格子に投
票される。

【０１２５】検出される側壁の位置、すなわち直線式の
傾きと切片の検出精度は、格子間隔Δａｆ，Δｂｆによ
って決定され、格子間隔Δａｆ，Δｂｆの設定は、側壁
の情報を利用する外部装置側の要求に基づいて行なわれ
る。例えば、道路を通常走行する場合の衝突等の危険の
検知として利用する場合には、格子間隔Δａｆは１〜２
゜程度、格子間隔Δｂｆは０．３〜０．６ｍ程度が良
い。

【０１２６】以上のようにして探索領域内の全立体物デ
ータに対してパラメータ空間への投票を行なう際、図２
２に示すように、直線的に並んだデータが存在すると、
このデータの列と一致するように設定した直線のパラメ
ータａｆi,ｂｆiに相当するパラメータ空間の格子は多
くの得票を得て、左右の投票領域ＳＬ，ＳＲ毎に局所極
大値が現れる。図２４は、図２２に示した立体物データ
の例を処理してパラメータ空間に投票した結果を示し、
この例では局所極大値は４３である。

【０１２７】側壁が存在し、明確な立体物データの列が
あるとパラメータ空間の局所極大値は大きな値を示し、
一方、側壁が無く、複数の物体が分散して存在する状態
では局所極大値は小さい値を示す。従って、パラメータ
空間の左右の投票領域ＳＬ，ＳＲ毎に局所極大値を検出
し、検出した局所極大値が判定値以上であれば側壁が存
在すると判定することができる。判定値は設定する探索
領域の大きさや格子の間隔等を考慮して設定する。

【０１２８】次に、前記側壁直線検出部１２２で側壁有
りと判定された場合には、側壁範囲検出部１２３で側壁
の前後端の位置を検出する。局所極大値の格子に相当す
るパラメータａｆ，ｂｆを読み出すと、側壁は、次の直
線式（１３）に沿って存在すると推定され、図２２及び
図２４の例で検出された直線式を図示すると図２５に示
す直線Ｆfとなる。

【０１２９】 Ｘ＝ａｆ×Ｚ＋ｂｆ （１３） まず、直線Ｆｆを中心として幅０．３ｍ〜１．０ｍ程度
の領域を側壁候補領域Ｔｆとすると、この領域は、さら
に図２５のようにＺ方向に区分される。側壁候補領域Ｔ
ｆの幅は、前記パラメータ空間の格子の間隔Δｂｆにデ
ータの誤差等を考慮して設定する。

【０１３０】次に、前記探索領域内の立体物データを順
次サーベイし、側壁候補領域Ｔｆ内にあるデータのみを
抽出した後、区分毎に立体物データの個数をカウント
し、ヒストグラムを作成する。これを模式的に示すと図
２６のようになり、側壁が存在する部分では大きな度数
を示す。従って、度数が判定値以上の区分を検出するこ
とによって、この範囲に側壁が存在すると判断すること
ができ、その両端の三次元位置を計算して側壁の前後端
位置とする。

【０１３１】左右両側の側壁を検出するには、まず、側
壁直線検出部１２２で左側の探索領域ＳＬを設定して側
壁直線検出処理及び側壁範囲検出処理を行なって左側の
側壁を検出した後、再び側壁直線検出部１２２で右側の
探索領域ＳＲを設定し、同様の処理を繰り返して右側の
側壁を検出する。

【０１３２】以上のようにして求められた道路の形状と
側壁の有無、位置等のパラメータは、道路・側壁パラメ
ータ記憶部１３０に出力され、記憶される。

【０１３３】次に、ステレオ画像処理装置２０による距
離情報の算出、及び、道路・側壁検出装置１００の動作
について説明する。

【０１３４】まず、ステレオ画像処理装置２０では、図
２７に示すプログラムのステップS101で左右のＣＣＤカ
メラ１１ａ，１１ｂによって撮像した画像を入力する
と、ステップS102で、入力した画像をＡ／Ｄ変換した
後、ＬＵＴ３２ａ，３２ｂで補正し、画像メモリ３３
ａ，３３ｂに記憶する。

【０１３５】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。

【０１３６】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。

【０１３７】その際、左右の画像毎に、前記画像メモリ
３３ａ，３３ｂから前記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。

【０１３８】そして、図２８に示すように、前記シフト
レジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の
４×４画素の小領域の画像データ（１，１）…（４，
４）が保存され、一方のシフトレジスタ４３ａ（４４
ａ）には１、２ラインのデータが、もう一方のシフトレ
ジスタ４３ｂ（４４ｂ）には３、４ラインのデータが、
それぞれ１画素毎に奇数ライン、偶数ラインの順序で入
る。

【０１３９】前記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。

【０１４０】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図２９のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。

【０１４１】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。

【０１４２】次に、ステップS104へ進み、前記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。

【０１４３】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量δ＝０）が、図７に示す最小値検出回
路５１のＣラッチ５３を介して、演算器４６のＢレジス
タ４６ｂに入力される。次のクロックで出力されてきた
シティブロック距離Ｈ（ずれ量δ＝１）は、Ｃラッチ５
３と演算器４６のＡレジスタ４６ａとに入れられ、演算
器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が
始まる。

【０１４４】前記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量δがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量δ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。

【０１４５】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量δがＤラッチ
５５に保存されながら、ずれ量δが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。

【０１４６】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。

【０１４７】ステップS105では、前記ステップ104 でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量δが決定される。

【０１４８】すなわち、図３０のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。

【０１４９】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。

【０１５０】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。前記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。

【０１５１】輝度差の計算が始まるとき、前記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。

【０１５２】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。

【０１５３】前記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、前記スイッチ
回路６５からずれ量δあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。

【０１５４】前記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。

【０１５５】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。

【０１５６】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、シティブロック距離Ｈの最小値ＨMI
N 、最大値ＨMAX を求めるのに要する時間は充分に余裕
があり、さらに機能を追加することも可能となってい
る。

【０１５７】そして、ずれ量δが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量δを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。

【０１５８】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から前記デュア
ルポートメモリ９０へ距離分布情報を送り出す。

【０１５９】前記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離等のレンズパラメータとから、各画
素に対応する物体のＸＹＺ空間における三次元位置を算
出することができ、情報量の低下なく車外の対象物まで
の距離を正確に検出することができる。

【０１６０】次に、ステレオ画像処理装置２０のタイミ
ングについて、図３１に示すタイミングチャートに従っ
て説明する。

【０１６１】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。

【０１６２】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。

【０１６３】この間に、一方の入出力バッファメモリに
対してずれ量δの計算が行われる。そして、ずれ量δの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。

【０１６４】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量δが各チェックを経て距離分
布として出力される。

【０１６５】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。

【０１６６】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。

【０１６７】次に、道路・側壁検出装置１００の動作に
ついて、道路検出部１１０の動作を図３２〜図３５のフ
ローチャートに従って、また、側壁検出部１２０の動作
を図３６〜図３８のフローチャートに従って説明する。

【０１６８】道路検出部１１０では、まず、道路形状推
定処理を行なう。すなわち、図３２に示すプログラムの
ステップS201で、前回（Δｔｓｅｃ前）の道路形状パラ
メータを読み込むと、次いで、ステップS202へ進み、車
速センサ３の出力信号Ｖ、舵角センサ４の出力信号ηを
読み込む。

【０１６９】次に、ステップS203へ進むと、前記ステッ
プS202で読み込んだ車速センサ３の出力信号と舵角セン
サ４の出力信号ηを使ってΔｔ秒間の車輌１の動きを算
出し、ステップS204で、Δｔ秒後の車輌１の位置から見
た道路形状を推定して道路形状パラメータを修正する。

【０１７０】以上の道路形状推定処理が終わると、三次
元ウインドウ発生処理へ移行し、ステップS205で、道路
モデルの第１区間Ｒ1の左側の直線要素Ｌｄのパラメー
タ（ａ，ｂ，ｃ，ｄ）を読み込むと、ステップS206で、
この直線要素Ｌｄを中心とする三次元ウインドウＷＤ3A
を設定する。

【０１７１】その後、ステップS207へ進み、前記ステッ
プS206で設定した三次元ウインドウＷＤ3Aから二次元画
像上での二次元ウインドウＷＤ2Aを設定し、次のステッ
プS208以降へ進む。

【０１７２】ステップS208〜ステップS217は、直線要素
検出処理であり、ステップS208で、二次元ウインドウＷ
Ｄ2A内のデータを読み込むと、ステップS209で、各デー
タの三次元位置を計算し、ステップS210で、距離Ｚの値
が三次元ウインドウＷＤ3Aの長さの範囲内にあるデータ
を選別する。

【０１７３】そして、ステップS211へ進み、先に推定し
た道路形状の直線要素Ｌｄと被写体の三次元位置を比較
してＸ方向、Ｙ方向の位置のずれ量ΔＸ、ΔＹを計算
し、ステップS212で、これらのずれ量ΔＸ，ΔＹが、三
次元ウインドウＷＤ3Aの幅、高さの範囲内にあるデータ
のみを選別し、他は除外する。

【０１７４】その後、ステップS213へ進み、前記ステッ
プS212で計算したＸ方向、Ｙ方向のずれ量ΔＸ，ΔＹに
応じて、そのデータの重み係数を決定し、各データに、
ずれ量ΔＸ，ΔＹに応じた重み係数を付加する。

【０１７５】次に、ステップS214へ進むと、最小自乗法
を用いて水平方向（ＸＺ平面）および垂直方向（ＹＺ平
面）の直線式を導出し、パラメータ（ａ，ｂ，ｃ，ｄ）
を求め、これを新しい直線要素Ｌｄの候補とする。

【０１７６】そして、ステップS215で、道路モデルの右
側のラインの直線要素Ｌｄの候補が求められたか否かを
調べ、その結果がＮＯの場合には、ステップS216で、右
側の直線要素Ｌｄのパラメータを読み込んで前述のステ
ップS206へ戻り、結果がＹＥＳの場合には、ステップS2
17へ進む。

【０１７７】ステップS217では、求めた直線要素Ｌｄの
候補が最終区間の右側のものであるか否かを調べ、最終
区間でない場合には、ステップS218で、次の区間の左側
の直線要素Ｌｄのパラメータを読み込んで、前述のステ
ップS206へ戻り、同様の処理を繰り返す。

【０１７８】一方、前記ステップS217で、求めた直線要
素Ｌｄの候補が最終区間の右側のものであり、道路モデ
ルを構成する全ての直線要素Ｌｄの候補を求め終えた場
合には、前記ステップS217からステップS219以降へ進
み、道路形状判定処理を実行する。

【０１７９】すなわち、ステップS219で、第１区間Ｒ1
の直線要素Ｌｄのパラメータを読み込むと、ステップS2
20で、左右の直線要素Ｌｄの水平方向の平行度を調べ
て、その妥当性を判定し、ステップS221で、左右の直線
要素Ｌｄの垂直方向の平行度を調べ、その妥当性を判定
する。

【０１８０】その後、ステップS222へ進み、前記ステッ
プS220,S221における判定結果、左右いずれかの直線要
素が妥当でないと判定された場合、あるいは、道路上の
白線が破線状であったり、障害物に隠れて見えないため
にデータが不足して、左右いずれかの直線要素の候補が
ない場合に対し、検出された側の直線要素を車線の幅だ
け並行移動して代用することにより、欠落する直線要素
を補完し、ステップS223へ進む。

【０１８１】尚、左右両方の直線要素が無しの場合に
は、先に推定した道路形状の直線要素を代用する。

【０１８２】ステップS223では、最終区間か否かを調
べ、最終区間でない場合には、ステップS224で、次の区
間の左右の直線要素Ｌｄのパラメータを読み込んで前述
のステップS220へ戻り、最終区間の場合には、ステップ
S223からステップS225へ進んで、各直線要素Ｌｄのパラ
メータを出力用メモリ１００ｅへ書き込んでプログラム
を終了する。

【０１８３】次に、側壁検出部１２０の動作について説
明する。図３６のプログラムにおけるステップS301〜S3
07は、立体物データ抽出処理であり、まず、ステップS3
01で道路形状パラメータを読み込むと、ステップS302
で、距離画像から最初の距離データを読み込む。

【０１８４】次に、ステップS303へ進み、被写体の位置
（Ｘ，Ｚ座標）と高さ（Ｙ座標）とを計算し、ステップ
S304で、距離Ｚに於ける道路表面の高さＨ（Ｙ座標）を
計算し、ステップS305で、道路面より上、且つ自車輌１
の高さ以下にあるデータを立体物データとして抽出す
る。

【０１８５】そして、ステップS306へ進んで最終データ
か否かを調べ、最終データでない場合、ステップS307で
次の距離データを読み込むと前述のステップS303へ戻っ
て処理を繰り返し、最終データの場合にはステップS306
からステップS308へ進む。

【０１８６】図３７のステップS308〜ステップS317は、
側壁直線検出処理であり、ステップS308で、最初の立体
物データを読み込むと、ステップS309で、被写体の位置
（Ｘ，Ｚ座標）を計算し、ステップS310で、計算した位
置（Ｘ，Ｚ座標）が探索領域内か否かを調べる。

【０１８７】計算した位置（Ｘ，Ｚ座標）が探索領域外
であるときには、前記ステップS310からステップS312へ
ジャンプし、探索領域内のとき、前記ステップS310から
ステップS311へ進んでパラメータ空間へ投票し、ステッ
プS312へ進む。

【０１８８】ステップS312では、処理した立体物データ
が最終データか否かを調べ、最終データでないときに
は、ステップS313で、次の立体物データを読み込んで、
前述のステップS309からの処理を繰り返し、最終データ
のとき、ステップS314へ進んで、パラメータ空間上の局
所極大値を検出する。

【０１８９】次いで、ステップS315へ進むと、検出した
局所極大値が判定値以上か否かを調べ、判定値よりも小
さいとき、ステップS316で側壁は存在しないと判定し、
判定値以上のとき、ステップS317で、側壁が存在すると
判定して、ステップS318へ進む。

【０１９０】図３８のステップS318以下は、側壁範囲検
出処理であり、ステップS318で、前記ステップS314で検
出した局所極大値の格子に相当するパラメータ、すなわ
ち局所極大点が示す直線式のパラメータ（ａｆ，ｂｆ）
を読み込むと、ステップS319へ進んで、側壁候補領域を
設定する。

【０１９１】そして、ステップS320で、探索領域内の最
初の立体物データを読み込み、ステップS321で、被写体
の位置（Ｘ，Ｚ座標）を計算すると、ステップS322で、
側壁候補領域内にあるデータを抽出し、ステップS323
で、処理したデータが探索領域内の最終データか否かを
調べる。

【０１９２】探索領域内の最終データでないときには、
前記ステップS323からステップS324へ分岐して探索領域
内の次の立体物データを読み込んで、前述のステップS3
21へ戻り、探索領域内の最終データであるときには、前
記ステップS323からステップS325へ進んで、側壁候補領
域内のデータを使ってヒストグラムを作成する。

【０１９３】次に、ステップS326へ進むと、作成したヒ
ストグラムの度数が判定値以上の区分を検出し、ステッ
プS327で、ヒストグラムの度数が判定値以上の区間の両
端の三次元位置、すなわち側壁の前後端位置を算出し、
ステップS328で、側壁の有無、位置、方向、前後端の位
置等のパラメータを出力用メモリ１００ｅへ書き込んで
プログラムを終了する。尚、このプログラムは、左側の
側壁について実行した後、右側の側壁について実行す
る。

【０１９４】このように、本実施例においては、三次元
の位置に関する特徴を利用するため、側壁の色や形、材
質等の見掛け上の特徴に影響されにくく、一般的なガー
ドレールのみでなく、様々な手擦りや植え込み、道路工
事のパイロンの列等も側壁として検出でき、自動車の走
行を規制するものとしての側壁を的確に検出することが
でき、しかも、側壁の有無や位置を、直線式のパラメー
タや前後端の座標といった簡素なデータ形態に変換する
ため、利用側でのデータの取扱いや処理が容易となり、
外部装置を接続することにより、より高度な危険警報や
事故回避の機能を実現することができるのである。

【０１９５】図３９及び図４０は本発明の第２実施例に
係り、図３９は探索領域と格子区分を示す説明図、図４
０は側壁直線検出処理のフローチャートである。

【０１９６】本実施例は、前述の第１実施例に対し、側
壁直線検出におけるハフ変換の処理を変更するものであ
る。一般的に、ハフ変換は時間を要する処理であり、前
述の第１実施例においても処理時間を短縮するように種
々制限を設けているが、前述の第１実施例ではハフ変換
の処理を立体物データ毎に行うために、立体物データの
数が画像の状況によって変化すると処理時間も変化す
る。

【０１９７】本実施例は、この点を改良するものであ
り、前述の第１実施例における側壁の探索領域ＳＬ，Ｓ
Ｒを、図３９に示すように格子状に区分し、それぞれに
番号を付け、ハフ変換の処理を設定した格子の数だけ実
行する。ここで、区分の間隔は、Ｘ方向は、例えば０．
３ｍ〜０．６ｍ程度、Ｚ方向は、距離データの精度や側
壁の情報を利用する装置側の要求を考慮して設定する
が、例えば、概ね１ｍ〜５ｍ程度である。

【０１９８】以下、図４０のフローチャートに従って、
側壁直線検出処理について説明する。尚、このフローチ
ャートは、前述の第１実施例の側壁直線検出処理のフロ
ーチャート（図３７）に代わるものであり、その他の処
理は、前述の第１実施例と同じである。

【０１９９】まず、前述の立体物データ抽出処理におい
て抽出された各データに対し、ステップS401で最初の立
体物データを読み込むと、ステップS402で、被写体の三
次元位置（Ｘ，Ｚ座標）を計算し、これが探索領域Ｓ
Ｌ、ＳＲに含まれる場合には、ステップS403で、該当す
る格子番号を計算し、ステップS404で、その格子内のデ
ータ数のカウントを更新する。

【０２００】続いて、ステップS405で最終データか否か
を調べ、最終データでないときには、ステップS406で、
次の立体物データを読み込んで、同様にステップS402以
降の処理を繰り返し、格子毎のデータ数を求める。

【０２０１】そして、前記ステップS405で、最終データ
となったとき、前記ステップS405からステップS407へ進
んで最初の格子データを読み込むと、ステップS408で、
格子中心の位置（Ｘ，Ｚ座標）を計算してステップS409
でパラメータ空間への投票を行ない、ステップS410へ進
む。

【０２０２】すなわち、前述の第１実施例では、探索領
域内のデータ毎に直線の設定と投票を行なったが、本実
施例においては、各格子毎にデータが、その格子の中心
位置にまとまって存在するとして直線を設定し、投票は
格子のデータ数だけまとめて行なうのである。この場
合、設定する直線式（１２）の傾きａｆi や切片ｂｆi
の範囲は、前述の第１実施例と同じである。

【０２０３】また、投票されたパラメータ空間から局所
極大値を求め、側壁の有無を判定するプロセスは、前述
の第１実施例と同じであり、ステップS410で、最終格子
か否かを調べ、最終格子でないときには、ステップS411
で次の格子データを読み込んでステップS408からの処理
を繰り返し、最終格子になったとき、ステップS412へ進
んで、パラメータ空間上の局所極大値を検出すると、ス
テップS413で、検出した局所極大値が判定値以上か否か
を調べ、判定値より小さいとき、ステップS414で、側壁
は存在しないと判定し、判定値以上のとき、ステップS4
15で、側壁が存在すると判定する。

【０２０４】本実施例では、立体物データを格子状空間
毎にまとめ、ハフ変換の処理を設定した格子の数だけ実
行するため、側壁検出の際の処理時間を一定とすること
ができ、特に、立体物データの数が多い場合には、大幅
に処理時間を短縮できる効果がある。その他の作用・効
果は前述の第１実施例と同様である。

【０２０５】図４１〜図４５は本発明の第３実施例に係
り、図４１は車外監視装置の全体構成図、図４２は車外
監視装置の回路ブロック図、図４３は側壁検出装置の機
能ブロック図、図４４は画像の例を示す説明図、図４５
は立体物の二次元分布の例を示す説明図である。

【０２０６】本実施例の車外監視装置２００は、図４１
に示すように、前述の第１実施例のステレオ画像処理装
置２０に代えて、立体物の二次元的な位置分布を認識す
る通路パターン認識装置２１０を採用し、この通路パタ
ーン認識装置２１０に側壁検出装置２２０を接続したも
のであり、通路パターン認識装置２１０によって得られ
る立体物の二次元分布の位置情報を前述の第１の実施例
と同様の方法で処理し、側壁を検出するものである。

【０２０７】前記側壁検出装置２２０に接続する通路パ
ターン認識装置２１０は、周知の装置を適用することが
でき、例えば、計測自動制御学会論文集Ｖｏｌ．２１，
Ｎｏ．２（昭和６０年２月）「障害物の２次元的な分布
の認識手法」に記載されている通路パーン認識装置等を
適用することができる。

【０２０８】前記通路パターン認識装置２１０は、第１
実施例のステレオ画像処理装置２０と同様に２台のカメ
ラの画像を処理して被写体までの距離分布を検出するも
のであるが、装置内部のデータ処理方法が異なるため立
体物の情報のみが出力され、第１実施例のような白線に
よる道路形状の検出はできない。

【０２０９】また、本実施例では、車外の対象風景を撮
像するステレオ光学系２０１は、車輌２３０の前部に上
下一定の間隔をもって取り付けられる２台のＣＣＤカメ
ラ２０１ａ，２０１ｂで構成されており、また、前記通
路パターン認識装置２１０は、図４２に示すように、前
記ステレオ光学系２０１からの上下２枚の画像信号を入
力し、立体物の距離及び位置の二次元分布を算出する距
離検出回路２１０ａ、この距離検出回路２１０ａからの
二次元分布情報を記憶する二次元分布メモリ２１０ｂ等
から構成されている。

【０２１０】前記側壁検出装置２２０は、前記二次元分
布メモリ２１０ｂに書き込まれた二次元分布情報を読み
出して各種の計算処理を行なうマイクロプロセッサ２２
０ａを中心に構成され、制御プログラムを格納する読み
出し専用メモリ（ＲＯＭ）２２０ｂ、計算処理途中の各
種パラメータを記憶する読み書き両用メモリ（ＲＡＭ）
２２０ｃ、処理結果のパラメータを記憶する出力用メモ
リ２２０ｄ等から構成されている。前記マイクロプロセ
ッサ２２０ａは、前記二次元分布メモリ２１０ｂを介し
て二次元分布情報を入力して計算処理を実行し、処理結
果である側壁のパラメータを出力用メモリ２２０ｄに出
力する。

【０２１１】前記側壁検出装置２２０は、前述の第１実
施例における道路・側壁検出装置１００の側壁検出部１
２０と同様の機能構成であり、図４３に示すように、前
記二次元分布メモリ２１０ｂに記憶されている立体物の
二次元分布情報の中から、予め設定された側壁の探索領
域内のデータのみを抽出し、これをハフ変換で処理して
側壁の有無と側壁の位置を示す直線式とを検出する側壁
直線検出部２２１、この側壁直線検出部２２１で検出さ
れた側壁の位置を示す直線式に基づいて、側壁が存在す
ると推定される側壁候補領域を設定し、この側壁候補領
域内の立体物データの分布状態から、側壁の前後端の位
置を検出する側壁範囲検出部２２２、処理結果を記憶す
る前記出力用メモリ２２０ｄからなる側壁パラメータ記
憶部２２３から構成されている。

【０２１２】本実施例では、ステレオ光学系２０１で撮
像した画像、例えば、図４４に示すような画像を通路パ
ターン認識装置２１０で処理すると、図４５に示すよう
な立体物の二次元分布パターンが出力される。これは、
前述の第１実施例における立体物データ抽出処理で抽出
されるデータ（図２１参照）と同様であり、このデータ
に対し、前述の第１実施例と同様の側壁直線検出処理、
側壁範囲検出処理を行なえば、左右の側壁の有無、位置
を検出することができる。

【０２１３】このように、本実施例では、通路パターン
認識装置から出力される立体物の二次元分布の位置情報
を利用する場合のような、道路の白線を検出することが
困難で、しかも、この位置情報を利用する側である事故
の危険判断や走行制御におけるデータ処理が容易でない
場合であっても、側壁を確実に検出することができ、且
つ、側壁の有無や位置を、直線式のパラメータや前後端
の座標といった簡素なデータ形態に変換するため、利用
側でのデータの取扱いや処理が容易となる。

【０２１４】図４６〜図５１は本発明の第４実施例に係
り、図４６は車外監視装置の全体構成図、図４７は車外
監視装置の回路ブロック図、図４８は側壁検出装置の機
能ブロック図、図４９はレーザビームの走査方法を側面
から示す説明図、図５０はレーザビームの走査方法を上
面から示す説明図、図５１はレーザレーダ測距装置で計
測される立体物の二次元分布の例を示す説明図である。

【０２１５】本実施例の車外監視装置３００は、図４６
に示すように、前述の第１実施例のステレオ画像処理装
置２０に代えて、レーザビームによるレーザレーダ測距
装置３１０を採用し、このレーザレーダ測距装置３１０
に側壁検出装置３２０を接続したものであり、レーザレ
ーダ測距装置３１０によって得られる立体物の二次元分
布の位置情報を前述の第１，第２実施例と同様の方法で
処理し、側壁を検出するものである。

【０２１６】前記レーザレーダ測距装置３１０は、レー
ザビームを投射し、このレーザビームが物体に当たって
反射してくる光を受光し、この所要時間から物体までの
距離を測定するものであり、本実施例の車外監視装置３
００には周知のレーザレーダ測距装置を適用することが
できる。

【０２１７】すなわち、本実施例の車外監視装置３００
では、レーザビームの投射・受光と左右方向への走査機
能を有するレーザ投光ユニット３０１が車輌３３０の前
部に取り付けられており、図４７に示すように、レーザ
レーダ測距装置３１０には、レーザービームの投光受光
の所要時間から物体までの距離を計算し、また、レーザ
ビームを走査する方向から物体の二次元の位置を計算す
る距離検出回路３１０ａ、検出された物体の二次元の位
置を書き込む二次元分布メモリ３１０ｂ等から構成され
ている。

【０２１８】また、側壁検出装置３２０は、前記二次元
分布メモリ３１０ｂに書き込まれた二次元分布情報を読
み出して各種の計算処理を行なうマイクロプロセッサ３
２０ａを中心に構成され、制御プログラムを格納する読
み出し専用メモリ（ＲＯＭ）３２０ｂ、計算処理途中の
各種パラメータを記憶する読み書き両用メモリ（ＲＡ
Ｍ）３２０ｃ、処理結果のパラメータを記憶する出力用
メモリ３２０ｄ等から構成されている。前記マイクロプ
ロセッサ３２０ａは、前記二次元分メモリ３１０ｂを介
して二次元分布情報を入力して計算処理を実行し、処理
結果である側壁のパラメータを出力用メモリ３２０ｄに
出力する。

【０２１９】前記側壁検出装置３２０は、前述の第２実
施例の側壁検出装置２２０と同様の機能構成であり、図
４８に示すように、前記二次元分布メモリ３１０ｂに記
憶されている立体物の二次元分情報の中から、予め設定
された側壁の探索領域内のデータのみを抽出し、これを
ハフ変換で処理して側壁の有無と側壁の位置を示す直線
式とを検出する側壁直線検出部３２１、この側壁直線検
出部３２１で検出された側壁の位置を示す直線式に基づ
いて、側壁が存在すると推定される側壁候補領域を設定
し、この側壁候補領域内の立体物データの分布状態か
ら、側壁の前後端の位置を検出する側壁範囲検出部３２
２、処理結果を記憶する前記出力用メモリ３２０ｄから
なる側壁パラメータ記憶部３２３から構成されている。

【０２２０】図４９に示すように、レーザ投光ユニット
３０１からはレーザビームが水平に投射され、道路表面
より高い位置にある立体物のみが検出される。また、図
５０に示すように、レーザビームは左右方向に走査さ
れ、所定の走査範囲で一定の間隔毎にレーザビームが投
光・受光されて距離を検出する動作が繰り返され、立体
物の二次元分布が計測される。

【０２２１】例えば、前述の図４４に示すような、左側
にガードレール、右前方に他の車輌がある状況を前記レ
ーザレーダ測距装置３１０で計測すると、図５１に示す
ような立体物の二次元分布の情報が得られる。これは、
前述の第１実施例における立体物データ抽出処理で抽出
されるデータ（図２１参照）と同様である。従って、レ
ーザレーダ測距装置３１０の出力である立体物の二次元
分布に対し、第１、第２実施例と同様の側壁直線検出処
理及び側壁範囲検出処理を行なうことにより、左右の側
壁の有無、位置を検出することができる。

【０２２２】本実施例においても、前述の第３実施例と
同様、道路の白線を検出することが困難な場合において
も、側壁を確実に検出することができ、しかも、側壁の
有無、位置、方向を処理が容易なデータ形態で検出する
ことができる。

【０２２３】

【発明の効果】以上説明したように本発明によれば、車
外の設定範囲の対象に対する位置情報に基づいて、ガー
ドレール、植え込み、パイロン列等の道路の境界となる
連続した立体物としての側壁の有無と、この側壁の位置
を近似する直線式と、この側壁が存在する範囲とを検出
するため、道路の白線がない場合、あるいは白線を検出
することが困難な場合においても、側壁を確実に検出す
ることができ、しかも、側壁の有無、位置、方向を処理
が容易なデータ形態で検出するため、これらのデータを
用いて、より高度な危険警報や事故回避の機能を実現す
ることができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】図１〜図３８は本発明の第１実施例に係り、図
１は車外監視装置の全体構成図

【図２】車輌の正面図

【図３】車外監視装置の回路ブロック図

【図４】カメラと被写体との関係を示す説明図

【図５】ステレオ画像処理装置の具体例を示す回路構成
図

【図６】シティブロック距離計算回路の説明図

【図７】最小値検出回路のブロック図

【図８】車載のＣＣＤカメラで撮像した画像の例を示す
説明図

【図９】距離画像の例を示す説明図

【図１０】車輌の上面図

【図１１】車輌の側面図

【図１２】道路・側壁検出装置の機能ブロック図

【図１３】道路モデルの例を示す説明図

【図１４】三次元ウインドウの形状を示す説明図

【図１５】二次元ウインドウの形状を示す説明図

【図１６】直線要素とデータのずれ量を示す説明図

【図１７】ずれ量と重み係数の関係を示す説明図

【図１８】検出した道路形状の例を示す説明図

【図１９】側壁検出における探索領域の形状を示す説明
図

【図２０】側壁検出における画像の例を示す説明図

【図２１】立体物データの分布状況を示す説明図

【図２２】ハフ変換での直線の想定を示す説明図

【図２３】パラメータ空間の投票領域を示す説明図

【図２４】パラメータ空間への投票結果を示す説明図

【図２５】側壁候補領域を示す説明図

【図２６】ヒストグラムと側壁の存在範囲の関係を示す
説明図

【図２７】ステレオ画像処理装置の動作を示すフローチ
ャート

【図２８】シフトレジスタ内の保存順序を示す説明図

【図２９】シティブロック距離計算回路の動作を示すタ
イミングチャート

【図３０】ずれ量決定部の動作を示すタイミングチャー
ト

【図３１】ステレオ画像処理装置の動作を示すタイミン
グチャート

【図３２】図３２〜図３５は道路検出部の動作を示すフ
ローチャートであり、図３２は道路形状推定処理のフロ
ーチャート

【図３３】三次元ウインドウ発生処理のフローチャート

【図３４】直線要素検出処理のフローチャート

【図３５】道路形状判定処理のフローチャート

【図３６】図３６〜図３８は側壁検出部の動作を示すフ
ローチャートであり、図３６は立体物データ抽出処理の
フローチャート

【図３７】側壁直線検出処理のフローチャート

【図３８】側壁範囲検出処理のフローチャート

【図３９】図３９及び図４０は本発明の第２実施例に係
り、図３９は探索領域と格子区分を示す説明図

【図４０】側壁直線検出処理のフローチャート

【図４１】図４１〜図４５は本発明の第３実施例に係
り、図４１は車外監視装置の全体構成図

【図４２】車外監視装置の回路ブロック図

【図４３】側壁検出装置の機能ブロック図

【図４４】画像の例を示す説明図

【図４５】立体物の二次元分布の例を示す説明図

【図４６】図４６〜図５１は本発明の第４実施例に係
り、図４６は車外監視装置の全体構成図

【図４７】車外監視装置の回路ブロック図

【図４８】側壁検出装置の機能ブロック図

【図４９】レーザビームの走査方法を側面から示す説明
図

【図５０】レーザビームの走査方法を上面から示す説明
図

【図５１】レーザレーダ測距装置で計測される立体物の
二次元分布の例を示す説明図

【符号の説明】

１ 車輌 ２ 車外監視装置 １０ ステレオ光学系（計測手段） ２０ ステレオ画像処理装置（計測手段） １１０ 道路検出部（道路検出手段） １１１ 道路形状推定部（道路形状推定手段） １１２ 三次元ウインドウ発生部（三次元ウインドウ発
生手段） １１３ 直線要素検出部（直線要素検出手段） １１４ 道路形状判定部（道路形状判定手段） １２１ 立体物データ抽出部（データ抽出手段） １２２ 側壁直線検出部（側壁直線検出手段） １２３ 側壁範囲検出部（側壁範囲検出手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (56)参考文献 特開 昭60−45882（ＪＰ，Ａ) 特開 平２−90380（ＪＰ，Ａ) 特開 平２−90381（ＪＰ，Ａ) 特開 平４−161810（ＪＰ，Ａ) 特開 平４−262498（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 315 G06T 1/00 330 B60R 21/00 624 G06T 7/00 G08G 1/16

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 車外の設定範囲の対象を検出し、この対
   象に対する位置情報を出力する計測手段と、 前記計測手段からの位置情報に基づき、道路の境界とな
   る連続した立体物としての側壁の有無と、この側壁の位
   置を近似する直線式とを検出する側壁直線検出手段と、 前記側壁直線検出手段で検出した直線式の周囲に空間領
   域を設定し、この空間領域内のデータのみを抽出して前
   記側壁が存在する範囲を検出する側壁範囲検出手段とを
   備えたことを特徴とする車輌用車外監視装置。
2. 【請求項２】 車外の設定範囲内の対象を検出し、この
   対象に対する三次元位置情報を出力する計測手段と、 前記計測手段からの三次元位置情報に基づいて道路モデ
   ルを決定し、この道路モデルを道路形状として検出する
   道路検出手段と、 前記道路モデルに基づいて、前記三次元位置情報の中か
   ら道路表面より上にあるデータのみを抽出するデータ抽
   出手段と、 前記データ抽出手段で抽出したデータから、道路の境界
   となる連続した立体物としての側壁の有無と、この側壁
   の位置を近似する直線式とを検出する側壁直線検出手段
   と、 前記側壁直線検出手段で検出した直線式の周囲に空間領
   域を設定し、この空間領域内のデータのみを抽出して前
   記側壁が存在する範囲を検出する側壁範囲検出手段とを
   備えたことを特徴とする車輌用車外監視装置。
3. 【請求項３】 前記道路検出手段に、 前記三次元位置情報に基づいて、道路の白線の位置及び
   形状を推定する道路形状推定手段と、 前記道路形状推定手段で推定した道路の白線を包合する
   三次元の空間領域を三次元ウインドウとして設定する三
   次元ウインドウ設定手段と、 前記三次元位置情報の中から前記三次元ウインドウ内の
   データのみを抽出し、 前記道路モデルを構成する三次元の直線要素を検出する
   直線要素検出手段と、 前記直線要素検出手段で検出した直線要素の妥当性を判
   定し、判定基準に合致しない場合には前記直線要素を修
   正あるいは変更して前記道路モデルを決定する道路形状
   判定手段とを備えたことを特徴とする請求項２記載の車
   輌用車外監視装置。
4. 【請求項４】 前記側壁直線検出手段は、 前記側壁の存在を探索する探索領域を設定し、この探索
   領域内のデータのみを抽出してハフ変換を行なうことに
   より、前記側壁の存在の有無と、前記直線式とを検出す
   るものであることを特徴とする請求項１または２記載の
   車輌用車外監視装置。
5. 【請求項５】 前記側壁直線検出手段は、 前記側壁の存在を探索する探索領域を格子状に区分して
   設定し、この探索領域内のデータのみを抽出して各格子
   内に含まれるデータの個数を求め、各格子内のデータは
   各格子の中心位置にまとまって存在するものとしてハフ
   変換を行なうことにより、前記側壁の存在の有無と、前
   記直線式とを検出するものであることを特徴とする請求
   項１または２記載の車輌用車外監視装置。
6. 【請求項６】 前記側壁範囲検出手段は、 前記空間領域内のデータの個数を縦軸とし、自車輌との
   距離を横軸とするヒストグラムを作成し、このヒストグ
   ラムの度数の大小から前記側壁が存在する範囲を検出す
   るものであることを特徴とする請求項１または２記載の
   車輌用車外監視装置。
7. 【請求項７】 前記計測手段は、 車外の設定範囲を撮像して画像処理することにより、車
   外の対象に対する前記位置情報を出力するものであるこ
   とを特徴とする請求項１または２記載の車輌用車外監視
   装置。
8. 【請求項８】 前記計測手段は、 車外の設定範囲を走査してレーザ光を投射・受光するこ
   とにより、車外の対象に対する前記位置情報を出力する
   ものであることを特徴とする請求項１または２記載の車
   輌用車外監視装置。