JP2578120B2 - 道路形状認識装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、道路形状認識装置、特に車両の進行方向の
画像情報から、例えば車両案内線としての道路の白線を
検出し、該白線の曲率を算出することにより道路の形状
を認識する道路形状認識装置に関する。

（従来の技術） 従来、車両の進行方向の道路形状を判定する技術とし
て、特開昭60−170715号公報に記載されたようなものが
知られている。これは、操舵角センサを使って、現在走
行しているカーブ路の緩急を判別するものである。

（発明が解決しようとする課題） しかしながら、現時点でのカーブ路の緩急は判別でき
るものの、これから走行しようとする道路の形状、例え
ばカーブの程度については正確に把握できず、そのた
め、車両の操舵制御やカメラの撮像方向の制御等に利用
する場合にはカーブ路では制御が遅れる等の課題を有し
ていた。

そこで、本発明は、上記に鑑みてなされたもので、そ
の目的とするところは、高い信頼性をもって、車両の進
行方向の道路形状を認識できる道路形状認識装置を提供
することにある。

［発明の構成］ （問題点を解決するための手段） 上記問題点を解決するため、本発明の道路形状認識装
置は、第１図に示すように、車両の進行方向の斜視画像
を撮像する撮像手段と、該撮像手段で撮像した斜視画像
情報を平面画像情報に変換する画像変換手段と、該画像
変換手段からの平面画像情報から車両の進行方向に延出
する車両を案内するための車両案内線を検出する車両案
内線検出手段と、車両の進行方向の第１および第２の所
定距離における前記車両案内線上の第１および第２の点
の車両案内線に対する各接線を求める接線算出手段と、
該接線算出手段で算出した各接線の車両の進行方向に対
する各角度を算出する角度算出手段と、該角度算出手段
で算出した各角度に基づいて車両の進行方向における車
両案内線の曲率を検出する曲率検出手段とを有し、該角
度算出手段により算出された各接線の車両の進行方向に
対する角度と、該曲率検出手段により検出された車両案
内線の曲率とを道路形状として認識することを要旨とす
る。

（作用） 本発明の道路形状認識装置では、車両の進行方向に撮
像した斜視画像を平面画像に変換し、この平面画像から
車両の進行方向に延出する車両を案内するための車両案
内線を検出し、車両の進行方向の第１および第２の所定
距離における車両案内線上の第１および第２の点の各接
線を検出し、この各接線の車両の進行方向における各角
度から車両案内線の曲線を検出することで、算出された
各接線の車両の進行方向に対する各角度と、検出された
車両案内線の曲率とを道路形状として認識するようにし
ている。

（実施例） 以下、図面を用いて本発明の実施例を説明する。

第２図は本発明の道路形状認識装置が適用される自律
走行車両制御装置の一実施例の全体構成を示すブロック
図である。

同図に示す自律走行車両制御装置は、カメラやセンサ
等で検知した進行方向の道路状況を適宜判断しながら例
えば設定された目的地に向かった車両を無人で自律的に
走行させるための制御を行なう装置であって、車両の進
行方向の画像を撮像して画像処理する画像情報処理部10
0と、超音波センサ、レーザレーダ等により車両の進行
方向や側方等の物体、例えば先行車、ガードレール、障
害物等を検知するとともに、車輪速等も検知し処理する
検知処理部200と、車両を無人で走行させるための車両
のステアリング、アクセル、ブレーキ、ウィンカ等を作
動させるアクチュエータを有し、これらを制御するアク
チュエータ制御部300と、目的地までの地図情報を記憶
している地図情報記憶部400と、各部からの情報により
車両を目的地に向けて障害物等に衝突しないように走行
させるべく前記アクチュエータ制御部300等を制御する
走行制御部500と、該走行制御部500に対して目的地に関
する情報を入力するとともに、前記画像情報処理部100
からの画像やその他の情報を表示するマンマシンインタ
フェース部600と、非常ブレーキをかけたり、最高速度
を制限する等の機能を有する付帯制御部700と、例えば
飛行機のフライトレコーダ等のように衝突時や非常ブレ
ーキ等の場合の車両の各部の状況を記録するデータ収録
部800とから構成されている。

前記画像情報処理部100は、２台からなる１組のカメ
ラ101,103を有する。このカメラ101,103は車両の前部の
例えば左右に設けられ、これにより車両の進行方向のス
テレオ画像、すなわちステレオ斜視画像を撮像する。こ
のカメラ101,103で撮像された斜視画像は画像処理用コ
ンピュータ105に供給されて画像処理を施され、これに
より視差を求めて障害物の有無を判断したり、障害物ま
での距離および方向を計測するために使用されたり、ま
た斜面画像はこの画像処理用コンピュータ105により平
面画像に変換され、すなわち逆斜視変換される。画像処
理用コンピュータ105はこの平面画像から例えば道路上
に描かれている一対の車両案内線である白線または路速
帯、センタライン等を検出して、その位置を計測する。

また、更に詳しくは、道路上の白線等を検出すること
により、道路と車両との相対関係、すなわち車両から左
側の白線までの距離ＸL、右側の白線までの距離ＸR、車
両の進行方向と道路のなす角度θ等を算出し、これらの
値により道路のカーブの方向や曲率等を求める。また、
交差点の手前においては白線の切れ方等を計測すること
により交差点までの距離Ｙを求める。

このように画像処理用コンピュータ105で求められた
距離ＸL,XR，角度θ，距離Ｙ等は、ローカル自車位置推
定部107に供給され、これにより道路と車両との位置関
係、すなわちローカル自車位置を推定できるのである。
なお、ローカル自車位置とは、このように画像処理用コ
ンピュータ105における画像処理によって局部的に細く
求めた自車位置を称するものとする。また、このローカ
ル自車位置に対して後述するようにおおまかに求めた自
車位置をグローバル自車位置と称する。

なお、カメラは、画角を広く取るために、３組程度設
置し、切り替えて使用することにより右前方、左前方、
前方の画像から上記パラメータを得ることができる。

検知処理部200は、超音波センサ、レーザレーダ等を
使用し、車両の進行方向や側方等の物体、例えば先行
車、ガードレール、障害物等を検知するとともに、車輪
速等も検知するものであるが、これは例えば前記画像情
報処理部100による画像情報がない場合にもある程度の
走行を可能にし、これによりフェイルセーフ的役割も果
そうとするものである。

検知処理部200は車両の側方、前後左右の４ケ処にそ
れぞれ設けている４つの超音波センサ201,203,205,207
を有し、これらの超音波センサ201の出力はフェイルセ
ーフローカル自車位置検出部215に供給され、これらの
センサによって車両と道路のガードレールとの間隔距離
を測定し、これにより前記画像情報処理部100で求めた
と同様なパラメータ、すなわち距離ＸL,XR，角度θ等を
計測することができる。また、ガードレールの切れ目の
判断を行なうことにより例えば交差点の手前Ｙメートル
の位置にガードレールの切れ目を規則的に作っておく
と、交差点までの距離も知ることができる。すなわち、
これらの情報により前記画像情報処理部100で求めたと
同じローカル自車位置情報を得ることができるのであ
る。

また、検知処理部200は車両前部に設けられ、車両の
前方等に存在する障害物等を検出するレーザレーダ209
および前方超音波センサ210を有し、これらの出力はフ
ェイルセーフ障害物判断部217に供給されている。これ
らのレーザレーダ209および前方超音波センサ210は障害
物までの距離も算出し、前記画像情報処理部100のカメ
ラ101,103で認識できない場合にも、このレーザレーダ2
09が障害物を検出した場合には車両の走行を一時的に停
止または減速するようになっている。

更に、検知処理部200は後輪の左右に設けられている
一対の車輪速センサ211,213を有し、これらのセンサの
出力は車輪速データ処理部218に供給され、更にこの車
輪速データ処理部218からグローバル車両位置推定部219
に供給されている。この車輪速センサ211,213は車輪の
回転を検出し、この回転に同期して車輪の１回転毎に数
千個（具体的には、1000〜4000）のパルスを左右の車輪
毎に発生する。従って、この左右の車輪毎に発生する両
パルスの数の差を取れば、走行距離の差となり、この差
から車両がカーブして走行しているか否かを判断するこ
とができる。また、左右の車輪の走行距離はそのまま車
両の走行距離となる。従って、これらの情報を時々刻々
計算することにより車両の変位（ΔX,ΔY,Δθ）を求め
ることができる。具体的には、ある時点の車両の姿勢、
すなわち位置を基準とした相対的な車両の位置情報、す
なわち相対的なX,Y座標における位置およびθ等の情報
を求めることができ、これにより走行前の車両の位置が
既知であるならば、車輪速処理を逐次行なうことにより
走行中の車両の現在位置を常に検出することができる。
但し、誤差は累積されるので、走行距離が長くなると、
計測誤差が大きくなる。このように求められるおおよそ
の車両の位置がグローバル車両位置（X,Y）である。

アクチュエータ制御部300は、車両を無人で走行させ
るために必要な種々のアクチュエータ、すなわちステア
リングを操舵する操舵アクチュエータ301、アクセルに
対応するスロットルアクチュエータ303、ブレーキアク
チュエータ305、ウィンカ駆動部307を有し、これらの各
アクチュエータをアクチュエータ制御部309が走行制御
部500からの制御情報に基づいて制御するようになって
いる。なお、車両がAT車で前進走行のみである場合に
は、上述したアクチュエータのみでよいが、MT車や後進
の制御を行なう場合には、クラッチやシフトレバー等の
操作用アクチュエータ等も必要となる。アクチュエータ
制御部309は走行操舵制御部505からの加減速指令または
目標車速指令を受け、アクセルやブレーキ等を制御す
る。操舵制御は同様に右または左への回転指令または目
標操舵角指令を受けて作動する。

地図情報記憶部400は、目的地に関する地図情報、目
的地までの地図情報、例えば目的地までの道路に存在す
る交差点位置、交差点間距離等の地図情報を記憶してい
る地図データ記憶部401および該地図データ記憶部401に
対して走行制御部500からのアクセスを制御する地図情
報アクセス制御部403から構成されている。

走行制御部500は、前記画像情報処理部100および検知
処理部200で検出した進行方向の道路情報を適宜判断す
るとともに地図情報記憶部400からの地図情報を参照し
ながら、マンマシンインタフェース部600から入力され
る目的地に向けて車両を走行させるべく前記アクチュエ
ータ制御部300を駆動制御するものであり、前記画像情
報処理部100の画像処理用コンピュータ105から障害物デ
ータを供給され、この障害物データに基づいて障害物の
回避方向を決定する障害物回避方向決定部501と、地図
情報記憶部400からの地図情報、検知処理部200のグロー
バル自車位置推定部219からのグローバル自車位置情報
（X,Y）、画像情報処理部100のローカル自車位置推定部
107からの補正データ、マンマシンインタフェース部600
からの目的地情報等の情報を供給され、これらの情報に
より目的地までの経路等を含む大局的な走行戦略情報を
立案し、この情報に従って直進、右左折、減速、加速、
停止等の走行動作に関する情報、交差点までの距離情報
等の制御情報を出力するプランナである走行指令部503
と、該走行指令部503からの制御情報、画像情報処理部1
00のローカル自車位置推定部107からの道路端からの距
離、角度等を含むローカル自車位置情報、障害物回避方
向決定部501からの障害物回避方向情報、検知処理部200
の車輪速データ処理部218からの車両の変位（ΔX,ΔY,
Δθ）を含む車両姿勢（位置）情報、検知処理部200の
フェールセーフローカル自車位置検出部215からの道路
端からの距離、角度等を含むローカル自車位置情報、フ
ェイルセーフ障害物判断部217からの障害物までの距離
情報、付帯制御部700からの情報等を供給され、これら
の情報に基づいてアクチュエータ制御部300の制御に必
要な各種制御信号、例えば目標車速、目標操舵角情報等
の情報をアクチュエータ制御部300に供給し、これによ
り操舵制御等を行なう走行操舵制御部505とを有する。

更に具体的には、走行指令部503はマンマシンインタ
フェース部600から目的地情報が入力されると、地図情
報記憶部400をアクセスしながら、目的地までの経路を
探索し、最短経路を決定する。そして、この決定した最
短経路の情報と車輪速センサ211,213で検出された情報
に基づいて算出されたグローバル自車位置情報とを比較
しながら走行制御情報を作成する。例えば、交差点に近
付いたときには、およその減速指令を出力したり、「あ
と何メートルで左折する」というような情報を走行操舵
制御部505に出力する。また、走行操舵制御部505におけ
るアクチュエータに対する制御はFuzzy制御等の知能制
御により行なわれる。すなわち、「if…then…」の形式
で記述されたプロダクションルールに従って制御され
る。また、障害物の回避は画像情報処理部100による障
害物までの距離と方向とに基づいてどの方向に進めばよ
いかを決定する。

マンマシンインタフェース部600は、目的地情報等を
入力するキーボード601と、目的地までの地図を表示し
たり、その他種々の情報、例えば交差点までの情報等を
表示するCRTディスプレイ603とを有する。なお、キーボ
ード601は代りとしてディジタイザ等でもよい。また、
マンマシンインタフェース部600はマンマシンインタフ
ェースとして音声認識や合成装置等を有してもよい。

付帯制御部700は、非常ブレーキアクチュエータ701を
有し、この非常ブレーキアクチュエータ701は通常走行
用のブレーキアクチュエータ305とパラレルに作動し、
安全性を向上している。この非常ブレーキアクチュエー
タ701はアンテナ705で受信した外部非常ブレーキ信号を
受信機707および制御部703を介して供給されたり、また
は車両内部に設けられている非常ブレーキスイッチ709
からの作動信号を制御部703を介して供給されると走行
制御部500の制御に関係なく作動し、車両を停止させ
る。また、付帯制御部700は最高車速リミッタ711、この
最高車速リミッタ711に対して最高車速を設定するため
の速度設定部713および最高車速リミッタ711に車両の実
際の車速情報を供給する車速センサ714を有し、速度設
定部713で設定された最高車速で走行し得るようになっ
ている。この最高車速リミッタ711は車両の乗員がゆっ
くりと走りたい場合に、その最高車速を設定するための
ものであり、この設定された最高車速情報は走行操舵制
御部505に供給され、走行操舵制御部505でこの速度を越
えないように制御される。なお、最高車速は走行指令部
503によって道路毎に設定することも可能である。ま
た、万一、設定された最高車速を越える車速が出た場合
には、車速センサ714が感知し、これにより走行制御部5
00の異常を判断し、非常ブレーキアクチュエータ701を
制御して非常ブレーキを作動させるようになっている。

データ収録部800は、フライトレコーダ等のように衝
突時、非常ブレーキ作動時等に車両の各部の状況を記録
するためのメモリ等からなるデータ収録部801およびＧ
センサ803を有する。このデータ収録部801に記録された
データに基づいて後で原因等を解明するために使用する
ものである。

次に、第３図を参照して作用を説明する。

この作用は、自律走行車両制御装置における自律走行
制御の中において特に画像情報処理部100で撮像した画
像情報を基にして車両のローカル自車位置の算出、具体
的にはカーブ路のカーブ度合いおよびカーブ路と自車と
の位置関係等を求めるものである。

前記画像情報処理部100のカメラ101,103で撮像した車
両の前方の画像は、第３図（ａ）に示すように、斜視画
像である。この斜視画像はカメラ101,103から画像処理
用コンピュータ105に供給されて逆斜視変換され、第３
図（ｂ）に示すようなワールド座標系の平面画像とな
る。この平面画像では、図示のように一対の車両案内線
である一対の白線Ｌが図示されているが、この白線Ｌが
画像処理用コンピュータ105によって抽出される。

このように抽出された白線Ｌに対して、第３図（ｃ）
に示すように車両900の位置を原点としてＸ座標および
Ｙ座標を設定し、車両900から前方にY1およびY2メート
ルの２ケ所の位置における一方の白線、図示では右側の
白線Ｌ上の第１および第２の点P1,P2のＸ座標の位置X1,
X2,すなわち車両900を原点とした中心から各点P1,P2ま
での距離X1,X2を求める。それから、各点P1,P2における
白線Ｌに対する各接線T1,T2を求め、この各接線T1,T2と
車両900の進行方向、すなわちＹ軸の方向との各角度θ
1,θ２を算出する。

以上のように算出される角度θ1,θ２がローカル自車
位置推定部107に供給されることにより、これらの角度
θ1,θ２および両角度の差（θ２−θ１）の符号によっ
て次表のように車両の進行方向の道路の湾曲状態、すな
わち右カーブであるかまたは左カーブであるか等が判断
されるのである。なお、角度θは第３図（ｃ）に示すよ
うに反時計方向が正の方向とする。

この表から、例えばθ１＜0,θ２＜0,（θ２−θ１）
＜０の時、θ１＞0,θ２＜0,（θ２−θ１）＜０の時、
およびθ１＞0,θ１＞0,（θ２−θ１）＜０の時は、右
カーブであり、θ１＜0,θ２＜0,（θ２−θ１）＞０の
時、θ１＜0,θ２＞0,（θ２−θ１）＞０の時、および
θ１＞0,θ２＞0,（θ２−θ１）＞０の時は、左カーブ
であり、またθ１＝θ２の時は、直線路であると判断で
きる。

また、車両姿勢は、例えば直線路であればθ１＝θ２
となり、θ１またはθ２と逆符号で同じ値となる。すな
わち、手前側Y1に対応するθ１の符号は逆にして、道路
と車両とのなす角度とする。θ１は車両前方Y1の位置に
おける角度であるため、もし現在位置における道路端か
らの距離や角度を求める必要があれば、時々刻々のθお
よびＸを求めて記憶し、以前のθおよびＸの値を使用す
ればよい。

更に、角度差（θ２−θ１）は（sin θ２−sin θ
１）の方が望ましいのであるが、この角度差が大きい
程、カーブ度合が大きく、急カーブであり、小さければ
直線に近いことになる。カーブの入り口ではカーブ度合
が小さく、徐々に大きくなっていく。

カーブの度合として、カーブの曲率半径を求める場合
についての説明が第４図に示されているが、白線Ｌの各
点P1,P2における曲率半径Ｒは次式で表される。

Ｒ＝（Y1−Y2）／（sin θ２−sin θ１） 従って、この場合、カーブ度合としては逆数を取って
次式のようになる。

1/R＝（sin θ２−sin θ１）／（Y2−Y1） このように求めた白線Ｌの曲率半径の逆数をカーブの
度合として使用すればよく、このカーブ度合はカーブが
きつい程大きな値となる。

以上のように求めた距離X1,X2,角度θ1,θ２等および
これらのデータから求めた白線Ｌのカーブ度合、右カー
ブか左カーブか等の情報が画像情報処理部100から走行
制御部500に供給され。これにより車両の自律走行制御
が適切に行なわれるのである。

なお、以上の処理は定時間毎、例えば0.1秒間隔に行
ないながら走行操舵の制御を行なう。

また、上記実施例では、右側の白線について説明した
が、左側の白線についても全く同じように行なうことが
できる。従って、左右両方の白線からの情報を結合すれ
ば左右の白線の幅、すなわち道幅が変化するような道路
であってもキープレストや中央を走行させる制御を行な
うことができる。

更に道路幅が一定と仮定できれば左右の白線からの情
報を平均化する等して確からしさを向上することも可能
である。左右の情報が異なる場合には、画像情報が正し
くないと判断できる。また、左右の白線の各角度の値の
ばらつき等を求めて、画像情報の信頼度とすることがで
きる。カメラ画角は限界があるため、右カーブ時は左側
の白線を、左カーブの時は右側の白線をガイドにして走
行するとよい。

尚、上記実施例では自律走行車両制御装置に本発明の
道路形状認識装置を適用した場合を例に説明したが、本
発明はこれ以外にも、例えばカーブ路の曲率に合わせて
レーダの走査方向やカメラの撮像方向を制御する装置に
も適用することができるものである。

［発明の効果］ 以上説明したように、本発明によれば、車両の進行方
向に撮像した斜視画像を平面画像に変換し、この平面画
像から車両の進行方向に延出する車両を案内するための
車両案内線を検出し、車両の進行方向の第１および第２
の所定距離における車両案内線上の第１および第２の点
における各接線を検出し、この各接線の車両の進行方向
における各角度から車両案内線の曲率を検出しており、
このように検出した曲率および各接線の角度から適確に
かつ高い信頼性をもって道路形状を認識することができ
る。

【図面の簡単な説明】

第１図は本発明のクレーム対応図、第２図は本発明の一
実施例に係る自律走行車両制御装置の全体的構成を示す
ブロック図、第３図は第２図の自律走行車両制御装置の
作用の説明図、第４図は第２図の自律走行車両制御装置
において道路の白線の曲率を求めるための説明図であ
る。 １……撮像手段、３……画像変換手段、５……案内線検
出手段 ７……接線算出手段、９……角度算出手段、11……曲率
検出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 服部 彰 横浜市神奈川区宝町２番地 日産自動車 株式会社内 (56)参考文献 特開 昭63−52213（ＪＰ，Ａ) 特開 昭58−181180（ＪＰ，Ａ) 特開 昭51−12530（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両の進行方向の斜視画像を撮像する撮像
   手段と、 該撮像手段で撮像した斜視画像情報を平面画像情報に変
   換する画像変換手段と、 該画像変換手段からの平面画像情報から車両の進行方向
   に延出する車両を案内するための車両案内線を検出する
   車両案内線検出手段と、 車両の進行方向の第１および第２の所定距離における前
   記車両案内線上の第１および第２の点の車両案内線に対
   する各接線を求める接線算出手段と、 該接線算出手段で算出した各接線の車両の進行方向に対
   する各角度を算出する角度算出手段と、 該角度算出手段で算出した各角度に基づいて車両の進行
   方向における車両案内線の曲率を検出する曲率検出手段
   とを有し、 該角度算出手段により算出された各接線の車両の進行方
   向に対する各角度と、該曲率検出手段により検出された
   車両案内線の曲率とを道路形状として認識することを特
   徴とする道路形状認識装置。