JPH0785249A

JPH0785249A - 道路白線認識方法

Info

Publication number: JPH0785249A
Application number: JP5230563A
Authority: JP
Inventors: Yuichiro Hayashi; 祐一郎林; Kazuya Hayafune; 一弥早舩; Kazuhiko Aono; 和彦青野; Toshiya Shinpo; 俊也真保; Kiichi Yamada; 喜一山田
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 1993-09-16
Filing date: 1993-09-16
Publication date: 1995-03-31

Abstract

(57)【要約】【目的】本発明は、道路白線認識方法に関し、道路上
の白線を確実に認識できるようにすることを目的とす
る。【構成】撮像手段３で撮像された道路に関する画像情
報を画像情報処理手段４で処理することで、道路上の白
線を認識する道路白線認識方法において、画像内に、縦
方向に短く且つ横方向に所要の長さを有する白線探索エ
リア１０を設定する第１の処理段階と、画像情報に基づ
いて、白線探索エリア１０内で横方向に明度変化を探索
する第２の処理段階と、明度変化が極めて少ない部分を
道路部分であると判断し、且つ、明度変化が極めて少な
い道路部分に隣接して明度変化が大きい部分について白
線１２であると認識する第３の処理段階とからなるよう
に構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路上の白線を認識し
て自動操舵を行なう自動操舵車両に用いて好適の、道路
白線認識方法に関する。

【０００２】

【従来の技術】近年、例えば車両に各種のセンサを設
け、これらのセンサからの情報に基づいて制御信号を設
定し、油圧や電動モータ等により操舵機構を積極的、且
つ自動的に操舵させるような自動操舵操舵車両が多数提
案されている。これような自動操舵操舵車両では、例え
ば上述のセンサの１つとして車両にカメラをそなえ、こ
のカメラからの画像情報のうち、明度の高い部分を白線
候補点として、この中から前回の画面情報で得た白線位
置に最も近い点を白線であると認識して、この道路白線
に基づいて操舵を行なうような車両が、特開平３−１３
７７９８号公報等に開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、車両が
曲率半径の小さなカーブへ進入する際は、カメラ画像上
での白線の移動量が増大してしまい、白線近傍のマンホ
ールやガードレール等による明暗の情報のノイズが多く
なり、白線位置が誤認識され易くなるという課題があ
る。

【０００４】本発明は、上述の課題に鑑み創案されたも
ので、白線の誤認識を防止して、道路上の白線を確実に
認識できるようにした、道路白線認識方法を提供するこ
とを目的とする。

【０００５】

【課題を解決するための手段】このため、請求項１記載
の本発明の道路白線認識方法は、撮像手段で撮像された
車両前方の道路に関する画像情報を画像情報処理手段で
処理することで、該道路上の白線を認識する道路白線認
識方法において、該画像内に、縦方向に短く且つ横方向
に所要の長さを有する白線探索エリアを設定する第１の
処理段階と、該画像情報に基づいて、該白線探索エリア
内で横方向に明度変化を探索する第２の処理段階と、該
明度変化が極めて少ない部分を道路部分であると判断
し、且つ、該明度変化が極めて少ない道路部分に隣接し
て該明度変化が大きい部分について白線であると認識す
る第３の処理段階とから構成されていることを特徴とし
ている。

【０００６】また、請求項２記載の本発明の道路白線認
識方法は、上記請求項１記載の構成に加えて、上記の第
１から第３の処理段階からなる道路白線認識処理を、所
要の周期で継続して行なうように構成されて、該白線探
索エリアが、前回の道路白線認識処理周期において認識
された白線位置情報に基づいて、設定されることを特徴
としている。

【０００７】また、請求項３記載の本発明の道路白線認
識方法は、上記請求項２記載の構成に加えて、該明度変
化が極めて少ない道路部分に隣接して該明度変化が大き
い部分が複数存在する場合、認識しようとする白線が該
道路上の左側のものであるなら上記複数の明度変化の大
きい部分のうち最も右側の明度変化の大きい部分を白線
と認識し、認識しようとする白線が該道路上の右側のも
のであるなら上記複数の明度変化の大きい部分のうち最
も左側の明度変化の大きい部分を白線と認識することを
特徴としている。

【０００８】

【作用】上述の請求項１記載の本発明の道路白線認識方
法では、撮像手段で撮像された車両前方の道路に関する
画像情報を画像情報処理手段において以下の３つの処理
段階で順次処理することにより、道路上の白線が認識さ
れる。まず、第１の処理段階では、画像内に縦方向に短
く且つ横方向に所要の長さを有する白線探索エリアが設
定される。

【０００９】次に、第２の処理段階として、画像情報に
基づいて白線探索エリア内で横方向に明度変化を探索す
る。そして、第３の処理段階で、明度変化が極めて少な
い部分を道路部分であると判断し、且つ、明度変化が極
めて少ない道路部分に隣接して明度変化が大きい部分に
ついて白線であると認識する。

【００１０】また、上述の請求項２記載の本発明の道路
白線認識方法では、上記の第１から第３の処理段階から
なる道路白線認識処理が所要の周期で継続して行なわれ
る。また、白線探索エリアが前回の道路白線認識処理周
期において認識された白線位置情報に基づいて設定され
る。また、上述の請求項３記載の本発明の道路白線認識
方法では、明度変化が極めて少ない道路部分に隣接して
明度変化が大きい部分が複数存在する場合、認識しよう
とする白線が道路上の左側のものであるなら上記複数の
明度変化の大きい部分のうち最も右側の明度変化の大き
い部分を白線と認識し、認識しようとする白線が道路上
の右側のものであるなら上記複数の明度変化の大きい部
分のうち最も左側の明度変化の大きい部分を白線と認識
する。

【００１１】

【実施例】以下、図面により、本発明の一実施例として
の白線認識方法について説明すると、図１はその白線認
識方法を用いた自動操舵装置の機能構成をドライバの操
舵操作時の各機能と対応させるように整理して示す機能
ブロック図、図２はその白線認識方法を用いた自動操舵
装置の要部構成を示す模式的な構成図、図３はその白線
認識方法を用いた自動操舵装置における曲率半径と偏角
との関係を模式的に示す図であって車両上方から見た模
式図、図４はその白線認識方法を用いた自動操舵装置に
おける車両の偏角と道路のカーブ半径との関係を示すグ
ラフ、図５はその白線認識方法を用いた自動操舵装置に
おけるドライバ操舵による車両の偏角と操舵角との関係
を示すグラフ，図６はその白線認識方法を用いた自動操
舵装置におけるドライバ操舵によるカーブを走行中の横
加速度のピーク値と横ジャーク（単位時間当りの横加速
度の変化量）のピーク値との関係を示すグラフ、図７は
その白線認識方法を用いた自動操舵装置における操舵開
始距離と操舵速度との関係を示すグラフ、図８（ａ）〜
（ｆ）はいずれもその白線認識方法を説明するための模
式図、図９はその白線認識方法を用いた自動操舵装置に
おける車速と操舵開始距離との関係を示すグラフ、図１
０はその白線認識方法を用いた自動操舵装置における自
動操舵とドライバ操舵との特性を示すグラフであって車
速と操舵開始距離との関係を示すグラフ、図１１はその
白線認識方法を用いた自動操舵装置における偏角の変動
を説明するための模式的な図であって車両上方から見た
模式図、図１２はその白線認識方法を用いた自動操舵装
置における車両旋回時における車両と道路中心との偏差
を示す模式的な図であって車両上方から見た図、図１３
はその白線認識方法を用いた自動操舵装置における偏角
検出点を車速対応にした場合におけるゲインの設定を説
明する模式的なブロック図、図１４はその白線認識方法
を用いた自動操舵装置における偏角検出点を固定式にし
た場合のゲインの設定を説明する模式的なブロック図で
あって図１３に対応する図、図１５〜図１８はいずれも
その効果を説明するための図であって図１５は屈曲路の
一例を示す図、その操舵特性を示すグラフであって
（ａ）は自動操舵時とドライバ操舵時とにおける屈曲路
走行時の操舵角特性を示すグラフ（ｂ）は自動操舵時と
ドライバ操舵時とにおける屈曲路走行時の車両の横加速
度の特性を示すグラフ、図１７は自動操舵時とドライバ
操舵時とにおける横加速度のピーク値と横ジャークのピ
ーク値との関係を示すグラフ、図１８（ａ）〜（ｃ）は
道路の基準線の認識の一例を説明するための図、図１９
はその白線認識方法を用いた自動操舵装置における操舵
アクチュエータの全体構成の一例を示す模式図、図２０
はその白線認識方法を用いた自動操舵装置における前方
注視距離の設定について説明するためのグラフであって
図１０に対応するグラフ、図２１はその白線認識方法を
用いた自動操舵装置における偏角ゲインの設定を説明す
るための図であって車両上方から見た模式図である。

【００１２】図２に示すように、車両１には、操舵輪２
を転舵させるための操舵アクチュエータ２Ａと、この車
両前方の道路状態を撮像する撮像手段としてのカメラ３
と、このカメラ３からの画像情報を処理する画像情報処
理手段４と、操舵アクチュエータ２Ａに対して制御信号
を設定する制御手段としてのコントローラ５とがそなえ
られている。

【００１３】つまり、この車両１は、カメラ３で撮像さ
れた画像に基づいて操舵輪２を自動的に転舵させるよう
な自動操舵車両であって、コントローラ５では、画像情
報処理手段４からの情報に基づいて、操舵輪２を制御す
るための制御量として目標操舵角が設定され、この目標
操舵角の設定量に応じて操舵アクチュエータ２Ａが作動
するようになっている。

【００１４】ここで、この車両１にそなえられた自動操
舵装置の制御機能の構成について説明する。ドライバ
が、操舵操作（舵角の変更）を行なうのは、主に、車両
１の走行方向が走行している道路（走行レーン）の方向
と合わなくなったときにこれを修正しようとする場合で
あり、これに加えて、車両１が走行レーンを横方向（左
右外方）にはみ出そうとしているときにこれを修正しよ
うとする場合が考えられる。走行方向が走行レーン方向
と合わなくなるのは、曲走路の走行中が考えられるが、
直走路を走行しているときにも車両自体の姿勢がヨー方
向に動くことで走行方向が走行レーン方向から外れる場
合もある。

【００１５】そこで、この自動操舵装置では、主とし
て、車両１の走行方向を走行レーンの方向と合わせるよ
うに操舵を行なって、これに、車両１の横方向位置の修
正のための操舵要素を付加するようになっている。ま
た、人為的な操舵（ドライバ操舵）では、ドライバが視
覚で得た情報から、車両と道路との相対的な状況を判断
して、操舵操作を行なっている。つまり、ドライバは、
目から入った情報に基づいて、車両１の走行方向と走行
レーン方向との相対関係（偏角）や、車両１の横方向の
位置ずれ（横偏差）を判断し、これらを修正するように
操舵操作を行なっている。

【００１６】ドライバが視覚で得る情報を整理すると、
道路のカーブの半径，車速，乗り心地（横加速度，横ジ
ャーク）の３つの要素に分類することができる。また、
一般に、曲走路の定常円及びこれに近い部分や直走路等
を走行している際（定常走行時）には、操舵角を一定に
保持しようとするので、ドライバは、操舵操作は走路の
曲率にあった操舵角δ₀を保持するように操舵を行な
う。これに対して、直走路から曲走路へ進入しようとす
る際（過渡走行時）には、曲走路のある程度手前から操
舵角δを曲走路の曲率に応じた操舵角δ₀に除々に増加
させていく。この場合、ドライバは、曲走路に入る地点
のどの程度手前から操舵を開始するか（すなわち、操舵
開始距離Ｄをどの程度にするか）、また、どの程度の割
合（操舵速度δ_Vで操舵角δを増加させていくかを、そ
の時の車速や予想される乗り心地（横加速度のかかり具
合）等を考慮して設定する。

【００１７】つまり、ドライバが操舵操作に際して決定
する操舵要素を分類すると、操舵角δ₀，操舵開始距離
（操舵開始タイミング）Ｄ，操舵速度δ_Vに分けられ
る。この自動操舵装置では、このような、ドライバ操舵
と同様な手法により自動操舵を行なうようになってい
る。そこで、この装置では、ドライバの視覚系に対応し
た画像処理手段４と、ドライバのデータ処理系に対応す
るように、操舵に必要な各量、即ち、操舵角δ₀，操舵
開始距離Ｄ，操舵速度δ_Vを設定するコントローラ５と
をそなえているのである。

【００１８】ここで、まずドライバの視覚系に対応する
画像情報処理手段４について説明する。図１に示すよう
に、この画像情報処理手段４には、画像変換手段４Ｃと
横偏差算出手段７と偏角算出手段６と曲率状態推定手段
９とがそなえられている。そして、道路の状態がカメラ
３により撮像されると、このカメラ３からの原画像４Ａ
が取り込まれ、次にこの原画像４Ａが、画像変換手段４
Ｃにより、あたかも上方から見たような平面視画像４Ｂ
に変換されるようになっている。

【００１９】偏角算出手段６では、平面視画像４Ｂに基
づいて車両１から所定距離だけ離れた地点（すなわち、
平面視画像４Ｂ内の所定の高さの地点）における偏角が
算出されるようになっている。この偏角とは、図１に示
すように、屈曲した道路中心線の接線と車両中心線とが
なす角である。また、偏角βは、以下のようにして算出
される。つまり、図１に示すように、車両から所定距離
だけ離れた第１の地点（第１検出点、図中には近地点と
示す）における基準線位置情報と、この近地点よりもさ
らに車両１から所定量離れた第２の地点（第２検出点、
図中には遠地点と示す）における基準線位置情報とか
ら、偏角βを算出するようになっている。なお、この例
では、第１検出点を横偏差の検出点、すなわちカメラ３
による画像情報のうち車両に最も近い地点としている。

【００２０】そして、偏角βは、これらの第１検出点と
第２検出点とを結んだ直線と、車両１の中心線とがなす
角として算出するようになっている。このようにして算
出される偏角は、第１検出点と第２検出点との中間地点
（図中×印）の偏角であり、すくなくとも車両１から一
定以上前方の地点の偏角である。さらに、曲率状態推定
手段９では、偏角算出手段６で算出された偏角βに基づ
いてカーブ半径Ｒを推定するようになっている。つま
り、カメラ３により撮像された道路の偏角βは、カーブ
半径Ｒを反映するための値として曲率状態推定手段９に
フィードフォワードされるようになっているのである。

【００２１】このカーブ半径Ｒの推定方法について説明
すると、図３に示すように、車両１から所定距離Ｋだけ
前方の偏角βが算出されると、偏角βが比較的小さい時
はカーブ半径Ｒと所定距離Ｋと偏角βとは、幾何学的
に、Ｒ・β＝Ｋ・・・・・（１）という関係式で近似することができる。すなわち、偏角
βの検出地点まで距離Ｋを一定とすると、カーブ半径Ｒ
と偏角βとは反比例の関係にある。これは、図４に示す
ように、実験結果からも立証される。したがって、この
式（１）によりカーブ半径Ｒが推定される。なお、横偏
差算出手段７については後述する。

【００２２】次に、コントローラ５について説明する。
このコントローラ５は、操舵角設定部５Ａと、操舵開始
距離設定部５Ｂと、操舵速度設定部５Ｃと、ゲインを最
終的に設定する加算器５Ｄとをそなえている。操舵角設
定部５Ａでは、以下のようにして操舵角δ₀が設定され
る。ドライバは、カーブ定常旋回時の操舵角をカーブの
曲率半径Ｒに応じて決定するので、この自動操舵装置に
おいても、ドライバ操舵同様に、カーブ半径Ｒが推定さ
れると、このカーブ半径Ｒに基づいて操舵角δ₀が設定
されるようになっている。

【００２３】つまり、操舵角設定部５Ａには、上述の曲
率状態推定手段９で推定されたカーブ半径Ｒと、車速検
出手段１６から得られる車速Ｖとが入力され、これらの
値Ｒ，Ｖと、予めインプットされた車両１のスタビリテ
ィファクタＡ及びホイールベースＷＢとにより、操舵角
δ₀が下式（２）にしたがって運動力学的に決定される
のである。 δ₀＝（１＋ＡＶ²）・（Ｗｂ／Ｒ）・・・・・・（２）これに前述した式（１）における偏角βを代入すると、 δ₀＝（１＋ＡＶ²）・（ＷＢ／Ｋ）・β ・・・・・・（３）となる。この式（３）によれば、カーブ半径Ｒを用いる
ことなく、偏角βと車速Ｖとから直接δ₀を求めること
ができるので、実際の制御では、式（３）を用いてδ₀
を求める。また、図５に示すグラフは、偏角βとドライ
バの操舵角との関係を示す実験データであるが、このグ
ラフから、式（３）に示すように、偏角βとドライバの
操舵角と、はほぼ比例の関係になっていることが立証さ
れる。

【００２４】そして、このように車両１の前方のカーブ
半径Ｒ又は偏角βをフィードフォワードするようにして
操舵角δ₀が設定されると、操舵角設定部５Ａからは、
操舵角δ₀（操舵角指令値ｓ₀）が車両１の操舵アクチ
ュエータ（ステアリングアクチュエータ）２Ａに入力さ
れる。この操舵角指令値ｓ₀により、車両１が走行レー
ンの方向に沿うような方向に調整されながら走行するよ
うになる。

【００２５】ところで、車両１が上方から見て道路の中
心線に対してある程度の傾き（角度β２）をなして走行
している場合は、図２１に示すように、偏角βには、実
際のカーブの偏角β１以外に、上述の車両１の傾きによ
る角度β２も含まれている。したがって、偏角ゲインＫ
１は、偏角β１により設定されるゲインＫ₁₁と角度β２
により設定されるゲインＫ₁₂とから設定されているので
ある。

【００２６】本来、ゲインＫ₁₁とゲインＫ₁₂とはそれぞ
れ独立に決定されるべきものではあるが、このように、
ゲインＫ１をＫ₁₁＋Ｋ₁₂として設定することにより、現
在の車両１の方向を道路の方向へ合致させる操舵制御
と、車両１を前方のカーブの曲率Ｒに応じた向きに合致
させる操舵制御とを同時に実現することができる。ま
た、横偏差算出手段７では、車両１が道路中心８に対し
てどの程度横方向にずれているかそのずれ量（横偏差）
を算出するものであり、変換された平面視画像４Ｂに基
づいてこの横偏差の値が算出されるようになっている。
なお、この横偏差は、車両１の現在位置の横ずれに相当
する量にしたいので、平面視画像４Ｂ中でも、最も車両
に近い地点（すなわち、平面視画像４Ｂ内の有効な部分
内で最も下方の地点）において算出される。

【００２７】この例では、左側通行の路側部分に当た
る、道路左端の白線１２を基準線として、この基準線か
ら右へ一定距離（＝レーン幅の略半分の距離）の位置を
道路中心と仮定するようになっている。そして、この道
路中心から自車両１の左右中心までの距離が横偏差とし
て算出されるようになっている。なお、ここではカメラ
３の左右中心が、自車両１の左右中心と一致するように
設置されており、この横偏差は、平面視画像４Ｂ上の左
右中心線３Ａと道路中心線との距離にあたる。

【００２８】そして、横偏差算出手段７により車両１の
横偏差が算出されると、この横偏差に応じて、横偏差を
０に近づけるための制御指令値として偏差×ゲインＫ０
により操舵角δ₁が設定され、この操舵角δ₁の指令値
ｓ₁に応じて操舵アクチュエータ２Ａが制御されるよう
になっている。そして、この指令値ｓ₁を通じた操舵制
御により、車両１の横偏差が減少して、車両１の走行位
置を道路の走行車線の中央に修正するようになってい
る。なお、上述の白線１２の認識方法については後で詳
述する。

【００２９】前述の操舵角指令値ｓ₀は、車両１の前方
のカーブの偏角βを用いて設定される信号であり、これ
により車両１は、前方のカーブを予測制御しながら走行
することができるのである。このように操舵角δ₀をフ
ィードフォワードにより設定し、これを補足するよう
に、上述の横偏差をフィードバックしているので、操舵
アクチュエータ２Ａにフィードフォワードの指令値ｓ₀
とフィードバックの指令値ｓ₁とが入力されることにな
る。ここでは、主として偏角ゲインＫ１により操舵角δ
₀を設定し、横偏差ゲインＫ０を小さく設定しており、
外乱が入力された時の横偏差ゲインＫ０に基づく制御に
よる車両１への影響を極力小さなものにすることができ
る。

【００３０】ところで、操舵開始距離設定部５Ｂでは、
車速や乗り心地を考慮して、操舵開始時期（操舵開始距
離Ｄ）を設定するようになっている。一般に、操舵時に
は、車両１やドライバ等に横加速度が加わり、この横加
速度が乗り心地大きく影響することが考えられる。これ
に対して、図５に示すように、ドライバ操舵における各
種のカーブの横加速度と横ジャーク（横加速度の単位時
間当りの変化量）との関係は、カーブ半径Ｒ，車速Ｖ，
走行感覚によらず、横加速度対横ジャークの比率がほぼ
一定の値となっている。

【００３１】これは、車両１がカーブ進入時に一定の横
ジャークでハンドルを操作するとすれば、一定横加速度
に達するまでの操舵時間ΔＴが一定であることを意味し
ている。また、操舵開始距離Ｄは、操舵時間ΔＴと車速
Ｖとの積として、下式（４）で示される。ここで、ΔＴ
を一定とすると、操舵開始距離Ｄは車速Ｖと比例関係に
なり、操舵開始距離設定部５Ｂでは車速Ｖから操舵開始
距離Ｄを決定する。Ｄ＝ΔＴ・Ｖ・・・・・（４）なお、ドライバの実際に行なう操舵開始距離Ｄと車速Ｖ
との関係は、図９（ａ）に示すようになり、操舵開始距
離Ｄを車速Ｖに比例させて設定することが実証される。
なお、操舵開始距離Ｄは、図９（ｂ）に示すように、自
車両１からカーブ入口までの距離である。

【００３２】また、操舵時間ΔＴは、横ジャークをＪと
すると ΔＴ＝δ₀／δ_V＝Ｖ²／（Ｒ・Ｊ）＝一定・・・・・（５）となる。式（５）からΔＴを一定とすると、車速Ｖは、
乗り心地を考慮して横ジャークＪの値がある上限値を越
えないようにカーブ半径Ｒに応じて設定すればよいこと
がわかる。

【００３３】このように、車速Ｖに応じて操舵を開始す
るタイミング（操舵開始距離Ｄ）を設定することによっ
て、直走路と曲走路との過渡領域や、道路の曲率の変化
する領域等で乗り心地のよい滑らかな走行を実現してい
るのである。次に、操舵速度設定部５Ｃについて説明す
ると、この操舵速度設定部５Ｃでは、操舵開始距離設定
部５Ｂで設定された操舵開始距離Ｄに基づいて操舵速度
δ_Vが設定されるようになっている。

【００３４】つまり、図７のグラフに示すように、自動
操舵における操舵開始距離Ｄと操舵速度δ_Vとの関係か
ら、操舵開始距離Ｄが設定されると、本来、操舵速度δ
_Vは従属的に決定されてしまうものである。そして、こ
の操舵速度設定部５Ｃで設定された操舵速度δ_Vは、偏
角算出手段６に取り込まれるようになっているのであ
る。

【００３５】ここで、偏角βや横偏差の算出基準であ
る、基準線としての道路上の白線１２の認識方法につい
て説明する。なお、ここでは、走行レーン左端の路側線
としての白線１２の認識について説明する。まず、図８
（ａ）に示すように、車両１にそなえられたカメラ３に
より平地において車両前方の範囲（例えば５ｍ〜２０
ｍ）の白黒画像情報を取り込み、この画像情報から画面
上で縦方向の画像を一部省略する。そして、この画面上
で等間隔になるような複数の水平線１１を設定する。な
お符号１２は、道路の白線を示しているこの白黒画像情
報の取り込みは、微小な制御周期毎に更新されるように
なっており、図８（ｂ）に示すように、それぞれの水平
線１１上において前回の画面での白線位置の左右の所要
の範囲（ここでは、左右５０画素〔ｄｏｔ〕）を白線探
査エリア（処理対象領域）１０として設定する。また、
初回の画面は、直線路における白線位置を前回の画面デ
ータとして利用する。

【００３６】そして、図８（ｃ）に示すように、各水平
線の明度をそれぞれ左から横方向に微分する。また、図
中の符号１４はガードレールである。ところで、通常の
路面は輝度が低く、輝度変化も小さい。これに対して、
白線１２は通常の路面に比較して輝度が非常に高いの
で、このように道路の明度を微分すると、通常の路面か
ら白線１２への境界点で輝度変化がプラス、白線１２か
ら通常の路面への境界点で輝度変化がマイナスとなるよ
うな微分データが得られる。このような微分データの一
例を図８（ｄ）示す。

【００３７】そして、各水平線１１のデータそれぞれに
ついて、微分値のピークが左からプラス，マイナスの順
に並んで現れ、且つそれぞれのピークの間隔が白線１２
として妥当と思われる程度（プラスのピークからマイナ
スのピークまでの間隔が例えば３０ｄｏｔ以内）に納ま
っている組み合わせを白線候補として抽出し、図８
（ｅ）に示すように、その中点を白線候補点１５として
保存する。

【００３８】そして、これらの白線候補点１５のうち、
画面中心に最も近いもののみを最終候補点として残す。
これは、例えば車両１が左側通行の場合、探索エリア１
０の中の右側が通常輝度変化の少ない道路面であり、こ
の通常の道路面に最も近い白線候補点１５が白線１２と
判断できる。したがって白線１２よりもさらに左側に、
ノイズの原因となる物体（例えばガードレール１４等）
が存在する場合であっても、カメラ３により撮像された
画像情報から白線１２を確実に認識することができる。

【００３９】そして、図８（ｆ）に示すように、最後に
各水平線データにおける白線候補点１５の上下方向の連
続性を画面の下方から順次検証していく。まず、事前に
前画面での白線１２の上下端間の傾きを計算しておく。
そして、最下点１５Ａを白線１２とすると、一本上の水
平線１１上の候補点１５Ｂが、前回の白線１２の傾き分
±５０ｄｏｔの範囲内に入っているかを検証する。

【００４０】候補点１５Ｂがこの範囲内に入っていれば
これを白線とし、入っていないときは候補点１５Ｂは却
下されて、上述の傾きから補間計算した座標が白線位置
としてみなされる。そして、この検証を各水平線につい
て同様の作業を行なうことにより、連続した白線１２を
認識することができるのである。また、このような白線
認識の作業は、所要の周期で継続して行なわれ、その都
度白線１２の認識が更新されるようになっている。

【００４１】ところで、白線１２が検出されると、車両
１では横偏差及び偏角βが算出されるが、このうち横偏
差は、画像情報から得られる路面情報のうち有効なもの
のなかから、車両１に最も近い地点の基準線位置情報を
用いて算出されるようになっており、これにより、車両
１の現在位置での横偏差に近い値が算出され制御精度が
高められるようになっている。なお、車両１に最も近い
地点とは、上述の偏角βを算出する際に用いる第１検出
点のことである。

【００４２】ところで、車速が高くなれば高くなるほ
ど、車両直前の道路状況よりも車両遠方の道路状況の把
握が必要になってくる。つまり、図１０の線ａはドライ
バの運転特性を示しているが、このグラフに示すよう
に、通常車速が高いほど、前方注視距離は大きくなる。
そこで、この自動操舵装置では、このようなドライバの
操舵特性に基づいて、偏角βを算出するための２つの検
出点のうち、第２検出点を図１０の線ｃのように動的に
変化させている。これにより、前方注視距離、すなわち
車両１から第１検出点と第２検出点との中間点までの距
離Ｋが線ｂのようになり、ドライバ操舵の運転特性に近
づけることができるのである。なお、図２０（ａ）に示
すように、前方注視距離は、第２検出点は固定したまま
（線ｃ₁参照）第１検出点を動的に変化させる（線ｄ₁
参照）ことにより車速に対応させてもよく、また、図２
０（ｂ）に示すように、第１及び第２検出点の両方を車
速に応じて変化させて（線ｃ₂，ｄ₂参照）前方注視距
離を決定してもよい。

【００４３】これにより、車速が大きい時は、カーブの
十分手前から偏角βが算出され、また、車速が十分小さ
い時は、比較的カーブに入口に近い位置で偏角βが算出
される。つまり、図１４に示すように第１検出点，第２
検出点ともに固定の場合は、車速に関係なく操舵角指令
値ｓ₀が設定されるので、車速によらず操舵が一定とな
り、操舵に違和感が生じる。

【００４４】これに対し、図１３に示すように、車速に
対応させて前方注視距離を変更することにより、算出さ
れる偏角βの値を変動させ、これに応じて偏角ゲインＫ
１も可変にすることにより、車速に応じた操舵を実現す
ることができる。また、このように偏角βを算出するた
めの検出点を車速に応じて前後させることにより、図１
１に示すように、同一カーブであるにも関わらず算出さ
れる偏角βの値が変動してしまうことが考えられる。

【００４５】そこで、このような偏角βの変動を吸収さ
せる必要があるが、上述の（３）式に示すように、操舵
角δ₀は、偏角βとβの係数（１＋ＡＶ²）・ＷＢ／Ｋ
との積で算出されるので、この係数成分中の１／Ｋの要
素が偏角βの変動を相殺するようにして働き、操舵角δ
₀は適切に設定されるようになっている。ところで、横
偏差ゲインＫ０は、あくまで補正量的なものであるが、
図１２に示すように、車両１がカーブ内を走行している
時は、道路の中央を走っている場合であっても、カーブ
の曲率の影響により、ある程度の横偏差が出力されてし
まうことが考えられる。このような場合に、出力された
横偏差により、偏差ゲインＫ０が必要以上に大きく設定
されてしまう。

【００４６】そこで、例えば（３）式で算出された操舵
角δ₀から所定の値を減算して偏角ゲインＫ１を小さめ
に設定するようにしてもよい。この所定の値は、経験的
に求められたり、計算により算出された補正ゲインであ
る。このように、偏角ゲインＫ１を補正ゲインの分だけ
小さめの値に設定することにより、大きめに設定された
偏差ゲインＫ０を補完することができ、操舵アクチュエ
ータ２Ａを正確に作動させることができる。

【００４７】また、操舵アクチュエータ２Ａとしては例
えば以下のような、油圧パワーステアリング機構１０４
を利用したものが考えられる。図１９に示すように、車
両１の操舵力伝達系１０３にはパワーステアリング機構
１０４が設けられており、ステアリングホイール２０に
操舵力が入力されると、車両の操舵状態に応じて、操舵
力がアシストされるようになっている。

【００４８】このパワーステアリング機構１０４は、油
圧により操舵力をアシストする油圧式のパワーステアリ
ング機構として構成されており、所定の油圧の作動油を
油圧シリンダ１０４Ａに供給することにより、ドライバ
の操舵力を低減できるようになっている。このため、こ
の車両には、例えば電動モータ１２２等により駆動され
るオイルポンプ１１０が設けられており、このオイルポ
ンプ１１０により作動油がオイルタンク１１１から吸い
上げられるようになっている。

【００４９】そして、このオイルポンプ１１０から吐出
された作動油は、分流弁１１２により２方向に分岐する
ようになっている。このうち一方の油路は、例えばＥＰ
Ｓバルブ１１５等の公知のパワーステアリングバルブに
接続されており、ＥＰＳバルブ１１５を通じて油圧シリ
ンダ１０４Ａの油圧状態が調整されるようになってい
る。

【００５０】また、この油圧系には、図１９に示すよう
に、自動操舵手段としての自動操舵制御バルブ１０７が
そなえられており、この自動操舵制御バルブ１０７に
は、上述した分流弁１１２の他方の油路が接続されてい
る。この自動操舵制御バルブ１０７は、自動操舵時の操
舵量を制御するためのバルブであり、このバルブ１０７
を作動させることにより、自動操舵時に油圧シリンダ１
０４Ａへ所定の油圧の作動油を供給することができるよ
うになっている。

【００５１】また、この車両には、パワーステアリング
機構１０４の作動する状態と自動操舵状態とを切り替え
るためのモード切替バルブ装置１０６が設けられてお
り、このモード切替バルブ装置１０６と自動操舵制御バ
ルブ１０７油圧シリンダ１０４Ａとから操舵アクチュエ
ータ２Ａが構成されている。このモード切替バルブ１０
６は、パワーステアリング機構１０４による操舵を行な
うか、又は自動操舵を行なうかを切り替えるものであっ
て、上述の自動操舵制御バルブ１０７と油圧シリンダ１
０４Ａとの間、及びＥＰＳバルブ１１５と油圧シリンダ
１０４Ａとの間に介設されている。

【００５２】モード切替バルブ１０６は、通常はパワー
ステアリング機構１０４により操舵されるモードになっ
ており、ＥＰＳバルブ１１５に供給された作動油はこの
モード切替バルブ１０６を通って油圧シリンダ１０４Ａ
に供給され、操舵力をアシストするようになっている。
また、オイルポンプ１１０と分流弁１１２との間には、
リリーフバルブ１１３が設けられている。このリリーフ
バルブ１１３は、自動操舵制御バルブ１０７やＥＰＳバ
ルブ１１５に所定の油圧よりも高圧の作動油が供給され
ると、弁が開いて作動油をオイルタンク１１１へ戻すよ
うになっている。

【００５３】また、この操舵機構には、コントローラ５
が設けられており、コントローラ５で設定された制御指
令値によりリリーフバルブ１１３の開閉状態が制御され
るようになっており、自動操舵制御バルブ１０７及びモ
ード切替バルブ１０６についてもコントローラ５により
制御されるようになっている。これにより、自動操舵時
は、コントローラ５の制御指令値に基づいてモード切替
バルブ１０６が自動操舵モードに切り替えられるととも
に、この制御指令値に基づいて自動操舵制御バルブ１０
７が制御されて、油圧シリンダ１０４Ａに所要の作動油
が供給される。そして、この作動油の油圧により車両１
の操舵輪２が操舵される。

【００５４】また、ラック１０２には、ラック１０２の
位置を検出するラック位置検出センサ１２０が設けられ
ており、このラック位置検出センサ１２０からの検出情
報がコントローラ５にフィードバックされるようになっ
ている。また、自動操舵時は、油圧シリンダ１０４Ａに
作動油を供給することにより操舵車輪（以下、操舵輪と
いう）を制御しているが、この作動油圧よりも大きな入
力でステアリングホイール２０を操舵すると、作動油圧
に打ち勝って操舵輪を操舵することができるようになっ
ている。

【００５５】なお、操舵力伝達系１０３としては、上述
の構成はその一例にすぎず、このような構成に限られる
ものではない。例えば、作動油の油圧供給源としては、
電動モータ１２２に限らず、エンジンの駆動力を利用し
たものであってもよい。本発明の一実施例としての白線
認識方法及びこの方法を用いた自動操舵装置は、上述の
ように構成されているので、この自動操舵装置では、図
１に矢印で示すような信号の流れで操舵角δ₀，操舵開
始距離Ｄ，操舵速度δ_vの設定が周期的に行なわれ、こ
れに基づいて、操舵アクチュエータ２Ａが周期的に制御
されて車両１の操舵が行なわれる。

【００５６】つまり、カメラ３で撮像された画像に基づ
いて、偏角算出手段６により車両１の偏角βが算出さ
れ、これとともに、横偏差算出手段７により車両１の横
偏差が算出される。そして、この偏角βに応じて、偏角
βを０に近づけるための制御指令値としてｓ₀が設定さ
れ、横偏差に応じて、横偏差を０に近づけるための制御
指令値としてｓ₁が設定される。

【００５７】そして、直走路や定常円状の曲走路の走行
時（定常走行時）は、コントローラ５により設定された
偏差ゲインＫ０及び偏角ゲインＫ１に基づいて、横偏差
や偏角が０に近づくように操舵アクチュエータ２Ａが制
御されることにより、車両１が道路の走行レーンを正確
に走行することができる。特に、操舵角δ₀が車両１の
前方のカーブ半径Ｒや偏角βをフィードフォワードされ
て設定されるので、フィードバック制御のような小刻み
な設定値の変更がなく、車両１は前方のカーブを予測制
御しながら走行することができる。

【００５８】これにより、自然な操舵制御を行なうこと
ができ、車両１が走行レーンの方向に沿うような方向に
調整されながら走行する。ところで、操舵角は偏角ゲイ
ンＫ１とこれを補足するような横偏差ゲインＫ０とによ
り設定されるが、ここでは、横偏差ゲインＫ０が比較的
小さくなって、主として偏角ゲインＫ１により操舵角δ
₀が設定されているので、これにより外乱が入力された
時の横偏差ゲインＫ０による車両１への影響を極力小さ
なものにすることができる。

【００５９】また、この自動操舵装置では、ドライバの
操舵特性に基づいて、偏角βを算出するための前方注視
距離Ｋを車速に応じて変化させ、偏角βを車速に応じて
算出することにより、車速に応じた操舵を実現すること
ができ、ドライバ操舵の運転特性に近づけることができ
る。さらに、操舵開始距離設定部５Ｂでは、横ジャーク
Ｊが所定値を越えないように考慮しながら、車速Ｖに応
じて操舵を開始するタイミング（操舵開始距離Ｄ）を設
定する。これは、実際には車速Ｖに応じた前方位置のカ
ーブの検出し、カーブの検出とともに操舵を開始するこ
とで、操舵開始距離Ｄの設定と同時に操舵開始距離Ｄに
よる制御が行なわれることになる。

【００６０】また、この時の操舵速度δ_Vは、操舵開始
距離Ｄに対応して決まるが、これも、実際には操舵開始
距離Ｄを反映して設定される操舵角δ₀の中に操舵速度
δ_Vが含まれた形で制御に用いられる。これにより、カ
ーブ進入時において、舵角を増していく場合にも、図１
７に示すように、横ジャークに対応するように横加速度
のピークが抑制され、ドライバ操舵とほぼ同様なフィー
リングで、比較的ゆったりとした走行感覚を実現するこ
とができる。このように、直走路と曲走路との過渡領域
や、道路の曲率の変化する領域等で乗り心地のよい滑ら
かな走行を実現することができるのである。

【００６１】また、上述したような自動操舵によって図
１５に示すような屈曲路を走行した場合、図１６に示す
ような操舵特性を得ることができる。ここで、図１６
（ａ）に示す線ａは、前方注視距離Ｄを固定した場合の
自動操舵の操舵角特性、線ｂは、前方注視距離Ｄを車速
に応じて変化させた場合の自動操舵の操舵角特性、線ｃ
は、ドライバ操舵による操舵特性である。また、図１６
（ａ），（ｂ）における、Ａ，Ｂ，Ｃは、図１５におけ
るＡ，Ｂ，Ｃに対応している。

【００６２】図１６（ａ）に示すように、前方注視距離
Ｄを車速に応じて変化させることにより、自動操舵の操
舵角特性（線ｂ）がドライバ操舵（線ｃ）とほぼ同じ特
性となり、前方注視距離Ｄを固定（線ａ）の場合よりも
さらに自然な操舵特性とすることができるのである。ま
た、図１６（ｂ）に示すように、操舵により発生する横
加速度（横Ｇ）もドライバ操舵とほぼ同じ特性とするこ
とができ、乗員に違和感を与えることなく、自然な操舵
感を得ることができる。

【００６３】また、道路白線１２が、道路上の輝度の変
化量に基づいて推定されるとともに、カメラ３からの画
像情報のうち画面中心に近いものを道路白線１２として
推定しているので、図１８（ａ）に示すように、前回の
画像情報が処理されて道路白線１２が認識されると、図
１８（ｂ）に示すように次の周期でマンホール等の外乱
（ノイズ）が入力されても、道路白線１２を正しく認識
することができる。

【００６４】つまり、このような白線認識の作業を所要
の周期で継続して行ないその都度白線１２の認識を更新
することにより、図１８（ｃ）に示すように道路上にマ
ンホール等の外乱（ノイズ）が存在しても、道路白線１
２の誤認識を防止することができるのである。また、こ
のように白線１２が検出されると、車両１では横偏差及
び偏角βが算出されるが、このうち横偏差は、画像情報
から得られる路面情報のうち車両１に最も近い地点の基
準線位置情報を用いて算出されるので、車両１の現在位
置での横偏差に近い値が算出され制御精度が高められる
のである。

【００６５】

【発明の効果】以上詳述したように、請求項１記載の本
発明の道路白線認識方法によれば、撮像手段で撮像され
た車両前方の道路に関する画像情報を画像情報処理手段
で処理することで、該道路上の白線を認識する道路白線
認識方法において、該画像内に、縦方向に短く且つ横方
向に所要の長さを有する白線探索エリアを設定する第１
の処理段階と、該画像情報に基づいて、該白線探索エリ
ア内で横方向に明度変化を探索する第２の処理段階と、
該明度変化が極めて少ない部分を道路部分であると判断
し、且つ、該明度変化が極めて少ない道路部分に隣接し
て該明度変化が大きい部分について白線であると認識す
る第３の処理段階とから構成されるので、白線を確実に
認識することができる。

【００６６】また、請求項２記載の本発明の道路白線認
識方法によれば、上記の第１から第３の処理段階からな
る道路白線認識処理を、所要の周期で継続して行なうよ
うに構成されて、該白線探索エリアが、前回の道路白線
認識処理周期において認識された白線位置情報に基づい
て設定されるという構成により、効率よく白線を認識す
ることができ、また外乱による影響を極力排除して、白
線認識の精度を高めることができる。

【００６７】また、請求項３記載の本発明の道路白線認
識方法によれば、該明度変化が極めて少ない道路部分に
隣接して該明度変化が大きい部分が複数存在する場合、
認識しようとする白線が該道路上の左側のものであるな
ら上記複数の明度変化の大きい部分のうち最も右側の明
度変化の大きい部分を白線と認識し、認識しようとする
白線が該道路上の右側のものであるなら上記複数の明度
変化の大きい部分のうち最も左側の明度変化の大きい部
分を白線と認識するという構成により、道路白線の誤認
識を防止することができ、白線認識の精度を高めること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例としての白線認識方法を用い
た自動操舵装置の機能構成をドライバの操舵操作時の各
機能と対応させるように整理して示す機能ブロック図で
ある。

【図２】本発明の一実施例としての白線認識方法を用い
た自動操舵装置の要部構成を示す模式的な構成図であ
る。

【図３】本発明の一実施例としての白線認識方法を用い
た自動操舵装置における曲率半径と偏角との関係を模式
的に示す図であって、車両上方から見た模式図である。

【図４】本発明の一実施例としての白線認識方法を用い
た自動操舵装置における車両の偏角と道路のカーブ半径
との関係を示すグラフである。

【図５】本発明の一実施例としての白線認識方法を用い
た自動操舵装置におけるドライバ操舵による車両の偏角
と操舵角との関係を示すグラフである。

【図６】本発明の一実施例としての白線認識方法を用い
た自動操舵装置におけるドライバ操舵によるカーブを走
行中の横加速度のピーク値と横ジャーク（単位時間当り
の横加速度の変化量）のピーク値との関係を示すグラフ
である。

【図７】本発明の一実施例としての白線認識方法を用い
た自動操舵装置における操舵開始距離と操舵速度との関
係を示すグラフである。

【図８】本発明の一実施例としての白線認識方法におけ
る白線認識方法を説明するための模式図である。

【図９】本発明の一実施例としての白線認識方法を用い
た自動操舵装置における車速と操舵開始距離との関係を
示すグラフである。

【図１０】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における自動操舵の前方注視距離特性
をドライバ操舵と対比して示すグラフである。

【図１１】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における偏角の変動を説明するための
模式的な図であって、車両上方から見た模式図である。

【図１２】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における車両旋回時における車両中心
と道路中心との偏差を示す模式的な図であって、車両上
方から見た図である。

【図１３】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における偏角検出点を車速対応にした
場合におけるゲインの設定を説明する模式的なブロック
図である。

【図１４】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における偏角検出点を固定式にした場
合のゲインの設定を説明する模式的なブロック図であっ
て、図１３に対応する図である。

【図１５】本発明の一実施例としての白線認識方法の効
果を説明するための図であって、屈曲路の一例を示す図
である。

【図１６】本発明の一実施例としての白線認識方法の効
果を説明するための図であって、（ａ）は自動操舵時と
ドライバ操舵時とにおける屈曲路走行時の操舵角特性を
示すグラフ、（ｂ）は自動操舵時とドライバ操舵時とに
おける屈曲路走行時の車両の横加速度の特性を示すグラ
フである。

【図１７】本発明の一実施例としての白線認識方法の効
果を説明するための図であって、自動操舵時とドライバ
操舵時とにおける横加速度のピーク値と横ジャークのピ
ーク値との関係を示すグラフである。

【図１８】本発明の一実施例としての白線認識方法にお
ける道路の基準線の認識の一例を説明するための図であ
って、（ａ）は基準線の認識のために取り込まれた画像
情報を示す図、（ｂ）は（ａ）に基づいて基準線を正し
く認識した場合の一例を示す図、（ｃ）は（ａ）に基づ
いて基準線を正しく認識できなかった場合の一例を示す
図である。

【図１９】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における操舵アクチュエータの全体構
成の一例を示す模式図である。

【図２０】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における前方注視距離の他の設定例に
ついて説明するためのグラフであって、図１０に対応す
るグラフである。

【図２１】本発明の一実施例としての白線認識方法を用
いた自動操舵装置における偏角ゲインの設定について説
明するための図である。

【符号の説明】

１車両２操舵輪２Ａ操舵アクチュエータ３撮像手段としてのカメラ３Ａ車両中心４画像情報処理手段４Ａ原画像４Ｂ平面視画像４Ｃ画像変換手段５制御手段としてのコントローラ５Ａ操舵角設定部５Ｂ操舵開始距離設定部５Ｃ操舵速度設定部５Ｄ加算器６偏角算出手段７横偏差算出手段８道路中心９曲率状態推定手段１０白線探索エリア１１水平線１２道路基準線としての白線１４ガードレール１５，１５Ａ〜１５Ｄ白線候補点１６車速検出手段２０ステアリングホイール１０３操舵力伝達系１０４パワーステアリング機構１０４Ａ油圧シリンダ１０６モード切替バルブ装置１０７自動操舵制御バルブ１１０オイルポンプ１１１オイルタンク１１２分流弁１１３リリーフバルブ１１５ＥＰＳバルブ１２２電動モータ１２０ラック位置検出センサ

───────────────────────────────────────────────────── フロントページの続き (72)発明者真保俊也東京都港区芝五丁目33番８号三菱自動車工業株式会社内 (72)発明者山田喜一東京都港区芝五丁目33番８号三菱自動車工業株式会社内

Claims

【特許請求の範囲】

【請求項１】撮像手段で撮像された車両前方の道路に
関する画像情報を画像情報処理手段で処理することで、
該道路上の白線を認識する道路白線認識方法において、該画像内に、縦方向に短く且つ横方向に所要の長さを有
する白線探索エリアを設定する第１の処理段階と、該画像情報に基づいて、該白線探索エリア内で横方向に
明度変化を探索する第２の処理段階と、該明度変化が極めて少ない部分を道路部分であると判断
し、且つ、該明度変化が極めて少ない道路部分に隣接し
て該明度変化が大きい部分について白線であると認識す
る第３の処理段階とから構成されていることを特徴とす
る、道路白線認識方法。
【請求項２】上記の第１から第３の処理段階からなる
道路白線認識処理を、所要の周期で継続して行なうよう
に構成されて、該白線探索エリアが、前回の道路白線認識処理周期にお
いて認識された白線位置情報に基づいて、設定されるこ
とを特徴とする、請求項１記載の道路白線認識方法。
【請求項３】該明度変化が極めて少ない道路部分に隣
接して該明度変化が大きい部分が複数存在する場合、認識しようとする白線が該道路上の左側のものであるな
ら上記複数の明度変化の大きい部分のうち最も右側の明
度変化の大きい部分を白線と認識し、認識しようとする白線が該道路上の右側のものであるな
ら上記複数の明度変化の大きい部分のうち最も左側の明
度変化の大きい部分を白線と認識することを特徴とす
る、請求項２記載の道路白線認識方法。