JPH03266005A - 自動走行装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 １１光更 本発明は、走行路を探索しながら車両の自動走行を行わ
せる自動走行装置に関する。

従来技術 最近、自ら走行路を探索しながら、その走行路上に最適
な目標経路を設定して、車両がその目標経路上を走行す
る八く車両の走行制御を行わせるようにした自動走行装
置が開発されている。

従来、この種の自動走行装置にあっては、車両に取り付
けられた撮像装置により車両の進行方向の領域を撮像し
、サンプリングすることによって得られた画像のデータ
にもとづいて道路エツジなどの連続した線分の抽出を行
い、その抽出された線分にもとづいて車両の進行方向に
おける走行可能領域を認識し、その認識された走行可能
領域内に車両走行の目標経路を設定したうえで、舵角。

ヨーレート（車両の走行によるヨ一方向の角速度変化分
）などの現在の車両の走行状態を検出しながら、車両を
その目標経路に追従して走行させるための舵角の制御を
、所定の制御周期をもって逐次性わせるようにしている
（特願昭６３−１９９６１０号参照）。

しかして、このような自動走行装置では、画像をサンプ
リングしてから、その画像データにもとづいて車両の走
行可能領域を認識するまでの処理に要する時間（以下こ
れを画像処理時間という）が、撮像装置によって撮像さ
れる車両の進行方向の領域が複雑か否か、すなわちサン
プリング画像のデータ量が多いか否かによって、または
画像のなかから走行可能領域を認識するために用いられ
る道路エツジの抽出やカラー情報による道路の白線抽出
などの具体的な画像処理方法に応じて、それぞれ異なる
ものとなっている。

また、その画像処理をマイクロコンピュータを用いて実
行するに際して、多量のデータを取り扱う必要があり、
そのため−制御周期において画像処理時間に多くを費や
している。

しかして、画像処理時間が長くて、−制御周期のあいだ
に車両の走行が、その制御周期において認識された走行
可能領域以上に進んでしまうようなことがあると、次の
制御周期において認識される走行可能領域とのつながり
がなくなって、車両の舵角の制御下における車両の走行
が不安定になってしまう。

また、一般に、車両の舵角の制御を行わせるに際して、
車速が高くなると制御の応答ゲインが高くなって制御が
不安定になるという関係がある。

しかして、制御周期をもって車両の舵角の制御を継続的
に行わせる場合に、画像処理時間によって各制御周期が
変動すると、制御の応答ゲインが変動したことと同じに
なって、画像処理時間が長くなると制御が不安定になっ
てしまう。

その制御の応答ゲインの変動は、画像処理時間に合せて
車速を変化させることによって対応できるものである。

１」隻 本発明は以上の点を考慮してなされたもので、画像処理
によって認識された走行可能領域内に設定された目標経
路に追従して車両を走行させるための舵角の制御を行わ
せる際、各制御周期ごとに不定となり、またその制御周
期に大きな割合を占める画像処理時間に応じて車速を制
限して、舵角の制御を安定して、またその舵角の制御下
における車両の走行を安定して行わせることができるよ
うにした自動走行装置を提供するものである。

（戊 以下、添付図面を参照して本発明の一実施例について詳
述する。

本発明による自動走行装置にあっては、第１図に示すよ
うに、車両の進行方向の領域を撮像することができるよ
うに車両に取り付けられたビデオカメラなどによる撮像
部１と、その撮像部１によって撮像された画像をサンプ
リングし、そのサンプリング画像のデータを処理して道
路エツジなどの連続した線分の抽出を行う画像処理部２
と、その抽出された連続した線分にしたがって道路など
の車両の走行可能領域を認識する走行可能領域認識部３
と、その認識さｔた走行可能領域内に車両走行の目標経
路を設定する目標経路設定部４と、車両の走行速度Ｖを
検出する車速センサ６、車両の走行にともなうヨ一方向
の角速度変化分であるヨーレートＴを検出するヨーレー
トセンサ７および車両の舵角δを検出する舵角センサ８
などの各センサ出力に応じてそのときの車両の走行状態
を検出して、その検出された車両の走行状態にもとづい
て車両が目標経路上を走行するのに必要な舵角の制御目
標量を所定の演算処理によって求めるとともに、この自
動走行装置全体の集中制御を行わせ、また画像をサンプ
リングしてから走行可能領域が認識されるまでの所要時
間（画像処理時間）を計測する経路制御部５と、その求
められた制御目標量にしたがって車両の操舵を行わせる
ステアリング制御部９およびステアリング駆動部ｌＯと
。

前記目標経路の曲率にしたがって車両走行の最大許容速
度を求め、車速かその最大許容速度を越えることがない
ように制御する車速制御部１１と。

その車速制御部１１から出される車速制限の制御指令に
応じて、スロットルモータおよびブレーキソレノイドバ
ルブなどからなるアクチュエータ１３の駆動を適宜行わ
せて、車両のスロットル開度およびブレーキ圧の制御を
なすアクチュエータ制御部１２とによって構成されてい
る。

実際には、画像処理部２．走行可能領域認識部３、目標
経路設定部４．経路制御部５および車速制御部１１はマ
イクロコンピュータによって置き換えられる。また、そ
のコンピュータにステアリング制御部９．アクチュエー
タ制御部１２をも含めることも可能である。

撮像部１におけるビデオカメラとしては、標準レンズに
よるもの以外に、車速や走行中の道路状況などに応じた
適切な画像が得られるように望遠レンズや広角レンズに
よるものが設けられ、また夜間用などに赤外線カメラや
超高感度カメラなどの特殊なビデオカメラが複数設けら
れており、コンピュータの制御下において、それら複数
のビデオカメラが車速や撮像画像の状態などに応じて適
宜切り換えられて使用されるようになっている。

また、撮像特性が同一の２台のビデオカメラを並設して
、２県立体視による画像を得るようにすることも可能で
ある。。

画像処理部２における道路エツジなどの連続した線分の
抽出は、以下のようにして行われる。

まず、撮像部１から送られてくる撮像画像をサンプリン
グして、そのサンプリングされた入力画像を微分処理す
ることによって画像エツジの検出の処理を行わせたうえ
で、画像処理部２内に設けられた自動しきい値設定回路
により、そのときの入力画像の濃淡の程度に応じた最適
しきい値を自動的に設定して、そのエツジ画像の２値化
を行わせる。

なお、その際、入力画像の２値化を先に行わせたうえで
、エツジ検出のための微分処理を行わせるようにしても
よい、また、２値化を行わせる代わりに、画像の濃淡を
表現した多値化を行わせるようにしてもよい。

次いで、そのエツジ検出され、２値化または多値化され
た処理画像にもとづいて、Ｘ−Ｙ座標上の線分をρ−θ
座標上の点であられす座標変換を行わせる公知手法であ
るＨｏｕｇｈ変換処理を行わせることにより、連続性の
ある点列を結合したり、連続性のない孤立した点を除去
したりして、例えば第２図に示すような道路エツジの連
続した線分の情報を得る。

ここで、θはＸ−Ｙ座標上の直線からその座標の原点に
おろした垂線の角度であり、またρはその垂線の長さで
ある。例えば、第１Ｏ図に示すＸ−■座標上の線分りは
、第１１図に示すようにρ−θ座標上における点０１と
してあられされる。

なおその際、２値化された処理画像にもとづいて、エツ
ジ追跡の処理を行わせて連続性をもった画像のエツジ部
分をわり出すようにしてもよい。

また、画像エツジの連続性を求めるためのｌｌｏｕｇｈ
変換処理およびエツジ追跡処理などの複数の処理を並列
的に行わせ、それら各処理結果から総合的に判断するよ
うにすれば、より精度の高い道路エツジの情報を求める
ことができるようになる。さらに、車両の走行にともな
って入力画像の領域成長を行いながら前述の連続性ある
画像エツジの抽出のための処理を行えば、より精度の高
い道路エツジの情報の抽出を行うことができるようにな
る。

走行可能領域認識部３は、撮像部１におけるビデオカメ
ラによって撮像される画像が遠近投影によるものである
ため、第２図に示すような遠近投影による道路エツジの
画像を第３図に示すような遠近投影の影響をなくした道
路エツジの画像に変換する公知手法である射影変換処理
を行う。

なお、その射影変換特性は、ビデオカメラの遠近投影の
特性にしたがって、予め走行可能領域認識部３に設定さ
れている。

そして、走行可能領域認識部３は、射影変換処理された
道路エツジの画像にもとづいて、例えば第４図に示すよ
うに、連続した道路エツジＥｌ。

Ｅ２間を、撮像部１の撮像方向すなわち車両１４の進行
方向をＹ軸方向としたときのＸ−Ｙ座標上における車両
の走行可能領域ＲＡとして認識する。

なお、第４図において、Ｐ点は車両１４の現在位置を示
すもので、撮像部１のビデオカメラによる撮像領域の下
端中央がＰ点としてＸ−Ｙ座標上の原点の位置にくるよ
うに、予めビデオカメラの車両に対する搭載位置が設定
されている。

次に、走行可能領域認識部３において認識された走行可
能領域である車両前方の道路が認識されると、目標経路
設定部４において、その認識された道路上における車両
の最適な走行経路となる目標経路が以下のようにして設
定される。

その目標経路は、後述するように、道路形状および車速
をも考慮したうえで、そのときの車両の走行状況に適す
るように設定されるのが望ましいが、基本的には、認識
された道路が狭いかまたは広いかによって以下のように
して一律に設定される。

すなわち、目標経路設定部４において、道路幅が一定以
上の広軌道であると判断された場合には、例えば第４図
に示すように、左側通行路の場合、道路の左側の基準と
なるエツジから例えば１．５ｍ程度の所定の隔離幅Ｗを
もってその基準エツジに沿う目標経路○Ｃを設定する。

また、目標経路設定部４において、道路幅が一定未満の
狭軌道であると判断された場合には、特に図示しないが
、その道路の中央に目標経路を設定する。

そしてその設定された目標経路のＸ−Ｙ座標上における
位置のデータが、目標経路設定部４の内部メモリに記憶
される。

なお、Ｘ−Ｙ座標上における走行可能領域および目標経
路の尺度は、撮像部１におけるビデオカメラの倍率によ
って決定される。

第４図中、Ｐ点から０点に至るまでの軌跡は、後述する
ように、経路制御部５の制御下において車両の操舵制御
がなされることにより、Ｐ点にいる車両１４が目標経路
ＯＣに合流するまでの走行経路を示している。０点は、
そのときの車両の目標経路ＯＣへの合流の目標点となる
。

また本発明では、車両の走行状態を検出して、その検出
された走行状態にしたがい、以下のように道路における
最適な車両の目標経路を設定するようにすることも可能
である。

すなわち、目標経路設定部４において、例えば、車速セ
ンサ６によって検出される車両の走行速度を読み込んで
、そのときの車速か予め設定されたしきい値以下の低速
域内にあれば、第５図（ａ）に示すように、道路の形状
に沿うように目標経路ＯＣを設定する。

同様に、そのときの車速か予め設定されたしきい値を越
える高速域内にあれば、第５図（ｂ）に示すように、曲
りくねった道路を走行する場合。

車間に作用する横方向の加速度ができるだけ軽減される
ような緩い曲率をもった目標経路Ｏｃを道路内に設定す
る。

次に、道路上における目標経路が設定されたら、経路制
御部５において、車両をその目標経路に合流させるため
の舵角の制御目標量が、以下のように求められる。

ここでは、現在検出されている車両の走行状態からこれ
から先の走行経路を予測し、その車両の予測経路と目標
経路との偏差から、車両がその目標経路上を走行するた
めの舵角の補正量を求め、その舵角補正量から制御目標
量をわり畠すようにしている。

具体的には、現在の車両の走行速度から、一定時間後に
おける予測経路上の車両の到達点を予測するとともに、
その車両の走行速度と一定時間とによって求められる目
標経路上の位置に車両を合流させる目標点を設定し、予
測された到達点と目標点との偏差に応じて舵角補正量を
求めるようにしている。

いま、例えば第６図に示すように、Ｐ点にある車両１４
を目標経路ＯＣに合流させる場合を考えてみる。

まず、車速センサ６によって検出された車両の現在車速
ｖ（ｍ／ｓ）にもとづいて、Ｐ点にある車両の一定時間
ｔｍ秒後におけるＹ軸上の距離Ｌ（ｍ）（Ｌ＝ｔｆｆ、
Ｘｖ）が求められ、そのＹ軸上におけるＰ点から距１１
１ｉＬだけ離れた６点と目標経路ｏＣとの間におけるＸ
軸上の偏差ＸΩ、すなわちｔｒｎ秒後における目標経路
ｏＣ上に設定された目標点○の位置に比例した値がわり
出される。

同様に、ヨーレートセンサ７によって検出される車両の
ヨーレートＴ　（ｒａｄ／　ｓ　）にもとづいて車両の
予測経路ＡＣがわり出され、Ｙ軸上の６点からの予測経
路ＡＣの偏差Ｘ　１ｙ１　＋すなわちｔｍｍ後後おける
予測経路ＡＣ上の車両の到達点Ｍの位置に比例した値が
以下のようにして求められる。

いま、予測径路ＡＣが描く円弧の半径をＲとしたとき、
ｘｒｎは次式によって与えられる。

Ｘｍ＝Ｒ−（Ｒ′−Ｌ”　）’ ＝Ｒ−Ｒ（１−（Ｌ／Ｒ）’　）” ここで、Ｒ＞Ｌとすると、 Ｘｍ＝Ｒ−Ｒ（１−（Ｌ／Ｒ）’　／２）＝Ｌ′／２Ｒ
・・・（１） また、 Ｔ　＝　ｖ　／　Ｒ・・・　（２） であるので、（１）、（２）式から。

ｘ、＝Ｌ’　　・Ｔ／２　ｖ　　　　　　−（３）なお
、ヨーレートＴの符号としては、例えば予測経路ＡＣが
左曲りのときを正とする。

そして、各求められた偏差ＸλとｘｌＴｌとの差ｅ（ｅ
＝ｘＡ−ｘ□）に応じて車両の修正すべきヨーレート八
Ｔが下記式にしたがって求められる。

ΔＴ＝ｇＸ２ｖ／Ｌ２　　　　　・・・（４）次いで、
舵角センサ８によって検出されたＰ点における車両の舵
角δがとり込まれ、車両を目標経路ＯＣに合流させるた
めの舵角の制御目標量δ′が以下のようにして決定され
る。

いま、第７図に示す関係にあって。

ＦＬ＞Ｑのとき、 δ＊Ｑ／Ｒ・・・（５） となり、＜２）、（５）式から δ＝（Ｑ／ｖ）Ｔ　　　　　　　　・・・（６）が得ら
れる。ここで、Ｑは車両のホイールベースである。

したがって、（６）式の関係からして、車両の修正すべ
きヨーレートΔＴに応じた舵角の修正分Δδは１次式に
よって与えられる。

Δδ＝（Ｑ／ｖ）ΔＴ　　　　　　・・・（７）ここで
、車速Ｖに対する舵角の一般式であるＱ＝Ｑ（１＋Ｋｖ
”　）を考慮すると、（７）式からΔδ＝ΔＴ　（Ｑ（
１＋Ｋｖ’　）／ｖ）　　−（８）となる。

Ｋは、タイヤ特性やホイールベースなどの車両特性によ
って決まる一定の係数（スタビリテイファクタ）である
。

そして、車両を目標経路ＯＣに合流させるためのタイヤ
角度の制御目標量δ′は、 δ′＝δ＋Δδ　　　　　　　　・・・（９）として求
められる。

ステアリング制御部９は、経路制御部５からの制御目標
量δ′に応じてステアリング駆動部１０に駆動指令を出
し、ステアリング駆動部１０によりステアリングの駆動
を適宜なさしめて、車両を目標量１ＩＱＣへ合流させる
ような操舵を行わせる。

なお、第６図の関係にあって、目標経路ＯＣ上に目標点
０を設定する基準となる距離りを定める場合、経路制御
部５の制御下において、車速センサ６によって検出され
る車速Ｖに応じてｔｆｎ時間を適宜刺整することにより
、その距離りを可変に設定することができる。

すなわち、走行速度Ｖが低速であるほどその距離りを短
く設定し、Ｐ点にいる車両が目標経路ＯＣに合流するま
での走行経路が短くなるようにして、車両の目標経路○
Ｃへの合流を速やかに行なわせる。また、走行速度Ｖが
高速であるほどその距離りを長く設定し、Ｐ点にいる車
両が目標経路ＯＣに合流するまでの走行経路が長くなる
ようにして、車両の目標経路ＯＣへの合流を緩やかに行
なわせる。

さらに、曲りくねった道路を走行する場合、その曲率が
小さいほど距離りを短く設定して、車両の目標経路ＯＣ
への合流を速やかに行なわせるようにすることも可能で
ある。

以上の処理が、所定の制御周期をもってくり返し行われ
、それにより車両の走行が進むにしたがって、各制御周
期ごとに逐次認識された走行可能領域内に設定されてい
く目標経路ＯＣに追従する車両の走行制御が継続的に行
われていく。

本発明では、このような自動走行装置において、特に、
撮像部１において撮像された画像をサンプリングしてか
ら走行可能領域を認識するまでの画像処理時間に応じて
車速を制限する手段をとるようにしたことを特徴として
いる。

その車速を制限する手段としては、具体的に、車速制御
部１１において、以下のようにして実行される。

車速制御部１１は、まず、画像をサンプリングしてから
走行可能領域が認識されるまでの所要時間すなわち画像
処理時間を内部クロックによってカウントする。

そして、そのカウントされた画像処理時間に応じて、後
述するように制限速度を決定し、車速がその制限速度を
越えることがないような車速制限の制御指令をアクチュ
エータ制御部１２に与える。

アクチュエータ制御部１２は、車速センサ６によって検
出された実際の車速Ｖを読み込みながら、その車速が制
限速度を越えることがないようにアクチュエータ１３を
適宜駆動して、車両のスロットル開度およびブレーキ圧
の制御を行う。

車速制御部１１は、各制御周期ごとに認識される走行可
能領域以上に車両の走行が進んでしまうことがないよう
に、例えば第８図に示すように、ある制御周期において
認識された走行可能領域ＲＡに対して設定された目標経
路ＯＣの長さＳを、その目標経路ＯＣのデータにしたが
って求める。

そして、その制御周期においてカウントされた画像処理
時間を日にしたがって制限速度Ｖｏ＋ａｘを以下のよう
に決定する。

Ｖｍａｘ＝　Ｓ　／　ｔ　Ｂ　　　　　　　　・（１０
）しかして、その制御周期にあって、車速Ｖが制限速度
Ｖｍａｘを越えることがないようにすることにより、画
像処理時間１Ｂに長きを要しても、その制御周期におい
て認識された走行可能領域以上に車両の走行が進んでし
まうことがなくなる。

したがって、次の制御周期において認識される走行可能
領域とのつながりをもって、目標経路に追従して車両を
走行させる舵角の制御を継続的に行わせることができ、
目標経路に追従した車両の走行を安定に行わせることが
できる。

また、車速制御部１１は、画像処理時間ｔ８が長くなっ
て、その分制御周期が長くなり、それにより車両の舵角
の制御の応答ゲインが高くなって制御が不安定になるの
を防止するため、その舵角制御の応答ゲインの変動に直
接関与する車速Ｖを、画像処理時間ｔＢに応じて決定さ
れる走行安定限界速度Ｖｓを越えることがないように制
限する。

第９図に１画像処理時間ＩＢに応じた車両の走行安定限
界速度Ｖｓの特性を示している。

その特性は、実際の車両の舵角の制御下にあって、画像
処理時間ｔｅを変えたとき、その制御の応答ゲインを適
正な範囲に保たせることができる車両の走行速度を実験
的に求めて得たものである。

そして、その特性にしたがって、種々の画像処理時間ｔ
８に応じた走行安定限界速度Ｖｓの各値のデータが予め
車速制御部１１の内部メモリに記憶されており、各制御
周期ごとにカウントされた画像処理時間ｔ８に応した走
行安定限界速度Ｖｓの値が読み出される。

しかして、このような走行安定限界速度に応じた車速制
限を行うことにより１画像処理時間に長きを要しても、
舵角制御の応答ゲインを適正に保持させることができる
ようになり、舵角の制御下における車両の走行を安定し
て行わせることができる。

（乙監 以上、本発明による自動走行装置にあっては、車両に取
り付けられた撮像装置により車両の進行方向を撮像した
画像をサンプリングして得られる画像のデータにもとづ
いて走行可能領域を認識し、その認識された走行可能領
域内に目標経路を設定して、その目標経路に追従するよ
うに車両の舵角を制御するようにしたものにおいて、特
に１画像をサンプリングしてから走行可能領域を認識す
るまでの画像処理時間に応じて車速を制限する手段をと
るようにしたもので、各制御周期ごとに不定となり、か
つ制御周期において大きな割合を占める画像処理時間を
加味した最適な車両の舵角の制御を行わせることができ
、目標経路に対する車両走行の追従性が良くなって、車
両走行を安定して行わせることができるという優れた利
点を有している。

【図面の簡単な説明】

第１図は本発明による自動走行装置の一実施例を示すブ
ロック構成図、第２図はビデオカメラによって撮像され
た画像のデータ処理を行うことによって得られた道路の
線分を示す図、第３図は第２図の画像を射影変換するこ
とによって得られた画像を示す図、第４図は認識された
道路エツジ間の走行可能領域に設定された目標経路の一
例を示す図、第５図（ａ）、（ｂ）は車両の低速時およ
び高速時に道路上に設定される目標経路をそれぞれ示す
図、第６図は目標経路と車両の予測経路との関係を示す
図、第７図は車両の舵角とその回転半径との関係を示す
図、第８図は走行可能領域内に設定された目標経路の長
さを示す図、第９図は画像処理時間に応じた車両の走行
安定限界速度の特性図、第１０図はＸ−Ｙ座標上の線分
を示す図、第１１図は第１０図の線分をＨｏｕｇｈ変換
したときのρ−θ座標上の点を示す図である。 １・・・撮像部　２・・・画像処理部　３・・・走行可
能領域認識部　４・・・目標経路設定部　５・・・経路
制御部６・・・車速センサ　７・・・ヨーレートセンサ
　８・・・舵角センサ　９・・・ステアリング制御部　
１０・・・ステアリング駆動部　１１・・・車速制御部
　１２・・・アクチュエータ制御部　１３・・・アクチ
ュエータ　１４車両　ＲＡ・・・走行可能領域　ＯＣ・
・・目標経路Ｐ・・・車両の位置

Claims (1)

1. 【特許請求の範囲】 １、車両に取り付けられた撮像装置により車両の進行方
   向の領域を撮像した画像をサンプリングして得られた画
   像のデータにもとづいて走行可能領域を認識し、その認
   識された走行可能領域内に目標経路を設定して、その目
   標経路に追従するように車両の舵角の制御を制御周期ご
   とに行わせるようにした自動走行装置において、各制御
   周期ごとに、画像をサンプリングしてから走行可能領域
   を認識するまでの処理に要する時間に応じて車速を制限
   する手段をとるようにしたことを特徴とする自動走行装
   置。 ２、各制御周期ごとに認識される走行可能領域に対して
   設定される目標経路の長さをＳ、画像をサンプリングし
   てから走行可能領域を認識するまでの処理に要する時間
   をｔ＿Ｂとしたとき、Ｓ／ｔ＿Ｂによって与えられる速
   度を越えることがないように、車速を制限するようにし
   たことを特徴とする前記第１項の記載による自動走行装
   置。 ３、画像をサンプリングしてから走行可能領域を認識す
   るまでの処理に要する時間に応じた車両の走行安定限界
   速度を越えることがないように、車速を制限するように
   したことを特徴とする前記第１項の記載による自動走行
   装置。