JPH07311896A - 自動車の走行路推定装置 - Google Patents

自動車の走行路推定装置

Info

Publication number
JPH07311896A
JPH07311896A JP6102388A JP10238894A JPH07311896A JP H07311896 A JPH07311896 A JP H07311896A JP 6102388 A JP6102388 A JP 6102388A JP 10238894 A JP10238894 A JP 10238894A JP H07311896 A JPH07311896 A JP H07311896A
Authority
JP
Japan
Prior art keywords
white line
traveling
estimating
estimated
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6102388A
Other languages
English (en)
Other versions
JP3400092B2 (ja
Inventor
Tadayuki Niibe
忠幸 新部
Toshihiro Ishikawa
敏弘 石川
Kenichi Okuda
憲一 奥田
Tomohiko Adachi
智彦 足立
Hiroshi Nakaue
宏志 中植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP10238894A priority Critical patent/JP3400092B2/ja
Publication of JPH07311896A publication Critical patent/JPH07311896A/ja
Application granted granted Critical
Publication of JP3400092B2 publication Critical patent/JP3400092B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【目的】 複数の走行路推定手段を有する場合に、各推
定手段による推定値が異なる場合であっても、精度よく
走行路を推定する。 【構成】 複数の走行路推定手段6C,6Bを有する。
走行路推定手段6C,6Bにより推定された走行路の信
頼度を、信頼度演算手段27によって演算する。そし
て、走行路の信頼度に基づいて、走行領域推定手段28
によって、走行領域を最終的に推定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数の走行路推定手段
を有する自動車の走行路推定装置に関するものである。
【0002】
【従来の技術】従来、自車の操舵角や車速等の走行状態
から自車が今後走行すると予測される走行路を推定する
走行路推定手段を備え、レーダ装置の広範囲の走査で得
られる情報の中から、上記走行路推定手段で予測される
走行路に沿った領域内のもののみをピックアップし、自
車と障害物とが接触する可能性を判断するものが知られ
ている。
【0003】そのような走行路を推定する走行路推定手
段としては、舵角、車速、ヨーレート等の車体状態量に
より走行路を推定するもの(例えば特公昭51−789
2号公報参照)、画像処理装置を用いて画像処理により
走行路を推定するもの(例えば特開平2−120910
号公報参照)が知られている。
【0004】そして、画像処理によるものでは、通常、
道路の左右両端に引かれた白線部を検出し、走行路端を
認識することになるので、推定できる走行路の範囲が広
く車両状態量によるものよりも、走行路を推定する上で
有利である。
【0005】
【発明が解決しようとする課題】しかしながら、そのよ
うな画像処理によるものを用いる場合には、道路上の白
線部の状態が著しく悪い場合や、もともと白線がない場
合もある。それに加えて、白線部は左右にあることか
ら、各々の推定段階でのエラーや実際の道路形状、車両
の挙動等により、左右の白線部についての各推定結果が
必ずしも一致しない状況が存在する。
【0006】また、前述したように、道路上の白線状態
が著しく悪い場合やもともと白線部がない場合のバック
アップとして、画像処理による走行路推定手段に対し
て、推定方法の異なる他の走行路推定手段(例えば車両
状態量による走行路推定手段)を併用することも考えら
れるが、そのように推定方法の異なる複数の走行路推定
手段を用いて走行路を推定する場合にも、やはり各推定
結果が一致しない情況が存在する。
【0007】本発明はかかる点に鑑みてなされたもの
で、複数の走行路推定手段を有する場合に、各推定手段
による推定値が異なる場合であっても、精度よく走行路
を推定することができる自動車の走行路推定装置を提供
せんとするものである。
【0008】
【課題を解決するための手段】請求項1に係る発明は、
自車の今後の走行路を推定する複数の走行路推定手段と
を備える自動車の走行路推定装置において、上記各走行
路推定手段により推定された走行路の信頼度を演算する
信頼度演算手段と、該信頼度演算手段の出力を受け、走
行路の信頼度に基づいて、走行路を最終的に推定する走
行領域推定手段を備える構成とする。
【0009】そして、請求項2に係る発明においては、
走行路推定手段は、画像処理に基づき路面上の白線部を
検出し、該白線部に基づき自車が今後走行すると予想さ
れる走行路を推定する第1走行路推定手段で、左の白線
部に基づいて走行路を推定する左白線推定手段と、右の
白線部に基づいて走行路を推定する右白線推定手段とを
備える。
【0010】請求項3に係る発明においては、走行路推
定手段は、さらに、車両状態量に基づき自車が今後走行
すると予想される走行路を推定する第2走行路推定手段
を有する。
【0011】請求項4に係る発明においては、走行領域
推定手段は、信頼度演算手段の出力を受け、推定された
走行路の信頼度に基づいて上記各走行路推定手段により
推定された走行路の重み付けを行い、その重み付けを考
慮して、推定された走行路を平均化して走行領域を最終
的に推定するものである。
【0012】請求項5に係る発明においては、走行領域
推定手段は、信頼度演算手段の出力を受け、推定された
走行路の信頼度を比較して信頼度の最も高い走行路を走
行領域と推定するものである。
【0013】請求項6に係る発明においては、信頼度演
算手段は、推定された走行路の変化率に基づいて、信頼
度を演算する。
【0014】請求項7に係る発明においては、信頼度演
算手段は、推定された走行路の検出率に基づいて、信頼
度を演算する。
【0015】請求項8に係る発明においては、信頼度演
算手段は、白線部を構成すると推測される白線候補点と
画像処理によるスキャン範囲との比率に基づいて、信頼
度の高いものを選択する。
【0016】請求項9に係る発明においては、信頼度演
算手段は、自車と白線部との横方向の偏差の比較に基づ
いて、信頼度の高いものを選択する。
【0017】請求項10に係る発明においては、信頼度
演算手段は、白線部を構成すると推測される白線候補点
の数、自車と白線部との横方向の偏差に基づいて、信頼
度を演算する。
【0018】請求項11に係る発明においては、ヘッド
ランプの状態を検出する状態検出手段と、該状態検出手
段の出力を受け、ヘッドランプの状態に応じて、第1走
行路推定手段により推定する走行領域を補正する領域補
正手段とを備える。
【0019】請求項12に係る発明においては、路面の
平均輝度を検出する第1輝度検出手段と、白線部の輝度
を検出する第2輝度検出手段と、上記第1及び第2輝度
検出手段の出力を受け、白線部の輝度と路面の平均輝度
との差が所定値よりも小さいときには第1走行路推定手
段による推定を禁止する推定禁止手段とを備える。
【0020】請求項13に係る発明は、CCDカメラを
有し画像処理に基づき路面上の白線部を検出し、該白線
部に基づき自車が今後走行すると予想される走行路を推
定する第1走行路推定手段を備え、該第1走行路推定手
段が、左の白線部に基づいて走行路を推定する左白線推
定手段と、右の白線部に基づいて走行路を推定する右白
線推定手段とを有する自動車の走行路推定装置におい
て、上記左白線及び右白線推定手段の出力を受け、左右
の白線部の変化率を検出する変化率検出手段と、上記左
白線及び右白線推定手段、変化率検出手段の出力を受
け、左白線及び右白線推定手段による左右の白線部の曲
率半径の絶対値が等しくかつ符号が異なり、左右の白線
部の変化率により白線認識にエラーがないと判断された
とき、CCDカメラと道路との相対ピッチ角を補正する
ピッチ角補正手段とを備える構成とする。
【0021】請求項14に係る発明は、画像処理に基づ
き路面上の白線部を検出し、該白線部に基づき自車が今
後走行すると予想される走行路を推定する第1走行路推
定手段を備え、該第1走行路推定手段が、左の白線部に
基づいて走行路を推定する左白線推定手段と、右の白線
部に基づいて走行路を推定する右白線推定手段とを有す
る自動車の走行路推定装置において、車両状態量に基づ
き自車が今後走行すると予想される走行路を推定する第
2走行路推定手段と、上記第1及び第2走行路推定手段
の出力を受け、第1走行路推定手段による左右白線の推
定値のうち一方の推定値が第2走行路推定手段による推
定値に等しく、かつ他方の推定値を利用できないとき、
上記一方の推定値について正否判定を行い、正しいとき
は第1走行路推定手段による上記一方の推定値を、正し
くないときは第2走行路推定手段による推定値を優先さ
せる走行領域推定手段とを備える構成とする。
【0022】
【作用】請求項1に係る発明によれば、各走行路推定手
段により推定された走行路の信頼度が信頼度演算手段に
よって演算され、その結果により、各走行路推定手段に
より推定された走行路の信頼度に基づいて、走行領域推
定手段によって走行領域が最終的に決定される。
【0023】請求項2に係る発明によれば、走行路推定
手段は、画像処理に基づき路面上の白線部を検出し、該
白線部に基づき自車が今後走行すると予想される走行路
を推定するように構成され、その場合、左右白線推定手
段により推定された左右の白線部に基づいて走行路が推
定される。
【0024】請求項3に係る発明によれば、第2走行路
推定手段によって、車両状態量に基づき自車が今後走行
すると予想される走行路が推定される。
【0025】請求項4に係る発明によれば、走行領域推
定手段において、推定された走行路の信頼度に基づい
て、各走行路推定手段により推定された走行路の重み付
けを行い、その重み付けを考慮して、推定された走行路
を平均化して走行領域を最終的に推定するものである。
【0026】請求項5に係る発明によれば、走行領域推
定手段において、推定された走行路の信頼度が比較さ
れ、その結果に基づき、信頼度の最も高い走行路に基づ
き走行領域が推定される。
【0027】請求項6に係る発明によれば、信頼度演算
手段において、推定された走行路の変化率に基づいて、
信頼度が演算される。
【0028】請求項7に係る発明によれば、信頼度演算
手段において、推定された走行路の検出率に基づいて、
信頼度が演算される。
【0029】請求項8に係る発明によれば、信頼度演算
手段において、白線部を構成すると推測される白線候補
点と画像処理によるスキャン範囲との比率に基づいて、
信頼度の高いものが、走行路として選択される。
【0030】請求項9に係る発明によれば、信頼度演算
手段において、自車と白線部との横方向の偏差の比較に
基づいて、信頼度の高いものが走行路として選択され
る。
【0031】請求項10に係る発明によれば、信頼度演
算手段において、白線部を構成すると推測される白線候
補点の数、自車と白線部との横方向の偏差に基づいて、
信頼度が演算される。
【0032】請求項11に係る発明によれば、状態検出
手段によってヘッドランプの状態が検出され、領域補正
手段によって、ヘッドランプの状態に応じて、第1走行
路推定手段により推定する走行領域が補正される。
【0033】請求項12に係る発明によれば、第1及び
第2輝度検出手段によって白線部の輝度と路面の平均輝
度とが検出され、それらの輝度の差が所定値よりも小さ
いときには、推定禁止手段によって第1走行路推定手段
による推定が禁止される。
【0034】請求項13に係る発明によれば、画像処理
に基づき検出された左右の白線部の変化率が変化率演算
手段によって演算され、第1走行路推定手段による左右
の白線部の曲率半径の絶対値が等しくかつ符号が異な
り、左右の白線部の変化率により白線認識にエラーがな
いと判断されたとき、ピッチ角補正手段によって、第1
走行路推定手段のCCDカメラと道路との相対ピッチ角
が補正される。
【0035】請求項14に係る発明によれば、第1走行
路推定手段による左右白線の推定値のうち一方の推定値
が第2走行路推定手段による推定値に等しく、かつ他方
の推定値を利用できないとき、走行領域推定手段によっ
て、上記一方の推定値について正否判定が行われ、正し
いときは第1走行路推定手段による上記一方の推定値
が、正しくないときは第2走行路推定手段による推定値
が優先される。
【0036】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。本例は、本発明に係る自動車の走行路推定装置を
障害物検知装置に適用された例である。
【0037】自動車の全体を示す図1において、1は自
動車で、その車体2の前部にレーダヘッドユニット3が
設けられている。このレーダヘッドユニット3は、レー
ダ波としてのパルスレーザ光を発信部から自車の前方に
向けて発信すると共に、前方に存在する先行車等の障害
物に当たって反射してくる反射波を受信部で受信する構
成になっており、走行路上の障害物との距離を計測する
ものである。また、レーダヘッドユニット3は、その発
信部から発信する、縦に細く垂直方向に扇状に拡がった
パルスレーザ光(ビーム)を水平方向に比較的広角度で
走査させるスキャン式のものである。
【0038】4は車室内上部に配設されたCCDカメラ
で、自車前方の情景(走行路)を所定範囲内で写し出す
ものであり、該カメラ4で写し出された自車前方の情景
は、画像処理ユニット5に入力されて画像処理され、コ
ントロールユニット6において道路の左右白線部に基づ
き走行路が推定されるようになっている。
【0039】また、コントロールユニット6には、図2
に示すように、上記CCDカメラ4からの信号のほか
に、レーザユニット3からの信号と共に、自車の車速を
検出する車速センサ7、ステアリングハンドル8aの操
舵角を検出する舵角センサ8及び自車が発生するヨーレ
ートを検出するヨーレートセンサ9からの信号も入力さ
れ、それらの信号に基づいて、走行路状態がヘッドアッ
プディスプレイ10に表示され、自車前方の障害物を検
知すると、警報手段11が作動すると共に、車両制御装
置12がブレーキ12aを作動させて各車輪に制動力を
自動的に付与するようになっている。
【0040】13はヘッドランプの状態(即ちON/O
FF、High/Low)を検出するヘッドランプスイ
ッチである。
【0041】具体的には、図3に示すように、このレー
ダヘッドユニット3の信号は、コントロールユニット6
の信号処理部21を通じて演算部22に入力され、該演
算部22において、レーザ受信光の発信時点からの遅れ
時間によって走査範囲内に存在する各障害物と自車との
間の距離、及び障害物の自車に対する方向を演算するよ
うに構成されている。そして、信号処理部21及び演算
部22により自車前方の所定領域内に存在する障害物を
検出する障害物検出手段6Aが構成されている。
【0042】上記センサ7,8の検出信号は第1進行路
推定手段23に入力され、該第1進行路推定手段23
は、自車のステアリング舵角及び車速から自車が今後走
行する予測される進行路を推定するようになっている。
また、上記センサ7,8,9の検出信号は第2進行路推
定手段24に入力され、該第2進行路推定手段24は、
自車のステアリング舵角、車速及びヨーレートから自車
が今後走行する予測される進行路を推定するようになっ
ている。この第1及び第2進行路推定手段23,24
が、車両状態量に基づいて走行路(具体的にはその曲率
半径)を推定する第2走行路推定手段6Bを構成してい
る。
【0043】また、画像処理ユニット5からの信号は、
自車前方の情景から自車が走行する道路(走行路)の左
右の白線部を抽出して左右の白線部を推定する左白線推
定手段25及び右白線推定手段26に入力され、それぞ
れ左白線及び右白線(具体的にはそれらの曲率半径)が
推定される。左白線及び右白線推定手段25,26によ
り、画像処理に基づいて走行路を推定する第1走行路推
定手段6Cが構成されている。
【0044】そして、上記第1及び第2走行路推定手段
6C,6Bからの信号が、信頼度演算手段27と共に走
行領域設定手段28に入力される。信頼度演算手段27
は、後述するように、走行路推定手段6C,6Bにより
推定された走行路(進行路)の信頼度を演算するように
構成されている。領域設定手段28は、走行路の信頼度
に基づいて、進行路及び走行路(左右の白線部)から、
これから自車が進行するであろうを推測される走行領域
(障害物判断領域に対応)を最終的に推定するようにな
っている。
【0045】また、上記演算部22からの障害物情報及
び走行領域設定手段28からの障害物判断領域情報が障
害物判定手段29に入力され、該障害物判定手段29に
おいて、レーダヘッドユニット3で検出された障害物の
回避必要度を、走行領域設定手段28によって設定され
た走行領域(障害物判断領域)において障害物判断を行
い、回避の必要があると判断されれば、ヘッドアップデ
ィスプレイ10に表示されると共に、警報装置11によ
り警報が発せられた後、車両制御装置12のブレーキ装
置12aが自動的に作動するようになっている。
【0046】30は領域補正手段で、ヘッドランプスイ
ッチ13よりの信号を受け、ヘッドランプの状態に応じ
て、第2走行路推定手段6Cにより推定する走行領域を
補正するものである。また、具体的に図示していない
が、領域補正手段30は、障害物判断距離、白線候補点
の検出可能距離等に基づいても、第2走行路推定手段6
Cにより推定する走行領域を補正するようになってい
る。
【0047】(1) 障害物検知装置による障害物検知の基
本制御 以下、上記走行路推定装置が用いられる障害物検知装置
による障害物検知の基本制御について説明する。
【0048】図4において、スタートすると、先ず、ス
テップS1 で、第1及び第2走行路推定手段6C,6B
により走行路の推定が行われ、それから、ステップS2
で、レーダヘッドユニット3により自車前方を認識し、
障害物と推定されるもの(障害物情報)を検出する。
【0049】続いて、ステップS3 で、ステップS1 に
おいて推定された走行路から、領域設定手段28によっ
て障害物判断領域となる走行領域が推定される。
【0050】それから、ステップS4 で上記障害物判断
領域に基づいて障害物情報のマスキングを行い、ステッ
プS5 で障害物判断を行う。上記ステップS3 〜S5 の
実行は、障害物判定手段29で行われる。
【0051】その後、ステップS6 で必要であれば障害
物回避制御を行い、リターンする。障害物回避制御は、
例えば警報装置による警報、車両制御装置12のブレー
キ12aで行われるが、具体的に図示していないが、自
動操舵装置等によって行うようにしてもよい。
【0052】(2) ステップS1 での走行路推定 走行路推定に用いる推定値を決定する基本制御 図5に示すように、まず、ステップ11において、逆光判
定、即ち路面輝度に基づき逆光状態であるか否かを判定
する。この判定の結果、逆光状態であれば、路面の輝度
が上昇し、白線部と他の部分との識別が十分にできなく
なるため、第1走行路推定手段6Cによって正確な走行
路推定ができなくなるので、後述するように、第1走行
路推定手段6Cによる推定値Rl ,Rr を採用すること
なく第2走行路推定手段6Bによる推定値R11,R12を
採用することとなる。
【0053】逆光状態でなければ、ステップ12で、走行
路推定手段6C,6Bにより走行路についての推定値
(曲率半径)Rl ,Rr ,R11,R12を算出し、それか
ら、CCDカメラ4のピッチ角のエラー判定を行う(ス
テップS13)。この判定の結果、ピッチ角のエラーであ
れば、後述するように、第1走行路推定手段6Cによっ
て正確な走行路推定ができなくなるので、後述するよう
に、第1走行路推定手段6Cによる推定値Rl ,Rr を
採用することなく第2走行路推定手段6Bによる推定値
R11,R12を採用することとなる。
【0054】ピッチ角のエラーがなく、逆光状態でもな
ければ、第2走行路推定手段6Bによる走行路推定だけ
でなく、第1走行路推定手段6Cによる走行路推定が可
能であり、複数の推定値が得られることから、どのよう
にして推定値を決定するかを決めるために、ステップS
14では、第1走行路推定手段6Cによる走行路について
の推定値Rl ,Rr のバラツキ、即ち推定値Rl ,Rr
相互の差がしきい値ΔRを越えるか否かが判定され、し
きい値ΔRを越えれば、バラツキが大きすぎていずれの
推定値を信用してよいか判らないので、推定値Rl ,R
r 、R11に基づき多数決で最終的に走行領域推定に使用
する推定値を選定する(ステップS15)一方、しきい値
ΔRを越えなければ、走行路についての推定値Rl ,R
r ,R11,R12の信頼度を検出し(ステップS16)、バ
ラツキが小さく各推定値Rl ,Rr 、R11,R12の信頼
度も高いと考えられることから、ステップS15の多数決
制御を行うことなく、信頼度に基づき最終的に走行領域
推定に使用する推定値を算出する(ステップS17)。
【0055】以下、各ステップでの制御を具体的に説明
する。
【0056】ステップS11での逆光判定 具体的な制御は、図6に示すように、スタートすると、
各画素の輝度を検出し(ステップS21)、それから白線
部の輝度(平均輝度)CNTh、路面部の輝度(平均輝
度)CNTrを検出し(ステップS22)、それから、白
線部の輝度CNThと路面部の輝度CNTrとの差が、
所定値KHよりも小さいか否かを判定する(ステップS
23)。
【0057】ステップS23での判定がYESの場合は、
白線部と路面部との輝度の差が少なく路面全体が光って
いる逆光状態であると考えられるので、第1走行路推定
手段6Cによる走行路についての推定を禁止し、その推
定値Rl ,Rr は使用しないこととし(ステップS2
4)、NOの場合は、逆光状態でないので、第1走行路
推定手段6Cによる走行路についての推定を行い、その
推定値Rl ,Rr を使用することとし(ステップS2
5)、リターンする。
【0058】ステップS12での走行路についての推定
値の算出 (i) 第2走行路推定手段6Bによる推定値の算出の基本
制御 第1進行路推定手段23において、図7に示すサブルー
チンに従って行われる。即ち、ステップS31で車速セン
サ5、舵角センサ6及びヨーレートセンサ7からの各信
号を読込んだ後、ステップS32でステアリング舵角θH
と車速v0 とに基づいた第1の予測方法により自車の進
行路が予測される。具体的には、進行路についての推定
値R01(曲率半径)、β01(自車の横すべり角)が、下
記の式により算出される。
【0059】
【数1】 続いて、ステップS33でヨーレートγと車速V0 とに基
づいた第2の予測方法により自車両の進行路が予測され
る。具体的には、進行路についての推定値R02(曲率半
径)、β02(自車の横すべり角)が、下記の式により算
出される。
【0060】
【数2】 その後、ステップS34でステアリング舵角θH の絶対値
が所定角度θc よりも小さいか否かが判定される。この
判定がYESのときには、ステップS35で第2の予測方
法により予測された進行路が選択され、進行路について
の推定値R11(第1の進行路)にR02を設定すると共
に、推定値β11にβ02を設定し、リターンする。
【0061】一方、上記ステップS34の判定がNOのと
き、つまりステアリング舵角θH が所定角度θc より大
きいときには、更にステップS36で第1の予測方法によ
り予測された進行路についての推定値R01の絶対値と第
2の予測方法により予測された進行路についての推定値
R02の絶対値との大小が比較される。そして、第1の予
測方法により予測された進行路についての推定値R01の
方が小さいときには、ステップS37へ移行して、進行路
についての推定値R11としてR01が採用されると共に、
推定値β11として角β01が設定される一方、第2の予測
方法により予測された進行路についての推定値R02の方
が小さいときには、ステップS35へ移行して、進行路に
ついての推定値R11にR02が設定されると共に、推定値
β11にβ02が設定される。つまり、推定値(曲率半径)
の小さい方が進行路として選択されることとなる。
【0062】また、第1進行路推定手段23はステアリ
ング舵角θH と車速V0 とに基づき、第2進行路推定手
段24はヨーレートγと車速V0 とに基づきそれぞれ進
行路を推定し、自車の走行状態に応じて、いずれか一方
の推定を用いるようになっているので、進行路の推定を
適切に行うことができる。即ち、自車がカントを有する
曲線道路上を旋回走行するときには、ステアリングハン
ドルを大きく操舵しなくても自車はカントにより旋回運
動をすることから、ヨーレートγに基づいて予測された
進行路についての推定値R02が、ステアリング舵角θH
に基づいて予測された進行路についての推定値R01より
も小さくなる。このとき、ヨーレートγに基づいて予測
された進行路についての推定値R02を採用するので、カ
ントに影響されることなく、進行路を適切に推定するこ
とができる。また、自車が急激な旋回走行をするとき、
大きな値となるステアリング舵角θH に対応して、進行
路についての推定値がR01の小さいものと推定すること
なり、急激な旋回運転にも充分に対応して進行路の推定
を適切に行うことができる。
【0063】また、先行車両があるときは、次のように
して、第2の進行路を推定することもできる。
【0064】図8に示すように、スタートすると、ま
ず、第2走行路推定手段6Bによって推定された進行路
(推定値R11)上に障害物があるか否かが判定される
(ステップS41)。障害物があれば、続いて、障害物が
移動物でかつ第2走行路推定手段6Bによって推定され
た進行路上に一定時間以上(例えば3sec 以上)存在し
たか否かが判定される(ステップS42)一方、存在して
いなければ、そのままリターンする。
【0065】障害物が存在していれば、障害物が、第2
走行路推定手段6Bによって推定された進行路上から外
れたか否かを判定する(ステップS43)一方、存在して
いなければ、そのままする。
【0066】進行路から外れていれば、分岐路等がある
と考えられるので、先行車両の移動を監視するロックオ
ンを開始し、それに基づいてその先行車両の進行路につ
いての推定値R12(進行路の曲率半径)を算出し(ステ
ップS44)、ステップS45に移行する一方、外れていな
ければ、そのままリターンする。
【0067】ステップS45においては、ロックオン開始
から一定時間経過したか否かを判定し、一定時間経過し
ていれば、先行車両の移動を監視する必要がないので、
ロックオンを解除する(ステップS46)、一定時間経過
していなければ、ステップS47に移行し、先行車両の監
視を継続する。
【0068】ステップS47においては、障害物が、進行
路(曲率半径R11)上に復帰したか否かを判定し、復帰
しておれば、先行車両の移動を監視する必要がないの
で、そのままリターンし、復帰していなければ、ステッ
プS44に移行する。
【0069】ステップS45の判定においては、ロックオ
ン開始から一定時間経過したか否かの判定に代えて、
0.2G<V/R12であるか否かの判定を行うようにし
てもよい。これは、自車が曲率半径R11の第1の進行路
から曲率半径R12の第2の進行路に変換するのにどれだ
けの横Gが発生するかを求め、その値が0.2Gを越え
るか否かを判定している。
【0070】(ii)第1走行路推定手段6Cによる推定値
の算出の基本制御 画像処理による走行路推定の処理の流れは、通常、図9
に示すようになされる。尚、前提条件として、直線路で
は横すべり角が発生しないこと、直線路では白線部に対
する車体姿勢角は微小であること、曲線路では走行軌跡
は車線を平行移動したものと考える。また、座標は、道
路面上の車両を原点とし、車両の前後方向をy 軸、左右
方向をx 軸としたものを考える。
【0071】具体的には、まず、スタートすると、画像
データ(各画素の輝度CNT(x,y))が取り込まれ(ス
テップS51)、二値化のしきい値(THRESH)が設定され
(ステップS52)、各画素の輝度がしきい値を越えるか
否かで1又は0の二値化処理される(ステップS53)。
即ち、CNT(x,y) >THRESHであれば、BW(x,y)=1
とする一方、CNT(x,y) ≦THRESHであれば、BW(x,
y)=0とするそれから、左右の白線部に対応するよう
CCDカメラ4による左右のスキャンウインドウの左右
方向の幅が設定され(ステップS54)、それに続いて、
自動車の前後方向に対応するスキャンピッチが設定され
(ステップS55)、スキャンウインドウ内をスキャンピ
ッチに従って走査し白線候補点即ちBW(x,y)=1であ
る点の座標WP1x,WP1y及び個数NWP−L1(左側の
スキャンウインドウ内),NWP−R1(右側のスキャン
ウインドウ内)が検出され(ステップS56)、逆透視変
換により平面座標へ変化される(ステップS57)。変換
後の白線候補点の座標は、WP2x,WP2yとする。
【0072】その後、自車が走行した後の白線部上の点
として仮想候補点(座標VPx ,VPy 、個数NVP)
が設定され(ステップS58)、白線候補点、仮想候補点
を用いて左右の白線部について最小二乗法による近似曲
線(y=ax2 +bx+c)、具体的には左白線部につ
いての2次曲線の係数aL,bL,cL、右白線部につ
いての2次曲線の係数aR,bR,cRが算出される
(ステップs59)。
【0073】ここで、路上障害物検出のため、より前方
まで検出しないといけないという要求から、2次曲線
(y=ax2 +bx+c)により白線部を近似してお
り、係数aL,aRは、白線部(2次近似曲線)の曲率
半径をRl (Rr )とすると、a=1/2Rl (1/2
Rr )となり、係数bL,bRは白線部に対する車体姿
勢角あるいは横すべり角、係数cL,cRは車両中心か
ら白線部までの横偏差量を表わすことになる。
【0074】そして、白線候補点と近似曲線の偏差(H
EN)を算出し(ステップS60)、白線候補点を検定す
る(ステップS61)。即ち、しきい値HENmax を越え
る偏差HENの場合は、白線候補点から除外する。そし
て、検定後の白線候補点の数を、NWP−L2,NWP−
R2とする。
【0075】その後、スキャンエリアの検定を行う(ス
テップS62)。即ち、検定後の白線候補点の数NWP−
L2,NWP−R2がしきい値NWP−min (白線候補点数
の下限値)より小さいか否かを判定し、小さければ、ス
キャンウインドウのリセット、即ちスキャンウインドウ
に関するパラメータを初期値にセットし(ステップS6
3)、リターンする一方、小さくなければ、スキャンウ
インドウの更新、即ち近似曲線から設定幅WDTHの位
置にウインドウをセットし(ステップS64)、二次曲線
式の係数を出力し(ステップS65)、リターンする。
【0076】ステップS13でのCCDカメラのピッチ
角のエラー判定の制御 図10に示すように、CCDカメラ4による画像処理に
より推定された左右の白線部RL ,RR に基づく走行路
についての推定値(曲率半径)Rl ,Rr の符号が反対
で、それらの絶対値がそれらの平均値(曲率半径)Rx
の絶対値と異なり、進行路R01についての推定値(曲率
半径)R11が平均値Rx に略等しい状態では、CCDカ
メラのピッチ角のエラーであると判断されるので、その
場合には、補正を行う必要がある。RL ,RR は上り坂
の状態を、RL ´,RR ´は下り坂の状態をそれぞれ示
す。
【0077】具体的な制御は、図11に示すように、ス
タートすると、まず、走行路(進行路)についての推定
値Rl ,Rr ,R11を読み込み(ステップS70)、左右
の白線部に基づく走行路についての推定値(曲率半径)
Rl ,Rr の絶対値が、それらの平均値(曲率半径)R
x の絶対値と異なり、進行路についての推定値(曲率半
径)R11が平均値Rx に略等しいか否かを判定する(ス
テップS71)。ここで、略等しいとは、あるしきい値の
範囲内で等しいという意味で、完全に一致するという意
味ではない。以下、本明細書において同様である。
【0078】ステップS71の判定において、YESであ
れば、走行路の左右の白線部及び進行路についての推定
値に基づく、自車Aと左右白線部との横方向の偏差であ
る現在偏差εφの変化率が略等しいか否かを判定する
(ステップS72)。一方、NOであれば、走行路の左右
の白線部についての推定値は信頼できないと考えられる
ので、進行路についての推定値R11を優先して採用し
(ステップS73)、リターンする。
【0079】それから、ステップS72の判定において、
YESであれば、左右の白線部の曲率半径Rl ,Rr の
絶対値が略等しく、かつ符号が反対であるか否かを判定
する(ステップS74)一方、NOであれば、白線認識に
エラーがないことが明らかでないので、ステップS71の
判定でNOであった場合と同様に、進行路についての推
定値R11を優先して採用し(ステップS73)、リターン
する。
【0080】ステップS74の判定において、YESであ
れば、白線認識にエラーがなく、ピッチ角のエラーであ
ると推定されるので、カメラピッチ角を保存してピッチ
角補正を行う(ステップS75)一方、NOであれば、進
行路についての推定値R11を優先して採用して、現在偏
差の変化率による走行路幅を設定し(ステップS76)、
リターンする。。
【0081】ステップS75でのピッチ角補正の後、左右
の白線部についての推定値Rl ,Rr が略等しいか否か
を判定し(ステップS77)、略等しければ、ピッチ角補
正により白線認識にエラーがなくなったと判断されるの
で、左右の白線部についての推定値Rl ,Rr を優先し
て採用し(ステップS78)、リターンする一方、略等し
くならなければ、ステップS79で繰返し数Nが設定数N
s であるか否かを判定し、繰返し数Nが設定数Ns でな
ければ、ステップS75に戻り、ピッチ角補正を繰り返す
一方、繰返し数Nが設定数Ns になれば、ピッチ角のエ
ラーではないと判断されるので、ピッチ角を元に戻し
(ステップS80)、それから、ステップS76に移行す
る。
【0082】信頼度に基づき推定値を決定する制御 図12に示すように、スタートすると、まず、画像処理
により推定された走行路の左右の白線部に基づく曲率半
径Rl ,Rr 及びそれらの推定についての信頼度Sl ,
Sr を算出し(ステップS81)、それから、信頼度Sl
,Sr のしきい値S01を設定する(ステップS82)。
【0083】その後、各曲率半径Rl ,Rr の信頼度S
l ,Sr が共にしきい値S01よりも小さいか否かを判定
し(ステップS83)、小さければ信頼性に劣るので、進
行路に基づく曲率半径R11を採用し(ステップS84)、
リターンする。一方、小さくなければ、続いて、各白線
部Rl ,Rr の信頼度Sl ,Sr が共にしきい値S01よ
りも大きいか否かを判定し(ステップS85)、大きくな
ければ、信頼度Sl ,Sr の高い方の曲率半径、即ちし
きい値S01よりも大きい白線部の曲率半径を採用し(ス
テップ86)、リターンする。
【0084】また、共にしきい値S01よりも大きけれ
ば、次の式に基づき、信頼度Sl ,Sr による重み付け
をして曲率半径を求め(ステップS87)、リターンす
る。
【0085】
【数3】 また、信頼度Sl ,Sr による重み付けをして曲率半径
を求めるステップS87制御に代えて、図13に示すよう
に、各白線部の曲率半径(推定値)についての信頼度S
l ,Sr を比較し(ステップS88)、信頼度の高い方の
曲率半径を用い(ステップS89,S90)、リターンする
ようにすることもできる。
【0086】続いて、信頼度を求める方法である具体例
1〜3を説明する。
【0087】(i) 具体例1 左右それぞれの白線候補点の数NWP、白線候補点と近
似曲線との偏差HENにより、次の式に基づいて信頼度
を算出する。
【0088】
【数4】 (ii)具体例2 次の式で求められる曲率半径(推定値)の変化率Khに
基づいて、信頼度を段階的に決定する(図14参照)。
【0089】
【数5】 具体例3 次の式に基づき、曲率半径(推定値)の検出率により信
頼度を算出する。
【0090】
【数6】 また、上記図13に示す制御では、信頼度を直接的に比
較することで信頼度の高い推定値を決定するようにして
いるが、信頼度の高い方の推定値(曲率半径)を決める
方法として、そのほか、次の具体例4,5に示すように
して、決定することもできる。
【0091】具体例4 本例は、白線候補点/スキャン範囲の周期により判定す
るものである。
【0092】左右の白線部が、実線の白線RL ,RR で
はなく、破線の白線RL ´,RR ´であると、図15に
示すように、スキャン範囲Wをうまく設定しないと、推
定値が正確に求められないことからである。尚、白線候
補点/スキャン範囲の値JHは、次の式により求め、こ
の周期が大きいときは無規則な変動のため周期が長くな
っており、実線と考えられ、周期が小さいときは、白線
部が一定間隔で配置されている破線であると考えられ
る。また、破線の場合は変化が大きいので、実線よりも
振幅が大きくなると考えられる。
【0093】
【数7】 具体的な制御の流れは、図16に示すように、スタート
すると、まず、左右白線部についての上記値JHの周期
JHl T、JHr T及び振幅JHl B、JHrBを算出
し(ステップS91)、右白線部についての上記値JHの
周期JHr Tがしきい値T1 より小さくかつ振幅JHr
Bがしきい値B1 より大きいか否かを判定する(ステッ
プS92)。そして、その判定がYESであってもNOで
あっても、左白線部についての周期JHl Tがしきい値
T1 より小さくかつ振幅JHl Bがしきい値B1 より大
きいか否かを判定する(ステップS93,S94)。
【0094】そして、ステップS93において、YESで
あれば、左右の白線部が共にかなり間隔の大きい破線で
あると判断され、信頼度が低いと考えられるので、車両
状態量による推定値を使用し、画像データは1次近似に
変更し、車線幅の推定を行い、それらを使用し(ステッ
プS95)、リターンする一方、NOであれば、右白線部
についての周期JHr Tがしきい値T1 より小さくかつ
振幅JHr Bがしきい値B1 より大きいか否かを判定す
る(ステップS96)。
【0095】ステップS96の判定において、YESであ
れば、周期JHr Tがしきい値T1より大きく又は振幅
JHr Bがしきい値B1 より小さく、周期JHl Tがし
きい値T1 より小さくかつ振幅JHl Bがしきい値B1
より大きいので、白線部は実線と考えられ、左白線部の
曲率半径Rl を使用し(ステップS97)、リターンする
一方、NOであれば、左右の白線部の曲率半径Rr ,R
l を平均して推定値を決定し(ステップS98)、リター
ンする。
【0096】一方、ステップS94の判定において、YE
Sであれば、右白線部についての曲率半径Rr を使用し
(ステップS98)、リターンする一方、NOであれば、
左右の白線部の曲率半径Rr ,Rl を平均して、走行路
推定に用いる曲率半径を決定し(ステップS99)、リタ
ーンする。
【0097】具体例6 本例は、現在偏差の比較により判定するものである。
【0098】具体的な制御の流れは、図17に示すよう
に、スタートすると、各白線部について、現在偏差Bと
t秒前の現在偏差B´の差を算出し(ステップS101
)、それらの差が左右の白線部のいずれにおいて大き
いかを判定し(ステップS102 )、大きい方が信頼度が
低いと判断されるから、右の白線部の方が大きい場合
は、左の白線部についての曲率半径Rl を採用し(ステ
ップS103 )、左の白線部の方が大きい場合は右の白線
部についての曲率半径Rr を採用し(ステップS10
4)、リターンする。
【0099】また、上述した例はいずれも左右の白線部
についての推定値の信頼度を算出するものであり、車両
状態量による進行路推定による推定値は、車両挙動が定
常状態においては信頼性が高く、過渡状態において信頼
性が低いといえ、即ち信頼度はその変化率に依存すると
いえるので、次の図18に示すようにして、進行路につ
いての推定値の信頼度を算出して利用することもでき
る。
【0100】図18において、スタートすると、まず、
過去N回の推定値R11の平均値RAVE を算出し(ステッ
プS101 )、今回の推定値R11と平均値RAVE の差RSU
B を算出する(ステップS102 )。
【0101】
【数8】 それから、次の式に基づいて信頼度PTRを算出し(ステ
ップS103 )、リターンする。
【0102】
【数9】 多数決により走行路を推定する場合の基本制御 スタートすると、図19に示すように、まず、先行車両
の進行路である第2の進行路についての推定値R12につ
いての出力があるか否かが判定される(ステップS111
)。
【0103】第2の進行路についての推定値R12の出力
があれば、推定値R12(曲率半径)の第2の進行路側に
ウィンカー信号が出されているか否かが判定され(ステ
ップS112 )、ウィンカー信号が出されていれば、推定
値R12(曲率半径)の第2の進行路を優先し(ステップ
S113 )、リターンする一方、ウィンカー信号が出され
ていなければ、ステップS114 に移行する。
【0104】一方、ステップS111 で第2の進行路につ
いての推定値R12の出力がなければ、走行路及び進行路
についての推定値Rl ,Rr ,R11がすべて略等しいか
否かを判定し(ステップS115 )、すべてが略等しけれ
ば、推定領域を広く確保できることから、走行路につい
ての推定値Rl ,Rr を優先し(ステップS116 )、リ
ターンする。この場合の推定値の関係を図20に示す。
【0105】また、すべてが等しくなければ、走行路の
左右白線部についての推定値Rl ,Rr が略等しく、進
行路についての推定値R11がそれらと異なるか否かを判
定する(ステップS117 )。YESである場合(図21
参照)は、ステップS116 に移行する一方、NOであれ
ば、ステップS118 ,S119 に移行し、走行路の左右白
線部についての推定値Rl ,Rr のいずれか一方のみが
進行路についての推定値R11に等しいか否かを判定し、
等しい場合(図22及び図23参照)は、等しい方の推
定値Rl (又はRr )を優先し(ステップS120 ,S12
1 )、いずれも等しくなければ、進行路についての推定
値R11を優先し(ステップS122 )、リターンする。
【0106】また、ステップS114 では、左白線部につ
いての推定値Rl と進行路についての推定値R11が等し
く、右白線部についての推定値Rr と第2の進行路につ
いての推定値R12が等しく、かつそれらが等しくないと
いう条件を満たすか否かが判定され、YESの場合(図
24参照)は、ステップS120 に移行する一方、NOの
場合には、さらに、右白線部についての推定値Rr と進
行路についての推定値R11が等しく、左白線部について
の推定値Rlと第2の進行路についての推定値R12が等
しく、かつそれらが等しくないという条件を満たすか否
かが判定され(ステップS123 )、YESの場合(図2
5参照)は、ステップS121 に移行する一方、NOの場
合には、多数決による選定がなされ(ステップS124
)、リターンする。
【0107】また、図26に示すように、次に示す多数
決判定式によって走行路を推定することもできる。
【0108】
【数10】 即ち、スタートすると、走行路についての推定値Rl ,
Rr ,R11,R12を読み込み(ステップS131 )、ウイ
ンカ信号によりウインカ操作があるか否かを判定し(ス
テップS132 )、ウィンカー操作があれば、ウインカー
方向の走行路の推定値(曲率半径)を優先し(ステップ
S133 )、リターンする一方、ウィンカー操作がなけれ
ば、ステップS134 に移行し、画像検知率が50%を越
えるか否かを判定する。
【0109】画像検知率が50%を越えれば、画像処理
による第1走行路推定手段6Cによる推定値Rl ,Rr
の侵害度が高いと考えられるので、多数決判定式により
走行路を決定する(ステップS135 )一方、50%を越
えない場合には、曲率半径R11を優先し(ステップS13
6 )、走行領域が設定され(ステップS137 )、リター
ンする。
【0110】そして、走行路を決定した後、走行路につ
いての推定値(曲率半径)が計算され(ステップS138
)、ステップS137 を経て、リターンする。 また、
多数決判定式により決定するのに代えて、次の式によ
り、走行路を直接推定するようにすることもできる。
【0111】
【数11】 (6) 補正制御 ヘッドランプ・スイッチの状態によって、左右の白線
部の推定範囲を変更する制御 ヘッドランプの点灯状態によって、白線部の検出状態が
異なってくることを考慮したものである。
【0112】図27に示すように、スタートすると、ヘ
ッドラップスイッチ13の位置を検出し(ステップS14
1 )、ヘッドランプスイッチがOFFであるか否かを判
定し(ステップS142 )、YESの場合は、周囲環境が
良好な昼間であると考えらえるので、車体前方60mま
で白線部データ(白線候補点)を検出して走行路推定を
行い、車体前方120mまで予想して障害物判断領域を
設定し、障害物判断する(ステップS143 )、NOであ
れば、ヘッドランプ・スイッチがHigh位置であるか
Low位置であるかを判定する(ステップS144 )。
【0113】ステップS144 での判定において、Hig
h位置であれば、車体前方40mまでの白線部データを
検出して走行路推定を行い、車体前方60mまで予想し
て障害物判断領域を設定し、障害物判断する一方(ステ
ップS145 )、Low位置であれば、High位置にあ
るよりも車体前方は暗いので、車体前方20mまでの白
線部データを検出して走行路推定を行い、車体前方40
mまで予想して障害物判定領域を設定し、障害物判断す
る(ステップS146 )。
【0114】また、図28に示すように、ヘッドランプ
がONであると、ヘッドライトの光りによる路面光りに
よって、本来の白線候補点P1 〜P4 以外に、その路面
光りの部分P5 〜P8 を白線部RL ,RR の白線候補点
であると誤検知するおそれがあるので、この誤検知を回
避するために、ヘッドランプのON/OFFにより、図
29に示すように、車体前方部分には、白線部がないと
考えられることから、その部分を、画像処理のための本
来の左右のスキャンウインドウW11,W12(図28参
照)から除いたスキャンウインドウW11´,W12´を用
いることにより、誤検知を防止するようにしている。
【0115】白線候補点の検出距離に基づく補正 本例は、例えば図30に示す坂道の山頂付近等のよう
に、本来白線候補点を検出して白線部RL ,RR を検出
する距離L11まで、白線候補点を検出できない場合の対
策である。
【0116】図31に示すように、スタートすると、第
2走行路推定手段6Cにより推定された走行路の白線部
についての推定値Rl ,Rr (曲率半径)及び第1走行
路推定手段6Bにより推定された進行路についての推定
値R11,R12(曲率半径)を読込み(ステップS151
)、それらの基づき前述した手法により走行路の推定
を行う(ステップS152 )。それから、走行路推定手段
によりの信号に基づき現実に白線候補点を検出すること
ができる検出可能距離L11を算出し(ステップS153)、
それから、該検出可能距離L11が、白線部(白線候補
点)を検出すべきであると予め定められている設定距離
Ls (しきい値)より小さいか否かを判定する(ステッ
プS154 )。
【0117】検出可能距離L1 が設定距離Ls よりも小
さい場合は、検出可能距離を越えて障害物が存在してい
る可能性は低いと考えられるので、検出可能距離L11ま
では走行路推定手段により走行路の左右白線部について
の推定値Rl ,Rr を優先し(ステップS155 )、ま
た、検出可能距離L1 を越えると進行路についての推定
値R11を優先して(ステップS156 )、それぞれ障害物
判定領域を設定し(ステップS157 )、リターンする。
【0118】レーザデータによる補正 本例は、進行路推定手段による推定値半径及び走行路推
定手段による推定値が全く異なる場合には、レーザデー
タユニットよって検出される構造物(例えば路側のリフ
レクタ、隣接車線の車両等)を利用して、いずれの推定
値(曲率半径)が信頼できるかを判定するものである。
【0119】図32に示すように、スタートすると、ま
ず、走行路の白線部についての推定値Rl ,Rr 及び進
行路についての推定値R11を読込み(ステップS161
)、それらの推定値Rl ,Rr ,R11がすべて異なる
か否かを判定する(ステップS162 )。
【0120】すべての曲率半径が異なる場合には、N個
以上の規則的なレーザレーダ・データあるか否かを判定
する(ステップS163 )一方、そうでない場合は、シス
テムを停止し(ステップS164 )、制御を終了する。
尚、レーザレーダ・データは、走行路が曲線であること
も考慮すると、少なくともN=3個のレーザレーダ・デ
ータは必要である。
【0121】レーザレーダ・データがN個以上ある場合
は、レーザデータ・レーダに基づく走行路の推定値(曲
率半径)が、いずれかの推定値Rl ,Rr ,R11に等し
いか否かを判定する(ステップS165 )一方、レーザレ
ーダ・データがない場合には、いずれの推定値(曲率半
径)の信頼度が高いのか判定できないので、ステップS
163 に移行してシステムを停止する。
【0122】また、推定値(曲率半径)Rl ,Rr ,R
11のいずれもがレーザレーダ・データにより推定される
推定値(曲率半径)に等しくない場合も、同様に、ステ
ップS163 に移行するが、推定値Rl ,Rr ,R11のい
ずれかに等しい場合は、等しい推定値の信頼度が最も高
いと判断してその推定値(曲率半径)を優先し(ステッ
プS166 〜S168 )、走行路推定を行い、それに基づき
障害物判定領域を設定して(ステップS169 )、リター
ンする。
【0123】例えば図33に示すように、推定値Rl ,
Rr ,R11がすべて異なる場合であっても、自車Aの前
方のレーザデータD1 〜D4 は推定値Rr と一致してい
るので、この場合は、推定値Rr が優先される。
【0124】障害物判断距離に基づく補正 本例は、自車両の直前に当たる障害物判断距離内では走
行路全体に亘って障害物判断をすることが望ましいが,
障害物判断距離を越えれば、障害物判定領域を広く設定
する必要がないことから、進行路推定による進行路に基
づいて設定される領域であることを考慮したものであ
る。
【0125】図34に示すように、スタートすると、ま
ず、前述した手法に基づいて走行路が推定され(ステッ
プS171 )、それから、自車速、相対速度、路面摩擦係
数により障害物判断距離L21を算出する(ステップS17
2 )。尚、障害物判断距離L21は例えば次の式により求
められる。
【0126】
【数12】 それから、ステップS171 において走行路の白線部につ
いての推定値Rl ,Rr が優先される場合であっても、
障害物判断距離L21内でのみ走行路の白線部についての
推定値Rl ,Rr を優先し、障害物判断距離L21を越え
れば、進行路についての推定値R11を優先して、それを
越える部分については推定値R11を優先して障害物判断
領域を設定し(ステップS173 )、リターンする。
【0127】従って、図35に示すように、障害物判断
の要求が特に高い障害物判断距離L21までは、走行路の
白線部についての推定値(曲率半径)Rl ,Rr を優先
して領域の設定をすることとなり、むやみに障害物判定
領域を大きくすることがないので、効率よく障害物判断
をすることができる。
【0128】尚、ステップS161 において進行路につい
ての推定値(曲率半径)R11が優先される場合には、障
害物判断距離内も、障害物判断距離を越えても、進行路
についての推定値R11が優先される。
【0129】(13)障害物の大きさに基づく補正 図36に示すように、スタートすると、まず、走行路に
ついての推定値Rl ,Rr ,R11がすべて略等しいか否
かを判定し(ステップS181 )、等しければステップS
182 に移行し、相対速度V1 が自車速V0 以下であるか
否かを判定する一方、等しくなければ、直ちにリターン
する。
【0130】相対速度が自車速より小さいと、接近して
いるので、ステップS183 に移行し、障害物の幅が所定
値より小さいか否かを判定する一方、小さくないと、障
害物とならないので、推定値R11を優先し(ステップS
184 )、走行路を設定し(ステップS185 )、リターン
する。
【0131】また、障害物の大きさが所定値以下であれ
ば、推定値Rl ,Rr を優先し(ステップS186 )、走
行領域を設定し(ステップS185 )、リターンする。
【0132】(9) 左右の白線部の曲率半径のうち一方の
みが、車両状態量による曲率半径に一致する場合の制御 尚、本例は、走行路推定手段によって推定された走行路
の左白線部についての推定値Rl が進行路推定手段によ
って推定された進行路についての推定値R11に等しく、
かつ右側白線部についての推定値Rr が検出不能である
場合について説明する。
【0133】具体的には、図37に示すように、スター
トすると、例えば走行路推定手段によって推定された走
行路の左白線部についての推定値Rl が進行路推定手段
によって推定された進行路についての推定値R11に等し
く、かつ右白線部についての推定値Rr が検出不能であ
るか否かを判定する(ステップS191 )。
【0134】YESであれば、走行路の左白線部につい
ての推定値Rl の正否判定を行うために、右側のスキャ
ンエリアを左側にシフトし(ステップS192 )、Rr が
検出されるか否かを判定する(ステップS193 )一方、
NOであれば、そのままリターンする。
【0135】ステップS193 の判定において、YESで
あれば、白線部と自車との横方向の偏差である現在偏差
による判定で、推定値Rl が正しいか否かを判定し(ス
テップS194 )、正しければ、車線上を走行しているい
わゆる車線またぎで、現在は右の白線部を検出すること
ができないと判断して(ステップS195 )、推定値Rl
,Rr により走行路を推定して、リターンする一方、
NOであれば、推定値Rl を基準に、白線の過去の履歴
を利用して車線幅を推定し(ステップS196 )、リター
ンする。
【0136】
【発明の効果】請求項1に係る発明は、上記のように、
各走行路推定手段により推定された走行路の信頼度を信
頼度演算手段によって演算し、その結果により、各走行
路推定手段により推定された走行路の信頼度に基づい
て、走行領域推定手段によって走行領域を最終的に決定
するようにしているので、複数の走行路推定手段を有す
る場合に、各推定手段による推定値が異なる場合であっ
ても、走行路を推定することができる。
【0137】請求項2に係る発明は、画像処理に基づき
路面上の白線部を検出し、該白線部に基づき自車が今後
走行すると予想される走行路を推定するように構成して
いるので、走行領域を広範囲に亘って推定することがで
きる。
【0138】請求項3に係る発明は、車両状態量に基づ
き自車が今後走行すると予想される走行路を推定するよ
うにしているので、白線部がない道路においても、走行
路の推定をすることが可能となる。
【0139】請求項4に係る発明は、推定された走行路
の信頼度に基づいて、各走行路推定手段により推定され
た走行路の重み付けを行い、その重み付けを考慮して、
推定された走行路を平均化して走行領域を最終的に推定
するようにしているので、複数の走行路推定手段を有す
る場合に、各推定手段による推定値が異なる場合であっ
ても、走行路を精度よく推定することができる。
【0140】請求項5に係る発明は、推定された走行路
の信頼度を比較し、その結果に基づき、信頼度の最も高
い走行路に基づき走行領域を推定するようにしているの
で、複数の走行路推定手段を有する場合に、各推定手段
による推定値が異なる場合であっても、走行路を精度よ
くかつ簡単に推定することができる。
【0141】請求項6に係る発明は、推定された走行路
の変化率に基づいて、信頼度を演算することができる。
【0142】請求項7に係る発明は、推定された走行路
の検出率に基づいて、信頼度を演算することができる。
【0143】請求項8に係る発明は、白線部を構成する
と推測される白線候補点と画像処理によるスキャン範囲
との比率に基づいて、信頼度の高いものを、走行路とし
て選択することができる。
【0144】請求項9に係る発明は、自車と白線部との
横方向の偏差の比較に基づいて、信頼度の高いものを走
行路として選択することができる。
【0145】請求項10に係る発明は、白線部を構成す
ると推測される白線候補点の数、自車と白線部との横方
向の偏差に基づいて、信頼度を演算することができる。
【0146】請求項11に係る発明は、ヘッドランプの
状態に応じて、第1走行路推定手段により推定する走行
領域を補正するようにしているので、ヘッドランプの状
態に応じて、精度よく走行領域を推定することができ
る。
【0147】請求項12に係る発明は、白線部の輝度と
路面の平均輝度との差が所定値よりも小さいときに、推
定禁止手段によって第1走行路推定手段による推定を禁
止するようにしているので、誤検出を防止することがで
きる。
【0148】請求項13に係る発明は、左右の白線部の
曲率半径の絶対値が等しくかつ符号が異なり、左右の白
線部の変化率により白線認識にエラーがないと判断され
たとき、ピッチ角補正手段によって、第1走行路推定手
段のCCDカメラと道路との相対ビッチ角を補正するよ
うにしているので、CCDカメラのピッチ角のエラーに
よる影響をなくすことが可能である。
【0149】請求項14に係る発明は、走行路推定手段
による左右白線の推定値のうち一方の推定値が第2走行
路推定手段による推定値に等しく、かつ他方の推定値を
利用できないとき、走行領域推定手段によって、上記一
方の推定値について正否判定が行われ、正しいときは第
1走行路推定手段による上記一方の推定値が、正しくな
いときは第2走行路推定手段による推定値が優先される
ようにしているので、上記他方の推定値を利用できない
ときでも、走行路の推定が可能である。
【図面の簡単な説明】
【図1】自動車の斜視図である。
【図2】制御系のブロック図である。
【図3】コントロールユニットのブロック図である。
【図4】障害物検知の処理の流れを示す流れ図である。
【図5】走行路推定の基本制御を示す流れ図である。
【図6】逆光判定の制御を示す流れ図である。
【図7】車両状態量に基づく進行路推定のサブルーチン
を示す流れ図である。
【図8】先行車両に基づく進行路推定のサブルーチンを
示す流れ図である。
【図9】画像処理に基づく走行路推定のサブルーチンを
示す流れ図である。
【図10】CCDカメラのピッチ角補正の説明図であ
る。
【図11】CCDカメラのピッチ角補正のサブルーチン
を示す流れ図である。
【図12】信頼度演算のサブルーチンを示す流れ図であ
る。
【図13】同流れ図である。
【図14】推定値の変化率と信頼度との関係を示す図で
ある。
【図15】白線部の実線と破線との説明図である。
【図16】信頼度が高いものを決定する制御のサブルー
チンを示す流れ図である。
【図17】同流れ図である。
【図18】信頼度演算のサブルーチンを示す流れ図であ
る。
【図19】多数決により推定値を決定する制御の流れ図
である。
【図20】推定値の関係を示す図である。
【図21】推定値の関係を示す図である。
【図22】推定値の関係を示す図である。
【図23】推定値の関係を示す図である。
【図24】推定値の関係を示す図である。
【図25】推定値の関係を示す図である。
【図26】変形例を示す流れ図である。
【図27】ヘッドランプ補正のサブルーチンを示す流れ
図である。
【図28】ヘッドランプ補正の説明図である。
【図29】同説明図である。
【図30】白線候補点の検出距離の説明図である。
【図31】白線部候補点の検出距離に基づく補正のサブ
ルーチンを示す流れ図である。
【図32】レーザデータによる補正のサブルーチンを示
す流れ図である。
【図33】レーザデータによる補正の説明図である。
【図34】障害物判断距離による補正のサブルーチンを
示す流れ図である。
【図35】同説明図である。
【図36】障害物の大きさ等に基づく補正のサブルーチ
ンを示す流れ図である。
【図37】車線またぎの判定のサブルーチンを示す流れ
図である。
【符号の説明】
1 自動車 6 コントロールユニット 6A 障害物検出手段 6B 第2走行路路推定手段 6C 第1走行路推定手段 7 車速センサ 8 舵角センサ 9 ヨーレートセンサ 27 信頼度演算手段 28 走行領域設定手段 30 領域補正手段
フロントページの続き (72)発明者 足立 智彦 広島県安芸郡府中町新地3番1号 マツダ 株式会社内 (72)発明者 中植 宏志 広島県安芸郡府中町新地3番1号 マツダ 株式会社内

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 自車の今後の走行路を推定する複数の走
    行路推定手段を備える自動車の走行路推定装置におい
    て、 上記各走行路推定手段により推定された走行路の信頼度
    を演算する信頼度演算手段と、 該信頼度演算手段の出力を受け、走行路の信頼度に基づ
    いて、走行路を最終的に推定する走行領域推定手段を備
    えることを特徴とする自動車の走行路推定装置。
  2. 【請求項2】 走行路推定手段は、画像処理に基づき路
    面上の白線部を検出し、該白線部に基づき自車が今後走
    行すると予想される走行路を推定する第1走行路推定手
    段で、左の白線部に基づいて走行路を推定する左白線推
    定手段と、右の白線部に基づいて走行路を推定する右白
    線推定手段とを備えるところの請求項1記載の自動車の
    走行路推定装置。
  3. 【請求項3】 走行路推定手段は、さらに、車両状態量
    に基づき自車が今後走行すると予想される走行路を推定
    する第2走行路推定手段を有するところの請求項2記載
    の自動車の走行路推定装置。
  4. 【請求項4】 走行領域推定手段は、信頼度演算手段の
    出力を受け、推定された走行路の信頼度に基づいて上記
    各走行路推定手段により推定された走行路の重み付けを
    行い、その重み付けを考慮して、推定された走行路を平
    均化して走行領域を最終的に推定するものであるところ
    の請求項1、請求項2又は請求項3記載の自動車の走行
    路推定装置。
  5. 【請求項5】 走行領域推定手段は、信頼度演算手段の
    出力を受け、推定された走行路の信頼度を比較して信頼
    度の最も高い走行路を走行領域と推定するものであると
    ころの請求項1、請求項2又は請求項3記載の自動車の
    走行路推定装置。
  6. 【請求項6】 信頼度演算手段は、推定された走行路の
    変化率に基づいて、信頼度を演算するところの請求項
    1、請求項2又は請求項3記載の自動車の走行路推定装
    置。
  7. 【請求項7】 信頼度演算手段は、推定された走行路の
    検出率に基づいて、信頼度を演算するところの請求項
    1、請求項2又は請求項3記載の自動車の走行路推定装
    置。
  8. 【請求項8】 信頼度演算手段は、白線部を構成すると
    推測される白線候補点と画像処理によるスキャン範囲と
    の比率に基づいて、信頼度の高いものを選択するところ
    の請求項2記載の自動車の走行路推定装置。
  9. 【請求項9】 信頼度演算手段は、自車と白線部との横
    方向の偏差の比較に基づいて、信頼度の高いものを選択
    するところの請求項2記載の自動車の走行路推定装置。
  10. 【請求項10】 信頼度演算手段は、白線部を構成する
    と推測される白線候補点の数、自車と白線部との横方向
    の偏差に基づいて、信頼度を演算するところの請求項2
    記載の自動車の走行路推定装置。
  11. 【請求項11】 ヘッドランプの状態を検出する状態検
    出手段と、 該状態検出手段の出力を受け、ヘッドランプの状態に応
    じて、第1走行路推定手段により推定する走行領域を補
    正する領域補正手段とを備えるところの請求項2又は請
    求項3記載の自動車の走行路推定装置。
  12. 【請求項12】 路面の平均輝度を検出する第1輝度検
    出手段と、 白線部の輝度を検出する第2輝度検出手段と、 上記第1及び第2輝度検出手段の出力を受け、白線部の
    輝度と路面の平均輝度との差が所定値よりも小さいとき
    には第1走行路推定手段による推定を禁止する推定禁止
    手段とを備えるところの請求項2又は請求項3記載の自
    動車の走行路推定装置。
  13. 【請求項13】 CCDカメラを有し画像処理に基づき
    路面上の白線部を検出し、該白線部に基づき自車が今後
    走行すると予想される走行路を推定する第1走行路推定
    手段を備え、該第1走行路推定手段が、左の白線部に基
    づいて走行路を推定する左白線推定手段と、右の白線部
    に基づいて走行路を推定する右白線推定手段とを有する
    自動車の走行路推定装置において、 上記左白線及び右白線推定手段の出力を受け、左右の白
    線部の変化率を検出する変化率検出手段と、 上記左白線及び右白線推定手段、変化率検出手段の出力
    を受け、左白線及び右白線推定手段による左右の白線部
    の曲率半径の絶対値が等しくかつ符号が異なり、左右の
    白線部の変化率により白線認識にエラーがないと判断さ
    れたとき、CCDカメラと道路との相対ピッチ角を補正
    するピッチ角補正手段とを備えることを特徴とする自動
    車の走行路推定装置。
  14. 【請求項14】 画像処理に基づき路面上の白線部を検
    出し、該白線部に基づき自車が今後走行すると予想され
    る走行路を推定する第1走行路推定手段を備え、該第1
    走行路推定手段が、左の白線部に基づいて走行路を推定
    する左白線推定手段と、右の白線部に基づいて走行路を
    推定する右白線推定手段とを有する自動車の走行路推定
    装置において、 車両状態量に基づき自車が今後走行すると予想される走
    行路を推定する第2走行路推定手段と、 上記第1及び第2走行路推定手段の出力を受け、第1走
    行路推定手段による左右白線の推定値のうち一方の推定
    値が第2走行路推定手段による推定値に等しく、かつ他
    方の推定値を利用できないとき、上記一方の推定値につ
    いて正否判定を行い、正しいときは第1走行路推定手段
    による上記一方の推定値を、正しくないときは第2走行
    路推定手段による推定値を優先させる走行領域推定手段
    とを備えることを特徴とする自動車の走行路推定装置。
JP10238894A 1994-05-17 1994-05-17 自動車の走行路推定装置 Expired - Fee Related JP3400092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10238894A JP3400092B2 (ja) 1994-05-17 1994-05-17 自動車の走行路推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10238894A JP3400092B2 (ja) 1994-05-17 1994-05-17 自動車の走行路推定装置

Publications (2)

Publication Number Publication Date
JPH07311896A true JPH07311896A (ja) 1995-11-28
JP3400092B2 JP3400092B2 (ja) 2003-04-28

Family

ID=14326073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10238894A Expired - Fee Related JP3400092B2 (ja) 1994-05-17 1994-05-17 自動車の走行路推定装置

Country Status (1)

Country Link
JP (1) JP3400092B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296799A (ja) * 1998-04-09 1999-10-29 Fujitsu Ten Ltd 走行路形状認識装置
JP2000182197A (ja) * 1998-12-18 2000-06-30 Nissan Motor Co Ltd 自動車の走行制御装置
JP2004106697A (ja) * 2002-09-18 2004-04-08 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP2004199389A (ja) * 2002-12-18 2004-07-15 Toyota Motor Corp 運転補助システム及び装置
JP2004206275A (ja) * 2002-12-24 2004-07-22 Denso Corp 自動運転制御システム
JP2005173917A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 分岐路検出装置及び分岐路検出方法
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス,エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2006151123A (ja) * 2004-11-26 2006-06-15 Aisin Seiki Co Ltd 車両の走行支援装置
US7142130B2 (en) 2002-12-18 2006-11-28 Toyota Jidosha Kabushiki Kaisha Driving support system for vehicle, driving support apparatus for vehicle, and driving support method for vehicle
JP2010224930A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 道路認識装置
US8744194B2 (en) 2009-04-09 2014-06-03 Denso Corporation Boundary line recognition apparatus
KR101490905B1 (ko) * 2012-12-07 2015-02-06 현대자동차 주식회사 차량의 자율 주행 시스템 및 그 방법
JP2015045622A (ja) * 2013-08-29 2015-03-12 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP2015191445A (ja) * 2014-03-28 2015-11-02 トヨタ自動車株式会社 運転支援装置
KR20160056096A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 차선 추정 장치 및 방법
JP6407447B1 (ja) * 2017-01-10 2018-10-17 三菱電機株式会社 走行路認識装置及び走行路認識方法
US10339393B2 (en) 2015-01-21 2019-07-02 Denso Corporation Demarcation line recognition apparatus
WO2021210049A1 (ja) * 2020-04-13 2021-10-21 三菱電機株式会社 走行路認識装置及び走行路認識方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976392B1 (ko) * 2012-11-28 2019-05-09 현대모비스 주식회사 차선 인식 시스템

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296799A (ja) * 1998-04-09 1999-10-29 Fujitsu Ten Ltd 走行路形状認識装置
JP2000182197A (ja) * 1998-12-18 2000-06-30 Nissan Motor Co Ltd 自動車の走行制御装置
JP2004106697A (ja) * 2002-09-18 2004-04-08 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US7725261B2 (en) 2002-09-18 2010-05-25 Fuji Jukogyo Kabushiki Kaisha Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus
JP2004199389A (ja) * 2002-12-18 2004-07-15 Toyota Motor Corp 運転補助システム及び装置
US7142130B2 (en) 2002-12-18 2006-11-28 Toyota Jidosha Kabushiki Kaisha Driving support system for vehicle, driving support apparatus for vehicle, and driving support method for vehicle
JP2004206275A (ja) * 2002-12-24 2004-07-22 Denso Corp 自動運転制御システム
JP2006514382A (ja) * 2003-08-18 2006-04-27 フィコ ミロールス,エセ ア 自動車の外部環境を監視するためのシステム及び方法
JP2005173917A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 分岐路検出装置及び分岐路検出方法
JP4696539B2 (ja) * 2004-11-26 2011-06-08 アイシン精機株式会社 車両の走行支援装置
JP2006151123A (ja) * 2004-11-26 2006-06-15 Aisin Seiki Co Ltd 車両の走行支援装置
JP2010224930A (ja) * 2009-03-24 2010-10-07 Fuji Heavy Ind Ltd 道路認識装置
US8744194B2 (en) 2009-04-09 2014-06-03 Denso Corporation Boundary line recognition apparatus
KR101490905B1 (ko) * 2012-12-07 2015-02-06 현대자동차 주식회사 차량의 자율 주행 시스템 및 그 방법
JP2015045622A (ja) * 2013-08-29 2015-03-12 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP2015191445A (ja) * 2014-03-28 2015-11-02 トヨタ自動車株式会社 運転支援装置
KR20160056096A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 차선 추정 장치 및 방법
US10339393B2 (en) 2015-01-21 2019-07-02 Denso Corporation Demarcation line recognition apparatus
JP6407447B1 (ja) * 2017-01-10 2018-10-17 三菱電機株式会社 走行路認識装置及び走行路認識方法
US11631256B2 (en) 2017-01-10 2023-04-18 Mitsubishi Electric Corporation Travel path recognition apparatus and travel path recognition method
WO2021210049A1 (ja) * 2020-04-13 2021-10-21 三菱電機株式会社 走行路認識装置及び走行路認識方法
JPWO2021210049A1 (ja) * 2020-04-13 2021-10-21

Also Published As

Publication number Publication date
JP3400092B2 (ja) 2003-04-28

Similar Documents

Publication Publication Date Title
JP3400092B2 (ja) 自動車の走行路推定装置
US7532109B2 (en) Vehicle obstacle verification system
JP6410949B2 (ja) 車線認識装置および車線認識方法
US7889116B2 (en) Object detecting apparatus
EP2273233B1 (en) Reliability evaluation device, reliability evaluation method, and reliability evaluation program
US6990216B2 (en) Method and apparatus for estimating inter-vehicle distance using radar and camera
US7474961B2 (en) System to determine the path of a vehicle
EP1255091B1 (en) Curve approach device, and equipped vehicle
JP3352528B2 (ja) 自動車の走行路推定装置
US9592829B2 (en) Method and control unit for robustly detecting a lane change of a vehicle
US20200317192A1 (en) Vehicle control device
US10752223B2 (en) Autonomous emergency braking system and method for vehicle at crossroad
JP2004531424A (ja) 車用の感知装置
US6643588B1 (en) Geometric based path prediction method using moving and stop objects
JP7439079B2 (ja) 自動車に関する制御設定を生成するための方法
JP7371269B2 (ja) 自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
KR20190109623A (ko) 주변 상황 판단을 통한 적응식 정속 주행 시스템 및 방법
JP3296055B2 (ja) 車載カメラを用いた距離検出装置
JP4719996B2 (ja) 物体検知装置
JPH076291A (ja) 自動車の障害物検知装置
JP5974923B2 (ja) 道路端検出システム、方法およびプログラム
JP5103722B2 (ja) 停止車両判別装置
CN109427212B (zh) 车辆行驶检测方法及车辆行驶检测***
JP4683910B2 (ja) 衝突防止支援装置
JP2005009881A (ja) 前方物***置検出装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090221

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100221

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110221

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120221

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130221

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140221

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees