JP2004268845A - 車線逸脱警報装置 - Google Patents
車線逸脱警報装置 Download PDFInfo
- Publication number
- JP2004268845A JP2004268845A JP2003065424A JP2003065424A JP2004268845A JP 2004268845 A JP2004268845 A JP 2004268845A JP 2003065424 A JP2003065424 A JP 2003065424A JP 2003065424 A JP2003065424 A JP 2003065424A JP 2004268845 A JP2004268845 A JP 2004268845A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- white line
- vehicle
- detection
- departure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】車線逸脱警報装置は、車速と所定の逸脱予測時間とを掛け算して、前方注視点位置を算出する前方注視点位置算出手段(ステップS23)と、ヨー角検出手段が検出したヨー角及び前方注視点位置算出手段が算出した前方注視点位置に基づいて、前方注視点位置での前方注視点横変位を算出する前方注視点横変位算出手段(ステップS24)と、前方注視点横変位補正手段が算出した前方注視点横変位に基づいて、自車両が車線逸脱傾向になるか否かを判定する車線逸脱傾向判定手段(ステップS50)と、自車線の両側の車線区分線のうちの片方の車線区分線しか検出できていない場合、前方注視点横変位の算出においてヨー角が及ぼす影響が小さくするように、逸脱予測時間を変更する前記判定基準変更手段(ステップS40)とを備える。
【選択図】 図10
Description
【発明の属する技術分野】
本発明は、路面上の走行車線の両側部を仕切る境界線を撮像して、その境界線の撮像結果に基づいて、車両が走行車線から逸脱するときにその報知をする車線逸脱警報装置に関する。
【0002】
【従来の技術】
従来、車両の車線逸脱警報装置として、例えば特許文献1に開示されている装置が知られている。この車線逸脱警報装置は、車両が走行車線から逸脱したときに、これを警報等により運転者に報知して注意を促すように構成されている。
具体的には、車線逸脱警報装置は、路面上の走行車線の両側部を仕切る境界線を撮像する撮像手段と、この撮像手段で撮像した画像を処理することにより走行車線内における自車両の道路に対するヨー角を求めるヨー角検出手段(ヨー角推定手段)と、撮像手段で撮像した画像に基づいて前方道路曲率を推定する手段と、車両の走行状態から走行曲率を推定する手段と、これら手段からの情報に基づいて自車両の位置と車線との関係を推定して、自車両が境界線を横切って走行車線から逸脱し或いはその可能性があるときに、これを運転者に報知する報知手段とで構成されている。
このような車線逸脱警報装置により、車両が走行車線を逸脱してしまうことを未然に回避できる。
【0003】
【特許文献1】
特開2002−193055号公報
【0004】
【発明が解決しようとする課題】
前述したように撮像手段により走行車線の両側部の境界線を撮像して、その撮像結果を利用して車線の逸脱を予測する構成の場合、白線が片側だけにしかない場合には、車両位置の推定誤差が大きくなり、誤警報が発生し易くなるといった問題があった。例えば、白線が片側だけにしかない場合、車両のピッチングやその他の影響でヨー角推定値が誤推定されて大きく変動してしまい、この結果、車両位置の推定誤差が大きくなり、誤警報が発生し易くなるといった問題があった。
【0005】
なお、ここで白線が片側だけにしかない場合とは、高速道路のように、分流、又は合流付近のように走行車線の片側だけにしか白線がない場合や、また特にBotts Dotsやかすれなどにより走行車線にペイントされている白線検出点(白線候補点)数が少なくなり、片側(左右どちらか)の白線が非認識状態となるような場合がある。
【0006】
一方、片側又は両側の白線の非検出状態が所定時間続いた場合には警報を停止させることも考えられる。しかし、システムの作動時間が低下し、商品としての価値が著しく低下するといった問題が生じる。
また、警報の作動タイミングの基準として用いる閾値自体を最初から広く設定し、警報の感度を最初から弱くしておくといった方法も考えられる。しかし、このような方法では、誤警報は減少するものの、警報タイミングが遅くなるという問題が生じる。
そこで、本発明は、前述の問題に鑑みてなされたものであり、白線が片側だけしか検出できないような場合でも、誤警報の頻度を下げることができる車線逸脱警報装置の提供を目的とする。
【0007】
【課題を解決するための手段】
前述の問題を解決するために、本発明に係る車線逸脱警報装置は、車線区分線に基づく自車両の車線逸脱傾向の判定結果に基づいて車線逸脱傾向についての報知を行う車線逸脱警報装置であり、車線区分線検出手段による車線区分線の検出状態に基づいて、車線区分線に基づく自車両の車線逸脱傾向の判定基準を判定基準変更手段により変更している。
すなわち、車線区分線の検出状態に応じて判定基準を設定して、これにより、車線区分線の検出状態に応じて車線逸脱傾向の報知を作動させるようにしている。
【0008】
【発明の効果】
本発明によれば、車線区分線の検出状態に応じて車線逸脱傾向の報知が作動するので、白線が片側だけにしかない場合でも、その場合に応じて車線逸脱傾向の報知が作動するようになり、これにより、白線が片側だけにしかない場合でも、車線逸脱傾向の報知の誤警報の頻度を下げることができる。
【0009】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
第1の実施の形態は、車両の車線逸脱警報装置である。図1は、その車線逸脱警報装置の構成を示す。
車線逸脱警報装置は、この図1に示すように、走行路認識カメラ1、制御コントローラ2、車速センサ4、操舵角センサ5及び警報器7を備えている。
【0010】
走行路認識カメラ1は、図2中(A)及び(B)に示すように、室内のフロントウィンドウの上部であって、車幅方向中央位置に取り付けられている。レンズの光軸と車両中心線とのヨー角が零、レンズの光軸と車両中心線とのピッチ角が所定値αになるように取り付けられている。この走行路認識カメラ1は、車両10の前方の数m〜数10m先の路面を撮影するとともに、その撮影した画像に基づいて自車両と走行中の車線区分線との相対的な位置関係を検出する。この走行路認識カメラ1は、撮像部に例えばCCD(Charge Coupled Device)素子を備えている。
【0011】
具体的には、走行路認識カメラ1は、先ずCCDにより撮影した画像データを得る。そして、走行路認識カメラ1は、画像処理機能により、撮像した画像を処理して道路上の白線の検出等を行う。そして、走行路認識カメラ1は、画像処理機能(或いは演算処理機能)により、その道路上の実際の白線の検出結果と、道路形状及び車両挙動を表す複数のパラメータ(以下、道路パラメータという。)を用いて道路白線の形状を数学的に表現した白線モデルとが一致するように、当該道路パラメータを経時で更新させていくことで、道路形状及び車両挙動(道路パラメータ)を推定している。走行路認識カメラ1は、推定した道路パラメータを制御コントローラ2に出力する。
【0012】
ここで、道路パラメータは、車線中心線に対する自車の重心点横変位yr、車線中心線に対する自車のヨー角φr、車両のピッチ角η、走行路認識カメラ1の路面からの高さh、道路曲率(曲率半径の逆数)ρ及び走行車線幅w等である。
なお、走行路認識カメラ1の処理内容については後で詳述する。
車速センサ4は、変速機の出力側の回転数や車輪の回転数を計測することで車速を検出する。車速センサ4は、検出した車速を車速検出信号として制御コントローラ2に出力する。
【0013】
操舵角センサ5は、運転者の操舵状況を検出するためのセンサである。具体的には、操舵角センサ5は、ステアリングホイールと一体で回転する図示しないステアリングシャフトの回転変位を直接又はギヤ機構等により増幅した後、ロータリエンコーダやポテンショメータ等の角度検出機構によって操舵角検出信号として検出している。操舵角センサ5は、その検出した操舵角検出信号を制御コントローラ2に出力する。
【0014】
制御コントローラ2は、車両用逸脱警報装置を構成する各部の制御を行う。
具体的には、制御コントローラ2は、車速センサ4が検出した車速及び操舵角センサ5が検出した現在のステアリングホイールの操舵角と、走行路認識カメラ1から入力される道路パラメータとに基づいて所定時間経過後の自車両の車線からの逸脱傾向を予測する。ここで、前記所定時間とは、現在走行位置から所定位置までに至る時間である。そして、制御コントローラ2は、前記所定時間経過後の自車両の車線からの逸脱傾向を予測して、自車両の走行状況を監視しており、前記逸脱傾向の予測結果から自車両が車線から逸脱する可能性が高くなっていると判定した場合、警報器7に駆動信号を出力する。
【0015】
なお、制御コントローラ2が実行するこのような走行状況監視処理については後で詳述する。
警報器7は、ブザー、オーディオ装置、操舵アクチュエータ、メーター表示装置等のように、運転者の視覚、聴覚或いは触覚等に対して刺激を与える機能を有するものである。この警報器7が警報音出力やステアリングホイールへの振動付与、或いは警報表示等をすることで、車両が車線から逸脱する可能性が高くなっていることを運転者に報知している。
【0016】
このように、車両用逸脱警報装置は、前記所定時間経過後の自車両の車線からの逸脱傾向を予測して、自車両の走行状況を監視し、運転者が無意識のうちに走行車線を逸脱しそうな場合、運転者の視覚、聴覚或いは触覚等に対して刺激を与えて警報することで、運転者に効果的に注意を促そうとするものである。
次に走行路認識カメラ1での処理を説明する。
【0017】
図3は、走行路認識カメラ1で実行される道路白線認識処理の処理手順を示す。
先ず、ステップS1において、前記道路パラメータを初期設定する。
ここで、図4に走行路認識カメラ1により撮像される画面及びその画面座標系を示す。この図4に示すような画面座標系において、白線モデルを道路パラメータを用いて下記(1)式及び(2)式として表す。
【0018】
x={a−0.5e}(y−d)+b/(y−d))+c ・・・(1)
x={a+0.5e}(y−d)+b/(y−d))+c ・・・(2)
ここで、(1)式は車両からみて右方向に対応する式であり、(2)式は車両からみて左方向に対応する式である。また、a〜eは道路パラメータであり、路面からの走行路認識カメラ1の高さを一定とすると、この道路パラメータa〜eは、次のように、道路及び白線の形状又は車両挙動に対応するものとなる。
【0019】
aは車線内の自車両の横変位量ycrに対応し、bは道路の曲率ρに対応し、cは自車両(走行路認識カメラ1の光軸)の道路に対するヨー角φrに対応し、dは自車両(走行路認識カメラ1の光軸)の道路に対するピッチ角ηに対応し、eは道路の車線幅Wに対応する。
なお、初期状態では、道路及び白線の形状や車両挙動は不明であるから、各道路パラメータには、例えば中央値に相当する値を初期値として設定する。例えば、車線内の自車両の横変位量ycrに対応する道路パラメータaに車線中央を設定し、道路曲率ρに対応する道路パラメータbに直線の値を設定し、車線に対するヨー角φrに対応する道路パラメータcに0°に設定し、車線に対するピッチ角度ηに対応する道路パラメータdに停止状態のαを設定し、車線幅wに対応する道路パラメータeに道路構造令に示される高速道路の車線幅を設定する。
【0020】
具体的には、道路パラメータa,b,c,d,eを次のように与ている。
車両に固定された実座標系X(車両の左右方向)、Y(車両の上下方向)、 Z(車両の前後方向)の任意の点を画面座標系x,yに投影した場合、当該画面座標系x,yは下記(3)式として与えられる。
x=−(f/Z)X、y=−(f/Z)Y ・・・(3)
ここで、fはレンズパラメータであり、レンズの焦点距離に対応した係数である。いま、道路曲率ρがあまり大きくなく、かつ道路面は平面であると仮定すると、Z方向(前方)における車両中心線(カメラ中心線)に対する道路白線の座標は(4)式及び(5)式(横方向)、並びに(6)式(上下方向)で与えられる。ただし、前記仮定はモデルの簡略化のためのものであり、モデルの次数を大きくすればより一般的な条件で成立するようになる。
【0021】
X=0.5ρZ2−φrZ−ycr−0.5W ・・・(4)
X=0.5ρZ2−φrZ−ycr+0.5W ・・・(5)
Y=ηZ−h ・・・(6)
ここで、(4)式は車両からみて右方向に対応する式であり、(5)式は車両からみて左方向に対応する式である。そして、前記(3)式及びこの(4)式〜(6)式からX,Y,Zを消去することにより、下記(7)式及び(8)式が得られる。
【0022】
x=(ycr+0.5W))(y+fη)/h+fφr−0.5f2ρh/(y+fη) ・・・(7)
x=(ycr−0.5W))(y+fη)/h+fφr−0.5f2ρh/(y+fη) ・・・(8)
ここで、(7)式は車両からみて右方向に対応する式であり、(8)式は車両からみて左方向に対応する式である。
【0023】
そして、各変数の中で最も変動の小さい車線幅Wを一定として(7)式及び(8)式を用いて各パラメータを正規化することで、自車両の横変位量ycr、道路曲率ρ、ヨー角φr 、ピッチ角η及び車線幅Wを、下記(9)式として得ることができる。
ycr=W・a/e、ρ=2b・e/(f2・h)、φr=c/f、h=W・e ・・・(9)
このように、道路パラメータa,b,c,d,eを与えることができる。前記ステップS1では、このような道路パラメータの初期設定をしているのである。
【0024】
続いてステップS2において、例として示す図5のように、白線候補点を検出するための小領域(検出領域)の大きさの初期設定を行う。例えば、図5に示す例のように、左右の白線に5箇所ずつ、計10箇所の白線候補点検出領域を設定する。
初期設定の際には、前記ステップS1において道路パラメータに初期値を設定して得た白線モデルと、実際の画面上の道路白線との間には大きな開きがあると予想される。このことから、できる限り大きな領域を検出領域として設定することが望ましい。
【0025】
言い換えれば、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられる。このことから、図5と比較してわかるように、図6に示すように検出領域をなるべく小さい領域として設定する。このように、検出領域をなるべく小さい領域として設定すれば、白線以外のものを誤検出する可能性を低くし、さらに処理速度を向上させることができる。
【0026】
続いてステップS3において、走行路認識カメラ1の画像処理機能で得た画像を入力する。
続いてステップS4において、前記ステップS3で画像処理装置2から入力した画像情報の道路画像上に、前記ステップS2で得た白線候補点検出領域を設定する。このとき、前記ステップS2で得た白線候補点検出領域と前記ステップS1の初期設定の道路パラメータ或いは後述のステップS9で補正した道路パラメータによる白線モデルとに基づいて、白線候補点検出領域を設定する。具体的には、図7に示すように、白線モデルがその領域の中心に位置されるように、画像上に白線候補点検出領域を設定する。この図7に示す例では、左右の白線に5個ずつ計10個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化の傾向を取得し、その取得した白線モデルの変化傾向に基づいて、その白線モデルの変化方向でオフセットした位置に白線候補点検出領域を設定してもよい。
【0027】
続いてステップS5において、白線候補点検出領域内での白線候補点の検出を行う。
この白線候補点の検出では、先ず入力画像をsobelフィルター等を通して、微分画像を生成する。次に、白線候補点検出領域の上底の一点と下底の一点とを結んでできる全ての線分に対し、図8に示すように、その線分上の画素の濃度が所定値以上の画素の数を計測する。そして、全ての線分の中で、濃度が前記所定値以上である画素の数が最も多い線分を検出直線とし、その検出直線(線分)の始点と終点とを白線候補点とする。このとき、直線上で検出した所定値以上の濃度の画素数が、検出領域の長さに対する所定の割合よりも少ない場合には、白線候補点が検出されなかったものとみなす。
【0028】
例えば、白線候補点検出領域の長さが15画素で、所定値以上の濃度の画素の数が所定の割合として1/2以上、すなわちこの場合、8画素以上検出されれば、当該白線候補点検出領域で白線候補点が検出されたことになる。この場合、白線候補点検出領域内での線分の始点と終点とを白線候補点の検出結果とする。一方、所定値以上の濃度の画素の数が最も多い線分上における画素数が7画素未満の場合、その白線候補点検出領域において、白線候補点が検出されなかったことになる。
【0029】
以上の処理を全ての白線候補点検出領域に対して実行する。例えば、前述したように左右の白線に5個ずつで計10個の白線候補点検出領域を設定した場合には、その10個の白線候補点検出領域で以上のような処理を実行する。
なお、このとき、白線候補点の検出の有無を判断するための検出領域の長さに対する前記所定の割合は、全ての領域に対して同一に設定してもよく、白線候補点検出領域毎に設定してもよい。また、前記画素の濃度の所定値も全ての検出領域に対して同一としてもよく、白線候補点検出領域毎に変えてもよい。
【0030】
続いてステップS6において、全ての白線候補点検出領域で検出した白線候補点の数が所定数以上か否かを確認する。ここで、その白線候補点の数が所定数よりも少ない場合、白線候補点検出領域内に道路白線が含まれていなかったと判断し、前記ステップS2へ戻り、前述の白線候補点検出領域の大きさの初期設定をする。一方、白線候補点の点数が所定数以上の場合、ステップS7に進む。
【0031】
ステップS7では、図9に示すように、検出した白線候補点と前回の処理で求めた白線モデル上の点とのずれ量を各点毎に算出する。
続いてステップS8において、各点のずれ量に基づいて道路パラメータの変動量△a〜△eを算出する。この変動量の算出方法は、例えば、特開平8−5388号公報に示されるように最小二乗法により算出する方法を用いる。
【0032】
続いてステップS9において、前記ステップS8で算出した道路パラメータの変動量Δa〜Δeを用いて、道路パラメータa〜eを補正する。例えば、前記(1)式や(2)式に示す白線モデルの場合には、下記(10)式により道路パラメータa〜eを補正する。
a=a+Δa、b=b+Δb、c=c+Δc、d=d+Δd、e=e+Δe ・・・(10)
そして、このように変動量Δa〜Δeで補正した道路パラメータa〜eを新たな白線モデルの道路パラメータa〜eとし、メモリ等の所定の記憶領域に記憶するとともに、前記(9)式を用いて道路パラメータa〜eを実際の物理量に変換した値もメモリ等に記憶する。そして、前記ステップS3へ戻り、前述の処理を繰り返し行う。
【0033】
走行路認識カメラ1は以上のような処理を行う。そして、このような処理で走行路認識カメラ1により検出した白線モデルの道路パラメータa〜eが制御コントローラ2に出力される。そして、制御コントローラ2では、道路パラメータa〜eに基づいて、自車両の走行状況に応じて警報を発生させる走行状況監視処理を行う。
【0034】
なお、ここで、前述した道路パラメータa〜eの演算について説明を加えておく。詳しくは特開平8−005388号公報で開示されているが、以下の説明は、その概略になる。
路面画像上の道路構造が時間軸に対して滑らかに変化すると仮定する。そして、前記図9が、前時刻と現時刻とにおける白線の変化を示すものとなる。例えば、50〜100msec間隔で路面画像を取り込み、その取り込んだ路面画像から複数の白線部分を取り出して、x−y座標値を求め、リアルタイムで道路パラメータを推定する。道路パラメータの推定は、1フレーム前の路面画像から求めた前回の白線位置と現在のフレームの白線位置とを比較する手法による。前回求めた道路パラメータa〜eの変動量をΔa〜Δeと仮定すると、路面画像(x,y)におけるi番目の白線のj個目の点xijの微小変動量は、2次以上の項を無視すれば、taylorの定理によって、下記(11)式で表せる。
【0035】
Δxij=A´ijΔa+B´ijΔb+C´ijΔc+D´ijΔd+E´ijΔe
A´ij=∂xij/∂a,B´ij=∂xij/∂b,C´ij=∂xij/∂c,D´ij=∂xij/∂d,E´ij=∂xij/∂e・・・(11)
ここで、添え字iが0又は1という値をとり、添え字jが検出された白線候補点を識別する整数である。ここで、i=0が右白線を示し、i=1が左白線を示すものであるとした場合、前記(1)式及び(2)式となり、前記(1)式及び(2)式は、下記(12)式及び(13)式として示される。
【0036】
x0j={a−0.5e}(y0j−d)+b/(y0j−d))+c ・・・(12)
x1j={a+0.5e}(y1j−d)+b/(y1j−d))+c ・・・(13)
なお、添え字iは、前述したように2値のみになるとは限らず、例えば隣車線の外側の白線まで検出できるような場合には、0〜3の整数値をとるなど、検出しようとする白線によって、設定変更が可能とされている。
【0037】
前記変動量Δa〜Δeの推定には、最小二乗法を用いている。先ず、路面画像(x,y)におけるi番の白線のj個目の点において、1フレーム前の路面画像から求めた前回の白線位置と現在のフレームの白線位置との誤差は、下記(14)として表せる。
白線候補点検出時
Kij=xnewij−xoldij
白線候補点非検出時
Kij=0・・・(14)
ここで、xの添え字newは、xijの値が現在のフレームの値であることを意味し、xの添え字oldは、xijの値が1フレーム前の値であることを意味する。
【0038】
いま、誤差評価関数として、下記(15)式を定義する。
Jtotal=Jmodel+Jsmooth ・・・(15)
ここで、Jmodel及びJsmoothは、下記(16)式及び(17)式として示すことができる。
【0039】
【数1】
【0040】
Jsmooth=SΔaΔa2+SΔbΔb2+SΔcΔc2+SΔdΔd2+SΔeΔe2 ・・・(17)
ここで、整数nを1本の白線に対する白線候補点の数の上限値に設定している。
前記(16)式は、前回の検出結果xij−1と新たに検出された結果xijとの差によって定義される評価誤差関数であり、(16)式中のPijは、白線候補点の確からしさを表す。また、前記(17)式は、パラメータが時間軸方向に滑らかに移動するという仮定を表現した評価差関数であって、Sは重み係数である。
【0041】
そして、前記(15)式に示す誤差評価関数Jtotalの全ての要素は、必ず最小値を持ち、かつ誤差の増加とともに単調に増加する関数であるから、Jtotalの極値を算出すれば、変動量Δa〜Δeが得られる。その変動量Δa〜Δeは下記(18)式の連立方程式を解くことにより求めることができる。
【0042】
【数2】
【0043】
いま、前記(18)式における、誤差評価関数の全ての偏微分は下記(19)式として得られる。
【0044】
【数3】
【0045】
この(19)式の全ての式を連立して、前記(18)のような行列を計算式で記述すると、(20)式のようになる。
【0046】
【数4】
【0047】
ここで、Sw、Sk及びSsは列ベクトルであり、それぞれ、下記(21)式、(22)式及び(23)式として示すことができる。
【0048】
【数5】
【0049】
【数6】
【0050】
【数7】
【0051】
前記(20)式を満足する変動量Δa〜Δeは(21)式及び(23)式の和が逆行列を持つ場合にのみ、下記(24)式を用いて求めることができる。
【0052】
【数8】
【0053】
このように求めた変動量Δa〜Δeを用いて道路パラメータa〜eを補正していき、道路パラメータa〜eを更新していく。
なお、ここでは、最小二乗法による手法を用いてパラメータa〜eを修正した場合について説明したが、拡張カルマンフィルタなどの非線形系に対するパラメータ推定手段などを用いてもよい。
【0054】
以上が、道路パラメータa〜eの演算についての説明である。
次にその制御コントローラ2による走行状況監視処理について説明する。図10は、その走行状況監視処理の処理手順を示す。
先ずステップS21において、新たな白線モデルの道路パラメータとして記憶されている白線モデルの道路パラメータycr、ρ、φrを取り込む。また、右白線非検出フラグflag_r及び左白線非検出フラグflag_lを読み込む。右白線非検出フラグflag_rは、走行路認識カメラ1が右側の白線を検出(撮像)したことを示すフラグであり、右側の白線を検出している場合には“1”になり、右側の白線を検出していない場合には“0”になる。また、左白線非検出フラグflag_lは、走行路認識カメラ1が左側の白線を検出(撮像)したことを示すフラグであり、左側の白線を検出している場合には“1”になり、左側の白線を検出していない場合には“0”になる。
【0055】
続いてステップS22において、車両走行状態データを取り込む。ここで取り込む車両走行状態データは、車速センサ4で検出した車速Vと操舵角センサ5で検出した現在のステアリングホイールの操舵角θとである。
続いてステップS30において、白線非検出頻度の算出処理を行う。図11は、その白線非検出頻度算出処理の処理手順を示す。
先ずステップS31において、白線非検出頻度算出用に用いる頻度算出用時間Tf(sec)を設定する。
【0056】
続いてステップS32において、右白線非検出頻度Frhを算出する。具体的には、現在から過去の前記頻度算出用時間Tfまでの間における右白線非検出フラグflag_rを読み込む。そして、右白線非検出フラグflag_rを用いて、現在から過去の頻度算出用時間Tfまでの間、すなわち所定時間区間における移動平均処理によって、現在から過去の頻度算出用時間Tfまでの間についての右白線非検出頻度Frhを算出する。右白線非検出頻度Frhは、現在から過去の頻度算出用時間Tfまでの間に、右側の白線を検出することができなかった頻度となる。
ここで、演算のサンプリング時間をΔTとすると、右白線非検出頻度Frh(t)は移動平均処理を示す下記(25)式により与えられる。
【0057】
【数9】
【0058】
続いてステップS33において、左白線非検出頻度Flhを算出する。具体的には、現在から過去の前記頻度算出用時間Tfまでの間における左白線非検出フラグflag_lを読み込む。そして、左白線非検出フラグflag_lを用いて、現在から過去の頻度算出用時間Tfまでの間、すなわち所定時間区間における移動平均処理によって、現在から過去の頻度算出用時間Tfまでの間についての左白線非検出頻度Flhを算出する。左白線非検出頻度Flhは、現在から過去の頻度算出用時間Tfまでの間に、左側の白線を検出することができなかった頻度となる。
ここで、演算のサンプリング時間をΔTとすると、左白線非検出頻度Flh(t)は移動平均処理を示す下記(26)式により与えられる。
【0059】
【数10】
【0060】
以上がステップS30における白線非検出頻度算出処理である。このようにステップS30で白線非検出頻度算出処理を行い、図10に示すステップS40に進む。
ステップS40では、走行中の車両の逸脱予測時間Tttlcの設定処理を行う。
ここで、逸脱予測時間Tttlcとは、現在の走行状態(車線に対する車両の横変位やヨー角)に基づいて、逸脱が予測される現時点からの時間である。ここで、規定する逸脱とは、走行車線を区分する白線と車両の前輪が交差するなどして、車両が車線からはみ出すような状態に至る状況をいう。
【0061】
そして、このような逸脱予測時間Tttlcを、警報のタイミングを規定するパラメータとして設定する。これにより、逸脱予測時間Tttlcを警報のタイミングとして用いることで、逸脱予測時間Tttlc後に逸脱が予想されるような場合に警報が作動するようになる。よって、逸脱予測時間Tttlcを基準として、適切なタイミングで車線逸脱の警報を行うことができる。
【0062】
例えば、運転者が警報に気付いてから1.0秒以内に適切な逸脱回避操作を完了できるような場合には、逸脱予測時間Tttlcを1.0秒に設定する。これにより、運転者は、警報に気付いてから逸脱回避操作を行うことで、適切に逸脱回避を完了させることができるようになる。
このような逸脱予測時間Tttlcの設定について、図12を用いて説明する。
【0063】
先ずステップS41において、前記ステップS32及びステップS33で算出した右白線非検出頻度Frh(t)と左白線非検出頻度Flh(t)とのうち、その値が大きい方を判定する。ここで、右白線非検出頻度Frh(t)の方が大きい場合(右白線非検出頻度Frh(t)>左白線非検出頻度Flh(t))、ステップS42に進み、左白線非検出頻度Flh(t)の方が大きい場合、(左白線非検出頻度Flh(t)≧右白線非検出頻度Frh(t))、ステップS43に進む。
【0064】
ステップS42では下記(27)式により逸脱予測時間Tttlcを算出する。
Frh(t)<Floの場合
Tttlc=Tttlc1
Flo≦Frh(t)<Fhiの場合
Tttlc=Tttlc1・((Fhi−Frh(t))/(Fhi−Flo))
Fhi≦Frh(t)の場合
Tttlc=0・・・(27)
ここで、Tttlc1は、0よりも大きい固定値であり、Floは頻度最低値であり、Fhiは頻度最高値である。この(27)式により、右白線非検出頻度Frh(t)が頻度最低値Floよりも小さい場合には、逸脱予測時間Tttlcを固定値Tttlc1に設定する。また、右白線非検出頻度Frh(t)が頻度最低値Flo以上であり、かつ頻度最高値Fhi未満である場合には、その右白線非検出頻度Frh(t)に応じて逸脱予測時間Tttlcを設定する。また、右白線非検出頻度Frh(t)が頻度最低値Flo以上の場合には、逸脱予測時間Tttlcを0に設定する。
【0065】
また、ステップS43では下記(28)式により逸脱予測時間Tttlcを算出する。
Flh(t)<Floの場合
Tttlc=Tttlc1
Flo≦Flh(t)<Fhiの場合
Tttlc=Tttlc1・((Fhi−Flh(t))/(Fhi−Flo))
Fhi≦Flh(t)の場合
Tttlc=0・・・(28)
ここで、前述したように、Tttlc1は、0よりも大きい値の固定値であり、Floは頻度最低値であり、Fhiは頻度最高値である。この(28)式により、左白線非検出頻度Flh(t)が頻度最低値Floよりも小さい場合には、逸脱予測時間Tttlcを固定値Tttlc1に設定する。また、左白線非検出頻度Flh(t)が頻度最低値Flo以上であり、かつ頻度最高値Fhi未満である場合には、その左白線非検出頻度Flh(t)に応じて逸脱予測時間Tttlcを設定する。また、左白線非検出頻度Flh(t)が頻度最低値Flo以上の場合には、逸脱予測時間Tttlcを0に設定する。
【0066】
以上がステップS40における逸脱予測時間設定処理である。
前述したように、撮像画像中の境界部分をなす白線候補点に基づいて、白線の有無を判断ており、そして、その白線の有無の結果が前記右白線非検出頻度Frh(t)や左白線非検出頻度Flh(t)になる。そして、前述したステップS40では、この右白線非検出頻度Frh(t)や左白線非検出頻度Flh(t)に基づいて逸脱予測時間Tttlcを設定している。よって、結果として、撮像画像中の白線候補点に基づいて逸脱予測時間Tttlcが設定されていることになる。
【0067】
このようにステップS40の逸脱予測時間設定処理により左右の白線非検出頻度Frh(t)、Flh(t)に基づいて逸脱予測時間Tttlcを設定し、図10に示すステップS23に進む。
なお、ここでは(27)式や(28)式により、逸脱予測時間Tttlcを右白線非検出頻度Frh(t)や左白線非検出頻度Flh(t)の一次関数として示しているが、これに限定されるものではない。逸脱予測時間Tttlcは左右の白線非検出頻度Frh(t)、Flh(t)の一次関数になることに限らず、逸脱予測時間Tttlcは、左右の白線非検出頻度Frh(t)、Flh(t)が増加するにつれて単調に減少するようなものであれば良い。
【0068】
ステップS23では、前記ステップS40で設定した逸脱予測時間Tttlcを用いて下記(29)式により前方注視点距離Lsを算出する。
Ls=V×Tttlc ・・・(29)
続いてステップS24において、前記ステップS23で算出した前方注視点距離Lsの位置における前方注視点横変位推定値ysを下記(30)式により算出する。
ys=ycr+Lsφr=ycr+(V×Tttlc)φr ・・・(30)
【0069】
この前方注視点横変位推定値ysは、図13に示すように、前方注視点距離Lsの位置における車両の道路中心からの横変位を意味している。ここで前記ステップS23で得た前方注視点距離Lsが車速と逸脱予測時間Tttlcとの積であることから、前方注視点横変位推定値ysは、現在から逸脱予測時間Tttlc後までに車両が走行する横方向の距離(予測距離)を示すものとなる。例えば道路が略直線路であれば、前方注視点横変位推定値ysは、その値が大きい程、車両が車線逸脱傾向にあることを直接的に示すものとなる。しかし、道路が曲線路である場合には、そのまま適用することができない。このようなことから、道路が曲線路の場合、次のような考え方により車線逸脱傾向にあるかどうかを判定する。
【0070】
すなわち、車体横すべり角β(車体の向きと車両の進行方向のずれ)を補正することで、曲線路での車線逸脱傾向を判定する。
図14は、車体横すべり角βを考慮することの理由を説明するための図である。
図14中(A)及び(B)は同じ道路曲率でありながら、どちらの車両も一定旋回状態にあり、かつきれいに車線内中央をラインどりしながら走行して行く場合を示す。また、図14中(B)に示す車両は、図14中(A)に示す車両の車速より高速で走行している。このように、図14中(A)に示す車両と図14中(B)に示す車両とでは車速が違うが、どちらの車両も、一定旋回状態にあり、かつきれいに車線内中央をラインどりしながら走行しており、車線逸脱しないという意味では両者ともに理想的な車両走行状態にある。よって、車両逸脱傾向でみた場合、図14中(A)に示す車両の走行状態と図14中(B)に示す車両の走行状態とは同じく評価する必要がある。
【0071】
例えば、一般的なアンダーステアの特性を持つ車両では、同一車両であっても車速が高速になるに従いコーナのIN側(旋回内側)に車体横すべり角βを持つようになる。
すなわち、図15に示すように、ニュートラルステア特性(図中のNS特性)を持つ車両が一定の実舵角で定常円旋回する場合、速度と共に直線的に旋回角速度が増大する。また、アンダーステア特性(図中のUS特性)を持つ車両であれば、あるところまでは速度と共に旋回角速度も増大するが、ある値以上になることはない。しかし、車両重心点の横すべり角βは、図16に示すように、車速の二乗に比例してその絶対値が増大する。このように、車両重心点の横すべり角βは車両のステア特性の如何にかかわらず速度と共に変化するが、その理由は、車両が走行速度に応じた遠心力と釣り合う横力を得なければならないからである。
【0072】
車両重心点の横すべり角βは、車両の前後方向と車両重心点の進行方向、つまり旋回円の接線方向のなす角であり、定常円旋回における旋回円に対する車両の姿勢を示す。この横すべり角βが速度と共に負となり、その絶対値が増すということは、車両は、速度が増すほど車頭を旋回円の内側にして円旋回をする傾向を強くすることを示すものである。(『自動車の運動と制御(第3刷)』安部正人著、平成8年5月31日山海堂発行のP69〜P70参照)。
【0073】
このようなことから、図14中(A)に示す車両の車速が50〜60km/h、図14中(B)に示す車両の車速が100km/hというように、車速に差がある場合には、前述した前方注視点横変位推定値ysの意味あいが異なるものになる。
このようなことから、続くステップS25において、車体横すべり角βを、例えば、下記(31)式を用いて、車両モデル同定値及び車速V、実操舵角δ、道路曲率ρにより推定している。
【0074】
【数11】
【0075】
また、Iは車両ヨー慣性モーメントであり、mは車両重量であり、lfは重心と前輪車軸間距離であり、lrは重心と後輪車軸間距離であり、Cfは前輪コーナリングパワー(2輪分)であり、Crは後輪コーナリングパワー(2輪分)であり、Vは車速であり、γはヨーレートであり、δは前輪実操舵角であり、βは横すべり角であり、ρは道路曲率である。
【0076】
続いてステップS26において、前方注視点横変位推定値ysを車体横すべり角βを用いて補正する。つまり、前方注視点距離Lsと車体横すべり角βとの積(Ls×β)を前方注視点横変位推定値の補正値として、この補正値(Ls×β)を用いて補正値の前方注視点横変位推定値(車線逸脱の評価点)y´sを下記(32)式により設定する。
【0077】
y´s=ys+Lsβ ・・・(32)
この(32)式は、補正値の前方注視点横変位推定値y´sが、補正前の前方注視点横変位推定値ysから補正値分(Ls×β)だけ変更されていることを意味している。
続いてステップS50において、前記前方注視点横変位推定値y´sと所定の閾値Yth_r及びYth_lとを比較し、自車両が車線逸脱傾向にあるか否かを判定する。
【0078】
図17は、その車線逸脱傾向の判定処理の処理手順を示す。
先ずステップS51において、前方注視点距離Lsの位置における前方注視点横変位推定値y´sと所定の閾値(以下、右側逸脱判定用閾値という。)Yth_rとを比較することで、右車線への逸脱傾向にあるかどうかを判定する。右側逸脱判定用閾値Yth_rは、例えば所定値(固定値)Yth1に設定されている。
【0079】
具体的には、前方注視点横変位推定値y´sが右側逸脱判定用閾値Yth_r未満か否かを判定する。ここで、右側逸脱判定用閾値Yth_rは、予め行われた実験等で得ている値である。例えば、右側逸脱判定用閾値Yth_rは固定値である。
このステップS51で前方注視点横変位推定値y´sが右側逸脱判定用閾値Yth_r未満の場合、右車線への逸脱傾向にあるとして、ステップS52に進み、ステップS51で前方注視点横変位推定値y´sが右側逸脱判定用閾値Yth_r以上の場合、ステップS53に進む。
【0080】
ステップS52では、右用の逸脱警報指令を出力する。そして、当該図17に示す処理を終了する。また、ステップS53では右用の逸脱警報指令を停止する。そして、ステップS54に進む。
ステップS54では、前記前方注視点横変位推定値y´sと所定の閾値(以下、左側逸脱判定用閾値という。)Yth_lとを比較することで、左車線への逸脱傾向にあるかどうかを判定する。左側逸脱判定用閾値Yth_lは、例えば右側逸脱判定用閾値Yth_rと同じ所定値(固定値)Yth1に設定されている。
【0081】
具体的には、前方注視点横変位推定値y´sが左側逸脱判定用閾値Yth_l未満か否かを判定する。ここで、左側逸脱判定用閾値Yth_lは、予め行われた実験等で得ている値である。例えば、左側逸脱判定用閾値Yth_lは固定値である。
このステップS54で前方注視点横変位推定値y´sが左側逸脱判定用閾値Yth_l未満の場合、左車線への逸脱傾向にあるとして、ステップS55に進み、ステップS54で前方注視点横変位推定値y´sが左側逸脱判定用閾値Yth_l以上の場合、ステップS56に進む。
【0082】
ステップS55では、左用の逸脱警報指令を出力する。そして、当該図17に示す処理を終了する。また、ステップS56では右用の逸脱警報指令を停止する。そして、当該図17に示す処理を終了する。
以上が走行状況監視処理についての説明である。
次の作用及び動作を説明する。
【0083】
作用及び動作について、図18に示すタイミングチャートを用いて説明する。
図18中(A)は、走行路認識カメラ1による左側の白線の検出(撮像)状態を示す左白線非検出フラグflag_lの変化を示す。また、図18中(B)は、走行路認識カメラ1による右側の白線の検出(撮像)状態を示す右白線非検出フラグflag_rの変化を示す。
【0084】
本例では、いま、図18中(B)に示すように、右側の白線の検出と非検出とを繰り返している場合を想定する。この場合、図18中(B)に示すように、右白線非検出フラグflag_rは短時間の内に“0”と“1”との値で変動する。
このとき、前記ステップS30の白線非検出頻度算出処理において、所定時間区間における右白線非検出フラグflag_rの移動平均処理により算出した右白線非検出頻度Frhは図18(C)に示すように変化する。本例では、右白線非検出頻度Frhは、右白線非検出フラグflag_rが“0”と“1”とで変動し始めたときに、0から増加し始め、右白線非検出フラグflag_rが“0”と“1”との変動時間がある程度経過したときに、頻度最高値Fhiに達し、その後右白線非検出フラグflag_rの“0”と“1”との変動がなくなるとともに、減少する。
【0085】
そして、前記ステップS40の逸脱予測時間設定処理では、右白線非検出頻度Frh又は左白線非検出頻度Flhに基づいて逸脱予測時間Tttlcを設定する。本例では、右白線非検出頻度Frhの方が高くなっているので、この右白線非検出頻度Frhに基づいて逸脱予測時間Tttlcを設定する。また、前述したように、逸脱予測時間Tttlcを右白線非検出頻度Frhに比例的に算出しているので(前記(27)式)、設定される逸脱予測時間Tttlcは図18中(D)のように変化する。具体的には、逸脱予測時間Tttlcは、右白線非検出頻度Frhが増加し始めると当初の値の固定値Tttlc1から減少し始め、右白線非検出頻度Frhが頻度最高値Fhiに達すると0になり、その後の右白線非検出頻度Frhが減少し始めると増加し始める。
【0086】
そして、前記ステップS23の前方注視点距離算出処理では、前記(29)式により前方注視点距離Lsを算出し、続くステップS24の前方注視点横変位算出処理では、前記(16)式により、その前方注視点距離Lsの位置における前方注視点横変位推定値ysを算出する。
さらに、前方注視点横変位推定値ysを車体横すべり角βを用いて補正する。すなわち、先ず前記ステップS25の車体横すべり角算出処理において、前記(31)式により車体横すべり角βを算出する。続いて、ステップS26において、前記(32)式により前方注視点距離Ls及び車体横すべり角βを用いた前方注視点横変位推定値ysを補正して、前方注視点横変位推定値y´sを得る。
【0087】
そして、前記ステップS50において、前方注視点横変位推定値y´sと所定の閾値Yth_r及びYth_lとを比較し、自車両が車線逸脱傾向にあるか否かを判定する。その判定結果に応じて、右用又は左用の逸脱警報指令を出力する。
次に効果を説明する。
ここで、走行中の車両運動を考える。走行中の車両は常にピッチングやバウンシング運動を伴うものである。ピッチングについては、例えば車両の加減速動作の際に発生する。
【0088】
この場合、前後の車輪には独立に上下方向の外乱が入力されるため、単純な上下方向のバウンス量は比較的安定する。しかし、ピッチ角ηは常に大きな値で変動することになる。このピッチ角ηは、走行路認識カメラ1でスクリーン上(CCD上)に投影される白線の間隔の差となって撮像画像に現れるので、左右の白線が共に検出されている場合に限り、正しく認識される。言い換えれば、左右の白線が共に検出されていない場合には、ピッチ角ηを正しく認識することができなく、この結果、前方注視点横変位ysも大きく変動してしまい、これにより、誤警報の頻度が増加する事態を招く。この理由は次の関係による。
【0089】
ここで、簡単のため、走行路を、曲率が十分に小さく、ほぼ直線と考える。この場合、前記(7)式及び(8)式はそれぞれ下記(33)式及び(34)式となる。
x=(ycr+0.5W))(y+fη)/h+fφr ・・・(33)
x=(ycr−0.5W))(y+fη)/h+fφr ・・・(34)
ここで、(33)式は車両からみて右方向に対応する式であり、(34)式は車両からみて左方向に対応する式である。
【0090】
また、左右の白線の傾きkは下記(35)式及び(36)式として得られる。
k=(x(1)−x(2))/(y(1)−y(2))=(ycr+0.5W))/h ・・・(35)
k=(x(1)−x(2))/(y(1)−y(2))=(ycr−0.5W))/h ・・・(36)
ここで、(35)式は車両からみて右方向に対応する式であり、(36)式は車両からみて左方向に対応する式である。
【0091】
この式は、車線幅W及びカメラ高さhの変動が、車両の横変位ycrの推定精度に影響を与え、ピッチ変動が車両の横変位に影響しないことを示す。また、この式は、車線幅Wとカメラ高さhが正確にわかっていれば片側白線だけの検出で車両の横変位ycrを算出することができることも示す。
そして、前記(33)式〜(36)式に基づいて下記(37)式を得ることができる。
【0092】
x=k(y+fη)+fφr
kη+φr=(x+ky)/f・・・(37)
この式は、左右の白線が共に検出され、かつ走行路認識カメラ1でスクリーン上(CCD上)に投影される白線の傾きが等しくない場合に限り、ピッチ角ηとヨー角φrを正確に算出することができることを示す。すなわち右白線のスクリーン上(CCD上)に投影された傾きをkrとし、左白線のスクリーン上(CCD上)に投影された傾きがklとすると、ピッチ角η及びヨー角φrを下記(38)式として示すことができる。
【0093】
【数12】
【0094】
ここで、片側の白線が非検出の場合、前記(37)式を満足するピッチ角ηとヨー角φrとの組み合わせは無数に存在する。よって、ピッチ角ηとヨー角φrとのいずれかが既知でなければ、ピッチ角ηとヨー角φrとの両方を算出することができない。
以上のような関係から、片側の白線が非検出の場合に、走行時の変動が比較的少ない車線幅Wを例えば片側の白線が非検出になるまでの平均値に固定し、その車線幅Wを用いて道路パラメータを推定したときには、車両の横変位は比較的小さい変動として得られる。一方、片側の白線が非検出状態になっている場合に、ピッチ角ηをある固定値に設定(或いは推定)することも考えられる。例えば片側の白線が非検出状態になる前の平均値に固定(或いは推定)することも考えられる。これにより、道路パラメータを推定することもできるが、実際のピッチ角ηが大きく変動している場合には、その実際のピッチ角と推定(固定)したピッチ角とで誤差が生じ、さらにその誤差がヨー角φrの誤差として直接作用することになる。すなわち、φ^rをヨー角推定値とし、Δηをピッチ角誤差とすると、ヨー角推定値φ^rは、前記(37)式から下記(39)式で記述できる。
【0095】
φ^r=(x+ky)/f−k(η+Δη)=φ^r−kΔη ・・・(39)
これより、片側の白線が非検出状態である場合に、ヨー角φrを確実に推定することは困難であることから、本発明を適用することで、実施の形態では、ヨー角φrを推定しつつも、そのヨー角φrを左右するピッチ角ηが大きく変動する場合には、推定されるヨー角φr(大きく変動するヨー角φr)への前方注視点位横変位ysの影響を小さくしている。
【0096】
ここで、図18中(F)及び図18中(G)は、片側(右側)の白線が非検出状態になった場合の車両の横変位推定値ycr及びヨー角φrを示す。
片側の白線が非検出状態においてピッチングが発生すると、図18中(G)に示すように、そのピッチングの影響でヨー角(ヨー角推定値)φrも変動するようになる。これにより、前方注視点横変位ysも図18中(H)に示すように大きく変動するようになる。よって、ヨー角(ヨー角推定値)φrの変動が大きく、この結果、前方注視点横変位ysも大きく変動することで、誤警報の頻度が増加してしまう。例えば、図18中(H)に示すように、前方注視点横変位ys(或いは補正後の前方注視点横変位y´s)が右側逸脱判定用閾値Yth_r(Yth1)を不要に超えてしまい、この結果、誤警報となってしまう。このような誤警報は、運転者にとって非常に煩わしいものである。
【0097】
これに対して、本発明を適用することで、前記ステップS40に示すように、片側の白線が非検出状態には、すなわち白線非検出頻度が所定の割合を超えている場合には、続くステップS23及びステップS24で前方注視点横変位ysを算出するための逸脱予測時間Tttlcを徐々に小さい値へ変更する。すなわち、前記(30)に示すように、ヨー角φrとの積で前方注視点横変位ysを算出する逸脱予測時間Tttlcを徐々に小さい値へ変更する。
【0098】
これにより、車線逸脱の判定に用いる前方注視点横変位ysの片側白線非検出時に変動の大きいヨー角成分の割合を結果として低下させることができる。このようにすることで、片側白線非検出状態で、特にピッチング等によりヨー角φrが大きく変動してしまうような場合でも、図18中(H)に示すように、前方注視点横変位ysが変動してしまうことを抑制することができる。これにより、誤警報の頻度を下げ、運転者が感じる煩わしさを低減ですることができる。
【0099】
また、前記ステップS40(図12)に示すように、白線非検出頻度に応じて逸脱予測時間Tttlcを設定している。具体的には、白線非検出頻度が高くなるほど逸脱予測時間Tttlcを小さい値に設定している。白線非検出頻度が高くなるほど、推定される車両状態としてのヨー角φrの誤差も大きくなるといえる。よって、この場合、誤警報の頻度も高くなる。このようなことから、白線非検出頻度が高くなるほど逸脱予測時間Tttlcを小さい値に設定するといったように、白線非検出頻度に応じて逸脱予測時間Tttlcを設定することで、誤警報の頻度を最適に低下させることができる。
【0100】
次に第2の実施の形態を説明する。
第2の実施の形態は車両の車線逸脱警報装置である。特に言及しない限り、前述の第1の実施の形態の車線逸脱警報装置と同様な構成とする。
図19は、第2の実施の形態における、制御コントローラ2による走行状況監視処理の処理手順を示す。
【0101】
この図19に示す走行環境監視処理は、前述の第1の実施の形態における図10に示した走行環境監視処理に対応するものである。この図19に示す走行環境監視処理では、第1の実施の形態における図10に示すステップS40の逸脱予測時間設定処理に換えて、ステップS60として横変位閾値修正処理を行い、さらにステップS80として逸脱予測時間設定処理を行っている。
【0102】
ここで、図19に示す走行環境監視処理において、ステップS21、ステップS22、ステップS30、ステップS23〜ステップS26及びステップS50の処理については、前述の第1の実施の形態の処理と同じ処理であり、説明を省略する。
この第2の実施の形態では、ステップS30の白線非検出頻度算出処理に続いてステップS60に進む。
【0103】
ステップS60では、逸脱判定用閾値を修正或いは変更する処理を行う。続いてステップS80において、前方注視点横変位を算出するための逸脱予測時間を変更する処理を行う。
そして、続いて、前述の第1の実施の形態と同様にステップS23〜ステップS26及びステップS50を行う。これにより、車両の逸脱傾向を判定し、その判定結果に基づいて逸脱警報を行う。また、ステップS60及びステップS80の処理を行うことで、 Botts Dotsや、白線のかすれ等で白線候補点の数が減少し、走行路認識カメラ1の白線非検出頻度が長時間高くなっているような場合でも、安定した逸脱警報を確保し、誤警報を減らすことができるようになっている。これにより、運転者に煩わしさを与えてしまうことを抑えることができる。
【0104】
前記ステップS60で行う逸脱判定用閾値修正処理を説明する。図20は、その逸脱判定用閾値修正処理の処理手順を示す。この逸脱判定用閾値修正処理は、前半の処理(ステップS61〜ステップS70)と、後半の処理(ステップS71〜ステップS78)とで大別される。
先ずステップS61において、前記ステップS30で得た右白線非検出頻度Frh(t)が所定値(例えば0.8)よりも大きいか否かを判定する。ここで、右白線非検出頻度Frh(t)が所定値(例えば0.8)よりも大きい場合、ステップS62に進み、右白線非検出頻度Frh(t)が所定値(例えば0.8)以下の場合、ステップS66に進む。
【0105】
ステップS62では、前記ステップS30で得た左白線非検出頻度Flh(t)が所定値(例えば0.8)よりも大きいか否かを判定する。ここで、左白線非検出頻度Flh(t)が所定値(例えば0.8)よりも大きい場合、ステップS63に進み、左白線非検出頻度Flh(t)が所定値(例えば0.8)以下の場合、ステップS64に進む。ステップS63に進む場合とは、左右の白線非検出頻度が共に所定値を超えているような場合である。また、ステップS64に進む場合とは、右白線非検出頻度Frh(t)だけが所定値を超えているような場合である。
【0106】
ここで、前記所定値が0.8である場合について説明しているが、これに限定されないことはいうまでもない。ここでの右白線非検出頻度Frh(t)と所定値との比較や左白線非検出頻度Flh(t)と所定値との比較は、右側白線の検出率或いは左側白線の検出率を判定するためのものなので、そのような白線の検出率が低くなっていることを確実に示す値であれば、前記所定値は0.8以外の値でもよい。例えば、実走行試験を行って最適な値を設定するようにしてもよい。
【0107】
ステップS63では、当該逸脱判定用閾値修正処理の後半で使用する状態切り換え変数caseに3を設定する。そして、ステップS71に進む。
ステップS64では、逸脱予測時間Tttlcが0であるか否かを判定する。ここで、逸脱予測時間Tttlcは、後述するように当該ステップS60の逸脱判定用閾値修正処理の後段で実行するステップS80で算出した逸脱予測時間Tttlcである。すなわち、このステップS64では、全体の処理をいう図19の処理からみて1周期前の処理時にステップS80で算出した逸脱予測時間Tttlcが0であるか否かを判定する。ここで、そのような逸脱予測時間Tttlcが0の場合、ステップS65に進み、逸脱予測時間Tttlcが0でない場合、ステップS71に進む。
【0108】
ステップS65では、状態切り換え変数caseに1を設定する。そして、ステップS71に進む。なお、ステップS64からステップS71に進む場合とは、すなわち逸脱予測時間Tttlcが0でない場合であり、この場合に、状態切り換え変数caseを変更することなくステップS71に移行するようになる。
一方、前記ステップS61において右白線非検出頻度Frh(t)が所定値(例えば0.8)以下の場合に進むステップS66では、前記ステップS30で得た左白線非検出頻度Flh(t)が所定値(例えば0.8)よりも大きいか否かを判定する。ここで、左白線非検出頻度Flh(t)が所定値(例えば0.8)よりも大きい場合、ステップS67に進み、左白線非検出頻度Flh(t)が所定値(例えば0.8)以下の場合、ステップS69に進む。ステップS67に進む場合とは、左白線非検出頻度Flh(t)だけが所定値を超えているような場合である。また、ステップS69に進む場合とは、左右の白線非検出頻度が共に所定値未満である場合である。
【0109】
ステップS67では、逸脱予測時間Tttlcが0であるか否かを判定する。ここで、逸脱予測時間Tttlcは、前記ステップS64で用いている逸脱予測時間Tttlcと同じ値である。すなわち、逸脱予測時間Tttlcは、当該ステップS60の逸脱判定用閾値修正処理の後段で実行するステップS80で算出した逸脱予測時間Tttlcである。すなわち、このステップS67では、全体の処理をいう図19の処理からみて1周期前の処理時にステップS80で算出した逸脱予測時間Tttlcが0であるか否かを判定する。
【0110】
ここで、逸脱予測時間Tttlcが0の場合、ステップS68に進み、逸脱予測時間Tttlcが0でない場合、ステップS71に進む。
ステップS68では、状態切り換え変数caseに2を設定する。そして、ステップS71に進む。なお、ステップS67からステップS71に進む場合とは、すなわち逸脱予測時間Tttlcが0でない場合であり、この場合に、状態切り換え変数caseを変更することなくステップS71に移行するようになる。
【0111】
一方、ステップS69では、白線の検出状況が回復しているかどうかを判定する。具体的には、ステップS69では、右白線非検出頻度Frh(t)が所定値(例えば0.5)未満であるか否かを判定し、さらに左白線非検出頻度Flh(t)が所定値(例えば0.5)未満であるか否かを判定する。ここで、右白線非検出頻度Frh(t)が所定値(例えば0.5)未満であり、かつ左白線非検出頻度Flh(t)が所定値(例えば0.5)未満の場合、すなわち左右の白線非検出頻度が共に回復している場合、ステップS70に進み、そうでない場合、ステップS71に進む。ここでの前記所定値は、前記ステップS61、ステップS62、ステップS66で用いた所定値(0.8)に対してヒステリシスを持たせている。
【0112】
また、前記所定値が0.5である場合について説明しているが、これに限定されないことはいうまでもない。ここでの右白線非検出頻度Frh(t)と所定値との比較や左白線非検出頻度Flh(t)と所定値との比較は、右側白線の検出率或いは左側白線の検出率の回復を判定するためのものなので、そのような白線の検出率が回復していること、又は走行路認識カメラ1の出力信号が安定していることを確実に示す値であれば、前記所定値は0.5以外の値でもよい。例えば、実走行試験を行って最適な値を設定するようにしてもよい。
【0113】
ステップS70では、状態切り換え変数caseを0に設定する。そして、ステップS71に進む。なお、ステップS69からステップS71に進む場合には、状態切り換え変数caseを変更することなくステップS71に移行することになる。
以下に説明するステップS71〜ステップS78では、前述の処理で決定した状態切り換え変数caseの値を判別し、その判定結果に応じた逸脱判定用閾値の設定を行う。
【0114】
すなわち、ステップS71において、状態切り換え変数caseが2よりも大きいか否かを判定する。ここで、状態切り換え変数caseが2よりも大きい場合、ステップS75に進み、状態切り換え変数caseが2以下の場合、ステップS72に進む。
ステップS72では、状態切り換え変数caseが1か否かを判定する。ここで、状態切り換え変数caseが1の場合、ステップS76に進み、状態切り換え変数caseが1でない場合、ステップS73に進む。
【0115】
ステップS73では、状態切り換え変数caseが2か否かを判定する。ここで、状態切り換え変数caseが2の場合、ステップS77に進み、状態切り換え変数caseが2でない場合、ステップS78に進む。
これにより、状態切り換え変数caseが0の場合(case=0)、ステップS74に進むようになり、状態切り換え変数caseが1の場合(case=1)、ステップS76に進むようになり、状態切り換え変数caseが2の場合(case=2)、ステップS77に進むようになり、状態切り換え変数caseが3の場合(case=3)、ステップS75に進むようになる。
【0116】
そして、ステップS75〜ステップS78で、それぞれ逸脱判定用閾値を更新する処理を行う。
すなわち、ステップS75の処理を実施する場合(case=3)は、左右の白線非検出頻度Frh(t)、Flh(t)が高い場合である。この場合に、このステップS75で、右側逸脱判定用閾値Yth_r及び左側逸脱判定用閾値Yth_lの両者に最も大きい値Yth3を設定する。そして、当該図20に示す処理を終了する。
【0117】
また、ステップS76の処理を実施する場合(case=1)は、右白線非検出頻度Frh(t)が高く、かつ逸脱予測時間Tttlcが0の場合である。この場合に、このステップS76で、右側逸脱判定用閾値Yth_rに最も大きい値Yth3を設定し、さらに、左側逸脱判定用閾値Yth_lを変化量Δth1ずつ増加させ、除々に左側逸脱判定用閾値Yth_lを大きい値に修正していく。ここでの左側逸脱判定用閾値Yth_lを増加させる修正については、逸脱判定用閾値Yth2に達するまで左側逸脱判定用閾値Yth_lを除々に増加させる修正となる。ここで、逸脱判定用閾値Yth2は、初期値である、通常の白線検出状態における逸脱判定用閾値Yth1と、この逸脱判定用閾値Yth1よりも大きな値であり、非検出頻度が最も大きい場合の逸脱判定用閾値Yth3との間に設定した逸脱判定用閾値である。
【0118】
ステップS77の処理を実施する場合(case=2)は、左白線非検出頻度Flh(t)が高く、かつ逸脱予測時間Tttlcが0の場合である。この場合に、このステップS77で、左側逸脱判定用閾値Yth_lに最も大きい値Yth3を設定し、さらに、右側逸脱判定用閾値Yth_rを変化量Δth1ずつ増加させ、除々に右側逸脱判定用閾値Yth_rを大きい値に修正していく。ここでの右側逸脱判定用閾値Yth_rを増加させる修正は、前述した左側逸脱判定用閾値Yth_lと同様な処理になる。すなわち、右側逸脱判定用閾値Yth_rを増加させる修正として、逸脱判定用閾値Yth2に達するまで右側逸脱判定用閾値Yth_rを除々に増加させる修正を行う。ここで、逸脱判定用閾値Yth2は、初期値である、通常の白線検出状態における逸脱判定用閾値Yth1と、この逸脱判定用閾値Yth1よりも大きな値であり、非検出頻度が最も大きい場合の逸脱判定用閾値Yth3との間に設定した逸脱判定用閾値である。
【0119】
ステップS78の処理を実施する場合(case=0)は、左右共に白線非検出頻度が低くなっており、よって白線検出状況が安定している場合である。この場合に、このステップS78で、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとの両方をともに変化量Δth2ずつ減少させて、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとを初期の逸脱判定用閾値Yth1に達するまで修正していく。
【0120】
以上のように、ステップS60の逸脱判定用閾値修正処理を行う。
次に、前記ステップS80で行う逸脱予測時間設定処理を説明する。図21は、その逸脱予測時間設定処理の処理手順を示す。
先ずステップS81において、前記ステップS30(ステップS31〜ステップS33)で算出した右白線非検出頻度Frh(t)及び左白線非検出頻度Flh(t)のそれぞれのなかから大きい値を選択し、その選択した右白線非検出頻度Frh(t)と左白線非検出頻度Flh(t)との比較を行う。
【0121】
ここで、右白線非検出頻度Frh(t)が左白線非検出頻度Flh(t)よりも大きい場合(Frh(t)>Flh(t))、ステップS82に進み、右白線非検出頻度Frh(t)が左白線非検出頻度Flh(t)以下の場合(Frh(t)≦Flh(t))、ステップS83に進む。
ステップS83では、下記(40)式により逸脱予測時間目標値Tttlc´を算出する。
【0122】
Frh(t)<Floの場合
Tttlc´=Tttlc1
Flo≦Frh(t)<Fhiの場合
Tttlc´=Tttlc1・((Fhi−Frh(t))/(Fhi−Flo))
Fhi≦Frh(t)の場合
Tttlc´=0・・・(40)
このように逸脱予測時間目標値Tttlc´を算出して、ステップS84に進む。
【0123】
また、ステップS83では下記(41)式により逸脱予測時間Tttlc´を算出する。
Flh(t)<Floの場合
Tttlc´=Tttlc1
Flo≦Flh(t)<Fhiの場合
Tttlc´=Tttlc1・((Fhi−Flh(t))/(Fhi−Flo))
Fhi≦Flh(t)の場合
Tttlc´=0・・・(41)
このように逸脱予測時間目標値Tttlc´を算出して、ステップS84に進む。
【0124】
ステップS84以降では、状態切り換えフラグflag_cの値に応じた処理を行う。ここで、状態切り換えフラグflag_cと処理内容との関係については次のようになる。
状態切り換えフラグflag_c=0の場合、当該逸脱予測時間設定処理において更新した逸脱予測時間Tttlcが逸脱予測時間目標値Tttlc´と一致した後の処理を行う。また、状態切り換えフラグflag_c=1の場合、逸脱予測時間Tttlcを新たに更新せず保持し続ける処理を行う。また、状態切り換えフラグflag_c=2の場合、逸脱予測時間TttlcをΔt1ずつ増加、またはΔt2ずつ減少させるようにして、逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´に徐々に近づける処理を行う。
【0125】
すなわち、ステップS84では状態切り換えフラグflag_cが0か否かを判定する。ここで、状態切り換えフラグflag_cが0の場合、ステップS86に進み、状態切り換えフラグflag_cが0でない場合、ステップS85に進む。
ステップS86では、逸脱予測時間Tttlcが逸脱予測時間目標値Tttlc´と一旦一致した後の処理を行う。具体的には、その後の処理で常に逸脱予測時間Tttlcが逸脱予測時間目標値Tttlc´と一致し続けるように、逸脱予測時間Tttlcに逸脱予測時間目標値Tttlc´を設定して更新していく。そして、ステップS88に進む。
【0126】
ステップS88では逸脱予測時間Tttlcが減少して0に達したか否かを判定する。ここで、逸脱予測時間Tttlcが0の場合、ステップS89に進み、状態切り換えフラグflag_cを1に設定する。後述するように、状態切り換えフラグflag_cが1の場合の処理(ステップS90及びステップS91の処理)では、逸脱予測時間Tttlcを更新することなく逸脱予測時間Tttlcを保持する処理となる。よって、ステップS89で状態切り換えフラグflag_cを1に設定した場合、その後の処理はそのような逸脱予測時間Tttlcの保持を前提とした処理になる。そして、ステップS89の処理の後、当該図21に示す処理を終了する。
【0127】
ステップS85では、状態切り換えフラグflag_cが1か否かを判定する。ここで、状態切り換えフラグflag_cが1の場合、ステップS90に進み、状態切り換えフラグflag_cが1でない場合、すなわち状態切り換えフラグflag_cが2の場合、ステップS87に進む。
ステップS85からステップS90への進む処理は、前記ステップS86の処理のような逸脱予測時間Tttlcを更新することなく、逸脱予測時間Tttlcを保持したまま進む処理をなす。ステップS90では、右側逸脱判定用閾値Yth_r又は左側逸脱判定用閾値Yth_lのどちらかが初期の横変位判定用閾値Yth1に回復したか(Yth_r=Yth1かYth_l=Yth1)否かを判定する。
【0128】
前記ステップS60の逸脱判定用閾値修正処理中のステップS78(case=0)では、白線検出状況が安定した場合、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとの両者を共に変化量Δth2ずつ減少させて、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとの両者を初期の逸脱判定用閾値Yth1に達するまで小さい値に修正している。
【0129】
よって、このステップS90での判定は、このような修正により右側逸脱判定用閾値Yth_r又は左側逸脱判定用閾値Yth_lのどちらかが初期の横変位判定用閾値Yth1に回復したかの判定となる。
ここで、右側逸脱判定用閾値Yth_r又は左側逸脱判定用閾値Yth_lのどちらかが初期の横変位判定用閾値Yth1に回復している場合、状態切り換えフラグflag_cに2を設定する。
【0130】
後述するように、状態切り換えフラグflag_cが2の場合の処理(ステップS87の処理)は、逸脱予測時間Tttlcを変化量Δt1ずつ増加させ、或いは変化量Δt2ずつ減少させて、逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´に徐々に近づける処理になる。よって、前記ステップS91で状態切り換えフラグflag_cを2に設定した場合、その後の処理は、そのような逸脱予測時間Tttlcを変化量Δt1ずつ増加させ、或いは変化量Δt2ずつ減少させて、逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´に徐々に近づける処理になる。そして、ステップS91の処理の後、当該図21に示す処理を終了する。
【0131】
ステップS87では、下記(42)式により逸脱予測時間Tttlcを更新する。
Tttlc≦Tttlc´−Δt1の場合
Tttlc=Tttlc+Δt1
Tttlc´+Δt2≦Tttlcの場合
Tttlc=Tttlc−Δt2
|Tttlc´−Tttlc|<Δt(Δt1又はΔt2)の場合
Tttlc=Tttlc´・・・(42)
このように、条件に応じて、逸脱予測時間Tttlcを変化量Δt1ずつ増加させ、或いは逸脱予測時間Tttlcを変化量Δt2ずつ減少させて、逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´に徐々に近づける処理を行う。なお、|Tttlc´−Tttlc|<Δt(Δt1又はΔt2)の場合のTttlc=Tttlc´にする処理は、そのように逸脱予測時間Tttlcを変化量Δt1ずつ増加させ、或いは逸脱予測時間Tttlcを変化量Δt2ずつ減少させていった場合に、最後に逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´にあわせ込む処理となる。そして、ステップS92に進む。
【0132】
ステップS92では、逸脱予測時間Tttlcが逸脱予測時間目標値Tttlc´に一致したか(Tttlc=Tttlc´)否かを判定する。
逸脱予測時間Tttlcが逸脱予測時間目標値Tttlc´に一致した場合、すなわち前述したように逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´にあわせ込む処理を行った場合、状態切り換えフラグflag_cを0に設定する。これにより、その後の処理は、逸脱予測時間Tttlcを逸脱予測時間目標値Tttlc´で更新する処理になる(前記ステップS84及びステップS86)。
【0133】
以上のように、ステップS80の逸脱予測時間設定処理を行う。
以上のステップS60による横変位判定用閾値修正処理及びステップS80による逸脱予測時間設定処理により、白線非検出頻度が増加しているときには、逸脱予測時間Tttlcを0に近づくように修正していくとともに、逸脱予測時間Tttlcが0になった後で右側逸脱判定用閾値Yth_r及び左側逸脱判定用閾値Yth_lを増加させている。また、白線検出頻度が増加しているときには、右側逸脱判定用閾値Yth_r及び左側逸脱判定用閾値Yth_lが初期の逸脱判定用閾値Yth1になるように修正していくとともに、右側逸脱判定用閾値Yth_r又は左側逸脱判定用閾値Yth_lのうちのどちらかが初期の逸脱判定用閾値Yth1に回復した場合には、逸脱予測時間Tttlcが初期の逸脱予測時間Tttlc1になるように修正している。
【0134】
次の作用及び動作を説明する。
作用及び動作について、図22に示すタイミングチャートを用いて説明する。
図22中(A)は、走行路認識カメラ1で左側の白線の検出(撮像)状態を示す左白線非検出フラグflag_lの変化を示す。また、図22中(B)は、走行路認識カメラ1で右側の白線が検出(撮像)状態を示す右白線非検出フラグflag_rの変化を示す。
【0135】
本例では、図22中(B)に示すように、右側の白線が、ある程度長い時間に渡って非検出状態となっている場合を想定する。この場合、図22中(B)に示すように、右白線非検出フラグflag_rは0の状態がしばらく続く状態になる。
このとき、前記ステップS30の白線非検出頻度算出処理において、所定時間区間における右白線非検出フラグflag_rを移動平均処理して算出した右白線非検出頻度Frhは図22(C)に示すように変化する。本例のように走行路認識カメラ1での右側の白線の非検出状態が続いている場合、図22中(C)に示すように、右白線非検出頻度Frhは1になるまで増加する。
【0136】
また、このとき前記ステップS80の逸脱予測時間設定処理では、右白線非検出頻度Frh又は左白線非検出頻度Flhに基づいて逸脱予測時間Tttlcを設定する。本例では、右白線非検出頻度Frhが高くなっているので、この右白線非検出頻度Frhに基づいて逸脱予測時間Tttlcを設定する。また、前述したように、逸脱予測時間Tttlcを右白線非検出頻度Frhに比例的に算出していることから(前記(40)式)、設定される逸脱予測時間Tttlcは図22中(D)に示すように変化する。具体的には、逸脱予測時間Tttlcは、右白線非検出頻度Frhが増加し始めると当初の値の固定値Tttlc1から減少し始め、右白線非検出頻度Frhが1に達すると0(逸脱予測時間目標値Tttlc´)になる(前記ステップS87)。このようにステップS80の逸脱予測時間設定処理では、前述の第1の実施の形態の前記ステップS40の逸脱予測時間設定処理と同様な処理に、白線非検出頻度Frh、Flhに基づいて逸脱予測時間Tttlcを設定する。なお、第2の実施の形態では、右白線非検出頻度Frh又は右白線非検出頻度Flhに基づいて逸脱予測時間目標値Tttlc´を予め設定し、この設定した逸脱予測時間目標値Tttlc´に逸脱予測時間Tttlcを一致させるようにしており、この点では異なっている。
【0137】
一方、前記ステップS60の逸脱判定用閾値修正処理では、前記ステップS80の逸脱予測時間設定処理で右白線非検出頻度Frh又は左白線非検出頻度Flhに基づいて設定した逸脱予測時間Tttlc(1周期前の値)を参照して、逸脱予測時間Tttlcが0に達した場合、逸脱判定用閾値Yth_r、Yth_lを増加させている(前記ステップS75〜ステップS77)。これにより、白線非検出状態になった直後で間もない段階で、逸脱警報の開始タイミングをなるべく変化させないようにしている。
【0138】
本例では、図22中(E)に示すように、逸脱予測時間Tttlcが0に達した時点で、白線非検出側である右側逸脱判定用閾値Yth_rを最も大きい逸脱判定用閾値Yth3に設定し、また、白線検出状態が維持されている左側右側逸脱判定用閾値Yth_lを、初期値である、通常の白線検出状態における横変位判定用閾値Yth1から前記逸脱判定用閾値Yth2に設定する(前記ステップS76)。
【0139】
そして、前記ステップS60の逸脱判定用閾値修正処理では、左右共に白線非検出頻度が所定値まで低くなった場合、図22中(E)に示すように、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとの両方をともに変化量Δth2ずつ減少させて、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとを初期の逸脱判定用閾値Yth1に達するまで修正する(前記ステップS78)。
【0140】
この結果、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとが初期の逸脱判定用閾値Yth1に達した場合、前記ステップS80の逸脱予測時間設定処理では、図22中(D)に示すように、逸脱予測時間Tttlcを1(逸脱予測時間目標値Tttlc´)まで増加させる修正を行う(前記ステップS87)。
なお、第2の実施の形態では、図19に示すように、ステップS60の逸脱判定用閾値修正処理を行った後に、ステップS80の逸脱予測時間設定処理を行っている。これは、片側の白線の非検出状態から両側の白線の検出状態に回復した場合、逸脱判定用閾値(本例では片側の白線非検状態における白線検出側の逸脱判定用閾値)が、通常の白線検出状態の逸脱判定用閾値Yth1に達したことを確認した後に、逸脱予測時間Tttlcを、両側の白線検出状態で使用する逸脱予測時間Tttlc1へ遷移させるためである。これにより、片側の白線非検出状態から両側の白線検出状態になった場合、図22中(E)に示すように、右側逸脱判定用閾値Yth_rと左側逸脱判定用閾値Yth_lとが初期の逸脱判定用閾値Yth1に回復するようになり、それに続くように、図22中(D)に示すように、逸脱予測時間Tttlcが初期の逸脱予測時間Tttlc1に回復するようになる。
【0141】
以上のように、第2の実施の形態では、白線非検出頻度Frh、Flhが高くなった場合には、前記ステップS80の逸脱予測時間設定処理で逸脱予測時間Tttlcを0に向かい徐々に小さい値に変更し、さらに、逸脱予測時間Tttlcが所定値(本例では0)に達したところで、前記ステップS60の逸脱判定用閾値修正処理で逸脱判定用閾値Yth_r、Yth_lを大きい値に変更している。
【0142】
次に効果を説明する。
走行路認識カメラ1による白線の検出と非検出とを繰り返されるような場合でも、走行路認識カメラ1が白線を検出するたびに、正しい値へ近づく方向に道路パラメータの推定値が修正される処理が行われる。この結果、横変位量ycr、ヨー角φrなどの車両状態量を含む道路パラメータの推定値の誤差として走行路認識カメラ1による白線非検出状態の影響が蓄積されることはない。よって、過渡的に片側の白線非検出状態があっても、誤警報がなされてしまうことはない。
【0143】
しかし、ある程度長い時間に渡って片側の白線非検出状態が続くような場合には、その状況は異なる。
例えば、車速が変化した場合、車速が高くなるほど空気の流れにより発生する車両への力、すなわちエアリフトにより、車両に上向きの揚力が発生する。これにより、車高が変化し、カメラ高さhも変化する。また、車両が加減速動作をした場合、車両前端部の向きは変化する。例えば、加速中には、車両前端部は上方を向き、減速中には、車両前端部は下方を向く。このように、車両の加減速動作により車両前端部の向きが変化した場合、ピッチ角ηとともにカメラ高さhも変化するようになる。
【0144】
このように車速変化や加減速動作をした場合、カメラ高さhが変化してしまうので、ある程度長い時間に渡って片側の白線非検出状態が続いている間には、そのような車速変化や加減速動作によりカメラ高さhが変化することも考慮する必要がある。すなわち、カメラ高さhが変化してしまうと、その変化が道路パラメータの推定値に定常的に影響してしまう。これにより、横変位量ycrの推定値が変化してしまうので、結果として、誤警報の頻度を上げてしまい、運転者が感じる煩わしさを増大させてしまう可能性がある。
【0145】
図22中(F)は、ある程度長い時間に渡って片側の白線の非検出状態が続いたような場合に、車速変化や加減速動作等でカメラ高さhが変化して、その変化分を含んで推定された横変位量ycrの経時変化を示す。また、片側の白線の非検出状態の場合には、第1の実施の形態でも説明したような理由から、図22中(G)に示すように、ヨー角φrの推定値も正しく推定できずに変動している結果にもなる。このような場合に、両側の白線が検出できている場合に使用する逸脱予測時間Tttlc1及び逸脱判定用閾値Yth1に基づいて車線逸脱判定を行うと、図22中(H)に示すように、逸脱判定用閾値Yth1に対して、前方注視点横変位推定値ys(=ycr+(V×Tttlc)φr)は激しく変動し、かつカメラ高さhの変化の影響でその変動幅が大きくなり、その結果、誤警報の頻度は増加してしまう。
【0146】
ここで、逸脱判定用閾値Yth_r、Yth_lをYth1のままとし、逸脱予測時間Tttlcだけを0に向かうように修正することも考えられる。この場合、前方注視点横変位推定値ysの変化は、前述の第1の実施の形態で説明したように、逸脱予測時間Tttlcを修正する前よりも穏やかになり安定する。しかし、前方注視点横変位推定値ysの変化は、横変位推定値ycrの影響を強く受ける。例えば、前記(30)式の関係からもわかるように、逸脱予測時間Tttlcを小さい値に修正したとしても、前方注視点横変位推定値ysに横変位推定値ycrが影響するようになる。この結果、やはり誤警報の発生は避けられない。
【0147】
一方、逸脱予測時間TttlcをTttlc1のままとし、横変位推定値ycrを考慮して、逸脱判定用閾値Yth_r、Yth_lだけを大きな値に修正するようなことも考えられる。この場合、誤警報の頻度を下げることはできる。しかし、この場合、横変位推定値ycrの誤差に起因して発生する誤警報を減らすために逸脱判定用閾値Yth_r、Yth_lを修正するのであるが、その修正により設けた閾値のマージンが、依然として大きく変動するヨー角推定値φrの変動による誤警報を減らすために費やされてしまう。このように、ヨー角推定値φrも変動する場合には、逸脱判定用閾値Yth_r、Yth_lを不要に大きく修正する必要があり、この結果、警報タイミングを適正化するための調整幅が非常に狭くなる。
【0148】
このようなことから、前述したように、第2の実施の形態では、白線非検出頻度Frh、Flhが高くなった場合には、前記ステップS80の逸脱予測時間設定処理で逸脱予測時間Tttlcを0に向かい徐々に小さい値に変更し、さらに、逸脱予測時間Tttlcが所定値(本例では0)に達したところで、前記ステップS60の逸脱判定用閾値修正処理で逸脱判定用閾値Yth_r、Yth_lを大きい値に変更している。
【0149】
これにより、ある程度長い時間に渡って片側の白線の非検出状態が続くような場合でも、その片側非検出状態の初期段階で、前記ステップS80の逸脱予測時間設定処理で逸脱予測時間Tttlcを0に向かい徐々に小さい値に変更し、前方注視点横変位推定値ysに対して、変動の大きいヨー角成分の割合を適切に低下させる。そして、逸脱予測時間Tttlcが所定値(本例では0)に達したところで、前記ステップS60の逸脱判定用閾値修正処理で逸脱判定用閾値Yth_r、Yth_lを大きい値に変更し、結果的に横変位推定値ycrの誤差分を取り除いている。すなわち、第2の実施の形態では、ヨー角推定値φrの変動だけでなく、横変位推定値ycrの誤差に対しても誤警報の頻度を低下させるべく、特に逸脱判定用閾値(横変位判定用閾値)を大きい値に修正している。さらに、横変位推定値ycrに誤差が発生してくる時期を考慮して、その逸脱判定用閾値(横変位判定用閾値)を大きい値に修正するタイミングを白線の片側非検出状態がある程度時間が経過したタイミングにしている。
【0150】
これにより、変動の大きいヨー角推定値による誤警報を防止するとともに、横変位推定値ycrの誤差による誤警報を防止している。これにより、運転者が警報を煩わしく感じてしまうことを防止できる。
また、第2の実施の形態では、両側車線に対応する逸脱判定用閾値Yth_r、Yth_lを修正している。すなわち、白線検出側に対応する逸脱判定用閾値についても修正している。例えば、車両が白線に近いところを走行している場合、車速変化や加減速動作等でカメラ高さhが変動してしまうと、横変位推定値ycrが変動し、結果として、警報の開始と停止とが繰り返され、不要な警報が発生してしまう場合がある。このようなことから、白線検出側に対応する逸脱判定用閾値についても修正することで、走行中のカメラ高さhが変動しても、その影響を減らして、不要な警報の繰り返しを防止している。
【0151】
また、白線検出側に対応する逸脱判定用閾値については、白線非検出側の逸脱判定用閾値よりも小さい値に設定している。これは、白線非検出側においては実際の走行区分線の位置が不定であり、車両がどの位置まで移動したら警報すれば良いか、その判断基準が曖昧であるため、走行区分線の内側での警報を確実に作動しないようにするため、白線非検出側の逸脱判定用閾値の方を大きくしているからである。言い換えれば、白線検出側では、誤警報が発生するとはいえ、白線非検出側と比較すれば、誤警報が発生する頻度は確実に少ないので、白線検出側に対応する逸脱判定用閾値をできるだけ小さい値に抑えることで、本来の警報機能を維持しつつ、不要に警報がなされてしまうことを防止している。
【0152】
なお、片側白線非検出時の逸脱警報の作動タイミングは、両側白線検出時のものに対して若干のズレが生じ、性能は低下するかもしれないが、逸脱警報機能を停止させることなく、運転者が感じる煩わしさを低減できるようになる。
また、前述した(14)式〜(17)式より、非検出の白線候補点の座標値は、変動量Δa〜Δeを算出するための誤差評価関数に影響しないことは明らかである。すなわち、(24)式で算出される変動量Δa〜Δeは、検出される白線位置と、推定される道路パラメータa〜eを用いて白線モデルから求められる白線位置との誤差をなるべく小さくするような修正量となる。そして、非検出の点の座標は不明である場合には、Kij=0にするほかなく、これにより、前記(A14)式中の列ベクトルSkの値に何も影響を与えなくなるので、変動量Δa〜Δeは、検出された白線候補点の座標を用いて算出した値になる。
【0153】
なお、ここで、片側の白線候補点が極端に少ない場合の状態としては、次のような場合が考えられる、
▲1▼ 自車両よりかなり遠い部分の白線候補点しか検出できない場合
▲2▼ 自車両によりかなり近い部分の白線候補点しか検出できない場合
▲3▼ 前記▲1▼と▲2▼との場合の中間部分の白線候補点しか検出できない場合
このような場合には、いずれの場合も誤差評価関数に与える影響の割合が、多くの白線候補点を検出している側へ偏ってしまう。この場合、前記(22)式において列ベクトルSkは、多くの白線候補点を検出している側で算出されるようになる。この結果、前記(24)式で算出される変動量Δa〜Δeも、多くの白線候補点を検出している側の誤差の影響を強く受ける。このように、片側の白線候補点が反対側と比べて極端に少ない場合、検出率が多い側の白線候補点の座標を頼った修正がなされ、この結果、検出率が少ない側の白線検出点は、多くの白線候補点を検出している側の誤差の影響を強く受けるようになり、これにより、道路パラメータは定常的な誤差が生じるようになる。
【0154】
なお、実施の形態では、道路パラメータが時間軸方向に滑らかに移動するように、前記(17)式を誤差評価関数に加えているので、厳密には、白線候補点が非検出であることは、変動量Δa〜Δeに影響する。しかし、時間の経過とともに、非検出であることの影響がゼロに近づくので、非検出側の白線候補点の数が極端に少ない状態がしばらく続けば、変動量Δa〜Δeへの影響は全くなくなる。
【0155】
一方、前述したように、白線モデルにより得た道路パラメータを用いて、前方注視点横変位推定値ysを算出している(前記(30)式参照)。よって、片側の白線候補点が極端に少ない場合に道路パラメータが定常的な誤差が生じるようになるが、注視点横変位推定値ysはその影響を受けて誤差を含むようになる。しかし、両側車線に対応する逸脱判定用閾値Yth_r、Yth_lを修正しているので、誤警報を低減することができる。特に、逸脱判定用閾値Yth_r、Yth_lを、そのような誤差分を考慮して決定すれば、より効果的に誤警報を低減することができる。
【0156】
なお、検出されている白線候補点が0(完全に非検出の状態)でなく、必ず1点以上検出されているのであれば、完全に非検出の状態と比べて、運動道路パラメータが含む定常的な誤差ははるかに小さくなる。よって、そのように誤差分を考慮して逸脱判定用閾値Yth_r、Yth_lを変更する場合でも、極力その変更量を小さくすることができる。この結果、より効果的に誤警報を低減することができる。
【0157】
以上、本発明の実施の形態について説明した。しかし、本発明は、前述の実施の形態として実現されることに限定されるものではない。
すなわち、走行路認識カメラ1の撮像条件設定を変更した場合、逸脱予測時間Tttlcを小さい値に設定してもよい。ここで、撮像条件とは、光環境の変化に対応するために設けられた露光制御、シャッター速度等である。
【0158】
周辺の光環境が変動した場合、走行路認識カメラ1が撮像した画像の輝度レベルも変動する。この結果、車線区分線の検出状態が劣化してしまう場合がある。このようなことから、露光制御、シャッター速度等の設定を変更した場合には、周辺の光環境が変動するものと予測して、予め逸脱予測時間Tttlcを小さい値に設定する。これにより、車線区分線の検出状態が劣化する前の早い時期に、予め逸脱予測時間Tttlcを小さい値に設定することで、片側白線非検出状態に至った場合でも、前方注視点横変位ysが変動してしまうことを早期に抑制することができる。これにより、誤警報の頻度を下げ、運転者が感じる煩わしさを低減ですることができる。
【0159】
また、非検出頻度が高い状態が長い時間維持された場合、非検出側の警報機能を停止させる、すなわち非検出側の車線区分線に基づいた車線逸脱傾向の判定を行わないようにするとともに、その警報機能の停止状態を運転者に報知するようにしてもよい。これにより、車両がどの位置まで移動したら警報すれば良いかの判断基準が定まらない状態では、走行区分線の内側での警報が確実に作動しないようになる。これにより、運転者が煩わしいと感じる不要な警報を防止することができる。また、逸脱警報の非作動状態を確実に運転者に知らせることができる。
【0160】
また、前述の第2の実施の形態では、誤警報の頻度を減少させることを目的に、逸脱判定用閾値Yth_r、Yth_lを修正している。例えば、この逸脱判定用閾値Yth_r、Yth_lを、白線非検出頻度が高いほど、大きい値にしてもよい。 また、前述の実施の形態では、走行路認識カメラ1が撮像機能と画像処理機能とを有している場合について説明している。しかし、これに限定されるものではない。すなわち、画像処理機能については、別の部分により実施するようにしてもよい。例えば、制御コントローラ2が画像処理機能を有し、走行路カメラ1からの撮像画像を制御コントローラ2で画像処理するようにしてもよい。
【0161】
なお、前述の実施の形態の説明において、走行路認識カメラ1の画像処理機能による図3の処理は、前記車線区分線検出手段が検出した自車線の両側の車線区分線に基づいて、自車両のヨー角を検出するヨー角検出手段を実現している。図3の処理では、道路パラメータとしてヨー角φr を得ているからである。
また、制御コントローラ2による図10に示すステップS23の処理は、車速と所定の逸脱予測時間とを掛け算して、前方注視点位置を算出する前方注視点位置算出手段を実現しており、制御コントローラ2による図10に示すステップS24の処理は、前記ヨー角検出手段が検出したヨー角及び前方注視点位置算出手段が算出した前方注視点位置に基づいて、前記前方注視点位置での前方注視点横変位を算出する前方注視点横変位算出手段を実現しており、制御コントローラ2による図10に示すステップS50の処理は、前記前方注視点横変位補正手段が算出した前方注視点横変位に基づいて、自車両が車線逸脱傾向になるか否かを判定する車線逸脱傾向判定手段を実現しており、警報器7は、前記車線逸脱傾向判定手段の判定結果に基づいて、車線逸脱傾向についての報知を行う逸脱傾向報知手段を実現している。
【0162】
また、制御コントローラ2による図10に示すステップS40(図12)の処理は、車線区分線検出手段による車線区分線の検出状態に基づいて、車線区分線に基づく自車両の車線逸脱傾向の判定基準を変更する判定基準変更手段を実現している。具体的には、前記車線区分線検出手段により自車線の両側の車線区分線のうちの片方の車線区分線しか検出できていない場合、前記前方注視点横変位の算出において前記ヨー角が及ぼす影響が小さくするように、前記逸脱予測時間を変更する判定基準変更手段を実現している。
【0163】
なお、前述の実施の形態の説明でもわかるように、白線を検出したこと、白線を検出できないこと、とは、あくまでも撮像画像をもとにした白線の検出処理を基準にしているので、白線が確実にある場合、白線が確実に無い場合のみをさすものではない。
【図面の簡単な説明】
【図1】本発明の実施の形態の車線逸脱警報装置の構成を示すブロック図である。
【図2】車載の走行路認識カメラの状態を示す図である。
【図3】走行路認識カメラ(画像処理機能)の処理手順を示すフローチャートである。
【図4】白線モデルを説明するために使用した図である。
【図5】白線候補点検出領域の初期値の設定方法を説明するために使用した図である。
【図6】既に道路白線が検出されている場合の白線候補点検出領域の初期値の設定方法を説明するために使用した図である。
【図7】撮像した画像上における白線候補点検出領域の設定方法を説明するために使用した図である。
【図8】白線候補点の検出方法を説明するために使用した図である。
【図9】今回検出した白線候補点と前回求めた白線モデル上の点とのずれ量を示す図である。
【図10】前記車線逸脱警報装置の制御コントローラによる走行状況監視処理の処理手順を示すフローチャートである。
【図11】前記制御コントローラによる白線非検出頻度算出処理の処理手順を示すフローチャートである。
【図12】前記制御コントローラによる逸脱予測時間設定処理の処理手順を示すフローチャートである。
【図13】前方注視点横変位推定値ysを説明するために使用した図である。
【図14】曲線路での車線逸脱傾向を判定するために、車体横すべり角βを考慮することの理由を説明するために使用した図である。
【図15】旋回角速度と走行速度との関係を示す特性図である。
【図16】重心点の横すべり角と走行速度との関係を示す特性図である。
【図17】前記制御コントローラによる逸脱判定処理の処理手順を示すフローチャートである。
【図18】作用及び動作の説明のために使用したタイミングチャートを示す図である。
【図19】第2の実施の形態の車線逸脱警報装置の制御コントローラによる走行状況監視処理の処理手順を示すフローチャートである。
【図20】前記第2の実施の形態の制御コントローラによる逸脱判定用閾値修正処理の処理手順を示すフローチャートである。
【図21】前記第2の実施の形態の制御コントローラによる逸脱予測時間設定処理の処理手順を示すフローチャートである。
【図22】第2の実施の形態において、作用及び動作の説明のために使用したタイミングチャートを示す図である。
【符号の説明】
1 走行路認識カメラ
2 制御コントローラ
4 車速センサ
5 操舵角センサ
7 警報器
Claims (9)
- 車線区分線に基づく自車両の車線逸脱傾向の判定結果に基づいて車線逸脱傾向についての報知を行う車線逸脱警報装置において、
車線区分線検出手段による車線区分線の検出状態に基づいて、車線区分線に基づく自車両の車線逸脱傾向の判定基準を変更する判定基準変更手段を備えたことを特徴とする車線逸脱警報装置。 - 前記車線区分線検出手段が検出した自車線の両側の車線区分線に基づいて、自車両のヨー角を検出するヨー角検出手段と、
車速と所定の逸脱予測時間とを掛け算して、前方注視点位置を算出する前方注視点位置算出手段と、
前記ヨー角検出手段が検出したヨー角及び前方注視点位置算出手段が算出した前方注視点位置に基づいて、前記前方注視点位置での前方注視点横変位を算出する前方注視点横変位算出手段と、
前記前方注視点横変位算出手段が算出した前方注視点横変位に基づいて、自車両が車線逸脱傾向になるか否かを判定する車線逸脱傾向判定手段と、
前記車線逸脱傾向判定手段の判定結果に基づいて、車線逸脱傾向についての報知を行う逸脱傾向報知手段と、を備え、
前記判定基準変更手段は、前記車線区分線検出手段により自車線の両側の車線区分線のうちの片方の車線区分線しか検出できていない場合、前記前方注視点横変位の算出において前記ヨー角が及ぼす影響が小さくするように、前記逸脱予測時間を変更することを特徴とする請求項1記載の車線逸脱警報装置。 - 前記判定基準変更手段は、前記車線区分線検出手段による車線区分線の非検出頻度が高いほど逸脱傾向でないとする判定結果を出しやすくなるように、車線区分線に基づく自車両の車線逸脱傾向の判定基準を設定する方向に変更することを特徴とする請求項1又は2に記載の車線逸脱警報装置。
- 前記判定基準変更手段は、前記片方の車線区分線の非検出頻度が高いほど、前記逸脱予測時間の変更量を大きくすることを特徴とする請求項2記載の車線逸脱警報装置。
- 前記車線逸脱傾向判定手段は、前記前方注視点横変位と、自車線の両側の車線区分線に対応する各閾値とを比較して自車両が車線逸脱傾向になるか否かを判定しており、
前記車線区分線検出手段により片方の車線区分線しか検出できていない時間が第1の所定時間続いた場合、前記閾値を変更する閾値変更手段を備えたことを特徴とする請求項2又は4に記載の車線逸脱警報装置。 - 前記閾値変更手段は、前記片方の車線区分線の非検出頻度が高いほど、前記閾値の変更量を大きくすることを特徴とする請求項5記載の車線逸脱警報装置。
- 検出頻度が高い方の車両区分線の当該検出結果を用いて、当該車両区分線位置及び検出頻度が低い方の車両区分線位置を修正する車両線位置予測モデルを備え、前方注視点横変位算出手段が算出する前記前方注視点横変位は、前記車両線位置予測モデルによる車両区分線位置の修正結果に連動し、かつこの連動による変化が誤差となっており、
前記閾値変更手段は、前記修正結果に連動して誤差を含むようになった前方注視点横変位を考慮して、前記閾値を決定していることを特徴とする請求項5又は6に記載の車線逸脱警報装置。 - 前記車線区分線検出手段は、自車線の車線区分線を撮像するもので、その撮像環境に応じて撮像条件設定が可変とされる撮像手段であり、前記判定基準変更手段は、前記撮像手段の撮像条件設定が変更された場合、車線区分線に基づく自車両の車線逸脱傾向の判定基準を変更することを特徴とする請求項1乃至7のいずれかに記載の車線逸脱警報装置。
- 前記車線区分線検出手段により前記自車線の両側の車線区分線のうちの片方の車線区分線しか検出できていない時間が第2の所定時間続いた場合、検出できない方の車線区分線に基づいた車線逸脱傾向の判定を行わないことを特徴とする請求項5乃至8のいずれかに記載の車線逸脱警報装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003065424A JP3922194B2 (ja) | 2003-03-11 | 2003-03-11 | 車線逸脱警報装置 |
US10/790,269 US7091838B2 (en) | 2003-03-11 | 2004-03-02 | Lane deviation alarm system |
DE102004011699.7A DE102004011699B4 (de) | 2003-03-11 | 2004-03-10 | Einrichtung zur Bestimmung einer Fahrspur-Abweichung eines Fahrzeugs |
CNB2004100284334A CN1283498C (zh) | 2003-03-11 | 2004-03-11 | 车道偏差报警***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003065424A JP3922194B2 (ja) | 2003-03-11 | 2003-03-11 | 車線逸脱警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004268845A true JP2004268845A (ja) | 2004-09-30 |
JP3922194B2 JP3922194B2 (ja) | 2007-05-30 |
Family
ID=32923670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003065424A Expired - Lifetime JP3922194B2 (ja) | 2003-03-11 | 2003-03-11 | 車線逸脱警報装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7091838B2 (ja) |
JP (1) | JP3922194B2 (ja) |
CN (1) | CN1283498C (ja) |
DE (1) | DE102004011699B4 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005247231A (ja) * | 2004-03-08 | 2005-09-15 | Hitachi Ltd | 操舵制御装置 |
JP2006113815A (ja) * | 2004-10-14 | 2006-04-27 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
JP2006151123A (ja) * | 2004-11-26 | 2006-06-15 | Aisin Seiki Co Ltd | 車両の走行支援装置 |
JP2008097058A (ja) * | 2006-10-05 | 2008-04-24 | Nissan Motor Co Ltd | 運転感覚調整システム |
US7571053B2 (en) | 2005-10-31 | 2009-08-04 | Mitsubishi Denki Kabushiki Kaisha | Lane deviation prevention apparatus |
JP2009205608A (ja) * | 2008-02-29 | 2009-09-10 | Honda Motor Co Ltd | 車線認識装置、車両及び車線認識用プログラム |
JP2010052716A (ja) * | 2008-07-29 | 2010-03-11 | Nissan Motor Co Ltd | 車両運転支援装置及び車両運転支援方法 |
JP2011118828A (ja) * | 2009-12-07 | 2011-06-16 | Toyota Motor Corp | 車線逸脱防止支援装置 |
JP2011521320A (ja) * | 2008-04-15 | 2011-07-21 | オートリブ エー・エス・ピー・インク | エンハンスト・ビジョン道路検知システム |
WO2014007052A1 (ja) | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム |
US8643723B2 (en) | 2010-02-22 | 2014-02-04 | Denso Corporation | Lane-marker recognition system with improved recognition-performance |
US9406232B2 (en) | 2009-11-27 | 2016-08-02 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus and driving support method |
JP2017111632A (ja) * | 2015-12-16 | 2017-06-22 | トヨタ自動車株式会社 | 情報演算装置 |
JP2018036944A (ja) * | 2016-09-01 | 2018-03-08 | トヨタ自動車株式会社 | 情報提供装置および情報提供方法 |
CN111137286A (zh) * | 2018-10-16 | 2020-05-12 | 安波福技术有限公司 | 车辆车道偏离***以及方法 |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150235094A1 (en) | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
US10110795B2 (en) | 2002-06-04 | 2018-10-23 | General Electric Company | Video system and method for data communication |
EP1516301B2 (de) * | 2002-06-11 | 2017-10-04 | Robert Bosch Gmbh | Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur |
US7522091B2 (en) * | 2002-07-15 | 2009-04-21 | Automotive Systems Laboratory, Inc. | Road curvature estimation system |
US7510038B2 (en) * | 2003-06-11 | 2009-03-31 | Delphi Technologies, Inc. | Steering system with lane keeping integration |
DE10341366A1 (de) * | 2003-09-08 | 2005-04-07 | Scania Cv Ab | Erfassung unbeabsichtigter Fahrbahnabweichungen |
JP3982483B2 (ja) * | 2003-11-13 | 2007-09-26 | 日産自動車株式会社 | 車線逸脱防止装置 |
JP3900162B2 (ja) * | 2004-02-09 | 2007-04-04 | 日産自動車株式会社 | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
US7482916B2 (en) | 2004-03-15 | 2009-01-27 | Anita Au | Automatic signaling systems for vehicles |
US7881496B2 (en) * | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4650079B2 (ja) * | 2004-11-30 | 2011-03-16 | 日産自動車株式会社 | 物体検出装置、および方法 |
DE102004000060A1 (de) * | 2004-12-02 | 2006-06-08 | Ford Global Technologies, LLC, A Subsidiary of Ford Motor Company, Dearborn | Taktile Signalisierung |
JP3912416B2 (ja) * | 2005-05-31 | 2007-05-09 | トヨタ自動車株式会社 | 車両逸脱防止制御装置 |
DE102005033641A1 (de) * | 2005-07-19 | 2007-01-25 | Robert Bosch Gmbh | Anzeigevorrichtung |
US7561032B2 (en) * | 2005-09-26 | 2009-07-14 | Gm Global Technology Operations, Inc. | Selectable lane-departure warning system and method |
US7400236B2 (en) * | 2005-10-21 | 2008-07-15 | Gm Global Technology Operations, Inc. | Vehicular lane monitoring system utilizing front and rear cameras |
DE102006000640A1 (de) | 2006-01-03 | 2007-07-05 | Robert Bosch Gmbh | Verfahren für die Steuerung eines Fahrerassistenzsystems |
US7388475B2 (en) * | 2006-01-19 | 2008-06-17 | Gm Global Technology Operations, Inc. | Lane departure warning and avoidance system with warning modification criteria |
JP4721279B2 (ja) * | 2006-03-29 | 2011-07-13 | 富士重工業株式会社 | 車線追従支援装置 |
US20080080740A1 (en) * | 2006-10-03 | 2008-04-03 | Kaufmann Timothy W | Systems, methods and computer products for lane keeping and handling of non-detected lane markers |
KR100941271B1 (ko) * | 2007-03-30 | 2010-02-11 | 현대자동차주식회사 | 자동차용 차선이탈 방지 방법 |
JP5124875B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
JP5124874B2 (ja) * | 2008-03-12 | 2013-01-23 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
US7843360B2 (en) * | 2008-03-21 | 2010-11-30 | Richard Louis Ponziani | Lane change turn signal appropriate use reminder system |
US8060280B2 (en) | 2008-04-15 | 2011-11-15 | Autoliv Asp, Inc. | Vision system for deploying safety systems |
JP5075152B2 (ja) * | 2009-03-24 | 2012-11-14 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP5601224B2 (ja) * | 2010-03-04 | 2014-10-08 | 株式会社デンソー | 道路形状学習装置 |
JP5350297B2 (ja) * | 2010-03-17 | 2013-11-27 | クラリオン株式会社 | 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム |
US20110301813A1 (en) * | 2010-06-07 | 2011-12-08 | Denso International America, Inc. | Customizable virtual lane mark display |
JP5505183B2 (ja) * | 2010-08-09 | 2014-05-28 | 日産自動車株式会社 | 振動付与構造検出装置及び車両制御装置 |
WO2012068331A1 (en) | 2010-11-19 | 2012-05-24 | Magna Electronics Inc. | Lane keeping system and lane centering system |
KR101814601B1 (ko) * | 2010-12-09 | 2018-01-04 | 삼성전자주식회사 | 택시 안전 귀가 서비스 시스템 및 방법 |
US9542847B2 (en) | 2011-02-16 | 2017-01-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns |
US20120206252A1 (en) * | 2011-02-16 | 2012-08-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Lane departure warning system |
US20120309321A1 (en) * | 2011-05-31 | 2012-12-06 | Broadcom Corporation | Synchronized calibration for wireless communication devices |
US9098751B2 (en) * | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
DE102011109569A1 (de) * | 2011-08-05 | 2013-02-07 | Conti Temic Microelectronic Gmbh | Verfahren zur Fahrspurerkennung mittels einer Kamera |
DE102011081892A1 (de) * | 2011-08-31 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug |
CN103121422A (zh) * | 2011-11-21 | 2013-05-29 | 镁骅科技有限公司 | 行车偏移自动警示装置 |
DE102012215322A1 (de) * | 2012-08-29 | 2014-03-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur |
JP6270102B2 (ja) | 2012-10-10 | 2018-01-31 | 株式会社リコー | 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム |
JP6181925B2 (ja) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
US9351019B2 (en) * | 2012-12-27 | 2016-05-24 | Automotive Research & Testing Center | System for detecting vehicle driving state |
DE102013005248A1 (de) | 2013-03-27 | 2014-10-02 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung für einen Überholassistenten |
DE102013104256A1 (de) | 2013-04-26 | 2014-10-30 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren |
KR101510338B1 (ko) * | 2013-11-22 | 2015-04-07 | 현대자동차 주식회사 | 차량용 차선 이탈 경보 시스템의 검사 장치 |
KR101906951B1 (ko) * | 2013-12-11 | 2018-10-11 | 한화지상방산 주식회사 | 차선 검출 시스템 및 차선 검출 방법 |
US9404761B2 (en) | 2014-05-30 | 2016-08-02 | Nissan North America, Inc. | Autonomous vehicle lane routing and navigation |
US20150345967A1 (en) * | 2014-06-03 | 2015-12-03 | Nissan North America, Inc. | Probabilistic autonomous vehicle routing and navigation |
JP6396714B2 (ja) * | 2014-08-06 | 2018-09-26 | 株式会社デンソー | 物体認識装置 |
US9517777B2 (en) * | 2014-11-06 | 2016-12-13 | Ford Global Technologies, Llc | Lane departure feedback system |
US9946940B2 (en) | 2014-12-18 | 2018-04-17 | Magna Electronics Inc. | Vehicle vision system with adaptive lane marker detection |
US10713506B2 (en) | 2014-12-18 | 2020-07-14 | Magna Electronics Inc. | Vehicle vision system with 3D registration for distance estimation |
JP6076394B2 (ja) * | 2015-04-01 | 2017-02-08 | 三菱電機株式会社 | 車両用操舵装置および車両操舵制御方法 |
US10449899B2 (en) | 2015-05-08 | 2019-10-22 | Magna Electronics Inc. | Vehicle vision system with road line sensing algorithm and lane departure warning |
JP6775285B2 (ja) * | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
US9778654B2 (en) | 2016-02-24 | 2017-10-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for advanced resting time suggestion |
US10055651B2 (en) | 2016-03-08 | 2018-08-21 | Magna Electronics Inc. | Vehicle vision system with enhanced lane tracking |
EP3246210B1 (en) * | 2016-05-17 | 2018-12-26 | Volvo Car Corporation | System and method for activation of warning lights of a vehicle |
JP6293213B2 (ja) * | 2016-08-01 | 2018-03-14 | 三菱電機株式会社 | 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム |
BR112019004582B1 (pt) * | 2016-09-09 | 2023-12-26 | Nissan Motor Co., Ltd | Método e aparelho de controle de deslocamento para um veículo |
US10353393B2 (en) * | 2016-12-29 | 2019-07-16 | Baidu Usa Llc | Method and system for improving stability of autonomous driving vehicles |
US10825270B2 (en) * | 2017-01-10 | 2020-11-03 | Lifepass, Inc. | Vehicular personnel accountability and safety system |
CN109070889B (zh) * | 2017-03-30 | 2021-10-26 | 百度时代网络技术(北京)有限公司 | 自动驾驶车辆的基于减速路缘的方向检测和车道保持*** |
JP6611275B2 (ja) * | 2017-11-17 | 2019-11-27 | 株式会社Subaru | 車両の車線逸脱防止制御装置 |
JP6637946B2 (ja) * | 2017-11-17 | 2020-01-29 | 株式会社Subaru | 車両の車線逸脱防止制御装置 |
JP6637952B2 (ja) * | 2017-12-28 | 2020-01-29 | 株式会社Subaru | 車両の車線逸脱防止制御装置 |
JP6638012B2 (ja) * | 2018-03-16 | 2020-01-29 | 株式会社Subaru | 車両の車線逸脱防止制御装置 |
US10689033B2 (en) * | 2018-03-27 | 2020-06-23 | Subaru Corporation | Vehicle driving assist apparatus |
KR102595897B1 (ko) * | 2018-08-27 | 2023-10-30 | 삼성전자 주식회사 | 차선 결정 방법 및 장치 |
CN110705388B (zh) * | 2019-09-16 | 2022-04-01 | 清华大学 | 一种基于预测反馈的辅助驾驶用目标车辆换道识别方法 |
KR102667741B1 (ko) * | 2019-11-19 | 2024-05-22 | 삼성전자주식회사 | 3차원 객체를 표시하는 방법 및 장치 |
US11781881B2 (en) * | 2019-12-12 | 2023-10-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and apparatus of vehicle guidance |
CN116142228B (zh) * | 2023-04-23 | 2023-07-18 | 天津所托瑞安汽车科技有限公司 | 车道偏离预警方法、装置、设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0479271B1 (en) | 1990-10-03 | 1998-09-09 | Aisin Seiki Kabushiki Kaisha | Automatic lateral guidance control system |
JP3424334B2 (ja) | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | 走行路検出装置 |
AUPO324996A0 (en) * | 1996-10-28 | 1996-11-21 | Cubero, Samuel N. Jr. | Vehicle straying detector and alarm system |
JP3603768B2 (ja) * | 2000-09-06 | 2004-12-22 | 日産自動車株式会社 | 車線逸脱判定装置 |
US6894606B2 (en) * | 2000-11-22 | 2005-05-17 | Fred Forbes | Vehicular black box monitoring system |
JP4779202B2 (ja) | 2000-12-27 | 2011-09-28 | 日産自動車株式会社 | 車両の車線逸脱警報装置 |
JP3690283B2 (ja) * | 2001-01-18 | 2005-08-31 | 日産自動車株式会社 | 車線追従制御装置 |
TWI246665B (en) | 2001-07-12 | 2006-01-01 | Ding-Jang Tzeng | Method for aiding the driving safety of road vehicle by monocular computer vision |
JP3585874B2 (ja) * | 2001-09-04 | 2004-11-04 | 本田技研工業株式会社 | 車両の走行制御装置 |
JP3642310B2 (ja) * | 2001-11-20 | 2005-04-27 | 日産自動車株式会社 | 車線逸脱防止装置 |
JP3606276B2 (ja) * | 2002-11-26 | 2005-01-05 | 日産自動車株式会社 | 車線逸脱防止装置 |
-
2003
- 2003-03-11 JP JP2003065424A patent/JP3922194B2/ja not_active Expired - Lifetime
-
2004
- 2004-03-02 US US10/790,269 patent/US7091838B2/en not_active Expired - Lifetime
- 2004-03-10 DE DE102004011699.7A patent/DE102004011699B4/de not_active Expired - Lifetime
- 2004-03-11 CN CNB2004100284334A patent/CN1283498C/zh not_active Expired - Lifetime
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005247231A (ja) * | 2004-03-08 | 2005-09-15 | Hitachi Ltd | 操舵制御装置 |
JP2006113815A (ja) * | 2004-10-14 | 2006-04-27 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
JP4556608B2 (ja) * | 2004-10-14 | 2010-10-06 | 日産自動車株式会社 | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
JP4696539B2 (ja) * | 2004-11-26 | 2011-06-08 | アイシン精機株式会社 | 車両の走行支援装置 |
JP2006151123A (ja) * | 2004-11-26 | 2006-06-15 | Aisin Seiki Co Ltd | 車両の走行支援装置 |
US7571053B2 (en) | 2005-10-31 | 2009-08-04 | Mitsubishi Denki Kabushiki Kaisha | Lane deviation prevention apparatus |
JP2008097058A (ja) * | 2006-10-05 | 2008-04-24 | Nissan Motor Co Ltd | 運転感覚調整システム |
JP2009205608A (ja) * | 2008-02-29 | 2009-09-10 | Honda Motor Co Ltd | 車線認識装置、車両及び車線認識用プログラム |
JP2011521320A (ja) * | 2008-04-15 | 2011-07-21 | オートリブ エー・エス・ピー・インク | エンハンスト・ビジョン道路検知システム |
JP2010052716A (ja) * | 2008-07-29 | 2010-03-11 | Nissan Motor Co Ltd | 車両運転支援装置及び車両運転支援方法 |
US8655549B2 (en) | 2008-07-29 | 2014-02-18 | Nissan Motor Co., Ltd. | Vehicle driving control apparatus and vehicle driving control method |
US9406232B2 (en) | 2009-11-27 | 2016-08-02 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus and driving support method |
JP2011118828A (ja) * | 2009-12-07 | 2011-06-16 | Toyota Motor Corp | 車線逸脱防止支援装置 |
US8643723B2 (en) | 2010-02-22 | 2014-02-04 | Denso Corporation | Lane-marker recognition system with improved recognition-performance |
WO2014007052A1 (ja) | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム |
US10625675B2 (en) | 2012-07-03 | 2020-04-21 | Clarion Co., Ltd. | Lane departure judgment apparatus, lane departure warning apparatus and vehicle control system using the same |
JP2017111632A (ja) * | 2015-12-16 | 2017-06-22 | トヨタ自動車株式会社 | 情報演算装置 |
US10108865B2 (en) | 2015-12-16 | 2018-10-23 | Toyota Jidosha Kabushiki Kaisha | Information calculation device |
JP2018036944A (ja) * | 2016-09-01 | 2018-03-08 | トヨタ自動車株式会社 | 情報提供装置および情報提供方法 |
CN111137286A (zh) * | 2018-10-16 | 2020-05-12 | 安波福技术有限公司 | 车辆车道偏离***以及方法 |
Also Published As
Publication number | Publication date |
---|---|
DE102004011699A1 (de) | 2004-09-30 |
JP3922194B2 (ja) | 2007-05-30 |
US7091838B2 (en) | 2006-08-15 |
DE102004011699B4 (de) | 2020-01-02 |
CN1530263A (zh) | 2004-09-22 |
CN1283498C (zh) | 2006-11-08 |
US20040183663A1 (en) | 2004-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004268845A (ja) | 車線逸脱警報装置 | |
CN110517521B (zh) | 一种基于路车融合感知的车道偏离预警方法 | |
CN102549631B (zh) | 车辆周围监视装置 | |
US9740942B2 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
JP4005597B2 (ja) | 車両における横ガイド支援方法及びその装置 | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
US8520954B2 (en) | Apparatus for detecting lane-marking on road | |
US6748302B2 (en) | Lane tracking control system for vehicle | |
CN103718224B (zh) | 三维物体检测装置和三维物体检测方法 | |
JP4832489B2 (ja) | 車線判定装置 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
CN110415298B (zh) | 一种用于车道偏离的计算方法 | |
CN109753841B (zh) | 车道线识别方法和装置 | |
JP2005182407A (ja) | 車線逸脱防止装置 | |
CN103383728B (zh) | 使用环视***的全速车道感测 | |
KR101979422B1 (ko) | 카메라 시스템 및 카메라 시스템의 캘리브레이션정보 조정방법 | |
JP5561469B2 (ja) | ヨーレート補正装置、及びその方法 | |
CN103381825A (zh) | 使用多个照相机的全速车道感测 | |
JP3525733B2 (ja) | 道路白線検出装置 | |
JP2007153203A (ja) | 車両用後側方警報装置及びその方法 | |
JP2007299045A (ja) | 車線認識装置 | |
JP6314655B2 (ja) | 標示線検出装置、標示線検出方法 | |
JP4066942B2 (ja) | 車線逸脱防止装置 | |
JP2015221636A (ja) | 車線維持支援装置 | |
JP3930309B2 (ja) | 車両用運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3922194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |