JP3700681B2 - Traveling path detection device - Google Patents
Traveling path detection device Download PDFInfo
- Publication number
- JP3700681B2 JP3700681B2 JP2002177415A JP2002177415A JP3700681B2 JP 3700681 B2 JP3700681 B2 JP 3700681B2 JP 2002177415 A JP2002177415 A JP 2002177415A JP 2002177415 A JP2002177415 A JP 2002177415A JP 3700681 B2 JP3700681 B2 JP 3700681B2
- Authority
- JP
- Japan
- Prior art keywords
- lane marker
- marker candidate
- pitch angle
- lane
- candidate line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、自車両が走行している走行路の形状を検出する走行路検出装置に関し、特に走行路の形状を走行路モデルパラメータで表すのに好適なものである。
【0002】
【従来の技術】
このような走行路検出装置として、例えば特開平6−20189号公報に記載されるものがある。この従来の走行路検出装置では、CCDカメラなどの撮像装置で自車両前方の走行路の状態を撮像し、その撮像内に、自車両が走行している走行車線の両側のレーンマーカーを二本検出し、そのレーンマーカーを用いて、自車両の走行車線における横変位などの走行路モデルパラメータを算出する。具体的には、撮像された自車両前方の走行路にレーンマーカーを検出するための小領域を設定し、各レーンマーカー検出領域内でレーンマーカーの一部をレーンマーカー候補点として検出し、そのレーンマーカー候補点の情報、具体的には座標データを用いて走行路モデルパラメータを算出する。走行路モデルパラメータの算出には、カルマンフィルタ等の状態推定器が用いられる。また、特開平11−261756号公報に記載される走行路検出装置では、前記レーンマーカー候補点を貫いてレーンマーカーの境界とみなせるレーンマーカー候補線を検出し、そのレーンマーカー候補線に含まれるレーンマーカー候補点の情報を用いて走行路モデルパラメータを算出すると共に、そのレーンマーカー候補線の角度が前回値に対して所定値以上数値の離れたものを除去するようにして、走行路と平行でないレーンマーカー候補線を除去するようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、前記従来の走行路検出装置において、単に角度が前回値に対して所定値以上数値の離れたレーンマーカー候補線を除去するだけでは、例えば自車両の対地ピッチ角度の変動や急激な車両挙動によって角度が変化した場合に、本来のレーンマーカー境界とみなせるレーンマーカー候補線まで除去してしまうことになり、各走行路モデルパラメータを正確に算出できない。
【0004】
本発明は、上記課題を解決するため、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを除去し、各走行路モデルパラメータを正確に算出することができる走行路検出装置を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項1に係る走行路検出装置は、自車両前方の走行路を撮像する撮像手段と、前記撮像手段で撮像された画像上に走行路のレーンマーカーの一部をレーンマーカー候補点として検出するレーンマーカー候補点検出手段と、前記レーンマーカー候補点検出手段で検出されたレーンマーカー候補点を貫いて前記レーンマーカーの境界とみなせるレーンマーカー候補線を検出するレーンマーカー候補線検出手段と、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線のうち、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線を対とし、各対のレーンマーカー候補線の情報から対地ピッチ角度を算出するピッチ角度算出手段と、前記ピッチ角度算出手段で算出された対地ピッチ角度に基づいて、前記レーンマーカー候補線検出手段で検出されたレーンマーカー候補線から、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を除去するレーンマーカー候補線限定手段と、前記レーンマーカー候補線限定手段で除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する走行路モデルパラメータ算出手段とを備えたことを特徴とするものである。
【0006】
また、本発明のうち請求項2に係る走行路検出装置は、前記請求項1の発明において、前記レーンマーカー候補線限定手段は、前記ピッチ角度算出手段で算出された対地ピッチ角度のうち、度数の大きいものから所定値以上数値の離れたものに該当する前記レーンマーカー候補線の対を除去することを特徴とするものである。
【0007】
また、本発明のうち請求項3に係る走行路検出装置は、前記請求項1又は2の発明において、前記ピッチ角度算出手段は、前記撮像手段で撮像された画像の鉛直方向の座標が同じレーンマーカー候補線のうち、当該レーンマーカー候補線の鉛直方向の座標に対する水平方向の座標が所定値以下のレーンマーカー候補線を対としないことを特徴とするものである。
【0008】
また、本発明のうち請求項4に係る走行路検出装置は、前記請求項1乃至3の何れかの発明において、前記ピッチ角度算出手段は、前記対のレーンマーカー候補線の情報から算出された対地ピッチ角度が前回の算出値と所定値以上数値の離れたものであるときに当該対地ピッチ角度を除去することを特徴とするものである。
【0009】
【発明の効果】
而して、本発明のうち請求項1に係る走行路検出装置によれば、レーンマーカー候補点を貫き且つレーンマーカーの境界とみなせるレーンマーカー候補線を検出し、それらレーンマーカー候補線のうち、撮像された画像の鉛直方向の座標が同じレーンマーカー候補線を対とし、各対のレーンマーカー候補線の情報から対地ピッチ角度を算出し、それらの算出された対地ピッチ角度に基づいて、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を除去し、除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、自車両前方の走行路の形状を表すための走行路モデルパラメータを算出する構成としたため、自車両の対地ピッチ角度の変動時や急激な車両挙動時にも、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを確実に除去し、除去されなかったレーンマーカー候補線又はそのレーンマーカー候補線に含まれるレーンマーカー候補点の情報から、各走行路モデルパラメータを正確に算出することができる。
【0010】
また、本発明のうち請求項2に係る走行路検出装置によれば、算出された対地ピッチ角度のうち、度数の大きいものから所定値以上数値の離れたものに該当するレーンマーカー候補線の対を除去する構成としたため、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線のみを確実に除去することができる。また、本発明のうち請求項3に係る走行路検出装置によれば、撮像された画像の鉛直方向の座標が同じレーンマーカー候補線のうち、当該レーンマーカー候補線の鉛直方向の座標に対する水平方向の座標が所定値以下のレーンマーカー候補線を対としない構成としたため、算出される対地ピッチ角度の度数が極大値となりやすく、走行路と平行でないか又はほぼ平行でないレーンマーカー候補線の除去が容易になる。
【0011】
また、本発明のうち請求項4に係る走行路検出装置によれば、対のレーンマーカー候補線の情報から算出された対地ピッチ角度が前回の算出値と所定値以上数値の離れたものであるときに当該対地ピッチ角度を除去する構成としたため、自車両の対地ピッチ角度が急変したときなどに、誤った対地ピッチ角度を演算の対象とすることがない。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明の走行路検出装置の一実施形態を示すシステム構成図である。この実施形態の走行路検出装置は、撮像部1及びコントロールユニット2を備えている。このうち、前記撮像部1は、CCDカメラやカメラコントローラ等から構成され、自車両の前方の状態を撮像するものである。また、コントロールユニット2は、マイクロコンピュータ等の演算処理装置を内装し、前記撮像部1で撮像された自車両前方の画像に対し、レーンマーカーを検出するための小領域を設定すると共に、レーンマーカーのエッジ、即ちレーンマーカーと路面との境界を明瞭にするフィルタ処理を施し、前記各検出小領域の中から、最もレーンマーカーらしいレーンマーカーの一部を抽出し、それをレーンマーカー候補点として検出し、それらのレーンマーカー候補点の撮像画像における位置情報から、レーンマーカーで規定される走行車線の曲率B、当該走行車線に対する自車両の横変位A、当該走行車線に対する自車両のヨー角C、自車両のピッチ角D、前記撮像部1のCCDカメラの取付け位置の地上からの高さH等を走行路モデルパラメータとして算出するように構成されている。なお、本実施形態では、CCDカメラ等の撮像部1は、CCD等の撮像機能体が一枚しかない、所謂単眼であることが前提となっている。
【0013】
次に、前記コントロールユニット2で行われる走行路モデルパラメータ算出のための演算処理を、図2のフローチャートに従って説明する。この演算処理は、マイクロコンピュータ等の演算処理装置内で、例えば10msec. 程度に設定された所定のサンプリング時間ΔT毎に、タイマ割込として実行される。
この演算処理では、まずステップS1で前記撮像部1で撮像された自車両前方の撮像画像を読込む。
【0014】
次にステップS2に移行して、図3に示すように、前記ステップS1で読込んだ自車両前方の撮像画像中に、レーンマーカーを検出するための小領域(ウインドウとも記す)を設定する。ここでは、図3に示すように、撮像画面上の平面座標系として、NTSC等のテレビジョン通信方式の画面走査方向に従って、画面左上を原点とし、水平方向左方から右方にx軸、垂直方向上方から下方にy軸をとる直交二次元座標系を設定する。そして、自車両前方の撮像画像中に、レーンマーカーを検出するための小領域(レーンマーカー検出ウインドウ)を設定する。この実施形態では、自車両が走行する走行車線の両側の二本のレーンマーカーに対応するように、画面の左右両側に、五個ずつ、計十個の小領域を設定する。各ウインドウの位置は、後述する手法で算出される走行路モデルパラメータ、つまり前記レーンマーカーで規定される走行車線の曲率B、当該走行車線に対する自車両の横変位A、当該走行車線に対する自車両のヨー角C、自車両のピッチ角D、前記撮像部1のCCDカメラの取付け位置の地上からの高さH、車線幅E0 等に基づいて予め設定される。
【0015】
次にステップS3に移行して、前記ステップS2で設定されたレーンマーカー検出ウインドウ内に、例えばSobelフィルタによる一次空間微分を施して、レーンマーカーと路面との境界、つまりエッジを強調し、図4に示すように、エッジ強調フィルタ処理を施された自車両前方の撮像画像中のレーンマーカー検出ウインドウ内にレーンマーカー候補点を検出する。本実施形態では、レーンマーカーの境界のうち、自車両が走行している走行車線内側の境界を検出対象とする。具体的には、例えば画像中左(座標系ではx座標の値が小さい)側の画素の輝度が右側のそれより大きいときにフィルタ出力が正値であるとしたとき、例えば図4に示すように、走行車線左側のレーンマーカー(図では白線)検出ウインドウでは、フィルタ出力が所定の正値の閾値以上である点(画素)をレーンマーカー候補点とする。逆に、走行車線右側のレーンマーカー検出ウインドウでは、フィルタ出力が所定の負値の閾値以下である点(画素)をレーンマーカー候補点とする。レーンマーカー候補点は、該当する全ての点を選出する。
【0016】
次にステップS4に移行して、前記ステップS3で検出した各レーンマーカー検出ウインドウ内のレーンマーカー候補点に対し、図5、図6に示すように、それらを貫くレーンマーカー候補線を検出する。レーンマーカー候補線は、前記レーンマーカー候補点集合から設定するものであり、ハフ変換や最小自乗法等が挙げられるが、ここではハフ変換の例について説明する。まず、図6に示すように極座標(r,s)を用い、画像中の直線(rWi,sWi)を下記1式で定義する。なお、添字W(W=1,2…)はレーンマーカー検出ウインドウ番号を、添字i(i=1,2…)はレーンマーカー候補線番号を示す。また、直線(rWi,sWi)がレーンマーカー候補点を“貫く”定義は、直線と白線候補点(画素)との距離が単位画素以下であるものとする。
【0017】
【数1】
【0018】
次に、ステップS5に移行して、前記ステップS4で検出されたレーンマーカー候補線上のレーンマーカー候補点数からレーンマーカー候補線を限定する。具体的には、各レーンマーカー検出ウインドウにおいて、前記図6に示す直線(rWi,sWi)が貫くレーンマーカー候補点の数を検出し、例えば図7のように、各レーンマーカー検出ウインドウ毎に用意したマトリックスに、直線(rWi,sWi)と貫かれたレーンマーカー候補点の数(以下、貫通レーンマーカー候補点数とも記す)を記録する。ハフ変換によって得られたレーンマーカー候補線と貫通レーンマーカー候補点数との関係は、例えば或るパラメータ(rWi,sWi)で貫通レーンマーカー候補点数が極大化する傾向を示す。例えば図7では、パラメータ(r00,s00)で極大となり、その周辺は次第に小さな値となる。これは、真のレーンマーカーの境界とみなせるレーンマーカー候補線ほど、貫通レーンマーカー候補点数が多いためであるから、極大となっている直線(rWi,sWi)だけを選出してレーンマーカー候補線を限定する。極大値の絶対値は問わないし、一つのレーンマーカー検出ウインドウ内で何本選出してもよい。なお、ここで限定されるレーンマーカー候補線には、走行路と平行でない、或いはほぼ平行でない直線も含まれている。また、貫通レーンマーカー候補点数が所定値に満たないときには、当該レーンマーカー検出ウインドウにはレーンマーカー候補線がないものと見なす。
【0019】
次にステップS6に移行して、画像上の垂直座標ごとにレーンマーカー候補線をグループ化する。例えば図8のように画像中に3本のレーンマーカー候補線が検出されたものとし、左右のレーンマーカー検出ウインドウw1 〜w6 が同じ垂直座標上に設定されているものとしたとき、例えば第1レーンマーカー検出ウインドウw1 の代表的な垂直座標をy1 とし、図9に示すように当該第1レーンマーカー検出ウインドウw1 における第1レーンマーカー(図では白線)候補線L11と第2レーンマーカー候補線L12とをグループ化し、更に図10に示すように、前記第1レーンマーカー検出ウインドウw1 と同じ垂直座標y1 上の第4レーンマーカー検出ウインドウw4 の第1レーンマーカー候補線L41も同じグループにグループ化する。なお、これらのレーンマーカー候補線L11、L12、L41で必要となる情報は、前記レーンマーカー検出ウインドウw1 、w4 の代表的な垂直座標y1 、当該垂直座標y1 における各レーンマーカー候補線L11、L12、L41の水平座標x11、x12、x41、及び各レーンマーカー候補線L11、L12、L41の傾きdx/dy11、dx/dy12、dx/dy41だけであるから、それらだけの集合をグループ化の対象としてもよい。
【0020】
次にステップS7に移行して、前記ステップS6でグループ化されたレーンマーカー候補線のうち、適宜の二本を組合せて対(図ではペア)を選定する。例えば前記図10のように同等の垂直座標y1 でグループ化された3本のレーンマーカー候補線L11、L12、L41のうち、組合せ可能な二本の対、つまりレーンマーカー候補線L11とレーンマーカー候補線L12の対、レーンマーカー候補線L12とレーンマーカー候補線L41の対、レーンマーカー候補線L41とレーンマーカー候補線L11の対を選定する。なお、ここでも、これらのレーンマーカー候補線L11、L12、L41で必要となる情報は、前記レーンマーカー検出ウインドウw1 、w4 の代表的な垂直座標y1 、当該垂直座標y1 における各レーンマーカー候補線L11、L12、L41の水平座標x11、x12、x41、及び各レーンマーカー候補線L11、L12、L41の傾きdx/dy11、dx/dy12、dx/dy41だけであるから、それらだけの集合をペア選定の対象としてもよい。また、本実施形態では、前記垂直座標における各レーンマーカー候補線の水平座標の差が所定値以下のものをペアとしない。その理由は後段に詳述する。
【0021】
次にステップS8に移行して、前記ステップS7で選定したレーンマーカー候補線のペアから、下記2式に従って対地ピッチ角度、具体的にはCCDカメラの対地ピッチ角度PA を算出する。2式の詳細は後述する。なお、式中のfはCCDカメラのレンズ、つまり焦点距離によって決まるパラメータである。また、添字(p)はペアの一方を、(p−1)はペアの他方を意味する。
【0022】
【数2】
【0023】
また、本実施形態では、前記2式によって算出されるカメラの対地ピッチ角度PA を前回値と比較し、その差の絶対値が所定値以上であるときには、今回、算出された対地ピッチ角度PA をレーンマーカー候補線限定の対象から除去する。つまり、例えば自車両のピッチ角度の変動や急激な車両挙動によって変化する対地ピッチ角度PA を最初から考慮から外し、レーンマーカー候補線を誤って限定しないようにしている。なお、前記所定値には、例えば予め測定された、演算処理のサンプリング周期ΔTにおける最大ピッチ角度変動値を用いることができる。
【0024】
次にステップS9に移行して、前記ステップS8で算出されたCCDカメラの対地ピッチ角度PA からレーンマーカー候補線の限定を行う。ここでは、例えば図11aに示すように、複数のレーンマーカー候補線のペアから算出された対地ピッチ角度に対し、例えば便宜上番号付けされたレーンマーカー候補線のペア番号を度数として累積する。例えば図11aの場合には、CCDカメラの対地ピッチ角度PA が“0°”のとき、レーンマーカー候補線ペア番号の度数が極大となるので、この対地ピッチ角度を中央値とし、これから±0.2°の範囲を許容範囲として(図11bの斜線部)、それ以外のレーンマーカー候補線ペアに該当するレーンマーカー候補線を除去する。例えば、図11bの場合、レーンマーカー候補線ペア番号“10”に該当するレーンマーカー候補線が除去される。換言すれば、度数が極大となる対地ピッチ角度に対し、所定値以上数値の離れた対地ピッチ角度のレーンマーカー候補線ペアに該当するレーンマーカー候補線を除去する。
【0025】
次にステップS10に移行して、前述した走行路モデルパラメータを算出してからメインプログラムに復帰する。例えば走行路上の空間座標系において、前記CCDカメラの撮像レンズの中心を原点とし、車両前方に向かって水平方向右方から左方にX軸、車両の高さ方向上方にY軸、車両前方にZ軸をとる直交三次元座標系を設定する。ここで、簡略化のために、前記撮像画面上の平面座標系(x,y)の原点が、走行路上の空間座標系のZ軸上にあるとすると、走行路上空間座標系から撮像画面上平面座標系への座標変換は下記3式及び4式で行われる。
【0026】
【数3】
【0027】
次に、走行路の平面構造は、一般に直線と曲率一定の曲線、及びこれらを滑らかに結ぶための曲率変化率一定のクロソイド曲線で定義されるが、自車両前方の数十m区間は曲率一定の曲線路又は直線路と見なせる。そこで、走行車線を規定するレーンマーカーの形状を下記5式のように定式化した。また、同様に、縦断構造についてはほぼ一定勾配と見なせるので、下記6式のように定式化した。
【0028】
【数4】
【0029】
本実施形態では、走行車線の車線幅E0 を用いて前述した各種の走行路モデルパラメータを算出するために、カルマンフィルタを用いる。前記3式〜6式から、下記7式が得られる。これは拡張カルマンフィルタを構成する際の出力方程式として用いられ、走行路曲率と車両状態量から撮像画像平面上に定義したy座標値におけるx座標値を算出するものである。なお、式中のjは、自車両が走行する走行車線の左側レーンマーカーでは“0”とし、右側レーンマーカーでは“1”とする。
【0030】
【数5】
【0031】
ここでは、カルマンフィルタによる推定状態量(走行路モデルパラメータ)を、前記走行路曲率B、自車両のピッチ角D、ヨー角C、横変位A、CCDカメラの地上高Hとし、前記レンズ焦点距離によって決まるパラメータf、車線幅E0 を一定値とする。この7式を出力方程式とし、適当な出力方程式を用いてカルマンフィルタを構成し、そのカルマンフィルタを用いて前記各走行路モデルパラメータを算出する手法については、前記特開平6−20189号公報に詳しいので、ここではその詳細な説明を省略する。
【0032】
なお、前記7式には、計5つのパラメータがあり、それら全てを正確に算出するためには、自車両が走行する走行車線の両側のレーンマーカーの夫々で最低一つ、合計で少なくとも5つのレーンマーカー検出点(の画像情報)が必要である。これに対し、ステレオ式、即ちCCDカメラを左右に二つ設けた場合には、互いに等価でない二つの式が与えられるため、片側レーンマーカー検出時でも、前記パラメータを全て正確に算出することができる。
【0033】
次に、前記演算処理によって、走行路に平行でないか又はほぼ平行でないレーンマーカー候補線を適切に除去できる効果について説明する。前述したように、走行路に平行なレーンマーカー候補線の座標、つまり当該レーンマーカー候補線上のレーンマーカー候補点は、前記7式を満足する。そして、前記7式を垂直座標yで微分して下記8式を得る。
【0034】
【数6】
【0035】
前記7式と8式から、前記自車両の横変位Aを除去して下記9式を得る。
【0036】
【数7】
【0037】
ここで、走行路と平行な、二つの異なるレーンマーカー候補線上に、垂直座標yが同じ二つのレーンマーカー候補点が存在するとし、夫々に添字(p)、(p−1)を附して前記9式を示すと、下記10式、11式が得られる。
【0038】
【数8】
【0039】
10式から11式を減じて下記12式が得られる。
【0040】
【数9】
【0041】
前記12式中のピッチ角度Dは、前記CCDカメラの対地ピッチ角度PA と同等なので、これを対地ピッチ角度PA について解くと前記2式が得られる。
従って、二つの異なるレーンマーカー候補線が、何れも走行路と平行であるか又はほぼ並行であれば、前記2式から算出される対地ピッチ角度PA は、凡そ同等の数値となる。逆に、対地ピッチ角度PA が大きく異なるレーンマーカー候補線の組合せは、少なくともいずれか一方が走行路と平行でないか又はほぼ平行でないことになる。従って、極大を示す対地ピッチ角度PA から所定値以上数値の離れたレーンマーカー候補線のペアに該当するレーンマーカー候補線を除去することにより、走行路と平行でない又はほぼ平行でないレーンマーカー候補線を除去することができる。
【0042】
また、前述のように、本実施形態では同じ垂直座標yに対するレーンマーカー候補線の水平座標xが所定値以上数値の離れていないものをペアとしない。前述した2式から、対地ピッチ角度PA が同等であるとき、(x(p) −x(p-1) )の値が小さくなるほど、(dx/dy(p) −dx/dy(p-1) )の値も小さくなる。換言すれば、水平座標x(p) と水平座標x(p-1) の差が小さいレーンマーカー候補線のペアでは、傾きdx/dy(p) も傾きdx/dy(p-1) も高精度である必要がある。しかしながら、同一のCCDカメラで得られるレーンマーカー候補線の傾きdx/dyの精度には限界があるため、水平座標x(p) と水平座標x(p-1) の差が小さいレーンマーカー候補線のペアから算出される対地ピッチ角度PA にはノイズが乗り易い。このようにノイズ成分の混入した対地ピッチ角度PA を用いると、前述のような極大値の選出に悪影響を及ぼす恐れがある。そのため、本実施形態では、本実施形態では同じ垂直座標yに対するレーンマーカー候補線の水平座標xが所定値以上数値の離れていないものをペアとせず、より正確に走行路と平行でない又はほぼ平行でないレーンマーカー候補線を除去できるようにする。
【0043】
以上より、前記撮像部1及び図2の演算処理のステップS1が本発明の撮像手段を構成し、以下同様に、前記図2の演算処理のステップS3がレーンマーカー候補点検出手段を構成し、前記図2の演算処理のステップS4、ステップS5がレーンマーカー候補線検出手段を構成し、前記図2の演算処理のステップS6〜ステップS8がピッチ角度算出手段を構成し、前記図2の演算処理のステップS9がレーンマーカー候補線限定手段を構成し、前記図2の演算処理のステップS10が走行路モデルパラメータ算出手段を構成している。
なお、前記実施形態では、走行路モデルパラメータの算出にカルマンフィルタを用いたが、他の推定装置や最小二乗法等の同定方法を用いて算出するようにしてもよい。
【図面の簡単な説明】
【図1】本発明の走行路検出装置の一実施形態を示す概略構成図である。
【図2】コントロールユニット内で行われる走行路モデルパラメータ算出のための演算処理のフローチャートである。
【図3】レーンマーカー検出小領域の説明図である。
【図4】レーンマーカー候補点の説明図である。
【図5】レーンマーカー候補線の説明図である。
【図6】レーンマーカー候補線の記述の仕方の説明図である。
【図7】貫通レーンマーカー候補点数に基づいてレーンマーカー候補線を限定するためのマトリックスの説明図である。
【図8】検出されたレーンマーカー候補線の説明図である。
【図9】レーンマーカー候補線のグループ化の説明図である。
【図10】レーンマーカー候補線のグループ化の説明図である。
【図11】対地ピッチ角度に基づいてレーンマーカー候補線を限定するための説明図である。
【符号の説明】
1は撮像部
2はコントロールユニット[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a travel path detection device that detects the shape of a travel path on which the host vehicle is traveling, and is particularly suitable for representing the shape of a travel path with a travel path model parameter.
[0002]
[Prior art]
An example of such a travel path detection device is disclosed in Japanese Patent Application Laid-Open No. 6-20189. In this conventional travel path detection device, the state of the travel path ahead of the host vehicle is imaged by an imaging device such as a CCD camera, and two lane markers on both sides of the travel lane in which the host vehicle is traveling are included in the image. Detecting and using the lane marker, a travel path model parameter such as a lateral displacement in the travel lane of the host vehicle is calculated. Specifically, a small region for detecting a lane marker is set on the captured road ahead of the host vehicle, and a part of the lane marker is detected as a lane marker candidate point in each lane marker detection region. The road model parameter is calculated using information on the lane marker candidate point, specifically, coordinate data. A state estimator such as a Kalman filter is used to calculate the travel route model parameters. Further, in the travel path detection device described in Japanese Patent Application Laid-Open No. 11-261756, a lane marker candidate line that passes through the lane marker candidate point and can be regarded as a boundary of a lane marker is detected, and a lane included in the lane marker candidate line The road model parameter is calculated using the information on the marker candidate point, and the lane marker candidate line is not parallel to the road so that the angle of the lane marker candidate line is more than a predetermined value with respect to the previous value is removed. Lane marker candidate lines are removed.
[0003]
[Problems to be solved by the invention]
However, in the conventional road detection device, for example, by simply removing the lane marker candidate line whose angle is more than a predetermined value with respect to the previous value, for example, fluctuation of the ground pitch angle of the own vehicle or a sudden vehicle behavior When the angle changes due to the above, the lane marker candidate line that can be regarded as the original lane marker boundary will be removed, and each travel path model parameter cannot be accurately calculated.
[0004]
In order to solve the above-described problems, the present invention provides a travel path detection apparatus that can remove only lane marker candidate lines that are not parallel or substantially parallel to the travel path and accurately calculate each travel path model parameter. It is for the purpose.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a road detection device according to
[0006]
According to a second aspect of the present invention, there is provided the travel path detecting apparatus according to the first aspect, wherein the lane marker candidate line limiting means is a frequency out of the ground pitch angles calculated by the pitch angle calculating means. The pair of lane marker candidate lines corresponding to those having a numerical value greater than or equal to a predetermined value from those having a larger value is removed.
[0007]
According to a third aspect of the present invention, in the travel path detection device according to the first or second aspect, the pitch angle calculation means is a lane in which the vertical coordinates of the images taken by the imaging means are the same. Among the marker candidate lines, a lane marker candidate line whose horizontal coordinate with respect to the vertical coordinate of the lane marker candidate line is not a predetermined value is not paired.
[0008]
According to a fourth aspect of the present invention, in the road detection device according to the fourth aspect of the present invention, the pitch angle calculation means is calculated from information on the pair of lane marker candidate lines. The ground pitch angle is removed when the ground pitch angle is a predetermined numerical value or more away from the previous calculated value.
[0009]
【The invention's effect】
Thus, according to the traveling path detection device according to
[0010]
According to the traveling path detection device of the present invention, the pair of lane marker candidate lines corresponding to the calculated ground pitch angle that is more than a predetermined value from a large frequency is separated from the ground pitch angle. Therefore, it is possible to reliably remove only the lane marker candidate lines that are not parallel or substantially parallel to the traveling road. According to the traveling path detection device of the present invention, the horizontal direction relative to the vertical coordinate of the lane marker candidate line among the lane marker candidate lines having the same vertical coordinate of the captured image. Since the lane marker candidate lines whose coordinates are not equal to or less than the predetermined value are not paired, the calculated ground pitch angle frequency tends to be a maximal value, and the lane marker candidate lines that are not parallel to or not substantially parallel to the road are removed. It becomes easy.
[0011]
Moreover, according to the traveling path detection apparatus according to
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a system configuration diagram showing an embodiment of a travel path detection apparatus of the present invention. The travel path detection device of this embodiment includes an
[0013]
Next, the calculation process for calculating the travel route model parameter performed by the
In this calculation process, first, in step S1, a captured image in front of the host vehicle captured by the
[0014]
Next, the process proceeds to step S2, and as shown in FIG. 3, a small region (also referred to as a window) for detecting a lane marker is set in the captured image in front of the host vehicle read in step S1. Here, as shown in FIG. 3, the plane coordinate system on the imaging screen is based on the screen scanning direction of a television communication system such as NTSC, with the upper left corner of the screen as the origin, the horizontal direction from left to right, the x axis, and the vertical axis. An orthogonal two-dimensional coordinate system taking the y axis from the upper side to the lower side is set. And the small area (lane marker detection window) for detecting a lane marker is set in the captured image ahead of the own vehicle. In this embodiment, a total of ten small regions are set on each of the left and right sides of the screen, corresponding to two lane markers on both sides of the traveling lane on which the host vehicle is traveling. The position of each window is a travel route model parameter calculated by a method described later, that is, a curvature B of the travel lane defined by the lane marker, a lateral displacement A of the host vehicle with respect to the travel lane, and a position of the host vehicle with respect to the travel lane. The yaw angle C, the pitch angle D of the host vehicle, the height H of the CCD camera mounting position of the
[0015]
Next, the process proceeds to step S3, and first-order spatial differentiation by, for example, a Sobel filter is performed in the lane marker detection window set in step S2 to emphasize the boundary, that is, the edge between the lane marker and the road surface. As shown in FIG. 5, lane marker candidate points are detected in a lane marker detection window in a captured image in front of the host vehicle that has been subjected to the edge enhancement filter processing. In the present embodiment, among the boundaries of the lane marker, a boundary on the inner side of the traveling lane in which the host vehicle is traveling is set as a detection target. Specifically, for example, when the filter output is a positive value when the luminance of the pixel on the left side (the x coordinate value is small in the coordinate system) of the image is larger than that on the right side, for example, as shown in FIG. In addition, in the lane marker (white line in the figure) detection window on the left side of the traveling lane, a point (pixel) whose filter output is equal to or greater than a predetermined positive threshold is set as a lane marker candidate point. Conversely, in the lane marker detection window on the right side of the lane, points (pixels) whose filter output is equal to or less than a predetermined negative threshold value are set as lane marker candidate points. As lane marker candidate points, all corresponding points are selected.
[0016]
Next, the process proceeds to step S4, and as shown in FIGS. 5 and 6, lane marker candidate lines passing through the lane marker candidate points in each lane marker detection window detected in step S3 are detected. The lane marker candidate line is set from the lane marker candidate point set, and examples thereof include Hough transform and least square method. Here, an example of Hough transform will be described. First, as shown in FIG. 6, polar coordinates (r, s) are used, and a straight line (r Wi , S Wi ) Is defined by the following one formula. The suffix W (W = 1, 2,...) Indicates the lane marker detection window number, and the suffix i (i = 1, 2,...) Indicates the lane marker candidate line number. The straight line (r Wi , S Wi The definition of “through” the lane marker candidate point is that the distance between the straight line and the white line candidate point (pixel) is equal to or less than the unit pixel.
[0017]
[Expression 1]
[0018]
Next, the process proceeds to step S5, where lane marker candidate lines are limited from the number of lane marker candidate points on the lane marker candidate line detected in step S4. Specifically, in each lane marker detection window, the straight line (r Wi , S Wi ) Is detected, and, for example, as shown in FIG. 7, a straight line (r Wi , S Wi ) And the number of lane marker candidate points penetrated (hereinafter also referred to as penetrating lane marker candidate points). The relationship between the lane marker candidate line obtained by the Hough transform and the number of through lane marker candidate points is, for example, a certain parameter (r Wi , S Wi ) Shows the tendency that the number of through lane marker candidates is maximized. For example, in FIG. 7, the parameter (r 00 , S 00 ), And the area around it becomes gradually smaller. This is because a lane marker candidate line that can be regarded as a boundary of a true lane marker has a larger number of through lane marker candidate points. Wi , S Wi ) Only to select lane marker candidate lines. The absolute value of the maximum value does not matter, and any number may be selected within one lane marker detection window. Note that the lane marker candidate lines defined here include straight lines that are not parallel to or substantially parallel to the traveling road. Further, when the number of penetrating lane marker candidate points is less than a predetermined value, it is considered that there is no lane marker candidate line in the lane marker detection window.
[0019]
In step S6, lane marker candidate lines are grouped for each vertical coordinate on the image. For example, assume that three lane marker candidate lines are detected in the image as shown in FIG. 1 ~ W 6 Are set on the same vertical coordinate, for example, the first lane marker detection window w 1 Y 1 And the first lane marker detection window w as shown in FIG. 1 First lane marker (white line in the figure) candidate line L 11 And second lane marker candidate line L 12 And the first lane marker detection window w as shown in FIG. 1 Same vertical coordinate as 1 Upper fourth lane marker detection window w Four First lane marker candidate line L 41 Are grouped into the same group. These lane marker candidate lines L 11 , L 12 , L 41 The information required for the lane marker detection window w 1 , W Four Typical vertical coordinate y 1 , The vertical coordinate y 1 Each lane marker candidate line L 11 , L 12 , L 41 Horizontal coordinate x 11 , X 12 , X 41 , And each lane marker candidate line L 11 , L 12 , L 41 Slope dx / dy 11 , Dx / dy 12 , Dx / dy 41 Therefore, only those sets may be grouped.
[0020]
Next, the process proceeds to step S7, and a pair (pair in the figure) is selected by combining appropriate two of the lane marker candidate lines grouped in step S6. For example, as shown in FIG. 1 3 lane marker candidate lines L grouped by 11 , L 12 , L 41 Out of the two pairs that can be combined, that is, the lane marker candidate line L 11 And lane marker candidate line L 12 Lane marker candidate line L 12 And lane marker candidate line L 41 Lane marker candidate line L 41 And lane marker candidate line L 11 Select a pair. Again, these lane marker candidate lines L 11 , L 12 , L 41 The information required for the lane marker detection window w 1 , W Four Typical vertical coordinate y 1 , The vertical coordinate y 1 Each lane marker candidate line L 11 , L 12 , L 41 Horizontal coordinate x 11 , X 12 , X 41 , And each lane marker candidate line L 11 , L 12 , L 41 Slope dx / dy 11 , Dx / dy 12 , Dx / dy 41 Therefore, only those sets may be selected as a pair selection target. Further, in the present embodiment, a pair in which the difference between the horizontal coordinates of each lane marker candidate line in the vertical coordinates is not more than a predetermined value is not paired. The reason will be described in detail later.
[0021]
Next, the process proceeds to step S8, and the ground pitch angle, specifically the ground pitch angle P of the CCD camera, is determined from the pair of lane marker candidate lines selected in step S7 according to the following two formulas. A Is calculated. Details of
[0022]
[Expression 2]
[0023]
In the present embodiment, the ground pitch angle P of the camera calculated by the above two equations. A Is compared with the previous value, and when the absolute value of the difference is not less than a predetermined value, the calculated ground pitch angle P A Are removed from the lane marker candidate line limited target. That is, for example, the pitch angle P to the ground that changes due to a change in the pitch angle of the host vehicle or a sudden vehicle behavior A From the beginning, so that the lane marker candidate line is not limited by mistake. As the predetermined value, for example, a maximum pitch angle variation value in a sampling period ΔT of arithmetic processing, which is measured in advance, can be used.
[0024]
Next, the process proceeds to step S9, and the ground pitch angle P of the CCD camera calculated in step S8 is calculated. A Lane marker candidate lines are limited. Here, for example, as shown in FIG. 11a, the pair number of the lane marker candidate lines numbered for convenience is accumulated as the frequency with respect to the ground pitch angle calculated from the pair of lane marker candidate lines. For example, in the case of FIG. 11a, the ground pitch angle P of the CCD camera is set. A When the angle is “0 °”, the frequency of the lane marker candidate line pair number is maximized. Therefore, the ground pitch angle is set to the median value, and the range of ± 0.2 ° is set as the allowable range (the hatched portion in FIG. 11b). The lane marker candidate lines corresponding to the other lane marker candidate line pairs are removed. For example, in the case of FIG. 11b, the lane marker candidate line corresponding to the lane marker candidate line pair number “10” is removed. In other words, the lane marker candidate line corresponding to the lane marker candidate line pair having a ground pitch angle that is a predetermined value or more away from the ground pitch angle at which the frequency is maximum is removed.
[0025]
Next, the process proceeds to step S10, where the travel route model parameters described above are calculated, and then the process returns to the main program. For example, in the spatial coordinate system on the road, the center of the imaging lens of the CCD camera is set as the origin, the X axis from the right to the left in the horizontal direction toward the front of the vehicle, the Y axis at the top of the vehicle in the height direction, and the front of the vehicle An orthogonal three-dimensional coordinate system taking the Z axis is set. Here, for the sake of simplification, if the origin of the plane coordinate system (x, y) on the imaging screen is on the Z axis of the spatial coordinate system on the traveling road, the spatial coordinate system on the traveling road is displayed on the imaging screen. Coordinate conversion to the plane coordinate system is performed by the following formulas (3) and (4).
[0026]
[Equation 3]
[0027]
Next, the plane structure of the road is generally defined by a straight line, a curve with a constant curvature, and a clothoid curve with a constant curvature change rate to smoothly connect them. It can be considered as a curved or straight road. Therefore, the shape of the lane marker that defines the travel lane was formulated as the following five formulas. Similarly, since the longitudinal structure can be regarded as a substantially constant gradient, it was formulated as the following six equations.
[0028]
[Expression 4]
[0029]
In this embodiment, the lane width E of the traveling lane 0 The Kalman filter is used to calculate the above-described various travel route model parameters using. The following seven formulas are obtained from the above three formulas to six formulas. This is used as an output equation when constructing an extended Kalman filter, and calculates an x coordinate value in a y coordinate value defined on a captured image plane from a traveling path curvature and a vehicle state quantity. Note that j in the equation is “0” for the left lane marker of the travel lane on which the host vehicle is traveling and “1” for the right lane marker.
[0030]
[Equation 5]
[0031]
Here, the estimated state quantity (running road model parameter) by the Kalman filter is the running road curvature B, the pitch angle D of the host vehicle, the yaw angle C, the lateral displacement A, the ground height H of the CCD camera, and the lens focal length. Determined parameter f, lane width E 0 Is a constant value. The seven equations are used as an output equation, a Kalman filter is configured using an appropriate output equation, and a method for calculating each travel path model parameter using the Kalman filter is detailed in the Japanese Patent Application Laid-Open No. 6-20189. Detailed description thereof is omitted here.
[0032]
In addition, there are a total of five parameters in Formula 7, and in order to calculate all of them accurately, at least one lane marker on each side of the lane on which the host vehicle is traveling, at least five in total. Lane marker detection points (image information) are required. On the other hand, when two stereo cameras, that is, two CCD cameras are provided on the left and right sides, two equations that are not equivalent to each other are given. Therefore, even when one-side lane marker is detected, all the parameters can be accurately calculated. .
[0033]
Next, an effect of appropriately removing lane marker candidate lines that are not parallel or substantially parallel to the traveling road by the arithmetic processing will be described. As described above, the coordinates of the lane marker candidate line parallel to the traveling path, that is, the lane marker candidate point on the lane marker candidate line satisfies the above-described Expression 7. Then, the following equation (8) is obtained by differentiating the equation (7) with respect to the vertical coordinate y.
[0034]
[Formula 6]
[0035]
The lateral displacement A of the host vehicle is removed from the formulas 7 and 8, and the following
[0036]
[Expression 7]
[0037]
Here, it is assumed that there are two lane marker candidate points having the same vertical coordinate y on two different lane marker candidate lines parallel to the traveling path, and subscripts (p) and (p-1) are respectively attached. If the said 9 type | formula is shown, the following 10 type | formula and 11 type | formula will be obtained.
[0038]
[Equation 8]
[0039]
The following 12 formulas are obtained by subtracting 11 formulas from 10 formulas.
[0040]
[Equation 9]
[0041]
The pitch angle D in the
Therefore, if two different lane marker candidate lines are both parallel or substantially parallel to the road, the ground pitch angle P calculated from the above two formulas is used. A Is approximately the same number. Conversely, the ground pitch angle P A The combination of the lane marker candidate lines that greatly differ from each other is that at least one of them is not parallel or substantially parallel to the traveling road. Therefore, the ground pitch angle P indicating the maximum A By removing the lane marker candidate lines corresponding to the pair of lane marker candidate lines that are separated from each other by a predetermined value or more, the lane marker candidate lines that are not parallel to or substantially not parallel to the traveling road can be removed.
[0042]
In addition, as described above, in the present embodiment, the horizontal coordinate x of the lane marker candidate line with respect to the same vertical coordinate y is not paired if the numerical value is not more than a predetermined value. From the above two formulas, the ground pitch angle P A Are equivalent, (x (p) -X (p-1) ), The smaller the value of (dx / dy) (p) -Dx / dy (p-1) ) Also decreases. In other words, the horizontal coordinate x (p) And horizontal coordinate x (p-1) For a pair of lane marker candidate lines with a small difference, the slope dx / dy (p) Tilt dx / dy (p-1) Need to be highly accurate. However, since the accuracy of the slope dx / dy of the lane marker candidate line obtained with the same CCD camera is limited, the horizontal coordinate x (p) And horizontal coordinate x (p-1) Ground pitch angle P calculated from a pair of lane marker candidate lines having a small difference A It is easy to ride noise. Thus, the ground pitch angle P in which noise components are mixed A If is used, there is a risk of adversely affecting the selection of the maximum value as described above. Therefore, in the present embodiment, in this embodiment, the horizontal coordinate x of the lane marker candidate line with respect to the same vertical coordinate y is not paired if the horizontal coordinate x is not more than a predetermined value, and is not more or less parallel to the travel path more accurately. Lane marker candidate lines that are not can be removed.
[0043]
As described above, the
In the above-described embodiment, the Kalman filter is used to calculate the travel route model parameter. However, it may be calculated using another estimation device or an identification method such as a least square method.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing an embodiment of a travel path detection device of the present invention.
FIG. 2 is a flowchart of a calculation process for calculating a travel route model parameter performed in a control unit.
FIG. 3 is an explanatory diagram of a lane marker detection small area.
FIG. 4 is an explanatory diagram of lane marker candidate points.
FIG. 5 is an explanatory diagram of lane marker candidate lines.
FIG. 6 is an explanatory diagram of how to describe lane marker candidate lines.
FIG. 7 is an explanatory diagram of a matrix for limiting lane marker candidate lines based on the number of through lane marker candidate points.
FIG. 8 is an explanatory diagram of detected lane marker candidate lines.
FIG. 9 is an explanatory diagram of grouping of lane marker candidate lines.
FIG. 10 is an explanatory diagram of grouping of lane marker candidate lines.
FIG. 11 is an explanatory diagram for limiting lane marker candidate lines based on the ground pitch angle.
[Explanation of symbols]
1 is an imaging unit
2 is the control unit
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002177415A JP3700681B2 (en) | 2002-06-18 | 2002-06-18 | Traveling path detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002177415A JP3700681B2 (en) | 2002-06-18 | 2002-06-18 | Traveling path detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004021723A JP2004021723A (en) | 2004-01-22 |
JP3700681B2 true JP3700681B2 (en) | 2005-09-28 |
Family
ID=31175456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002177415A Expired - Fee Related JP3700681B2 (en) | 2002-06-18 | 2002-06-18 | Traveling path detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3700681B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101071732B1 (en) * | 2007-12-17 | 2011-10-11 | 현대자동차주식회사 | Apparatus and method for controlling the velocity of vehicle |
JP5321497B2 (en) | 2010-02-22 | 2013-10-23 | 株式会社デンソー | White line recognition device |
JP5464054B2 (en) * | 2010-05-27 | 2014-04-09 | 日産自動車株式会社 | Road environment information acquisition apparatus and method |
CN103854010A (en) * | 2012-12-06 | 2014-06-11 | 昆达电脑科技(昆山)有限公司 | Method and image identifying device for automatically identifying road surface area in driving images |
-
2002
- 2002-06-18 JP JP2002177415A patent/JP3700681B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004021723A (en) | 2004-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3729095B2 (en) | Traveling path detection device | |
JP4956452B2 (en) | Vehicle environment recognition device | |
JP3630100B2 (en) | Lane detection device | |
JP5733395B2 (en) | In-vehicle image recognition apparatus, imaging axis adjustment apparatus, and lane recognition method | |
EP2757524A1 (en) | Depth sensing method and system for autonomous vehicles | |
EP3082066A1 (en) | Road surface gradient detection device | |
JP5631581B2 (en) | Road recognition device | |
JP5561064B2 (en) | Vehicle object recognition device | |
JP2002197444A (en) | Run lane recognition device for vehicle | |
JP5105481B2 (en) | Lane detection device, lane detection method, and lane detection program | |
JP2011180982A (en) | Lane marker detecting apparatus | |
JP5834933B2 (en) | Vehicle position calculation device | |
CN111723778B (en) | Vehicle distance measuring system and method based on MobileNet-SSD | |
US7221789B2 (en) | Method for processing an image captured by a camera | |
JP2010191661A (en) | Traveling path recognition device, automobile, and traveling path recognition method | |
CN111213153A (en) | Target object motion state detection method, device and storage medium | |
CN110088801A (en) | It can travel regional detection device and travel assist system | |
JP4721278B2 (en) | Lane departure determination device, lane departure prevention device, and lane tracking support device | |
JP2010170488A (en) | Lane recognition device, and lane recognition method | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
JP3807253B2 (en) | Traveling path detection device | |
JP3700681B2 (en) | Traveling path detection device | |
JP5891802B2 (en) | Vehicle position calculation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110722 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120722 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130722 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |