JP3734553B2 - 車両認識装置 - Google Patents

車両認識装置 Download PDF

Info

Publication number
JP3734553B2
JP3734553B2 JP03080196A JP3080196A JP3734553B2 JP 3734553 B2 JP3734553 B2 JP 3734553B2 JP 03080196 A JP03080196 A JP 03080196A JP 3080196 A JP3080196 A JP 3080196A JP 3734553 B2 JP3734553 B2 JP 3734553B2
Authority
JP
Japan
Prior art keywords
vehicle
lane
adjacent
inclination angle
detection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03080196A
Other languages
English (en)
Other versions
JPH09223235A (ja
Inventor
寿教 安木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP03080196A priority Critical patent/JP3734553B2/ja
Publication of JPH09223235A publication Critical patent/JPH09223235A/ja
Application granted granted Critical
Publication of JP3734553B2 publication Critical patent/JP3734553B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、前車の走行状態を監視する車両認識装置に係り、特に、隣接レーンからの割り込み車にも対応できる車両認識装置に関する。
【0002】
【従来の技術】
現在の車両制御として車速を一定に保つクルーズ装置が自動車に多く適用されている。このクルーズ装置にはミリ波レーダ装置等により前車との車間距離及び相対速度を検出して、車間距離を一定に保つための車間距離制御機能が設けられており、車間距離制御装置として実用化されている。
【0003】
図6は車間距離制御装置の制御モードを示す図で、(a)は減速モード領域を示す図、(b)は加速モード領域を示す図である。
渋滞した道路では極端に車間距離、車速が低下するため、運転者にとっては非常に面倒になる。そのような状態でも追突を防止し、且つ、運転者の負担を低減できる方法として、予め自車レーンの最近傍の車両(以下、前車と称す)と自車との相対距離(車間距離)、相対速度を図6(a)のようなマップの関係にある領域(斜線で示された領域)を減速モード領域として、この領域にあるとスロットルバルブを自動的に閉じ、場合によってはブレーキを自動的に操作する等を行って減速していた。また、図6(b)のようなマップの関係にある領域(斜線示された領域)を加速モード領域として、この領域にあるとスロットルバルブを開き加速していた。
【0004】
【発明が解決しようとする課題】
通常、隣接レーンを走行している車両(以下、隣接先行車と称す)は車線を変更しないものと想定して、レーダ装置は自車レーンを走行中の前車のみをターゲットにするように、先行車の検出範囲が狭く設定されている。上述の方法では、先行車が自車レーンにいる場合には所望の機能を発揮できるが、渋滞した道路では、しばしば隣接先行車が自車レーンに割り込む場合がある。そのような場合には、割り込んできた車両が自車のレーダ装置に検出されるまでは何ら必要な車速制御が行われない。
【0005】
そのために、自車が減速モード領域にない場合でも、走行中に隣接レーンから割り込み車があると、レーダ装置が割り込み車を検出した直後に急ブレーキが懸けられる等の問題が生ずる。また、自車が加速モード領域にある場合には、加速した途端に割り込み車のために、急ブレーキが懸けられる等の問題が生ずる。いずれの場合にも搭乗者に不快感を与え、また、追突の危険性が増加する。
【0006】
本発明は、自車レーンは勿論のこと、隣接レーンを走行している隣接先行車の動向も推察して、その隣接先行車が自車レーンに割り込むのをいち早く認識できる車両認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために本発明は、自車に設置され、該自車の前方の道路状況を撮影する撮影手段と、前記撮影手段により撮影された画像状況を基に、前記自車が走行している自車レーンと該自車レーンに隣接した隣接レーンとの境界線を検出する境界線検出手段と、前記撮影手段により撮影された画像状況を基に、前記隣接レーンを走行している隣接先行車両を認識し、該隣接先行車両の進行形態を検出する車両検出手段と、前記境界線検出手段と前記車両検出手段との検出結果を基に、前記境界線に対する前記隣接先行車両の進行方向の傾き角を検出する傾き角検出手段と、前記傾き角検出手段により検出された前記傾き角の大きさに基いて、前記隣接先行車両は自車レーンに割り込もうしている割込車であるか否かを判断する割込車判断手段を備えたことを特徴とするものである。
【0008】
また、前記自車と前記自車レーンを走行中の前車との車間距離及び相対速度に基づき、前記自車の速度を加速又は減速するように制御する車速制御手段を備え、前記割込車判断手段は、前記傾き角検出手段により検出された前記傾き角の大きさに基づき前記隣接先行車両が前記割込車であると判断したときに、前記車速制御手段に対し、前記自車の速度を減少させる減速制御を行わせるものであることを特徴とするものである。
【0009】
また、前記自車と前記自車レーンを走行中の前車との車間距離及び相対速度に基づき、前記自車の速度を加速又は減速するように制御する車速制御手段を備え、前記割込車判断手段は、前記傾き角検出手段により検出された前記傾き角の大きさに基づき前記隣接先行車両が前記割込車であると判断したときに、前記車速制御手段に対し、前記自車の速度を増加させない加速禁止制御を行わせるものであることを特徴とするものである。
【0010】
また、前記境界線検出手段は、前記自車レーンと前記隣接レーンを区切る白線を検出する白線検出手段であることを特徴とするものである。
また、前記境界線検出手段は、前記自車の進行方向に平行な線を検出する進行方向検出手段であることを特徴とするものである。
また、前記境界線検出手段は、前記自車のステアリングの操舵角に基いて前記自車の進行方向に平行な線を予測する進行方向予測手段であることを特徴とするものである。
【0011】
また、前記割込車判断手段は、前記傾き角検出手段が前記傾き角が所定値を超えたことを検出すると、前記隣接先行車両は自車レーンに割り込もうしている割込車であると判断するものであることを特徴とするものである。
【0012】
【実施例】
図1は本発明の一実施例の車両認識装置の構成を説明するための図である。以下、図を用いて説明する。
11は自車の前方に設置されたドップラ効果を利用したミリ波レーダ装置で、前方に向けて照射されたビームの反射波を検出し、後段へ出力するもので、自車レーン前方の車両のみが検出できるように検出範囲が調整されている。12は自車の上部に設置され前方の状況を撮影するCCDカメラで、その撮影範囲は広く隣接先行車の様子も撮影される。13は自車の速度V1 を計測する車速センサである。14はステアリングの操舵角を検出する操舵角センサである。21は前車に接近し過ぎた場合や隣接レーンの車両が自車レーンに割り込もうとしているときに作動するブザー等の警報装置である。22は前車に接近し過ぎた場合や隣接レーンの車両が自車レーンに割り込もうとしているときに作動する制動装置(ブレーキ)である。23aはミリ波レーダ信号処理ECU3の指示によりスロットルアクチュエータ23bを調整して速度を制御するクルーズECUである。3はレーダ装置11が検出した反射波の信号処理を行い、前車までの車間距離Dと相対速度(V2 −V1 )を計測し、これに基いて前車を認識して車間制御を行い、更に、カメラ12等の画像出力を基に隣接先行車両の方向を算出するマイコン31、各種データの記憶されたROM32、RAM33等のメモリで構成されるミリ波レーダ信号処理ECUである。
【0013】
図2は本発明の一実施例の車両認識装置のカメラによる撮影画像例である。図3は本発明の一実施例の車両認識装置のマイコンの行う処理を示すフローチャートである。以下、図を用いて説明する。
ステップS1では、カメラで撮影した画像を入力する。つまり、カメラ12で撮影した車両前方の状況をマイコン31に入力する。ステップS2では、画像中に白線があるか否かを判断して、白線があればステップS3に移り、白線がなければステップS4またはステップS8に移る。つまり、自車レーンと隣接レーンの境界線を決めるために、画像中に隣接車線と仕切る白線があるか否かを判断する。白線の認識はカメラ12で撮影した画像をアスファルト部と白線部との境界に生ずるエッジを検出する方法が知られている。画像を水平及び垂直方向に走査して、輝度の急激に変化する点の軌跡を白線(図2の線B)として認識する。
【0014】
ステップS3では、自車レーンを認識してステップS5に移る。つまり、白線で囲まれた範囲を自車レーンと見做し、その外側(両側)を隣接レーンとする。ステップS5では、画像認識された物体のエッジ形状と、予めROMに記憶された車両の独特のエッジ形状とを比較し、一致状況に基いて隣接レーン上の車両を認識してステップS6に移る。つまり、隣接先行車をカメラの画像より抽出する。そして、画像中に隣接レーン上の車両と背景とのエッジを白線の場合と同様に認識して車両の進行形態を検出する。車両の輪郭に相当する複数のエッジを直線近似して車両の方向とする。即ち、車両の側面の下部を構成する線(通常、この線は車種によらず略直線である)がこれに相当する(図2の線A)。この線の認識は、割込車後部の水平エッジから左、或いは右へ延長追跡したものから得ることができる。
【0015】
ステップS6では、車両の傾きが30°を超えているか否かを判断して、30°を超えているとステップS7に移り、30°を超えていないと処理を終える。つまり、隣接走行車は通常は走行レーンを区切る白線に平行に走行している筈である。それが白線に対して大きな傾斜角(図2の線Aと線Bのなす角度φ)を採っていることは自車レーンに進入しようとしていると見做す。この傾斜角φは図2のカメラで撮影した画像上の角度ではなく、平面上に置かれた車両の白線となす角度である。カメラの位置(路面からの高さ、俯角)が決まっているので、画像上の角度と平面上の角度は容易に換算できる。境界線(例えば、白線)に対する車両の傾きが小さい場合は、割り込む意思がないものと推察できるので、自車の速度と自車レーンを走行している前車との車間距離に基づく通常の車間距離制御(加速、減速とも)を行えばよい。
【0016】
ステップS7では、フラグを1にして処理を終える。つまり、隣接レーンから割り込もうとしている車両があるので、フラグを1として図4、又は図5の減速、加速の処理フローチャートに従った処理を行う。
ステップS4では、自車レーンを車両幅を車両の向きに延ばした領域としてステップS5に移る。つまり、走行レーン毎に白線が引かれていない場合には、自車レーンと隣接レーンの境界線として、自車の車両幅(または車副幅+α)を進行方向に延長した線を想定する。この線はカメラ12の車両(自車)に対するセット角度で決まる。例えば、車両の真正面を撮影するようにセットされていると画像上では左右の中心線に平行な線となる。
【0017】
ステップS8では、ステアリング角を検出してステップS9に移る。つまり、操舵角センサ14の出力を検出する。ステップS9では、自車レーンを車両幅をステアリング角相当方向に延ばした領域としてステップS5に移る。つまり、走行レーン毎に白線が引かれておらず、また、カーブ路に対応した自車レーンと隣接レーンの境界線として、自車の車両幅(または車副幅+α)を操舵角に対応した車の進行方向に延長した線を想定する。
【0018】
尚、本フローチャートにおいて、ステップS4とステップS8のいずれを選択するかは、自車に操舵角センサ14がセットされているか否かで決める。即ち、操舵角センサ14がセットされておればカーブ路にも対応できるステップS8を、操舵角センサ14がセットされていなければステップS4を選択する。
図4は本発明の一実施例の車両認識装置のマイコンの行う減速処理を示すフローチャートである。図5は本発明の一実施例の車両認識装置のマイコンの行う加速処理を示すフローチャートである。
【0019】
先ず、減速処理について図4を用いて説明する。ステップS11では、減速モードか否かを判断して減速モードであればステップS13に移り、減速モードでなければステップS12に移る。つまり、レーダ装置11により自車レーンの最近傍の車両までの相対距離及び自車速度を算出して、両者の関係が図6(a)の減速モード領域(斜線で示す範囲)にあるか否かを判断する。
【0020】
ステップS12では、フラグを1であるか否かを判断してフラグが1であればステップS13に移り、フラグが1でなければ処理を終える。つまり、図3の処理フローチャートに示したように、隣接レーンからの割り込み車があるか否かを判断するものである。割り込もうとしている車がある場合(フラグが1)には、自車レーンの前方車両が充分に離れて、減速する必要がなくても、割り込み車に対応して減速する。
【0021】
ステップS13では、減速制御をして処理を終える。つまり、自車レーンの前車に近づき過ぎているか、隣接レーンの車両が割り込もうとしているので、予め減速を行う必要があるので減速制御を行う。警報装置21を動作させたり、レーダ信号処理ECU3はクルーズECU23aに対して車間距離、相対速度に応じ、現在の自車速度から減速するためスロットルバルブ開度や変速比を求め、この制御量を出力して車間距離制御を行うように指示する(場合によっては制動装置22を作動させる)。尚、ミリ波信号処理ECU3から割込車の情報が得られない場合、画像入力から得た割込車の位置から車間距離や相対速度を求めるようにしてもよい。また、上述した減速制御量は割込時点では小さく、その後徐々に大きくすれば減速が一層滑らかになる。
【0022】
次に、加速処理について図5を用いて説明する。ステップS21では、加速モードか否かを判断して加速モードであればステップS22に移り、加速モードでなければ処理を終える。つまり、レーダ装置11により自車レーンの最近傍の車両までの相対距離及び自車速度を算出して、両者の関係が図6(b)の加速モード領域(斜線で示す範囲)にあるか否かを判断する。尚、加速制御と減速制御とが頻繁に切り換わるのを防止して滑らかな走行ができるように、加速モード領域と減速モード領域の間には、いずれにも該当しない不感帯が設けられている。
【0023】
ステップS22では、フラグを1であるか否かを判断してフラグが1であればステップS24に進み、フラグが1でなければステップS23に移る。つまり、図2の処理フローチャートに示したように、隣接レーンからの割り込み車があるか否かを判断するものである。割り込もうとしている車がある場合(フラグが1)には、自車レーンの前方に車両がなくても加速はせず、スロットルバルブ開度を加速モード前の状態に戻すよう、制御量をクルーズECU23aに出力して加速をキャンセルする(ステップS24)。
【0024】
ステップS23では、加速制御をして処理を終える。つまり、自車レーンの前車とは充分な車間距離があり、また、隣接レーンから割り込もうとしている車両もないので加速制御を行う。レーダ信号処理ECU3はクルーズECU23aに対して車間距離、相対速度に応じた車間距離制御を行うように指示する。
以上のように本実施例では、自車レーンを走行中の前車に追突するのを防止するだけでなく、隣接走行車が自車レーンに割り込む前に必要な制御ができるので、急激なブレーキ操作の必要もなく滑らかな運転ができる。
【0025】
また、本例では割込車を傾斜角30°で判定しているが、これに限らず傾斜角信号をフィルタリング処理して不安定な傾斜角を削除したり、自車速や傾斜角の変化速度に応じて判定傾斜角を変更するようにして判定精度を上げるようにしてもよい。
【0026】
【発明の効果】
以上説明したように、本発明では自車レーンは勿論のこと、隣接レーンを走行している車両の動向も推察して、自車レーンに割り込む前に必要な制御ができるので、急激なブレーキ操作の必要もなく滑らかな運転ができる。また、ウィンカを点滅していない割込車に対しても制御可能である。
【図面の簡単な説明】
【図1】本発明の一実施例の車両認識装置の構成を説明するための図である。
【図2】本発明の一実施例の車両認識装置のカメラによる撮影画像例である。
【図3】本発明の一実施例の車両認識装置のマイコンの行う処理を示すフローチャートである。
【図4】本発明の一実施例の車両認識装置のマイコンの行う減速処理を示すフローチャートである。
【図5】本発明の一実施例の車両認識装置のマイコンの行う加速処理を示すフローチャートである。
【図6】車間距離制御装置の制御モードを示す図で、(a)は減速モード領域を示す図、(b)は加速モード領域を示す図である。
【符号の説明】
11・・・レーダ装置 21・・・・警報装置
12・・・カメラ 22・・・・制動装置
13・・・車速センサ 23a・・・クルーズECU
14・・・操舵角センサ 23b・・・スロットルバルブ
3・・・・ミリ波レーダ信号処理ECU

Claims (7)

  1. 自車に設置され、該自車の前方の道路状況を撮影する撮影手段により撮影された画像状況を基に、前記自車が走行している自車レーンと該自車レーンに隣接した隣接レーンとの境界線を検出する境界線検出手段と、
    記画像状況を基に、前記隣接レーンを走行している隣接先行車両を認識し、該隣接先行車両の進行形態を検出する車両検出手段と、
    前記境界線検出手段と前記車両検出手段との検出結果を基に、前記境界線に対する前記隣接先行車両の進行方向の傾き角を検出する傾き角検出手段と、
    前記傾き角検出手段により検出された前記傾き角の大きさに基いて、前記隣接先行車両は自車レーンに割り込もうしている割込車であるか否かを判断する割込車判断手段を備えたことを特徴とする車両認識装置。
  2. 前記自車と前記自車レーンを走行中の前車との車間距離及び相対速度に基づき、前記自車の速度を加速又は減速するように制御する車速制御手段を備え、
    前記割込車判断手段は、前記傾き角検出手段により検出された前記傾き角の大きさに基づき前記隣接先行車両が前記割込車であると判断したときに、前記車速制御手段に対し、前記自車の速度を減少させる減速制御を行わせるものであることを特徴とする請求項1記載の車両認識装置。
  3. 前記自車と前記自車レーンを走行中の前車との車間距離及び相対速度に基づき、前記自車の速度を加速又は減速するように制御する車速制御手段を備え、
    前記割込車判断手段は、前記傾き角検出手段により検出された前記傾き角の大きさに基づき前記隣接先行車両が前記割込車であると判断したときに、前記車速制御手段に対し、前記自車の速度を増加させない加速禁止制御を行わせるものであることを特徴とする請求項1記載の車両認識装置。
  4. 前記境界線検出手段は、前記自車レーンと前記隣接レーンを区切る白線を検出する白線検出手段であることを特徴とする請求項1記載の車両認識装置。
  5. 前記境界線検出手段は、前記自車の進行方向に平行な線を検出する進行方向検出手段であることを特徴とする請求項1記載の車両認識装置。
  6. 前記境界線検出手段は、前記自車のステアリングの操舵角に基いて前記自車の進行方向に平行な線を予測する進行方向予測手段であることを特徴とする請求項1記載の車両認識装置。
  7. 前記割込車判断手段は、前記傾き角検出手段により検出された前記傾き角が所定値を超えたことを検出すると、前記隣接先行車両が自車レーンに割り込もうしている割込車であると判断するものであることを特徴とする請求項1記載の車両認識装置。
JP03080196A 1996-02-19 1996-02-19 車両認識装置 Expired - Fee Related JP3734553B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03080196A JP3734553B2 (ja) 1996-02-19 1996-02-19 車両認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03080196A JP3734553B2 (ja) 1996-02-19 1996-02-19 車両認識装置

Publications (2)

Publication Number Publication Date
JPH09223235A JPH09223235A (ja) 1997-08-26
JP3734553B2 true JP3734553B2 (ja) 2006-01-11

Family

ID=12313793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03080196A Expired - Fee Related JP3734553B2 (ja) 1996-02-19 1996-02-19 車両認識装置

Country Status (1)

Country Link
JP (1) JP3734553B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532339A (en) * 2014-10-08 2016-05-18 Ford Global Tech Llc Detecting low-speed close-range vehicle cut-in
GB2532340A (en) * 2014-10-13 2016-05-18 Ford Global Tech Llc Vehicle cut-in strategy

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148336A (ja) * 2000-11-15 2002-05-22 Fujitsu Ten Ltd 割り込み予測装置
JP2003123196A (ja) 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
JP3656056B2 (ja) * 2002-03-25 2005-06-02 株式会社東芝 割り込み車両検出装置及びその方法
JP3901035B2 (ja) * 2002-06-25 2007-04-04 日産自動車株式会社 車両用情報提供装置
CN105691390A (zh) * 2016-02-04 2016-06-22 长安大学 一种车辆预警装置和预警方法
KR102489209B1 (ko) * 2016-09-01 2023-01-18 주식회사 에이치엘클레무브 차량제어장치 및 차량제어방법
JP6774297B2 (ja) 2016-10-17 2020-10-21 株式会社デンソー 車両認識装置及び車両認識方法
JP7054327B2 (ja) 2017-09-01 2022-04-13 株式会社デンソー 走行支援装置
JP7261635B2 (ja) * 2019-03-28 2023-04-20 本田技研工業株式会社 車両制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532339A (en) * 2014-10-08 2016-05-18 Ford Global Tech Llc Detecting low-speed close-range vehicle cut-in
GB2532340A (en) * 2014-10-13 2016-05-18 Ford Global Tech Llc Vehicle cut-in strategy
GB2532340B (en) * 2014-10-13 2018-10-03 Ford Global Tech Llc Vehicle cut-in strategy

Also Published As

Publication number Publication date
JPH09223235A (ja) 1997-08-26

Similar Documents

Publication Publication Date Title
JP3866349B2 (ja) 車両の衝突防止装置
JP6158523B2 (ja) 車間距離制御装置
CN110217226B (zh) 车辆控制装置
US8515615B2 (en) Vehicle travel control apparatus
JP2003063273A (ja) 車両走行制御装置
CN109383496B (zh) 车辆的控制装置以及车辆的控制方法
JP3734553B2 (ja) 車両認識装置
JP2007186141A (ja) 車両の走行制御装置
WO2017110871A1 (ja) 車両制御装置及び車両制御方法
JP7155993B2 (ja) 車両の走行制御装置
CN111149142A (zh) 控制对象车辆设定装置、控制对象车辆设定***及控制对象车辆设定方法
JPH0757182A (ja) 車両の安全装置
WO2020179750A1 (ja) 運転支援装置
JP2003288691A (ja) 割り込み予測装置
JP4118111B2 (ja) 危険障害物判定装置
JP2002104015A (ja) 運転支援システム
JP3900814B2 (ja) 運転支援システム
JP2003237407A (ja) 車速制御装置
JP7151064B2 (ja) 車両の走行制御装置
JP2006176069A (ja) インターチェンジ合流支援装置
JP7222343B2 (ja) 運転支援装置
JP3736400B2 (ja) 車両用走行制御装置
JP2023155454A (ja) 運転支援装置及び通知装置
JP2002248965A (ja) 車輌用走行制御装置
JP7226011B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081028

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees