JP3382518B2 - 車両用距離測定装置 - Google Patents

車両用距離測定装置

Info

Publication number
JP3382518B2
JP3382518B2 JP21074997A JP21074997A JP3382518B2 JP 3382518 B2 JP3382518 B2 JP 3382518B2 JP 21074997 A JP21074997 A JP 21074997A JP 21074997 A JP21074997 A JP 21074997A JP 3382518 B2 JP3382518 B2 JP 3382518B2
Authority
JP
Japan
Prior art keywords
window
pitching
relative
distance
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP21074997A
Other languages
English (en)
Other versions
JPH1151645A (ja
Inventor
章 寺内
博光 湯原
雅和 坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP21074997A priority Critical patent/JP3382518B2/ja
Publication of JPH1151645A publication Critical patent/JPH1151645A/ja
Application granted granted Critical
Publication of JP3382518B2 publication Critical patent/JP3382518B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は,車両用距離測定装
置に関し,特に,一対の光学系と,それらの光学系から
の画像をそれぞれ結像せしめる一対のイメージセンサ
と,両イメージセンサ上に結像した一対の画像のウイン
ドを定めるウインド決定手段と,該ウインド決定手段で
定まるウインド内の画像信号を比較して両画像の光軸か
らのずれ量を検出する相関演算手段と,該相関演算手段
で得られたずれ量を用いて三角測量の原理に基づく演算
を実行して対象物までの距離を演算する距離演算手段と
を備える車両用距離測定装置に関する。
【0002】
【従来の技術】従来,かかる距離測定装置は,たとえば
特開平4−218715号公報等で既に知られており,
このものでは,図5で示すように,先行車両等の対象物
を囲む第1のウインドW1と,第1のウインドW1の近
傍上方位置の第2のウインドW2とが設定され,第1お
よび第2のウインドW1,W2の画像情報にそれぞれ基
づいて対象物までの距離をそれぞれ演算する距離演算手
段と,両距離演算手段で得られた距離情報に基づいて第
1のウインドW1の位置を補正する手段とを備え,自車
のピッチングが生じたときに補正された第1のウインド
W1の画像情報に基づいて対象物までの距離を得るよう
にしている。
【0003】
【発明が解決しようとする課題】上記従来のものでは,
第1のウインドW1の上方に,対象物の背景を含む画像
を得るための第2のウインドW2を設定し,第2のウイ
ンドW2の画像情報に基づく距離が第1のウインドW1
の画像情報に基づく距離よりも大きくなることを利用し
ているが,第2のウインドW2には,空などの不定形の
対象が入るので,距離演算誤差が大きくなって不適切な
ウインド位置補正が生じる可能性がある。また図6で示
すように,下向きのピッチングが生じた場合には,第1
のウインドW1に路面文字が入ってしまい,先行車両等
の対象物までの距離が実際よりも短くなってしまう可能
性もある。
【0004】本発明は,かかる事情に鑑みてなされたも
のであり,ピッチングが生じたときの適切なウインド位
置補正を可能とし,対象物までの距離を正確に得ること
ができるようにした車両用距離測定装置を提供すること
を目的とする。
【0005】
【課題を解決するための手段】上記目的を達成するため
に,本発明は一対の光学系と,それらの光学系からの
画像をそれぞれ結像せしめる一対のイメージセンサと,
両イメージセンサ上に結像した一対の画像のウインドを
定めるウインド決定手段と,該ウインド決定手段で定ま
るウインド内の画像信号を比較して両画像の光軸からの
ずれ量を検出する相関演算手段と,該相関演算手段で得
られたずれ量を用いて三角測量の原理に基づく演算を実
行して対象物までの距離を演算する距離演算手段とを備
える車両用距離測定装置において,前記距離演算手段で
得た距離データに基づいて対象物との相対速度および相
対加・減速度の少なくとも一方を求める相対運動量演算
手段と,該相対運動量演算手段で得た相対速度および相
対加・減速度の少なくとも一方が所定の条件を満たすよ
うに変化したことをもって所定量以上のピッチング変化
が生じたと判定するピッチング判定手段と,所定量以上
のピッチング変化が生じたと前記ピッチング判定手段が
判定するのに応じてウインドの上下位置を実質的に補正
するウインド位置補正手段とを備えることを第の特徴
とする。
【0006】この第の特徴の構成によれば,車両のピ
ッチングが生じたときには,対象物との間の相対速度ま
たは相対加・減速度の変化量が大きくなるはずであり,
ピッチング判定手段において,相対速度および相対加・
減速度の少なくとも一方が所定の条件を満たすように変
化したことをもって所定量以上のピッチング変化が生じ
たと判定することができ,自車のピッチングが生じたと
ピッチング判定手段が判定したときに,対象物までの距
離を得るために設定されるウインドの上下位置が実質的
に補正されることになり,ピッチングが生じても対象物
までの距離を正確に測定することができる。
【0007】また本発明は,上記第1の特徴に加えて,
前記ピッチング判定手段が,前記相対運動量演算手段で
得た相対速度の符号が反転したことをもって所定量以上
のピッチング変化が生じたと判定すべく構成されること
を第2の特徴とし,また上記第1の特徴に加えて,前記
ピッチング判定手段が,前記相対運動量演算手段で得た
相対加・減速度の絶対値が設定値を超えたことをもって
所定量以上のピッチング変化が生じたと判定すべく構成
されることを第3の特徴とする
【0008】また本発明は,上記第1,第2又は第3の
特徴に加えて,前記ウインド決定手段は,対象物までの
距離を定めるための追尾ウインドと,該追尾ウインドの
下方に設けられる路面検知ウインドとを設定し,前記ピ
ッチング判定手段は,前記路面検知ウインドに基づく相
対速度が前記追尾ウインドに基づく相対速度に近いこと
に基づいて自車に上向きのピッチングが生じていると判
定することを第4の特徴とする
【0009】
【発明の実施の形態】以下,本発明の実施の形態を,添
付図面に示した本発明の実施例に基づいて説明する。
【0010】図1ないし図3は本発明の第1実施例を示
すものであり,図1は距離測定装置の構成を示すブロッ
ク図,図2は距離測定原理を説明するための図,図3は
ウインド配置を示す図である。
【0011】先ず図1において,上下一対の撮像手段1
A,1Bが,車両の車室内でたとえばフロントガラスの
後方側に配置されており,これらの撮像手段1A,1B
で得られた先行車両等の対象物4の画像信号は,個別の
A/D変換器5A,5Bでデジタル信号に変換され,さ
らに個別の画像記憶手段6A,6Bにそれぞれ記憶され
る。
【0012】画像記憶手段6A,6Bにストアされた画
像信号のうち,ウインド決定手段7で決定されたウイン
ドの画像信号だけが切出され,相関演算手段8において
相関演算が実行され,その相関演算結果に基づいて距離
演算手段9で対象物4までの距離Dが演算される。
【0013】図2において,両撮像手段1A,1Bは,
レンズを含む光学系2A,2Bと,それらの光学系2
A,2Bの焦点距離fだけ後方に配置されるイメージセ
ンサ3A,3Bとでそれぞれ構成されるものであり,両
光学系2A,2Bは,基線長BLだけ上下に間隔をあけ
て配置される。
【0014】このような撮像手段1A,1Bによれば,
自車の前方に存在する先行車両等の対象物4が光学系2
A,2Bによりイメージセンサ3A,3B上に結像され
ることになるが,イメージセンサ3A,3Bは,たとえ
ば多数の画素が二次元平面に分散された二次元のCCD
やPDである。
【0015】各イメージセンサ3A,3Bで得られた全
体画像中に,図3で示すように,ウインド決定手段7に
より単一のウインドWが設定され,このウインドW内の
画像信号が画像記憶手段6A,6Bから相関演算手段8
に入力され,両イメージセンサ3A,3Bから得られた
輝度データの相関が最も一致する点でのシフト量nを得
るための演算が相関演算手段8で実行される。すなわち
両イメージセンサ3A,3Bの画像の一方をシフトさせ
るか,両イメージセンサ3A,3Bの画像の両方を交互
にシフトさせるようにして,両画像信号の引き算を実行
し,両画像データが最も一致したとき,すなわち相関値
が最小となったときのシフト量nを得る演算が相関演算
手段8で行なわれる。而して,前記シフト量nは,図2
で示すように,下方のイメージセンサ3Aから得られた
画像信号の光学系2Aの光軸からのずれ量nAと,上方
のイメージセンサ3Bから得られた画像信号の光学系2
Bの光軸からのずれ量nBとの和として得られることに
なる。また上記シフト量nの算出にあたって,イメージ
センサ3A,3Bでの画素間の間隔により分解能が定ま
ってしまうので,分解能を向上するために前記間隔間の
補間を行なってシフト量nを補正するようにしてもよ
い。
【0016】距離演算手段9では,三角測量法の原理に
基づく距離演算が実行されるものであり,対象物4まで
の距離Dは, D=(BL×f)/n として距離演算手段9で得られることになる。この際,
イメージセンサ3A,3Bの近傍に感温素子を配置して
おき,その感温素子で得た温度情報に基づいて距離Dの
補正を行なうようにしてもよい。
【0017】距離演算手段9で得られた距離Dは,たと
えば先行車両等の対象物4に追随して自車を走行せしめ
るための車両走行制御装置10等に入力される。
【0018】自車のピッチング変化は,距離演算手段9
で得られた距離Dに基づいてピッチング変化検出手段1
1で間接的に検出されるものであり,該ピッチング変化
検出手段11は,距離演算手段9で得た距離データに基
づいて対象物4との相対速度および相対加・減速度を求
める相対運動量演算手段12と,該相対運動量演算手段
12で得た相対速度および相対加・減速度がそれぞれ所
定の条件を満たしたことをもって所定量以上のピッチン
グ変化が生じたと判定するピッチング判定手段13とを
備える。
【0019】相対運動量演算手段12では,相対速度
V,相対加・減速度Aが,前回値に(n−1)の添字を
付し,今回値に(n)の添字を付すとともに,測定サン
プル周期をtとしたときに,次の演算式 Vn =(Dn −Dn-1 )/t An =(Vn −Vn-1 )/t でそれぞれ演算される。この相対運動量演算手段12で
の演算時に差分演算だけの場合には,距離ノイズが拡大
される場合があるので,ローパスなどのフィルタ演算を
行なうようにしてもよい。
【0020】ピッチング判定手段13は,相対運動量演
算手段12で得られた相対速度Vnおよび相対加・減速
度An が,たとえば次の第1および第2条件にそれぞれ
合致することをもって所定量以上のピッチング変化が生
じたと判定するものである。
【0021】 第1条件:Vn ×Vn-1 <0 第2条件:|An |>判定値 第1条件は,相対速度Vの符号が前回とは反転している
かどうかを判断するものであり,また第2条件は,相対
加・減速度Aの絶対値が判定値を超えたかどうかを判断
するものであり,第1および第2条件がともに成立した
ときに,ウインドの下部に路面文字が含まれるようなピ
ッチングが自車に生じたとピッチング判定手段13で判
定されることになる。
【0022】所定量以上のピッチング変化が生じたとピ
ッチング判定手段13で判定されたときに,ウインド決
定手段7による設定ウインドWの位置がウインド位置補
正手段14で補正されることになり,このウインド位置
補正手段14は,ウインド位置補正演算手段15と,該
ウインド位置補正演算手段15で得られた補正値を記憶
する位置補正記憶手段16とで構成される。
【0023】ウインド位置補正演算手段15では,補正
値Sが係数Gおよび相対加・減速度An を用いて次の演
算式により演算される。
【0024】 S=G×An 該演算式において,係数Gの符号は,相対加・減速度A
n が対象物4の自車への近接方向に大きくなったときに
ウインドを上方位置に補正するように設定される。
【0025】ウインド位置補正演算手段15で演算され
た補正値Sは位置補正記憶手段16に一旦記憶され,該
位置補正値記憶手段16にストアされた補正値Sで,ウ
インド決定手段7で決定される次回のウインド位置が補
正されることになる。
【0026】次にこの第1実施例の作用について説明す
ると,自車のピッチングが生じたときには,対象物4と
の間の相対速度Vおよび相対加・減速度Aの変化量が大
きくなるはずであり,ピッチング判定手段13におい
て,相対速度Vおよび相対加・減速度Aが上記第1およ
び第2条件をそれぞれ満たすように変化したことをもっ
て所定量以上のピッチング変化が生じたと判定すること
ができる。
【0027】自車にピッチングが生じたことがピッチン
グ変化検出手段11で検出されたときに,ウインド決定
手段7で定まるウインドの位置が上方または下方に補正
されるので,ピッチングが生じたことに起因してウイン
ド内に路面文字が含まれること等による距離測定誤差が
生じるのを防止することができ,ピッチングが生じても
対象物4までの距離を正確に測定することができる。
【0028】またウインド決定手段7での補正値Sは,
ウインド位置補正演算手段15によりピッチングの程度
に応じて定められるものであり,ウインドを適正位置に
定めてより正確な距離測定を行なうことが可能となる。
【0029】さらに1つのウインドでピッチングによる
位置ずれを補正することが可能であるので,複数ウイン
ドでの距離演算を行なうようにしていた従来のもの(特
開平4−218715号)と比べて演算時間を短縮する
ことができる。
【0030】上記第1実施例では単一のウインドを用い
た距離測定装置について説明したが,図4で示す第2実
施例のように複数のウインドを用いた距離測定装置につ
いても本発明を適用可能である。
【0031】図4では,複数のウインドのうち,たとえ
ば相関値の最小値と該最小値の前後の相関値との差が大
きい等により良好な相関が得られたウインド,あるいは
各ウインド毎に得られる距離の最小値や前回得られた対
象物4までの距離から一定距離までの範囲に入るウイン
ドが点描で示すように追尾ウインドWP ,WP …として
定められるとともにそれらの追尾ウインドWP ,WP
の距離の平均値が対象物4までの距離として定められ,
追尾ウインドWP ,WP …から得られる距離に基づく相
対加・減速度An1と,係数G1 とに基づいて,補正値S
1 が, S1 =G1 ×An1 として定められ,係数G1 の符号は,相対加・減速度A
n1が自車への近接方向に大きくなったときにウインドを
上方位置に補正するように設定される。
【0032】一方,各追尾ウインドWP ,WP …の下方
には斜線で示すように複数の路面検知ウインドWR ,W
R …が設定されるものであり,これらの路面検知ウイン
ドWR ,WR …の距離の平均値に基づく相対加・減速度
n2と,係数G2 とに基づいて,補正値S2 が, S2 =G2 ×An2 として定められ,係数G2 の符号は,上述の係数G1
は逆に,相対加・減速度An2が自車への近接方向に大き
くなったときにウインドを下方位置に補正するように設
定される。
【0033】而して自車のピッチングが検出されたとき
には,前記補正値S1 ,S2 の平均値で追尾ウインドW
P ,WP …の上下位置が補正される。これにより,各追
尾ウインドWP ,WP …を路面検知ウインドWR ,WR
…で検出した路面のすぐ上に来るように補正することが
可能になる。また前記補正値S2 で路面検知ウインドW
R ,WR …の上下位置を補正するようにしてもよい。
【0034】本発明のさらに他の実施例として,上記第
2実施例における追尾ウインドWP,WP …に基づいて
得られる相対速度をVn1とし,追尾ウインドWP ,WP
…および路面検知ウインドWR ,WR …の相対速度をV
Rnとし, |Vn1−VRn|<一定値 であったときに,路面検知ウインドWR ,WR …に基づ
く相対速度が追尾ウインドWP ,WP …に基づく相対速
度に近いことに基づいて自車に上向きのピッチングが生
じたことを判定し,追尾ウインドWP ,WP …を下方側
に補正することも可能である。
【0035】以上,本発明の実施例を詳述したが,本発
明は上記実施例に限定されるものではなく,特許請求の
範囲に記載された本発明を逸脱することなく種々の設計
変更を行なうことが可能である。
【0036】たとえば上記実施例では,ピッチング変化
検出手段11が設定値を超えるピッチング変化を検出し
たときに,ウインド位置補正手段14によりウインド決
定手段7によって定まるウインドの上下位置を補正する
ようにしたが,ウインド決定手段7によって定まるウイ
ンドの位置を一定に定めておくが,該ウインドの上部ま
たは下部の画像信号を無効化することによって,ウイン
ド位置を実質的に補正するようにすることも可能であ
る。また自車のピッチングを直接検出することも可能で
ある。さらに,距離演算手段9で得た距離データに基づ
いて対象物4との相対速度および相対加・減速度のいず
れか一方を相対運動量演算手段12で求め,相対速度お
よび相対加・減速度のいずれか一方が所定の条件を満た
すように変化したことをもって所定量以上のピッチング
変化が生じたとピッチング判定手段13で判定するよう
にしてもよい。
【0037】
【発明の効果】以上のように請求項1ないし4のいずれ
かに記載の発明によれば,自車のピッチングが生じたと
きに,対象物までの距離を得るために設定されるウイン
ドの上下位置を実質的に補正するようにし,ピッチング
が生じても対象物までの距離を正確に測定することがで
きる。
【図面の簡単な説明】
【図1】第1実施例の距離測定装置の構成を示すブロッ
ク図である。
【図2】距離測定原理を説明するための図である。
【図3】ウインド配置を示す図である。
【図4】第2実施例のウインド配置を示す図である。
【図5】従来の技術のウインド配置を示す図である。
【図6】ピッチングによって生じる問題点を説明するた
めの図である。
【符号の説明】
2A,2B・・・光学系 3A,3B・・・イメージセンサ 4・・・対象物 7・・・ウインド決定手段 8・・・相関演算手段 9・・・距離演算手段 11・・・ピッチング変化検出手段 12・・・相対運動量演算手段 13・・・ピッチング判定手段 14・・・ウインド位置補正手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平9−96525(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01C 3/06 G01B 11/00 G06T 1/00 280 G08G 1/16

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 一対の光学系(2A,2B)と,それら
    の光学系(2A,2B)からの画像をそれぞれ結像せし
    める一対のイメージセンサ(3A,3B)と,両イメー
    ジセンサ(3A,3B)上に結像した一対の画像のウイ
    ンドを定めるウインド決定手段(7)と,該ウインド決
    定手段(7)で定まるウインド内の画像信号を比較して
    両画像の光軸からのずれ量を検出する相関演算手段
    (8)と,該相関演算手段(8)で得られたずれ量を用
    いて三角測量の原理に基づく演算を実行して対象物
    (4)までの距離を演算する距離演算手段(9)とを備
    える車両用距離測定装置において,前記距離演算手段
    (9)で得た距離データに基づいて対象物(4)との相
    対速度および相対加・減速度の少なくとも一方を求める
    相対運動量演算手段(12)と,該相対運動量演算手段
    (12)で得た相対速度および相対加・減速度の少なく
    とも一方が所定の条件を満たすように変化したことをも
    って所定量以上のピッチング変化が生じたと判定するピ
    ッチング判定手段(13)と,所定量以上のピッチング
    変化が生じたと前記ピッチング判定手段(13)が判定
    するのに応じてウインドの上下位置を実質的に補正する
    ウインド位置補正手段(14)とを備えることを特徴と
    する車両用距離測定装置。
  2. 【請求項2】 前記ピッチング判定手段(13)が,前
    記相対運動量演算手段(12)で得た相対速度の符号が
    反転したことをもって所定量以上のピッチング変化が生
    じたと判定すべく構成されることを特徴とする請求項
    記載の車両用距離測定装置。
  3. 【請求項3】 前記ピッチング判定手段(13)が,前
    記相対運動量演算手段(12)で得た相対加・減速度の
    絶対値が設定値を超えたことをもって所定量以上のピッ
    チング変化が生じたと判定すべく構成されることを特徴
    とする請求項記載の車両用距離測定装置。
  4. 【請求項4】 前記ウインド決定手段(7)は,対象物
    (4)までの距離を定めるための追尾ウインド(W P
    と,該追尾ウインド(W P )の下方に設けられる路面検
    知ウインド(W R )とを設定し, 前記ピッチング判定手段(13)は,前記路面検知ウイ
    ンド(W R )に基づく相対速度が前記追尾ウインド(W
    P )に基づく相対速度に近いことに基づいて自車に上向
    きのピッチングが生じていると判定することを特徴とす
    る,請求項1,2又は3に記載の車両用距離測定装置。
JP21074997A 1997-08-05 1997-08-05 車両用距離測定装置 Expired - Fee Related JP3382518B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21074997A JP3382518B2 (ja) 1997-08-05 1997-08-05 車両用距離測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21074997A JP3382518B2 (ja) 1997-08-05 1997-08-05 車両用距離測定装置

Publications (2)

Publication Number Publication Date
JPH1151645A JPH1151645A (ja) 1999-02-26
JP3382518B2 true JP3382518B2 (ja) 2003-03-04

Family

ID=16594497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21074997A Expired - Fee Related JP3382518B2 (ja) 1997-08-05 1997-08-05 車両用距離測定装置

Country Status (1)

Country Link
JP (1) JP3382518B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280824B2 (en) 2009-09-30 2016-03-08 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device
JP4850963B1 (ja) * 2010-09-28 2012-01-11 富士重工業株式会社 車両の運転支援装置
US9135798B2 (en) 2012-09-01 2015-09-15 Honda Motor Co., Ltd. Vehicle periphery monitoring device
CN107548449B (zh) * 2015-04-21 2019-11-12 卡尔蔡司工业测量技术有限公司 用于确定被测对象的实际尺寸特征的方法和装置
US10363583B2 (en) 2017-11-30 2019-07-30 The Procter & Gamble Company Method and apparatus for particulate control from moving webs

Also Published As

Publication number Publication date
JPH1151645A (ja) 1999-02-26

Similar Documents

Publication Publication Date Title
US5424952A (en) Vehicle-surroundings monitoring apparatus
US5929784A (en) Device for determining distance between vehicles
JP2000059764A (ja) 車両の位置検出装置
JP2000339597A (ja) 物体検出装置
JP3382518B2 (ja) 車両用距離測定装置
US5303019A (en) Inter-vehicle distance measuring device
JPH08327378A (ja) 車両位置算出装置
JPH0674761A (ja) 距離測定装置
JPH1151644A (ja) 車両用距離測定装置
JP3406195B2 (ja) 車両用距離測定装置
JP3721803B2 (ja) 測距装置
JP3441342B2 (ja) 車両用距離測定装置
JP3354448B2 (ja) 車両用距離測定装置
JP4165966B2 (ja) 物体認識装置
JP3354449B2 (ja) 車両用距離測定装置
JP3592531B2 (ja) 車両用距離測定装置
JP3923183B2 (ja) 車両用距離測定装置
JP3354450B2 (ja) 車両用距離測定装置
WO2022113909A1 (ja) 演算装置及びプログラム
JP3923181B2 (ja) 車両用距離測定装置
JP3406196B2 (ja) 車両用距離測定装置
JPH1163975A (ja) 車両用距離測定装置
JP3152483B2 (ja) 測距装置
JP3952604B2 (ja) 車両の位置検出装置
JP2000057319A (ja) 車両の位置検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121220

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131220

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees