JP2005055278A - 先行車両検出装置 - Google Patents

先行車両検出装置 Download PDF

Info

Publication number
JP2005055278A
JP2005055278A JP2003285795A JP2003285795A JP2005055278A JP 2005055278 A JP2005055278 A JP 2005055278A JP 2003285795 A JP2003285795 A JP 2003285795A JP 2003285795 A JP2003285795 A JP 2003285795A JP 2005055278 A JP2005055278 A JP 2005055278A
Authority
JP
Japan
Prior art keywords
preceding vehicle
reflector
vehicle
detected
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003285795A
Other languages
English (en)
Other versions
JP4281456B2 (ja
Inventor
Seiji Takeda
誠司 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003285795A priority Critical patent/JP4281456B2/ja
Publication of JP2005055278A publication Critical patent/JP2005055278A/ja
Application granted granted Critical
Publication of JP4281456B2 publication Critical patent/JP4281456B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】 自車両前方の先行車両を精度よく検出することができる先行車両検出装置を提供することを目的とする。
【解決手段】 レーザ発光素子206から出力されたレーザ光は、ステッピングモータ204によって所定の角度分解能で回転する反射ミラー203によって反射され、該レーザ光によって所定方向の走査が行われる。先行車両を検出していない状態においては左右に1次元の走査を行う。先行車両を検出すると左右に上下2段の仰角で2次元の走査を行いリフレクタ高さを推定する。リフレクタ高さが推定されると、ビームの照射範囲に推定された先行車両のリフレクタ高さ含む仰角を、前回の走査において検出した先行車両との距離、相対速度より求め、該仰角で左右に1次元の走査を行う。これにより、先行車両のリフレクタを捉え続けることが可能となり、走行路上方の標識等を先行車両として誤検出することなく、安定して先行車両を検出することができる。
【選択図】 図2

Description

本発明は、レーザ光を走査して先行車両の検出を行う先行車両検出装置に関する。
従来、所定の仰角で自車両前方の左右にレーザ光を走査すると共に、先行車両によって反射されたレーザ光の反射光を受光し、レーザ光の出射から反射光の受光までの時間によって先行車両と自車両との距離や相対速度などを検出する先行車両検出装置が知られている(たとえば、特開2003−57339号、特開2003−121546号)。
このような先行車両検出装置においては先行車両からの反射光強度を確保するために、通常、出射するレーザ光の仰角および上下方向の広がり角度は自車両から所定距離前方の先行車両のリフレクタにレーザ光が照射される角度に設定されている。
特開2003−57339号公報 特開2003−121546号公報
しかしながら、このような従来の先行車両検出装置にあっては、先行車両と自車両との車間距離が上記所定距離よりも短い場合には出射したレーザ光が先行車両のリフレクタに照射されなくなるため、反射強度が低下して先行車両の検出精度が悪化する可能性があった。
これを解決するために、たとえば先行車両と自車両との車間距離が短い場合であっても先行車両のリフレクタにレーザ光が照射されるように、出射するレーザ光の上下方向の広がり角を広くすることも考えられるが、走行路上方の標識等を先行車両として誤検出する可能性があるといった問題があった。
そこで本発明はこのような問題点に鑑み、自車両前方の先行車両を精度よく検出することができる先行車両検出装置を提供することを目的とする。
本発明は、自車両前方左右方向にレーザ光を走査して、該レーザ光の反射光より先行車両を検出する先行車両検出装置において、検出された先行車両の後部に設けられたリフレクタの高さを検出するリフレクタ高さ検出手段と、自車両と先行車両との車間距離および相対速度から、次回の走査時における先行車両の自車両に対する位置を推定する位置推定手段と、自車両前方左右方向に走査するレーザ光の仰角を設定する出射角度設定手段とを備え、該出射角度設定手段は、リフレクタ高さ検出手段によって検出されたリフレクタ高さと、位置推定手段によって推定された次回の走査時における先行車両の自車両に対する位置とから、次回の走査時に先行車両のリフレクタにレーザ光が照射されるように、レーザ光の仰角を設定するものとした。
本発明によれば、リフレクタ高さ検出手段によって検出されたリフレクタ高さと、位置推定手段によって推定された次回の走査時における先行車両の自車両に対する位置とを用い、次回の走査時に先行車両のリフレクタにレーザ光が照射されるように、レーザ光の仰角を設定することにより、先行車両のリフレクタを捉え続けることが可能となり、走行路上方の標識等を先行車両として誤検出することなく、安定して先行車両を検出することができる。
次に本発明の実施の形態を実施例により説明する。
図1は先行車両検出装置の取り付け位置を示し、図2は先行車両検出装置の全体構成を示す。
図1に示すように、自車両12の前方の車両を検出する先行車両検出装置16が、自車両12の前部の幅方向中心位置に設置される。先行車両検出装置16は、自車両12の前方に向けてレーザ光を出射光として出射して、該出射光が先行車両によって反射し先行車両検出装置16に戻ってくる反射光を受光するまでの時間をもとに先行車両との車間距離を検出するものである。
次に図2を用いて先行車両検出装置16の構成について説明する。
先行車両検出装置16のケース17に、レンズ機能を有する投光窓201および受光窓202が設けられている。このケース17の内部に、近赤外線波長域のレーザ光を出射光として出射するレーザ発光素子(LD)206、レーザ発光素子206から出射された出射光が先行車両等に反射して戻ってくる反射光を受光するレーザ受光素子(PD)205、レーザ発光素子206を駆動する駆動回路208、レーザ受光素子205からの微弱な受光信号を増幅する増幅回路207を備える。
さらにケース17内部には、レーザ発光素子206から出射された出射光を自車両前方に反射させる反射ミラー203を備える。反射ミラー203は上下左右に回転し、モータ駆動回路209によって駆動されるステッピングモータ204によって反射ミラー203が所定の角度分解能(n本×m本)で回転する。これにより左右方向の所定角度範囲にn本のビーム、垂直方向の所定角度範囲にm本のビームとして自車両前方の走査が行われる。
また増幅回路207、駆動回路208およびモータ駆動回路209を制御するCPU210を備える。CPU210が駆動回路208や増幅回路207を制御することによってレーザ発光素子206からレーザ光が出射光として送出され、レーザ受光素子205によってレーザ光の反射光が受光される。
CPU210は、自車両の速度などが入力情報として入力される
またCPU210が、レーザ受光素子205によって受光される受光信号の強度を時間分解して記録し、先行車両との距離や検出方向、相対速度などを算出する。
CPU210による算出結果は出力情報として、図示しない表示装置へ出力されたり、車両の制御装置へ出力される。
図3にレーザ光の照射範囲と先行車両に取り付けられたリフレクタとの関係について説明する。
ここで、車両後方に設置されるリフレクタは、たとえば道路運送車両の保安基準によると、路面からの高さが250mm以上、1500mm以下の位置に装着されている。
先行車両検出装置16は、たとえば車両の前側バンパー上部に設置され、その取り付け角度は自車両12から先行車両13までの検出を行いたい距離(たとえば100m)において、初期値の出射光の光軸で走査した場合に当該出射光のビーム内に先行車両13の後部に取り付けられたリフレクタ19の高さの上限と下限とが含まれるように設定される。
以降、この先行車両検出装置16が初期値において出射光を左右に走査する際の仰角を所定仰角と呼ぶ。
次に図4〜図8のフローチャートを用いてCPU210が行う処理の内容について説明する。
ステップ301において、前回の処理サイクルで先行車両が検出されているか否かを判断する。これは後述の先行車両検出フラグを参照することによって判断を行うものである。前回の処理サイクルで先行車両が検出されて先行車両検出フラグ=1である場合にはステップ302へ進む。また先行車両が検出されておらず先行車両検出フラグ=0である場合には、図5のステップ401へ進む。
ステップ302において、後述のリフレクタ高さ推定済みフラグを参照し、先行車両のリフレクタ高さが推定されているか否かを判定する。先行車両のリフレクタ高さが推定済みでありリフレクタ高さ推定済みフラグ=1である場合にはステップ303へ進み、リフレクタ高さが推定されておらずリフレクタ高さ推定済みフラグ=0である場合には、図6のステップ501以降のリフレクタ高さ推定処理を行う。
ステップ303において、前回の先行車両の検出位置から1処理周期後の先行車両の位置を自車両との相対速度差をもとに算出する。
先行車両と自車両との距離をd[m]、相対速度差をv[m/s]、処理周期をt[s]とすると、1処理周期後の先行車両と自車両との距離はd+v×tとなる。
ステップ304において、ビームの照射範囲に後述のステップ507において推定した先行車両のリフレクタ高さを含む仰角を設定する。
これは先行車両のリフレクタ高さの下限がH[m]、先行車両検出装置16の取り付け高さをh[m]とすると、ビームの照射範囲を水平方向からtan−1((H−h)/(d+v×t))以上上向きの範囲を含むように左右に走査する際の仰角を設定する。
ここで、本実施例においてビームの上下方向の広がり角が一定の先行車両検出装置を用いるため、先行車両の接近に伴い一回の走査でカバーできる上下範囲が狭くなる。しかしながら、ビームの照射範囲にリフレクタ高さの下限を含むこととしたので、先行車両の接近に伴いビームの照射範囲からリフレクタがずれたとしても、今回の走査における仰角よりも上方の位置にリフレクタは存在するので、随時仰角を上方にずらしながら走査を行うことにより接近する先行車両のリフレクタを捉えることができる。
ステップ305において、設定された仰角で左右に1次元走査を行う。
ステップ306では、走査の結果先行車両が検出されたか否かを判断する。
この判断は、出射光の反射光が受光された場合に、先行車両が検出されたものとするものである。
反射光が受光され、先行車両が存在すると判断された場合には、ステップ307へ進み、今回の走査において実際に検出された先行車両の位置と、前回の走査において検出された先行車両が今回の走査時に存在すると推定された位置との差を比較する。
この比較の結果、実際に検出された先行車両の位置と、推定した先行車両の位置との差がたとえば1車長以上ずれていたとすれば、前回の走査において検出した先行車両との間に割り込み車両が存在する場合など、前回検出した先行車両と今回検出した先行車両とが違う車両である可能性が高くなる。よって再度、今回の走査において検出した先行車両のリフレクタ高さを推定する必要がある。
推定された位置で先行車両が検出されなかった場合には、図7のステップ601へ進み、推定された位置で先行車両が検出された場合にはステップ308へ進む。
ステップ308において、受光した反射光の強度が所定値以上か否かをチェックする。
このチェックは、受光された反射光がリフレクタによる反射光か、またはボディーによる反射光であるかをチェックするものであり、所定値以上の反射光強度が検出された場合にはリフレクタによる反射光であるとしてステップ309へ進み、所定値以下の反射光強度である場合にはボディーによる反射光であるとして図8のステップ701へ進む。
受光された反射光がボディーによる反射光である場合には、再度リフレクタの高さを推定する必要がある。
一方、ステップ306で先行車両が存在しないと判断された場合にはステップ310において、先行車両検出フラグ=0を設定し、ステップ311においてリフレクタ高さ推定済みフラグ=0を設定する。
ステップ309では、先行車両の検出結果を出力情報として出力する。
ステップ301で前回の処理サイクルで先行車両が検出されていないと判断された場合には図5に示すステップ401において、所定仰角で水平方向に1次元走査を行う。
この走査の結果、先行車両を検出したか否かをステップ402において判断し、先行車両が検出されていない場合にはステップ405へ進む。また、先行車両が検出された場合にはステップ403へ進み、先行車両検出フラグ=1を設定する。
ステップ404において、先行車両初検出フラグ=1を設定する。ステップ405において、検出結果を出力情報として出力する。
図6に、先行車両のリフレクタ高さ推定処理の流れを示す。
ステップ501において、前回の処理サイクルで検出された先行車両が、初めて検出した車両であるか否かを判定するため、先行車両初検出フラグをチェックする。先行車両初検出フラグ=1である場合には、ステップ502において先行車両初検出フラグを0に設定したあと、ステップ503において上下2段の仰角を設定する。
この上下2段の仰角の設定は図9に示すように、下段の仰角は所定仰角を設定し、上段の仰角においては所定仰角よりも上向きの角度を設定する。
また上段の仰角は、ビーム18を上下2段の仰角で左右に走査した際に上段のビーム18と下段のビーム18との間に隙間ができないように設定される。
一方、ステップ501のチェックで先行車初検出フラグ=0である場合には、ステップ510において、前回左右に上下2段の仰角で行った走査の上段の仰角を、今回上下2段の仰角で走査を行う際の下段の仰角として設定し、該新たに設定した下段の仰角よりも上向きの仰角を今回走査を行う際の上段の仰角として設定する。
ステップ504では、ステップ503またはステップ510で設定された仰角をもとに、左右に上下2段の仰角で走査を行う。
ステップ505では、走査の結果先行車両が検出されたか否かを判断する。
この判断は、出射したレーザ光の反射光が受光された場合に、先行車両が検出されたものとするものである。
先行車両が検出された場合ステップ506において、受光した反射光の強度が所定値以上か否かをチェックし、所定値以上のときはステップ507において、検出した先行車両までの距離と出射したレーザ光の仰角より、リフレクタ高さを推定する。
リフレクタ高さの推定後、ステップ508においてリフレクタ高さ推定済みフラグ=1を設定し、ステップ509において検出結果を出力情報として出力する。
またステップ506のチェックにおいて、受光した反射光の強度が所定値未満である場合には、ステップ511において、今回左右に上下2段の走査を行った際の上段の仰角を、次回左右に上下2段に走査を行う際の下段の仰角として設定する。
一方、ステップ505において先行車両が検出されていない場合には、ステップ512で先行車両検出フラグ=0を設定し、ステップ513においてリフレクタ高さ推定済みフラグ=0を設定する。
ステップ307における判断で推定した位置で先行車両が検出されなかった場合には、図7に示すステップ601において先行車両初検出フラグ=1を設定し、ステップ602においてリフレクタ高さ推定済みフラグ=0を設定する。ステップ603において先行車両の検出結果を出力情報として出力し、再度先行車両のリフレクタ高さの推定を行うため、ステップ301、302から図6に示すリフレクタ高さ推定フローへ進む。
ステップ308における判断で受光された反射光強度が所定値未満の場合には、図8に示すステップ701においてリフレクタ高さ推定済みフラグ=0を設定する。
ステップ702において今回左右に走査を行った際の仰角を、次回左右に上下2段の走査を行う際の下段の仰角として設定し、ステップ703において先行車両の検出結果を出力情報として出力する。
なお本実施例において、ステップ507が本発明におけるリフレクタ高さ検出手段を構成し、ステップ303が本発明における位置推定手段を構成する。またステップ304、503、510、511、702が本発明における出射角度設定手段を構成する。
本実施例は以上のように構成され、先行車両を検出していない状態においては左右に1次元の走査を行う。先行車両を検出すると左右に上下2段の仰角で2次元の走査を行いリフレクタ高さを推定する。次にリフレクタ高さが推定されると、ビームの照射範囲に推定された先行車両のリフレクタ高さを含む仰角を、前回の走査において検出した先行車両との距離、相対速度より求め、該仰角で左右に1次元の走査を行う。
このようにレーザ光の仰角を設定することにより、先行車両のリフレクタを捉え続けることが可能となり、走行路上方の標識等を先行車両として誤検出することなく、安定して先行車両を検出することができる。
また先行車両が検出された場合には、上下2段の仰角で左右に走査を行うことにより、すばやく先行車両のリフレクタをビームの照射範囲内に捉えることができ、リフレクタの高さを推定することができる。
さらに先行車両のリフレクタ高さが推定されている場合には、推定されたリフレクタの高さをビームの照射範囲に含む単一の仰角で左右に走査を行うことにより、遠方にある道路標識などを先行車両として誤検出することなく、正確に先行車両のリフレクタを捉え続けることができる。
受光した反射光の強度が所定値以上である場合にリフレクタからの反射光であるとし、その走査時の仰角をもとにリフレクタの高さを推定するものとしたので、容易にボディーによる反射光かリフレクタによる反射光かを区別することができ、所定強度以上の反射光が検出されたときの仰角を用いて正確にリフレクタ高さを推定することができる。
本発明における実施例を示す図である。 先行車両検出装置の構成を示す図である。 レーザ光の照射範囲と先行車両に取り付けられたリフレクタとの関係を示す図である。 CPUが行う先行車両検出処理の流れを示す図である。 CPUが行う先行車両検出処理の流れを示す図である。 CPUが行う先行車両検出処理の流れを示す図である。 CPUが行う先行車両検出処理の流れを示す図である。 CPUが行う先行車両検出処理の流れを示す図である。 ビームの照射範囲を示す図である。
符号の説明
12 自車両
13 先行車両
16 先行車両検出装置
17 本体
18 ビーム
19 リフレクタ
201 投光窓
202 受光窓
203 反射ミラー
204 ステッピングモータ
205 レーザ受光素子
206 レーザ発光素子
207 増幅回路
208 駆動回路
209 モータ駆動回路
210 投光窓

Claims (4)

  1. 自車両前方左右方向にレーザ光を走査して、該レーザ光の反射光より先行車両を検出する先行車両検出装置において、
    検出された先行車両の後部に設けられたリフレクタの高さを検出するリフレクタ高さ検出手段と、
    自車両と先行車両との車間距離および相対速度から、次回の走査時における先行車両の自車両に対する位置を推定する位置推定手段と、
    自車両前方左右方向に走査するレーザ光の仰角を設定する出射角度設定手段とを備え、
    該出射角度設定手段は、前記リフレクタ高さ検出手段によって検出されたリフレクタ高さと、前記位置推定手段によって推定された次回の走査時における先行車両の自車両に対する位置とから、次回の走査時に先行車両のリフレクタにレーザ光が照射されるように、レーザ光の仰角を設定することを特徴とする先行車両検出装置。
  2. 前記リフレクタ高さ検出手段は先行車両が検出された場合に、複数の仰角でレーザ光を左右に走査し、反射光の強度が所定値以上となるときの仰角より、先行車両のリフレクタの高さを検出することを特徴とする請求項1記載の先行車両検出装置。
  3. 前記出射角度設定手段は、前記リフレクタ高さ検出手段によって先行車両のリフレクタ高さが検出された場合には、レーザ光の仰角として次回の走査時に先行車両のリフレクタにレーザ光が照射される単一の角度を設定することを特徴とする請求項1または2記載の先行車両検出装置。
  4. 前記出射角度設定手段によって設定された仰角でレーザ光を左右に走査した時に、反射光の強度が所定値未満である場合には、再度前記リフレクタ高さ検出手段によって先行車両のリフレクタ高さの検出を行うことを特徴とする請求項1から3のいずれか1に記載の先行車両検出装置。
JP2003285795A 2003-08-04 2003-08-04 先行車両検出装置 Expired - Fee Related JP4281456B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003285795A JP4281456B2 (ja) 2003-08-04 2003-08-04 先行車両検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003285795A JP4281456B2 (ja) 2003-08-04 2003-08-04 先行車両検出装置

Publications (2)

Publication Number Publication Date
JP2005055278A true JP2005055278A (ja) 2005-03-03
JP4281456B2 JP4281456B2 (ja) 2009-06-17

Family

ID=34365317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003285795A Expired - Fee Related JP4281456B2 (ja) 2003-08-04 2003-08-04 先行車両検出装置

Country Status (1)

Country Link
JP (1) JP4281456B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276076A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp レーダ装置
JP2014055860A (ja) * 2012-09-13 2014-03-27 Ricoh Co Ltd 距離測定装置
CN105572679A (zh) * 2016-02-04 2016-05-11 重庆大学 一种二维扫描型激光雷达的扫描数据修正方法及***
WO2022219961A1 (ja) * 2021-04-15 2022-10-20 株式会社デンソー センシング制御装置、センシング制御方法、センシング制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276076A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp レーダ装置
JP2014055860A (ja) * 2012-09-13 2014-03-27 Ricoh Co Ltd 距離測定装置
CN105572679A (zh) * 2016-02-04 2016-05-11 重庆大学 一种二维扫描型激光雷达的扫描数据修正方法及***
WO2022219961A1 (ja) * 2021-04-15 2022-10-20 株式会社デンソー センシング制御装置、センシング制御方法、センシング制御プログラム

Also Published As

Publication number Publication date
JP4281456B2 (ja) 2009-06-17

Similar Documents

Publication Publication Date Title
US9891432B2 (en) Object detection device and sensing apparatus
JP5267592B2 (ja) 物体認識装置
US7650239B2 (en) Object recognition apparatus for motor vehicle
JP2003302468A (ja) 測距装置
JPH11242518A (ja) レーダー装置
US10816663B2 (en) Distance measuring device and distance measuring method
JP4345783B2 (ja) 物体検知装置および方法
US20230065210A1 (en) Optical distance measuring device
JP2008003959A (ja) 車両用通信システム
JP5570708B2 (ja) 対象物検出装置
JP4960599B2 (ja) 衝突防止装置及び衝突防止装置搭載車両
JP6186863B2 (ja) 測距装置及びプログラム
JP2003090759A (ja) 光検出装置及び距離測定装置
JP2019028039A (ja) 距離測定装置及び距離測定方法
JP5556317B2 (ja) 物体認識装置
JP4281456B2 (ja) 先行車両検出装置
JPWO2019167350A1 (ja) 物体検知装置
JP2017015416A (ja) 物体検出装置、センシング装置、移動体装置及び物体検出方法
JP4887842B2 (ja) レーダ装置
JP2009288097A (ja) 物体検出装置
JP4033036B2 (ja) 車間距離検出装置
JP2005249743A (ja) レーダ装置
JP2019534448A (ja) 動力車両のための検知装置、運転支援システム、動力車両、及び方法
JPH06289138A (ja) 障害物検出装置
JP5266837B2 (ja) 先行車認識装置及び先行車認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080825

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees