JP3525733B2 - 道路白線検出装置 - Google Patents

道路白線検出装置

Info

Publication number
JP3525733B2
JP3525733B2 JP10475098A JP10475098A JP3525733B2 JP 3525733 B2 JP3525733 B2 JP 3525733B2 JP 10475098 A JP10475098 A JP 10475098A JP 10475098 A JP10475098 A JP 10475098A JP 3525733 B2 JP3525733 B2 JP 3525733B2
Authority
JP
Japan
Prior art keywords
white line
road
line detection
shape
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10475098A
Other languages
English (en)
Other versions
JPH11296660A (ja
Inventor
良太 白▲土▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP10475098A priority Critical patent/JP3525733B2/ja
Publication of JPH11296660A publication Critical patent/JPH11296660A/ja
Application granted granted Critical
Publication of JP3525733B2 publication Critical patent/JP3525733B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、道路上の白線を検
出して道路の形状を認識する装置に関する。
【0002】
【従来の技術】道路の形状を認識するために道路上の走
行区分を示す白線(レーンマーカー)を検出する装置が
知られている(例えば、特開平8−5388号公報参
照)。この装置によれば、撮像画像上の道路白線の形状
を数式化モデルで表し、道路白線の検出結果と白線モデ
ルとが一致するように数式化モデルのパラメーターを更
新することによって、道路の形状を認識している。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
た従来の道路白線検出装置では、図11に示すような高
速道路のインターチェンジなどの本線との分岐点におい
て、走行車線の白線を検出しなければならないのに分岐
車線の白線を検出してしまい、正確な道路形状を認識で
きないことがある。
【0004】本発明の目的は、走行車線の白線を正確に
検出することにある。
【0005】
【課題を解決するための手段】(1)請求項1の発明
は、車両周囲の画像を撮像する撮像手段と、撮像画像上
に道路の白線を検出するための領域を設定して白線検出
を行う白線検出手段と、道路形状と車両挙動を示す複数
のパラメーターを用いて道路白線の形状を数式化モデル
で表し、この白線モデルと白線検出結果とが一致するよ
うに複数のパラメーターを更新するパラメーター更新手
段と、白線検出結果に応じて白線検出領域を変更する領
域変更手段と、車両の挙動を検出する車両挙動検出手段
と、車両挙動検出値に基づいて、道路形状を表すパラメ
ーターが現在の走行道路の形状に合致するか否かを判定
するパラメーター判定手段とを備え、パラメーター更新
手段によって、道路形状を表すパラメーターが現在の走
行道路の形状に合致しないと判定された場合には、道路
形状を表すパラメーターを所定の初期値に戻すようにす
ることにより上記目的を達成する。 (2)請求項2の道路白線検出装置は、車両周囲の画像
を撮像する撮像手段と、撮像画像上に道路の白線を検出
するための領域を設定して白線検出を行う白線検出手段
と、道路形状と車両挙動を示す複数のパラメーターを用
いて道路白線の形状を数式化モデルで表し、この白線モ
デルと白線検出結果とが一致するように複数のパラメー
ターを更新するパラメーター更新手段と、白線検出結果
に応じて白線検出領域を変更する領域変更手段と、車両
の挙動を検出する車両挙動検出手段と、車両挙動検出値
に基づいて、車両挙動を表すパラメーターが現在の走行
道路の形状に合致するか否かを判定するパラメーター判
定手段とを備え、パラメーター更新手段によって、車両
挙動を表すパラメーターが現在の走行道路の形状に合致
しないと判定された場合には、車両挙動を表すパラメー
ターを所定の初期値に戻すようにすることにより上記目
的を達成する。 (3)請求項3の道路白線検出装置は、白線検出手段に
よって、白線検出領域内で所定量の白線が検出されなか
った場合には、白線検出領域を所定の初期値に戻すよう
にしたものである。 (4)請求項4の道路白線検出装置は、白線検出手段
は、白線検出領域内で所定量の白線が検出された場合に
は、白線検出領域を初期値よりも小さい領域に変更する
ようにしたものである。
【0006】
【発明の効果】請求項1〜4の発明によれば、道路白線
以外のものを誤って白線として検出するのを防止でき、
走行車線の白線を正確に検出することができるととも
に、例えば、分岐路の白線を走行車線の白線として誤検
出した場合でも、その誤検出結果が白線モデルに反映さ
れるのを防止でき、走行車線の白線を正確に検出するこ
とができる。
【0007】
【発明の実施の形態】図1は一実施の形態の構成を示す
図である。カメラ1は、図2に示すように車幅方向中央
の、車室内のフロントウインドウ上部に、レンズの光軸
と車両中心線とのヨー角が0、ピッチ角がαとなるよう
に取り付けられ、車両前部の道路を撮像する。画像処理
装置2は、カメラ1により撮像された画像を処理して道
路上の白線を検出する。マイクロコンピューター3は、
道路形状と車両挙動を示す複数のパラメーターを用いて
道路白線の形状を数式化モデルで表し、道路白線の検出
結果と白線モデルとが一致するようにパラメーターを更
新することによって、道路白線を検出して道路形状を認
識する。メモリ4は白線モデルのパラメーターなどを記
憶する記憶装置であり、センサー5は車両の挙動を表す
車速、ピッチ角、ヨー角などを検出する検出装置であ
る。また、ディスプレイ7は検出結果の道路形状などを
表示するための表示装置である。
【0008】図3、図4は、マイクロコンピューター4
の道路白線検出処理を示すフローチャートである。この
フローチャートにより、一実施の形態の動作を説明す
る。ステップ1において、道路形状や車両挙動を表すパ
ラメーター(以下、単に道路パラメーターと呼ぶ)を初
期設定する。図5に示すような画面座標系xy上におい
て、白線モデルを道路パラメーターを用いて次のように
数式で表す。
【数1】 x=(a+ie)(y−d)+b/(y−d)+c
【0009】数式1において、a〜eは道路パラメータ
ーであり、路面からのカメラの高さを一定とすると、ぞ
れぞれの道路パラメーターは次のような道路および白線
の形状または車両挙動を表す。すなわち、aは車線内の
自車両の横変位量を、bは道路の曲率を、cは自車両
(カメラの光軸)の道路に対するヨー角を、dは自車両
(カメラの光軸)の道路に対するピッチ角を、eは道路
の車線幅を、それぞれ表す。
【0010】また、初期状態では道路および白線の形状
や車両挙動が不明であるから、各道路パラメーターには
中央値に相当する値を初期値として設定する。すなわ
ち、車線内の位置aには車線中央を設定し、道路曲率b
には直線を設定し、車線に対するヨー角cには0度を設
定する。また、車線に対するピッチ角dには停止状態の
α度を設定し、車線幅eには道路構造令に示される高速
道路の車線幅を設定する。
【0011】なお、センサー5で検出される車両の挙動
を示す値に基づいて道路パラメーターを初期設定しても
よい。例えば初期状態においてステアリングが右または
左に転舵されている場合には、操舵角に応じた曲率の道
路を走行していると判断し、パラメーターbに操舵角に
応じた値を設定してもよい。同様に、初期状態において
ピッチングが発生している場合には、パラメーターdの
初期値をピッチ角検出値だけずらすようにしてもよい。
【0012】ステップ2において、図6に示すように、
白線候補点を検出するための小領域の初期設定を行う。
初期状態においては、道路パラメーターに初期値を設定
した白線モデルと、実際の画面上の道路白線との間には
大きな開きがあると予想されるので、できる限り大きな
領域を設定するのが望ましい。図6に示す例では、左右
の白線に5個づつ、計10個の白線候補点検出領域を設
定する。なお、前回の処理までに道路白線がすでに検出
されている場合には、実際の道路白線と白線モデルとの
差は小さいと考えられるので、図7に示すようになるべ
く小さい領域を設定する方が、白線以外のものを誤検出
する可能性が低く、しかも処理速度を向上させることが
できる。ステップ3では、カメラ1により撮像され、画
像処理装置2で処理された画像を入力する。
【0013】ステップ4において、入力した道路画像上
に白線候補点の検出領域を設定する。この時、ステップ
2または後述するステップ17で設定した白線候補点検
出領域と、ステップ1または後述するステップ12、ス
テップ14、ステップ15で算出した道路パラメーター
による白線モデルとに基づいて、図8に示すように、前
回の処理で求めた白線モデルが領域の中心になるよう
に、白線候補点検出領域を設定する。図8に示す例で
は、左右の白線に5個づつ、計10個の白線候補点検出
領域を設定する。なお、過去の白線モデルの変化の様子
から、白線モデルの変化方向にオフセットした位置に白
線候補点検出領域を設定するようにしてもよい。
【0014】ステップ5で、白線候補点検出領域におい
て白線候補点の検出を行う。白線候補点の検出は、ま
ず、入力画像を、sobelフィルターなどを通して微
分画像を生成する。次に、白線候補点検出領域の上底の
一点と下底の一点とを結んでできるすべての線分に対
し、図9に示すように、その線分上の画素の濃度が所定
値以上の画素の数を計測する。さらに、すべての線分の
中で、濃度が所定値以上の画素が最も多い線分を検出直
線とし、その線分の始点と終点を白線候補点とする。こ
の時、検出された直線上の所定値以上の濃度の画素数
が、検出領域の長さに対する所定の割合よりも少ない場
合には、白線候補点が検出されなかったものとみなす。
例えば、検出領域の長さが15画素で、所定値以上の濃
度の画素が1/2以上、すなわち8画素以上検出されれ
ば白線候補点が検出されたとする検出領域においては、
所定値以上の濃度の画素数が最も多い線分上における画
素数が、7画素未満の場合は、その検出領域において白
線候補点が検出されなかったものとする。一方、9画素
の場合は白線候補点が検出されたものとし、その線分の
始点と終点を検出結果とする。以上の処理をすべての白
線候補点検出領域に対して実行する。この時、白線候補
点の検出の有無を判断するための、検出領域の長さに対
する上記所定の割合は、すべての領域に対して同一とし
てもよいし、検出領域ごとに設定してもよい。また、上
記濃度の所定値もすべての検出領域に対して同一として
もよいし、検出領域ごとに変えてもよい。
【0015】ステップ6では、すべての白線候補点検出
領域で検出した白線候補点の点数が所定値以上かどうか
を確認し、所定値より少なければ白線候補点検出領域内
に道路白線が含まれていなかったと判断し、ステップ2
へ戻って上述したように白線候補点検出領域を初期設定
する。一方、白線候補点が所定値以上検出された場合に
はステップ7へ進み、図10に示すように、検出した白
線候補点と前回の処理で求めた白線モデル上の点とのず
れ量を各点ごとに算出する。続くステップ8で、各点の
ずれ量に基づいて道路パラメーターの変動量Δa〜Δe
を算出する。この変動量の算出方法は、例えば特開平8
−5388号公報に示されるような方法を用いることが
できる。ステップ9では、算出した道路パラメーターの
変動量Δa〜Δeにより道路パラメーターa〜eを補正
する。例えば、数式1に示す白線モデルの場合には、次
式により道路パラメーターa〜eの補正を行う。
【数2】a=a+Δa, b=b+Δb, c=c+Δc, d=d+Δd, e=e+Δe
【0016】ステップ10において、道路パラメーター
の中で道路形状を表すパラメーターが正常かどうかを確
認し、正常でない場合にはステップ15へ進み、道路形
状を表すパラメーターを初期化する。数式1に示す白線
モデルの場合には、パラメーターbが道路曲率を、パラ
メーターeが車線幅をそれぞれ反映する。したがって、
パラメーターbから推定される道路曲率が、センサー5
による車両挙動検出値から判断して現在走行している道
路ではあり得ない曲率になった場合には、パラメーター
bを初期化する。同様に、パラメーターeから推定され
る車線幅が、センサー5による車両挙動検出値から判断
して現在走行している道路ではあり得ない車線幅になっ
た場合には、パラメーターeを初期化する。
【0017】道路形状を表すパラメーターが正常な場合
には、ステップ11で車両挙動を表すパラメーターが正
常かどうかを確認し、正常でない場合はステップ16へ
進み、車両挙動を表すパラメーターを初期化する。数式
1に示す白線モデルの場合には、パラメーターaが車線
内の横変位を、パラメーターcが路面に対するヨー角
を、パラメーターdが路面に対するピッチ角をそれぞれ
反映する。したがって、パラメーターaから推定される
横変位が、道路曲率の推定値あるいはセンサー5による
車両挙動検出値から判断して、現在走行している道路で
はあり得ない横変位になった場合には、パラメーターa
を初期化する。同様に、パラメーターcにより推定され
るヨー角が、道路曲率の推定値あるいはセンサー5によ
る車両挙動検出値から判断して現在走行している道路で
はあり得ない角度になった場合には、パラメーターcを
初期化する。さらに、パラメーターdから推定されるピ
ッチ角が、センサー5による車両挙動検出値から判断し
て現在走行している道路ではあり得ない角度になった場
合には、パラメーターdを初期化する。
【0018】車両挙動を表すパラメーターが正常な場合
には、ステップ12で、上記ステップ9で補正した道路
パラメーターa〜eを新しい白線モデルの道路パラメー
ターとしてメモり5に記憶する。続くステップ13で
は、新しい道路パラメーターにより道路形状を推定し、
ディスプレイ7などに出力する。ステップ14では、今
回の処理における白線候補点検出領域がステップ2で設
定された初期値であるか、あるいはステップ17で設定
されたものであるかを確認し、初期値の場合は白線候補
点検出領域の大きさが最適でないとしてステップ17へ
進む。ステップ17では、上述したようにできる限り小
さい領域を設定する方が白線以外のものを誤検出する可
能性が低く、処理速度を向上させることができるので、
図7に示すように白線候補点検出領域を最適化する。以
上の処理が終了したらステップ3へ戻り、上述した処理
を繰り返す。
【0019】以上の一実施の形態の構成において、カメ
ラ1が撮像手段を、マイクロコンピューター3が白線検
出手段、パラメーター更新手段、領域変更手段およびパ
ラメーター判定手段を、センサー5が車両挙動検出手段
をそれぞれ構成する。
【図面の簡単な説明】
【図1】 一実施の形態の構成を示す図である。
【図2】 カメラの取り付け位置を示す図である。
【図3】 道路白線検出処理を示すフローチャートであ
る。
【図4】 図3に続く、道路白線検出処理を示すフロー
チャートである。
【図5】 白線モデルを説明する図である。
【図6】 白線候補点検出領域の初期値の設定方法を説
明するための図である。
【図7】 すでに道路白線が検出されている場合の、白
線候補点検出領域の初期値の設定方法を説明するための
図である。
【図8】 撮像した道路画像上における白線候補点検出
領域の設定方法を説明するための図である。
【図9】 白線候補点の検出方法を説明するための図で
ある。
【図10】 今回検出した白線候補点と前回求めた白線
モデル上の点とのずれ量を示す図である。
【図11】 従来装置による白線の誤検出を説明するた
めの図である。
【符号の説明】
1 カメラ 2 画像処理装置 3 マイクロコンピューター 4 メモリ 5 センサー 6 ディスプレイ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 330 G01C 21/00 G08G 1/16

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 車両周囲の画像を撮像する撮像手段と、 前記撮像画像上に道路の白線を検出するための領域を設
    定して白線検出を行う白線検出手段と、 道路形状と車両挙動を示す複数のパラメーターを用いて
    道路白線の形状を数式化モデルで表し、この白線モデル
    と前記白線検出結果とが一致するように前記複数のパラ
    メーターを更新するパラメーター更新手段と、 前記白線検出結果に応じて前記白線検出領域を変更する
    領域変更手段と 車両の挙動を検出する車両挙動検出手段と、 前記車両挙動検出値に基づいて、前記道路形状を表すパ
    ラメーターが現在の走行道路の形状に合致するか否かを
    判定するパラメーター判定手段とを備え、 前記パラメーター更新手段は、前記道路形状を表すパラ
    メーターが現在の走行道路の形状に合致しないと判定さ
    れた場合には、前記道路形状を表すパラメーターを所定
    の初期値に戻す ことを特徴とする道路白線検出装置。
  2. 【請求項2】 車両周囲の画像を撮像する撮像手段と、 前記撮像画像上に道路の白線を検出するための領域を設
    定して白線検出を行う白線検出手段と、 道路形状と車両挙動を示す複数のパラメーターを用いて
    道路白線の形状を数式化モデルで表し、この白線モデル
    と前記白線検出結果とが一致するように前記複数のパラ
    メーターを更新するパラメーター更新手段と、 前記白線検出結果に応じて前記白線検出領域を変更する
    領域変更手段と、 車両の挙動を検出する車両挙動検出手段と、 前記車両挙動検出値に基づいて、前記車両挙動を表すパ
    ラメーターが現在の走行道路の形状に合致するか否かを
    判定するパラメーター判定手段とを備え、 前記パラメーター更新手段は、前記車両挙動を表すパラ
    メーターが現在の走行道路の形状に合致しないと判定さ
    れた場合には、前記車両挙動を表すパラメーターを所定
    の初期値に戻す ことを特徴とする道路白線検出装置。
  3. 【請求項3】 請求項1または2に記載の道路白線検出
    装置において、 前記白線検出手段は、前記白線検出領域内で所定量の白
    線が検出されなかった場合には、前記白線検出領域を所
    定の初期値に戻すことを特徴とする道路白線検出装置。
  4. 【請求項4】 請求項に記載の道路白線検出装置にお
    いて、前記白線検出手段は、前記白線検出領域内で所定量の白
    線が検出された場合には、前記白線検出領域を前記初期
    値よりも小さい領域に変更する ことを特徴とする道路白
    線検出装置。
JP10475098A 1998-04-15 1998-04-15 道路白線検出装置 Expired - Fee Related JP3525733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10475098A JP3525733B2 (ja) 1998-04-15 1998-04-15 道路白線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10475098A JP3525733B2 (ja) 1998-04-15 1998-04-15 道路白線検出装置

Publications (2)

Publication Number Publication Date
JPH11296660A JPH11296660A (ja) 1999-10-29
JP3525733B2 true JP3525733B2 (ja) 2004-05-10

Family

ID=14389182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10475098A Expired - Fee Related JP3525733B2 (ja) 1998-04-15 1998-04-15 道路白線検出装置

Country Status (1)

Country Link
JP (1) JP3525733B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3603768B2 (ja) 2000-09-06 2004-12-22 日産自動車株式会社 車線逸脱判定装置
JP3736346B2 (ja) 2000-12-26 2006-01-18 日産自動車株式会社 車線検出装置
JP3690283B2 (ja) 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
JP3822468B2 (ja) 2001-07-18 2006-09-20 株式会社東芝 画像処理装置及びその方法
JP3606276B2 (ja) 2002-11-26 2005-01-05 日産自動車株式会社 車線逸脱防止装置
JP3864893B2 (ja) * 2002-11-28 2007-01-10 日産自動車株式会社 車線逸脱防止装置
JP3661684B2 (ja) 2002-11-28 2005-06-15 日産自動車株式会社 車線逸脱防止装置
EP1657568B1 (en) * 2003-08-18 2018-10-10 ADASENS Automotive GmbH System and method for monitoring the external environment of a motor vehicle
JP3979382B2 (ja) 2003-12-03 2007-09-19 日産自動車株式会社 車線逸脱防止装置
JP4389567B2 (ja) 2003-12-03 2009-12-24 日産自動車株式会社 車線逸脱防止装置
JP4534754B2 (ja) 2004-12-21 2010-09-01 日産自動車株式会社 車線逸脱防止装置
JP5065210B2 (ja) * 2008-09-17 2012-10-31 トヨタ自動車株式会社 車線認識装置
JP5310027B2 (ja) * 2009-01-26 2013-10-09 日産自動車株式会社 車線認識装置、及び車線認識方法
KR101281629B1 (ko) * 2011-06-30 2013-07-03 재단법인 경북아이티융합 산업기술원 센서를 이용한 운전 안내 시스템

Also Published As

Publication number Publication date
JPH11296660A (ja) 1999-10-29

Similar Documents

Publication Publication Date Title
JP3736346B2 (ja) 車線検出装置
US5424952A (en) Vehicle-surroundings monitoring apparatus
JP3525733B2 (ja) 道路白線検出装置
US7619668B2 (en) Abnormality detecting apparatus for imaging apparatus
CN100524385C (zh) 车辆用行驶划分线识别装置
JP3756452B2 (ja) 赤外線画像処理装置
US6218960B1 (en) Rear-view monitor for use in vehicles
CN1985285B (zh) 车辆用行驶划分线识别装置
CN103718224B (zh) 三维物体检测装置和三维物体检测方法
US20040183663A1 (en) Lane deviation alarm system
JP4670528B2 (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2002259995A (ja) 位置検出装置
JP2013530435A (ja) 自動車のための車道推移を求める方法
JP2001091217A (ja) 物体認識装置
CN110415298B (zh) 一种用于车道偏离的计算方法
CN100576283C (zh) 车辆用行驶划分线识别装置
JP2007299045A (ja) 車線認識装置
JP3807651B2 (ja) 白線認識装置
JPH0981757A (ja) 車両位置検出装置
JP4020071B2 (ja) 周囲状況表示装置
JP3319383B2 (ja) 走行路認識装置
JP3399104B2 (ja) 先行車検出装置及び接近警報装置
JPH1170884A (ja) 自動走行用自車位置検出装置
JPH11281352A (ja) 道路形状検出装置
JP2003196798A (ja) 白線検出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees