JP3707443B2 - 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法 - Google Patents

適応忘却係数制御適応フィルタ、および忘却係数適応制御方法 Download PDF

Info

Publication number
JP3707443B2
JP3707443B2 JP2002092732A JP2002092732A JP3707443B2 JP 3707443 B2 JP3707443 B2 JP 3707443B2 JP 2002092732 A JP2002092732 A JP 2002092732A JP 2002092732 A JP2002092732 A JP 2002092732A JP 3707443 B2 JP3707443 B2 JP 3707443B2
Authority
JP
Japan
Prior art keywords
time
output
adaptive
forgetting factor
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002092732A
Other languages
English (en)
Other versions
JP2003289239A (ja
Inventor
伸一 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2002092732A priority Critical patent/JP3707443B2/ja
Priority to US10/395,286 priority patent/US7225215B2/en
Publication of JP2003289239A publication Critical patent/JP2003289239A/ja
Application granted granted Critical
Publication of JP3707443B2 publication Critical patent/JP3707443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006Arrangements for removing intersymbol interference
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00Adaptive networks
    • H03H21/0012Digital adaptive filters
    • H03H21/0043Adaptive algorithms
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00Adaptive networks
    • H03H21/0012Digital adaptive filters
    • H03H21/0043Adaptive algorithms
    • H03H2021/0049Recursive least squares algorithm
    • H03H2021/005Recursive least squares algorithm with forgetting factor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006Arrangements for removing intersymbol interference
    • H04L2025/03592Adaptation methods
    • H04L2025/03598Algorithms
    • H04L2025/03611Iterative algorithms
    • H04L2025/03617Time recursive algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • H04L25/03006Arrangements for removing intersymbol interference
    • H04L2025/03592Adaptation methods
    • H04L2025/03598Algorithms
    • H04L2025/03681Control of adaptation

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、データ伝送や音響システムに用いられるエコーキャンセラ、ディジタルデータ伝送用自動等化器、また一般に未知システムの同定に用いられる適応忘却係数制御適応フィルタ、および忘却係数適応制御方法に関する。
【0002】
【従来の技術】
はじめに適応フィルタの原理について述べる。図3に適応フィルタの原理図を示す。適応フィルタは、既知の参照入力信号から未知信号の推定値を作成し、未知信号とこの推定値との誤差の信号をもとに、フィルタの有するパラメータを更新し、未知システムを正しく同定するものである。未知信号には、通常観測時の雑音が相加されている。適応フィルタは、未学習の初期状態から出発し最終定常状態に収束する。また未知信号は未知システムの、前述した参照入力信号に対する応答として与えられる場合が多い。エコーキャンセラや自動等化器がこの場合に相当する。
【0003】
適応フィルタは、巡回型(FIR)ろ波器として実現することが多く、この場合誤差信号e(n)を用いてN 個のタップ重みc0,c1,.....,cN -1 を制御する。本発明ではタップ重みの制御アルゴリズムとして逐次最小二乗(Recursive Least Squares) アルゴリズムを用いる。タップ重み等の更新式は次のようになる。以下、本明細書中において、 は、ベクトルまたは行列を示すものとする。
【0004】
c(n+1)=c(n)+e(n)g(n) ・・・式1
g(n)=P(n)a(n)/{λ+a T (n)P(n)a(n) } ・・・式2P(n+1)= {P(n)-g(n)a T (n)P(n) }/ λ ・・・式3
【0005】
ここで、n は離散時刻、a(n)=[a(n),a(n-1),.....,a(n-N+1)] T はフィルタ参照入力信号ベクトル、a(n)は参照入力信号系列、c(n)=[c0(n),c1(n),....,cN -1(n)]T はタップ重みベクトル、g(n)はカルマン利得と呼ばれるベクトル、P(n)は参照入力信号の共分散行列に対する逆行列の推定値である。( ・) T はベクトルまたは行列の転置を示す。式2及び式3において、λは忘却係数(forgetting factor) と呼ばれるパラメータである。
【0006】
逐次最小二乗アルゴリズムでは所要演算量は多いが、よく知られている最小二乗平均(LMS) アルゴリズム等に比べ、有色参照入力の場合に速い収束を与える。
【0007】
【発明が解決しようとする課題】
さて、逐次最小二乗アルゴリズムを用いた適応フィルタを未知システムの応答を同定する目的で使用する場合、その応答が定常時不変(stationary time-invariant) でなく非定常時変(nonstationary time-variant)であると、上記忘却係数の最適値が存在することが知られている。そのような最適忘却係数に対しては二乗平均誤差(MSE) は最小になる。未知システムの非定常特性は予め知られていないから、最適な忘却係数の値も未知である。
【0008】
そこで非定常時変のシステム同定においては、忘却係数を最適制御し二乗平均誤差を最小化することが要求される。本発明は、以上に示した事情に鑑みなされたものであり、忘却係数を最適制御し二乗平均誤差を最小化することが可能な適応忘却係数制御適応フィルタ、および忘却係数適応制御方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の発明は、逐次最小二乗アルゴリズムを用いた適応ろ波方式を採用した適応忘却制御適応フィルタであって、所定時刻nにおける誤差信号と所定時刻を一単位時間遅延させた時刻n+1における誤差信号とを乗算する第1の乗算手段と、時刻n+1における参照入力ベクトルと、時刻nにおけるカルマン利得ベクトルとの内積を計算するベクトル内積計算手段と、第1の乗算手段の出力と、ベクトル内積計算手段の出力とを乗算する第2の乗算手段と、第2の乗算手段の出力を、時刻nにおける忘却係数の補数信号で除算する除算手段と、除算手段の出力と適応制御の係数とを乗算する第3の乗算手段と、第3の乗算手段の出力と時刻nにおける忘却係数の補数信号とを加算する加算手段と、加算手段の出力を一単位時間遅延させる遅延手段と、遅延手段の出力を1から減算する減算手段と、を有し、減算手段の出力を忘却係数として出力し、時刻nにおける忘却係数の補数信号は、遅延手段の出力をフィードバックさせた信号であり、誤差信号の忘却係数に関する勾配を用いて忘却係数を更新することにより適応制御するようになしたことを特徴としている。
【0012】
請求項記載の発明は、請求項記載の発明において、ベクトル内積計算手段は、時刻n+1における参照入力ベクトルと、カルマン利得ベクトルの替わりに時刻nにおける参照入力ベクトルとの内積を計算することを特徴としている。
【0013】
請求項記載の発明は、逐次最小二乗アルゴリズムを用いた適応ろ波方式を採用した適応忘却制御適応フィルタにおける忘却係数を適応制御する忘却係数適応制御方法であって、所定時刻nにおける誤差信号と所定時刻を一単位時間遅延させた時刻n+1における誤差信号とを乗算する第1の乗算工程と、時刻n+1における参照入力ベクトルと、時刻nにおけるカルマン利得ベクトルとの内積を計算するベクトル内積計算工程と、第1の乗算工程により乗算された出力と、ベクトル内積計算工程により計算された出力とを乗算する第2の乗算工程と、第2の乗算工程により乗算された出力を、時刻nにおける忘却係数の補数信号で除算する除算工程と、除算工程により除算された出力と適応制御の係数とを乗算する第3の乗算工程と、第3の乗算工程により乗算された出力と時刻nにおける忘却係数の補数信号とを加算する加算工程と、加算工程により加算された出力を一単位時間遅延させる遅延工程と、遅延工程の出力を1から減算する減算工程と、を有し、減算工程の出力を忘却係数として出力し、時刻nにおける忘却係数の補数信号は、遅延工程により遅延された出力をフィードバックさせた信号であり、誤差信号の忘却係数に関する勾配を用いて忘却係数を更新することにより適応制御するようになしたことを特徴としている。
【0016】
請求項記載の発明は、請求項記載の発明において、ベクトル内積計算工程は、時刻n+1における参照入力ベクトルと、カルマン利得ベクトルの替わりに時刻nにおける参照入力ベクトルとの内積を計算することを特徴としている。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【0018】
本発明は上記忘却係数の適応制御方法を与えるものである。それには誤差信号の忘却係数に関する勾配を用いる。本発明によれば、忘却係数の更新は次式のように行われる。
【0019】
λ(n)=1-λc (n) ・・・式4
λc(n+1)= λc (n)+ρG e(n+1)e(n)a T (n+1)g(n)/λc (n) ・・・式5
【0020】
ここで、λc (n) は時刻n における忘却係数λ(n) の補数、ρG は適応制御の係数である。
【0021】
本発明の一実施例を図1に示す。本実施例に示す回路は、乗算器11、ベクトルの内積計算器17、乗算器12、除算器16、乗算器13、加算器14、遅延器18、および減算器15を備える。
【0022】
入力される信号101と信号102は、それぞれ時刻n+1 およびn における誤差信号e(n+1)およびe(n)である。乗算器11は、信号101と信号102との積を計算する。入力されるベクトル103は時刻n+1 における参照入力信号ベクトルa(n+1)であり、入力されるベクトル104は時刻n におけるカルマン利得g(n)である。ベクトルの内積計算器17は、ベクトル103とベクトル104との内積a T (n +1)g(n)を求める。
【0023】
次に、乗算器12は、乗算器11の出力と内積計算器17の出力との積を計算する。遅延器18からフィードバックされる信号106は忘却係数の補数λc (n) であって、除算器16は乗算器12の出力を信号106により除する。その商は乗算器13に入力され、乗算器13は、当該信号106と入力される適応制御の係数107との積を計算する。加算器14は、乗算器13の出力に上記遅延器18からフィードバックされる信号106を加算する。その和は一単位時間の遅延器18に与えられ、一単位時間遅延される。遅延器18の出力が上記信号106であって、当該信号106はさらに減算器15に入力され、減算器15は、値「1」を有する入力信号108から上記信号106を減算する。その差は出力105となる。出力105は忘却係数λ(n) に他ならない。
【0024】
以上に述べた実施例は上記式4及び式5を具体的な回路で実現したものであるが、乗除算の順番を変えた構成も可能である。
【0025】
また、式5の変化形を以下に示す。
【0026】
Figure 0003707443
または
λc (n+1)=λc (n)+ρG e(n+1)e(n)a T (n+1)a(n)/λc (n) ・・・式7
が考えられる。
【0027】
式6でsgn(・) は極性関数である。式7ではカルマン利得g(n)の替わりに参照入力信号ベクトルa(n)を用いている。
【0028】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。上述の説明では、本発明の忘却係数制御方法を回路により実現したが、DSP(Digital Signal Processor)によるデジタル信号処理により実現することもできる。
【0029】
【発明の効果】
本発明の効果を示すために、図2に計算機シミュレーションの結果を掲げる。ここでは、未知システムの非定常時変特性を「酔歩」モデルとした。初め定常時不変未知システムを仮定して、二乗平均誤差(MSE) が小さくなるように忘却係数の補数は小さく選んであるので、未知システムが非定常の場合、MSE はフィルタの収束後-8dBとなっている。時刻n=10000 で適応忘却係数制御を開始すると、MSE は-20dB まで達し10dB以上の改善が見られる。実際この例では、最適な忘却係数の値に対する最小MSE の値は-20dB である。つまり忘却係数の最適制御が達成された。図2には同時に忘却係数の補数の変化も示してあるが、本発明の適応制御により、初期の小さい値から最適値に制御される様子が見られる。
【0030】
したがって、本発明によれば、忘却係数を最適制御し二乗平均誤差を最小化することにより、未知システムを正しく同定することができる。
【図面の簡単な説明】
【図1】本発明における適応忘却係数制御法の一実施例を説明するためのブロック図である。
【図2】本発明の効果を示す適応フィルタのシミュレーション結果を示す図である。
【図3】適応フィルタの原理を示す図である。
【符号の説明】
11、12、13 乗算器
14 加算器
15 減算器
16 除算器
17 ベクトル内積計算機器
18 一単位時間の遅延器
101、102 誤差信号
103 参照入力信号ベクトル
104 カルマン利得
105 忘却係数
106 忘却係数の補数
107 適応制御の係数
108 値「1」

Claims (4)

  1. 逐次最小二乗アルゴリズムを用いた適応ろ波方式を採用した適応忘却制御適応フィルタであって、
    所定時刻nにおける誤差信号と前記所定時刻を一単位時間遅延させた時刻n+1における誤差信号とを乗算する第1の乗算手段と、
    前記時刻n+1における参照入力ベクトルと、前記時刻nにおけるカルマン利得ベクトルとの内積を計算するベクトル内積計算手段と、
    前記第1の乗算手段の出力と、前記ベクトル内積計算手段の出力とを乗算する第2の乗算手段と、
    前記第2の乗算手段の出力を、前記時刻nにおける忘却係数の補数信号で除算する除算手段と、
    前記除算手段の出力と適応制御の係数とを乗算する第3の乗算手段と、
    前記第3の乗算手段の出力と前記時刻nにおける忘却係数の補数信号とを加算する加算手段と、
    前記加算手段の出力を一単位時間遅延させる遅延手段と、
    前記遅延手段の出力を1から減算する減算手段と、を有し、
    前記減算手段の出力を忘却係数として出力し、前記時刻nにおける忘却係数の補数信号は、前記遅延手段の出力をフィードバックさせた信号であり、誤差信号の忘却係数に関する勾配を用いて前記忘却係数を更新することにより適応制御するようになしたことを特徴とする適応忘却係数制御適応フィルタ。
  2. 前記ベクトル内積計算手段は、前記時刻n+1における参照入力ベクトルと、前記カルマン利得ベクトルの替わりに前記時刻nにおける参照入力ベクトルとの内積を計算することを特徴とする請求項記載の適応忘却係数制御適応フィルタ。
  3. 逐次最小二乗アルゴリズムを用いた適応ろ波方式を採用した適応忘却制御適応フィルタにおける忘却係数を適応制御する忘却係数適応制御方法であって、
    所定時刻nにおける誤差信号と前記所定時刻を一単位時間遅延させた時刻n+1における誤差信号とを乗算する第1の乗算工程と、
    前記時刻n+1における参照入力ベクトルと、前記時刻nにおけるカルマン利得ベクトルとの内積を計算するベクトル内積計算工程と、
    前記第1の乗算工程により乗算された出力と、前記ベクトル内積計算工程により計算された出力とを乗算する第2の乗算工程と、
    前記第2の乗算工程により乗算された出力を、前記時刻nにおける忘却係数の補数信号で除算する除算工程と、
    前記除算工程により除算された出力と適応制御の係数とを乗算する第3の乗算工程と、
    前記第3の乗算工程により乗算された出力と前記時刻nにおける忘却係数の補数信号とを加算する加算工程と、
    前記加算工程により加算された出力を一単位時間遅延させる遅延工程と、
    前記遅延工程の出力を1から減算する減算工程と、を有し、
    前記減算工程の出力を忘却係数として出力し、前記時刻nにおける忘却係数の補数信号は、前記遅延工程により遅延された出力をフィードバックさせた信号であり、誤差信号の忘却係数に関する勾配を用いて前記忘却係数を更新することにより適応制御するようになしたことを特徴とする忘却係数適応制御方法。
  4. 前記ベクトル内積計算工程は、前記時刻n+1における参照入力ベクトルと、前記カルマン利得ベクトルの替わりに前記時刻nにおける参照入力ベクトルとの内積を計算することを特徴とする請求項記載の忘却係数適応制御方法。
JP2002092732A 2002-03-28 2002-03-28 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法 Expired - Fee Related JP3707443B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002092732A JP3707443B2 (ja) 2002-03-28 2002-03-28 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法
US10/395,286 US7225215B2 (en) 2002-03-28 2003-03-25 Adaptive filter employing adaptively controlled forgetting factor and adaptively controlling method of forgetting factor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002092732A JP3707443B2 (ja) 2002-03-28 2002-03-28 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法

Publications (2)

Publication Number Publication Date
JP2003289239A JP2003289239A (ja) 2003-10-10
JP3707443B2 true JP3707443B2 (ja) 2005-10-19

Family

ID=28449636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002092732A Expired - Fee Related JP3707443B2 (ja) 2002-03-28 2002-03-28 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法

Country Status (2)

Country Link
US (1) US7225215B2 (ja)
JP (1) JP3707443B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1343061A1 (de) * 2002-03-08 2003-09-10 Siemens Aktiengesellschaft Verfahren zur Simulation eines technischen Systems und Simulator
KR100607419B1 (ko) 2004-07-09 2006-08-01 학교법인연세대학교 근반응 억제를 위한 적응 필터
CN105656453B (zh) * 2016-01-06 2018-09-21 东南大学 一种基于时间序列的光纤电流互感器随机噪声实时滤波方法
CN105866504B (zh) * 2016-03-23 2018-07-17 东南大学 一种基于卡尔曼滤波的光纤电流互感器温度补偿方法
CN108445418A (zh) * 2018-05-17 2018-08-24 福建省汽车工业集团云度新能源汽车股份有限公司 一种电池剩余电量估算方法及存储介质
CN112671373B (zh) * 2020-12-21 2024-04-26 北京科技大学 一种基于误差控制的卡尔曼滤波自适应滤波算法
CN112953463B (zh) * 2021-03-05 2023-06-23 苏州大学 受约束的带遗忘因子递归最大相关熵自适应滤波器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59167706A (ja) * 1983-03-14 1984-09-21 Toshiba Corp 多入出力サンプル値i−pd制御装置
US5555190A (en) 1995-07-12 1996-09-10 Micro Motion, Inc. Method and apparatus for adaptive line enhancement in Coriolis mass flow meter measurement
US5734715A (en) 1995-09-13 1998-03-31 France Telecom Process and device for adaptive identification and adaptive echo canceller relating thereto
US6532454B1 (en) * 1998-09-24 2003-03-11 Paul J. Werbos Stable adaptive control using critic designs
EP1217798B1 (en) * 2000-12-19 2007-11-07 NTT DoCoMo, Inc. Adaptive equalization method and adaptive equalizer
US6827695B2 (en) * 2002-10-25 2004-12-07 Revivant Corporation Method of determining depth of compressions during cardio-pulmonary resuscitation

Also Published As

Publication number Publication date
US20030185294A1 (en) 2003-10-02
US7225215B2 (en) 2007-05-29
JP2003289239A (ja) 2003-10-10

Similar Documents

Publication Publication Date Title
JP3008763B2 (ja) 適応フィルタによるシステム同定の方法および装置
JP2947093B2 (ja) 適応フィルタによるシステム同定の方法および装置
JPH08265223A (ja) 適応フィルタ及びエコーキャンセラ
US8583717B2 (en) Signal processing circuit
JP3068996B2 (ja) 適応フィルタ装置及びそのステップゲインの発生方法
JP3707443B2 (ja) 適応忘却係数制御適応フィルタ、および忘却係数適応制御方法
JPH08125593A (ja) フィルタ係数の推定装置
JP3296330B2 (ja) 適応フィルタ、適応フィルタの制御方法及びプログラムを記憶した記憶媒体
JP2005318518A (ja) ダブルトーク状態判定方法、エコーキャンセル方法、ダブルトーク状態判定装置、エコーキャンセル装置およびプログラム
JPH0895577A (ja) 騒音制御装置
JP3444258B2 (ja) 適応フィルタ、その制御方法及びプログラムを記憶した記憶媒体
JP3293575B2 (ja) 雑音消去方法及びそれを用いた雑音消去装置
JP2002076999A (ja) システム同定方法および装置
JPH09312581A (ja) 適応フィルタの係数推定装置
JP3804496B2 (ja) 適応ステップサイズ制御適応フィルタ、および適応スケール係数制御方法
JP3092647B2 (ja) 適応フィルタ装置
JP4324676B2 (ja) 適応フィルタ
JP3730751B2 (ja) 適応フィルタ
JP3147207B2 (ja) 適応的未知系出力推定方法
JP3147864B2 (ja) 適応ステップサイズ制御適応フィルタ、及び適応ステップサイズ制御方法
JPH0697771A (ja) 高速信号処理装置及び高速信号処理方法
JP2004357053A (ja) エコーキャンセラ装置およびエコーキャンセラ方法
JPH09232913A (ja) 適応フィルタの係数更新装置
US20120020494A1 (en) Signal-component extraction apparatus and signal-component extraction method
JP2006005619A (ja) 適応等化器、適応等化方法および記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080812

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100812

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees