JP3957939B2 - 等化システム - Google Patents

等化システム Download PDF

Info

Publication number
JP3957939B2
JP3957939B2 JP2000008415A JP2000008415A JP3957939B2 JP 3957939 B2 JP3957939 B2 JP 3957939B2 JP 2000008415 A JP2000008415 A JP 2000008415A JP 2000008415 A JP2000008415 A JP 2000008415A JP 3957939 B2 JP3957939 B2 JP 3957939B2
Authority
JP
Japan
Prior art keywords
filter
frequency
adaptive filter
filter coefficient
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000008415A
Other languages
English (en)
Other versions
JP2001203550A (ja
Inventor
友彦 伊勢
望 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2000008415A priority Critical patent/JP3957939B2/ja
Publication of JP2001203550A publication Critical patent/JP2001203550A/ja
Application granted granted Critical
Publication of JP3957939B2 publication Critical patent/JP3957939B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、適応フィルタを用いることにより車室内等の音響系で所望の音場特性を実現する等化システムに関する。
【0002】
【従来の技術】
車室内は密閉された狭い空間であるため、短時間で反射が起こり、音波が干渉しあって聴取点までの伝達特性は非常に複雑なものとなる。また、左右非対称な場所で音楽を聴くことになるため、左右のスピーカからの伝達特性も大きく異なっている。このような車室内の悪影響を取り除き、車室内における音響特性の改善を行うことを目的としたオーディオ装置が望まれている。このような要求に応えるものとして、音響系の伝達特性を自動で補正する等化システムが知られている。
【0003】
図7は、車載用オーディオシステムに適用される等化システムの基本構成を示す図であり、一例として時間領域において伝達特性の補正を行う構成が示されている。同図に示す等化システムは、目標応答設定部100、マイクロホン102、加算部104、スピーカ108、LMS(Least Mean Square )アルゴリズム処理部110、適応フィルタ112、フィルタ114を含んで構成されている。
【0004】
目標応答設定部100には、再現したい音場空間に対応する伝達特性が目標応答特性Hとして設定されている。例えば、入力信号を単に所定時間遅延させるだけの全オーディオ周波数帯域において平坦な特性が設定されている。適応フィルタ112は、FIR(Finite Impulse Response )型のデジタルフィルタが用いられ、LMSアルゴリズム処理部110によってフィルタ係数ベクトルW(n)が設定される。LMSアルゴリズム処理部110は、聴取者の聴取位置に設置されたマイクロホン102によって集音されて出力されたオーディオ信号d′(n)と、目標応答設定部100から出力される目標応答信号d(n)の差である誤差信号e(n)のパワーが最小となるように、LMSアルゴリズムを用いて適応フィルタ112のフィルタ係数ベクトルW(n)を設定する。フィルタ114は、スピーカ108からマイクロホン102までの車室内音響系の伝達特性Cをモデル化した特性を有している。
【0005】
例えば、一般にはスピーカ108やマイクロホン102の特性を含む音響系の周波数特性が平坦でないため、適応フィルタ112は、この周波数特性を打ち消すような特性に制御される。したがって、図8に示すように、部分的に急激な落ち込みがある周波数特性の音響系が存在するものとすると、適応フィルタ112の特性は、この落ち込み部分を打ち消すために、図9に示すように部分的にピークを含むことになる。なお、実際の車室内空間に対応した音響系を考えた場合には、スピーカ108の特性が平坦でないことや、壁面等における反射や吸収によって音の相互干渉が生じやすいなどに起因して、この音響系の特性は図8に示したようなものとなっている。
【0006】
このような等化システムを用いることにより、目標応答設定部100に設定された目標応答特性Hを有する空間で音楽を聴取した場合と同様の音楽の聴取が可能になる。
【0007】
【発明が解決しようとする課題】
ところで、上述した等化システムは、マイクロホン102の設置位置を制御位置として特性を改善するためのものであるため、この制御位置からずれた聴取位置においては、補正後の音声が聴取者に不快感を与える場合があるという問題があった。例えば、図8に示した特性は、マイクロホン102の設置位置における特性であるため、この位置からずれると、ゲインが急激に落ち込む周波数がずれたり、この落ち込み部分がなくなってしまうことがある。しかしながら、図9に示した特性を実現するために適応フィルタ112のフィルタ係数が制御されるため、マイクロホン102の設置位置(制御位置)からずれた聴取位置において適応フィルタ112を通した後のオーディオ音を聴取すると、大きなピーク位置に対応する周波数成分の音が強調されて聞こえる、いわゆるリンギングが発生し、マイクロホン102の設置位置にいる聴取者以外の聴取者にとっては、不快な音に聞こえることになる。
【0008】
本発明は、このような点に鑑みて創作されたものであり、その目的は、聴取者に不快感を与えることを防止することができる等化システムを提供することにある。
【0009】
【課題を解決するための手段】
上述した課題を解決するために、本発明の等化システムは、入力信号を適応フィルタに通した後にスピーカから放射したときの制御位置における周波数特性が所定の周波数特性となるように、フィルタ制御手段によって適応フィルタのフィルタ係数を制御する場合に、音響系の周波数特性において減衰量が大きな周波数に対応する第1のフィルタ係数をその周辺の第2のフィルタ係数に基づく補間処理によって設定している。
【0010】
一般に、等化システムでは、特定の制御位置で測定した音響系の周波数特性の特定周波数において大きな減衰が観察された場合には、この減衰分を補うために、この特定周波数の成分のみを強調するように適応フィルタのフィルタ係数が制御される。ところが、この適応フィルタを通した入力音声を上述した特定の制御位置からずれた聴取位置で聴取すると、この聴取位置に対応する音響系の周波数特性においては上述したような減衰部分が存在しないにも関わらず、特定周波数の成分が強調されるためにリンギングが発生し、聴取者にとって不快な音となってしまう。しかし、本発明では、上述した特定周波数の成分のみを強調することがないように、音響系の周波数特性において減衰量が大きな周波数に対応する適応フィルタのフィルタ係数を、その周辺のフィルタ係数に基づく補間処理によって設定しているため、上述した制御位置以外の聴取位置におけるリンギングの発生を有効に防止することができる。
【0011】
また、上述したフィルタ制御手段は、第1のフィルタ係数に対応するステップサイズパラメータを0に設定することにより、第1のフィルタ係数の更新処理を停止させることが望ましい。不要な更新処理を停止させることにより、処理の負担を軽減することができる。
【0012】
また、適応フィルタの前段に入力信号を周波数領域の信号に変換する変換手段を設けるとともに、適応フィルタとスピーカとの間に適応フィルタから出力される周波数成分毎の信号を合成する合成手段を設け、適応フィルタによって周波数領域における処理を行うことが望ましい。周波数領域における処理を行う適応フィルタを用いることにより、特定周波数における過度の強調等を防止することが容易となるため、特定周波数におけるリンギングの発生を確実に防止することができる。
【0013】
【発明の実施の形態】
以下、本発明を適用した一実施形態の等化システムについて図面を参照しながら説明する。
【0014】
図1は、一実施形態の等化システムの構成を示す図である。同図に示す等化システムは、目標応答設定部20、フィルタ22、スピーカ24、マイクロホン26、加算部28、適応フィルタ30、FFT(高速フーリエ変換)演算部32、34、36、IFFT(逆高速フーリエ変換)演算部38、LMSアルゴリズム処理部40を含んで構成されている。
【0015】
目標応答設定部20は、目標応答特性(インパルスレスポンス)Hが設定されており、オーディオソース(図示せず)から出力されるオーディオ信号x(n)が入力されて、これに対応する目標応答信号d(n)を出力する。例えば、入力信号を単位所定時間遅延させただけの全オーディオ周波数帯域において平坦な特性が目標応答特性Hとして設定されている。
【0016】
フィルタ22は、入力されるオーディオ信号x(n)に、スピーカ24からマイクロホン26までの車室内音響系の伝搬特性(伝達特性)Cを畳み込んで適応信号処理に用いる参照信号(フィルタードリファレンス信号)u(n)を生成する。なお、一般には、車室内音響系の伝達特性Cと同等の特性を有する特性c^(実際には「^」は「c」の上部に記載されるものであるが、本明細書中ではそのような記述ができないので「c^」と表現する。)を決定し、それをフィルタ22の特性として設定する。
【0017】
スピーカ24は、適応フィルタ30によって特性が補正された後のオーディオ信号y(n)に基づいてオーディオ音を車室内音響系に放射するものであり、放射されたオーディオ音の一部がマイクロホン26によって集音される。加算部28は、上述した目標応答設定部20から出力される目標応答信号d(n)から、マイクロホン26から出力されるオーディオ信号d′(n)を引いた差成分を誤差信号e(n)として出力する。
【0018】
本実施形態の等化システムは、適応フィルタ30による適応等化処理を周波数領域で行う。このために、3つのFFT演算部32、34、36が備わっている。FFT演算部32は、入力されたオーディオ信号x(n)に対してFFT演算を行って、周波数領域の信号に変換する。また、FFT演算部34は、オーディオ信号x(n)をフィルタ22に通した後の参照信号u(n)に対してFFT演算を行って、周波数領域の信号に変換する。FFT演算部36は、加算部28から出力される誤差信号e(n)に対してFFT演算を行って、周波数領域の信号を変換する。
【0019】
また、IFFT演算部38は、周波数領域における等化処理を行った適応フィルタ30の出力を時間領域のオーディオ信号y(n)に戻すために逆フーリエ変換を行うためのものである。
【0020】
LMSアルゴリズム処理部40は、LMS(Least Mean Square )アルゴリズムを用いて、適応フィルタ30の各フィルタ係数の値を設定する。なお、本実施形態の等化システムは、適応フィルタ30と誤差演算用の加算部28の間に車室内音響系が存在するため、適応フィルタ30の特性を決定する適応アルゴリズムは、フィルタードx(Filtered-x)LMSアルゴリズムと呼ばれる。
【0021】
上述したマイクロホン26が集音手段に、フィルタ22、目標応答設定部20、加算部28、FFT演算部34、36、LMSアルゴリズム処理部40がフィルタ制御手段にそれぞれ対応する。また、FFT演算部32が変換手段に、IFFT演算部38が合成手段にそれぞれ対応する。
【0022】
図2は、LMSアルゴリズム処理部40の詳細な構成を示す図である。図2に示すように、LMSアルゴリズム処理部40は、複素共役演算部42、乗算部44、46、加算部48、遅延部50、ステップサイズパラメータ設定部52、フィルタ係数補正部54を含んで構成されている。
【0023】
一般に、フィルタードxLMSアルゴリズムによると、適応フィルタ30のフィルタ係数ベクトルW(n+1)は以下のようになる。
【0024】
W(n+1)=W(n)+μU*(n)E(n) …(1)
ここで、μはステップサイズパラメータを、U(n)はフィルタ22から出力される時間領域の参照信号u(n)に対してFFT演算を行った周波数領域の参照信号ベクトルを、U*(n) はその複素共役を、E(n)は加算部28から出力される時間領域の誤差信号e(n)に対してFFT演算を行った周波数領域の誤差信号ベクトルをそれぞれ示している。また、W(n)は、一つ前の適応フィルタ30のフィルタ係数ベクトルを示している。
【0025】
図2に示したLMSアルゴリズム処理部40の構成は、上述した(1)式の内容をそのままブロック化し、これにさらにステップサイズパラメータ設定部52とフィルタ係数補正部54を追加した構成を有している。すなわち、入力される参照信号ベクトルU(n)の複素共役U*(n) を複素共役演算部42によって演算し、これに誤差信号ベクトルE(n)を乗算部44によって乗算し、さらにこの乗算結果に対してステップサイズパラメータ設定部52から出力される各周波数成分毎のステップサイズパラメータμを乗算部46によって乗算することにより、上述した(1)式の右辺第2項の値が得られる。さらに、乗算部46の乗算結果に対して、遅延部50から出力される1つ前の適応フィルタ30のフィルタ係数ベクトルW(n)を加算部48によって加算することにより、(1)式の右辺全体により計算される次のフィルタ係数ベクトルW(n+1)が得られる。このようにして、適応フィルタ30の特性が順次更新される。
【0026】
ところで、一般のフィルタードxLMSアルゴリズムにおいては、(1)式に含まれるステップサイズパラメータμは、
μ(f)=α/P(f) …(2)
を満足するように設定される。ここで、P(f)は、フィルタ22の周波数特性における各周波数fの信号レベルであり、αは適当な定数である。
【0027】
しかし、本実施形態の等化システムでは、車室内音響系の伝達特性Cに対応してあらかじめ設定されているフィルタ22の特性c^において、ゲインが所定の閾値よりも小さくなる周波数、すなわち信号の減衰量が所定の閾値より大きくなる周波数が抽出され、この周波数に対応するステップサイズパラメータμの値が0に設定されている。
【0028】
図3は、フィルタ22の周波数特性を示す図であり、時間領域の特性をFFT解析することにより得られた周波数とゲインとの関係が示されている。図3に示した周波数特性においては、周波数faとfbの2箇所において、ゲインが所定の閾値gよりも低下していることがわかる。
【0029】
ステップサイズパラメータ設定部52は、この2つの周波数fa、fbに対応するステップサイズパラメータμの値を0に設定するとともに、それ以外の周波数に対応するステップサイズパラメータμの値を上述した(2)式にしたがって設定する。
【0030】
図4は、ステップサイズパラメータ設定部52によって設定されるステップサイズパラメータμの具体例を示す図である。上述した周波数fa、fbについては、ステップサイズパラメータμの値が0に設定される。また、それ以外の周波数については、上述した(2)式にしたがってステップサイズパラメータμの値が設定されるため、図3に示した特性において、ゲインが大きな周波数においてはステップサイズパラメータμの値が小さく、反対にゲインが小さな周波数においてはステップサイズパラメータμの値が大きく設定される。
【0031】
フィルタ係数補正部54は、ステップサイズパラメータμの値が0に設定された周波数のフィルタ係数Wを、その周辺の周波数のフィルタ係数Wに基づく補間処理によって求める。例えば、周波数fa、fbに対応する適応フィルタ30のフィルタ係数Wを、その周辺の周波数に対応するフィルタ係数Wに基づいてスプライン関数による補間演算を行うことにより求める。
【0032】
図5は、フィルタ係数補正部54によってフィルタ係数の補間処理がなされた後の全周波数帯域のフィルタ係数を示す図である。図4に示した周波数fa、fbにおけるフィルタ係数がその周辺とほぼ同等の値に調整されており、極端なピークが現れないようになっている。周波数fa、fbのそれぞれに対応するフィルタ係数が第1のフィルタ係数に、補間処理に用いられるその周辺のフィルタ係数が第2のフィルタ係数にそれぞれ対応する。
【0033】
このように、本実施形態の等化システムでは、車室内音響系と同等の特性を有するフィルタ22の周波数特性において、ゲインが所定の閾値gよりも小さくなる周波数のステップサイズパラメータμの値を0に設定して、この周波数における適応動作を行わないようにしている。そして、この周波数に対応するフィルタ係数Wを周辺の周波数に対応するフィルタ係数Wに基づく補間演算によって求めて適応フィルタ30の制御を行っている。したがって、フィルタ22の周波数特性において急激なゲインの落ち込みが生じる場合であっても、適応フィルタ30の周波数特性がこの部分において急激なピークとなって現れることがなく、マイクロホン26の位置から聴取位置がずれた場合であっても、一部の周波数成分のみが強調されるリンギングの発生を防止することができる。
【0034】
また、適応フィルタ30の処理を周波数領域で行っているため、適応処理を行う際の処理量を低減することができるとともに、各周波数毎に最適なステップサイズパラメータμの値を設定することができる。特に、周波数領域で処理を行うことにより、時間領域で処理をする場合に比べて、周波数毎のフィルタ係数(フィルタゲイン)の調整が簡単になるという利点もある。
【0035】
図6は、上述した等化システムの変形例を示す図である。図6に示す等化システムは、図1に示した等化システムに対して、FFT演算部32の出力側に接続されるフィルタ22aを追加するとともに、フィルタ22およびFFT演算部34を削除した点が異なっている。オーディオ信号x(n)が入力されると、FFT演算部32によってFFT演算が行われ、周波数成分毎に分割された周波数領域の信号がフィルタ22aに入力される。フィルタ22aは、周波数領域に対応したフィルタ係数を有しており、周波数領域の参照信号ベクトルU(n)を出力する。
【0036】
このように、適応フィルタ30の前段に備わったFFT演算部32の出力側にフィルタ22aを配置することにより、図1に示す等化システムに含まれていたFFT演算部の数を3つから2つに減らすことができ、構成の簡略化、演算量の低減が可能になる。また、フィルタ22aの特性として図3に示す特性が得られているため、ステップサイズパラメータμの値を設定する際に行うFFT演算を省略することができる。
【0037】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、ステップサイズパラメータμの値が0の周波数に対応するフィルタ係数を計算する際にスプライン関数を用いた補間演算を行ったが、この補間演算は、スプライン関数以外の関数を用いるようにしてもよい。例えば、最も簡単には、隣接するフィルタ係数を直線で結ぶ直線補間を行うようにしてもよい。
【0038】
【発明の効果】
上述したように、本発明によれば、音響系の周波数特性において特定の周波数成分のみが大きく減衰する場合に、この周波数成分の減衰を補うように適応フィルタのフィルタ係数を、その周辺の周波数に対応するフィルタ係数に基づく補間処理によって設定することにより、制御位置からずれた位置における特定周波数の過度な強調、すなわちリンギングの発生を低減し、聴取者に不快感を与えることを防止することができる。
【図面の簡単な説明】
【図1】一実施形態の等化システムの構成を示す図である。
【図2】LMSアルゴリズム処理部の詳細な構成を示す図である。
【図3】フィルタの周波数特性を示す図である。
【図4】ステップサイズパラメータ設定部によって設定されるステップサイズパラメータμの具体例を示す図である。
【図5】フィルタ係数補正部によってフィルタ係数の補間処理がなされた後の全周波数帯域のフィルタ係数を示す図である。
【図6】等化システムの変形例を示す図である。
【図7】従来の車載用オーディオシステムに適用される等化システムの基本構成を示す図である。
【図8】音響系の周波数特性を示す図である。
【図9】適応フィルタの周波数特性を示す図である。
【符号の説明】
20 目標応答設定部
22 フィルタ
24 スピーカ
26 マイクロホン
28 加算部
30 適応フィルタ
32、34、36 FFT(高速フーリエ変換)演算部
38 IFFT(逆高速フーリエ変換)演算部
40 LMSアルゴリズム処理部

Claims (3)

  1. 入力信号を所定の音響系に放射するスピーカと、
    前記音響系の制御位置に設けられた集音手段と、
    前記スピーカの前段に設けられた適応フィルタと、
    前記制御位置に対応する前記音響系の周波数特性において減衰量が所定の閾値を越える周波数について、前記適応フィルタの第1のフィルタ係数を、その周辺の周波数における第2のフィルタ係数に基づくスプライン関数を用いた補間処理を行って設定するとともに、前記入力信号に対応する前記制御位置における周波数特性が所定の周波数特性となるように、前記第1および第2のフィルタ係数を含む前記適応フィルタのフィルタ係数を制御するフィルタ制御手段と、
    を備えることを特徴とする等化システム。
  2. 請求項1において、
    前記フィルタ制御手段は、前記第1のフィルタ係数に対応するステップサイズパラメータを0に設定することにより、前記第1のフィルタ係数の更新処理を停止させることを特徴とする等化システム。
  3. 請求項1または2において、
    前記適応フィルタの前段に設けられており、前記入力信号を周波数領域の信号に変換する変換手段と、
    前記適応フィルタと前記スピーカとの間に設けられており、前記適応フィルタから出力される前記周波数成分毎の信号を合成する合成手段と、
    をさらに備え、前記適応フィルタによって周波数領域における処理を行うことを特徴とする等化システム。
JP2000008415A 2000-01-17 2000-01-17 等化システム Expired - Fee Related JP3957939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000008415A JP3957939B2 (ja) 2000-01-17 2000-01-17 等化システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000008415A JP3957939B2 (ja) 2000-01-17 2000-01-17 等化システム

Publications (2)

Publication Number Publication Date
JP2001203550A JP2001203550A (ja) 2001-07-27
JP3957939B2 true JP3957939B2 (ja) 2007-08-15

Family

ID=18536691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000008415A Expired - Fee Related JP3957939B2 (ja) 2000-01-17 2000-01-17 等化システム

Country Status (1)

Country Link
JP (1) JP3957939B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6119336B2 (ja) * 2013-03-18 2017-04-26 沖電気工業株式会社 周波数特性補正装置及びプログラム

Also Published As

Publication number Publication date
JP2001203550A (ja) 2001-07-27

Similar Documents

Publication Publication Date Title
US8355512B2 (en) Active noise reduction adaptive filter leakage adjusting
EP2597638B1 (en) Tunable active noise control
EP2884488B1 (en) Active noise control system
JP4995276B2 (ja) エンジン速度決定アクティブ雑音減少
JP5629372B2 (ja) 聴取者に対する環境雑音の効果を低減させる方法および装置
US8204242B2 (en) Active noise reduction adaptive filter leakage adjusting
JP6066335B2 (ja) 消音装置
US20090086990A1 (en) Active noise control using bass management
US20100098265A1 (en) Active noise reduction adaptive filter adaptation rate adjusting
US8233633B2 (en) Noise control device
EP3828879A1 (en) Noise cancellation system and signal processing method for an ear-mountable playback device
JP3964092B2 (ja) オーディオ用適応イコライザ及びフィルタ係数の決定方法
CN111696512A (zh) 双二阶前馈式主动抗噪***及处理器
JP6100562B2 (ja) 補聴器及びこもり音抑制装置
JP3957939B2 (ja) 等化システム
JP4368917B2 (ja) 音響再生装置
JP4977551B2 (ja) 能動型騒音制御装置
JP4141593B2 (ja) ノイズ/オーディオ音リダクション装置
JP4522509B2 (ja) オーディオ装置
JP2019203919A (ja) ノイズ除去装置
EP2257082A1 (en) Background noise estimation in a loudspeaker-room-microphone system
JP5474712B2 (ja) 能動型振動騒音制御装置
JP2007331557A (ja) 音響システム
JPH09198054A (ja) 騒音キャンセル装置
WO2023276424A1 (ja) ハウリング抑圧装置、ハウリング抑圧方法及びハウリング抑圧プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140518

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees