JP3279254B2 - スペクトル雑音除去装置 - Google Patents
スペクトル雑音除去装置Info
- Publication number
- JP3279254B2 JP3279254B2 JP17318398A JP17318398A JP3279254B2 JP 3279254 B2 JP3279254 B2 JP 3279254B2 JP 17318398 A JP17318398 A JP 17318398A JP 17318398 A JP17318398 A JP 17318398A JP 3279254 B2 JP3279254 B2 JP 3279254B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- spectrum
- estimating
- residual
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
去装置に関し、特に、特に、雑音下で発声された音声か
ら雑音を除去する装置に用いて好適な、スペクトル上で
処理を行う、いわゆるスペクトルサブトラクション技術
に関する。
みを除去し、不明瞭な音声を聴きやすくしたり、また、
音声認識処理の雑音下性能を向上することを目的とし
て、「スペクトルサブトラクション」と呼ばれる雑音除
去装置が知られている。例えば、文献(M.Berouti,
R.Schwarz, and J. Makhoul:“Enhancement of Spee
chCorrupted by Acoustic Noise”,Proceedings of IC
ASSP,pp.201-211,1979.(文献[1]という)に記載
されているスペクトル雑音除去装置を、図3に示す。
は、入力音声を一定時間毎(フレーム)に周波数分析を
行い、スペクトルの時系列を出力する。たとえばFFT
(高速フーリエ変換)を用いて得られるスペクトルのう
ち、位相情報を除いてパワースペクトルで扱われること
が多い。ここでも同様にパワースペクトルを用いた場合
について説明する。雑音スペクトル推定部32は、スペ
クトル変換部31が出力したスペクトルのなかから周囲
雑音のスペクトルを推定する。このスペクトル推定の方
法としては、種々の方法が提案されており、音声区間検
出器(または雑音区間検出器)を用いて、発声の直前の
音声のない時刻のスペクトルを長時間平均して用いた
り、回帰的な平均を用いたりして行う。スペクトル推定
法自体は、本発明の主題とは直接関係しないため詳細な
説明は省略する。
t)(ω ̄は離散周波数、tはフレーム時刻)とし、雑
音スペクトル推定部32で推定した雑音スペクトルをP
n(ω ̄)とすると、サブトラクション部33では、ま
ず以下の式(1)の処理を行う。
と呼ばれる固定値であり、通常1前後の値を取る。
 ̄,t)は、度々負の値を取る場合があり、次段の処理
に不都合となるため、最終的な処理は0以下の値を取ら
ないようにクリッピング処理を行う。
的なサブトラクション結果、βはフロアリング係数であ
り1以下の比較的小さな固定値をとる。
ンは、雑音の性質があまり変化しない場合に、入力音声
全体に一定の雑音(定常雑音)が付加されているとみな
し、除去を行う方式である。
処理(「クリッピング処理」という)としては、従来よ
り種々の方法が提案されており、例えば代表的な方法の
一つについて説明すると、引き残った残留雑音を抑圧す
る有効な方法として、「白色雑音付加スペクトルサブト
ラクション」と呼ばれる方法が知られている。
変動を考慮したスペクトルサブトラクションの検討”、
日本音響学会春季講演論文集、3−6−23、pp.133-13
4、平成9年3月)(以下、文献[2]という)に記載さ
れている、白色雑音付加スペクトルサブトラクションと
呼ばれる方法では、
ルサブトラクションを行って、0以下の成分を0にクリ
ップした後に、θという白色雑音を付加する。ただし、
maxは値が大きいほうを選択する処理(演算子)を示
す。
は推定した雑音のスペクトルを用いて求めている。すな
わち、次式(4)の処理が行われる。
な定数である。このθを加えることの効果は、単に0に
なった成分を正にするだけではなく、引き残った残留雑
音を抑圧する効果を有する。特に、次段に音声認識を行
う場合には、通常スペクトルを対数化する場合が多く、
対数化後のスペクトル全体の形状をより平坦にする効果
を有しているため文献[1]に記載されるスペクトルサ
ブトラクション方式と比較して、雑音抑圧効果が高く、
非定常雑音に対しても効果が高いという特徴がある。
はうまく抑圧され、パワーの比較的大きな音声はあまり
抑圧されないような値をとる必要がある。
献[2]に記載されるスペクトルサブトラクションは、
雑音の性質によって除去し易いもの、除去し難いものに
よって、適応的に付加白色雑音量が加減できないため、
除去できなかった残留雑音をうまく抑圧することはでき
ず、ひいては、音声の明瞭性が改善されない場合や、音
声認識性能が向上しない場合がある。
は定常、非定常な雑音が存在する。このうち、除去対象
とされる雑音の性質が時間変化しても変わらないような
定常雑音は、上記したスペクトルサブトラクションが高
い効果を発揮し、残留雑音はあまりない。このため、付
加白色雑音はなるべく小さな値にした方が、音声の明瞭
性または音声認識性能が高い。
刻々変化する非定常雑音である場合には、残留雑音が多
く残るため、付加白色雑音大きく採ったほうが音声の明
瞭性および音声認識性能が高いと考えられるが、従来、
このような効果を得るための方法は存在していない。
てなされたものであって、その目的は、付加白色雑音
を、除去する雑音の性質、例えば除去し易さに応じて加
減し、残留雑音が大きな場合にはを大きくし、逆に残留
雑音が小さな場合にはを小さくすることで、雑音の性質
によらず安定したクリッピング処理が実現でき、音声の
明瞭性の向上、音声認識性能の向上を図るスペクトル雑
音除去装置を提供することにある。
め、本願第一発明は、入力音声をフレーム単位でスペク
トルに変換するスペクトル変換手段と、前記スペクトル
変換手段の出力スペクトルのなかから引き算すべき雑音
スペクトルを推定する雑音スペクトル推定手段と、前記
スペクトル変換手段の出力スペクトルから、前記雑音ス
ペクトル推定手段の推定したスペクトルを引き算して出
力するサブトラクション手段と、前記サブトラクション
手段のスペクトルから残留雑音を推定する残留雑音推定
手段と、前記サブトラクション手段が出力したスペクト
ルに前記残留雑音推定手段が推定した残留雑音の量に応
じた白色雑音を付加する白色雑音付加手段と、を備え
る。
らに有し、前記雑音スペクトル推定手段および前記残留
雑音推定手段が、前記雑音区間検出手段が検出した時刻
のスペクトルを用いて、夫々雑音スペクトルおよび残留
雑音を推定する。
に説明する。本発明のスペクトラ雑音除去装置は、その
好ましい一実施の形態において、入力音声をフレーム単
位でスペクトルに変換するスペクトル変換部(図1の1
1)と、スペクトル変換部の出力スペクトルのなかから
サブトラクションすべき雑音スペクトルを推定する雑音
スペクトル推定部(図1の12)と、スペクトル変換部
の出力スペクトルから雑音スペクトル推定部の推定した
スペクトルを引き算するサブトラクション部(図1の1
3)と、サブトラクション部のスペクトルから残留雑音
を推定する残留雑音推定部(図1の14)と、サブトラ
クション部が出力したスペクトルに残留雑音推定部が推
定した残留雑音の量に応じた白色雑音を付加する白色雑
音付加部(図1の15)と、を備えて構成されている。
好ましい第二の実施の形態において、入力音声をフレー
ム単位でスペクトルに変換するスペクトル変換部(図2
の21)と、入力音声またはスペクトル変換部の出力を
用いて音声のない雑音だけの区間を検出する雑音区間推
定部(図2の26)と、スペクトル変換部の出力スペク
トルのなかから雑音区間推定部が推定した区間のスペク
トルを用いてサブトラクションすべき雑音スペクトルを
推定する雑音スペクトル推定部(図2の22)と、スペ
クトル変換部の出力スペクトルから雑音スペクトル推定
部の推定したスペクトルを引き算するサブトラクション
部(図2の23)と、雑音区間推定部が推定した区間内
のサブトラクション部のスペクトルから残留雑音を推定
する残留雑音推定部(図2の24)と、サブトラクショ
ン部が出力したスペクトルに残留雑音推定部が推定した
残留雑音の量に応じた白色雑音を付加する白色雑音付加
部(図2の25)と、を備えて構成されている。
において、白色雑音付加部が、残留雑音推定部が推定し
たスペクトルの全帯域または部分帯域パワーを求め、こ
れに比例した白色雑音を付加するように構成される。
ラクションの後処理として行われるクリッピング処理に
おいて、白色雑音を残留雑音の量に応じて適応的に付加
することで、残留雑音を効果的に抑圧し、スペクトルサ
ブトラクションの効果を最大限に引き出すようにしたも
のである。
て説明する。スペクトル変換部11では、入力音声のス
ペクトル分析を行い、スペクトルの時系列信号を出力す
る。このスペクトル分析については種々の方式を用いる
ことができるが、本発明の主題とは直接関わりないので
その詳細な説明は省略する。いま、音声のスペクトルを
Ps(ω ̄,t)(ω ̄は離散周波数、tはフレーム時
刻)とし、雑音スペクトル推定部32で推定した雑音ス
ペクトルをPn(ω ̄)とすると、サブトラクション部
13は、次式(5)以下の処理を行う。
係数と呼ばれる固定値であり、通常1前後の値を取る。
ここでは、D(ω ̄,t)いったんが負にならないよう
な処理を加えているが、この他、上記文献[1]で記載
されているように、上式(2)により、クリッピングし
てもよい。すなわち、この段階では、従来のスペクトル
サブトラクションと同様であり、何ら変わるところはな
い。なお、雑音スペクトルPn(ω ̄)の求め方につい
ては、種々の方法が知られており、ここでは、公知の方
法を用いることができるため、その説明は省略する。
おいて、スペクトルサブトラクション結果である、上式
(5)の結果から、さらに、残留雑音推定を行う。
声がなるべく存在しない位置のスペクトルD(ω ̄,
t)を用いて、次式(6)の処理にて平均値で求める。
(雑音区間)を示す。この残留雑音について考察する
と、スペクトルサブトラクションが理想的に働けば、0
ベクトル(スペクトル)となる。
の雑音推定位置と、処理を行っている位置とは異なった
時間位置であり、雑音の性質が時間的に変化している場
合には、スペクトルサブトラクションは理想的に働くこ
とはない。そして、実際の使用場面では殆どこの状態に
該当する。
ど残留雑音のパワーは大きく、以降の処理に悪影響を及
ぼす。例えば音声認識を行う場合にも、音声のない位置
に残る残留雑音の影響で誤動作、認識誤りが多発し、ま
た、音声に戻した場合においても残留雑音が大きく明瞭
度が低下する。
留雑音から次式(7)に従い、付加白色雑音量Θを求
め、さらに、次式(8)に示すように、この付加白色雑
音量ΘをD(ω ̄,t)に付加して最終的な結果Y(ω
 ̄,t)を求める。
である。
った成分を正にするだけではなく、引き残った残留雑音
を抑圧する効果を有する他、残留雑音の大きさに比例し
て求められるため、残留雑音X(ω ̄)が大きな場合に
は、大きな量で抑圧し、残留雑音が小さな場合には小さ
な量で抑圧するため、常に、スペクトルサブトラクショ
ンの効果を効率よく引き出すという作用を有している。
細に説明すべく、本発明の実施例について図面を参照し
て詳細に説明する。
の第1の実施例の構成を示すブロック図である。図1を
参照すると、本発明の第1の実施例は、入力音声をフレ
ーム単位でスペクトルに変換するスペクトル変換部11
と、スペクトル変換部11の出力スペクトルのなかから
サブトラクションすべき雑音スペクトルを推定する雑音
スペクトル推定部12と、スペクトル変換部11の出力
スペクトルから雑音スペクトル推定部12の推定したス
ペクトルを引き算するサブトラクション部13と、サブ
トラクション部13のスペクトルから残留雑音を推定す
る残留雑音推定部14と、サブトラクション部13が出
力したスペクトルに残留雑音推定部14が推定した残留
雑音の量に応じた白色雑音を付加する白色雑音付加部1
5と、を備えて構成されている。
する。図1において、スペクトル変換部11にて入力音
声はいったんスペクトル分析され、スペクトルの時系列
信号としてあらわされる。このスペクトル分析について
は種々の方式が提案されているが、本発明の主題とは直
接関わりないので省略する。一般的には、離散的フーリ
エ変換(DFT)、フィルタバンクなどが良く用いられて
いる。
t)(ω ̄は離散周波数、tはフレーム時刻)とし、雑
音スペクトル推定部12で推定した雑音スペクトルをP
n(ω ̄,t)とすると、サブトラクション部13は、
まず、通常のスペクトルサブトラクションを行う。スペ
クトルサブトラクションはその後処理も含めて種々の方
法が提案されており、殆どのものが利用可能である。代
表的なものとして、上式(1)、(2)や、上式(5)
で説明した方法等を用いた処理が利用可能である。この
他、式(2)の代わりに、次式(9)のような処理も用
いることも可能である。
ラクション部13が出力したスペクトルからさらに、残
留雑音推定を行う。求める残留雑音をとすると、音声が
なるべく存在しない位置のスペクトル、例えば式(9)
を用いて、次式(10)のように平均値で求める。
(雑音区間)を示す。ここでは、X(ω ̄)をスペクト
ルの単純平均として求めたが、これに代えて、次式(1
1)のように回帰平均で求めるようにしてもよい。
定数で通常1以下の値を取る。白色雑音付加部15に
て、この残留雑音から、次式(12)のように付加白色
雑音量Θを求めて、さらに、次式(13)のように、付
加白色雑音量Θを付加して最終的な結果Y(ω ̄,t)
を求めて出力する。
定方法は音声認識実験または聴取実験により最適なもの
に決定する。なお、上式(12)は、第三発明に対応し
ている。
純平均、相乗平均などの方法を用いてももちろん可能で
ある。
の第2の実施例の構成を示すブロック図である。本発明
の第2の実施例は、入力音声をフレーム単位でスペクト
ルに変換するスペクトル変換部21と、入力音声または
スペクトル変換部21の出力を用いて音声のない雑音だ
けの区間を検出する雑音区間推定部26と、スペクトル
変換部21の出力スペクトルのなかから雑音区間推定部
26が推定した区間のスペクトルを用いてサブトラクシ
ョンすべき雑音スペクトルを推定する雑音スペクトル推
定部22と、スペクトル変換部21の出力スペクトルか
ら雑音スペクトル推定部22の推定したスペクトルを引
き算するサブトラクション部23と、雑音区間推定部2
6が推定した区間内のサブトラクション部23のスペク
トルから残留雑音を推定する残留雑音推定部24と、サ
ブトラクション部23が出力したスペクトルに残留雑音
推定部24が推定した残留雑音の量に応じた白色雑音を
付加する白色雑音付加部25と、を備えて構成されてい
る。
力音声またはスペクトル変換部21の出力から音声のな
い、雑音のみ存在する区間を推定し区間信号として出力
する。
器と呼ばれるものを基本として構成されており、各種の
方式が知られており、音声区間または雑音区間が検出で
きるものでさえあれば、いずれの公知のものが利用可能
である。たとえば、音声波形そのものを利用する場合、
一定周期毎に短時間パワーを観測して、閾値以上になっ
た区間を音声区間(それ以外を雑音区間)と判定する方
法がある他、スペクトル変換部21の出力の中から全帯
域あるいは部分帯域のパワーを観測して閾値以上の区間
を検出することも可能である。
に、雑音スペクトル推定部22およ残留雑音推定部24
はそれぞれスペクトルの推定を行う。
残留雑音の量に応じて付加白色雑音量を適応的に増減す
ることができるために、除去し易い定常雑音から除去し
難い非定常雑音まで、雑音の性質によらず、効果的に残
留雑音を抑圧することができ、このため、高い明瞭度を
有し、高性能な音声認識装置を実現できる、という効果
を奏する。
備えたことにより、高い精度での雑音推定を可能とし、
装置全体の性能を向上することができる、という効果を
奏する。
が元々のスペクトルのパワーに比例するため、簡易な構
成で実現でき、コストを低減する、という効果を奏する
ものである。
である。
である。
図である。
Claims (7)
- 【請求項1】入力音声をフレーム単位でスペクトルに変
換するスペクトル変換手段と、 前記スペクトル変換手段の出力スペクトルのなかから引
き算すべき雑音スペクトルを推定する雑音スペクトル推
定手段と、 前記スペクトル変換手段の出力スペクトルから、前記雑
音スペクトル推定手段の推定したスペクトルを引き算し
て出力するサブトラクション手段と、 前記サブトラクション手段が出力したスペクトルから残
留雑音を推定する残留雑音推定手段と、 前記サブトラクション手段が出力したスペクトルに、前
記残留雑音推定手段が推定した残留雑音の量に応じた白
色雑音を付加する白色雑音付加手段と、 を備えたことを特徴とするスペクトル雑音除去装置。 - 【請求項2】雑音区間検出手段をさらに有し、 前記雑音スペクトル推定手段および前記残留雑音推定手
段が、前記雑音区間検出手段が検出した時刻のスペクト
ルを用いて、夫々雑音スペクトルおよび残留雑音を推定
する、ことを特徴とする請求項1記載のスペクトル雑音
除去装置。 - 【請求項3】前記雑音区間検出手段が、前記入力音声も
しくは前記スペクトル変換手段の出力を用いて音声のな
い雑音だけの区間を検出し区間信号として出力する、こ
とを特徴とする請求項2記載のスペクトル雑音除去装
置。 - 【請求項4】前記白色雑音付加手段が、前記残留雑音推
定手段が推定したスペクトルの全帯域または部分帯域パ
ワーを求め、これに比例した白色雑音を付加する、こと
を特徴とする請求項1記載のスペクトル雑音除去装置。 - 【請求項5】入力信号を所定時間区間単位にスペクトル
変換したスペクトルから、雑音スペクトルを推定し、サ
ブトラクション手段にて前記入力信号のスペクトルから
前記雑音スペクトルを引き算する雑音除去装置におい
て、 前記サブトラクション手段が出力したスペクトルから残
留雑音を推定する残留雑音推定手段と、 前記サブトラクション手段が出力したスペクトルに、前
記残留雑音推定手段で推定された残留雑音の量に応じ
て、適応的に白色雑音を増減させて付加し出力する白色
雑音付加手段と、 をさらに備えたことを特徴とするスペクトル雑音除去装
置。 - 【請求項6】前記白色雑音付加手段が、前記白色雑音
を、前記推定された残留雑音が大きな場合には大きく
し、逆に前記推定された残留雑音が小さな場合には小さ
くして前記サブトラクション手段が出力したスペクトル
に付加する、ことを特徴とする請求項5記載のスペクト
ル雑音除去装置。 - 【請求項7】前記入力信号もしくは前記スペクトル変換
手段の出力を用いて入力信号のない雑音だけの区間を検
出し区間信号として出力する雑音区間検出手段を備え、
前記入力信号のスペクトルから雑音スペクトルを推定す
る際、及び前記残留雑音推定手段が残留雑音を推定する
際に、前記雑音区間検出手段が検出した時刻のスペクト
ルを用いて推定を行う、ことを特徴とする請求項5記載
のスペクトル雑音除去装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17318398A JP3279254B2 (ja) | 1998-06-19 | 1998-06-19 | スペクトル雑音除去装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17318398A JP3279254B2 (ja) | 1998-06-19 | 1998-06-19 | スペクトル雑音除去装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000010593A JP2000010593A (ja) | 2000-01-14 |
JP3279254B2 true JP3279254B2 (ja) | 2002-04-30 |
Family
ID=15955642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17318398A Expired - Fee Related JP3279254B2 (ja) | 1998-06-19 | 1998-06-19 | スペクトル雑音除去装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3279254B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100463657B1 (ko) * | 2002-11-30 | 2004-12-29 | 삼성전자주식회사 | 음성구간 검출 장치 및 방법 |
JP4162604B2 (ja) | 2004-01-08 | 2008-10-08 | 株式会社東芝 | 雑音抑圧装置及び雑音抑圧方法 |
WO2007080886A1 (ja) * | 2006-01-11 | 2007-07-19 | Nec Corporation | 音声認識装置、音声認識方法、および音声認識プログラム、ならびに妨害軽減装置、妨害軽減方法、および妨害軽減プログラム |
KR100812770B1 (ko) | 2006-03-27 | 2008-03-12 | 이영득 | 화이트 노이즈를 이용한 배속 나레이션 음성신호 제공 방법및 장치 |
JP5246134B2 (ja) * | 2009-10-29 | 2013-07-24 | 株式会社ニコン | 信号処理装置及び撮像装置 |
JP5750932B2 (ja) * | 2011-02-18 | 2015-07-22 | 株式会社ニコン | 撮像装置及び撮像装置のノイズ低減方法 |
JP5394420B2 (ja) * | 2011-02-21 | 2014-01-22 | 日本電信電話株式会社 | 受信方法、及び受信装置 |
-
1998
- 1998-06-19 JP JP17318398A patent/JP3279254B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000010593A (ja) | 2000-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6363345B1 (en) | System, method and apparatus for cancelling noise | |
EP1744305B1 (en) | Method and apparatus for noise reduction in sound signals | |
US6351731B1 (en) | Adaptive filter featuring spectral gain smoothing and variable noise multiplier for noise reduction, and method therefor | |
JP4916394B2 (ja) | エコー抑圧装置、エコー抑圧方法及びコンピュータプログラム | |
EP1065657B1 (en) | Method for detecting a noise domain | |
US6377637B1 (en) | Sub-band exponential smoothing noise canceling system | |
KR100414841B1 (ko) | 잡음저감방법및장치 | |
EP2031583B1 (en) | Fast estimation of spectral noise power density for speech signal enhancement | |
JP4568733B2 (ja) | 雑音抑圧装置、雑音抑圧方法、雑音抑圧プログラムおよびコンピュータに読み取り可能な記録媒体 | |
US20040102967A1 (en) | Noise suppressor | |
US20090254340A1 (en) | Noise Reduction | |
EP3276621B1 (en) | Noise suppression device and noise suppressing method | |
EP0807305A1 (en) | Spectral subtraction noise suppression method | |
JP2002527785A (ja) | 情報信号にある休止期間の間にノイズ推定値を更新する方法とシステム | |
JP2009031793A (ja) | 調整されたトーンノイズの低減を用いたノイズの低減 | |
JP3961290B2 (ja) | 雑音抑圧装置 | |
US20030018471A1 (en) | Mel-frequency domain based audible noise filter and method | |
US7885810B1 (en) | Acoustic signal enhancement method and apparatus | |
JP2002537586A (ja) | 雑音を消去するためのシステム、方法及び装置 | |
JP4965891B2 (ja) | 信号処理装置およびその方法 | |
JP3279254B2 (ja) | スペクトル雑音除去装置 | |
JP2000330597A (ja) | 雑音抑圧装置 | |
JP4434813B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 | |
JP2836271B2 (ja) | 雑音除去装置 | |
JP2004020679A (ja) | 雑音抑圧装置および雑音抑圧方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080222 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090222 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |