JP3576792B2 - 音声情報処理方法 - Google Patents
音声情報処理方法 Download PDFInfo
- Publication number
- JP3576792B2 JP3576792B2 JP06742398A JP6742398A JP3576792B2 JP 3576792 B2 JP3576792 B2 JP 3576792B2 JP 06742398 A JP06742398 A JP 06742398A JP 6742398 A JP6742398 A JP 6742398A JP 3576792 B2 JP3576792 B2 JP 3576792B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- text
- speech
- attribute value
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、テキスト音声合成に関し、特に入力情報からテキスト音声合成に関する種々の特徴パラメータを推定することを含む音声情報処理方法に関する。
【0002】
【従来の技術】
任意の文章から人工的に音声信号を作り出すことをテキスト合成という。通常このテキスト合成システムは、言語処理部、韻律生成部、音声信号生成部の3つの段階から構成される。入力されたテキストは、まず言語処理部において形態素解析や構文解析などが行われる。次に韻律生成部においてアクセントやイントネーションの処理が行われ、音韻記号列、ピッチパターン、音韻継続時間長などの情報が出力される。最後に、音声信号生成部で音声信号が合成される。
【0003】
このようなテキスト音声合成においては、処理の各段階において、種々の特徴パラメータを推定する必要がある。例えば、言語処理部においては、形態素の切れ目、漢字の読み、係り受けの構造などを、韻律生成部においては、ピッチの上げ下げのタイミング、ピッチの上げ下げの大きさ、音韻継続時間長などの推定が必要となる。
【0004】
このような特徴パラメータの推定を行うための統計的手法として、数量化I類や回帰木などが良く知られている。また、これらの方法を拡張したものとして、空間分割型数量化法(以下MSR法と呼ぶ)が提案されている。例えば、特開平6−282294あるいは特開平9−90970にMSR法を音声合成における韻律パラメータの推定に適用した例が開示されている。説明変数空間における位置べクトルdで説明変数を表し、Sn を説明変数空間で定義される要因集合とすると、数量化I類、回帰木、MSR法に共通するモデルは次式で表すことができる。
【0005】
【数4】
ここで、yが推定値、w n は各要因集合S n に対する重み係数を表している。数量化I類や回帰木は、上記のモデルにおいて、要因集合S n に拘束条件を付加して得られる特殊解と考えられる。これらに対してMSR法は、要因集合Snに拘束を設けない一般解とみなすことができる。これらの従来例において、各要因集合とその重み係数は、多数のトレーニング事例を用いて決定される。ここで、トレーニング事例とは、全ての説明変数の値とそれに対応する目的変数の正しい値の組を表している。すなわち、推定値と正しい値との誤差が最小となるような要因集合と重み係数が、何らかの最適化手法や解析的な方法によって求められる。
【0006】
【発明が解決しようとする課題】
統計的な手法による特徴パラメータの推定において重要なことは、トレーニング事例だけでなく、それ以外の事例についても高い推定精度が得られることである。このことは、(a)トレーニング事例に対する推定精度が高く、かつ(b)トレーニング事例以外の事例に対する推定精度がトレーニング事例に対するそれと比べてそれほど悪くならないと言い替えることができる。仮に前者の性質(a)を「精密性」、後者の性質(b)を「信頼性」と呼ぶことにする。
【0007】
従来例において、精密性を向上させるためには、要因集合の数を増やすことによって説明変数空間を細分化する必要がある。これに対して、信頼性を向上させるためには各要因集合に属するトレーニング事例数がある程度大きくする必要があるため、要因集合の数を減らさなければならない。要因集合に付加する拘束条件より、数量化I類は、信頼性は高いものの精密性が低いという問題があり、逆に回帰木は、精密性は高いものの信頼性が低いという問題がある。これらに対してMSR法は、適切に要因集合を選ぶことが可能であれば、比較的精密性と信頼性をともに高めることができる。
【0008】
しかしながら従来例の統計的モデル((1)式)は、各要因集合が加法的な形で目的変数に寄与していることを想定しているため、説明変数間の相乗効果が目的変数に寄与するような場合には、精密性を高めるためには要因集合数を大きくせざるを得ず、精密性と信頼性を両立させることが難しいという問題があった。
【0009】
本発明は、上記問題を考慮して達成され、各要因集合が加法的な形で目的変数に寄与している場合だけでなく、説明変数間の相乗効果が目的変数に寄与する場合にも精密性と信頼性が共に高いような特徴パラメータを推定することを含む音声情報処理方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明に係る音声情報処理方法は、テキストを音声に変換するテキスト音声合成方法において、テキスト情報に対して言語処理を行い、言語処理情報から生成される複数の属性の状態に従って前記属性の属性値を求め、j番目の属性の属性値dj の関数w nj (dj )と定数w 0 とを用いて、
【0011】
【数5】
で表されるyをテキスト音声合成に関する特徴パラメータとすることを特徴とする。
【0012】
原書処理情報とは、出力音声に関する付加情報とテキストから構成される。付加情報とは、音声に関する情報であって、テキストだけからは判断することが難しい情報を意味しており、例えば、話者、発声速度、発話スタイル(読み上げ調、会話調、案内調など)、感情(怒り、悲しみ、驚きなど)などで、この他にも種々の情報がある。また、テキストの代わりに、音韻記号列や音節記号列などの、テキストと同様の情報を含むものを用いてもよい。
【0013】
属性とは、特徴パラメータの推定を行う際に言語処理情報より知ることができる情報の種類であり、統計的推定における説明変数に対応するものである。例えば、あるアクセント句の係り先を特徴パラメータとした場合、属性として、品詞、モーラ数、近傍アクセント句の品詞などが考えられる。また、なんらかの推定を行って得られた特徴パラメータを、さらに別の特徴パラメータを推定するための属性として用いてもよい。例えば、推定によって得られたアクセント句の係り先を属性の一つとしてアクセントの大きさを推定することも可能である。
【0014】
属性値とは、前記属性の状態を表す数値である。属性がアクセント句の係り先(係り先なし、次に係る、2つ先に係る、3つ先に係る)のように順序関係を持つもの(いわゆる順序尺度)である場合は、順序関係に従った適当な値を属性値とすることができる。例えば、係り先であれば、なし:0、次:1、2つ先:2、3つ先:3、などとしてもよい。属性が、音韻継続時間長や基本周波数などのように数値として表されるもの(いわゆる間隔尺度または比尺度)である場合は、測定値を属性値とすることができる。あるいは、測定値を量子化して得られる代表値を順序尺度と同様に扱っても良い。属性が、品詞などのように順序関係を持たないもの(いわゆる分類尺度)である場合は、これらの分類のカテゴリーに対して任意の値を対応させて属性値とすることができる。例えば、品詞であれば、名詞:1、動詞:2、形容詞:3、などとしてもよい。
【0015】
特徴パラメータとは、合成音声の性質を制御するにあたって使用されるパラメータであり、例えば、形態素の切れ目、漢字の読み、アクセント型、係り受けの構造、ポーズ長、ピッチパターン制御モデルのパラメータ、使用する音声素片などを表すパラメータであり、この他にも種々のパラメータがある。
【0016】
本発明に係る音声情報処理方法は、テキストを音声に変換するテキスト音声合成方法であって、入力情報から生成される複数の属性の状態に従って前記属性の属性値を求め、j番目の属性の属性値dj の関数w nj(dj ) と定数w 0 とを用いて、
【0017】
【数6】
で表されるyを量子化して得られる代表値に基づいて、テキスト音声合成に関する特徴パラメータの選択枝より選択する。
【0018】
少なくとも1つの属性に対する属性値d j が有限個の値(dj1,dj2, …,djN) をとる場合、好ましくは、各属性値に対応する係数(anj1 ,anj2 , …,anjN ) を用いて該属性値の関数w nj(dj ) が
w nj(djm) = a njm
で表されるようにしてもよい。
【0019】
入力情報から属性値を求めることができなかったり、属性が想定していない状態となるなどして属性値が不明である場合、好ましくは、不明な属性値d j の関数w nj(dj ) が、定数C nj を用いて
w nj(djm) = C nj
で表されるようにしてもよい。
【0020】
本発明に係る情報処理方法は、ある事例に関する複数の属性の状態に従って、複数の選択枝より選択する方法であり、k番目の選択枝に対応する特徴量の推定値y k を、j番目の属性の状態によって決定される属性値d j の関数w knj (dj ) と定数w k0 とを用いて、
【0021】
【数7】
によって求め、該推定された特徴量に基づいて前記複数の選択枝より選択する。
【0022】
少なくとも1つの属性に対する属性値d j が有限個の値(dj1, d j2, …, d jN) をとるものである場合、好ましくは、各属性値に対応する係数(aknj1, a knj2, …,aknjN) を用いてk番目の選択枝に対応する属性値の関数w knj (dj ) が
w knj (djm) = a knjm
で表されるようにしてもよい。
【0023】
言語処理情報から属性値を求めることができなかったり、属性が想定していない状態となるなどして、属性値が不明である場合、好ましくは、k番目の選択枝に対応する、不明な属性値の関数w knj (dj ) が、定数C knj を用いて
w knj (djm) = C knj
で表されるようにしてもよい。
【0024】
好ましくは、前記特徴パラメータが、ピッチパターン制御モデルのパラメータであるようにしてもよい。また、好ましくは、前記ピッチパターン制御モデルが、複数の代表パターンより1つのパターンを選択し、該選択されたパターンに対して変形を施して得られるパターンをピッチパターンとするものであるようにしてもよい。
【0025】
代表パターンとは、音声の基本周波数(またはピッチ周期)を表現するパラメータの代表的な変化パターンを表している。好ましくは、この変形は、少なくとも対数周波数軸上の並行移動を含むようにした方がよい。また、属性が、アクセント句のモーラ数、アクセント句の係り先、先行アクセント句の係り先を含むようにした方がよい。
【0026】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。図1は、本発明の音声情報処理方法を実現する音声情報処理装置の構成を示している。この図によると、テキスト情報が言語処理部10に入力される。この言語処理部10は、テキスト情報101に対して形態素解析および構文解析等の言語処理を行って、アクセント型102、モーラ数103、アクセント句の係り先104、先行アクセント句の係り先105、音韻記号列106をアクセント句毎に韻律生成部11に出力する。例えば「あらゆる現実をすべて自分の方へねじ曲げたのだ」というテキストは、アクセント句は「あらゆる」、「現実を」、「すべて」、「自分の」、「方へ」、「ねじ曲げたのだ」と区分され、これらの各アクセント句について上記の情報102〜106が言語処理部10から韻律生成部11に出力される。
【0027】
韻律生成部11は、アクセント型102、モーラ数103、当該アクセント句の係り先104、先行アクセント句の係り先105、音韻記号列106の情報に対してアクセントやイントネーションの処理を行い、基本周波数の時間変化パターンであるピッチパターン107と音韻継続時間長108を音声信号生成部12に出力する。
【0028】
音声信号生成部12は、音韻記号列106、ピッチパターン107、音韻継続時間長108より合成音声110を生成する。
次に、韻律生成部11の詳細な動作について、図2を参照して説明する。代表パターン選択部21は、アクセント型102、モーラ数103、アクセント句の係り先104、先行アクセント句の係り先105より、当該アクセント句に適した代表パターンを選択し、代表パターン番号201を出力する。
【0029】
代表パターン記憶部22は、記憶している複数の代表パターンの中から、代表パターン番号201に対応する代表パターン203を読み出して出力する。代表パターンとは、例えば図3に示されるような、音声の基本周波数の代表的な時間変化パターンの時間軸をモーラ単位に正規化したものである。
【0030】
移動量生成部20は、モーラ数103、当該アクセント句の係り先104、先行アクセント句の係り先105より、代表パターン203を対数周波数軸方向に並行移動する際の移動量202を求めて出力する。
【0031】
音韻継続時間長生成部23は、音韻記号列106に従って、各音韻の音韻継続時間長108を求めて音声信号生成部12に出力する。ピッチパターン生成部24は、音韻継続時間長108に従って各モーラの長さが音韻継続時間長と等しくなるように代表パターン203を時間方向に伸縮し、移動量202に従って対数周波数軸上で並行移動させて、ピッチパターン107を音声信号生成部12に出力する。例えば、「あらゆる」というアクセント句に対して、ピッチパターンの生成を行った場合、図4に示すように代表パターン(a)が、時間方向に伸縮されパターン(b)を生成し、このパターン(b)が対数周波数軸上で並行移動されてピッチパターン(c)が生成される。ただし、図4の縦軸は対数周波数を表すものとし、移動量202は1から5.5までの4.5とした。
【0032】
次に、代表パターン選択部21の詳細な動作について説明する。
まず、アクセント型102、モーラ数103、当該アクセント句の係り先104、先行アクセント句の係り先105を当該アクセント句に関する属性として、各代表パターンの評価値を推定する。
【0033】
次に、代表パターン選択部21は、推定された評価値が最小となる代表パターンの番号を代表パターン番号201として代表パターン記憶部22に出力する。ここで、代表パターンの評価値とは、各代表パターンを使用して生成されるピッチパターンと、属性の状態の組合せに対して理想的なピッチパターンとの距離を表している。この距離の推定値の求め方について説明する。各属性の状態に対する属性値は図5のように定義される。
【0034】
k番目の代表パターンに対する距離の推定値yk を、属性値の関数w knj (dj )(k=1,2, …,K)(n=1,2,…,N)(j=1,2,3,4)と定数w k0 を用いて次式(3)によって求める。
【0035】
【数8】
関数w knj (dj )(k=1,2, …K)(n=1,2, …,N)(j=1,2,3,4)は、係数a knjm(k=1,2, …,K)(n=1,2,…,N)(j=1,2,3,4)(m=0,1,2, …) とC knj を用いて次式(4)のように定
義される。
【0036】
【数9】
ここで、dj が不明とは、言語処理の失敗などの理由で、属性の状態を知ることができないような場合を意味している。
【0037】
(4)式の代わりに、次式(5)のような多項式を用いてもよい。
w knj (dj ) = b knj2d j 2 + bknj1d j + b knj0 (5)
(3)式のw k0 および(4)式の係数a knjm あるいは(5)式の係数b knjm はトレーニング事例に対する距離の推定値の誤差が最小となるように決定される。
【0038】
トレーニング事例とは、実音声から抽出されたピッチパターンと各代表パターンとの距離のデータと、対応するテキストの属性(アクセント型、モーラ数、当該アクセント句の係り先、先行アクセント句の係り先)のデータの組合せである。トレーニング事例は、大量のテキストとそれを読み上げた実音声のデータを解析することにより得られる。
【0039】
係数の最適化は、例えば距離の推定値の2乗平均誤差を評価関数として、公知の最適化手法を用いて行うことができる。
また、(4)式の係数C knj は、a knj0,aknj1 ,…の平均値とするか、あるいは属性値の出現頻度を考慮して重み付けを行った加重平均値としてもよい。
【0040】
次に、移動量生成部20の詳細な動作について説明する。
モーラ数103、当該アクセント句の係り先104、先行アクセント句の係り先105を当該アクセント句に関する属性として、これらの属性の状態の組合せに対して理想的な移動量を推定し、その推定値を移動量202としてピッチパターン生成部24に出力する。移動量の推定値の求め方について説明する。各属性の状態に対する属性値を、代表パターン選択部21と同様に、図5のように定義する。属性値の関数v nj(dj )(n=1,2,…,N) (j=1,2,3)(m=0,1,2,3,…) と定数v0 を用いて移動量の推定値yを次式(6)によって求める。
【0041】
【数10】
関数v nj(dj )(n=1,2,…,N)(j=1,2,…,N)(j=1,2,3)は、係数a njm (n:1,2, …,N)(j=1,2,3)(m=0,1,2, …) を用いて次式(7)のように定義される。
【0042】
【数11】
【0043】
式(7)の代わりに次式(8)のような多項式を用いてもよい。
v nj(dj ) = b knj2d j 2 + b nj1 d j + b nj0 (8)
(6)式のw 0 および(7)式の係数a njm あるいは(8)式の係数b njm はトレーニング事例に対する距離の推定値の誤差が最小となるように決定される。
【0044】
この場合のトレーニング事例は、実音声から抽出されたピッチパターンを代表パターンによって最適に近似するための代表パターンの移動量のデータと、テキストから求められた属性(モーラ数、当該アクセント句の係り先、先行アクセント句の係り先)のデータの組合せによって構成される。
【0045】
係数の最適化は、例えば移動量の推定値の2乗平均誤差を評価関数として、公知の最適化手法を用いて行うことができる。また、(7)式の係数c nj は、a nj0 ,anj1 ,…の平均値とするか、あるいは属性値の出現頻度を考慮して重み付けを行った加重平均値としてもよい。
式(6)のyを移動量202とする代わりに、yを量子化して得られるy’を移動量202として次式(9)のように表してもよい。
【0046】
【数12】
【0047】
以上の実施形態において、定数項w 0 およびw k0 は常に0として最適化を行わないようにしてもよい。また、2つ以上の属性の組合せを新たに1つの属性と定義してもよい。例えば、「アクセント型」と「モーラ数」の2つの属性を組み合わせて1つの属性とし、図6のように属性値を付与することも可能である。
【0048】
【発明の効果】
以上説明したように、本発明の音声情報処理方法では、属性の状態によって決定される属性値の関数の積和によって特徴パラメータをモデル化している。そのため、属性を用いて定義される要因集合が、推定する特徴量に加法的な形で寄与している場合だけでなく、属性間の相乗効果の寄与が含まれる場合においても、推定精度が高い推定モデルを少ないパラメータで構成することが可能であり、トレーニング事例以外の事例に対しても精度の高い特徴パラメータを生成することが可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る音声情報処理装置の構成を示すブロック図
【図2】本発明の実施形態における韻律生成部の構成を示すフロック図
【図3】本発明の実施形態における代表パターンの例を示す模式図
【図4】本発明の実施形態におけるピッチパターンの生成の一例を説明するための図
【図5】本発明の実施形態における属性値の例を示す図
【図6】本発明の実施形態における属性値の例を示す図
【符号の説明】
10…言語処理部
11…韻律生成部
12…音声信号生成部
20…移動量生成部
21…代表パターン選択部
22…代表パターン記憶部
23…音韻継続時間長生成部
24…ピッチパターン生成部
Claims (9)
- 少なくとも1つの属性に対する属性値djが有限個の値(dj1,dj2、…、djN)をとるものであって、各属性値に対応する係数(aknj1,aknj2、…、aknjN)を用いてk番目の選択枝に対応する属性値の関数wknj(dj)が
wknj(djm)=aknjm
で表されることを特徴とする請求項1に記載の音声情報処理方法。 - 属性置djが不明である場合、k番目の選択枝に対応する属性値の関数wknj(dj)が、定数Cknjを用いて
wknj(dj)=Cknj
で表されることを特徴とする請求項1に記載の音声情報処理方法。 - 前記特徴パラメータが、ピッチパターン制御モデルのパラメータであることを特徴とする、請求項1乃至3のいずれか1つに記載の音声情報処理方法。
- 前記ピッチパターン制御モデルが、複数の代表パターンより1つのパターンを選択し、選択された該パターンに対して変形を施して得られるパターンをピッチパターンとするものであることを特徴とする請求項4に記載の音声情報処理方法。
- 前記変形が、少なくとも対数周波数軸上の並行移動を含むことを特徴とする請求項5に記載の音声情報処理方法。
- 前記属性が、アクセント句のモーラ数、アクセント句の係り先、先行アクセント句の係り先を合むことを特徴とする請求項1乃至3のいすれか1つに記載の音声情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06742398A JP3576792B2 (ja) | 1998-03-17 | 1998-03-17 | 音声情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06742398A JP3576792B2 (ja) | 1998-03-17 | 1998-03-17 | 音声情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11265194A JPH11265194A (ja) | 1999-09-28 |
JP3576792B2 true JP3576792B2 (ja) | 2004-10-13 |
Family
ID=13344500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06742398A Expired - Fee Related JP3576792B2 (ja) | 1998-03-17 | 1998-03-17 | 音声情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3576792B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002073595A1 (fr) | 2001-03-08 | 2002-09-19 | Matsushita Electric Industrial Co., Ltd. | Dispositif generateur de prosodie, procede de generation de prosodie, et programme |
WO2003019528A1 (fr) * | 2001-08-22 | 2003-03-06 | International Business Machines Corporation | Procede de production d'intonation, dispositif de synthese de signaux vocaux fonctionnant selon ledit procede et serveur vocal |
-
1998
- 1998-03-17 JP JP06742398A patent/JP3576792B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11265194A (ja) | 1999-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4738057B2 (ja) | ピッチパターン生成方法及びその装置 | |
JP4080989B2 (ja) | 音声合成方法、音声合成装置および音声合成プログラム | |
US6785652B2 (en) | Method and apparatus for improved duration modeling of phonemes | |
JP4551803B2 (ja) | 音声合成装置及びそのプログラム | |
JP4469883B2 (ja) | 音声合成方法及びその装置 | |
US20040030555A1 (en) | System and method for concatenating acoustic contours for speech synthesis | |
JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
JP4406440B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
US8478595B2 (en) | Fundamental frequency pattern generation apparatus and fundamental frequency pattern generation method | |
JP4533255B2 (ja) | 音声合成装置、音声合成方法、音声合成プログラムおよびその記録媒体 | |
JP4247289B1 (ja) | 音声合成装置、音声合成方法およびそのプログラム | |
JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
JP3576792B2 (ja) | 音声情報処理方法 | |
JP2001242882A (ja) | 音声合成方法及び音声合成装置 | |
JP6578544B1 (ja) | 音声処理装置、および音声処理方法 | |
JP3737788B2 (ja) | 基本周波数パターン生成方法、基本周波数パターン生成装置、音声合成装置、基本周波数パターン生成プログラムおよび音声合成プログラム | |
JP2001034284A (ja) | 音声合成方法及び装置、並びに文音声変換プログラムを記録した記録媒体 | |
JP5393546B2 (ja) | 韻律作成装置及び韻律作成方法 | |
JP4454780B2 (ja) | 音声情報処理装置とその方法と記憶媒体 | |
JP4232254B2 (ja) | 音声合成装置、規則音声合成方法及び記憶媒体 | |
EP1589524B1 (en) | Method and device for speech synthesis | |
JP2001075585A (ja) | 自然言語処理方法及び前記方法を用いた音声合成装置 | |
JP3571925B2 (ja) | 音声情報処理装置 | |
JP2006084854A (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
JP2749802B2 (ja) | 音声合成方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |